- Une session d'évaluation doit aboutir à un classement que l'on puisse justifier plusieurs mois plus tard, et pas seulement à un classement. Cela signifie que la note, la version de la grille d'évaluation, le nom de l'évaluateur et une phrase expliquant le raisonnement font tous partie du résultat final.
- L'étalonnage est l'étape qui permet de déterminer si les notes sont comparables. Demandez à chaque évaluateur de noter les deux ou trois mêmes candidatures avant le début de la session, puis comparez les résultats. Cela met généralement en évidence un critère mal formulé, et non un évaluateur incompétent.
- Les conflits d'intérêts doivent être pris en compte lors de la constitution du jury, et non au cas par cas pour chaque candidature. Une récusation qui n'a pas été consignée est assimilée à une absence lorsque le déroulement de la session est remis en cause.
- Ne calculez jamais la moyenne des notes au niveau d'un seuil de présélection. Le calcul de la moyenne masque les divergences d'opinion, et c'est précisément là que se prend la décision.
Un processus d'évaluation des demandes de subvention désigne la série d'étapes qu'un bailleur de fonds met en œuvre entre le moment où il reçoit un ensemble de dossiers éligibles et celui où il prend une décision de financement : constituer un jury, le calibrer, attribuer des notes selon une grille d'évaluation publiée, résoudre les désaccords et consigner les motifs de chaque décision. Ce processus ne doit pas aboutir à un simple classement, mais à un classement que l'on pourra justifier six mois plus tard.
C'est la grille d'évaluation qui retient le plus l'attention à ce stade. Dans la pratique, ce sont les étapes qui l'entourent qui font échouer les cycles d'évaluation.
Ce qu'un cycle d'examen doit permettre d'aboutir
Il y a trois résultats possibles, mais seul le premier est évident.
Un classement, afin de pouvoir y définir une ligne de financement. Une justification documentée pour chaque décision, afin que chaque résultat puisse être expliqué sans avoir à le reconstituer de mémoire. Et une analyse défendable des refus, qui est l'élément le plus souvent négligé lors des cycles de sélection et celui le plus susceptible d'être remis en question.
Un tour qui ne donne lieu qu'à un classement a rempli sa fonction et fait disparaître les preuves.
Qui fait partie du jury ?
Deux évaluateurs par dossier constituent le minimum requis, et il vaut la peine d'en engager trois pour les dossiers situés à la limite du financement, où une seule note divergente peut faire basculer le résultat.
La composition prime sur la taille. Un jury doit disposer de connaissances sur le programme, afin que l’un de ses membres puisse identifier l’objet de l’appel à projets ; de connaissances sur le sujet, afin que l’un d’entre eux puisse évaluer la crédibilité du projet proposé ; et, lorsque le financement concerne une communauté spécifique, d’une personne ayant une expérience directe de celle-ci. Les jurys composés uniquement de membres du personnel du programme ont tendance à privilégier les propositions bien rédigées plutôt que celles qui sont bien conçues.
Le recours à des experts externes renforce la crédibilité d'une décision, mais entraîne un surcoût en termes de temps. Il vaut mieux prévoir ce retard dans le budget plutôt que de le découvrir a posteriori.
L'un des rôles ne devrait en aucun cas être celui d'évaluateur. Le président dirige la séance, tient la grille d'évaluation et tranche en cas de désaccord. Un président qui attribue également des notes perd toute légitimité pour résoudre un différend entre deux personnes qui ont elles-mêmes attribué des notes.
L'étalonnage, l'étape qui détermine si les scores sont comparables
Les notes attribuées par différents évaluateurs ne sont comparables que si ceux-ci ont évalué la même chose. L'étalonnage permet de vérifier si c'est le cas, et il a lieu avant le début de l'épreuve, et non après.
La procédure est simple. Chaque évaluateur note de manière indépendante les deux ou trois mêmes candidatures, puis le jury compare les résultats côte à côte. Lorsque les notes divergent, le jury examine ensemble les raisons de ces divergences.
Ce que cela met en évidence, ce n'est généralement pas un évaluateur incompétent. Il s'agit plutôt d'un critère mal défini dans la grille d'évaluation. Deux évaluateurs compétents qui interprètent le terme « impact » respectivement comme « portée » et comme « profondeur » attribueront à la même candidature des notes différant de quatre points, et auront tous deux raison ; aucun calcul de moyenne ultérieur ne permettra de remédier à cela. En revanche, la reformulation du critère de référence y parvient.
Le fait de ne pas effectuer l'étalonnage ne supprime pas l'écart. Cela le masque simplement et l'intègre dans les totaux.
Le premier passage à l'aveugle, et à quel moment le lever
Une évaluation à l'aveugle lors de la première lecture, suivie d'une révélation de l'identité des auteurs lors de l'évaluation des capacités, est une pratique courante et judicieuse. Les évaluateurs jugent la proposition sur la base de son contenu, puis évaluent si l'organisation est en mesure de la mener à bien.
Soyez honnête quant à ce que permet réellement l'anonymisation. Le fait de supprimer le nom d'une organisation ne suffit pas à effacer son identité d'une proposition qui mentionne les sites de ses projets, ses partenaires, son fondateur ou un budget que seules quelques organisations seraient en mesure de prendre en charge. Un évaluateur connaissant bien le domaine reconnaîtra souvent le candidat de toute façon.
Cela ne rend pas pour autant cette pratique inutile. Elle supprime l'avantage automatique que procure un logo familier dès la première lecture, ce qui est un effet bien réel, tout en ne prétendant pas offrir un anonymat qu'elle ne peut garantir.
Conflits d'intérêts, réglés avant l'ouverture du tour de table
Dans la plupart des cycles, les conflits sont signalés au mauvais moment. Demander à un évaluateur de signaler un conflit lorsqu'une candidature apparaît dans sa file d'attente revient à compter sur sa capacité à reconnaître un nom parmi une liste de quarante, alors même qu'il s'efforce de venir à bout de cette liste.
Il convient plutôt de procéder à cette déclaration lors de la constitution du jury. Chaque évaluateur dresse la liste des organisations au sein desquelles il siège, qu’il conseille, qu’il a financées ou avec lesquelles il entretient des liens personnels, et le processus de répartition exclut ces candidatures avant même que quiconque ne les examine. Cette exclusion doit être une fonctionnalité du système, et non dépendre de la mémoire de l’évaluateur.
Enregistrez-le ensuite. Une récusation qui n'a pas été consignée par écrit revient au même qu'un évaluateur qui n'a tout simplement pas répondu, et cette différence a son importance lorsque l'on demande comment une décision a été prise. Notre note sur la conservation d'une piste d'audit précise les éléments qui doivent figurer dans le dossier.
Lorsque deux évaluateurs ne sont pas d'accord
La divergence est une source d'information, et non du bruit. La manière dont le jury la gère détermine la crédibilité du débat.
Une règle prime sur le tableau. Il ne faut jamais calculer de moyenne au niveau d'une limite de présélection. La moyenne entre un 4 et un 8 donne 6, et ce 6 peut se situer exactement là où passe la ligne de financement, ce qui signifie que la méthode a discrètement pris la décision que le jury était censé prendre.
La réunion de décision
Le rôle du jury dans la salle est plus restreint qu'il ne le pense généralement. Le classement existe déjà, établi à partir des notes attribuées. La réunion sert uniquement à déterminer où se situe la limite et comment traiter les candidatures situées immédiatement de part et d'autre de celle-ci.
Fixez une durée maximale pour l'examen de chaque demande et respectez-la. Les séances s'éternisent parce que les commissions reviennent sans cesse sur des demandes qui n'ont jamais été à la limite, et ce sont celles qui l'étaient qui en font les frais.
Les candidatures qui ont failli être retenues méritent une réponse claire plutôt que le silence : rejetées, rejetées avec une invitation à postuler à nouveau, ou mises en attente pour un prochain cycle si le programme fonctionne ainsi. C'est la notation qui permet à une candidature d'atteindre la ligne de sélection. Seul le jury peut décider du sort des candidatures qui se trouvent sur cette ligne.
Contactez-nous ou demandez une démonstration pour ne plus perdre de temps sur des feuilles de calcul et commencer à gérer les subventions avec rapidité et clarté.
Consigner le déroulement d'une séance afin qu'une décision puisse résister à toute remise en cause
Six mois après la clôture d'un appel à projets, quelqu'un finira par demander pourquoi une candidature particulière a été rejetée. La question émane d'un membre du conseil d'administration, d'un candidat récidiviste, d'un auditeur ou d'un collègue qui a pris la relève du programme.
Cinq éléments doivent être renseignés, et ils doivent tous être saisis pendant le déroulement de l'épreuve : la note attribuée pour chaque critère, la version de la grille d'évaluation en vigueur, le nom de l'évaluateur qui l'a établie, la date et une phrase d'explication. Cette phrase est la partie que les équipes ont tendance à négliger, et la seule que l'on puisse réellement lire.
Il faut à tout prix éviter de reconstituer ces informations a posteriori à partir d'un tableur et d'une boîte de réception, car c'est précisément cette reconstitution qui n'est pas fiable.
La place de l'évaluation dans le cycle de financement
L'examen s'inscrit dans la phase préalable à l'attribution, après les filtres et avant la décision d'attribution. Les dossiers qui y parviennent doivent déjà être éligibles et complets, ce qui relève des étapes précédentes : notre guide sur la présélection automatisée des demandes de subvention aborde ces étapes, et c'est au stade de la lettre d'intention que le nombre de candidats est réduit avant même qu'un évaluateur ne prenne connaissance d'une proposition complète.
Si vous évaluez des plateformes plutôt que des processus, la comparaison des logiciels de gestion des subventions porte sur le champ d'application et les tarifs, tandis que le guide sur les systèmes de gestion des subventions aborde d'abord les processus.
Comment « Optimy » gère la phase d'évaluation
Optimy achemine les candidatures présélectionnées vers des évaluateurs internes ou externes, en appliquant des contrôles relatifs aux conflits d'intérêts dès l'attribution des dossiers, et garde les notes confidentielles entre les évaluateurs jusqu'à la fin de la période d'évaluation, afin qu'une note attribuée trop tôt ne puisse pas influencer le reste du jury.
Les critères et les pondérations sont consignés sous la forme d'une grille d'évaluation structurée plutôt que dans un tableur, ce qui permet à chaque évaluateur de disposer des mêmes repères et garantit la comparabilité des totaux tout au long d'un cycle d'évaluation. Lorsque deux évaluateurs divergent fortement sur un critère, cet écart est mis en évidence afin que le comité d'évaluation puisse en discuter, plutôt que d'être discrètement gommé par le calcul de la moyenne. Chaque note, décision et récusation est consignée dans le dossier de candidature.
Consultez la page consacrée au logiciel de gestion des subventions ou réservez une démonstration pour y intégrer votre propre grille d'évaluation.
