- Una sessione di revisione deve produrre una classifica che qualcuno possa spiegare anche mesi dopo, non solo una classifica. Ciò significa che il punteggio, la versione della griglia di valutazione, il nome del revisore e una frase di motivazione fanno tutti parte del risultato finale.
- La calibrazione è la fase che determina se i punteggi siano effettivamente comparabili. Chiedete a ogni valutatore di assegnare un punteggio alle stesse due o tre candidature prima dell’inizio della fase di valutazione, per poi confrontare i risultati. Ciò che solitamente emerge è un criterio mal formulato, non un valutatore incompetente.
- I conflitti di interesse vanno segnalati al momento della costituzione della commissione, non per ogni singola candidatura. Un’astensione che non è stata registrata risulta identica a un’assenza quando viene messa in discussione la selezione.
- Non calcolare mai la media dei punteggi quando si tratta di una rosa di candidati. Il calcolo della media nasconde i disaccordi, e li nasconde proprio nel punto in cui viene presa la decisione.
Il processo di valutazione delle richieste di sovvenzione è la sequenza di operazioni che un ente finanziatore mette in atto tra la ricezione di una serie di domande ammissibili e la decisione di finanziamento: costituzione di una commissione, definizione dei criteri di valutazione, attribuzione dei punteggi in base a una griglia di valutazione pubblicata, risoluzione delle divergenze e registrazione delle motivazioni alla base di ciascuna decisione. Ciò che deve produrre non è una semplice classifica, bensì una classifica che qualcuno sia in grado di spiegare anche sei mesi dopo.
In questa fase, l’attenzione si concentra soprattutto sulla rubrica. In pratica, i round falliscono proprio nelle fasi ad essa correlate.
Cosa deve produrre un giro di revisione
Tre risultati, ma solo il primo è evidente.
Una classifica, in modo da poter stabilire una linea di finanziamento al suo interno. Una motivazione documentata per ogni decisione, in modo che ogni singolo risultato possa essere spiegato senza doverlo ricostruire a memoria. E una spiegazione plausibile dei cali, che è l’aspetto più spesso trascurato nella maggior parte dei cicli di valutazione e quello più soggetto a verifica.
Un round che produce solo la classifica ha portato a termine il lavoro e ha fatto sparire le prove.
Chi fa parte della giuria
Due revisori per ogni domanda rappresentano il minimo indispensabile, mentre tre sono un investimento che vale la pena sostenere per le domande che si trovano al limite della soglia di finanziamento, dove un solo voto divergente può cambiare l'esito.
La composizione è più importante delle dimensioni. Una commissione deve disporre di conoscenze relative al programma, in modo che qualcuno sia in grado di riconoscere l’oggetto del bando; di conoscenze specifiche in materia, affinché qualcuno possa valutare se il lavoro proposto sia credibile; e, laddove il finanziamento riguardi una comunità specifica, di qualcuno che abbia esperienza diretta di tale comunità. Le commissioni composte esclusivamente da personale del programma tendono a premiare le proposte ben scritte piuttosto che quelle ben concepite.
I revisori esterni rafforzano la credibilità di una decisione e comportano un dispendio di tempo. È meglio prevedere nel budget un margine per eventuali ritardi piuttosto che scoprirli a posteriori.
C’è un ruolo che non dovrebbe svolgere affatto la funzione di valutatore. Il presidente dirige la sessione, gestisce la griglia di valutazione e fa da arbitro in caso di disaccordo. Un presidente che assegna anche i punteggi perde l’autorità necessaria per risolvere una controversia tra due persone che hanno svolto tale ruolo.
La calibrazione: la fase che determina se i punteggi sono comparabili
I punteggi assegnati da diversi giudici sono comparabili solo se i giudici hanno valutato lo stesso elemento. La calibrazione serve proprio a verificare se sia così, e viene effettuata prima dell’inizio della gara, non dopo.
La procedura è semplice. Ogni valutatore assegna un punteggio alle stesse due o tre candidature in modo indipendente, poi la commissione confronta i risultati fianco a fianco. Laddove i punteggi divergono, la commissione ne discute le ragioni.
Ciò che emerge in questi casi non è solitamente un valutatore incompetente, bensì un criterio descritto in modo inadeguato nella griglia di valutazione. Due persone competenti che interpretino il termine “impatto” come “portata” e come “profondità” assegneranno alla stessa candidatura punteggi distanti di quattro punti, ed entrambe avranno ragione; nessuna media calcolata a posteriori potrà correggere questa discrepanza. Solo la riscrittura del criterio di riferimento potrà farlo.
Saltare la calibrazione non elimina la discrepanza. La nasconde semplicemente alla vista, includendola nei totali.
Il primo passaggio alla cieca e quando alzare la mano
La revisione “alla cieca” in una prima fase, seguita dalla rivelazione dell’identità ai fini della valutazione delle capacità, è una prassi comune e ragionevole. I revisori valutano la proposta in base al suo contenuto, poi valutano l’organizzazione per stabilire se sia in grado di realizzarla.
Siate onesti riguardo a ciò che l’anonimizzazione può realmente garantire. Eliminare il nome di un’organizzazione non cancella la sua identità da una proposta che indica i luoghi in cui si svolgono i progetti, i partner, il fondatore o un budget che solo poche organizzazioni potrebbero sostenere. Un valutatore che conosce il settore spesso riconoscerà comunque il richiedente.
Ciò non rende questa pratica inutile. Elimina il vantaggio automatico derivante dal riconoscimento immediato di un logo familiare alla prima lettura, che è un effetto reale, senza però pretendere un anonimato che non è in grado di garantire.
Conflitti di interesse risolti prima dell'apertura del round
Nella maggior parte dei cicli di valutazione, i conflitti di interesse vengono segnalati nel momento sbagliato. Chiedere a un revisore di segnalare un conflitto quando una domanda compare nella sua lista di lavoro significa affidarsi alla sua capacità di riconoscere un nome in un elenco di quaranta, proprio nel momento in cui sta cercando di smaltire l’elenco.
È preferibile dichiararlo al momento della costituzione della commissione. Ogni revisore elenca le organizzazioni di cui fa parte, per le quali svolge attività di consulenza, che ha finanziato o con cui ha un legame personale, e la fase di assegnazione esclude tali candidature prima ancora che qualcuno le veda. L’esclusione dovrebbe essere una caratteristica del sistema, non dipendere dalla memoria del revisore.
A quel punto, registratela. Un’astensione che non è stata messa per iscritto non si distingue da un revisore che semplicemente non ha risposto, e la differenza è importante quando qualcuno chiede come sia stata presa una decisione. La nostra nota sulla tenuta di una traccia di controllo illustra quali informazioni devono essere riportate nel registro.
Quando due revisori non sono d'accordo
La divergenza è informazione, non rumore. Il modo in cui una giuria la gestisce determina la credibilità della sessione.
C'è una regola che prevale su tutto il resto. Non calcolare mai la media se questa supera il limite di una rosa di candidati. Calcolare la media tra un 4 e un 8 produce un 6, e un 6 potrebbe trovarsi esattamente sul punto in cui cade la linea di finanziamento, il che significa che il metodo ha di fatto preso la decisione che avrebbe dovuto prendere la commissione.
La riunione decisionale
Il compito della commissione in sala è più circoscritto di quanto si pensi di solito. La graduatoria esiste già, ed è stata stilata in base ai punteggi assegnati. Ciò che la riunione decide è dove tracciare la linea di demarcazione e come gestire le candidature che si trovano immediatamente al di qua e al di là di essa.
Stabilite un limite di tempo per la discussione su ciascuna domanda e rispettatelo. Le sessioni si protraggono perché le commissioni tornano a discutere domande che non erano nemmeno vicine alla soglia di ammissibilità, e il costo ricade su quelle che invece lo erano.
I casi in cui la candidatura non è stata selezionata per un soffio meritano una risposta esplicita piuttosto che il silenzio: respinta, respinta con invito a ripresentare la candidatura, oppure tenuta in lista per un ciclo successivo, se il programma prevede tale procedura. Il punteggio assegnato alla candidatura determina se questa viene ammessa alla fase successiva. Solo la commissione può decidere cosa ne sarà di quelle che rimangono in sospeso.
Contattaci o richiedi una demo per smettere di perdere tempo sui fogli di calcolo e iniziare a gestire le sovvenzioni con rapidità e chiarezza.
Documentare una tornata di trattative affinché la decisione presa possa resistere a eventuali contestazioni
Sei mesi dopo la chiusura di un ciclo, qualcuno chiederà perché una determinata domanda sia stata respinta. La domanda proviene da un membro del consiglio di amministrazione, da un richiedente che ha già presentato domanda in passato, da un revisore o da un collega che ha preso in carico il programma.
Ci sono cinque elementi da riportare, e tutti e cinque devono essere inseriti mentre il round è ancora in corso: il punteggio per ciascun criterio, la versione della rubrica in vigore, il nome del valutatore che l’ha redatta, la data e una frase di motivazione. La frase è la parte che i team tendono a tralasciare ed è l’unica che una persona possa effettivamente leggere.
Ricostruire il tutto a posteriori utilizzando un foglio di calcolo e la posta in arrivo è proprio la situazione da evitare, perché è proprio questa ricostruzione a non essere affidabile.
Il ruolo della revisione nel ciclo di finanziamento
La revisione rientra nella fase precedente all’assegnazione, dopo i filtri e prima della decisione finale. Le proposte che arrivano a questa fase dovrebbero già essere ammissibili e complete, compito che spetta alle fasi precedenti: la nostra guida alla selezione automatizzata delle domande di sovvenzione tratta proprio questi aspetti, e la fase della lettera di intenti è quella in cui il numero di candidature viene ridotto prima che qualsiasi revisore legga una proposta completa.
Se si stanno valutando le piattaforme anziché i processi, il confronto tra i software di gestione delle sovvenzioni riguarda l'ambito di applicazione e i prezzi, mentre la guida ai sistemi di gestione delle sovvenzioni parte invece dai processi.
Come gestisce " Optimy " la fase delle recensioni
Optimy inoltra le candidature selezionate a revisori interni o esterni, applicando controlli sui conflitti di interesse al momento dell’assegnazione, e mantiene i punteggi nascosti ai revisori fino alla chiusura del periodo di revisione, in modo che un punteggio espresso in anticipo non possa influenzare il giudizio del resto della commissione.
I criteri e i pesi sono gestiti sotto forma di rubrica strutturata anziché in un foglio di calcolo, in modo che ogni valutatore veda gli stessi parametri di riferimento e i totali rimangano comparabili nell’arco dell’intero ciclo di valutazione. Laddove due valutatori presentino opinioni nettamente divergenti su un criterio, la discrepanza viene portata all’attenzione del comitato di valutazione affinché ne discuta, anziché essere silenziosamente neutralizzata dalla media. Ogni punteggio, decisione e ricusazione rimane registrato nella documentazione della candidatura.
Consulta la pagina dedicata al software di gestione delle sovvenzioni oppure prenota una dimostrazione per testare la tua rubrica con il programma.
