- Eine Bewertungsrunde muss eine Rangliste hervorbringen, die man auch noch Monate später begründen kann – nicht nur eine Rangliste. Das bedeutet, dass die Punktzahl, die Version der Bewertungsrubrik, der Name des Bewerters und ein Satz zur Begründung alle Teil des Ergebnisses sind.
- Die Kalibrierung ist der Schritt, der darüber entscheidet, ob die Bewertungen überhaupt miteinander vergleichbar sind. Lassen Sie jeden Gutachter vor Beginn der Runde dieselben zwei oder drei Bewerbungen bewerten und vergleichen Sie anschließend die Ergebnisse. In der Regel zeigt sich dabei, dass ein Kriterium schlecht formuliert ist, und nicht, dass ein Gutachter schlecht arbeitet.
- Interessenkonflikte sind bei der Zusammensetzung des Gremiums zu berücksichtigen, nicht bei jedem einzelnen Antrag. Eine Ablehnung, die von niemandem protokolliert wurde, wirkt wie eine Abwesenheit, wenn die Runde in Frage gestellt wird.
- Berechnen Sie niemals Durchschnittswerte über die Grenzen einer Auswahlliste hinweg. Durch die Mittelwertbildung werden Meinungsverschiedenheiten verschleiert, und genau dort, wo die Entscheidung getroffen wird, werden sie verschleiert.
Ein Fördermittel-Bewertungsverfahren ist der Ablauf, den ein Förderer zwischen einer Reihe förderfähiger Anträge und einer Förderentscheidung durchführt: die Zusammenstellung eines Gremiums, dessen Abstimmung, die Bewertung anhand einer veröffentlichten Bewertungsmatrix, die Beilegung von Meinungsverschiedenheiten sowie die Dokumentation der Gründe für jede Entscheidung. Das Ergebnis darf keine bloße Rangliste sein. Es muss eine Rangliste sein, die jemand auch noch sechs Monate später begründen kann.
In dieser Phase steht die Rubrik im Mittelpunkt der Aufmerksamkeit. In der Praxis scheitern die Runden jedoch an den damit verbundenen Schritten.
Was eine Bewertungsrunde hervorbringen muss
Drei Ergebnisse, wobei nur das erste offensichtlich ist.
Eine Rangliste, damit darin irgendwo eine Förderlinie gezogen werden kann. Eine dokumentierte Grundlage für jede Entscheidung, damit jedes einzelne Ergebnis erklärt werden kann, ohne es aus dem Gedächtnis rekonstruieren zu müssen. Und eine vertretbare Begründung für die Ablehnungen – dies ist das Ergebnis, das in den meisten Runden vernachlässigt wird und am ehesten auf den Prüfstand gestellt wird.
Eine Runde, bei der lediglich die Rangliste ermittelt wird, hat ihre Aufgabe erfüllt und die Beweise verloren.
Wer gehört dem Gremium an?
Mindestens zwei Gutachter pro Antrag sind erforderlich, und drei lohnen sich bei Anträgen, die nahe an der Fördergrenze liegen, wo bereits eine einzige abweichende Bewertung das Ergebnis beeinflussen kann.
Die Zusammensetzung ist wichtiger als die Größe. Ein Gremium benötigt Programmkenntnisse, damit jemand erkennt, worauf sich die Ausschreibung bezog; Fachkenntnisse, damit jemand beurteilen kann, ob das vorgeschlagene Projekt glaubwürdig ist; und – sofern die Förderung eine bestimmte Gemeinschaft betrifft – jemanden mit direkter Erfahrung in diesem Bereich. Gremien, die ausschließlich aus Programmmitarbeitern bestehen, belohnen eher gut formulierte als gut konzipierte Vorschläge.
Externe Gutachter erhöhen die Glaubwürdigkeit einer Entscheidung und verursachen zeitliche Verzögerungen. Planen Sie die Verzögerung ein, anstatt sie erst nachträglich festzustellen.
Eine Person sollte überhaupt nicht als Bewerter fungieren. Der Vorsitzende leitet die Runde, hält die Bewertungsrubrik bereit und schlichtet Meinungsverschiedenheiten. Ein Vorsitzender, der ebenfalls bewertet, verliert die Befugnis, einen Streit zwischen zwei Personen zu schlichten, die ebenfalls bewertet haben.
Die Kalibrierung – der Schritt, der darüber entscheidet, ob Ergebnisse miteinander vergleichbar sind
Die Bewertungen verschiedener Prüfer sind nur dann vergleichbar, wenn die Prüfer dasselbe bewertet haben. Durch eine Kalibrierung lässt sich feststellen, ob dies der Fall ist, und diese findet vor Beginn der Runde statt, nicht danach.
Das Verfahren ist einfach. Jeder Gutachter bewertet dieselben zwei oder drei Anträge unabhängig voneinander, anschließend vergleicht das Gremium die Ergebnisse nebeneinander. Bei abweichenden Bewertungen erörtert das Gremium die Gründe dafür.
Was hier zutage tritt, ist in der Regel kein schlechter Gutachter. Es handelt sich vielmehr um ein Kriterium, das in der Bewertungsrubrik unzureichend beschrieben ist. Zwei kompetente Personen, die den Begriff „Wirkung“ als „Reichweite“ bzw. als „Tiefe“ interpretieren, werden denselben Antrag mit einem Unterschied von vier Punkten bewerten, und beide haben Recht – und kein noch so ausgeklügeltes Mittelwertverfahren im Nachhinein kann dies beheben. Eine Überarbeitung des Ankerkriteriums hingegen schon.
Das Überspringen der Kalibrierung beseitigt die Abweichung nicht. Sie wird lediglich aus dem Blickfeld in die Gesamtsummen verlagert.
Der erste Durchgang mit geschlossenen Augen und der richtige Zeitpunkt zum Öffnen der Augen
Eine Blindbegutachtung in der ersten Runde, bei der im Rahmen der Kapazitätsprüfung die Identität offengelegt wird, ist ein gängiges und sinnvolles Vorgehen. Die Gutachter bewerten den Vorschlag anhand seines Inhalts und beurteilen anschließend die Organisation dahingehend, ob sie diesen umsetzen kann.
Seien Sie ehrlich hinsichtlich dessen, was eine Anonymisierung bewirken kann. Die Streichung des Namens einer Organisation beseitigt nicht deren Identität aus einem Antrag, in dem Projektstandorte, Partner, der Gründer oder ein Budgetumfang genannt werden, den nur eine Handvoll Organisationen aufbringen könnten. Ein Gutachter, der sich in diesem Bereich auskennt, wird den Antragsteller ohnehin oft erkennen.
Das macht diese Vorgehensweise jedoch nicht sinnlos. Sie beseitigt den automatischen Vorteil, den ein bekanntes Logo beim ersten Lesen bietet – was ein sehr realer Effekt ist –, ohne dabei einen Anspruch auf Anonymität zu erheben, den sie nicht erfüllen kann.
Interessenkonflikte, die vor Beginn der Runde geklärt wurden
In den meisten Runden werden Interessenkonflikte zum falschen Zeitpunkt gemeldet. Wenn man einen Gutachter bittet, einen Interessenkonflikt zu melden, sobald ein Antrag in seiner Warteschlange erscheint, ist man darauf angewiesen, dass er einen Namen in einer Liste von vierzig Personen erkennt – und zwar genau in dem Moment, in dem er versucht, die Liste abzuarbeiten.
Geben Sie dies stattdessen bereits bei der Zusammensetzung des Gremiums an. Jeder Gutachter führt die Organisationen auf, denen er angehört, für die er beratend tätig ist, die er finanziell gefördert hat oder zu denen er eine persönliche Verbindung unterhält; im Rahmen des Zuweisungsprozesses werden diese Anträge dann ausgeschlossen, bevor sie von irgendjemandem eingesehen werden. Der Ausschluss sollte eine Eigenschaft des Systems sein, nicht des Gedächtnisses des Gutachters.
Dann halten Sie dies bitte schriftlich fest. Eine Ablehnung, die niemand schriftlich festgehalten hat, ist nicht von einem Gutachter zu unterscheiden, der einfach nicht geantwortet hat, und dieser Unterschied ist von Bedeutung, wenn jemand fragt, wie eine Entscheidung zustande gekommen ist. In unserem Hinweis zur Führung eines Prüfpfads ist dargelegt, welche Angaben in der Aufzeichnung enthalten sein müssen.
Wenn zwei Gutachter unterschiedlicher Meinung sind
Abweichungen sind Informationen, kein Rauschen. Wie eine Jury damit umgeht, entscheidet darüber, ob die Runde glaubwürdig ist.
Eine Regel hat Vorrang vor der Tabelle: Berechnen Sie niemals einen Durchschnittswert über eine Shortlist-Grenze hinweg. Die Mittelwertbildung aus einer 4 und einer 8 ergibt eine 6, und eine 6 könnte genau dort liegen, wo die Fördergrenze verläuft – was bedeutet, dass die Methode stillschweigend die Entscheidung getroffen hat, die eigentlich dem Gremium oblag.
Die Entscheidungssitzung
Die Aufgabe des Gremiums in diesem Raum ist enger gefasst, als es üblicherweise annimmt. Die Rangliste liegt bereits vor, sie ergibt sich aus der Bewertung. Bei der Sitzung wird entschieden, wo die Grenze verläuft und wie mit den Bewerbungen verfahren wird, die unmittelbar auf beiden Seiten dieser Grenze liegen.
Legen Sie für jeden Antrag ein festes Zeitlimit fest und halten Sie sich daran. Die Sitzungen ziehen sich in die Länge, weil die Gremien Anträge erneut erörtern, die nie auch nur annähernd an der Grenze lagen, und die Kosten dafür tragen letztendlich diejenigen, bei denen dies tatsächlich der Fall war.
Beinahe-Zulassungen verdienen eine konkrete Rückmeldung statt Schweigen: abgelehnt, abgelehnt mit der Aufforderung zur erneuten Bewerbung oder für eine spätere Runde zurückgestellt, falls das Programm so funktioniert. Die Bewertung der Bewerbungen sorgt dafür, dass eine Bewerbung in die engere Auswahl gelangt. Nur die Auswahlkommission kann entscheiden, was mit den Bewerbungen geschieht, die dort liegen bleiben.
Kontaktieren Sie uns oder fordern Sie eine Demo an, um keine Zeit mehr mit Tabellenkalkulationen zu verschwenden – und beginnen Sie mit der schnellen und übersichtlichen Verwaltung von Zuschüssen.
Eine Verhandlung dokumentieren, damit eine Entscheidung einer Anfechtung standhält
Sechs Monate nach Abschluss einer Förderrunde wird oft die Frage gestellt, warum ein bestimmter Antrag abgelehnt wurde. Diese Frage wird von einem Vorstandsmitglied, einem Wiederbewerber, einem Wirtschaftsprüfer oder einem Kollegen gestellt, der die Verantwortung für das Programm übernommen hat.
Fünf Angaben sind hierfür erforderlich, und alle fünf müssen während der laufenden Runde erfasst werden: die Punktzahl pro Kriterium, die gültige Version der Bewertungsvorlage, der Name des Verfassers, das Datum und ein Satz zur Begründung. Dieser Satz ist der Teil, den die Teams oft auslassen, und der einzige Teil, den man tatsächlich lesen kann.
Eine nachträgliche Rekonstruktion anhand einer Tabellenkalkulation und eines Posteingangs ist eine Situation, die es zu vermeiden gilt, da gerade dieser Rekonstruktionsvorgang nicht als verlässlich angesehen werden kann.
Die Einordnung der Begutachtung im Förderzyklus
Die Prüfung erfolgt im Rahmen des Vorvergabeverfahrens – nach den Filterrunden und vor der Vergabe. Was diese Phase erreicht, sollte bereits förderfähig und vollständig sein; dies ist die Aufgabe der vorangehenden Phasen: Unser Leitfaden zur automatisierten Prüfung von Förderanträgen behandelt diese Phasen, und in der Phase der Absichtserklärung wird der Kreis der Bewerber bereits eingegrenzt, bevor ein Gutachter einen vollständigen Antrag liest.
Wenn Sie eher Plattformen als Prozesse bewerten möchten, umfasst der Vergleich von Fördermittelverwaltungssoftware den Funktionsumfang und die Preisgestaltung, während der Leitfaden zu Fördermittelverwaltungssystemen stattdessen vom Prozess ausgeht.
Wie „ Optimy “ die Bewertungsrunde handhabt
Optimy Das Verfahren leitet die in die engere Wahl gekommenen Bewerbungen an interne oder externe Gutachter weiter, wobei bei der Zuweisung Maßnahmen zur Vermeidung von Interessenkonflikten angewendet werden, und hält die Bewertungen bis zum Ende des Begutachtungszeitraums vor den Gutachtern verborgen, sodass eine frühzeitige Bewertung nicht den Rest des Gremiums beeinflussen kann.
Kriterien und Gewichtungen werden nicht in einer Tabellenkalkulation, sondern in Form einer strukturierten Bewertungsrubrik festgehalten, sodass jeder Gutachter dieselben Bewertungsanker vorfindet und die Gesamtwerte über eine gesamte Runde hinweg vergleichbar bleiben. Wenn zwei Gutachter bei einem Kriterium stark voneinander abweichen, wird diese Diskrepanz dem Gutachtergremium zur Diskussion vorgelegt, anstatt stillschweigend durch Mittelwertbildung ausgeglichen zu werden. Jede Bewertung, jede Entscheidung und jeder Ausschluss wird in der Bewerbungsakte festgehalten.
Besuchen Sie die Seite zur Fördermittelverwaltungssoftware oder vereinbaren Sie einen Termin für eine Demo, um Ihre eigene Bewertungsmatrix damit zu prüfen.
