2017/12/01

Indikatoren

Indikatoren spielen in manchen Bereichen eine große Rolle, gelegentlich vielleicht sogar eine zu große. Letzteres ist dann der Fall, wenn die Benutzer dem Indikator eine allzu gewichtige Bedeutung beilegen und damit die Aussagekraft des Indikators überbewerten. Diese Überbewertung kann in der Folge zu Reaktionen führen, die dem ursprünglichen Signal nicht mehr angemessen sind.

Beispiel Außentemperatur: Ich sehe aus dem Fenster in den Garten und bemerke, dass sich dort Reif gebildet hat. Der Reif als (recht grober) optischer Indikator für Temperaturen unter dem Nullpunkt.  Besser ist es natürlich ein Außenthermometer zu haben, das mir die genaue Temperatur anzeigt.

Genau wie in diesem Beispiel ist es sinnvoll, sich Indikatoren als das vorzustellen, was sie ihrer Natur nach sind (oder zumindest sein sollen): Zahlen, die etwas anzeigen. Also etwa die Temperatur.

Unser Leben ist voll von diesen Anzeigern, auch wenn wir uns darüber zumeist gar nicht im klaren sind. Schulnoten gehören ebenso dazu wie Arbeitszeugnisse, Börsenkurse, Wirtschaftsprognosen und anderes. Schulnoten sind ein besonders schönes Beispiel. Im Zuge der allgemeinen Verflachung des Bildungssystems kam es zu einer zunehmenden Abwertung der Notengebung zugunsten von nichtssagendem Palaver, und zwar in der Weise, dass sich jeder Schüler gebauchpinselt fühlen konnte und sollte. Die tatsächlichen Leistungsunterschiede zwischen den Schülern, die ja unabhängig von der Notengebung existieren, sind aber deswegen nicht verschwunden, auch wenn es für oberflächliche Gemüter den Anschein haben könnte. 

Die Gegner der Notengebung führen unter anderem folgendes Argument ins Feld: Schulnoten hätten keinerlei Aussagekraft über den späteren beruflichen Erfolg eines Schülers. Das wird dann üblicherweise mit dem Verweis auf wissenschaftliche Studien begründet. Welche Studien das genau sein sollen, bleibt aber ebenso oft unklar.

Nun wäre es sicherlich vermessen zu behaupten, wer gut in der Schule war, hätte im späteren Leben stets die Nase vorn. Aber im großen und ganzen halte ich das doch für richtig, auch wenn das Leben die eine oder andere Ausnahme bereithält.

Ein Argument wie das mit der mangelnden Aussagekraft der Noten ist eigentlich nicht anderes als eine Nebelkerze. Denn es wird den Schulnoten eine Bedeutung angedichtet, die sie gar nicht haben. Deren Bedeutung ist vielmehr darin begründet, den Leistungsstand der Schüler zu ermitteln. Also herauszufinden, wie gut sie den Stoff verstanden haben, wie gewandt sie in der Anwendung gewisser Fertigkeiten sind. Es ist also zunächst einmal ein Indikator für den Schüler selbst.

Als Folge davon ist die Note dann auch ein Vergleichsmaßstab der Schüler untereinander. Sie tauschen sich über die Ergebnisse aus und erhalten damit eine Rückmeldung, wo ihre individuelle Leistung in der Klasse angesiedelt ist. Dass Lehrer und Eltern diesen Maßstab in gleicher Weise anwenden, liegt in der Natur der Sache.

Klar ist auch, dass man Noten nicht überbewerten sollte. Es gibt in unseren Tagen eine Tendenz hin zu guten und sehr guten Benotungen, schlechte werden dagegen immer seltener vergeben. Das führt zu einer Inflationierung der oberen Ränge, die ja eigentlich etwas Besonderes sein sollten. Gleichzeitig wird eben dadurch die Aussagekraft dieses Indikators entwertet. Wenn 50% eines Jahrganges sehr gut sind, dann verbietet es sich gleichsam von selbst, die übrigen zu Vollidioten zu stempeln, also bekommen die dann ein gut. Damit hätten wir einen Notenschnitt von 1,5.

Das ist natürlich nur ein hypothetisches und überspitztes Beispiel. Aber die Wirklichkeit ist davon nicht weit entfernt. In einem früheren Leben war ich mit der Evaluierung von Forschungsprojekten beschäftigt. Dabei wurden in meinem Fachbereich etwa 500 Projekte eingereicht, von denen dann etwa 80 finanziell gefördert wurden. Die Bewertungsskala reichte von 1 (unteres Ende) bis 10 (oberes Ende). Es zeigte sich in praktisch jedem Jahrgang, dass die Notenverteilung ihren Schwerpunkt zwischen 8 und 8,5 hatte. In diesem Bereich drängten sich allermeisten Projekte, und dort war es auch, wo sich die Trennlinie (cut-off) zwischen Förderung und Nicht-Förderung etablierte. Wer es dann schaffte, war letztlich eine Glückssache. Denn ist ein Projekt mit 8,2 wirklich so viel schlechter wie ein anderes mit 8,3?

Bemerkenswert war an diesen Evaluierungen noch ein anderer Umstand. Die wissenschaftlichen Gutachter mussten neben der Punktbewertung noch eine schriftliche Begründung dazu liefern. Das führt dann zu fast schon komischen Verrenkungen seitens der Gutachter. Wenn ein Antrag offensichtlich so schlecht war, dass er nur wenige Punkte bekommen konnte, dann bemühten sich die Experten im Wortgutachten möglichst viel Positives herauszustreichen, um gleichsam die geringe Punktezahl zu kaschieren. Hätte man nur den Text gelesen, so hätte man eine höhere Punktezahl erwarten können. Das war aber nicht der Fall. Umgekehrt war es aber auch so, dass Projekte mit hoher Punktezahl dann im Begleittext sehr kritisch angegangen und all nur möglichen Defizite aufgelistet wurden. Das war durch die Bank der Fall und nicht nur eine Besonderheit einzelner Gutachter.

Generell sollte man meinen, dass Forschungsprojekte wie andere Dinge auch einer Gaußverteilung gehorchen, wobei der Schwerpunkt irgendwo um den Wert 5 liegen sollte. In Wirklichkeit war diese Verteilung sehr stark nach oben verschoben, was die Aussagekraft der Bewertung extrem verzerrte, und das schien den Gutachtern (allesamt gestandene Wissenschaftler) irgendwie egal zu sein. Dadurch wird aber die Punktzahl als Indikator schon fast wertlos.

Das ist ein schönes (und zugleich praktisches) Beispiel dafür, wie die Inflationierung guter Noten einerseits den Konkurrenzkampf um die begehrten Förderplätze verschärft und ihn andererseits zur Lotterie werden lässt, weil eben etliche nur um ein paar Dezimalen abgehängt werden, die im Grund genommen nicht soviel zu bedeuten haben, wie es auf den ersten Blick scheint.



No comments:

Post a Comment

Note: Only a member of this blog may post a comment.