PISA-Unsinn 2015 – Der turnusmäßige Bildungsgag der OECD

Die OECD hat einen Exportschlager: Die PISA-Studien. Im Abstand von drei Jahren finden die olympischen PISA-Spiele in Mathematik, Naturwissenschaft und Lesen statt. Eine nette Stange Geld kostet das. Und hinterher sind wir klüger.

Hinterher wissen wir, dassDeutsche Schüler besser als der Durchschnitt“ [von was auch immer] sind und dassDeutsche Schüler in Mathe schlechtersind [als wer auch immer]. Beide Meldungen finden sich fast zeitgleich bei ARD und ZDF.

Wie es scheint, ist man bei der ARD bemühter, dem durchschnittlichen Ergebnis etwas „Besseres“ abzugewinnen als beim ZDF, wo man eher eine pessimistische Sicht auf die selben Ergebnisse richtet. Die beiden unterschiedlichen Meldungen, die auf derselben Pressmeldung, den selben Testergebnissen und den selben PISA-Olympics basieren, machen den Unsinn, der hinter PISA steckt mehr als deutlich.

Es geht offensichtlich nicht darum, den Leistungsstand von Schülern zu erheben, sondern darum, eine Hitliste der besten Länder zu erstellen, die es Politikern, Funktionären und Journalisten in gleicher Weise erlaubt, sich zu freuen und auf die gute Bildungspolitik der Vergangenheit hinzuweisen bzw. sich erschreckt zu geben und mehr Mittel für die Bildungspolitik der Zukunft zu fordern. So betrachtet, ist PISA wirklich nützlich.

Nur eines sind die Ergebnisse nicht: vergleichbar – jedenfalls nicht in der dargestellten Weise, die es offensichtlich erlaubt, dieselben Ergebnisse unterschiedlich zu bewerten: positiv bei der ARD, negativ beim ZDF.

pisa-2015-schimaereBesonders verrückt wird die Angelegenheit, wenn man auf die von nahezu allen Medien, die wir zu PISA gescannt haben, verlinkte Seite geht. Dort finden sich keinerlei Werte mehr, sondern nur noch Relationen, lustige Linien, die suggerieren, die Ergebnisse von PISA aus den Jahren 2009 und 2012 seien den Ergebnissen von 2015 vergleichbar.

Das sind sie aber nicht.

Es sind nicht dieselben Schüler, die in den drei Jahren befragt wurden. Entsprechend kann man keine Entwicklung feststellen.

Es sind nicht dieselben Fragen, die den Schülern gestellt wurden. Entsprechend kann man die Ergebnisse nicht vergleichen.

Die PISA-Studien sind Querschnittstudien. Sie geben Auskunft über den Leistungsstand der Schüler, die im jeweiligen Jahr befragt wurden. Sie enthalten keinerlei Information über die Entwicklung, die die Leistungsfähigkeit von Schülern in den drei getesteten Bereichen in den einzelnen Ländern genommen hat. Denn: um es noch einmal zu sagen: Es wurden nicht dieselben Schüler befragt, es wurden nicht dieselben Fragen gestellt, und es wurden nicht dieselben Methoden benutzt, um die Antworten auf die gestellten Fragen mit Punktewerten zu versehen.

Um Letzteres zu sehen muss man nur die Ergebnisse für den HighScorer, die Schüler aus Shanghai in 2012 und Singapur in 2015 betrachten. Die höchsten Werte, die in den drei getesteten Bereichen erreicht wurden, unterscheiden sich deutlich:

[I]

  • Mathematik
    • 2012: 613 Punkte (Shanghai)
    • 2015: 564 Punkte (Singapur)
  • Naturwissenschaft
    • 2012: 580 Punkte (Shanghai)
    • 2015: 556 Punkte (Singapur)
  • Lesen
    • 2012: 570 Punkte (Shanghai)
    • 2015: 535 Punkte (Singapur)

Offensichtlich ist die Spannweite des Punktefelds 2015 viel geringer als sie es noch 2012 gewesen ist. Das kann darauf zurückzuführen sein, dass 2015 schwierigere Fragen gestellt wurden als 2012. Es kann das Ergebnis davon sein, dass 2015 die Forscher bewusst einen kleineren Punkterange verwendet haben, um die Unterschiede zwischen den Ländern geringer zu machen. Es kann darin begründet sein, dass die Schüler, die 2015 befragt wurden, nicht so leistungsstark sind, wie die Schüler, die 2012 befragt wurden, es waren.

All das ist möglich, und all das verhindert, dass man die Ergebnisse zwischen den einzelnen Jahren vergleichen kann.

Wie irrsinnig ein solcher Vergleich ist, zeigt sich, wenn man ein paar weitere Vergleiche für Deutschland anstellt.

[II]
PISA OECDZ.B. im Hinblick auf den Rangplatz, den Deutschland erreicht hat:

  • Mathematik
    • 2012: 16
    • 2015: 16
  • Naturwissenschaft
    • 2012: 12
    • 2015: 16
  • Lesen
    • 2012: 19
    • 2016: 11

Wer also etwas Positives in die Ergebnisse hineinlesen will, der kann sich erzählen, die Ergebnisse deutscher Schüler im Lesen seien 2015 besser als 2012. Wer etwas Negatives in die Ergebnisse hineinlesen will, der kann sich erzählen, die Ergebnisse deutscher Schüler in Naturwissenschaft seien 2015 schlechter als 2012.

Aber sind sie das tatsächlich?

Machen wir die Rechnung mit Blick auf den Abstand zum Spitzenreiter. Wie viele Punkte liegen in den drei Bereichen, zwischen dem Ergebnis deutscher Schüler und dem Ergebnis der Schüler aus dem Spitzenreiter-Land?

[III]

  • Mathematik
    • 2012: 99 Punkte
    • 2015: 58 Punkte
  • Naturwissenschaft
    • 2012: 56 Punkte
    • 2015: 47 Punkte
  • Lesen
    • 2012: 62 Punkte
    • 2015: 26 Punkte

Das Ergebnis dieser Betrachtung: Die Schüler, die im Jahr 2015 getestet wurden, sind in allen Bereichen näher am Spitzenreiter als die Schüler, die 2012 getestet wurden. Der Abstand zur Spitze ist also 2015 geringer als 2012. Aber sind die Schüler 2015 auch besser als die Schüler 2012?

Nein.
Ein Blick auf die durchschnittliche Punktezahl für Deutschland zeigt ein anderes Bild:

[IV]

  • Mathematik
    • 2012: 514 Punkte
    • 2015: 506 Punkte
  • Naturwissenschaft
    • 2012: 524 Punkte
    • 2015: 509 Punkte
  • Lesen
    • 2012: 508 Punkte
    • 2015: 509 Punkte

Im Lesen sind die deutschen Schüler, die 2015 getestet wurden, um einen mageren durchschnittlichen Punkt besser als die anderen deutschen Schüler, die 2012 getestet wurden – mit anderen Fragen. In Mathematik und Naturwissenschaft sind die deutschen Schüler, die 2012 getestet wurden, besser als die Schüler, die 2015 getestet wurden. Indes stellt sich der Abstand zum Spitzenreiter im Jahr 2015 in allen drei Bereichen als geringer dar als er es noch 2012 gewesen ist und nur in Naturwissenschaft erreichen deutsche Schüler 2015 einen schlechteren Rangplatz als ihn andere deutsche Schüler 2012 erreicht haben.

Machen wir eine letzte Rechenspielerei und setzen den Punkteabstand zum Spitzenreiter zum erreichten Spitzenwert in Beziehung und rechnen die unterschiedliche Spannweite der Punkteskala, die sich zwischen 2012 und 2016 ergibt, mit ein. Dann ergibt sich für Deutschland folgender prozentualer Rückstand auf den Spitzenreiter:

[V]

  • Mathematik
    • 2012: 16,2% Rückstand
    • 2015: 18,3% Rückstand
  • Naturwissenschaft
    • 2012: 9,6% Rückstand
    • 2015: 12,5% Rückstand
  • Lesen
    • 2012: 10,8% Rückstand
    • 2015: 11,0% Rückstand

Und schon sind die Leistungen der Schüler im Jahre 2015 rundum schlechter als die Leistungen der Schüler 2012.

Das PISA-DilemmaSie sind Gewerkschaftsfunktionär und wollen mit PISA die Notwendigkeit begründen, mehr Geld für Lehrer, Schulsozialarbeiter und GEW-Funktionäre auszugeben? Wir empfehlen die zuletzt dargestellten Ergebnisse: PISA zeigt: Bund muss mehr in Bildung investieren!

Sie sind Regierungspolitiker und wollen zeigen, dass die Bildungspolitik in Deutschland auf dem richtigen Weg ist? Wir empfehlen die unter [III] dargestellten Ergebnisse, die zeigen, dass deutsche Schüler in allen Bereichen 2015 besser abgeschnitten haben als 2012.

Sie wollen ein gemischtes Bild zeichnen, mehr Bundesmittel für Bildung abzwacken, sich aber auch für das bereits erreicht auf die Schulter klopfen, z.B. weil sie Vertreter des Deutschen Lehrerverbands sind? Nichts leichter als das: Wir empfehlen [IV] mit der Betonung der Verbesserung im Lesen und geben dazu den Hinweis, dass die Ergebnisse deutscher Schüler in Mathematik und Naturwissenschaft im Jahr 2015 über den Durchschnitt aller Ländern, die an PISA teilgenommen haben, liegen.

Und so bietet PISA für jeden etwas, jeder kann seine Schäfchen damit ins Trockene bekommen. Und darum geht, wenn man nationale Förderung einsammeln will, wie dies die OECD mit PISA sehr erfolgreich tut: Keinem wehtun und jedem das liefern, was er benutzen kann. In dieser Hinsicht ist PISA ein Erfolg. In wissenschaftlicher Hinsicht ist es ein Fiasko.


Hinweise für ScienceFiles?
Schreiben Sie uns.

Print Friendly

Profile photo of Michael KleinAbout Michael Klein
... concerned with and about science

3 Responses to PISA-Unsinn 2015 – Der turnusmäßige Bildungsgag der OECD

  1. Pingback: [Kritische Wissenschaft] PISA-Unsinn 2015 – Der turnusmäßige Bildungsgag der OECD

  2. ralphjoe says:

    Sehr gut nachvollziehbare, interessant Ausführung zu PISA. Ich finde die Darstellung ist ausgesprochen gut auf den Punkt gebracht. Danke dafür.

  3. Pingback: PISA-Unsinn 2015 – Der turnusmäßige Bildungsgag der OECD – MoshPit's Corner

error: Content is protected !!
Profile photo of Michael Klein
Holler Box
Skip to toolbar