Studie zu anonymen Bewerbungen: Methode miserabel – Schlussfolgerungen falsch

Vor einigen Tagen ging es wie ein Lauffeuer durch die Presse: Anonyme Bewerbungen reduzieren die Diskriminierug. Wenn Bewerber nicht wissen, dass Lieschen Müller und Ali Karomoglu sich bewerben, dann haben beide eine höhere Wahrscheinlichkeit, zum Bewerbungsgespräch eingeladen zu werden. Das war die Nachricht, die die Leiterin der Antidiskriminierungsstelle, Christine Lüders, in die Welt verbreitete, und das war auch die Nachricht, die die deutschen Medien ungeprüft und brav übernommen haben: „Anonyme Bewerbung nützt Frauen und Migranten“, titelte die Welt, „Besser anonym bewerben“, empfahl die FAZ, „Anonyme Bewerbung erhöht Chance für Frauen“, wusste das Hamburger Abendblatt, „Anonyme Bewerbung hilft Frauen“, titelte die Rheinische Post und „Anonyme Bewerbung: Das Vorurteil unmöglich machen“, moralisierte die Frankfurter Rundschau.

Mediendeutschland ist sich somit einig: anonyme Bewerbungen verbessern die Chancen zum Bewerbungsgespräch eingeladen zu werden. Keiner der deutschen Medienschaffenden hat sich die Mühe gemacht, das Ergebnis, zu dessen Verbreitung er sich bereitwillig eingefunden hat, zu prüfen, keiner gar die Notwendigkeit gesehen, das vermeintlich eindeutige Ergebnis zu hinterfragen. Das ist schade und belegt einmal mehr, wie wichtig das kritische Denken und die Kritik sind, die wir in unserem Grundsatzprogramm beschrieben haben. Beide, kritisches Denken und Kritik, helfen dabei, nicht zum willfährigen Propagandainstrument für ideologisch gewünschte, wissenschaftlich aber nicht einmal ansatzweise vertretbare Ergebnisse zu werden.

Kritisches Denken

Wären die Journalisten, die das Ergebnis der Antidiskriminierungsstelle verbreitet haben, das sie  über dpa oder direkt über den Presseverteiler der Antidiskriminierungsstelle erreicht hat, kritisch, sie hätten zumindest gefragt, warum sie glauben sollen, was hier behauptet wird. Und wenn sie sich diese Frage gestellt hätten, wer weiß, der ein oder andere von Ihnen hätte vielleicht in die bereitgestellte Zusammenfassung der Ergebnisse geblickt, die belegen sollte, was die Antidiskriminierungsbeauftragte Lüders da behauptet. Hätten diese fiktiven und kritischen Journalisten in die „Zusammenfassung der Ergebnisse“ geblickt, sie hätten sich vielleicht darüber gewundert, dass die Zusammenfassung aus einer „Ausgangssituation“ besteht, die in allgemeiner Form berichtet, was es zu anonymisierten Bewerbungsverfahren aus anderen Ländern zu berichten gibt und Vorschläge macht, wie man anonymisierte Bewerbungsverfahren durchführen kann und aus einem Kapitel „Fazit und Ausblick“, auf dessen vier Seiten sich eine dreiviertel Seite findet, die sich mit den Ergebnissen einer empirischen Untersuchung, einer „Pilotstudie“ beschäftigt und in der die  von der Antidiskriminerungsbeauftragten verkündeten Ergebnisse  formuliert sind. Wären die fiktiven kritischen Journalisten darüber hinaus noch bereit gewesen, die präsentierten Erbnisse zu reflektieren, sie wären an Formulierungen wie den Folgenden gestrauchelt:

(1) Innerhalb der verschiedenen anonymisierten Bewerbungsverfahren war die Chance für Frauen und Personen mit Migrationshintergrund, eine Einladung zum Vorstellungsgespräch bzw. Eignungstest zu erhalten, genauso hoch wir für andere Gruppen. (2) Frauen haben im Vergleich zum herkömmlichen Verfahren tendenziell bessere Chancen, zu einem Einladungsgespräch eingeladen zu werden. (3) Die ermittelten Effekte anonymisierter Bewerbungen sind dabei allerdings nicht als repräsentativ zu betrachten, da die Mehrheit der teilnehmenden Organisationen bereits zuvor aktive Maßnahmen zur Förderung von Vielfalt ergriffen hatten. (4) Hatten Bewerbende mit Migrationshintergrund zuvor schlechtere Chancen auf eine Einladung, haben sich diese nach der Einführung anonymisierter Bewerbungsverfahren verbessert.

In aller Kürze:  Aussage (1) basiert auf der Prämisse, das Frauen aktiv benachteiligt werden. Diese Prämisse muss man prüfen, man kann sie nicht einfach voraussetzen, insbesondere nicht in Unternehmen, die (3) bereits aktiv die „Vielfalt“ fördern, oder wollen die Autoren tatsächlich nahelegen, bei Teilnehmern der Studie wie L’Oreal, der Deutschen Telekom, der Deutschen Bundespost oder dem Bundesministerium für Familie, Senioren, Frauen und Jugend, würden Frauen aktiv benachteiligt? Wie können Effekte in einem anonymisierten Verfahren dadurch beeinträchtigt werden, dass Unternehmen (3) aktiv Vielfalt fördern? Der Witz an anonymisierten Verfahren besteht doch gerade darin, dass bei anonymisierte Bewerbungen „Charakteristika der Person“ NICHT in Rechnung gestellt werden. Schließlich: wenn zutrifft, was in (4) steht, dann müssen dieselben Migranten sich wiederholt beim selben Unternehmen auf die selbe Stelle beworben haben, was eher ungewöhnlich ist.

Schließlich fällt es jedem auf, der sich ein wenig mit empirischen Studien auskennt, dass Fazit und Ausblick des Abschlussberichts des „Pilotprojekts“ nicht eine einzige Zahl enthalten. Wie vielen Bewerbungen wurden untersucht? Wie viele der Bewerber hatten einen Migrationshintergrund? Wie viele waren weiblich? Wie wurde untersucht, ob anonyme Bewerbungen einen Effekt auf die Wahrscheinlichkeit haben, zu einem Bewerbungsgespräch eingeladen zu werden? Alle diese Fragen bleiben unbeantwortet, und, wäre man ein kritischer Journalist, man würde sich fragen, warum?

Als kritischer Wissenschaftler geht man noch weiter und sucht den Abschlussbericht in Gänze, um zu untersuchen, wie die seltsamen Ergebnisse zustande gekommen sind. Die Suche, die nach einiger Anstrengung tatsächlich mit dem Abschlussbericht „belohnt“ wird, erbringt Erstaunliches: Nicht nur, zeigen die Ergebnisse des Pilotprojekts nicht, was gemeldet wurde, sie zeigen das Gegenteil.

Methodische Kritik

Die Hypothese, die eigentlich geprüft werden soll, lautet wie folgt: Anonyme Bewerbungsverfahren haben gegenüber nicht-anonymen Bewerbungsverfahren den Vorteil, dass die Wahrscheinlichkeit zu einem Bewerbungsgespräch eingeladen zu werden, nicht von Faktoren beeinflusst wird, die nichts mit den Fähigkeiten und Kenntnissen des Bewerbers zu tun haben. Methodisch betrachtet, erfordert es diese Fragestellung, zwei Kontrastgruppen zu bilden: anonyme Bewerber und nicht-anonyme Bewerber. Für beide Gruppen ist dann die Wahrscheinlichkeit, zu einem Bewerbungsgespräch eingeladen zu werden, zu untersuchen. Damit die Ergebnisse auch valide und reliabel sind, ist es zudem notwendig, die Umfeldeinflüsse zu kontrollieren, was man am einfachsten dadurch gewährleisten kann, dass man Bewerbungen, die im selben Unternehmen und für die selbe Stelle eingehen, zufällig in zwei Stapel teilt, ein Stapel wird im weiteren Verlauf anonymisiert, der andere nicht. Letzteres stellt ein quasi-experimentelles Design dar, für das mit der höchsten Wahrscheinlichkeit angenommen werden kann, dass es valide Ergebnisse erbringt.

Die Autoren der Pilotstudie machen nichts dergleichen. Zwar umgeben sie sich mit einer gelehrten Sprache, die – wäre sie vom Wortgebrauch in den empirischen Sozialwissenschaften nicht so weit entfernt (so sprechen sie von Verfahren und meinen Stichproben) – fasst den Eindruck von Professionalität erwecken könnte, aber sie haben offensichtlich keine Ahnung davon, wie man empirisch saubere Forschung durchführt. Das war die Behauptung, nun folgt der Beleg:

Den Autoren stehen insgesamt 9 verschiedene Stichproben zur Verfügung. Für die 9 Stichproben wird im ersten Schritt untersucht, in welcher Weise die Wahrscheinlichtkeit, im anonymisierten Verfahren zu einem Bewerbungsgespräch eingeladen zu werden, durch Geschlecht und Migrationshintergrund vorhergesagt werden kann. Dabei zeigt sich in 4 von 9 Fällen, dass Frauen eine höhere Wahrscheinlichkeit haben, zu einem Bewerbungsgespräch eingeladen zu werden als Männer, in 2 von 9 Fällen zeigt sich, dass ein Migrationshintergrund die Wahrscheinlichkeit, zu einem Bewerbungsgespräch eingeladen zu werden, reduziert. In den restlichen Stichproben ergeben sich keine Effekte auf die Wahrscheinlichkeit, zu einem Bewerbungsgespräch eingeladen zu werden, weder für Geschlecht noch für Migrationshintergrund.

Ein Blick auf die einzelnen Stichproben zeigt, dass sie sich im Hinblick auf die Anzahl der Bewerber, die berücksichtigt werden und im Hinblick auf die Verteilung der beiden „erklärenden Variablen“ Geschlecht und Migrationshintergrund unterscheiden. Dabei fällt auf, dass ein weibliches Geschlecht sich immer dann positiv auf die Wahrscheinlichkeit, zu einem Bewerbungsgespräch eingeladen zu werden, auswirkt, wenn die Bewerber sowieso in ihrer Mehrzahl weiblich sind. Die Anteile von weiblichen Bewerbern variieren in den relevanten Stichproben zwischen 64% und 80%. Angesichts dieser Mehrzahl weiblicher Bewerber ist die Tatsache, dass weibliche Bewerber zudem eine höhere Wahrscheinlichkeit haben, zu einem Bewerbungsgespräch eingeladen zu werden, eigentlich ein klarer Hinweis darauf, dass männliche Bewerber benachteiligt werden. Dies würde einem als Sozialforscher auffallen, wäre man an den Ergebnissen interessiert und nicht and er Ideologie.

Sodann erinnern sich die Autoren offensichtlich daran, dass die bisherigen Analysen nicht dazu geeignet sind, zu belegen, dass anonymisierte Bewerbungsverfahren eine Chancengleichheit herzustellen im Stande sind. Denn, wie aus der oben formulierten Hypothese hervorgeht, braucht es eine Konstrast- oder Kontrollgruppe, damit man Aussagen darüber machen kann, wie und ob sich anonymisierte Bewerbungsverfahren von nicht-anonymisierten Bewerbungsverfahren im Hinblick auf die Wahrscheinlichkeit auswirken, zu einem Bewerbungsgespräch eingeladen zu werden. Hätte man dies zu Anfang der „Pilotstudie“ bedacht, es wäre sicher möglich gewesen, die einzelnen Stichproben in zwei Bewerbergruppen, anonyme und nicht-anonyme, zu teilen. Aber offensichtlich ist diese Notwendigkeit erst im Verlauf der „Pilotstudie“ erkannt worden, weshalb notdürftig geflickt wird, was ursprünglich vergessen wurde. Dazu werden Daten nicht-anonymisierter Bewerbungsverfahren aus der Bewerbungsvergangenheit des entsprechenden Unternehmens, aus einer parallelen Stellenausschreibung oder einer anderen Region zusammengeklaubt, und mit den Daten aus den anonymisierten Bewerbungsverfahren zusammengespielt , und es wird getestet, wie sich die Wahrscheinlichkeit, zu einem Bewerbungsgespräch eingeladen zu werden, zwischen anonymisierten und nicht-anonymisierten Bewerbern unterscheidet. Abermals gibt es 9 Stichproben und die folgenden Ergebnisse.

• Stichprobe 1: Bei anonymisierter Bewerbung werden weniger Bewerber eingeladen als bei nicht anonymisierter Bewerbung. Keine weiteren Effekte.
• Stichprobe 2: Bei anonymisierter Bewerbung werden weniger Bewerber eingeladen als bei nicht anonymisierter Bewerbung, und es werden weniger Bewerber mit Migrationshintergrund eingeladen als bei nicht anonymisierter Bewerbung.
• Stichprobe 3 und 4 sind aus der Analyse verschwunden
• Stichprobe 5: anonymisierte Bewerbungsverfahren reduzieren die Anzahl der Bewerber, die zur Bewerbung eingeladen werden, was vor allem zu Lasten von Bewerbern mit Migrationshintergrund geht.
• Stichprobe 6: Bei anonymisierter Bewerbung werden weniger Bewerber eingeladen als bei nicht anonymisierter Bewerbung. Keine weiteren Effekte.
• Stichprobe 7: keinerlei Effekte einer anonymisierten Bewerbung.
• Stichprobe 8: Bei anonymisierter Bewerbung werden mehr Bewerber eingeladen, und es werden mehr Frauen eingeladen bzw. bei anonymisierter Bewerbung ergeben sich keinerlei Unterschiede im Vergleich zu nicht-anonymisierten Bewerbungen
• Stichprobe 9: Bei anonymisierter Bewerbung werden mehr Bewerber eingeladen als bei nicht anonymisierter Bewerbung. Keine weiteren Effekte.

Die Aufstellung zeigt, dass anonymisierte Bewerbungsverfahren in drei von sieben Stichproben dazu führen, dass weniger Bewerber eingeladen werden als in nicht anonymisierten Bewerbungsverfahren, dass in zwei Stichproben ein Effekt von Migrationshintergrund zu finden ist, und zwar ein negativer, d.h. anonymisierte Verfahren reduzieren die Wahrscheinlichkeit für Personen mit Migrationshintergrund zu einem Bewerbungsgespräch eingeladen zu werden, und dass in sechs von sieben Stichproben keinerlei Effekt von Geschlecht zu finden ist. Lediglich in einer (Teil-)Stichprobe, Stichprobe 8, findet sich eine positive Wirkung anonymisierter Bewerbungen auf die Wahrscheinlichkeit weiblicher Bewerber, zum Bewerbungsgespräch eingeladen zu werden. Interessanter Weise verraten die Autoren der „Pilotstudie“ nicht, wie sich die Bewerber auf die beiden Geschlechter verteilen, so dass man allerspätestens an dieser Stelle den Eindruck nicht mehr los wird, dass hier ganz offen die Daten, nun, sagen wir ideologisch gedehnt wurden.

Es bleibt festzustellen, dass den Daten des Pilotprojekts keinerlei Evidenz dafür zu entnehmen ist, dass sich anonymisierte Bewerbungsverfahren positiv auf die Wahrscheinlichkeit von Migranten auswirken, zu einem Bewerbungsgespräch eingeladen zu werden. Es finden sich etliche Belege dafür, dass anonymisierte Bewerbungsverfahren keinerlei Effekt auf die Wahrscheinlichkeit von Frauen haben, zu einem Bewerbungsgespräch eingeladen zu werden, und es finden sich Indizien dafür, dass männliche Bewerber von den Unternehmen, die an der Pilotstudie teilgenommen haben und die ja bereits „Vielfalt fördern“ benachteiligt werden. Männer, die sich in den letzten Jahren bei der Deutschen Post, der Deutschen Telekom, L’Oreal, Procter & Gamble, dem Bundesfamilienministerium, der Bundesagentur für Arbeit, Regionaldirektion Nordrhein-Westfalen, der Stadtverwaltung Celle oder bei MYDAYS beworben haben und nicht zum Einstellungsgespräch eingeladen wurden, sollte sich entsprechend an die Antidiskriminierungsstelle wenden!

Ich habe schon viele schlechte Studien gesehen. Auch Studien, bei denen deutlich wurde, dass die Macher von empirischer Sozialforschung nicht allzu viel Ahnung haben, sind schon in großer Zahl über meinen Schreibtisch gegangen. Aber diese Studie, die von der Kooperationsstelle Wissenschaft und Arbeitswelt an der Europa-Universität Viadrina in Frankfurt an der Oder ausgeführt wurde, schlägt wirklich alles bisher dagewesene. Die methodische Unbedarfheit grenzt an Ignoranz und die Interpretation der Ergebnisse an Betrug oder kollektives Halluzinieren. Das ganze Machwerk ist eine Schande für die Gemeinde der empirischen Sozialforscher. Und deshalb finde ich es unglaublich, dass das Institut zur Zukunft der Arbeit, wie es auf dem Deckblatt heißt, und das zu den wenigen deutschen Instituten gehört, die international angesehen sind, sich an dieser Schmach der empirischen Sozialforschung beteiligt hat.

Epilog

Was der Unbedarftheit oder Ignoranz der Autoren dieser „Pilotstudie“ die Krone aufsetzt, ist das vollständige Fehlen von Kontrollvariablen (außer deren „nominaler“ Berücksichtigung), wie z.B. Bildungsabschluss oder Berufserfahrung in der Analyse und somit das Fehlen zentraler Variablen, von denen man annehmen muss, dass sie einen Einfluss auf die Wahrscheinlichkeit, zu einem Bewerbungsgespräch eingeladen zu werden, haben – unglaublicher methodischer Dilettantismus!

Bildnachweis:
Personalwirtschaft