Reine Geldverschwendung: Ministerium finanziert Nicht-Wissen-Wollen-Forschung

Stellen sie sich vor, sie haben ein neues Medikament in Auftrag gegeben. Es soll verhindern, dass es Menschen beim Betrachten öffentlich rechtlicher Programme schlecht wird. Wie prüfen Sie die Wirksamkeit dieses Medikaments?

1. Sie fragen die Programmverantwortlichen, ob Sie den Eindruck haben, dass öffentlich-rechtliche Fernseher sich heute seltener übergeben als vor Einführung des Medikaments?
2. Sie fragen die öffentlich-rechtlichen Fernseher, ob sie sich nach Einnahme des Medikaments weniger übergeben als davor?

Stellen Sie sich vor, sie beauftragen 25.000 Sozialarbeiter bundesweit damit, Jugendbanden zu infiltrieren und dafür zu sorgen, dass sich die von den Jugendbanden ausgehende Kriminalität verringert. Wie evaluieren Sie den Erfolg, der von ihnen beauftragten Maßnahmen?

1. Sie befragen die 25.000 Sozialarbeiter danach, ob sie den Eindruck haben, dass die in Jugendbanden organisierten Jugendlichen seltener Straftaten begehen als vor dem persönlichen Einsatz der entsprechenden Sozialarbeiter?
2. Sie befragen Jugendliche aus Jugendbanden, die von Sozialarbeiten infiltriert wurden, ob sie nun weniger Straftaten verüben als vor der Infiltration durch den Sozialarbeiter?
3. Sie nehmen die Polizeiliche Kriminalstatistik zur Hand und betrachten die Entwicklung der jugendlichen Tatverdächtigen, denen Bandenkriminalität zur Last gelegt wird?

Wie viele von unseren Lesern haben sich für die jeweils unter 1 genannte Alternative entschieden?

Falls sich jemand dafür entschieden hat, so bitten wir um einen erklärenden Kommentar, denn es ist uns nicht nachvollziehbar, welche mit der Realität übereinstimmenden Informationen man bekommt, wenn man Ziegen nach dem Gedeihen des Kopfsalats fragt.

Anlaß für diese Einleitung ist eine eMail von Thomas Heppener, Leiter des Referats Demokratie und Vielfalt im Bundesministerium für Familie, Senioren, Frauen und Jugend. Richtig! Bei Stammlesern wird vielleicht eine Glocke läuten! Ja, wir haben eine Antwort auf unsere eMail an die politischen Funktionsträger im BMFSFJ erhalten, eine mit Verweis auf einen Abschlussbericht und eine nicht ausreichende Antwort, in der vor allem jeder Versuch, den Verbleib von finanziellen Mitteln aufzuklären, die von Steuerzahlern aufgebracht werden, unterbleibt (dazu bald mehr, denn wir haben natürlich zurückgeschrieben).

Es ist wirklich verblüffend, wie wenig transparent deutsche Ministerien sind, wenn es darum geht, den Verbleib der Gelder von Steuerzahlern offenzulegen. Wenn man bedenkt, wie gerne Politiker die Forderung nach Transparenz an Unternehmen herantragen, muss man feststellen, dass das heimliche Getue um die Verwendung von Steuergeldern, wie es das BMFSFJ auszeichnet, Schlimmes ahnen lässt.

Doch dazu bald ausführlicher.

Zunächst zu den Links, die uns der Herr Heppener zur Verfügung gestellt hat. Ja, es waren gleich mehrere! Leider münden die entsprechenden Links immer auf denselben Endbericht, und da steter Tropfen den Stein höhlt, haben wir uns die angeblich wissenschaftliche Begleitforschung zum “Bundesprogramm TOLERANZ FÖRDERN – KOMPETENZ STÄRKEN” genauer betrachtet. Und hier kommt unsere kleine Umfrage vom Beginn dieses Posts wieder ins Spiel, denn beim BMFSFJ weiß man um die Vorteile, die daraus erwachsen, dass man Ziegen fragt, wie der steuerfinanzierte Salat gedeiht.

Ziel der Begleitforschung ist es, “die neu eingerichteten Lokalen Aktionspläne im Hinblick auf ihre Wirkungen, die bereits etablierten, im Vorgängerprogramm “VIELFALT TUT GUT gestarteten Aktionspläne bezüglich der erreichten Nachhaltigkeit zu untersuchen” (42). Kurz: Ziel ist es in wissenschaftlicher Terminologie, die Programme zu evaluieren, in für Steuerzahler relevanter Terminologie, zu untersuchen, ob die eingesetzten Steuermittel auch einen Effekt hatten, außer eine Meute von Hochschulabsolventen und Mitarbeitern durchzufüttern und in umgangssprachlich: zu schauen, ob der ganze Zinnober etwas gebracht hat.

Der Zinnober, so geht aus der vermeintlich wissenschaftlichen Begleitforschung hervor, umfasst 4 “Themencluster”, nämlich “Antisemitismusprävention” (14 Modellprojekte), “rechtsextrem orientierte Jugendliche” (13 Modellprojekte), “Zusammenleben in der Integrationsgesellschaft (12 Modellprojekte) und “Umgang mit Vielfalt und Differenz im Elementar- und Primarbereich” (11 Modellprojekte) (53). Man würde angesichts dieser Themenschwerpunkte erwarten, dass evaluiert wird, ob die 14 Modellprojekte, die sich der Prävention von Antisemitismus widmen, auch Antisemitismus verhindern, ob die rechtsextremen Orientierungen bei Jugendlichen, denen sich 12 Modellprojekte widmen, abgebaut oder verringert wurden usw. Man würde also von einer Evaluation der Programmwirksamkeit im Rahmen einer angeblich wissenschaftlichen Begleitforschung erwarten, dass sie die Außenwirksamkeit der Modellprojekte untersucht und am Ende die Frage beantwortet, ob die Steuergelder in Modellprojekt 1 bis 50 in den Sand gesetzt wurden oder nicht.

Das würde man vor dem Hintergrund eines gesunden Menschenverstandes und wissenschaftlicher Lauterkeit erwarten. Und wer dies erwartet, der hat seine Rechnung ohne z.B. Ursula Bischoff, Frank Greuel, Susanne Johansson, Frank König, Stefanie Reiter oder Eva Zimmermann gemacht, die im vom BMFSFJ finanzierten Deutschen Jugendinstitut damit beschäftigt wurden, Ergebnisse der wissenschaftlichen Begleitungen und der Programmevaluation anzufertigen.

Programmevaluation beim DJI besteht nicht darin, die Wirksamkeit anhand objektiver Faktoren, wie einer Verringerung der Zahl rechtsextrem orientierter Jugendlicher oder einem Abbau antisemitischer Einstellungen als Folge der entsprechenden Modellprojekte durch z.B. eine Befragung von Jugendlichen, die den Modellprojekten unterzogen wurden, zu prüfen. Nein, die Programmevaluation, die man beim DJI bevorzugt, die ist keine Evaluation, sondern ein billiger und unehrlicher Versuch, Legitimation für Maßnahmen und weitere Fördermittel zu beschaffen.

Und damit der Versuch nicht gleich auffliegt, kommt er mit dem Versuch, Leser zu beeindrucken, daher:

“Hierzu wurde ein Multimethodedesign genutzt, das standardisierte quantitative Erhebungen und vertiefender qualitative Befragungen verschränkt sowie ein panelartiges Design, das mehrere Erhebungs- beziehungsweise Befragungswellen und insbesondere Eingangs- und Ausgangsmessungen umfasst. Weiterhin wurde eine zusätzliche Prüfung beziehungsweise Ergänzung der wissenschaftlichen Befunde durch die Einbeziehung der Perspektive externer Experten aus den Förderregionen sowie von Befragungsdaten aus einer kleineren Vergleichsgruppe von Regionen ohne Aktionsplan vorgenommen.” (42)

Klingt gelehrt – Multimethode[n]design – oder? Oder: Eingangs- und Ausgangsmessung oder “panelartiges Design”. Panelartiges Design klingt wie Kaffeeersatzstoff, nur besser, externe Experten sind immer gut und kleinere Vergleichsgruppen in Regionen ohne Aktionsplan klingt fast wie “quasi-experimentartiges Design”. Viel methodisches Brimborium, das die DJIler hier auffahren, um zu beeindrucken und beeindrucken müssen sie, denn das, was nachfolgt, ist so unterirdisch, dass man gerne die Tischplatte mit der Stirn durchschlagen würde.

Denn: Das ganze methodische Brimborim wird genutzt, um keinen Schritt außerhalb der entsprechenden Modellprojekte machen zu müssen. Kein Jugendlicher wird gefragt, ob ihm Modellprojekt 1 etwas gebracht hat, ober er nun nicht mehr rechtsextrem orientiert ist, ob er keine antisemitischen Sprüche mehr ablässt. Kein Versuch wird unternommen, mit Blick auf die “Zielgruppen der Modellprojekte” das “panelartige Design” zu nutzen, um zu untersuchen, ob ein wie auch immer gearteter Effekt der Modellprojekte auf die “Zielgruppe” feststellbar ist.

Statt dessen wurden 87 “Koordinierungsstellen” befragt, also vermutlich hat die Sekretärin der Koordinierungsstelle den standardisierten Fragebogen ausgefüllt, in dem z.B. die Frage nach der “operativen Zielerreichung” enthalten war. Die “Koordinierungsstellen” haben eingeschätzt, wie gut es gelungen ist, das “Engagement deutungsmächtiger Akteure” zu gewinnen oder “Gender Mainstreaming umzusetzen”. Antworten konnten sie mit “gut”, “befriedigend” und “entwicklungsbedürftig”, nicht dass noch jemand auf die Idee kommt, eine Frage mit “schlecht” oder gar “gar nicht” zu beantworten. Das wäre dem Auftrag der pseudo-wissenschaftlichen Legitimationsforschung nicht entsprechend und muss daher ausgeschlossen werden.

Aber wir wollen nicht ungerecht sein. Immerhin wurden auch 4.060 Teilnehmer an 290 Einzelprojekten bundesweit befragt, wie sie die besuchten Projekte bewerten, und zwar im Hinblick auf Inhalt, Gestaltung oder Ablauf. Im Durchschnitt wurden die Projekte mit 1,9 bewertet (51). Was das bedeutet, wer die Bewertung durchgeführt hat, wer überhaupt an den Projekten teilgenommen hat, ob es sich bei den Projekten um die Netzwerktreffen gehandelt hat, bei denen die Angestellten von Projekt 1 mit den Angestellten von Projekt 290 Bekanntschaft geschlossen haben, das alles sind Fragen, die die angeblich doch wissenschaftlichen Begleitforscher offensichtlich nicht interessieren und entsprechend unbeantwortet bleiben müssen. Aber: Schön war’s – oder so.

Und weiter geht es im Multimethode[n]design. Es werden qualitative Vertiefungsinterviews geführt, dieses Mal nicht mit der Sekretärin, die vermutlich den standardisierten Fragebogen ausgefüllt hat, sondern wiederum vermutlich, denn Angaben fehlen, mit dem Leiter des Modellprojekts oder seiner rechten Hand, sofern er eine solche hat. Es soll schließlich nichts dem Zufall überlassen bleiben. Entsprechend entstammen diesen qualitativen, vertiefenden Interviews auch entsprechend qualitativ tiefe Erkenntnisse wie: “die Strategie der gesellschaftlichen Aufklärung” und “die Strategie der öffentlichen Gegenwehr” haben sich bewährt. Wahrlich!

Damit nicht genug, 51 Modellprojekte wurden genauer unter die Lupe genommen, 16 gar intensiv begleitet:

“So wurden die Konzepte der einzelnen Modellprojekte sowie weitere wichtige Dokumente analysiert und jedes Projekt vor Ort aufgesucht. Während dieser Besuche fanden leitfadengestützte Interviews, in den meisten Fällen auch Beobachtungen von
Projektaktivitäten statt. Außerdem beteiligten sich alle Modellprojekte zu drei unterschiedlichen Zeitpunkten an einer Online-Befragung zu ihrer Entwicklung. Am Ende der Laufzeit wurden telefonische Interviews mit den Projektleitungen zu deren Nachhaltigkeitsstrategien durchgeführt. Eine zentrale Bedeutung haben außerdem zweitägige Workshops, die jeweils im Herbst 2012 und 2013 mit Vertreter/innen aller beteiligten Modellprojekte erfolgten” (52).

So hatten auch die Begleitforscher ihren Day “out” und konnten dabei so interessante und wichtige Erkenntnisse sammeln wie: “Modellprojekte ermöglichen Selbstwirksamkeitserfahrungen”, “Modellprojekte beziehen die emotionale Ebene mit ein”, “Modellprojekte knüpfen an die Lebenswelt der Zielgruppe an”, “Modellprojekte begegnen ihren Zielgruppen wertschätzend” (56). Modellprojekte scheinen dem Ziel verschrieben zu sein, Wohlfühlgemeinschaften für die dort Beschäftigten zu schaffen, weshalb auf die Auswahl der Zielgruppe großen Wert gelegt werden muss: Nicht dass die Zielgruppe nicht zum Wohlfühlen der Modellbeschfätigten beiträgt.

Die Begleiter haben bei ihrer Begleitung Herausragendes endeckt:

• Perspektivwechsel führt zu Reflexion (58);
• Lebensweltbezug und emotionale Beteiligung befördern Empathie (58);
• Prävention wirkt durch vernetztes Handeln (60);
• Modellprojekte bieten innovative Antworten auf neue Herausforderungen (60);
• Erfahrungen und Ergebnisse wirken nachhaltig;

Wir befinden uns in einer schönen virtuellen Welt, in der die Begleiter längst vergessen haben, dass sie die Wirkung der Modellprojekte und schlimmer noch: die sinnvolle Verwendung von Steuergeldern evaluieren sollen. Statt sich auf die Zielgruppe der Modellprojekte zu stürzen, Indikatoren zu sammeln, anhand derer man eine Außenwirkung der entsprechenden Modellprojekte beurteilen und bewerten könnte, wird die doch angeblich wissenschaftliche Begleitforschung zu einem narzistischen Modellprojekt in Gefälligkeit, bei dem nicht die Außenwirkung, sondern die Selbstbeschäftigung betrachtet wird.

Folglich besteht der angebliche Evaluationsbericht in weiten Teilen aus der Beschreibung der Art und Weise, in der sich die in Modellprojekten von Steuerzahlern Finanzierten ihre Zeit vertrieben haben, und zwar damit, dass sie darüber nachgedacht haben, was sie einmal machen könnten, damit, dass sie sich überlegt haben, welche Konzepte sie einmal entwickeln könnten, dass sie diese Konzepte dann entwickelt haben und sich nach Entwicklung überlegt haben, wie die Konzepte zur Realität passen könnten und wichtiger noch, wie sie mit den bereits in der Vergangenheit entwickelten Konzepten verbunden werden können. Störende Fragen wie die nach der Wirksamkeit der Konzepte, werden in dieser virtuellen Welt gar nicht erst gestellt, gemäß der Maxime, die Konzepte sind gut gemeint, also sind sie auch wirksam.

Kurz: Die Steuergelder, die 30,5 Millionen Euro, die u.a. ausgegeben wurden, um Toleranz zu fördern und Kompetenz zu stärken, sie wurden im Wesentlichen dazu verwendet, Mitarbeiter in Modellprojekten zu finanzieren, damit sie sich Konzepte ausdenken, mit denen man Toleranz fördern und Kompetenz stärken könnte, damit sie diese Konzepte auf Netzwerktreffen mit Mitarbeitern aus anderen Projekten diskutieren, damit diese Konzepte durch die wissenschaftliche Begleitforschung als gute Konzepte ausgewiesen werden können, damit diese Konzepte mit anderen Konzepten verglichen, verbunden, um diese erweitert werden können, damit die Mitarbeiter munter an ihrer Version von Sim-City bauen, ohne dass dabei auch nur ein Effekt ersichtlich wäre, den die 30,5 Millionen Euro auf die Umwelt derjenigen, die sich in Modellprojekten gesammelt haben, um sich von Steuerzahlern finanzieren zu lassen, gemacht haben.

Das nennt man dann wohl Geldverschwendung im großen Stil, und es wäre eigentlich die Aufgabe des Bundes der Steuerzahler, diese Form der Verschwendung von Steuermitteln aufzuzeigen oder die Aufgabe des Bundesrechnungshofes, diese Form der Verschwendung von Steuermitteln zu thematisieren. Eigentlich, denn von beiden ist nur die bekannte Stille zu hören, wenn es darum geht, sich zur Art und Weise zu äußern, in der Ministerien Steuermittel in politisch korrekten Projekten aus dem Fenster werfen. Schließlich gilt es die Sozial-Industrie, die Legionen von Beratern und Helfer, die sich auf das Beraten über das Beraten und das Beraten über das Helfen spezialisiert haben, zum einen nicht aus ihrer virtuellen Welt aufzuschrecken und zum anderen zu finanzieren.

Und während 30,5 Millionen Euro auf die beschriebene Art und Weise aus dem Fenster geworfen werden, sind alte Menschen in Pflegeheimen nach einem Leben in Eigenverantwortung gezwungen, ein Zimmer mit zwei Unbekannten zu teilen, denn es ist nicht genug Geld dafür da, um alten Menschen ihren Lebensabend menschenwürdig und vor allem würdig zu gestalten. Das Geld muss schon ausgegeben werden, um über Konzepte zu beraten, die erstellt wurden, um über Konzepte zu beraten.

Was beim DJI vollkommen unbekannt ist, hier noch in kurzer Zusammenfassung: Es gibt, u.a. von Peter Rossi entwickelt, eine grundlegende Methode zur Evaluation, eine Methode, die auf objektivierbaren und damit validierbaren Indikatoren aufbaut, eine Methode, die darlegt, wie man Indikatoren bestimmt, ableitet und operationalisiert, die geeignet sind, die Wirksamkeit von Konzepten zu messen und zu prüfen und vor allem, eine Methode, die eine eindeutige Aussage darüber, ob ein “Modellprojekt” etwas gebracht hat oder nicht, zulässt. Aber diese eindeutige Aussage ist vermutilch genau der Grund dafür, das das komplette Instrumentarium, das zu einer wissenschaftlichen Evaluation zur Verfügung steht und das man z.B. im von Bingham und Felbinger herausgegebenen Sammelband nachlesen kann, beim DJI unbekannt ist. Am Ende kommt noch etwas bei der Evaluation heraus.

Aus dem von Bingham und Felbinger herausgegebenen Buch, das wir allen, die wissen wollen, wie man eine vernünftige Evaluation durchührt, empfehlen, stammt der folgende Teaser, der Verantwortliche für politische Maßnahmen und Projekte in Deutschland vermutlich in Angst und Schrecken versetzt, denn: Es ist möglich, auch den Effekt von politischen Projekten oder Maßnahmen zu evaluieren, vor einer Evaluation schützen auch noch so viele Leerformeln nicht:

Policy Evaluations
The final kind of evaluation considers the long-term consequences of a program or policy – assessing the impact on the problem. The kinds of questions asked here include: ‘What changes are evident in the problem?’ or ‘Has the problem (e.g., poverty, illiteracy) been reduced as a result of the program or policy?’

Bingham, Richard D. & Felbinger, Claire L. (eds.)(2002). Evaluation in Pratice. A Methodological Approach. New York: Chatham House.

Folgen Sie uns auf Telegram.

---

Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org

---

Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen. ScienceFiles lebt weitgehend von Spenden. Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.

---

Wir haben drei sichere Spendenmöglichkeiten:

Donorbox

Unterstützen Sie ScienceFiles

---

Unsere eigene ScienceFiles-Spendenfunktion

---

Unser Spendenkonto bei Halifax:

ScienceFiles Spendenkonto: HALIFAX (Konto-Inhaber: Michael Klein):

• IBAN: GB15 HLFX 1100 3311 0902 67
• BIC: HLFXGB21B24

---