Zwischenzeitlich hat die Landesregierung die Anfrage beantwortet, und wir nehmen uns im neuen Jahr die Zeit, um die Antworten in ihrer ganzen Hilflosigkeit zu besprechen.
Die Antworten im Einzelnen können hier und hier nachgelesen werden.
Zunächst zum Finanziellen. Der Sachsen-Monitor, dessen glorreiche Ergebnisse man hier nachlesen kann, hat in seiner Ausgabe des Jahres 2018 insgesamt 91.366,49 Euro gekostet, Geld, das man besser aus dem Fenster geworfen oder wenn man es sinnvoller Verwendung hätte zuführen wollen, auf das Spendenkonto von ScienceFiles eingezahlt hätte.
Hier die Begründung für diese Behauptung entlang der Antworten für die Oliver Schenk, Chef der Staatskanzlei und Staatsminister für Bundes- und Europaangelegenheiten, verantwortlich zeichnet.
Wir hatten kritisiert, dass der Sachsen-Monitor als persönliche Befragung durchgeführt wird und auf diese Weise ein Aufwand betrieben wird, der mit einer telefonischen oder einer Online-Umfrage leicht auf die Hälfte, wenn nicht ein Viertel der Kosten hätte reduziert werden können. In der Anfrage von Karin Wilke findet sich diese Kritik in der Frage wieder, wie die Landesregierung diesen unverhältnismäßig hohen Aufwand begründet.
Die Antwort der Landesregierung wirkt gelehrt, fast so, als hätte sich jemand die Mühe gemacht, ein einschlägiges Lehrbuch der empirischen Sozialforschung zumindest auf einer Seite aufzuschlagen.
Der Sachsen-Monitors, so die Begründung der Landesregierung, umfasse 45 Fragen. Ein Interview dauere im Schnitt 40 Minuten, telefonische Interviews würden im Schnitt nach 20-30 Minuten abgebrochen und Online-Interviews seien nicht repräsentativ.
Fangen wir mit den Fragen an. Nach unserer Zählung besteht der Sachsen-Monitor aus 16 Fragen, darunter befinden sich sechs Aussagenbatterien, mit denen das Ausmaß der Zustimmung der Befragten ermittelt werden soll oder mit denen das Ausmaß des Vertrauens in bestimmte Institutionen ermittelt werden soll. Solche Batterien, bei denen Befragte „gepromptet“ werden, sind schnell zu erledigen, wie jeder weiß, der schon einmal eine entsprechende Befragung als Befragter erlitten oder als Befrager durchlitten hat.
Wir haben die Fragen des Sachsen-Monitors übrigens in 10 Minuten beantwortet, aber wir sind natürlich nicht repräsentativ, was uns zum nächsten Punkt bringt: Die Repräsentativität. Die sei für den Sachsen-Monitor wichtig, wie Schenk für die Landesregierung scheibt, da man mit persönlicher Befragung repräsentative Ergebnisse gewinnen könne. Damit wird letztlich begründet, warum eine teure persönliche Befragung, einer billigen telefonischen oder noch billigeren Online-Befragung vorgezogen wurde.
YouGov führt ausschließlich Online-Befragungen durch. Die Online-Befragungen umfassen häufig, fast immer, mehr Fragen als der gesamte Sachsen-Monitor. Zur Beantwortung benötigt ein Redaktionsmitglied von ScienceFiles, das in einem Befragten-Panel von YouGov aktiv ist, regelmäßig mehr als 30 Minuten. Dennoch schafft es YouGov, rund 75% der Interviews ohne Abbruch zu beenden. Was uns zum Mythos der Überlegenheit der persönlichen Befragung bringt, den nur Anführen kann, wer, wie offensichtlich Oliver Schenk, noch nie etwas von INTERVIEWEREFFEKTEN gehört hat.
Wir zitieren aus einem Standardwerk der empirischen Sozialforschung:
„Die Probleme, die sich beim Interview ergeben, werden in der angelsächsischen Literatur meist als Response Error, in der deutschsprachigen Literatur zumeist als „Antwortverzerrung“ bezeichnet. Zu den Response Errors werden u.a. gezählt:
die explizite Verweigerung einer Antwort;
die Abgabe einer inhaltlichen Antwort, obwohl keine Meinung zum erfragten Gegenstand ausgebildet worden ist;
die Abgabe sozial erwünschter Antworten;
Reaktionen auf Merkmale des Interviewers;
Reaktionen auf die Anwesenheit Dritter beim Interview;
Zustimmung zu Fragen unabhängig vom Inhalt der Fragen;”
(Schnell, Rainer, Hill, Paul B. & Esser, Elke (1992). Methoden der empirischen Sozialforschung. München, Oldenbourg, S.361.)
Wir haben unser Zitat auf die negativen Effekte beschränkt, die für persönliche Interviews, bei dem sich Befragter und Befrager Auge in Auge gegenübersitzen, am wichtigsten sind. Die Arbeiten dazu, wie persönliches Missfallen oder eine Aversion gegen das Aussehen des Befragers die Antworten des Befragten beeinflussen oder seine Bereitschaft, überhaupt welche zu geben, die Literatur dazu, dass die Gefahr Antworten zu erhalten, von denen der Befragte meint ,dass der Befrager oder sein Auftraggeber sie hören will (soziale Erwünschtheit), oder einfach Antworten zu geben, um den Typ so schnell wie möglich wieder los zu werden, bei persönlichen Interviews höher ist als bei telefonischen, eben weil der Befrager gegenwärtig ist und entsprechend Effekte sozialer Interaktion zum Tragen kommen, füllt ganze Bibliotheken. Aber in der Staatskanzlei in Dresden scheint man davon noch nichts gehört zu haben oder aktuell nichts hören zu wollen.
Aber selbst wenn man von all diesen Effekten noch nie etwas gehört hat, muss man sich doch fragen, warum Personen ein telefonisches Interview häufiger abbrechen sollen als ein persönliches. Alle beschriebenen Effekte, die mit persönlichen Interviews verbunden sind, deuten auf das Gegenteil, nämlich dass Interviews abgebrochen werden, weil man diese Frage nicht in Gegenwart eines Interviewers beantworten will oder der Interviewer die Schwelle der Sympathie so weit unterschreitet, dass man nur darauf wartet, ihm sein Interview vor die Füße werfen und abbrechen zu können, Effekte, die es beim telefonischen Interview nur in Verbindung mit der Stimme des Interviewers gibt und bei einer Online-Befragung gar nicht.
Was also tun persönliche Befrager, um die Bereitschaft von Befragten, die ein Interview abbrechen wollen, so zu verlängern, dass ein komplett ausgefülltes Interview daraus wird?
Üben Sie moralischen Druck aus?
Versprechen Sie pekuniäre Vorteile?
Drohen Sie mit Konsequenzen, denn schließlich ist der Freistaat der Auftraggeber?
Oder füllen Sie den Rest, der nach dem Abbruch bleibt, selbst aus?
1994 hat Heiner Dorroch, der als persönlicher Befrager für eine Reihe von Befragungsinstituten tätig war, in seinem „Meinungsmacher-Report“ beschrieben, wie ausgefüllte Fragebögen zustande kommen. Es gibt keinen Grund anzunehmen, dass die von ihm beschriebenen Praktiken nicht mehr vorhanden sind. Und überhaupt: warum soll man die entsprechenden Risiken manipulierter Fragebögen in Kauf nehmen, wenn man auch Online oder telefonisch befragen kann.
Ah, wir wissen: Wegen der Repräsentativität. Denn, so erklärt Schenk in seiner Antwort, die persönliche Befragung sei notwendig, um Repräsentativität zu gewährleisten und „das breite Erkenntnisinteresse“ zu befriedigen.
Nun haben wir schon in unserem ursprünglichen Post dargestellt, dass der Versuch, eine repräsentative Bevölkerungsstichprobe von Sachsen zu ziehen, im Sachsen-Monitor bemerkenswert in die Hose gegangen ist. Betrachtet man nur Alter und Geschlecht, dann ist die Bevölkerungsgruppe, für die die Wahrscheinlichkeit, ihnen in der Innenstadt von Dresden, Leipzig oder Annaberg-Buchholz zu begegnen, am geringsten ist, überrepräsentiert: alte Männer. In Sachsen gibt es mehr alte Frauen als alte Männer. In der angeblich repräsentativen Stichprobe ist es umgekehrt. Das ist so ein kapitaler Bock, dass ein normaler, ein ehrlicher Mensch eingestehen würde, dass sein Versuch, ein repräsentatives Sample zu erreichen, gescheitert ist.
Bei Umfrageinstituten ist das anders.
Sie verkaufen das Scheitern noch als Erfolg, schon weil man Politikern dann, wenn man ein paar Grundrechenarten mit prätentiöser Begriffsbildung als „Gewichtung“ bezeichnet und das „Verfahren der Gewichtung“ zum „gängigen Verfahren“ erklärt, immer beeindrucken kann. Unkenntnis nährt sich an wohlklingenden Begriffen.
Und so lesen wir in der Antwort von Oliver Schenk für die Landesregierung in Sachsen einen Unsinn, der sich gewaschen hat. Er schreibt:
„Die Stichprobe war in ihrer Gesamtheit nicht erheblich verzerrt und in der Gewichtung wurde auch keine Verteilung auf den Kopf gestellt. Die Methode der rechnerischen Neugewichtung ist in dem allen Fraktionen vorliegenden Ergebnisbericht zum Sachsen-Monitor 2018 nachvollziehbar dargestellt. Es handelt sich um ein gängiges und valides Verfahren und nicht um einen mathematischen Trick“.
Den Unsinn dieser Aussagen darzustellen, ist recht einfach und wir fühlen uns schon fast wie diejenigen, die kleine Kinder prügeln. But then, it can’t be helped:
Wenn eine Stichprobe Alter und Geschlecht, so „repräsentativ“ abbildet, dass eine Korrektur von 27.8% erfolgen muss, wenn 192 alte Männer zu 114 werden und 48 mittelalte Männer zu 94, dann wird eine Verteilung nicht nur auf den Kopf gestellt, sie wird förmlich rotiert.
Die Frage, ob eine rechnerische Nachgewichtung für Mitglieder der Fraktionen im sächsischen Landtag nachvollziehbar dargestellt wurde, leistet nun zur Beantwortung der Frage, ob die „rechnerische Nachgewichtung“ Sinn macht, so überhaupt keinen Beitrag, dass man sich fragt, warum Schenk sie anführt, wenn nicht als eine Form des Ätsch: Schaut mal was wir Euch für einen Mist untergeschoben haben. Und niemand, außer der AfD-Fraktion, hat es bemerkt.
Schließlich mag die „rechnerische Nachgewichtung“ ein unter Umfrageinstituten und aus der oben beschrieben Not heraus geborenes, gängiges Verfahren sein, valide ist sie deshalb noch lange nicht.
Um zu zeigen, dass der von Schenk als Nachgewichtung bezeichnete rechnerische Trick valide ist, müsste man sein Ergebnis mit einer repräsentativen Stichprobe vergleichen. Einen solchen Vergleich gibt es nicht, und niemand hat ihn bislang versucht. Wozu auch. Der rechnerische Trick dient lediglich dazu, den Fetisch der Repräsentativitäts-Gläubigen zu beweihräuchern.
Aber man braucht die empirische Prüfung gar nicht durchzuführen, denn die Behauptung, man könne eine nicht-repräsentative Stichprobe durch Gewichtung zu einer repräsentativen machen, ist ein logisches Unding, das voraussetzt, was es herbeiführen will.
Nehmen wir eine Stichprobe, die nicht repräsentativ ist und von einer Bevölkerungsverteilung abweicht. Um diese Stichprobe der Bevölkerungsverteilung durch schlichte Multiplikation anpassen zu können und anschließend eine repräsentative Stichprobe zu erhalten, gibt es eine wichtige Voraussetzung: Die Stichprobe muss in ihren Abweichungen von der Bevölkerungsverteilung „repräsentativ“ sein, sie müsste also genau die Eigenschaft besitzen, die herbeigeführt werden soll.
Wer sagt Herrn Schenk eigentlich, dass die vielen alten Männer, die Dimap irgendwo in Sachsen aufgetan hat, eine repräsentative Abweichung darstellen? Dimap sagt es ihm. Schenk glaubt es, publiziert es.
Und wir lachen.
Herzlich übrigens.
Um solchen Unfug zu verhindern, gibt es eigentlich einen wissenschaftlichen Beirat.
Auch der Sachsen-Monitor hat einen wissenschaftlichen Beirat. Darin sitzen:
Alexander Ahrens, Oberbürgermeister der Stadt Bautzen
Dr. Christian Demuth, Vorsitzender von Bürger Courage e.V.
Dr. Roland Löffler, Direktor der Sächsischen Landeszentrale für Politische Bildung
Dr. Beate Neuss, Professorin an der TU-Chemnitz, die Graduiertenprogramme für die Konrad-Adenauer-Stiftung anbietet, über Europäische Integration forscht und von der keine besonderen Kenntnisse in empirischer Sozialforschung bekannt sind;
Dr. Barbara Wolf, Gleichstellungsbeauftragte der Fakultät für Soziale Arbeit an der Hochschule Mittweida und Besetzer einer Professur für Jugend und öffentliche Erziehung sowie Gender.
Offenkundig wurde der wissenschaftliche Beirat des Sachsen-Monitor nicht auf Basis von Kompetenz in empirischer Sozialforschung oder wissenschaftlicher Kompetenz besetzt. Andere Gründe, die man wohl eher im Bereich politischer Gefallen finden wird, waren ausschlaggebend. Die sächsischen Steuerzahler haben dafür mit rund 91.000 Euro im Jahr 2018 bezahlt und mit gleichen Summen in den Jahren zuvor, macht rund 300.000 Euro Kosten für politische Vetternwirtschaft.
Sofern Karin Wilke von der AfD-Fraktion noch einmal nachfragen will, hätten wir noch ein paar Fragen, die wir stellen würden:
Aufgrund welcher Kriterien, Überlegungen und Kompetenzen wurden die Mitglieder des wissenschaftlichen Beirats des Sachsen-Monitors bestimmt?
Welchen konkreten Erkenntnisgewinn hat die Landesregierung aus dem Sachsen-Monitor?
In welcher Weise haben sich welche konkreten Erkenntnisse in der konkreten Arbeit der Landesregierung niedergeschlagen?
In welchen konkreten Zusammenhängen sind die konkreten Erkenntnisse der Landesregierung der Bevölkerung Sachsens, die den Sachsen-Monitor finanziert, zu Gute gekommen?
Welchen konkreten Nutzen haben die Sachsen vom Sachsen-Monitor?
Hat Ihnen der Beitrag gefallen? Dann unterstützen Sie bitte das private Blog ScienceFiles!
[wpedon id=66988] ScienceFiles-Spendenkonto
Folgen Sie uns auf Telegram.
Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org
Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen.
ScienceFiles lebt weitgehend von Spenden.
Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.Wir haben drei sichere Spendenmöglichkeiten:
Diese über 90.000 Euro sind nur Peanuts gegen Gelder, die seit der Jahrtausendwende, aber vermehrt seit 2015, in teils sinnlose und dubiose Projekte, Vereine und Stiftungen fließen. Man scheint seitens der sächsischen Staatsregierung gar nicht zu wissen oder wissen zu wollen, wofür diese Gelder letztlich ver(sch)wendet werden. Bevorzugt bei der Geldausschüttung werden natürlich in aller Regelmäßigkeit Bereiche, die irgendwas mit politischer Bildung und Demokratie zu tun haben. Bei soetwas liegt die Förderquote in Sachsen bei nahezu 100 Prozent. Welche “politischen Bildungszentren” man damit u.a. auch unterstützt, sieht man am Attentat auf die Zweigstelle des BGH in Leipzig in der Silvesternacht. Da muss man nicht spekulieren, aus welchem linken Spektrum diese Leute kommen und unter welchem Deckmantel von Vereinen die sich tummeln. Bezeichnend dafür ist auch, dass sich bis heute Abend keiner der sonst so demokratisch gebenden roten, linken und grünen Politiker von dieser Tat distanziert hat. Sorry, aflls das etwas off-topic war, aber es musste mal raus. Gesundes neues Jahr dem SF-Team noch 🙂
“Welchen konkreten Nutzen haben die Sachsen vom Sachsen-Monitor?”
Nu, die Mitglieder des wissenschaftlichen Beiras sind doch ooch Sochsen, und die Befrager ooch, die haben schon en Nutzen.
Ein immer größerer Anteil all der Studien, Stiftungen und Beratungen dient meiner Ansicht nach der Umleitung von Steuergeldern in private Taschen. Neben der Versorgung der eigenen Leute mit Einkommen werden dreist parteipolitische Ziele verfolgt und politischer Aktivismus betrieben.
Hier muss so langsam ein Riegel vorgeschoben werden, aber die Damen und Herren Wähler wollen das in ihrem Merkel-Habeck-Rausch offenbar nicht ändern. Irgendwann kommt es zum Knall.
Wir sehen, dass du dich in Vereinigtes Königreich befindest. Wir haben unsere Preise entsprechend auf Pfund Sterling aktualisiert, um dir ein besseres Einkaufserlebnis zu bieten. Stattdessen Euro verwenden.Ausblenden
Zunächst zum Finanziellen. Der Sachsen-Monitor, dessen glorreiche Ergebnisse man hier nachlesen kann, hat in seiner Ausgabe des Jahres 2018 insgesamt 91.366,49 Euro gekostet, Geld, das man besser aus dem Fenster geworfen oder wenn man es sinnvoller Verwendung hätte zuführen wollen, auf das Spendenkonto von ScienceFiles eingezahlt hätte.
„Die Probleme, die sich beim Interview ergeben, werden in der angelsächsischen Literatur meist als Response Error, in der deutschsprachigen Literatur zumeist als „Antwortverzerrung“ bezeichnet. Zu den Response Errors werden u.a. gezählt:
Ah, wir wissen: Wegen der Repräsentativität. Denn, so erklärt Schenk in seiner Antwort, die persönliche Befragung sei notwendig, um Repräsentativität zu gewährleisten und „das breite Erkenntnisinteresse“ zu befriedigen.
Um zu zeigen, dass der von Schenk als Nachgewichtung bezeichnete rechnerische Trick valide ist, müsste man sein Ergebnis mit einer repräsentativen Stichprobe vergleichen. Einen solchen Vergleich gibt es nicht, und niemand hat ihn bislang versucht. Wozu auch. Der rechnerische Trick dient lediglich dazu, den Fetisch der Repräsentativitäts-Gläubigen zu beweihräuchern.
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
ScienceFiles Spendenkonto:
HALIFAX (Konto-Inhaber: Michael Klein):
Diese über 90.000 Euro sind nur Peanuts gegen Gelder, die seit der Jahrtausendwende, aber vermehrt seit 2015, in teils sinnlose und dubiose Projekte, Vereine und Stiftungen fließen. Man scheint seitens der sächsischen Staatsregierung gar nicht zu wissen oder wissen zu wollen, wofür diese Gelder letztlich ver(sch)wendet werden. Bevorzugt bei der Geldausschüttung werden natürlich in aller Regelmäßigkeit Bereiche, die irgendwas mit politischer Bildung und Demokratie zu tun haben. Bei soetwas liegt die Förderquote in Sachsen bei nahezu 100 Prozent. Welche “politischen Bildungszentren” man damit u.a. auch unterstützt, sieht man am Attentat auf die Zweigstelle des BGH in Leipzig in der Silvesternacht. Da muss man nicht spekulieren, aus welchem linken Spektrum diese Leute kommen und unter welchem Deckmantel von Vereinen die sich tummeln. Bezeichnend dafür ist auch, dass sich bis heute Abend keiner der sonst so demokratisch gebenden roten, linken und grünen Politiker von dieser Tat distanziert hat. Sorry, aflls das etwas off-topic war, aber es musste mal raus. Gesundes neues Jahr dem SF-Team noch 🙂
“Welchen konkreten Nutzen haben die Sachsen vom Sachsen-Monitor?”
Nu, die Mitglieder des wissenschaftlichen Beiras sind doch ooch Sochsen, und die Befrager ooch, die haben schon en Nutzen.
Ein immer größerer Anteil all der Studien, Stiftungen und Beratungen dient meiner Ansicht nach der Umleitung von Steuergeldern in private Taschen. Neben der Versorgung der eigenen Leute mit Einkommen werden dreist parteipolitische Ziele verfolgt und politischer Aktivismus betrieben.
Hier muss so langsam ein Riegel vorgeschoben werden, aber die Damen und Herren Wähler wollen das in ihrem Merkel-Habeck-Rausch offenbar nicht ändern. Irgendwann kommt es zum Knall.