Psychologie der Schludrigkeit, Methodenprof. interpretiert seine Ergebnisse falsch

Das hat uns neugierig gemacht:

“Bei Personen ohne Kinder nahm die Einsamkeit im Lauf der Zeit ab, bei Eltern hingegen zu. Eltern waren in der Krise besonder stark gefordert, da viele eine berufliche Tätigkeit, Beschulung, Kinderbetreuung und Freizeitgestaltung unter einen Hut bekommen mussten. Ihnen stand in dieser Phase möglicherweise weniger Zeit zur Verfügung, sich um ihre soziale Einbindung zu kümmern, spekulieren die … Autoren der Studie.”

Die Autoren der Studie, deren Fall Out beim Informationsdienst Wissenschaft wir diesen Auszug entnommen haben, das sind Susanne Bücker, Kai T. Horstmann, Julia Krasko, Sarah Kritzler, Sophia Terwiel, Till Kaiser und Maike Luhmann. Die Autoren 1 und 7 halten Professuren, witzigerweise für “Psychologische Methodenlehre” im Fall von Luhmann, der Rest der Autoren ist das Fußvolk, das die Arbeit für den Beitrag erledigt hat, den die beiden Professoren dann an erster Stelle mit ihrem Namen zieren, quasi als kognitiver Anker, wie dies einst ein Professor beschrieben hat. Und natürlich bleiben die Erstautoren im Gedächtnis, sind sie die erste Adresse, an die man sich mit dem Hinweis richten muss, dass sie offenkundigen Mist gerechnet haben.

---

---

Doch der Reihe nach.

Die Ergebnisse, die im Beitrag mit dem Titel “Changes in Daily loneliness during the first four weeks of the Covid-19 lockdown in Germany” berichtet werden, stammen aus einem eher umfangreichen Projekt, in dessen Verlauf 4.850 Teilnehmer an unterschiedlichen Tagen insgesamt 40.173 tägliche Fragebögen ausgefüllt haben, online versteht sich – lockdown und so, nicht aus methodischen Erwägungen. Die Verlaufsdaten erlauben es, die Einsamkeit, die Gegenstand der Untersuchung war, im Zeitverlauf darzustellen. Warum nicht? Das müssen wir fragen, denn wir wissen nicht, warum? Warum sich die Autoren für Einsamkeit interessiert haben, welchen Erkenntnisgewinn sie produziert haben, das ist nicht ersichtlich. Ebenso wie nicht nachvollziehbar ist, warum sie ihre Grundgesamtheit in zwei Teilstichproben unterschiedlicher Größe geteilt haben. Wenn man Methoden in der Denomination der eigenen Professur führt, dann muss man sich ab und zu wohl etwas Besonderes einfallen lassen.

Wie dem auch sei, der Forschung verdanken wir das Ergebnis, dass die durchschnittliche Einsamkeit, die die Autoren gemessen haben, in den ersten zwei Wochen des Lockdown gestiegen, in den nächsten beiden Wochen gefallen ist.

Ja.
Wir wissen nicht, was man mit diesem Ergebnis anfangen soll. Überlegen Sie sich also bitte selbst etwas, was man damit anfangen kann, denn die Autoren wissen es auch nicht. Sie können auch nur darauf hinweisen, dass die Ergebnisse theoretisch interessant sind (warum auch immer) und darüber hinaus ein Zusammenhang bestehen soll, zwischen Einsamkeit und physischer und psychischer Gesundheit und deshalb ist eine Zunahme von Einsamkeit Anlass zur Sorge. Also: Entwarnung, denn die Daten der Autoren zeigen ja einen Rückgang der Einsamkeit ab Ende Lockdown-Woche 2… Damit Sie, wenn Sie sich überlegen, was diese Ergrbnisse nun bedeuten, nicht so im Trüben fischen müssen, hier eine Abbildung, die vielleicht weiterhilft. Tip: Die Miniaturschwankungen der fetten Linie sind das, dessen Beitrag zum Erkenntnisgewinn bestimmt werden soll!

Daten. Mit ihren Daten stehen die Autoren auf Kriegsfuß.
Und jetzt wird es peinlich, für die Methoden-Professur.
Beginnen wir zunächst damit, wie Einsamkeit hier gemessen wird. So:

• Ich habe mich heute einsam gefühlt.
• Ich habe mich heute vernachlässigt gefühlt.
• Ich habe mich heute von anderen isoliert gefühlt.
• Ich hatte heute niemanden, an den ich mich wenden konnte.

Das sind psychologische Items. Wir kommentieren keine psychologischen Items. Wir nehmen sie einfach so hin. Die vier Items bilden eine gemeinsame Skala, deren Cronbach’s Alpha mit .77 erstaunlich schlecht ist, wenn man bedenkt, dass die ersten drei Items weitgehend dasselbe messen sollten.

---

---

Moving on, wie Joshua Phillip sagt:
Die folgenden Ergebnisse haben wir aus dem Beitrag entnommen:

• Einsamkeit ist bei jüngeren Menschen verbreiteter als bei älteren.

Im Original:

“Contrary to prior empirical findings and popular belief, older people reported lower average levels of daily loneliness than younger people (b Sample 1 = -0.01, p <.001; b Sample 2 = -0.01, p <.001).”

• Im Vergleich zu Singles, Verwitweten berichten Menschen, die sich in einer “romantic partnership” befinden, wie es im Text heißt, also in der Regel verheiratet sind, ein höheres Ausmaß an Einsamkeit. Ein erstaunliches Ergebnis, das schon oben unser Interesse geweckt hat, denn die Tatsache, dass mehr Menschen um sich zu haben, die Wahrscheinlichkeit erhöht, sich einsam zu fühlen, ist, nun ja: seltsam.

Im Original:

“In line with previous findings, we observed that people in a romantic partnership (e.g., marriage) compared to people who were either single (b Sample 1 = 0.30, p <.001; b Sample 2 = 0.35, p < .001) or widowed (b Sample 1 = 0.42, p = .005; b Sample 2 = 0.38, p = .008) reported higher levels of daily loneliness.”

• Die Anzahl der Personen, die in einem Haushalt leben, hat keinen Effekt auf das Ausmaß der Einsamkeit.

Im Original:

The number of household members was not significantly related to daily loneliness (b Sample 1 = -0.03, p = .010; b Sample 2 = -0.03, p = .012) in both samples.”

Und schließlich:

• Eltern berichten ein höheres Ausmaß an Einsamkeit als “Nichteltern”.

Im Original:

“Moreover, compared to people without children, parents reported higher levels of daily loneliness in Sample 1, but not in Sample 2 (b Sample 1 = 0.15, p = .004; b Sample 2 = 0.08, p =. 118).

Dieser Bericht der Ergebnisse ist ein solches Ausmaß an Schludrigkeit und eine solche Ansammlung von Fehlern bzw. falscher Interpretation der eigenen Daten, dass man sich fragen muss, ob nicht die ganze Studie aufgrund erheblicher methodischer Probleme einfach in den Mülleimer gehört.

Das war die Behauptung, nun kommt der Beleg. Die folgende Abbildung findet sich im Supplementary Material zum Beitrag. Sie ist die Grundlage der Aussagen, die oben getroffen wurden, stellt die Ergebnisse von “random slope models”, also von logistischen Regressionen zusammen, unter Auslassung des Gütemaßes, (−2 × log(likelihood) in diesem Fall), was an sich schon ausreicht, um die Ergebnisse zu verwerfen. Stellt man dann noch in Rechnung, dass “intercept”, also der Punkt, an dem eine errechnete Regressionslinie die y-Achse des Werteraums schneidet, so dass alles, was unter diesem Schnittpunkt liegt, nicht erklärt worden ist, mit 1.932 (1.650) den höchsten Wert annimmt und mit p <.001 hochsignifikant ist, dann kann man vorhersagen, dass die Modelle in ihrer Erklärkraft bescheiden sind. Selbst wenn die Ergebnisse richtig interpretiert worden wären, wären sie vernachlässigbar. Aber sie wurden nicht richtig interpretiert.

Beginnen wir mit dem Alter [grün hinterlegt]. Die Angaben im Text stimmen und aus diesen Angaben kann man entnehmen, dass Alter, wie man das erwarten würde, von jung nach alt kodiert ist und die abhängige Variable “Einsamkeit” in der selben Richtung: Die Einsamkeit nimmt mit den Werten zu [wer denkt, das ist trivial, das ist es nicht, wie wir gleich zeigen].

---

---

Nun zum orange hinterlegten Kasten. Die Anzahl der Mitglieder im Haushalt sei nicht signifikant mit Einsamkeit korreliert, so heißt es. Das ist falsch. Sowohl in Sample 1 als auch in Sample 2 liegt eine statistische Signifikanz vor, einmal auf dem 1%-Signifikanzniveau, einmal auf dem 5%-Signifikanzniveau. Dass die Werte, die im Text angegeben sind, nicht den Werten in der Tabelle entsprechend, wollen wir für den Moment übersehen.

Nächster Punkt: Eltern. Eltern sind hier gemessen als Personen, die mit Kindern im Haushalt leben. Das ist wichtig, denn das Maß umfasst Alleinerziehende und Zwei-Eltern-Familien. Eltern berichten ein höheres Ausmaß an Einsamkeit steht im Text, verglichen mit Nichteltern. Auch das ist richtig. Dass in zwei Samples, die geteilt wurden, dieselbe Variable einmal hochsignifikant ist und einmal nicht, sollte bei dem Methodenprof unter den Auswertern eigentlich alle Warnlampen abwechseln an- und ausgehen lassen. Offensichtlich war das nicht der Fall.

Wir wollen an dieser Stelle einen kurzen Ausflug in die Logik der statistischen Analyse machen, die hier vorgenommen wurde – ohne Mathematik – versprochen.

Die Variable “Having children” ist eine kategoriale Variable, sie wird in der Analyse als Dummy-Variable, also dichotome Variable angesehen, was zur Konsequenz hat, dass man den Wert, der unter “Estimate” steht, nur in Relation zur Referenzkategorie, in diesem Fall “Nichtkinderbesitzer” interpretieren kann. Im Vergleich zu Nichtkinderbesitzern ist die Einsamkeit bei Kinderbesitzern um den Wert .15 erhöht. Bitte achten sie hier auf das Vorzeichen, bzw. das fehlende Vorzeichen. Es besteht ein positiver Zusammenhang, wenn die Einsamkeit steigt.

Nun kommen wir zum blau hinterlegten Kasten. Die Autoren behaupten: Menschen in einer romantischen Partnerschaft würden ein höheres Ausmaß an Einsamkeit berichten als verwitwete Menschen oder Singles. Ein Blick in die Tabelle zeigt: Das Gegenteil ist der Fall. Zunächst: In der Tabelle finden sich die Kategorie “Menschen in romantischer Partnerschaft” nicht. Das ist kein Problem, denn “Menschen in romantischer Partnerschaft” sind die Referenzkategorie für Verwitwete, Singles und Geschiedene. Alle drei Kategorien, Geschiedene, Singles und Verwitwete weisen einen positiven Wert unter “Estimate” auf, d.h. im Vergleich zu Menschen in “romantischen Beziehungen” (ob eine Ehe romantisch ist, lassen wir einmal dahingestellt) geben Geschiedene, Verwitwete und Singles ein höheres Maß an Einsamkeit an. Die Ergebnisse weisen gerade in die andere Richtung als die Autoren und ihr führender Anker, Psychologie-Methodenprof Luhmann es behaupten. Eine eklatante Fehlinterpretation oder eine eklatante Schludrigkeit dann, wenn hier sechs, in Zahlen: 6 Minuszeichen in dieser Tabelle alleine vergessen worden sind (Es folgen noch geschätzt 10 andere Tabellen, in denen die Minuszeichen dann ebenfalls vergessen worden sein müssen). Egal, was zutrifft, Schludrigkeit liegt in jedem Fall vor und was man vor diesem Hintergrund vom Rest des Textes zu halten hat, ist offenkundig: nichts (schon weil die Gütemaße für die Regression fehlen).

Wir sind gespannt, ob diese Fehler in der noch ausstehenden Peer Review dem Reviewer auffallen. Die fehlende Peer Review war übrigens kein Hindernis, die Ergebnisse schon einmal vorab zu veröffentlichen.

---

---

Hat Ihnen der Beitrag gefallen?

Dann Unterstützen Sie bitte unseren Fortbestand als freies Medium.

Vielen Dank!
[wpedon id=66988]

• ScienceFiles-Spendenkonten
  Achtung: Unsere Kontoverbindung hat sich verändert!
  • Deutsche Bank 
  • Michael Klein
  • BIC: DEUTDEDBCHE
  • IBAN: DE18 8707 0024 0123 5191 00

  • Transferwise Europe SA
  • ScienceFiles / Michael Klein
  • BIC: TRWIBEB1XXX
  • IBAN: BE54 9670 1430 1297

   

• Sponsern Sie ScienceFiles oder Artikel von ScienceFiles (einfach klicken)

---

Folgen Sie uns auf TELEGRAM

---

Bleiben Sie mit uns in Kontakt.
Wenn Sie ScienceFiles abonnieren, erhalten Sie bei jeder Veröffentlichung eine Benachrichtigung in die Mailbox.

---

---

ScienceFiles-Shop

---

Folgen Sie uns auf Telegram.

---

Anregungen, Hinweise, Kontakt? -> Redaktion @ Sciencefiles.org

---

Wenn Ihnen gefällt, was Sie bei uns lesen, dann bitten wir Sie, uns zu unterstützen. ScienceFiles lebt weitgehend von Spenden. Helfen Sie uns, ScienceFiles auf eine solide finanzielle Basis zu stellen.

---

Wir haben drei sichere Spendenmöglichkeiten:

Donorbox

Unterstützen Sie ScienceFiles

---

Unsere eigene ScienceFiles-Spendenfunktion

---

Unser Spendenkonto bei Halifax:

ScienceFiles Spendenkonto: HALIFAX (Konto-Inhaber: Michael Klein):

• IBAN: GB15 HLFX 1100 3311 0902 67
• BIC: HLFXGB21B24

---