Sicherstellen, dass Forschungsergebnisse Lehre und Lernen beeinflussen
Wie können wir Bildungsstudien zum Erfolg führen?
Autorin
Eine neue Studie zeigt, dass randomisierte kontrollierte Studien (RCTsStudien im Bildungsbereich sind oft wenig aussagekräftig. Es ist daher unerlässlich, dass die Bildungsforschungsgemeinschaft untersucht, warum dies der Fall ist, damit zukünftige randomisierte kontrollierte Studien (RCTs) uns die Erkenntnisse liefern, die uns helfen, Lehre und Lernen zu verbessern.
Obwohl es als Goldstandard in der medizinischen Forschung gilt, RCTs in der Bildungsforschung Randomisierte kontrollierte Studien (RCTs) sind seltener und gelten als anspruchsvoller. Sie sollen Aufschluss darüber geben, ob eine Maßnahme wirksam ist; im Bildungsbereich bedeutet dies, festzustellen, ob eine neue Strategie oder ein neues Instrument (meist für das Lernen) besser ist als die bereits im Unterricht angewandten Methoden. Im Sinne der Überprüfung bewährter Verfahren wurden RCTs getestet, scheinen aber nicht zu funktionieren.
Einhunderteinundvierzig randomisierte, kontrollierte Studien (RCTs) im Bildungsbereich mit insgesamt 1,222,024 Teilnehmern wurden untersucht. Übersichtsartikel Von Hugues Lortie-Forgues und Matthew Inglis. Jede dieser randomisierten kontrollierten Studien (RCTs) zielte darauf ab, die schulischen Leistungen von Schülern zu verbessern. Insgesamt kam die Übersichtsarbeit zu dem Ergebnis, dass die Ergebnisse dieser Studien weitgehend wenig aussagekräftig waren; sie konnten nicht ausreichend belegen, ob die neue Maßnahme im Unterricht wirksam war oder nicht. Die Autoren der Übersichtsarbeit argumentieren, dass es angesichts der hohen Kosten von RCTs unerlässlich ist, dass Forscher (und ihre kooperierenden Lehrkräfte) die Gründe dafür erforschen.
Was ist schief gelaufen?
Die Autoren präsentieren drei mögliche Erklärungen für dieses Ergebnis. Jede der in der Übersichtsarbeit berücksichtigten randomisierten kontrollierten Studien (RCTs) basierte auf vielversprechenden Vorstudien, die auf die Wirksamkeit der zu testenden Behandlung hindeuteten. Es ist möglich, dass die vielen RCTs zugrunde liegenden Vorstudien unzuverlässig waren und die Studien somit auf schwachen Beweisen basierten. Dies mag zum Teil an der Replikationskrise in der Psychologie liegen, in der zahlreiche zentrale Forschungsergebnisse in weiteren Studien nicht bestätigt werden konnten (siehe dazu den demnächst erscheinenden Beitrag).
Eine zweite Erklärung ist, dass die so wichtige Übertragung der wissenschaftlichen Grundlagen in die Unterrichtspraxis mangelhaft war. Wenn etwas in einer streng kontrollierten Laborsituation funktioniert, ist das nicht zwangsläufig auch im realen Schulalltag möglich, wo die Gegebenheiten ganz anders sind. Es ist außerdem unwahrscheinlich, dass alle Schulen die Studie exakt gleich durchgeführt haben, da Studien in den normalen Schulalltag integriert werden müssen.
„Im Sinne des Ausprobierens dessen, was funktioniert, wurden RCTs getestet, und sie scheinen nicht zu funktionieren.“
Schließlich ist es möglich, dass die neuen Maßnahmen tatsächlich wirksam waren, die Analyse den positiven Effekt aber nicht erfassen konnte. Dies könnte an einer zu geringen Stichprobengröße oder an der Messung des falschen Ergebnisses liegen. Alle in die Übersichtsarbeit einbezogenen randomisierten kontrollierten Studien (RCTs) zielten auf die Verbesserung der schulischen Leistungen ab. Es ist möglich, dass es positive Auswirkungen auf andere Aspekte des Schullebens gab, die in den Studien nicht direkt gemessen wurden.
Eine Mathematikstudie könnte beispielsweise die Freude an Mathematik gesteigert, aber die mathematischen Leistungen nicht direkt beeinflusst haben; die Studie würde als „ineffektiv“ gelten und nicht die beabsichtigte Folge erzielt haben, könnte aber dennoch einen realen und wichtigen Einfluss gehabt haben. Es könnte auch langfristige Auswirkungen geben, die in der Studie nicht erfasst wurden. Im Mathematikbeispiel könnte eine größere Freude an Mathematik Vergnügen könnte dazu führen zu einer Verbesserung der Mathematikleistungen in einigen Jahren, jedoch nicht während der Versuchsperiode.
Was als nächstes?
Es ist wahrscheinlich, dass alle drei Erklärungen zum Ergebnis der Studie beigetragen haben. Die Forschungsgemeinschaft muss nun überlegen, wie die Aussagekraft randomisierter kontrollierter Studien (RCTs) verbessert werden kann. Dies könnte eine genauere Prüfung der der RCT vorausgehenden Grundlagenforschung oder weitere Grundlagenforschung vor der Durchführung einer RCT bedeuten. Es könnte auch bedeuten, dass Forschende und Lehrende enger zusammenarbeiten, um die beste Methode zur Umsetzung von Forschungsergebnissen in die Praxis zu erarbeiten, oder dass Schulen nur dann an einer Studie teilnehmen, wenn sie sich verpflichten, den Studienplan strikt einzuhalten.
„Dies könnte bedeuten, dass Forscher und Lehrer enger zusammenarbeiten, um herauszufinden, wie sich grundlegende Forschungsergebnisse am besten in die Praxis umsetzen lassen.“
Das könnte auch bedeuten, die Definition von Erfolg in einem Prozess zu überdenken; eine stärkere ganzheitlichen Ansatz zur Verbesserung der Bildung. Angesichts der Bedenken hinsichtlich der mitunter enormen Kosten für die Durchführung randomisierter kontrollierter Studien (RCTs), von Lehrern geleitete Versuche Dies könnte eine kostengünstigere Methode sein, um qualitativ hochwertige Forschung darüber durchzuführen, was in der Schule am besten funktioniert.
Obwohl die Ergebnisse der Überprüfung enttäuschend waren, bietet dies der Forschungsgemeinschaft eine wichtige Gelegenheit, Bilanz zu ziehen, zu überlegen, wie randomisierte kontrollierte Studien (RCTs) aussagekräftiger gestaltet und anschließend effektiv konzipiert und eingesetzt werden können. Dadurch können Bildungsstudien ihrem eigentlichen Zweck gerecht werden: herauszufinden, wie Lehre und Lernen verbessert werden können.
Autorin