Schreibt ChatGPT die besseren Schulaufsätze?
Eine deutsche Studie vergleicht die Qualität englischsprachiger Aufsätze von ChatGPT mit denen von realen Schülerinnen und Schülern. Die Bewertungen der Lehrkräfte sind eindeutig – und könnten den Schulalltag revolutionieren.
Schreibt KI mittlerweile besser als Schüler*innen? Eine Forschungsteam hat sich dieser Frage im Rahmen einer Studie gewidmet.
Wer macht es besser: Mensch oder Maschine? Diese Frage stellten sich Forschende der Universität Passau nun im Schulkontext – und ließen 270 englischsprachige Aufsätze von Oberstufenschüler*innen gegen Inhalte vom KI-Programm ChatGPT antreten.
Während Version 3.5 des Chatbots Anfang des Jahres noch am bayerischen Abitur scheiterte, bestand Version 4.0 mit einer glatten Zwei. Ob die KI aber auch im Direktvergleich mit Schüler*innen qualitativ überzeugen kann, untersuchten die Forschenden in ihrer Studie, die in der Zeitschrift Scientific Reports erschien. Ihre Ergebnisse sprechen eine eindeutige Sprache – und könnten den Schulalltag verändern.
Lehrkräfte bewerten Texte von ChatGPT und Schüler*innen
Für ihre Studie hat das Forschungsteam, das vom Informatiker Steffen Herbold, der Computerlinguistin Annette Hautli-Janisz und der Informatik-Didaktikerin Ute Heuer geleitet wurde, zunächst eine Fortbildung für 139 Lehrkräfte – hauptsächlich von Gymnasien – gegeben. Schwerpunkt: Die Chancen und Herausforderungen von ChatGPT.
Daraufhin bewerteten 111 der Lehrkräfte maschinengenerierte Aufsätze von Chat-GPT und Aufsätze von Schülerinnen und Schülern in der Oberstufe nach Richtlinien des niedersächsischen Kultusministeriums – ohne zu wissen, welcher Aufsatz aus welcher Feder stammte. Bewertet wurden inhaltliche Kriterien wie Thema, Vollständigkeit und Logik des Aufbaus sowie sprachliche Aspekte wie Wortschatz, Komplexität und Sprachbeherrschung. Punkte konnten von 0 bis 6 vergeben werden, wobei 0 für das schlechteste und 6 für das beste Ergebnis stand.
Sind KI-Chatbots schlauer als Schüler*innen?
Das Ergebnis war deutlich: Die maschinell erstellten Inhalte überzeugten die Lehrkräfte in allen Punkten – und zwar mehr als die ihrer eigenen Schüler*innen. Die größte Abweichung gab es laut den Forschenden bei der Sprachbeherrschung: Während ChatGPT-4 5,25 Punkte erreichte und ChatGPT-3 5,03 Punkte, lagen die Schüler*innen durchschnittlich bei 3,9 Punkten. Auch in den anderen Bereichen schnitt die Maschine besser ab als der Mensch.
„Das bedeutet nicht, dass Schülerinnen und Schüler schlecht in der englischen Sprache sind“, sagt Hautli-Janisz, Juniorprofessorin für Computational Rhetoric und Natural Language Processing an der Universität Passau. „Vielmehr sind die Werte der Maschine überdurchschnittlich hoch.“ Laut der Computerlinguistin sagen die Studienergebnisse auch etwas über die Sprachentwicklung von ChatGPT aus: Die Maschine sei in der Folgeversion besser geworden und könne die Aufgabe gezielter bearbeiten. Darüber hinaus konnte das Team einen Einblick in die Unterschiede zwischen der menschlichen und maschinengenerierten Sprache gewinnen.
Galerie: Schule vor 100 Jahren
Künstliche Intelligenz an Schulen
Die Ergebnisse seien laut den Forschenden ein deutlicher Hinweis darauf, dass die Befürchtungen vieler Lehrkräfte berechtigt sind: In einer Welt, in der Schüler*innen freien Zugang zu KI-Sprachmodellen haben, muss sich die Art der Hausaufgaben und ihre Bewertung ändern.
Außerdem sollten Lehrer*innen im Unterricht mit der KI arbeiten, statt sie aus dem Klassenraum zu verbannen: „KI-Modelle müssen als integraler Bestandteil von Bildung betrachtet werden, der jedoch sorgfältige Reflexion und ein Training des kritischen Denkens erfordert“, heißt es in der Studie. Lehrkräfte sollten dahingehend auch die Strategien zur Vermittlung von Schreibfähigkeiten anpassen: Sie sollten gemeinsam mit den Schüler*innen kritisch über das neu gewonnene Werkzeug ChatGPT reflektieren und überlegen, wann und wo es am besten zum Einsatz kommen sollte – und wo nicht.
