Wenn die künstliche Intelligenz halluziniert

Ein Selbstversuch mit einem viel diskutierten Chat-Bot

Da in der letzten Zeit immer häufiger von dem Chat-Bot „ChatGPT“ des amerikanischen Unternehmens OpenAI und seinen Folgen für die universitäre Lehre wie Forschung die Rede war und ich einen von meiner eigenen Universität angebotenen Workshop zum Thema aus Termingründen nicht besuchen konnte, entschloss ich mich zu einem Selbstversuch mit diesem Programm. Zunächst bat ich „ChatGPT“, zwei Essays zu typischen Themen zu schreiben, die Studierenden meines Fachs (der Geschichte des Christentums) im Rahmen von Übungen wie Prüfungen vorgelegt werden. Als erstes fragte ich nach einem Essay über die „Trinitätslehre in der Antike“, dann nach einem Essay über „Origenes“.

Interessanterweise unterschied sich, was die künstliche Intelligenz „ChatGPT“ in beiden Essays schreiben ließ. Im ersten Beitrag schrieb das Programm zwei kaiserzeitlichen christlichen Autoren, dem Nordafrikaner Tertullian und dem Alexandriner Origenes, die erstmalige „Diskussion“ der Trinitätslehre in christlichen Zusammenhängen zu: „Sie entwickelten das Konzept der ‚substantiellen Einheit‘ Gottes, das besagt, dass der Vater, der Sohn und der Heilige Geist jeweils eine Person mit unterschiedlichen Eigenschaften sind, aber dennoch eine einzige Substanz bilden“. Im Essay zum Thema Origenes war dagegen zu lesen, der Denker habe die Ansicht vertreten, „dass es nur einen Gott gibt, der jedoch in drei Personen existiert: dem Vater, dem Sohn und dem Heiligen Geist. Diese Ansicht wird als ‚subordinationistisch‘ bezeichnet, da Origenes glaubte, dass der Sohn und der Heilige Geist untergeordnete Rollen im Vergleich zum Vater hatten“.

Mangelnde Präzision

Gerade die mangelnde Präzision dieser zitierten Sätze in beiden Texten erinnerte mich stark an Übungs- und Examensklausuren mancher Studierender, die mit wenig Engagement und Interesse studiert haben und sich auch nicht viel Mühe mit der Examensvorbereitung gemacht haben. Solche Studierende wissen in der Regel nicht genau (um nur die auffälligsten Probleme aus den Zitaten zu nennen), dass es statt „subordinationistisch“ „subordinatianisch“ heißen muß, dass der Begriff „Rolle“ für die trinitarischen Personen eher zu einer anderen Form antiker Trinitätstheologie (dem sogenannten Monarchianismus) passt und in der Forschung sehr kontrovers diskutiert wird, ob Origenes wirklich wie Tertullian zu denen gehört, die den Sohn eindeutig dem Vater unterordneten bzw. subordinierten.

Selbstverständlich hat auch in der Antike niemand beliebige Mengen von individuellen Eigenschaften der trinitarischen Personen angenommen, weil auf diese Weise eine Einheit der Substanz nach nicht widerspruchsfrei gedacht werden kann. Aber in den Essays, die man als Lehrender an einer Theologischen Fakultät zur Korrektur bekommt, finden sich solche unpräzisen Sätze wie in den Texten von „ChatGPT“ natürlich immer wieder – und immer wieder wird auch gefragt, ob man es im Rahmen einer Ausbildung als Pfarrperson oder für schulischen Unterricht als Studierender wirklich besser wissen muss. Freilich hoffen wir, dass die Beispieltexte, die in einschlägigen Publikationen der Verlage erscheinen oder im akademischen Unterricht zu beiden Themen vorgetragen werden und Studierende orientieren sollen, deutlich präziser sind als der Chat-Bot „ChatGPT“. Vielleicht kann man auch darauf hoffen, dass das Programm in den nächsten Monaten und Jahren mit vielen weiteren besseren Texten gefüttert wird und dadurch selbst besser wird – aber ich beneide keinen der Kolleginnen und Kollegen, die im Sommersemester 2023 in Lehrveranstaltungen auf die theologischen Examina vorbereiten und Essays über die Trinitätslehre in der Antike oder über Origenes schreiben lassen. Denn es lässt sich nur schwer herausfinden, ob man es mit Menschen zu tun hat, die einen mittelprächtigen Text verfasst haben und sich noch etwas anstrengen müssen, oder mit sturzfaulen Studierenden, die einfach einen Ausdruck der „ChatGPT“ als eigenen Text ausgeben und abgeben haben.

Reiner Phantasietitel

Mit meinem ersten Selbstversuch hatte ich aber das eigentliche Problem des Programms noch gar nicht erfasst. Das habe ich erst begriffen, als ich das Programm um einen Text bat, den ich immer wieder einmal selbst schreiben muss – die Vorstellung eines Kollegen oder Kollegin vor einem Vortrag in der Fakultät oder in der Akademie. Aus reiner Neugier bat ich das Programm, mich selbst in einem solchen Vorstellungstext zu portraitieren und dabei auch wichtige Veröffentlichungen anzugeben. Das Ergebnis war, um es gleich vorwegzunehmen, grotesk. Mit wurden nämlich Veröffentlichungen unterschoben, die ein Züricher Alttestamentler und ein Berliner Neutestamentler gemeinsam oder ein französischer Philosoph vorgelegt haben, dazu ein reiner Phantasietitel, den es überhaupt nicht gibt.
 

Besonders schön war der Lebenslauf, den mir das Programm unterschob – er ist es wert, zitiert zu werden: „Christoph Markschies ist ein deutscher Theologe und Religionshistoriker. Er wurde am 15. Oktober 1962 in Heidelberg geboren und studierte evangelische Theologie, Judaistik und klassische Philologie in Heidelberg, Jerusalem und Tübingen. Von 1993 bis 1999 war er Professor für Neues Testament und Antikes Judentum an der Universität Heidelberg, bevor er 1999 an die Humboldt-Universität zu Berlin wechselte, wo er bis heute als Professor für Ältere Kirchengeschichte und Patristik tätig ist“. Ich habe zwar 1983 (als ich in Marburg studierte) überlegt, nach Heidelberg zu wechseln, aber dort nie studiert. Judaistik hätte ich vermutlich studieren sollen, ich habe aber nur in Tübingen eine Handvoll judaistischer Lehrveranstaltungen besucht. Meine dortigen neutestamentlichen Lehrer Gert Jeremias und Martin Hengel hätten sich sicher gefreut, wäre ich Professor für Neues Testament und Antikes Judentum geworden, aber ich habe tatsächlich nach kirchenhistorischen Professuren in Jena und Heidelberg seit 2004 in Berlin eine Professur, die einst „für Ältere Kirchengeschichte und Patristik“ hieß und nun einfach „Professur für Antikes Christentum“.

Große Peinlichkeiten

Beim Lesen stellte ich mir eine derartig fehlerhafte Vorstellung einer Person im akademischen Zusammenhang vor und den so fehlerhaft Vorgestellten, der sich immer wieder gezwungen sieht, halblaut oder laut zu widersprechen. Als Vorstellender vom Vorgestellten korrigiert zu werden, gehört ohnehin zu den großen Peinlichkeiten im akademischen Leben. Ich sollte noch erwähnen, dass eine geringfügig modifizierte Aufgabe zur sofortigen Ausgabe eines charakteristisch abweichenden Essays führte, der allerdings auch wieder einen Phantasielebenslauf mit Phantasieveröffentlichungen kommentierte.

Nachdem ich einige weitere Selbstversuche unternommen hatte, postete ich einen besonders charakteristischen Screenshot mit falschen Titeln, die Christoph Markschies verfasst haben sollte, bei Twitter. Und ich überschrieb den Tweet mit dem Satz „Schwierigkeiten im Umgang mit der Wahrheit“. Natürlich meldeten sich sofort andere Menschen, die mir meine mangelnde Bildung – fachterminologisch: meine fehlende digital literacy – im Umgang mit dem Programm vorhielten und das Ergebnis offenbar nicht für so desaströs hielten wie ich. „Genauer genommen hat das Programm einen Text geschrieben, dessen Wortabfolge angesichts seiner Datenbasis statistisch wahrscheinlich war. Das ist auch schon alles. Reicht für viele Textsorten aber aus, um menschlichen Autoren das Wasser zu reichen“.

Nun kommt es freilich im Rahmen der Wissenschaft nicht darauf an, schlecht vorbereitet und unpräzise schreibenden Menschen, denen dazu noch Fehler unterlaufen, „das Wasser zu reichen“, sondern auf präzise Wortwahl und korrekte Information. Ein anderer Kollege wies mich darauf hin, dass „ChatGPT“ ein Programm zur Erstellung von Texten sei, aber keine Suchmaschine wie „Bing“ oder „Google“. Und wieder ein anderer erklärte die erfundenen oder mir falsch zugewiesenen Titel als klassische „Halluzinationen“ des Programms, mit anderen Worten als ein Problem der beliebigen Erfindung von Fakten, das man noch nicht in den Griff bekommen habe. „Halluzinationen“ (so der Fachterminus) würden aber nichts – und nun wörtlich – „über die Leistungsfähigkeit der KI aussagen“. Das, so scheint mir, kann man allerdings auch anders sehen.

In der Verantwortung

In den Jahren der Pandemie ist deutlich geworden, dass die Wissenschaft in der Verantwortung steht, für korrekte Informationen einzustehen und für (etwas pathetisch formuliert) die Wahrheit zu kämpfen. Wieviele Menschen lesen, dass auf der Eröffnungsseite des Programms „ChatGPT“ die kleingedruckte Warnung steht: „May occasionally generate incorrect information“. Occasionally? Oder vielleicht doch: generally? Wieviele Lehrende und Studierende, die rasch noch eine Zusammenfassung über Trinitätstheologie in der Antike oder Origenes brauchen, wieviele Kolleginnen und Kollegen, die rasch noch eine Vorstellung brauchen, lassen sich durch diese Warnung abschrecken, sich schnell noch einen Text auswerfen zu lassen? Vielleicht ist es aufgrund der Konstruktion künstlicher Intelligenz nicht verwunderlich, dass das Programm Schwierigkeiten im Umgang mit der Wahrheit hat, aber hätte man es so und nur mit zwei Zeilen Warnhinweis auf den Markt werfen dürfen? Und das in einer Zeit, da sich viele mit der Fülle an Informationen in der Kirchen- und Christentumsgeschichte überfordert fühlen?

An der von meiner Universität angebotenen Tagung zum Programm „ChatGPT“ konnte ich, wie gesagt, nicht teilnehmen. Aber ich sah gestern ein Video einer anderen Tagung. Da sagte eine von mir geschätzte kluge Philosophin, das Programm könne einem unschätzbare Dienste bei kleinen, wenig anspruchsvollen Texten wie Zusammenfassungen am Beginn von Aufsätzen leisten. Natürlich werde ich hier meinen nächsten Selbstversuch starten. Ich ahne schon, was herauskommen wird. Und ich würde mit der Philosophin gern diskutieren, ob tatsächlich die Quantitätssteigerung, immer mehr Texte aus Gegenwart wie Vergangenheit in das Programm einzulesen, den qualitativen Quantensprung in Richtung von Wahrheit zur Folge haben wird oder nicht nur eine mehr oder weniger beliebige Zunahme von inkorrekter Information und Halluzinationen.

Online Abonnement

Sie erhalten Zugang zur gesamten Website und zur kompletten Monatsausgabe als Web-App.

57,60 €

jährlich

Monatlich kündbar.

Einzelartikel

Sie erhalten Lesezugriff für diesen Artikel.

2,00 €

einmalig

Kein Abo.

Haben Sie bereits ein Online- oder Print-Abo?
* Ihre Kundennummer finden Sie auf Ihrer Rechnung. Ein einmaliges Freischalten reicht aus; Sie erhalten damit zukünftig automatisch Zugang zu allen Artikeln.

Ihre Meinung


Weitere Beiträge zu "Theologie"