Im Mai 2023 hatte ein eigentlich wenig spektakuläres Verfahren für Schlagzeilen gesorgt, weil bei der Erstellung der Anklageschrift ChatGPT eingesetzt wurde – und der KI-Chatbot eine Reihe von nicht existenten Präzedenzfällen halluzinierte. Seitdem kommt es immer wieder zu aufsehenerregenden KI-Halluzinationen vor Gericht.

Eigentlich keine Überraschung, hatten doch Forscher:innen der Stanford University schon Anfang 2024 festgestellt, dass ChatGPT und Co bei konkreten Anfragen im juristischen Bereich in 69 bis 88 Prozent der Fälle halluzinieren. Wie verbreitet das Problem schon ist, zeigt jetzt eine Datenbank mit Fällen von KI-Halluzinationen vor Gericht.

Demnach wurden seit Mitte 2023 weltweit 129 Fälle aufgedeckt, in denen KI halluziniert hatte. Dabei geht es etwa um Zitate aus nicht existenten Gerichtsdokumenten sowie bestimmte aufgeführte Argumente. Verantwortlich für die Datensammlung ist der französische Anwalt und Data-Scientist Damien Charlotin.

Zuletzt hatte etwa der Anthropic-Chatbot Claude in einem Verfahren des Unternehmens gegen Musikverlage Zitate, Titelangaben und Autor:innen zum Teil frei erfunden. Die KI-generierten Fehler waren dem Anwaltsteam von Anthropic trotz manueller Prüfung entgangen.

Laut den Angaben in der ständig aktualisierten Datenbank sind allein im Jahr 2025 schon über 80 KI-Halluzinationen vor Gericht aufgedeckt worden, darunter eine Handvoll in Europa. Die überwiegende Mehrzahl der Fälle stammt aus den USA.

Es handelt sich zudem vor allem um frei erfundene Zitate und Fake-Verweise auf nicht existente frühere Fälle. In der Sammlung nicht erfasst wird der darüber hinaus gehende Einsatz von KI in juristischen Dokumenten. Auch hier sind allerdings KI-Halluzinationen nicht ausgeschlossen. Die Dunkelziffer dürfte entsprechend viel höher sein, wie Charlotin gegenüber Mashable sagte.

Derweil ist das teils zusammenhanglose Kopieren von Zitaten oder Verweisen auf andere Fälle nichts Neues, sondern laut dem Anwalt gängige Praxis. Das Problem bei den KI-Chatbots sei, dass hier Fälle und Fallakten zum Teil einfach erfunden werden.

Anwält:innen sollten sich aber der Konsequenzen des KI-Einsatzes bewusst sein. Fliegt die Schummelei durch in Dokumenten enthaltene KI-Halluzinationen auf, drohen finanzielle Sanktionen, Abmahnungen und sogar die Einstellung von Verfahren.

Charlotin zufolge seien die entsprechenden Strafen bisher aber eher mild ausgefallen. Was auch daran liegen könne, so der Anwalt, „dass es für alle Beteiligten etwas peinlich ist“.