Noch vor dem Jahreswechsel berichteten wir darüber, dass man gravierende rechtliche und Reputations-Schäden riskiert, wenn man KI-Ergebnisse ungeprüft übernimmt oder keine KI-Schulungen genossen hat. Zum Nachlesen hier klicken…
Und Anfang Jänner fragten wir: Wer haftet, wenn ein KI-System Fehler macht? Zum Nachlesen hier klicken…
Und vorige Woche brachten wir Praxistipp („Nutzen Sie die TOMs“), den Sie beherzigen sollten, um der DSGVO Genüge zu tun und eine gewisse Absicherung zu haben, die die oben beschriebenen Haftungsprobleme im Zusammenhang von Software- und KI-Nutzung betrifft. Zum Nachlesen hier klicken…
Heute bringen wir nochmals praktische Beispiele, wie überzeugend KI Dinge erfindet und sogar Urteile beeinflusst. Das soll noch einmal Ihr Problembewusstsein erhöhen, dass man KI-Ergebnisse nie ungeprüft verwenden sollte, egal wie überzeugend sie klingen bzw. formuliert sind. Genau in dieser scheinbaren Plausibilität und Überzeugungskraft ist eine der derzeit größten Gefahren beim KI-Einsatz zu sehen.
Abschließend geben wir weitere Tipps und eine Checkliste, zur praktischen Umsetzung einer KI-Strategie im Unternehmen (Recherche, wo ist überall KI enthalten, wie nutzen wir sie, Schulung, Kontrolle, etc. um das Haftungsrisiko reduzieren zu können.
Hier folgt nun der Beitrag von RA Mag. Stephan Novotny, der Erfahrungen aus seiner täglichen Praxis berichtet:
Der Einsatz künstlicher Intelligenz in der (anwaltlichen) Praxis
Künstliche Intelligenz (KI) ist im Leben vieler Menschen nicht mehr wegzudenken und stellt zunehmend auch einen festen Bestandteil des juristischen Alltags dar. Neben allgemeinen Tools wie ChatGPT oder Perplexity kommen spezialisierte Applikationen zum Einsatz, etwa zur Recherche oder zur automatisierten Analyse von Urteilen, Verträgen und Schriftsätzen. Doch wie verlässlich sind diese Tools? Kann man ihren Ergebnissen vertrauen? Können solche Tools die tägliche Arbeit deutlich reduzieren oder gar ersetzen?
KI-Halluzinationen
International häufen sich Berichte, wonach KI-Tools Zitate, Paragraphen oder sogar ganze Gerichtsentscheidungen erfinden, so etwa in Australien: In einem Einwanderungsverfahren wurde ein Schriftstück eingebracht, welches mit Hilfe von ChatGPT erstellt wurde. Bei Prüfung durch die zuständigen RichterInnen stellte sich heraus, dass 17 der zitierten Fälle frei erfunden waren.[1] Während australischen Behörden zufolge bislang etwa eine Handvoll ähnlicher Beschwerden eingegangen ist, wird angesichts der zunehmenden Verwendung generativer KI in Zukunft ein Anstieg derartiger Fälle erwartet.
Auch in Großbritannien mehren sich vergleichbare Vorfälle. In einem Schadenersatzprozess in Millionenhöhe vor dem britischen High Court stützten die Kläger sich auf 45 Gerichtsentscheidungen, von denen 18 von der KI frei erfunden waren.[2] Dies veranlasste die zuständige Richterin, Dame Victoria Sharp, zu einer eindringlichen Warnung: Der Missbrauch von KI untergrabe das Vertrauen in das Rechtssystem und könne schwerwiegende Konsequenzen nach sich ziehen, bis hin zu einem Verfahren wegen Missachtung des Gerichts.
In den USA wurden Medienberichten zufolge bereits Strafen in Höhe von 3.000[3] bzw. 31.000[4] US-Dollar gegen Anwaltsfirmen verhängt, weil sie von der KI erfundene Zitate und Entscheidungen verwendet hatten. Auch das AG Köln kam in einer Familienrechtssache zu dem Schluss, dass die vorgebrachten angeblichen Zitate aus Zeitschriften entweder andere als die genannten Aufsätze enthielten oder schlicht frei erfunden waren.[5] Weitere anekdotische Berichte geben Anlass zu der Vermutung, dass die Dunkelziffer von KI-Halluzinationen in Schriftsätzen recht hoch ist.[6]
Eigene Erfahrungen
Obige Medienberichte über weltweite KI-Halluzinationen decken sich mit den Erfahrungen aus der eigenen anwaltlichen Praxis. Zwar konnten juristische KI-Tools in den letzten Monaten stark verbessert werden, sodass ehemals häufig auftretende Fehler, wie etwa die Wiedergabe einer veralteten Rechtslage, mittlerweile deutlich seltener vorkommen. Dessen ungeachtet ergeben sich immer noch zahlreiche Probleme, welche von gänzlich erfundenen Gerichtsentscheidungen über erfundene Zitate aus real existierenden Entscheidungen bis hin zu falschen Gesetzesstellen reichen.
So enthielt etwa bei einer kürzlich vorgenommenen versicherungsrechtlichen Recherche die Antwort der KI einen Hinweis auf das völkerrechtliche Wiener Übereinkommen über das Recht der Verträge. In einem anderen Fall berechnete die KI der Höhe nach völlig überzogene Schmerzengeldforderungen auf Basis einer nichtexistierenden OGH-Entscheidung. Auch falsche Paragraphen oder falsche Absätze und Ziffern bei der Angabe von Gesetzesstellen sind bei der juristischen KI-Recherche keine Seltenheit, ebenso wenig wie einander logisch widersprechende Ergebnisse, bei denen die KI ihrer im ersten Absatz gegebenen Antwort im zweiten Absatz selbst widerspricht. Im letzteren Fall ist die Fehlerhaftigkeit des Ergebnisses freilich leicht erkennbar, was hingegen auf zahlreiche andere Fälle von Halluzinationen nicht zutrifft.
Was lernen wir daraus? Wie kann man sich vor Haftung schützen? Tipp: Nutzen Sie die TOMs
Eine wirksame Verteidigungslinie sind die „Technischen und Organisatorischen Maßnahmen“ (kurz TOMs), die uns die DSGVO auferlegt. Sie dokumentieren, dass Sie alles getan haben, um Daten zu schützen und Risiken zu minimieren. TOMs sind daher kein lästiger Mehraufwand, sondern ein Instrument, um sich vor ungerechtfertigten Schadenersatzforderungen zu schützen. Also ein Hilfsmittel, um sich „im Notfall freibeweisen“ zu können. Zum Erinnern? Was gehört zu den TOMs? Ein paar Schlagworte: Zutritts-, Zugangs- und Zugriffskontrollen, Verschlüsselung, Backup-Strategien, klare Berechtigungskonzepte und regelmäßige Schulungen. Prüfen Sie, ob Ihre TOM-Dokumentation aktuell ist und ob die Maßnahmen tatsächlich umgesetzt werden. Wer hier nachlässig ist, riskiert hohe Strafen und Reputationsverlust. Weitere Details hier…
Kleine Checkliste: Was jetzt zu tun ist
- zwingende KI-Schulung für alle Mitarbeiter, die KI nutzen.
- Identifizieren Sie, ob bzw. wo bereits KI-Anwendungen im Unternehmen verwendet Studieren Sie deren Nutzungsbedingungen, Datenschutzerklärungen, etc.
- Einstellungen der KI-Produkte möglichst datenschutzfreundlich einstellen (auf Gratis-Versionen verzichten).
- Interne Richtlinie: Welche KI-Tools erlaubt / verboten? Keine Gratis-Versionen erlauben. Verbot, dass Mitarbeiter privat auf Firmengeräten KI nutzen.
- Aufforderung: KI-Ergebnisse müssen geprüft
- Installierung eines KI-Koordinators als 1. Ansprechpartner bei Fragen und Problemen.
- Aktualisierung der TOM-Dokumentation und Umsetzung der Maßnahmen
- Überprüfung des eigenen Versicherungsschutzes (Produkthaftpflicht, Cyber, D&O)
- Erstellung einer Compliance-Roadmap für DSGVO, NIS2, DORA, FIDA
Empfehlenswert zum Nachlesen ist auch dieser Beitrag:
https://ivva.at/mag-novotny-wozu-stimmen-sie-zu-bei-nutzung-bei-nutzung-von-chatgpd-und-sonstiger-ki-nl-12-25/
Fazit und Ausblick
Der britische High Court brachte das Problem auf den Punkt: Die KI liefert scheinbar schlüssige und plausible Antworten, die sich jedoch als in Wahrheit zur Gänze inkorrekt erweisen können.[7] Genau in dieser scheinbaren Plausibilität und Überzeugungskraft ist eine der derzeit größten Gefahren von KI zu sehen. Zwar steht außer Zweifel, dass der Einsatz von KI zahlreiche Chancen mit sich bringt und juristische Arbeitsprozesse erleichtern und beschleunigen kann. Jedoch sollten die damit verbundenen Risiken, wie das Auftreten irreführender Halluzinationen trotz scheinbarer Plausibilität, von KI-AnwenderInnen nicht unterschätzt werden. Die derzeit (noch) vorkommenden falschen Ergebnisse machen es umso wichtiger, KI-Anwendungen mit Vorsicht zu genießen und weiterhin kritisch zu hinterfragen, deren Ergebnisse zu überprüfen und die Verantwortung nicht an die Maschine zu delegieren. Juristische Fachkenntnis, menschliche Kontrolle und ethische Verantwortung bleiben unverzichtbar – auch (oder gerade) im digitalen Zeitalter.
Beste Grüße von Mag. Novotny und dem IVVA-Team
Quellen zum Weiterlesen:
[1] The Guardian, 09.02.2025, https://www.theguardian.com/law/2025/feb/10/fake-cases-judges-headaches-and-new-limits-australian-courts-grappling-with-lawyers-using-ai-ntwnfb
[2] The Guardian, 06.06.2025, https://www.theguardian.com/technology/2025/jun/06/high-court-tells-uk-lawyers-to-urgently-stop-misuse-of-ai-in-legal-work
[3] NPR, 10.07.2025, https://www.npr.org/2025/07/10/nx-s1-5463512/ai-courts-lawyers-mypillow-fines
[4] The Verge, 14.05.2025 https://www.theverge.com/news/666443/judge-slams-lawyers-ai-bogus-research?utm_source=chatgpt.com
[5] Beck-aktuell, 08.07.2025, https://rsw.beck.de/aktuell/daily/meldung/detail/ag-koeln-312f13025-ki-schriftsatz-anwalt-halluzinationen-berufsrecht#
[6] Beck-aktuell, 08.07.2025, https://rsw.beck.de/aktuell/daily/meldung/detail/ag-koeln-312f13025-ki-schriftsatz-anwalt-halluzinationen-berufsrecht#
[7] The Guardian, 06.06.2025, https://www.theguardian.com/technology/2025/jun/06/high-court-tells-uk-lawyers-to-urgently-stop-misuse-of-ai-in-legal-work
RA Mag. Stephan Novotny, Foto: Stephan Huger
RA Mag. Stephan Novotny
1010 Wien, Landesgerichtsstraße 16/12