Eine KI-Halluzination hätte beinahe zu einem US-Angriff auf ein chinesisches Schiff im Nahen Osten geführt. Grundlage für den Angriff war ein Geheimdienstbericht, der mithilfe eines KI-Chatbots erstellt worden ist. Gemäss diesem sollte ein chinesisches Schiff Komponenten für nukleare Waffen transportieren. Ein Analyst bemerkte, dass der KI-Chatbot die Fracht halluziniert hatte. Die Attacke konnte noch verhindert werden. Wann das alles geschah, ist nicht bekannt. Wahrscheinlich bereits im Frühling, Mitte September hat der US-Sender CNN den Fall publik gemacht.
Herr Stadelmann, ein «dummer Fehler» der KI hätte im Nahen Osten beinahe zu einer Katastrophe geführt. Werden Maschinen solche Halluzinationen jemals ganz vermeiden können?
Thilo Stadelmann: Der Ausschluss solcher Fehler ist prinzipiell nicht möglich – zumindest nicht mit den heutigen Lernverfahren. KI kann nur beurteilen, was statistisch plausibel erscheint, nicht, was tatsächlich wahr ist. Diese Halluzinationen lassen sich auch mit zusätzlichen Regeln und Kontrollen nicht vollständig verhindern.
Warum nicht?
Heutige KI lernt statistische Zusammenhänge aus riesigen Datenmengen und trifft ihre Entscheidungen auf Basis von Wahrscheinlichkeiten. Menschen nutzen zwar ebenfalls Erfahrung und möglicherweise statistisches Lernen, sie können aber zusätzlich Prinzipien erkennen und logisch schlussfolgern. Genau diese Kombination fehlt heutigen KI-Systemen weitgehend.

Thilo Stadelmann, KI-Forscher und Professor an der ZHAW in Winterthur.
Warum ist das ein Problem?
Das System erkennt Muster anhand von Wahrscheinlichkeiten und nicht aufgrund eines Verständnisses der Dinge. Deshalb können minimale Veränderungen dazu führen, dass ein Bild plötzlich völlig falsch eingeordnet wird. Ein für Menschen praktisch unverändertes Nashorn kann so von einer KI als Affe erkannt werden. KI reagiert auf statistische Merkmale, die für uns gar keine Rolle spielen. Deshalb macht sie Fehler, die Menschen nie machen würden.
Was bedeutet das für die Kriegsführung, wenn so einfach Fehler passieren können?
Gerade dort, wo KI über Leben und Tod mitentscheiden kann – etwa im Militär –, muss die grundsätzliche Fehleranfälligkeit der Systeme immer mitgedacht werden. Menschen dürfen die Systeme nicht einfach überwachen. Mensch und Maschine müssen gemeinsam lernen, sich an die Besonderheiten der jeweils anderen Seite anzupassen. Das nennen wir «Co-Lernen». Menschen müssen wissen, in welchen Situationen KI-Systeme besonders fehleranfällig sind.
Wie funktioniert menschliche Intelligenz anders?
Das menschliche Gehirn arbeitet viel strukturierter. In unserer Wahrnehmung erkennen wir einzelne Objekte und setzen sie gleichzeitig zu einem sinnvollen Ganzen zusammen. Wenn ich im Strassenverkehr unterwegs bin, nehme ich Autos, Velos, Fussgänger und Verkehrszeichen gleichzeitig wahr. Entscheidend ist aber nicht nur, dass ich diese Objekte erkenne, sondern dass ich ihre Beziehungen zueinander verstehe. Genau diese Struktur fehlt heutigen KI-Systemen weitgehend.
Lässt sich dieses Problem lösen, indem man die Modelle weiter vergrössert?
Mehr Daten und mehr Rechenleistung machten die Systeme leistungsfähiger. Das sahen wir bei jeder neuen Generation von Sprachmodellen, aber der Trend scheint abzuflachen. Zwar erzielen die neuesten Modelle zusätzliche Fortschritte, indem sie mehr Rechenleistung für das Überprüfen ihrer eigenen Antworten einsetzen. Am grundlegenden Problem ändert das aber nichts: Der statistische Blick auf die Welt verschwindet dadurch nicht. Deshalb glauben wir, dass diese Art von Fehlern grundsätzlich bestehen bleibt und dass der nächste grosse Entwicklungsschritt weniger durch immer grössere Modelle als durch neue Prinzipien des Lernens erreicht wird.
Was sind das für Lernprinzipien für KI?
Es braucht andere Lernalgorithmen für die KI. Heute wird das Netzwerk als Ganzes trainiert, was unter anderem zu hoher Trainingsineffizienz führt. Wir schlagen stattdessen Verfahren vor, bei denen sich einzelne Teile des Netzwerks lokal organisieren und gemeinsam ein konsistentes Bild der Welt entwickeln. Solche selbstorganisierten Prozesse könnten der Funktionsweise biologischer neuronaler Netze näherkommen. Das macht KI zwar nicht zu einem künstlichen Gehirn. Sie könnte aber flexibler lernen und mit deutlich weniger Trainingsdaten auskommen.
Wird KI jemals gleich spontan reagieren können wie ein Mensch?
Das hängt davon ab, für welche Aufgaben ein KI-System entwickelt wurde. Stellen wir uns als Beispiel einen DJ im Vergleich mit normalen Musikern vor: Bei Pop, Dance oder elektronischer Musik fällt der Unterschied zwischen einem DJ und Musikern oft kaum auf. Als Ersatz für ein klassisches Konzert ist ein DJ kaum zu gebrauchen. Ähnlich verhält es sich mit der KI: Ihre Methode zur Simulation menschlichen Verhaltens ist nicht generell einsetzbar, sondern eng gebunden an das, was in den Trainingsdaten enthalten ist. In Situationen, die dort nicht abgedeckt sind, wird ein KI-System versagen, da es nur ‹raten› kann. Das heisst, die statistisch wahrscheinlichste Antwort berechnen.
Welche Folgen hat das etwa für autonome Fahrzeuge?
In 99,9 Prozent der Fälle fahren autonome Autos besser und sicherer. Aber in manchen Fällen macht die KI dumme Fehler, weil ein Sonderfall nicht in den Trainingsdaten enthalten war. Menschen können sterben deswegen. Wegen Fehlern, die einem Menschen nicht passieren würden. Gesellschaftlich stellt sich deshalb die schwierige Frage, ob wir bereit sind, solche andersartigen Fehler zu akzeptieren, wenn dadurch insgesamt weniger Menschen sterben. Einen menschlichen Fehler nehmen wir oft eher als tragischen Unfall wahr. Einen Fehler einer Maschine empfinden wir verständlicherweise als weniger akzeptabel – selbst wenn die Bilanz insgesamt besser wäre.
Wie misst man den Fortschritt von KI?
Wir vergleichen die Ergebnisse mit menschlichen Leistungen anhand sogenannter Benchmarks, also öffentlicher Tests. Bei Sprachmodellen prüfen wir beispielsweise, wie häufig eine Antwort, mit der eines Menschen übereinstimmt. So lässt sich der technische Fortschritt bis zu einem gewissen Grad messen. Ob eine Maschine tatsächlich mehr menschenähnliche Intelligenz besitzt, beantworten solche Tests allerdings nicht.

Thilo Stadelmann ist Professor an der ZHAW und Mitautor der Studie «A Theory of Natural Intelligence», die gemeinsam von Forschern der ETH Zürich, der Universität Zürich, der ZHAW und dem Frankfurt Institute for Advanced Studies entstanden ist.



