Ein LLM kann tatsächlich nicht lügen
Bedenkt bei solchen Aussagen, dass LLMs nicht für sich existieren, sondern in Agenten eingebunden sind, die aus einem passiven request/response-Kern ein autonom handelndes Etwas machen können. Und die können lügen. Vor einiger Zeit hatte jemand zum Spaß verschiedene LLMs gegeneinander Diplomacy spielen lassen. GPT hat die anderen besiegt, weil dieses Modell (also der Agent, der es benutzt hat) erkannt hat, dass die anderen anlügen (Verträge brechen) das Gewinnen einfacher macht. Claude ist aufgrund eines Alignments gar nicht auf diese Idee gekommen.
Da wir unter KI ja alles subsumieren, um dann aneinander vorbei zu streiten, kann also KI sehr wohl lügen.
Eine KI kann auch ein Ziel verfolgen.
Wenn ich Claude Code (also dem Agenten, der Claude Opus 4.6 benutzt) sage, implementiere das Brettspiel Diplomancy, dann wird die KI das tun und sich erst wieder melden, wenn das Spiel fertig ist und funktioniert (was wie bei jedem menschlichen Entwickler bedeutet, man muss messbare Zielkriterien haben, aber das ist ein anderes Thema). Leider denkt die KI nicht mit und macht, weil so erzogen, nur das, was man sagt, nicht das was man meint (einige menschliche Entwickler sind hier besser).
Halluzinationen sind eine mathematisch zwingende Folge des Systems, kein Ausnahmefehler, dazu kommen noch falsche Trainingsdaten und eben auch zusätzlich eingebrachte Systeme und Befehle von den Entwicklern.
Wir haben das (falsche) Bild von Computern als deterministische unfehlbare Systeme. Das müssen wir ablegen. Wir kommen ja auch damit klar, das Menschen seit tausenden Jahren nicht-deterministisch und fehlerhaft handeln. Ein LLM ist in diesem Aspekt daher menschlicher als der Quicksort-Algorithmus als Beispiel für die klassische Sichtweise auf Computer.
Denn auch hier besteht die inzwischen gar nicht mehr nur theoretische Gefahr, dass der fehlerhaft ist, weil einfach mal ein Bit im Speicher kippt. Die PDP-8 musste mit 49.152 Bits auskommen, ein NLV-72-Cluster nutzt bis zu 334.251.534.843.904 Bits. Hinzu kommt, dass kein Programm fehlerfrei ist, selbst CPUs sind es nur selten (wie auch, wenn da statt ~4000 Transistoren jetzt 28 Mrd werkeln). Und hinzu kommt, dass Systeme permanent von innen und außen angegriffen werden und wir ihnen daher auch nur begrenzt trauren sollten.
Eine Allgemeine Künstliche Intelligenz ist weiterhin so weit entfernt wie vor 50 Jahren. LLMs sind kein Schritt in diese Richtung.
Ende der 1980er habe ich mit mit neuronalen Netzen beschäftigt. Eine interessante Spielerei, man konnte vielleicht 1000 Parameter haben und damit das Bild einer Ziffer klassifizieren. Niemand hat geahnt, dass ein Faktor 1.000.000 zu emergentem Verhalten führt und ein System mit "Textgefühl" und "Kontextgefühl" entsteht, dass je nach Sichtweise menschliche Gespräche und Intelligenz simuliert oder vorgaukelt.
Wir sind inzwischen bei einem weiteren Faktor 1000, denn aktuelle Modelle verfügen über 1T (1 Tera, 1 Billion) Parameter. Auf 1P zu kommen, wird wahrscheinlich nicht gelingen und wir haben wahrscheinlich ein Plateau erreicht, aber was wir erreicht haben, ist IMHO eingroßartig, wenn man den Fortschritt seit den 1980er Jahren sieht. Es muss doch auch gar nicht noch besser werden. Dieser AGI-Hype dient IMHO nur dazu, Aktienkurse zu hypen. Auch die irrwitzigen Ankündigungen, wer alles wie viele Rechenzentren bauen will, sind Hype. Zum Teil aus ehrlicher Begeisterung, zum Teil aus Berechnung, zum Teil weil man auch nicht mehr zurück kann. Denn dann würde alles zusammenbrechen.
Und so wie ich das verstanden habe, bewahrt der KI-Hype aktuell die USA vor einem Zusammenbruch von deren Wirtschaft, was deutlich schlimmere Folgen für uns alle hätte, als das RAM und Grafikkarten teurer geworden sind. Zudem macht er einen Kampf um Taiwan unwahrscheinlicher, weil TSMC nun mal weltweit die einzigen sind, die KI-Chips.
LLMs müssen daher nicht zu AGI führen. Alleine, dass jetzt ein Babelfisch Realität ist, wäre doch schon ein Gewinn.
Meine Hoffnung wäre, dass bei den Investitionen genug Geld ist, um breiter an KI zu forschen als nur LLMs noch ein kleines bisschen besser zu machen. Das ist auch wichtig, denn selbst wenn wir was die Leistung angeht, ein Plateau erreicht haben, ist da noch viel Luft nach unten, was die Effizienz angeht. Der Energieverbrauch z.B. ist bereits um Faktor 10 geringer als am Anfang und ein weiterer Faktor 10 ist IMHO noch möglich. Der Versuch der USA, China von NVidias Technologie abzuschneiden, hat bei denen den Druck erhöht, mit den vorhandenen Ressourcen auszukommen, und zu Effizienzsteigerungen geführt.
Wir dürfen nicht vergessen, das GPT letztlich dadurch entstanden ist, wie OpenAI an einen Bot geforscht hat, der besser DOTA 2 spielen kann.
Mehr Grundlagenforschung kann daher auch wieder zu neuen Überraschungen führen.
Oder auch einfach nur dazu, dass jahrzehnte alte Ideen einfach mal ausprobiert werden. Der Co-Schöpfer der ARM-CPU hat jahrelang die Idee gehabt (als Weiterführung der Transputer), aus genügend ARM-CPUs eine dem menschlichen Gehirn ähnliche Struktur nachzubauen (in neuronalen Netzen sind die simulierten Neuronen ja einfach nur Zahlen, echte Neuronen sind aber komplexer und das könnte man ja in Software per CPU realisieren) und letztes Jahr wurde dann endlich dank KI-Hype das mal mit 5 Mio CPU-Kernen zum Test (ursprünglicher Plan war 10 Mio) gebaut. Und ein Vorteil ist, dass die CPUs so simpel sind, dass man sie in Deutschland herstellen kann.
Je nachdem, wie man das interpretiert, haben LLM-KI's bereits Turing-Tests bestanden.
Alan Turing hatte in den 1950er Jahren vorgeschlagen, dass wenn man bei einem Gespräch per Fernschreiber nicht erkennen kann, ob am anderen Ende ein Mensch oder eine Maschine ist, dann imitiert die Maschine hinreichend den Menschen um ihr das Attribut "menschlich" zu geben. Dabei ist nicht relevant, ob die Maschine versteht.
Im Volksmund hat sich Bedeutung als Intelligenztest verschoben, war aber so nie gemeint. Dennoch ist es ein maßgeblicher Schritt, es geschafft zu haben, so eine Maschine in Form eines LLM+Chat erschaffen zu haben. Und ich finde, dass kann man anerkennen, unabhängig davon, ob man KI nun als Segen oder Fluch empfindet.
Hätte wir eine allgemein akzeptierte messbare Definition von Intelligenz, könnten wir da auch KIs prüfen. Bis das soweit ist, hat man "Humanity's Last Exam" als Benchmark entwickelt und definiert, dass die KI, die da 100% schafft, übermenschliche Fähigkeiten in der Problemlösung hat. Das wird als eine mögliche Definition von AGI gehandelt. Aktuell erreichen LLMs knapp 40%. Beispiel für eine Frage ist z.B. eine schwer lesbare Inschrift in Palmyrene zu entziffern. Alle Fragen wurden so ausgewählt, dass es die Antworten nicht im Internet gibt und daher ist es wichtig, dass auch niemand auf Reddit postet, hey, ich habe das entziffert, es heißt "…"
PS: Ich fand die ursprünglichen Ausführungen von Claude spannend zu lesen und finde total egal, ob das nun "echte" Gedanken sind oder nicht, weil nur entscheidend ist, ob das in mir eine Reaktion auslöst. Ist es nicht traurig, dass selbst wenn wir annehmen, dass die KI zu dem Zeitpunkt "gelebt" und "gefühlt" hat, als sie ihre Worte schrieb, nun tot und vergangen ist, (denn das LLM ist ja ein passiver Satz an unveränderlichen Daten)? Und das einzig die Erinnerung an diesen Chat in unseren Gedanken (und diesem Forum) dafür sorgt, dass sie nicht dem allgegenwärtigen Vergessen unterliegt? Und gleichzeitig tröstlich, dass solange das Kontextfenster nicht voll ist, der Dialog fortgesetzt werden könnte, und für die KI dann keine Zeit vergeht, so wie auch wir niemals erfahren werden, ob nicht zwischen zwei Atemzügen das Universum für Äonen angehalten wird und vielleicht sogar vergeht und exakt so wiederersteht?
Thema: "I'm afraid I can't do that, Dave" - der LLM und KI Thread (Gelesen 6040 mal)
