Können KI denken? Können KI logisch schlussfolgern?
Haben LLMs kognitive Fähigkeiten?
Es gibt derzeit eine interessante Debatte darüber, ob LLMs (Large Language Models) „denken“ können oder nicht.
Sie ist Teil der größeren Debatte darüber, ob KI intelligent ist oder werden kann. Und daher unvermeidlich mit der Frage verknüpft, was Intelligenz ist. Und ob sie nur uns Menschen innewohnt oder eben nicht nur uns. Denn Delphine sind intelligent, eine Krähe und ein Oktopus sind ebenfalls intelligent, was uns zu der Erkenntnis bringt, dass es nicht die Intelligenz ist, die uns zu Menschen zum Menschen macht, genauso wenig wie wir Menschen nicht die einzigen sozialen Tiere zu sein scheinen.
Also müssen wir uns mit den Details befassen und vielleicht sogar einige Vorurteile überwinden. Ja, einmal mehr bringt uns die Diskussion über KI und AGI über den Status-quo unserer existierenden Modelle hinaus. Und sobald wir es wagen, scheint alles ein wenig mehr Sinn zu machen... es sei denn, es geht gar nicht darum überall Sinn zu schaffen, sondern darum das „alles überall auf einmal“ möglich ist.
Interessant ist die Debatte darüber ob LLMs „denken“ können oder nicht, insofern als der Vergleich zu System 1 und System 2 Denken angestellt wird, das wir alle aus Kahnemans bahnbrechendem Werk „Schnelles Denken, langsames Denken“ kennen.
Und natürlich habe ich es auf Twitter aufgegriffen. Da ich kein KI-Forscher bin, lud ich meinen GPT-4-Assistenten ein, um mir zu erklären, worum es geht und mir zu helfen, es besser zu verstehen.
Haben LLMs kognitive Fähigkeiten?
Die Debatte zwischen Geoffrey Hinton und Yann LeCun darüber, ob Large Language Models (LLMs) wie ChatGPT „denken und verstehen“ können, unterstreicht eine grundlegende Spaltung in der Debatte um die Einschätzung de Fähigkeiten von Künstlichen Intelligenzen.
Geoffrey Hinton schlägt vor, dass LLMs tatsächlich eine Form von Verständnis besitzen könnten, was auf eine optimistischere Sicht auf ihre kognitiven Fähigkeiten hindeutet. Andererseits argumentiert Yann LeCun, dass LLMs zwar ein gewisses Maß an Verstehen besitzen, dieses jedoch ziemlich begrenzt und oberflächlich ist. Er weist darauf hin, dass LLMs oft Fehler machen und konfabulieren, was auf ein mangelndes Verständnis hinsichtlich eines „gesunden Menschenverstands“ hindeutet.
LeCun betont die Notwendigkeit, dass KI-Systeme über interne Modelle der Welt verfügen müssten, die es ihnen ermöglichen würden Konsequenzen vorherzusagen und Handlungen zu planen. Er stellt fest, dass die aktuellen autoregressive LLMs, wie ChatGPT, diese Fähigkeit nicht besitzen. Er vergleicht ihr Verstehen- und Planungsvermögen als niedriger als das einer Katze und betont ihre Einschränkungen im Verständnis der physischen Welt und in der Planungsfähigkeit.
LeCun erkennt an, dass LLMs große Mengen an textuellem Wissen ansammeln und abrufen können, dies jedoch immer nur eine Annäherung an Verstehen und Verständnis sei. Er stellt veranschaulicht dies in den Gegensätzen der Fähigkeiten eines menschlichen Kindes und aktueller KI dar. Das Kind kann physische Aufgaben wie das Abräumen eines Esstisches erlernen und ausführen. Eine KI nicht. Das stellt eine signifikante Lücke zwischen aktueller KI und menschenähnlicher Intelligenz dar.
Diese Diskussion unterstreicht die anhaltenden Herausforderungen und Komplexitäten im Bereich der KI, insbesondere bei der Erreichung eines Verständnis- und Intelligenzniveaus, das mit dem von uns Menschen vergleichbar ist.
Vinod Khosla fügt dann seine Perspektiven zur Debatte hinzu. Obwohl er selbst kein Forscher ist, bereichern seine Gedanken die Debatte weiter, da seine Position am meisten mit dem übereinstimmt, was ich bei Debatten über AGI, Intelligenz und die Fähigkeiten von LLMs in Bezug auf Verstehen und Verständnis begegne.
Khosla vertritt die Ansicht, dass Verstehen als inhärentes Verhalten in LLMs entstehen könnte, wenn sie sich weiterentwickeln. Er schlägt vor, dass wir mit jeder neuen Iteration dieser Modelle möglicherweise eine tiefere Ebene der Vernunft sehen könnten, trotz des Wissens, das über Milliarden von Parametern verteilt ist.
Yann LeCun stellt diese Idee jedoch in Frage. Er definiert Vernunft als einen Prozess, der über die Kapazität eines Systems hinausgeht, das eine endliche Anzahl von Token mit einem neuronalen Netzwerk einer festgelegten Anzahl von Tiefen generiert. Laut LeCun hemmen die strukturellen Einschränkungen der aktuellen LLMs die Art von bewussten Verstehen können, die er beschreibt.
Geoffrey Hinton antwortet auf LeCun, indem er die Grundlage seiner Behauptung in Frage stellt. Hinton schlägt vor, dass LeCuns Ansicht in dem Glauben verwurzelt sein könnte, dass die Fehler eines autoregressiven Modells mit längeren Ausgaben zunehmen würden. Hinton widerlegt dies, indem er darauf hinweist, dass die Fähigkeit der Modelle, ihre eigenen Ausgaben zu korrigieren, eine solche Zunahme von Fehlern mildern könnte.
Menschliche Vernunft und Verständnis
Die Debatte geht weiter mit Vinod Khosla und Yann LeCun, die tiefer in das Konzept der Vernunft im Kontext großer Sprachmodelle eintauchen.
Koshla stellt die Definition von „Verstehen können“ in Frage, indem er ein praktischeres Maß vorschlägt: ob ein LLM den durchschnittlichen TED-Publikumsmitglied in einem auf Vernunft basierenden Turing-Test übertreffen kann. Diese Perspektive verlagert den Fokus von theoretischen Fähigkeiten auf praktische, nachweisbare Intelligenz in einem realen Kontext.
Als Antwort erläutert LeCun die Einschränkungen von LLMs in Bezug auf Verständnis. Er weist erneut darauf hin, dass LLMs mit einer festgelegten Menge an Berechnungen pro Token arbeiten, was ihre Fähigkeit einschränkt, viel Zeit und Mühe in die Lösung komplexer Probleme zu investieren. Er vergleicht dies mit dem schnellen, unbewussten Entscheidungsprozess bei Menschen, bekannt als „System 1 Denken“.
LeCun argumentiert, dass ein echter Verständnis- und Verstehensprozess und Planung, ähnlich dem bewussten und absichtlichen „System 2“-Prozess des Menschen, es einem System ermöglichen würde, sich in iterativer Inferenz zu engagieren und potenziell unbegrenzt Zeit für das Finden von Lösungen aufzuwenden. Er erkennt an, dass einige KI-Systeme, wie solche, die im Spiel oder in der Robotik verwendet werden, Planungsfähigkeiten haben, bewertet diese jedoch als immer noch begrenzt.
Ein Schlüsselelement, so LeCun, ist die Entwicklung eines „Weltmodells“ – ein Subsystem, das in der Lage ist, die Konsequenzen von Handlungen im Laufe der Zeit vorherzusagen. Ein solches Modell würde es einem KI-System ermöglichen, eine Sequenz von Aktionen zu planen, um ein Ziel zu erreichen. Er merkt jedoch an, dass der Aufbau und das Training solcher Weltmodelle ein größtenteils ungelöstes Problem in der KI ist.
LeCun hebt auch die Herausforderung der hierarchischen Planung hervor – die Zerlegung komplexer Ziele in eine Sequenz von Teilzielen, etwas, das Menschen und Tiere mühelos tun. Er stellt fest, dass diese Fähigkeit für aktuelle KI-Systeme noch unerreichbar ist, was die Lücke zwischen menschenähnlicher Vernunft und den Fähigkeiten der heutigen KI unterstreicht.
Diese Diskussion veranschaulicht die Komplexität, die KI auf ein Niveau der Vernunft und des Verständnisses zu bringen, das mit dem der Menschen vergleichbar ist, und die bedeutenden Herausforderungen, die noch vor uns liegen.
Rechenkapazität und begrenztes System 1 Denken
Subbarao Kambhampati beteiligt sich an der Diskussion, indem er sich auf die inhärenten Grenzen von LLMs in Bezug auf Rechenkomplexität und logisches Denken konzentriert.
Kambhampati betont, dass die feste Rechenkapazität pro Token in Standard-LLMs bedeutet, dass diese Modelle die inhärente Komplexität eines Problems bei der Generierung von Lösungen nicht berücksichtigen. Dies führt zu einer Einschränkung in der Genauigkeit und Relevanz der vorgeschlagenen Lösungen.
Er verbindet diese Einschränkung mit dem Konzept des System 1 und System 2 Denkens, wie es in Daniel Kahnemans „Schnelles Denken, langsames Denken“ beschrieben wird. Kambhampati behauptet, dass man das schnelle, intuitive System 1 Denken nicht einfach in das langsame, überlegte System 2 Denken umwandeln kann, indem man den Prozess verlangsamt. Dies hebt einen grundlegenden Unterschied in der Natur dieser beiden Denksysteme hervor.
Kambhampati veranschaulicht diesen Punkt humorvoll mit einer Analogie über die Unwahrscheinlichkeit von zwei Bomben in einem Flugzeug und kritisiert die Verwechslung von Kausalität und Korrelation. Er argumentiert gegen die Vorstellung, dass das Verlangsamen der Token-Generierung in LLMs ihre Ausdrucksfähigkeit oder logischen Fähigkeiten erhöhen würde.
Er erwähnt den Ansatz der Chain of Thought (CoT), bei dem ein menschlicher Prompter sorgfältig eine Sequenz konstruiert, um logisches Denken zu simulieren. Er weist jedoch darauf hin, dass es sich dabei oft mehr um die Umwandlung von logischem Denken in eine Form des Abrufens (prompting der antrainierten Regionen) handelt, ohne Garantie für die Richtigkeit.
Er schlägt zwei Methoden vor, um LLMs zu besseren Lösungen zu führen:
(a) Vortraining mit komplexen derivativen Daten von Menschen oder
(b) Erhöhung der aufgabenrelevanten Vielfalt der Vermutungen durch iterative Aufforderungsstrategien, ähnlich dem Ansatz der Gedankenkette/Baum der Gedanken/Garten der Gedanken.
Jedoch schließt Subbarao Kambhampati, dass die endgültige Garantie für die Richtigkeit von einem externen Verifizierer kommen muss, da LLMs von Natur aus nicht die Fähigkeit besitzen, die Richtigkeit ihrer Ausgaben zu garantieren.
Fazit
Was haben wir bisher gelernt:
Die Diskussion zwischen Hinton und LeCun unterstreicht die fortlaufenden Herausforderungen und Komplexitäten, ein Verständnis- und Intelligenzniveau zu erreichen, das dem der Menschen entspricht. Sie hebt die unterschiedlichen Meinungen führender KI-Expert:innen über das Potenzial von LLMs hervor, tatsächlich höhere Ebenen des logischen Denkens und Verstehens zu erreichen.
Koshla fügt interessante Gedanken über praktische Anwendungen hinzu und ob es ausreicht, was als „ein kluges Publikum“ betrachtet wird, um als intelligent anerkannt zu werden.
Während einige aufgrund der strukturellen und funktionalen Einschränkungen dieser Modelle signifikante Grenzen sehen, erwarten andere eine Evolution hin zu ausgefeilteren kognitiven Fähigkeiten.
LeCun, und insbesondere Kambhampati, fügen der laufenden Debatte eine fantastische Tiefe hinzu. Neben der Hervorhebung der grundlegenden Einschränkungen der aktuellen LLMs beim Nachahmen menschenähnlichen logischen Denkens und Verstehens besteht Kambhampati auf die Notwendigkeit einer externen Validierung ihrer Ausgaben.
The fact that standard LLMs produce their answers with a fixed amount of computation per token is another way of understanding why the inherent computational complexity of a problem has no bearing whatsoever on how LLMs guess solutions for them and with what accuracy.. (as I… https://t.co/zS4ZuOwDJG
— Subbarao Kambhampati (కంభంపాటి సుబ్బారావు) (@rao2z) November 27, 2023
