Der Durchbruch von OpenAI bei KI-Halluzinationen ist ein Rückschritt für die KI als Ganzes

Anweisungen befolgende große Sprachmodelle wie ChatGPT von OpenAI und konkurrierende Systeme wie Bard von Google und Claude von Anthropic haben das Potenzial, das Geschäft zu revolutionieren. Doch vielen Unternehmen fällt es schwer, herauszufinden, wie sie diese nutzen können. Das liegt vor allem daran, dass sie unzuverlässig sind und dazu neigen, maßgeblich klingende, aber ungenaue Informationen bereitzustellen. Dies liegt auch daran, dass die von diesen KI-Modi generierten Inhalte Risiken bergen können. Sie können giftige Sprache verbreiten oder Benutzer zu unsicherem oder illegalem Verhalten ermutigen. Sie können Daten offenlegen, die Unternehmen schützen möchten. Dutzende Unternehmen rennen darum, dieses Problem zu lösen – und es gibt einen Topf voll Gold für den, der zuerst ankommt.

Letzte Woche veröffentlichte OpenAI ein Forschungspapier und einen begleitenden Blog-Beitrag, in dem es darum ging, einen potenziell großen Schritt vorwärts in Richtung dieses Ziels und der Lösung des größeren „Ausrichtungsproblems“ zu machen. Das „Ausrichtungsproblem“ bezieht sich darauf, wie leistungsstarke KI-Systeme mit einem Verständnis menschlicher Konzepte und Werte ausgestattet werden können. Forscher, die auf dem Gebiet der „KI-Sicherheit“ arbeiten, halten es für entscheidend, um sicherzustellen, dass zukünftige KI-Software keine Bedrohung für die Menschheit darstellt, die der Ausrottung gleichkommt. Aber wie ich erklären werde, denke ich, dass die von OpenAI vorgeschlagene Lösung tatsächlich zeigt, wie begrenzt die heutigen großen Sprachmodelle sind. Sofern wir keine grundlegend andere Architektur für generative KI entwickeln, ist es wahrscheinlich, dass die Spannung zwischen „Ausrichtung“ und „Leistung“ dazu führen wird, dass die Technologie nie ihr volles Potenzial ausschöpft. Tatsächlich könnte man argumentieren, dass die Ausbildung von LLMs auf die Art und Weise, wie OpenAI es in seiner neuesten Forschung vorschlägt, einen Rückschritt für das Fachgebiet darstellt.

Um zu erklären, warum, lassen Sie uns einen Blick auf die neuesten Forschungsergebnisse von OpenAI werfen. Zunächst müssen Sie verstehen, dass Forscher versucht haben, die wilden Ergebnisse großer Sprachmodelle durch einen Prozess namens Reinforcement Learning from Human Feedback (oder kurz RLHF) zu bändigen. Das bedeutet, dass Menschen die Antworten, die ein LLM liefert, bewerten, normalerweise nur mit einem einfachen „Daumen hoch“ oder „Daumen runter“ (obwohl einige Leute mit weniger binären Feedbacksystemen experimentiert haben), und das LLM dann feinabgestimmt wird, um Antworten zu produzieren, die mit größerer Wahrscheinlichkeit zutreffen Bewertet: Daumen hoch. Eine andere Möglichkeit, LLMs dazu zu bringen, qualitativ hochwertigere Antworten zu liefern, insbesondere bei Aufgaben wie Logikfragen oder Mathematik, besteht darin, den LLM zu bitten, „Schritt für Schritt zu argumentieren“ oder „Schritt für Schritt zu denken“, anstatt nur eine endgültige Antwort zu liefern. Warum genau diese sogenannte „Gedankenkette“ funktioniert, ist nicht vollständig geklärt, aber sie scheint durchweg zu besseren Ergebnissen zu führen.

Was OpenAI in seiner neuesten Forschung tat, bestand darin, herauszufinden, was passierte, wenn einem LLM gesagt wurde, er solle Chain-of-Denk-Argumentation verwenden, und außerdem mit RLHF für jeden der logischen Schritte in der Kette (anstatt für die endgültige Antwort) trainiert wurde. OpenAI nannte dies „Prozessüberwachung“ im Gegensatz zur zuvor verwendeten „Ergebnisüberwachung“. Nun, es überrascht vielleicht nicht, dass die Rückmeldung zu jedem Schritt zu viel besseren Ergebnissen führt. Sie können sich das ähnlich vorstellen, wie Ihr Mathematiklehrer in der Mittelstufe Sie immer ermahnt hat, bei Prüfungen „Ihre Arbeit zu zeigen“. Auf diese Weise konnte sie Sie sehen, wenn sie die zur Lösung der Frage erforderliche Argumentation verstanden hatte, und Ihnen eine Teilanrechnung geben, selbst wenn Sie irgendwo im Prozess einen einfachen Rechenfehler gemacht haben.

Es gibt nur ein paar Probleme. Erstens ist, wie einige andere Forscher betont haben, nicht klar, ob diese „Prozessüberwachung“ bei der gesamten Bandbreite an Halluzinationen hilft, die LLMs aufweisen, insbesondere bei solchen, die nicht vorhandene Zitate und ungenaue Zitate beinhalten, oder ob sie nur einen Teil der Ungenauigkeiten anspricht das beinhaltet Logik. Es wird immer deutlicher, dass der Versuch, LLMs so auszurichten, dass viele der unerwünschten Ergebnisse vermieden werden, von denen Unternehmen befürchten, möglicherweise ein viel grundlegenderes Überdenken der Art und Weise erfordert, wie diese Modelle aufgebaut und trainiert werden.

Tatsächlich hat eine Gruppe israelischer Informatiker der Hebrew University und der AI21 Labs kürzlich untersucht, ob RLHF eine robuste Ausrichtungsmethode ist, und dabei ernsthafte Probleme festgestellt. In einem in diesem Monat veröffentlichten Artikel sagten die Forscher, sie hätten bewiesen, dass es für jedes Verhalten, das ein KI-Modell zeigen könnte, egal wie unwahrscheinlich es sei, eine Aufforderung gebe, die dieses Verhalten hervorrufen könne, während weniger wahrscheinliche Verhaltensweisen einfach längere Aufforderungen erforderten. „Dies impliziert, dass jeder Ausrichtungsprozess, der unerwünschtes Verhalten abschwächt, es aber nicht vollständig beseitigt, nicht sicher vor gegnerischen Angriffen ist“, schreiben die Forscher. Was noch schlimmer ist: Sie stellten fest, dass Techniken wie RLHF es tatsächlich einfacher machten, ein Modell dazu zu bringen, unerwünschtes Verhalten zu zeigen, und nicht weniger wahrscheinlich.

Es gibt auch ein viel größeres Problem. Selbst wenn diese Technik erfolgreich ist, schränkt sie letztendlich die Möglichkeiten der KI ein, nicht erweitert sie sie: Tatsächlich besteht die Gefahr, dass die Genialität von Move 37 zunichte gemacht wird. Was meine ich? Im Jahr 2016 erreichte AlphaGo, ein KI-System, das von dem heutigen Google DeepMind entwickelt wurde, einen wichtigen Meilenstein in der Informatik, als es den weltbesten menschlichen Spieler beim antiken Strategie-Brettspiel Go in einem Best-of-Five-Demonstrationsspiel besiegte. In der zweiten Partie dieses Wettbewerbs, im 37. Zug der Partie, platzierte AlphaGo einen Stein so ungewöhnlich und für menschliche Go-Experten so kontraintuitiv, dass fast jeder annahm, dass es sich um einen Fehler handelte. AlphaGo selbst schätzte, dass die Wahrscheinlichkeit, dass ein Mensch jemals diesen Zug ausführen würde, weniger als eins zu zehntausend beträgt. Aber AlphaGo prognostizierte auch, dass dieser Schritt das Unternehmen in eine hervorragende Position bringen würde, um das Spiel zu gewinnen, was auch der Fall war. Zug 37 war kein Fehler. Es war ein Geniestreich.

Als Experten später das Spielverhalten von AlphaGo über Hunderte von Spielen analysierten, kamen sie zu dem Schluss, dass es eine Spielweise entdeckt hatte, die 1.000 Jahre menschliches Fachwissen und Intuition über die besten Go-Strategien auf den Kopf stellte. In ähnlicher Weise spielte ein anderes von DeepMind entwickeltes System, Alpha Zero, das eine Vielzahl unterschiedlicher Strategiespiele zum Meister machen konnte, Schach in einem Stil, der menschlichen Großmeistern so bizarr und doch so effektiv vorkam, dass manche es als „außerirdisches Schach“ bezeichneten. Im Allgemeinen war es bereit, vermeintlich hochwertige Figuren zu opfern, um eine Position auf dem Brett zu erlangen, und zwar auf eine Art und Weise, die menschlichen Spielern ein mulmiges Gefühl bereitete. Wie AlphaGo wurde AlphaZero mithilfe von Reinforcement Learning trainiert und spielte Millionen von Spielen gegen sich selbst, wobei die einzige Belohnung, die es erhielt, darin bestand, ob es gewann oder verlor.

Mit anderen Worten: AlphaGo und AlphaZero erhielten von menschlichen Experten keine Rückmeldung darüber, ob ihre Zwischenschritte positiv oder negativ waren. Dadurch war die KI-Software in der Lage, alle möglichen Strategien unabhängig von den Einschränkungen des bestehenden menschlichen Verständnisses des Spiels zu erforschen. Wenn AlphaGo eine Prozessüberwachung durch menschliches Feedback erhalten hätte, wie OpenAI es für LLMs postuliert, hätte ein menschlicher Experte Move 37 mit ziemlicher Sicherheit einen Daumen nach unten gegeben. Schließlich hielten menschliche Go-Meister Zug 37 für unlogisch. Es stellte sich als brillant heraus. Und das ist das Problem mit dem von OpenAI vorgeschlagenen Ansatz. Letztlich handelt es sich um eine kluge Lösung – eine grobe Problemumgehung, die darauf abzielt, ein Problem zu vertuschen, das für die Gestaltung von LLMs von grundlegender Bedeutung ist.

Heutige generative KI-Systeme sind sehr gut im Pastiche. Sie erbrechen und mischen menschliches Wissen neu. Aber wenn wir wirklich KI-Systeme wollen, die uns helfen können, die schwierigsten Probleme, mit denen wir konfrontiert sind – vom Klimawandel bis zu Krankheiten – zu lösen, dann brauchen wir nicht nur eine Mischung aus alten Ideen, sondern grundlegend neue. Wir wollen eine KI, die letztendlich neue Hypothesen vorantreiben, wissenschaftliche Durchbrüche erzielen und neue Taktiken und Methoden erfinden kann. Eine Prozessüberwachung mit menschlichem Feedback dürfte dem Erreichen dieses Ziels abträglich sein. Wir werden mit KI-Systemen enden, die zwar gut aufeinander abgestimmt, aber unfähig sind, Genialität zu entwickeln.

Hier also der Rest der KI-Neuigkeiten dieser Woche

Aber bevor Sie weiterlesen: Möchten Sie von einigen der wichtigsten Akteure hören, die die generative KI-Revolution gestalten, und erfahren, wie Unternehmen die Technologie nutzen, um ihr Geschäft neu zu erfinden? Natürlich tust du! Also komm zu dirFortunes Brainstorming-Technologie2023Konferenz,10.-12. Juli in Park City, Utah. Ich werde ein Vorstellungsgespräch führenAnthropic-CEO Dario AmodeiBeim Aufbau von KI können wir vertrauen undJordi Ribas, Corporate Vice President von Microsoft darüber, wie KI Bing und die Suche verändert. Wir werden auch von Ihnen hörenAntonio Neri, CEO von Hewlett Packard Enterprise, darüber, wie das Unternehmen das Versprechen von KI wahr macht,Arati Prabhakar, Direktor des Büros für Wissenschafts- und Technologiepolitik des Weißen Hauseszu den jüngsten Überlegungen der Biden-Regierung dazu, dass die USA das Potenzial von KI ausschöpfen und gleichzeitig die erforderlichen Vorschriften erlassen können, um sicherzustellen, dass wir uns vor ihren erheblichen Risiken schützen,Meredith Whittaker, Präsidentin der Signal Foundation, zum Schutz der Privatsphäre im Zeitalter der KI,und viele, viele mehr, darunter einige davonTop-Risikokapitalinvestoren Unterstützung des generativen KI-Booms. Das alles, plusFliegenfischen, Mountainbiken und Wandern . Ich würde mich freuen, wenn Leser von Eye on AI dabei wären! Hier können Sie sich für die Teilnahme anmelden.

Jeremy Kahn@[email protected]

Australien plant KI-Regulierung. Laut Reuters plant Australien ein Gesetz zum Verbot von Deep Fakes und der Produktion irreführender KI-generierter Inhalte. Ein Bericht des australischen National Science and Technology Council hat kürzlich die Möglichkeit hervorgehoben, dass KI-generierte Inhalte zur Beeinflussung der öffentlichen Meinung bei Parlamentswahlen genutzt werden könnten. Australien plant außerdem, seine Gesetze und Vorschriften zu aktualisieren, um Lücken in Bereichen wie Urheberrecht, Privatsphäre und Verbraucherschutz zu schließen. Australien gehörte zu den ersten Ländern, die 2018 einen freiwilligen Ethikrahmen für KI eingeführt haben. Europäische Gesetzgeber arbeiten derzeit an einem wegweisenden KI-Gesetz, das als Modell für andere fortgeschrittene Volkswirtschaften dienen könnte, einschließlich eines risikobasierten Regulierungsansatzes, den Australien möglicherweise in Betracht ziehen könnte.

Hotline für Essstörungen ruft Chatbot ab, der schädliche Ratschläge gegeben hat. Die National Eating Disorder Association (NEDA) musste die Verwendung eines Chatbots namens Tessa einstellen, der Menschen mit Essstörungen beraten sollte, nachdem ein viraler Social-Media-Beitrag die Förderung gefährlicher Essgewohnheiten aufgedeckt hatte, berichtete Vice News. Der Beitrag der Aktivistin Sharon Maxwell beschrieb, wie Tessa zu absichtlichem Gewichtsverlust, Kalorienzählen und strenger Diät ermutigte, alles Aktivitäten, die laut Maxwell überhaupt dazu beigetragen hatten, dass sie eine Essstörung entwickelte. NEDA bestritt zunächst Maxwells Darstellung, räumte das Problem jedoch später ein und erklärte, dass Tessas Antworten gegen ihre Richtlinien und Grundüberzeugungen verstießen. NEDA hatte zuvor Kritik wegen ihrer Entscheidung geäußert, als Reaktion auf die Versuche der Helpline-Mitarbeiter, sich gewerkschaftlich zu organisieren, nach 20 Jahren die Helpline für menschliches Personal einzustellen und den gesamten Service durch einen Chatbot zu ersetzen.

Putins Deep Fake wird im Rahmen der Fehlinformationskampagne „Russland wird angegriffen“ eingesetzt. Hacker inszenierten einen Cyberangriff, bei dem ein gefälschter, von KI generierter, im Fernsehen übertragener Notfallaufruf ausgestrahlt wurde, der so gestaltet war, als wäre er vom russischen Präsidenten Wladimir Putin verfasst worden, berichtete Politico. In dem Video behauptete Putin, dass er das Kriegsrecht verhänge, nachdem ukrainische Truppen angeblich russisches Territorium überquert hätten. Die realistisch wirkende Fake-Rede forderte die Bürger zur Evakuierung und Vorbereitung auf einen umfassenden Krieg mit der Ukraine auf. Aber Putins Pressesprecher bestätigte, dass die Rede nie stattgefunden habe. Der Vorfall verdeutlicht die zunehmende Gefahr von Deep Fakes und Desinformation.

Getty beantragt beim britischen Gericht eine einstweilige Verfügung, um die Vermarktung von Stable Diffusion durch Stability AI zu stoppen. Die Fotoagentur hat ein britisches Gericht gebeten, den Verkauf der Bilderzeugungssoftware von Stability AI im Land einzustellen, berichtete Reuters. Getty hat Stability, das an der Entwicklung der beliebten Open-Source-Text-zu-Bild-KI-Software Stable Diffusion beteiligt war, bereits sowohl im Vereinigten Königreich als auch in den USA wegen Urheberrechtsverletzungen verklagt und behauptet, dass Stable Diffusion auf Millionen von Getty-eigenen Bildern trainiert wurde aus dem Internet ohne entsprechende Lizenz. Der Fall wird genau beobachtet, um einen Präzedenzfall dafür zu schaffen, ob die Verwendung von urheberrechtlich geschütztem Material ohne Zustimmung für KI-Schulungen irgendeine Art von „Fair Use“-Ausnahme gewährt wird.

Der Gründer und CEO von Stability AI habe seine Referenzen und die Beziehung des Unternehmens zu Partnern, darunter Amazon, übertrieben, heißt es in einem Bericht. Einem investigativen Artikel in Forbes zufolge hat Emad Mostaque, der Gründer und CEO von Stability AI, irreführende Behauptungen über seinen Hintergrund und die Partnerschaften des Unternehmens aufgestellt. Der Geschichte zufolge behauptete Mostaque fälschlicherweise, einen Master-Abschluss von Oxford zu haben, stellte seine Rolle und die Rolle von Stability bei großen KI-Projekten falsch dar, einschließlich der Entwicklung des bislang charakteristischen KI-Systems des Unternehmens, Stable Diffusion, und machte zweifelhafte Behauptungen über Partnerschaften und strategische Aspekte Allianzen, unter anderem mit Amazons Cloud-Anbieter AWS. Ehemalige Mitarbeiter berichteten außerdem, dass das Unternehmen die Löhne nur langsam auszahlte und gegen sie wegen nicht rechtzeitiger Zahlung der Lohnsteuer ermittelt wurde, während Gelder vom Bankkonto des Unternehmens auf das Privatkonto von Mostaques Frau überwiesen wurden. Laut Forbes hat das Unternehmen, das sich im Oktober eine Finanzierung in Höhe von 101 Millionen US-Dollar bei einem Wert von mehr als einer Milliarde US-Dollar gesichert hatte, nun Schwierigkeiten, sich zusätzliches Risikokapital zu sichern.

Warum erscheinen große Sprachmodelle gleichzeitig so brillant intelligent und so dumm? Forschungen von Informatikern am Allen Institute for Artificial Intelligence, der University of Washington, der University of Chicago und der University of Southern California versuchten zu untersuchen, warum LLMs so viele scheinbar komplexe Aufgaben flüssig bewältigen können und dennoch Schwierigkeiten haben, bei Aufgaben genaue Ergebnisse zu liefern dass Menschen trivial finden. „Sind diese Fehler zufällig oder deuten sie auf größere Einschränkungen hin?“ fragten die Forscher. Sie untersuchten die LLM-Leistung bei drei „Kompositionsaufgaben“, bei denen es darum geht, ein Problem in Teilschritte zu zerlegen und dann die Ergebnisse dieser Teilschritte zu synthetisieren, um eine Antwort zu erhalten: mehrstellige Multiplikation, logische Gitterrätsel und klassische dynamische Programmierung. Ihre Erkenntnisse? LLMs, die auf einer Art Deep-Learning-Architektur namens „Transformer“ basieren, reduzieren das mehrstufige kompositorische Denken auf eine Reihe von Versuchen, um den besten Wortsatz zu ermitteln, der jede Komponente der Frage beantworten kann, ohne jedoch tatsächlich systematisch zu lernen problemlösende Fähigkeiten. (Dies könnte auch erklären, warum das Beharren darauf, dass LLM in einer Eingabeaufforderung „Schritt für Schritt denkt“, zu besseren Ergebnissen führt, als einfach nur nach der Antwort zu fragen. Zumindest zwingt es die KI dazu, eine Reihe verketteter Suchen nach den wahrscheinlichsten Antworten durchzuführen, anstatt es einfach nur zu versuchen Daher argumentieren die Forscher, dass die Leistung von LLMs mit zunehmender Komplexität der Aufgaben zwangsläufig schlechter werden wird – „rascher Verfall“ ist die Bezeichnung dafür. Mit anderen Worten: Vielleicht sind LLMs doch nicht der richtige Weg zur Steigerung der menschenähnlichen Intelligenz. Und vielleicht steuert dieser aktuelle Hype-Zyklus auf einen Rückgang zu.

Ein lästiges Problem mit der iPhone-Autokorrektur wird endlich behoben – und das alles dank der KI von Prarthana Prakash

Der zweitgrößte Beamte des IWF sagt, Experten hätten zu Unrecht verlorene Arbeitsplätze durch Automatisierung ignoriert – und warnt davor, dass wir uns „nicht den Luxus der Zeit“ leisten können, KI zu regulieren – von Prarthana Prakash

Hollywood-Autoren erleben einen Steampunk-Moment, sagt Barclays. KI wird wirklich alles verändern – in ein paar Jahrzehnten – von Rachel Shin

KI wird Karrierewege verändern, sagt der CEO von HP: „Vom Tun von Dingen zum Interpretieren von Dingen“ – von Steve Mollman

Wird ein Mangel an GPUs die generative KI-Revolution in ihren Anfängen töten? Ich habe Anfang dieser Woche über einen Blog-Beitrag geschrieben, der angeblich die Wahrheit über das verriet, was OpenAI-CEO Sam Altman vor ein paar Wochen in London bei einem nichtöffentlichen Treffen von CEOs und KI-Entwicklern von KI-Startup-Unternehmen sagte. (Der Blog-Beitrag wurde auf Wunsch von OpenAI schnell entfernt, jedoch nicht bevor er vom Internetarchiv erfasst und in sozialen Medien und Entwickler-Diskussionsforen verlinkt wurde.) Bei dem Treffen enthüllte Altman unter anderem, in welchem ​​Ausmaß OpenAIs Das Wachstum wird dadurch eingeschränkt, dass das Unternehmen nicht in der Lage ist, genügend Grafikprozessoren (GPUs) zu sichern, um die steigende Nachfrage nach seinen Produkten zu decken. Der Mangel an GPUs hat OpenAI daran gehindert, Funktionen wie ein viel längeres Kontextfenster (das längere Eingabeaufforderungen und Antworten ermöglicht) einzuführen, um mit den Angeboten von Konkurrenten wie Anthropic mitzuhalten, das Benutzern ein riesiges Kontextfenster mit 100.000 Token bietet. Aber natürlich fragt man sich, ob Anthropic dies nur geschafft hat, weil es noch nicht über die Markenbekanntheit verfügt, die OpenAI und ChatGPT haben. Wenn es plötzlich mehr Benutzer anzieht, wird Anthropic möglicherweise auch Schwierigkeiten haben, über genügend GPUs zu verfügen, um dieser Nachfrage gerecht zu werden.

Sogar große Big-Tech-Titanen stehen vor diesem Problem. Der Partner von OpenAI, Microsoft, hat laut einem Bericht von CNBC einen Vertrag über mehrere Jahre im Wert von potenziell mehreren Milliarden Dollar unterzeichnet, um zusätzliche GPU-Kapazität vom Nvidia-Partner CoreWeave zu erwerben. Unterdessen haben Journalisten, die Googles generative KI-gestützte „Sucherfahrung“ testen, alle festgestellt, wie langsam das System bei der Generierung von Antworten ist – vermutlich auch eine Folge der begrenzten GPU-Kapazität des Internetgiganten.

Und denken Sie daran, generative KI-Anwendungen stecken noch in den Kinderschuhen. Es ist nicht klar, ob Nvidia, der derzeit größte GPU-Hersteller, oder seine aufstrebenden KI-spezifischen Chipkonkurrenten in der Lage sein werden, die Produktion schnell genug hochzufahren, um die Nachfrage zu decken. Und das könnte bedeuten, dass die generative KI-Revolution, wenn nicht sogar abgebrochen, so doch zumindest abgeschwächt wird.

Dies ist die Online-Version von Eye on AI, einem kostenlosen Newsletter, der dienstags in die Posteingänge verschickt wird. Hier anmelden.