Das neuartige Setup von Meta AI enthüllt die Struktur und Entwicklung von Transformatoren

In einem neuen Artikel „Birth of a Transformer: A Memory Viewpoint“ stellt ein Meta-KI-Forschungsteam einen neuen synthetischen Aufbau vor, um die Struktur und Entwicklung von Transformer-Sprachmodellen zu untersuchen, mit dem Ziel, Einblicke in das globale und kontextbezogene Lernen von LLMs zu gewinnen.

In den letzten Jahren haben große Sprachmodelle (LLMs) eine starke Fähigkeit bewiesen, große Mengen „globalen“ Wissens aus ihren Trainingsdaten zu lernen, und haben gezeigt, dass sie in der Lage sind, sich schnell an neue Informationen basierend auf gegebenen Kontexten oder Eingabeaufforderungen anzupassen. Trotz ihrer beeindruckenden kontextbezogenen Lernfähigkeiten sind ihre internen Mechanismen noch wenig erforscht, was ihre Zuverlässigkeit für reale Anwendungen gefährdet.

In der neuen Arbeit „Birth of a Transformer: A Memory Viewpoint“ stellt das Meta AI-Forschungsteam einen neuartigen synthetischen Aufbau vor, um die Struktur und Entwicklung von Transformer-Sprachmodellen zu untersuchen. Ihr Ziel ist es, Einblicke in das globale bzw. kontextbezogene Lernen von LLMs zu geben.

Das Team fasst seine wichtigsten Beiträge wie folgt zusammen:

Das Team entwickelt zunächst einen synthetischen Datensatz, um zu untersuchen, wie Transformatoren globales Wissen und kontextbezogene Lernfähigkeiten entwickeln. Dieser Datensatz besteht aus generischen Bigramm-Sprachmodellen, wobei einige Bigramme sequenzspezifiziert sind. Daher verlassen sich die Transformatormodelle auf kontextbezogenes Lernen, um eine gute Vorhersage der sequenzspezifischen Bigramme zu erhalten, während allgemeine Bigramme anhand globaler Statistiken basierend auf dem aktuellen Token vorhergesagt werden können.

Um ein detailliertes Verständnis des Kontextmechanismus während der Trainingsphase zu erlangen, vereinfachen die Forscher die zweischichtige Architektur weiter, indem sie einige der Schichten bei zufälliger Initialisierung einfrieren. Eine solche Vereinfachung ermöglicht es dem Team, ein Modell für individuelle Gewichtsmatrizen als assoziative Speicher einzuführen, die Einbettungspaare speichern. Dadurch ermöglichen sie ein präzises Verständnis der Lerndynamik.

In ihrer empirischen Studie verwendeten die Forscher Mini-Batch-SGD mit Momentum, um ihr Modell zu trainieren. Sie stellten fest, dass die globalen Bigrammstatistiken tendenziell schneller erlernt werden als der Induktionskopf, und dass die Änderung der Datenverteilung die Geschwindigkeit der Eingabe stark beeinflusst. Kontextlernen.

Sie bieten auch theoretische Einblicke in die Trainingsdynamik und zeigen, dass das assoziative Gedächtnis bei ausreichender Datenmenge Rauschen aus Eingaben herausfiltern kann; und wenn die Aufmerksamkeitsmuster nahezu einheitlich sind, kann das gewünschte assoziative Gedächtnis wiederhergestellt werden.

Insgesamt liefert diese Arbeit wertvolle Einblicke in die Struktur und Entwicklung von Transformatormodellen. Das Team behauptet, dass ihr nächster Schritt untersuchen wird, wie Transformatoren einige andere Aspekte nutzen, wie z. B. Lerneinbettungen, faktorisierte Schlüssel-Abfrage-Matrizen und nichtlineare Feedforward-Schichten, um in umfassenderen Umgebungen zu lernen.

Der Artikel Birth of a Transformer: A Memory Viewpoint auf arXiv.

Autor: Hekate Er |Editor: Kette Zhang

Wir wissen, dass Sie keine Neuigkeiten oder Forschungsdurchbrüche verpassen möchten.Abonnieren Sie unseren beliebten Newsletter Synced Global AI Weekly, um wöchentliche KI-Updates zu erhalten.

Maschinenintelligenz | Technologie & Industrie | Information & Analyse

Deine Email-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

Kommentar *

Name

Email

Webseite

Benachrichtigen Sie mich über nachfolgende Kommentare per E-Mail.

Benachrichtigen Sie mich per E-Mail über neue Beiträge.

D