Autoregressive Modelle und Generative Textmodelle

Autoregressive Modelle sind eine Klasse generativer Modelle, die sequenzielle Daten erzeugen, indem sie rekursiv den nächsten Wert vorhersagen. Jede Ausgabe in jedem Schritt hängt von allen vorherigen Eingaben oder zuvor erzeugten Ausgaben ab, weshalb sie häufig in Aufgaben mit Zeitreihen und natürlicher Sprachverarbeitung eingesetzt werden. Generative Textmodelle sind eine typische Anwendung autoregressiver Modelle: Sie sagen das nächste Wort basierend auf den zuvor erzeugten Wörtern voraus und erzeugen es, wodurch schrittweise ganze Textpassagen aufgebaut werden. Bekannte generative Textmodelle wie die GPT-Serie verwenden autoregressive Mechanismen, um kohärenten und flüssigen Text zu erzeugen, der in Dialogsystemen, der Textgenerierung und anderen Aufgaben eingesetzt wird.