Modelos Autorregresivos y Modelos Generativos de Texto

Los modelos autorregresivos son una clase de modelos generativos que generan datos secuenciales prediciendo recursivamente el siguiente valor. Cada salida en cada paso depende de todas las entradas previas o de las salidas generadas anteriormente, por lo que se utilizan habitualmente en tareas de series temporales y de procesamiento de lenguaje natural. Los modelos generativos de texto son una aplicación típica de los modelos autorregresivos: predicen y generan la siguiente palabra basándose en las palabras generadas previamente, construyendo gradualmente pasajes de texto completos. Modelos generativos de texto destacados, como la serie GPT, utilizan mecanismos autorregresivos para generar texto coherente y fluido, lo que se emplea en sistemas de diálogo, generación de texto y otras tareas.