De la predicción de la salida al mapa probabilístico: autorregresión, self-attention y embeddings

Pregúntale a un modelo de fraude por un pago y responde con una de las dos etiquetas que fue entrenado para distinguir. Pídele a un modelo de lenguaje que continúe "la detective" y no responde con ninguna etiqueta: responde con una distribución — abrió es probable, encontró es plausible, cantó es improbable pero no imposible — y después se compromete con una de ellas, avanza y vuelve a hacer la pregunta con una palabra más en el contexto. Ese giro, de una correspondencia entre entrada y salida esperada a un mapa de probabilidades sobre lo que puede venir después, es el tema de este artículo, junto con los tres mecanismos que hacen utilizable el mapa: autorregresión, self-attention y embeddings.^[4]

1. De una correspondencia a un mapa de probabilidades

La IA tradicional, ya definida en el artículo anterior, aprende una correspondencia entre una entrada y su salida esperada. La IA generativa cambia el foco: en vez de buscar solo la respuesta correcta para una entrada, aprende distribuciones de probabilidad sobre patrones, secuencias y combinaciones posibles. Ese aprendizaje construye un mapa probabilístico de lo que tiende a tener sentido en un contexto dado. El resultado no es una elección entre etiquetas conocidas, sino la navegación por caminos plausibles para producir una salida nueva y coherente.^[4,5]

La diferencia se ve en lo que devuelve el modelo. Un clasificador devuelve un punto de un conjunto cerrado. Un modelo generativo devuelve, en cada paso, una distribución entera sobre el siguiente fragmento — y la salida es el camino que recorre por esas distribuciones. La Figura 1 pone los dos lado a lado.

Practica: abrir en el Lab: Ejercicio 1, Mapa frente a correspondencia

2. Patrones subyacentes y generación coherente

El entrenamiento con grandes volúmenes de datos sirve para capturar las estructuras implícitas que organizan la información, incluso cuando no están etiquetadas explícitamente. El modelo aprende regularidades de lenguaje, estilo, asociación y continuidad, lo que aumenta su capacidad de distinguir secuencias probables de secuencias ajenas al contexto.^[5] Esa es la base de la generación coherente: la salida parece tener sentido porque respeta patrones recurrentes aprendidos durante el entrenamiento. Nadie escribió que una frase en español tiende a poner el verbo después del sujeto, que una receta lista los ingredientes antes de los pasos, o que la llave que cierra una función viene después de su cuerpo; el modelo absorbió esas regularidades de millones de ejemplos en los que se cumplen.

El mismo hecho explica el modo de fallo. Cuanto mejor el entrenamiento, mayor la probabilidad de que el modelo produzca algo consistente y menor la probabilidad de que se desvíe hacia una alucinación — una salida que sigue los patrones de un texto plausible sin estar anclada en nada verdadero.^[7] Una cita alucinada tiene la forma de una cita: autores, título, año, publicación. El mapa dice "así es como se ve una cita aquí"; no dice "esta cita existe". Coherencia y verdad son propiedades distintas, y solo la primera es lo que el mapa optimiza.

3. Dos analogías: el artista y el cartógrafo

La analogía del artista reduce la abstracción del proceso. Un artista observa muchas obras, interioriza estilos, composiciones y relaciones, y después produce algo nuevo sin copiar literalmente una pieza concreta. El modelo generativo opera de forma parecida: usa un repertorio estadístico aprendido para componer una salida original condicionada al contexto recibido. La originalidad surge de la recombinación coherente de patrones, no de la creación a partir de la nada.

La analogía del cartógrafo explica el mapa en sí. El cartógrafo no solo registra las montañas, los ríos y los bosques ya vistos; aprende la lógica del terreno y pasa a inferir dónde podrían existir elementos nuevos. El modelo, del mismo modo, no se limita a memorizar ejemplos: aprende la estructura del espacio de posibilidades. Cuando recibe la petición de generar algo parecido a lo que conoce, proyecta una configuración nueva compatible con las regularidades observadas. Así es como puede dibujar una "isla imaginaria" coherente con las islas que ha visto — un puerto en el lado resguardado, un río que baja de las tierras altas, una aldea en la desembocadura — aunque esa isla concreta nunca haya existido.

Tabla 1 — Las dos analogías describen el mismo objeto desde dos lados: el artista subraya la recombinación, el cartógrafo subraya la estructura que hace coherente una salida nunca vista.

Practica: abrir en el Lab: Ejercicio 2, El cartógrafo

4. Modelos autorregresivos: un token a la vez

Los modelos autorregresivos generan contenido token a token, eligiendo cada siguiente elemento a partir de los anteriores.^[4,5] En texto, esto significa que cada palabra producida cambia el contexto disponible para la siguiente decisión, formando una cadena de dependencias locales. Formalmente, la probabilidad de una secuencia entera es el producto de la probabilidad de cada token dado todo lo anterior:

Tomemos el escenario de generar una novela al estilo de una famosa serie policíaca. El modelo usa el repertorio aprendido de estilo y estructura — un crimen, una lista de sospechosos, una pista que el lector pasó por alto, una revelación en el último capítulo — pero la construcción concreta ocurre paso a paso durante la generación. La coherencia emerge porque cada nueva elección tiene que ser compatible con lo ya escrito: una vez que la detective abrió algo, el siguiente token es muy probablemente algo que se puede abrir. La Figura 2 muestra un paso de la cadena.

Practica: abrir en el Lab: Ejercicio 3, Softmax

5. La autorregresión como proceso de escritura

La analogía del escritor muestra por qué la autorregresión funciona bien para el lenguaje. Un escritor no materializa el texto entero de una vez; escribe una frase, usa esa frase para orientar la siguiente y ajusta el rumbo a medida que la narración avanza. El modelo hace lo mismo a escala estadística: se autocompleta continuamente hasta concluir la secuencia. Este mecanismo explica tanto la fluidez de la generación como la posibilidad de desvío: cuando la cadena empieza a seguir un camino plausible pero incorrecto, cada paso posterior queda condicionado a ese error y tiende a hacerlo parecer consistente en vez de corregirlo.^[6]

• Fluidez. Cada token se elige para encajar con los ya escritos, así que la superficie es lisa por construcción.
• Desvío. Una sola elección improbable — un nombre equivocado, un número inventado — se convierte en contexto para todo lo que sigue. El mapa no tiene una noción aparte de "verdadero"; solo tiene "consistente con lo anterior".
• Por qué la revisión sigue siendo obligatoria. Leer la salida es el único paso en el que algo distinto del mapa la juzga.

6. Self-attention: conservar las partes relevantes del contexto

Atención y contexto ya se presentaron antes; el punto nuevo aquí es la self-attention como forma de preservar relaciones relevantes a lo largo de la secuencia. La self-attention permite al modelo ponderar qué partes anteriores del texto importan más para interpretar o generar el siguiente token.^[1] En un texto largo, esto ayuda al modelo a mantener vínculos entre elementos distantes — un personaje presentado al principio y retomado muchos párrafos después. Sin este mecanismo, la generación perdería continuidad con mucha más facilidad, porque un modelo que solo mirara los últimos tokens no podría saber quién es ella.

En términos prácticos, la self-attention funciona como un sistema de foco selectivo sobre el historial disponible. El modelo no trata todos los tokens anteriores como igual de importantes; asigna pesos mayores a las relaciones más útiles para la decisión actual. Cada posición construye una consulta, la compara con las claves de todas las posiciones anteriores, convierte las comparaciones en pesos que suman uno y los usa para combinar los valores:

Volviendo al libro: esto es lo que permite sostener la identidad del personaje principal y la lógica de la narración incluso cuando hay muchos acontecimientos intermedios. El pronombre de la página doscientos atiende al nombre de la página uno, y la pista que se examina atiende a la carta abierta tres frases antes. La Figura 3 muestra los pesos de una de esas decisiones.

Practica: abrir en el Lab: Ejercicio 4, Foco selectivo

7. Embeddings: de símbolos a vectores

Antes de operar sobre palabras, imágenes o código, el modelo convierte esos elementos en vectores numéricos llamados embeddings.^[2,4] Esa representación vectorial transforma ítems simbólicos en puntos de un espacio matemático donde las relaciones pueden medirse computacionalmente. El modelo no "lee portugués" ni "lee inglés" como un humano; procesa patrones numéricos que codifican propiedades semánticas y contextuales. Eso es lo que hace posible comparar significados por proximidad geométrica entre vectores.

Los embeddings no se diseñan a mano. Se aprenden junto con el resto del modelo, ajustados para que las palabras usadas de forma parecida acaben con vectores parecidos — que es exactamente la propiedad que necesita el mapa probabilístico, porque una distribución aprendida para un contexto puede entonces aplicarse a otro contexto cercano en ese espacio aunque las palabras sean otras.^[4] Los modelos reales usan cientos o miles de dimensiones; la Figura 4 usa dos, para que la geometría se pueda ver.

8. Similitud semántica por vectores

Cuando dos términos aparecen en contextos parecidos, sus vectores tienden a quedar cerca en el espacio semántico; cuando aparecen en contextos muy distintos, tienden a quedar lejos.^[2,10] Por eso pares como París y Roma ocupan regiones próximas, mientras que París y cuchara normalmente quedan más alejados. La analogía con las coordenadas geográficas ayuda: la proximidad vectorial funciona como la proximidad de ubicación, pero en un espacio de significado. La medida estándar es el coseno del ángulo entre dos vectores:

La ecuación (3) da 1 para vectores que apuntan en la misma dirección, 0 para vectores sin relación y −1 para opuestos, sin importar su longitud. La ecuación (4) es la consecuencia famosa: las direcciones del espacio llevan relaciones, así que restar Francia de París y sumar Italia cae cerca de Roma.^[3] Esta estructura es una de las bases sobre las que el modelo reconoce relaciones, mantiene el contexto y elige continuaciones más plausibles.

La Figura 4 entera cabe en pocas líneas. Los vectores son los dibujados; las salidas de los comentarios son lo que imprime el código:

import math

vec = {                                   # embeddings de juguete en dos dimensiones; los modelos reales usan cientos
    "paris":   (0.35, 0.85),  "roma":    (-0.35, 0.85),
    "francia": (0.45, 0.10),  "italia":  (-0.45, 0.10),
    "cuchara": (0.05, -0.60), "tenedor": (-0.05, -0.55),
}

def norma(u):
    return math.sqrt(sum(a * a for a in u))

def coseno(u, v):
    # ecuación (3): 1 = misma dirección, 0 = sin relación, -1 = opuestos; la longitud no importa
    dot = sum(a * b for a, b in zip(u, v))
    return dot / (norma(u) * norma(v))

def vecinos(palabra, k=2):
    otras = [w for w in vec if w != palabra]
    return sorted(otras, key=lambda w: coseno(vec[palabra], vec[w]), reverse=True)[:k]

def analogia(a, b, c):
    # ecuación (4): a - b + c, y luego la palabra más cercana que no sea una de las tres
    objetivo = tuple(x - y + z for x, y, z in zip(vec[a], vec[b], vec[c]))
    candidatas = [w for w in vec if w not in (a, b, c)]
    return max(candidatas, key=lambda w: coseno(objetivo, vec[w]))

print(vecinos("paris"))                   # ['roma', 'francia']
print(vecinos("roma"))                    # ['paris', 'italia']
print(round(coseno(vec["paris"], vec["cuchara"]), 2))   # -0.89: lejos
print(analogia("paris", "francia", "italia"))   # roma

Practica: abrir en el Lab: Ejercicio 5, Coseno y analogía

9. Conclusión

Un modelo generativo no guarda respuestas; guarda un mapa. El entrenamiento con grandes volúmenes de datos convierte la estructura implícita del lenguaje, el código y las imágenes en distribuciones de probabilidad sobre lo que tiende a tener sentido en un contexto dado. La autorregresión recorre ese mapa un token a la vez, y por eso la salida es fluida y puede desviarse; la self-attention decide qué partes del historial importan en cada paso, y por eso un texto largo conserva sus personajes y su hilo; los embeddings dan al mapa sus coordenadas, para que el significado pueda compararse como distancia y las relaciones como dirección. Quédate con el cartógrafo: el modelo infiere un terreno que nunca vio, coherente con el terreno que sí vio — y solo un lector puede comprobar si la ciudad está realmente ahí.