Da previsão de saída ao mapa probabilístico: autorregressão, self-attention e embeddings

Pergunte a um modelo de fraude sobre um pagamento e ele responde com um dos dois rótulos que foi treinado para distinguir. Peça a um modelo de linguagem para continuar "a detetive" e ele não responde com rótulo nenhum: responde com uma distribuição — abriu é provável, encontrou é plausível, cantou é improvável mas não impossível — e então se compromete com uma delas, avança, e faz a pergunta de novo com uma palavra a mais no contexto. Essa virada, de um mapeamento entre entrada e saída esperada para um mapa de probabilidades sobre o que pode vir a seguir, é o assunto deste artigo, junto com os três mecanismos que tornam o mapa utilizável: autorregressão, self-attention e embeddings.^[4]

1. De um mapeamento a um mapa de probabilidades

A IA tradicional, já definida no artigo anterior, aprende um mapeamento entre uma entrada e a sua saída esperada. A IA generativa muda o foco: em vez de procurar apenas a resposta correta para uma entrada, ela aprende distribuições de probabilidade sobre padrões, sequências e combinações possíveis. Esse aprendizado constrói um mapa probabilístico do que tende a fazer sentido em determinado contexto. O resultado não é uma escolha entre rótulos conhecidos, mas a navegação por caminhos plausíveis para produzir uma saída nova e coerente.^[4,5]

A diferença aparece no que o modelo devolve. Um classificador devolve um ponto de um conjunto fechado. Um modelo generativo devolve, a cada passo, uma distribuição inteira sobre o próximo pedaço — e a saída é o caminho que ele percorre por essas distribuições. A Figura 1 coloca os dois lado a lado.

Pratique: abrir no Lab: Exercício 1, Mapa versus mapeamento

2. Padrões subjacentes e geração coerente

O treinamento em grandes volumes de dados serve para capturar as estruturas implícitas que organizam a informação, mesmo quando elas não estão rotuladas explicitamente. O modelo aprende regularidades de linguagem, estilo, associação e continuidade, o que aumenta sua capacidade de distinguir sequências prováveis de sequências estranhas ao contexto.^[5] Essa é a base da geração coerente: a saída parece fazer sentido porque respeita padrões recorrentes aprendidos durante o treinamento. Ninguém escreveu que uma frase em português tende a colocar o verbo depois do sujeito, que uma receita lista os ingredientes antes dos passos, ou que a chave que fecha uma função vem depois do corpo dela; o modelo absorveu essas regularidades de milhões de exemplos em que elas valem.

O mesmo fato explica o modo de falha. Quanto melhor o treinamento, maior a chance de o modelo produzir algo consistente e menor a chance de desviar para uma alucinação — uma saída que segue os padrões de um texto plausível sem estar ancorada em nada verdadeiro.^[7] Uma citação alucinada tem a forma de uma citação: autores, título, ano, veículo. O mapa diz "é assim que uma citação se parece aqui"; ele não diz "esta citação existe". Coerência e verdade são propriedades diferentes, e só a primeira é o que o mapa otimiza.

3. Duas analogias: o artista e o cartógrafo

A analogia do artista reduz a abstração do processo. Um artista observa muitas obras, internaliza estilos, composições e relações, e depois produz algo novo sem copiar literalmente uma peça específica. O modelo generativo opera de forma parecida: ele usa um repertório estatístico aprendido para compor uma saída original condicionada ao contexto recebido. A originalidade surge da recombinação coerente de padrões, não de criação a partir do nada.

A analogia do cartógrafo explica o mapa em si. O cartógrafo não apenas registra montanhas, rios e florestas já vistos; ele aprende a lógica do terreno e passa a inferir onde novos elementos poderiam existir. O modelo, do mesmo modo, não memoriza apenas exemplos: ele aprende a estrutura do espaço de possibilidades. Quando recebe um pedido para gerar algo parecido com o que conhece, ele projeta uma nova configuração compatível com as regularidades observadas. É assim que consegue desenhar uma "ilha imaginária" coerente com as ilhas que já viu — um porto no lado abrigado, um rio descendo das terras altas, um vilarejo na foz — mesmo que aquela ilha específica nunca tenha existido.

Tabela 1 — As duas analogias descrevem o mesmo objeto por dois lados: o artista enfatiza a recombinação, o cartógrafo enfatiza a estrutura que torna coerente uma saída nunca vista.

Pratique: abrir no Lab: Exercício 2, O cartógrafo

4. Modelos autorregressivos: um token de cada vez

Modelos autorregressivos geram conteúdo token a token, escolhendo cada próximo elemento com base nos anteriores.^[4,5] Em texto, isso significa que cada palavra produzida altera o contexto disponível para a próxima decisão, formando uma cadeia de dependências locais. Formalmente, a probabilidade de uma sequência inteira é o produto da probabilidade de cada token dado tudo o que veio antes:

Tome o cenário de gerar um romance no estilo de uma famosa série policial. O modelo usa o repertório aprendido de estilo e estrutura — um crime, uma lista de suspeitos, uma pista que o leitor deixou passar, uma revelação no último capítulo — mas a construção concreta acontece passo a passo durante a geração. A coerência emerge porque cada nova escolha precisa ser compatível com o que já foi escrito: depois que a detetive abriu alguma coisa, o próximo token é muito provavelmente algo que se pode abrir. A Figura 2 mostra um passo da cadeia.

Pratique: abrir no Lab: Exercício 3, Softmax

5. Autorregressão como processo de escrita

A analogia do escritor mostra por que a autorregressão funciona bem para linguagem. Um escritor não materializa o texto inteiro de uma vez; ele escreve uma frase, usa essa frase para orientar a seguinte e ajusta o rumo conforme a narrativa avança. O modelo faz o mesmo em escala estatística: ele se autocompleta continuamente até concluir a sequência. Esse mecanismo explica tanto a fluidez da geração quanto a possibilidade de desvio: quando a cadeia começa a seguir um caminho plausível mas incorreto, cada passo seguinte é condicionado a esse erro e tende a torná-lo consistente em vez de corrigi-lo.^[6]

• Fluidez. Cada token é escolhido para encaixar nos já escritos, então a superfície é lisa por construção.
• Desvio. Uma única escolha improvável — um nome errado, um número inventado — vira contexto para tudo o que vem depois. O mapa não tem uma noção separada de "verdadeiro"; ele só tem "consistente com o que veio antes".
• Por que a revisão continua obrigatória. Ler a saída é o único passo em que algo além do mapa a julga.

6. Self-attention: manter as partes relevantes do contexto

Atenção e contexto já foram apresentados antes; o ponto novo aqui é a self-attention como forma de preservar relações relevantes ao longo da sequência. A self-attention permite ao modelo ponderar quais partes anteriores do texto importam mais para interpretar ou gerar o próximo token.^[1] Em um texto longo, isso ajuda o modelo a manter vínculos entre elementos distantes — um personagem apresentado no início e retomado muitos parágrafos depois. Sem esse mecanismo, a geração perderia continuidade com muito mais facilidade, porque um modelo que só olhasse para os últimos tokens não teria como saber quem é ela.

Em termos práticos, a self-attention funciona como um sistema de foco seletivo sobre o histórico disponível. O modelo não trata todos os tokens anteriores como igualmente importantes; ele atribui pesos maiores às relações mais úteis para a decisão atual. Cada posição monta uma consulta, compara-a com as chaves de todas as posições anteriores, transforma as comparações em pesos que somam um e usa esses pesos para combinar os valores:

De volta ao livro: é isso que permite sustentar a identidade do personagem principal e a lógica da narrativa mesmo quando há muitos eventos intermediários. O pronome na página duzentos presta atenção ao nome da página um, e a pista examinada presta atenção à carta aberta três frases antes. A Figura 3 mostra os pesos de uma dessas decisões.

Pratique: abrir no Lab: Exercício 4, Foco seletivo

7. Embeddings: de símbolos a vetores

Antes de operar sobre palavras, imagens ou código, o modelo converte esses elementos em vetores numéricos chamados embeddings.^[2,4] Essa representação vetorial transforma itens simbólicos em pontos de um espaço matemático onde relações podem ser medidas computacionalmente. O modelo não "lê português" ou "lê inglês" como um humano; ele processa padrões numéricos que codificam propriedades semânticas e contextuais. É isso que torna possível comparar significado por proximidade geométrica entre vetores.

Os embeddings não são desenhados à mão. São aprendidos junto com o resto do modelo, ajustados para que palavras usadas de modo parecido acabem com vetores parecidos — que é exatamente a propriedade de que o mapa probabilístico precisa, porque uma distribuição aprendida para um contexto pode então valer para outro contexto próximo nesse espaço, mesmo que as palavras sejam outras.^[4] Modelos reais usam centenas ou milhares de dimensões; a Figura 4 usa duas, para que a geometria possa ser vista.

8. Similaridade semântica por vetores

Quando dois termos aparecem em contextos parecidos, seus vetores tendem a ficar próximos no espaço semântico; quando aparecem em contextos muito diferentes, tendem a ficar distantes.^[2,10] Por isso pares como Paris e Roma ocupam regiões próximas, enquanto Paris e colher normalmente ficam mais afastados. A analogia com coordenadas geográficas ajuda: proximidade vetorial funciona como proximidade de localização, mas em um espaço de significado. A medida padrão é o cosseno do ângulo entre dois vetores:

A equação (3) dá 1 para vetores que apontam na mesma direção, 0 para vetores sem relação e −1 para opostos, independentemente do comprimento. A equação (4) é a consequência famosa: direções no espaço carregam relações, então subtrair França de Paris e somar Itália cai perto de Roma.^[3] Essa estrutura é uma das bases sobre as quais o modelo reconhece relações, mantém contexto e escolhe continuações mais plausíveis.

A Figura 4 inteira cabe em poucas linhas. Os vetores são os plotados; as saídas nos comentários são o que o código imprime:

import math

vec = {                                   # embeddings de brinquedo em duas dimensões; modelos reais usam centenas
    "paris":  (0.35, 0.85),  "roma":   (-0.35, 0.85),
    "franca": (0.45, 0.10),  "italia": (-0.45, 0.10),
    "colher": (0.05, -0.60), "garfo":  (-0.05, -0.55),
}

def norma(u):
    return math.sqrt(sum(a * a for a in u))

def cosseno(u, v):
    # equação (3): 1 = mesma direção, 0 = sem relação, -1 = opostos; o comprimento não importa
    dot = sum(a * b for a, b in zip(u, v))
    return dot / (norma(u) * norma(v))

def vizinhos(palavra, k=2):
    outras = [w for w in vec if w != palavra]
    return sorted(outras, key=lambda w: cosseno(vec[palavra], vec[w]), reverse=True)[:k]

def analogia(a, b, c):
    # equação (4): a - b + c, depois a palavra mais próxima que não seja uma das três
    alvo = tuple(x - y + z for x, y, z in zip(vec[a], vec[b], vec[c]))
    candidatos = [w for w in vec if w not in (a, b, c)]
    return max(candidatos, key=lambda w: cosseno(alvo, vec[w]))

print(vizinhos("paris"))                  # ['roma', 'franca']
print(vizinhos("roma"))                   # ['paris', 'italia']
print(round(cosseno(vec["paris"], vec["colher"]), 2))   # -0.89: longe
print(analogia("paris", "franca", "italia"))   # roma

Pratique: abrir no Lab: Exercício 5, Cosseno e analogia

9. Conclusão

Um modelo generativo não guarda respostas; guarda um mapa. O treinamento em grandes volumes de dados transforma a estrutura implícita de linguagem, código e imagens em distribuições de probabilidade sobre o que tende a fazer sentido em determinado contexto. A autorregressão percorre esse mapa um token de cada vez, e é por isso que a saída é fluente e pode desviar; a self-attention decide quais partes do histórico importam em cada passo, e é por isso que um texto longo mantém seus personagens e seu fio; os embeddings dão ao mapa suas coordenadas, para que significado possa ser comparado como distância e relações como direção. Guarde o cartógrafo: o modelo infere um terreno que nunca viu, coerente com o terreno que viu — e só um leitor pode conferir se a cidade está mesmo lá.