Purdue e Georgia Tech Provam que Transformers Extraem Features Não-lineares em Contexto

Pesquisadores na Purdue University e Georgia Institute of Technology produziram a primeira prova teórica explícita de que mecanismos de atenção em transformers realizam extração de features não-lineares durante aprendizado em contexto (ICL) — fechando uma lacuna de longa data na teoria subjacente a todo modelo de fundação capaz de few-shot implantado em escala empresarial hoje.

O paper, "Understanding In-Context Learning for Nonlinear Regression with Transformers: Attention as Featurizer" (arXiv 2605.05176), é de autoria de Alexander Hsu e Rongjie Lai (Purdue) e Zhaiming Shen e Wenjing Liao (Georgia Tech). Teoria anterior de ICL assumia tarefas de regressão linear — uma simplificação que tornava a matemática tratável mas deixava comportamento não-linear do mundo real inexplicado. Este trabalho explicitamente constrói redes transformer que realizam features não-lineares tais como bases polinomiais ou spline diretamente através do mecanismo de interação de atenção, sem componente separado de extração de features.

A construção central é um transformer de atenção ativado por ReLU, end-to-end. Ao invés de delegar aprendizado de features às camadas feed-forward como em arquiteturas modulares anteriores, a equipe mostra que pesos de atenção podem realizar operações aritméticas interpretáveis em contexto que featurizam o prompt. Uma camada final de atenção linear então aproxima a solução do problema resultante de least-squares. O resultado é uma rede rasa, larga — profundidade é independente da precisão de aproximação desejada — que constrói representações polinomiais e spline sem erro de aproximação na própria fase de featurização.

O ganho teórico é um limite de erro de generalização completo expresso em duas quantidades que praticantes podem controlar diretamente: comprimento de contexto (o número de exemplos em contexto no prompt) e tamanho do conjunto de treinamento. O limite se decompõe em erro de aproximação e erro estatístico, dando aos designers uma alavanca principiada para cada um. Experimentos de regressão sintética validam os limites quantitativamente e benchmarkam a construção contra transformers completamente lineares e softmax padrão.

Para arquitetos de IA empresariais, as implicações correm mais fundo que interesse acadêmico. ICL é o mecanismo por trás de prompting few-shot em modelos classe GPT-4, e a maioria das intuições de engenharia de prompt foram empiricamente derivadas sem fundamentação teórica. Este framework agora fornece uma base rigorosa para por que prompts mais longos e bem-estruturados melhoram o desempenho em tarefas não-lineares — comprimento de contexto reduz diretamente erro estatístico — e por que templates de prompt que implicitamente codificam as funções base certas superam os genéricos. Equipes de plataforma construindo pipelines RAG ou wrappers few-shot estruturados ao redor de APIs de modelo de fundação podem agora seguir isto como um princípio de design.

O trabalho também se intersecciona com esforço teórico paralelo da Ohio State University e Singapore University of Technology and Design (arXiv 2507.20443), que fornece a primeira análise formal de dinâmica de treinamento para ICL em uma classe ampla de funções de regressão não-linear. Este paper identifica a constante de Lipschitz L da classe de função alvo como o fator-chave governando velocidade de convergência, com uma transição de fase entre um regime de curvatura plana (L pequeno, passos de gradiente maiores tolerados) e um regime de curvatura acentuada (L grande, passos menores requeridos). Juntos, os dois papers envolvem o problema: o paper Purdue/Georgia Tech diz o que a rede treinada computa, e o paper Ohio State diz quão rápido chega lá durante pré-treinamento.

As ressalvas são significativas. Ambos os papers trabalham em regimes simplificados de uma camada ou rede rasa que são analiticamente tratáveis mas distantes de modelos de produção com 70B parâmetros. Os experimentos sintéticos validam teoria mas não benchmarkam contra tarefas reais ou distribuições de dados reais. Os limites de generalização são finite-sample mas podem ser soltos para os comprimentos de prompt típicos em aplicações implantadas.

Validação empírica é agora a prioridade. A predição teórica — que comprimento de contexto de prompt e templating alinhado a features produzem ganhos previsíveis, separáveis em tarefas não-lineares — é específica o suficiente para testar contra workloads empresariais reais. Equipes rodando inferência de alto volume em tarefas de predição estruturada podem agora agir sobre esta hipótese falsificável.