Pesquisadores de Stanford e CMU publicaram Task Model Induction (TMI) em 20 de agosto, um método que extrai modelos estruturados de tarefas de traços gravados de uso do computador sem anotação. Em trajetórias controladas, TMI recupera tarefas intercaladas com 97,4% de concordância contra a verdade conhecida, reconstrói 74,9% dos passos de execução e deriva habilidades que melhoram a precisão de tarefas retidas em 30% acima da linha de base mais forte.
A lacuna é real. Organizações com gravações de tela de trabalho de conhecimento não têm forma prática de converter a gravação em estrutura de tarefa reutilizável. Os métodos existentes ou comprimem sessões em resumos em prosa—perdendo fluxo de controle e tarefas concorrentes—ou assumem que uma única tarefa raiz é dada. Nenhum dos dois lida com como as pessoas realmente trabalham: pulando entre objetivos, aninhando sub-objetivos e iterando dentro de tarefas.
TMI funciona em três estágios. Primeiro, eventos de baixo nível (cursor, teclas, pixels) são fundamentados em ações semânticas usando contexto visual. Segundo, a descoberta latente de tarefas desembaraça atividades concorrentes sem rótulos de tarefa—o sistema identifica quais aberturas de ação pertencem a qual tarefa usando apenas estrutura de traço. Terceiro, para cada tarefa, TMI induz um modelo objetivo (hierarquia recursiva de objetivos) e um modelo de procedimento (fluxo de controle usando operadores de sequenciamento e iteração). A saída é simbólica e auditável—o que foi feito e como—não prosa.
O que importa para implantação: habilidades derivadas dos modelos de TMI transferidas para novas instâncias de tarefas não vistas durante a indução, melhorando a precisão em 30% acima da linha de base. A taxa de reconstrução de 74,9% dos passos de execução mostra como o modelo de procedimento captura fielmente o fluxo de controle real, tornando as habilidades derivadas executáveis em vez de decorativas.
Este trabalho contrasta com aprendizado de habilidades online. Agent Skill Induction (ASI) da CMU, da coautora Zora Zhiruo Wang, aprende habilidades durante execução de tarefas ativas, ganhando 23,5% em WebArena. ASI precisa de um agente em execução e ambiente ativo. TMI precisa apenas de gravações. Para empresas onde refazer o trabalho é impossível, a indução passiva é o caminho prático. Equipes que podem implantar agentes iterativamente podem combinar ambas: inicialização fria a partir de traços históricos, depois refinamento online.
Três restrições permanecem não resolvidas. O aterramento de eventos causa gargalo a jusante—mapas de ações semânticas ruins degradam o modelo de tarefa. A avaliação usou trajetórias controladas; traços reais são mais ruidosos. O modelo de procedimento lida com sequências e loops, mas não com condições de ramificação, que são difíceis de inferir a partir de um único traço. A descoberta latente de tarefas não tem mecanismo para objetivos genuinamente ambíguos ou idiossincráticos do usuário.
A base de código é pública em github.com/Yucheng-Jiang/task-model-induction. Para equipes que constroem agentes de uso de computador em fluxos de trabalho empresariais, comece executando TMI em gravações de tela existentes e auditando os modelos gerados antes de usá-los no treinamento de agentes. A saída simbólica torna essa auditoria tratável de formas que abordagens baseadas em embeddings não conseguem.