LangSmith lança LLM Gateway para governça do agente; apóia limites de gastos e redige PII na camada de solicitação

LangChain lançou LangSmith LLM Gateway em beta privado, uma camada de governça de tempo de execução que fica entre aplicações de agentes e APIs de provedor de LLM. O gateway apóia limites de custo, redige PII/segredos e registra todas as violações de política como eventos rastráveis dentro da camada de observabilidade do LangSmith. Os usuários configuram o gateway trocando sua base_url para o endpoint do LangSmith Gateway, adicionando chaves de API do provedor aos segredos do espaço de trabalho e definindo políticas na interface do usuário—nenhuma infraestrutura ou orquestração separada necessária.

O gateway é enviado com quatro controles principais. Limites de gastos apóiam limites rígidos em granularidade de org, espaço de trabalho, usuário ou chave de API; quando excedido, os agentes recebem uma resposta 402. Detecção de PII e segredos redige dados sensíveis de solicitações e respostas antes de chegarem ao modelo ou armazenamento de rastréio. A visibilidade de gastos em tempo real agrega custos por espaço de trabalho, usuário e chave, eliminando surpresas de fatura de final de mês. Continuidade de rastréio preserva observabilidade: todas as chamadas com proxy de gateway aparecem no mesmo espaço de trabalho do LangSmith que os outros rastréios do agente, evitando fragmentação.

A superfície de governça se integra ao fluxo de trabalho de construção, observação, avaliação existente do LangSmith. Quando uma política é acionada, a solicitação bloqueada aparece como um evento rastrável no LangSmith; os engenheiros podem clicar no rastréio exato, ajustar prompts do sistema ou configuração de ferramentas e reavaliar em relação aos conjuntos de testes sem alternância de contexto. Cada ação administrativa é registrada em auditoria para conformidade. Esta colocação de governça e observabilidade difere de plataformas de guardrails independentes (que exigem ajuste separado de modelos de avaliação) ou gateways de camada de rede (que carecem de contexto de rastréio para debug de decisões de política).

A motivação é concreta: agentes de codificação presos em loops de repetirção podem acumular faturas de quatro dígitos da noite para o dia; agentes de suporte ao cliente processando solicitações de reembolso podem vazar PII (números de segurança social, detalhes bancários) para registros de provedor de LLM e sistemas a jusante. A observabilidade sozinha não pode impedir esses problemas; impossição na camada de solicitação é necessária. LangSmith aborda a lacuna incorporando governça dentro da estrutura do agente onde as equipes já constroem e observam.

Para equipes que implantam sistemas agentos em produção, a implicação é estrutural. Custo e vazamento de dados agora são gerenciáveis no limite de solicitação, não em dashboards pós-hoc. Isso muda a seguraça do agente de uma conveniténcia de conformidade para um requisito integrado, análogo a como as equipes de segurança agora veem os gateways de API como infraestrutura table-stakes. Espere que outras estruturas de agentes (AutoGen, CrewAI, etc.) incorporem governça de tempo de execução similar como padrão.