Google AlloyDB envia modelos proxy para consultas semânticas—23.000x mais rápido, 6.000x mais barato
Google anunciou disponibilidade geral das funções AlloyDB AI, operações de banco de dados compatíveis com PostgreSQL para busca semântica, filtragem e classificação ao lado de um padrão de modelo proxy de duas fases que aborda o problema de custo de LLM por linha em escala. O modelo proxy inverte a relação típica de banco de dados para LLM: em vez de chamar um modelo externo para cada decisão de linha, o banco de dados aprende com uma amostra usando um modelo de fronteira, então aplica esse julgamento localmente na velocidade do banco de dados.
A arquitetura funciona em duas fases. Fase 1: uma declaração PREPARE envia uma amostra de dados para um modelo de fronteira (por exemplo, Vertex AI) para treinar um proxy leve localmente. Fase 2: a consulta é executada usando o proxy local na velocidade do banco de dados, com fallback para o modelo de fronteira se a confiança for muito baixa. Para filtragem semântica ai.if em preview, Google relata throughput de 100.000 linhas por segundo com modelos proxy, em comparação com processamento linha por linha de ~4 linhas por segundo—uma melhoria de 23.000x. A redução de custo atinge 6.000x eliminando chamadas de API por linha e overhead de prompt.
O lançamento também adiciona smart batching (GA para ai.if e ai.rank), agrupando múltiplas linhas em chamadas de modelo únicas e entregando melhoria de throughput de 2.400x sobre linha por linha. AlloyDB agora inclui ai.generate, ai.if, ai.rank, ai.forecast, ai.summarize, ai.agg_summarize e ai.analyze_sentiment. Um servidor MCP gerenciado para AlloyDB permite que agentes consultem bancos de dados através do Model Context Protocol sem que as equipes executem infraestrutura customizada.
Para equipes de plataforma, o padrão de destilação em tempo de consulta é arquiteturalmente significativo. Aplica-se além de AlloyDB: qualquer banco de dados chamando modelos externos por linha enfrenta a mesma parede de custo e latência. AlloyDB se posiciona como um banco de dados compatível com PostgreSQL onde consultas estruturadas, busca semântica, busca vetorial (até 10 bilhões de vetores via ScaNN) e análise impulsionada por LLM coexistem. Nota: os números 23.000x e 6.000x são de teste interno de ai.if em preview. Execute benchmarks em seus próprios dados antes de se comprometer com produção.