Google AlloyDB envía modelos proxy para consultas semánticas—23.000x más rápido, 6.000x más barato
Google anunció disponibilidad general de funciones AlloyDB AI, operaciones de bases de datos compatibles con PostgreSQL para búsqueda semántica, filtrado y clasificación junto con un patrón de modelo proxy de dos fases que aborda el problema de costo de LLM por fila a escala. El modelo proxy invierte la relación típica de base de datos a LLM: en lugar de llamar a un modelo externo para cada decisión de fila, la base de datos aprende de una muestra usando un modelo de frontera, luego aplica ese juicio localmente a velocidad de base de datos.
La arquitectura funciona en dos fases. Fase 1: una declaración PREPARE envía una muestra de datos a un modelo de frontera (p. ej., Vertex AI) para entrenar un proxy ligero localmente. Fase 2: la consulta se ejecuta usando el proxy local a velocidad de base de datos, con retroceso al modelo de frontera si la confianza es demasiado baja. Para filtrado semántico ai.if en vista previa, Google reporta throughput de 100.000 filas por segundo con modelos proxy, en comparación con procesamiento fila por fila de ~4 filas por segundo—una mejora de 23.000x. La reducción de costo alcanza 6.000x al eliminar llamadas de API por fila y overhead de prompt.
El lanzamiento también agrega smart batching (GA para ai.if y ai.rank), agrupando múltiples filas en llamadas de modelo únicas y entregando mejora de throughput de 2.400x sobre fila por fila. AlloyDB ahora incluye ai.generate, ai.if, ai.rank, ai.forecast, ai.summarize, ai.agg_summarize y ai.analyze_sentiment. Un servidor MCP gestionado para AlloyDB permite que los agentes consulten bases de datos a través del Protocolo de Contexto del Modelo sin que los equipos ejecuten infraestructura personalizada.
Para equipos de plataforma, el patrón de destilación en tiempo de consulta es significativo arquitectónicamente. Se aplica más allá de AlloyDB: cualquier base de datos que llame a modelos externos por fila enfrenta la misma pared de costo y latencia. AlloyDB se posiciona como una base de datos compatible con PostgreSQL donde coexisten consultas estructuradas, búsqueda semántica, búsqueda vectorial (hasta 10 mil millones de vectores vía ScaNN) y análisis impulsado por LLM. Nota: los números 23.000x y 6.000x son de prueba interna de ai.if en vista previa. Ejecute benchmarks en sus propios datos antes de comprometerse con producción.