Google Cloud y la comunidad del proyecto han lanzado llm-d 1.0, un stack open source y nativo de Kubernetes diseñado para servir modelos de lenguaje y cargas agentic a gran escala sobre TPU y GPU.
Más de 500 colaboradores
El proyecto, cofundado por Google junto con Red Hat, IBM y otros participantes, reúne a más de 500 colaboradores de más de 25 organizaciones y forma parte de CNCF Sandbox. Combina herramientas del ecosistema PyTorch con Kubernetes para resolver problemas de inferencia distribuida.
Routing consciente de la caché
Una de las claves es dirigir cada petición al lugar donde ya existe el contexto reutilizable. Con cargas agentic de múltiples turnos, conservar prefijos y KV cache puede reducir el tiempo hasta el primer token y evitar que cada solicitud reconstruya desde cero estados costosos.
Google afirma que, en una carga de programación agentic sobre Ironwood TPU, el routing consciente de prefijos junto con offload a memoria host redujo el tiempo mediano hasta el primer token en más de un 85% y elevó el throughput total 2,4 veces frente a un servicio Kubernetes básico.
Separar prefill y decode
llm-d permite operar prefill, decode y codificación multimodal como pools distintos. Eso facilita escalar cada fase según su cuello de botella y ejecutar actualizaciones coordinadas sin tratar todo el sistema como un único bloque.
Qué significa para equipos de plataforma
La versión 1.0 añade control de tráfico multiinquilino, caché KV por niveles y alta disponibilidad. Para empresas que sirven modelos propios, ofrece una base abierta para evitar construir desde cero toda la capa de scheduling e inferencia distribuida.
Los detalles están en el anuncio oficial de Google Cloud.
Qué implica para una empresa
Antes de llevar estas capacidades a producción conviene revisar conjuntamente tecnología, inteligencia artificial, software, ciberseguridad, gestión empresarial y costes. El criterio no debería ser adoptar la novedad por sí misma, sino comprobar rendimiento, dependencia, seguridad, coste total y capacidad real del equipo para operarla.
Fotografía: panumas nikhomkhai / Pexels.
