Google ha presentado LiteRT Tensor API, una interfaz para crear modelos neuronales y gráficos de preprocesamiento y posprocesamiento directamente en C++ y ejecutarlos en dispositivos mediante GPU, NPU o CPU.
Menos copias de datos
Uno de los objetivos es permitir flujos zero-copy entre etapas, reduciendo movimientos de memoria que penalizan la latencia en aplicaciones de edge. Esto resulta relevante en visión, audio y otros escenarios donde el procesamiento debe hacerse cerca del dispositivo.
Modelos nativos y portables
Google busca que los desarrolladores puedan describir operaciones con una API común y dejar que LiteRT seleccione el backend compatible. Para fabricantes y empresas con hardware heterogéneo, esto puede reducir código específico por plataforma.
Fuente primaria: Google Developers Blog.
Aplicación práctica para una pyme
Antes de llevar esta novedad a producción conviene revisar los permisos cloud, la autenticación, el inventario SaaS, el plan de continuidad, la recuperación de datos y el coste real de las APIs de IA.
Fotografía: Nemuel Sereti / Pexels.
