AWS ha publicado un patrón para desplegar modelos de decisión con llama.cpp en Amazon SageMaker AI. Estas cargas no generan necesariamente una respuesta larga: puntúan un conjunto de opciones para decidir qué ruta, herramienta o política debe aplicarse.
Modelos pequeños para decisiones frecuentes
Routing de solicitudes, elección de acciones de un agente o clasificación de políticas pueden requerir miles de decisiones rápidas. En esos casos, un modelo especializado puede resultar más eficiente que utilizar un modelo generativo grande para cada petición.
La arquitectura debe medir errores de decisión
Una latencia baja no compensa una mala selección. Las empresas deberían registrar qué opción eligió el modelo, qué resultado produjo y cuándo intervino una regla o una persona para corregirlo.
Fuente primaria: documentación oficial.
Controles internos recomendables
Antes de desplegar nuevas automatizaciones conviene revisar permisos, autenticación, aplicaciones SaaS, continuidad, recuperación y aprobaciones.
Fotografía: Nemuel Sereti / Pexels.
