Descripción de la oferta
En el grupo Cuidacasa buscamos un AI Engineer que garantice la calidad y fiabilidad de los agentes de IA que ya operan en producción en el sector asegurador.
No buscamos a alguien que construya sistemas desde cero. Buscamos a quien garantice que los agentes que ya existen razonan con precisión, no alucinan ante el cliente, aprenden de cada corrección y operan siempre dentro de los límites que el negocio define.
Responsabilidades
Monitorizar el ciclo completo del agente en producción, asegurando que no se desvía de su objetivo.
Medir y reducir la tasa de alucinación: detectar respuestas no fundamentadas y cerrar el ciclo de corrección con negocio.
Operar y supervisar la capa de observabilidad: logging estructurado, detección de drift, alertas automáticas y dashboards con métricas clave.
Coordinar el ciclo de feedback humano con Data Engineering: validar qué correcciones son relevantes y asegurar que retroalimentan el comportamiento del agente.
Velar por la integridad del conocimiento en el RAG: detectar cuándo la información está desactualizada o genera respuestas incorrectas y coordinar su actualización.
Detectar y corregir prompt drift mediante golden sets semanales y evaluaciones automáticas.
Supervisar la arquitectura de modelos diferenciados: LLMs para razonamiento complejo, SLMs para enrutamiento y tareas deterministas.
Gestionar despliegues con validación automática, rollback y control de versiones.
Contribuir al reporte periódico del impacto de observabilidad en métricas de negocio.
Requisitos
Experiencia en LLMOps, AI Observability o sistemas de agentes en producción real.
Conocimiento de métricas agénticas: Faithfulness, Answer Relevance, Context Adherence, Task Adherence, Hallucination Rate, Latency Average.
Dominio de Python y frameworks de evaluación (LangSmith, Ragas u otros) y herramientas de monitoreo (Evidently AI o similares).
Experiencia con RAG: validar qué conocimiento está activo y detectar degradación en la recuperación.
Comprensión del ciclo recursivo del agente y arquitecturas orquestadas con agentes especialistas.
Responsabilidad sobre el fine-tuning de prompts: evaluar si el prompt es el adecuado y definir correcciones.
Experiencia coordinando la generación de datasets de evaluación con Data Engineering.
Mentalidad de control y observabilidad: si no está monitorizado, no está en producción.
Muy valorable
Experiencia en el sector seguros, fintech o entornos regulados (EU AI Act)
Conocimiento de arquitecturas LLM + SLM para optimización de coste y latencia
Conocimiento de MLflow y gestión de versiones de modelos ML
Experiencia con Label Studio u otras herramientas de anotación
Familiaridad con Microsoft Fabric, AWS o arquitecturas Lakehouse
Conocimiento de SHAP o LIME aplicados a decisiones de alto riesgo
Experiencia coordinando handoffs de modelos con perfiles de Data Science
No es un puesto tradicional de AI Engineer. Tu misión no es construir agentes ni desarrollar infraestructura. Es garantizar que los agentes que ya operan en producción sean más precisos, más seguros, con menor tasa de alucinación y siempre a la altura de lo que el negocio exige.
#J-18808-Ljbffr
