Quién responde cuando responde un agente
La pregunta que decide si un agente llega a producción no es técnica. Es de quién es el resultado cuando sale mal.
Carlos Andrés Ramírez ·
Casi todas las conversaciones sobre agentes empiezan por la capacidad. Qué puede hacer el modelo, hasta dónde llega, qué tan bueno es. Y se atascan en un sitio completamente distinto: qué pasa el día que hace algo que nadie quería.
El patrón se repite con la suficiente frecuencia como para dejar de tratarlo como una coincidencia. Un equipo construye un agente que funciona. Lo demuestra. Todo el mundo asiente. Y entonces el proyecto entra en una fase que nadie planificó, que puede durar meses, en la que el agente ya no se mejora: se discute.
Lo que se discute nunca es la precisión. Es una pregunta mucho más simple, y mucho más incómoda: si este agente aprueba un descuento que no tocaba, ¿de quién es el error?
Aquí conviene separar dos preguntas que se mezclan sin querer. Quién responde legalmente cuando un agente causa un daño lo resuelve un tribunal o un contrato, caso por caso, y ya hay despachos especializados en eso. Quién responde dentro de la empresa, todos los días, antes de que pase nada, es una pregunta distinta, y nadie se la delegó al despacho ni al proveedor de la plataforma. Comprar un agente con panel de auditoría tampoco la resuelve: el panel registra qué decidió el agente, pero nunca dice quién decidió que pudiera decidir eso solo.
El síntoma
La responsabilidad no se delega hacia arriba.
Cuando una organización no ha decidido de quién es el resultado, la respuesta por defecto es escalarlo. El agente propone y una persona confirma. Sobre el papel suena prudente. En la práctica es la forma más cara de no automatizar nada: se ha construido un sistema que hace el trabajo dos veces, una el agente y otra quien lo revisa, y se ha añadido una espera en medio.
- El agente propone, pero nadie tiene autoridad para dejar de revisarlo.
- La revisión no se mide, así que no se sabe cuántas veces corrige algo de verdad.
- Cada excepción sube un nivel, y el nivel de arriba no tiene contexto para decidirla.
- El equipo que construyó el agente no es el que responde por sus decisiones.
- No hay un umbral escrito a partir del cual el agente decide solo.
El problema detrás
Un agente no es una herramienta. Ocupa un puesto.
Una herramienta la usa alguien, y ese alguien responde por el resultado. Un agente actúa en nombre de la organización dentro de un proceso, y eso lo acerca mucho más a un puesto de trabajo que a un software. Los puestos tienen un ámbito de decisión, un jefe, un umbral a partir del cual consultan y una medida de si lo están haciendo bien. Los agentes que llegan a producción tienen esas cuatro cosas. Los que se quedan en piloto, ninguna.
Si no puedes nombrar a la persona que responde por lo que decide el agente, no tienes un agente en producción: tienes una demo con turno de guardia.
BECOME
Qué cambia
Cuatro decisiones, antes de la primera línea de código.
- Ámbito
- Qué decisiones entran dentro del agente y cuáles no. Escrito como una lista cerrada, no como un principio general.
- Dueño
- Una persona nombrada que responde por el resultado agregado. No el equipo de IA: quien responde hoy por ese proceso.
- Umbral
- El punto exacto por encima del cual el agente consulta: un importe, un nivel de riesgo, un nivel de confianza. Un número, no un criterio.
- Medida
- Qué se mira para saber si funciona, y cada cuánto. Incluye cuántas veces la revisión humana cambió algo de verdad.
Ninguna de las cuatro es técnica, y las cuatro son bloqueantes. Por eso el trabajo de diseño va antes que el de construcción: un agente construido sin ellas funciona igual de bien en la demostración y no llega nunca a operar.
Coge el agente que tengas parado ahora mismo y responde las cuatro preguntas por escrito, en una página. Si alguna no tiene respuesta, ahí está el motivo por el que no ha escalado. Y no era el modelo.
Preguntas frecuentes
¿Quién debe ser el dueño de un agente de IA?
La persona que ya responde por el resultado del proceso donde opera el agente, no el equipo que lo construyó. Si un agente decide sobre crédito, responde el responsable de riesgo; si decide sobre devoluciones, el responsable de atención. El equipo técnico responde de que el agente haga lo que se acordó, no de que lo acordado sea correcto.
¿Cómo se decide cuándo un agente puede actuar sin supervisión humana?
Con un umbral escrito antes de construirlo: un importe, un nivel de riesgo o un nivel de confianza por encima del cual el agente consulta y por debajo del cual actúa. El umbral se revisa con datos de operación, no con la sensación de si el agente va bien.
¿Por qué la mayoría de agentes no llegan a producción?
Casi nunca por precisión del modelo. Se quedan porque nadie ha decidido de quién es el resultado cuando el agente se equivoca, y sin esa decisión la organización responde escalando cada caso a una persona, lo que elimina el beneficio de haberlo automatizado.
¿Qué se mide en un agente en producción?
Además de la precisión, cuántas veces la revisión humana cambió realmente la decisión del agente. Si ese número es muy bajo y sostenido, la revisión está costando dinero sin añadir control y el umbral debería subir.
¿Es lo mismo la responsabilidad legal que ser el dueño de un agente?
No. La responsabilidad legal la decide un tribunal o el contrato con el proveedor, después de que algo salió mal, y depende del caso y la jurisdicción. El dueño operativo es la persona que la empresa nombra antes de que el agente actúe, responsable del ámbito, el umbral y la medida. Una empresa puede tener la responsabilidad legal resuelta en el contrato y seguir sin dueño operativo: son preguntas distintas y hace falta responder las dos.
De la idea a la operación
Un agente llega a operar cuando alguien define sus límites, sus excepciones y quién responde por el resultado. Eso se diseña y se construye.
Sobre el autor
Carlos Andrés Ramírez — Director de Transformación
Especialista en transformación y reinvención de negocios. Director de Programas Especializados y docente de Inteligencia Artificial en la Escuela de Postgrado de la UPC.