Cómo medir el retorno real de la IA
En el comité alguien enseña una diapositiva con «ahorramos tiempo» y la pregunta que nadie hace es: ¿comparado con qué? Sin esa respuesta, el número no mide nada.
Carlos Andrés Ramírez ·
En el comité alguien enseña una diapositiva con «ahorramos tiempo» y la pregunta que nadie hace es: ¿comparado con qué? Sin esa respuesta, el número no mide nada. Es una cifra con forma de argumento.
Lo he visto en más de un comité de dirección. Seis meses después de aprobar el presupuesto de una iniciativa de IA, alguien vuelve con un reporte de adopción. Cuántas cuentas activas, cuántos prompts al día, una encuesta de satisfacción con nota alta. Todo eso mide uso. Ninguno de esos números contesta la pregunta que hizo el CFO cuando aprobó el gasto, que fue otra: esto, ¿movió algo en la cuenta de resultados?
Y ahí empieza el problema, porque nadie en la sala sabe responder eso con honestidad. No por falta de datos: sobran. Falta el método para separar lo que hizo la IA de lo que hizo el negocio solo, que en la mayoría de los casos es indistinguible a simple vista.
El síntoma
¿Cómo se mide el retorno real de una iniciativa de IA?
La respuesta que circula hoy es una lista de métricas de escaparate maquilladas de rigor: adopción, satisfacción, número de casos de uso en producción. Sirven para el reporte trimestral y no sirven para defender el segundo año de presupuesto, porque ninguna aísla el efecto de la IA del resto de lo que pasaba en el negocio al mismo tiempo.
- El reporte compara el trimestre con IA contra el trimestre sin IA, pero en medio también cambió el volumen de demanda, la plantilla o el proceso.
- Nadie definió una línea base antes de empezar, así que el «antes» se reconstruye de memoria seis meses después.
- El tiempo que la herramienta libera se reporta como ahorro aunque nadie verificó a qué se destinó esa hora.
- El ROI se calcula sobre el piloto, con el equipo más motivado y el caso más fácil, y se proyecta como si fuera a repetirse igual en el resto de la operación.
- La cifra que sube en el dashboard es la de uso, no la de resultado, porque es la que existe y la que se puede sacar sin pedirle nada a finanzas.
El problema detrás
El tiempo liberado no es retorno hasta que aterriza en algo.
Una hora que la IA le devuelve a un analista no vale nada por sí sola. Vale si se convierte en menos horas trabajadas, en más trabajo entregado por el mismo equipo, o en una tarea distinta que antes no se hacía y ahora sí. Si esa hora se rellena sola con más trabajo de la misma cola, que es lo que pasa la mayoría de las veces, el retorno no existe aunque el reporte de uso diga que la herramienta se usa mucho.
Y sin línea base ni ventana de comparación, cualquier mejora que se observe puede venir de la IA o puede venir de que el trimestre fue mejor por otra razón: se contrató a alguien, se simplificó un proceso, bajó la demanda. Atribuirle esa mejora entera a la IA porque coincidió en el tiempo es la forma más común de comprar humo con datos reales.
Un dashboard de adopción no es un caso de negocio. Es la prueba de que alguien usó la herramienta, no de que la empresa ganó algo por usarla.
BECOME
El método
Cuatro variables que hay que fijar antes de medir, no después.
- Línea base
- El estado del proceso antes de la IA, medido con el mismo indicador que se va a usar después: tiempo por caso, coste por transacción, tasa de error. Se fija antes de empezar, no se reconstruye de memoria al final.
- Ventana de atribución
- El periodo en el que se compara el antes y el después, controlando qué más cambió en ese tramo: volumen, plantilla, proceso. Sin esa lista, la mejora se le atribuye entera a la IA por defecto.
- Destino del tiempo
- A dónde fue la hora liberada: menos headcount, más trabajo entregado por el mismo equipo, o una tarea nueva de valor distinto. Si nadie puede nombrar el destino, esa hora no cuenta como retorno.
- Grupo de comparación
- Un equipo o proceso equivalente que no usó la IA en el mismo periodo. No hace falta un experimento de laboratorio: basta una unidad de negocio parecida que sirva de referencia de cuánto habría cambiado igual sin la herramienta.
Ninguna de las cuatro exige más presupuesto. Exige decidirlas antes de aprobar la iniciativa, no cuando alguien pide el número en el comité. El equipo que las fija por adelantado llega con un caso de negocio. El que no, llega con un dashboard de uso y la esperanza de que nadie pregunte comparado con qué.
Coge la iniciativa de IA que ya lleva más tiempo corriendo y pregunta, para cada resultado que se le atribuye, cuál habría sido esa misma cifra sin la herramienta. Si nadie en la sala puede contestar con un número, no hay caso de negocio: hay una corazonada con gráfico.
Preguntas frecuentes
¿Cómo se mide el retorno real de una iniciativa de IA?
Fijando antes de empezar una línea base con el mismo indicador que se va a comparar después, una ventana de tiempo que controle qué más cambió en el negocio, y el destino concreto del tiempo que la herramienta libera. Sin esas tres decisiones tomadas por adelantado, cualquier número que se presente después es una estimación disfrazada de medición.
¿Por qué la adopción no es lo mismo que el retorno de la IA?
La adopción mide cuánta gente usa la herramienta y con qué frecuencia, que es un dato de comportamiento. El retorno mide si eso cambió algo en el coste, el tiempo o el ingreso de la empresa, que es un dato financiero. Una iniciativa puede tener adopción alta y retorno cero si el tiempo liberado se diluye en más trabajo de la misma cola.
¿Cómo se separa el efecto de la IA del resto de cambios del negocio?
Con una ventana de atribución que registre qué más se movió en el mismo periodo: cambios de plantilla, de volumen o de proceso. Sin ese registro, cualquier mejora observada se le atribuye por defecto a la IA aunque la causa real sea otra, y esa atribución fácil no sobrevive la primera pregunta seria de un CFO.
¿Qué pasa con el tiempo que la IA libera si nadie mide a dónde va?
Se rellena solo con más trabajo de la misma cola, y entonces el día de la persona sigue viéndose igual de lleno aunque la herramienta esté funcionando. Ese tiempo solo cuenta como retorno cuando alguien decide explícitamente su destino, menos horas, más trabajo entregado o una tarea de valor distinto, y verifica después que de verdad fue ahí.
Construyamos tu caso de negocio
De la idea a la operación
La adopción no se comunica: se diseña con los equipos que van a operar la capacidad, y se mide contra una línea base.
Sobre el autor
Carlos Andrés Ramírez — Director de Transformación
Especialista en transformación y reinvención de negocios. Director de Programas Especializados y docente de Inteligencia Artificial en la Escuela de Postgrado de la UPC.