¿Puede una empresa olvidar por qué toma sus decisiones?
¿Podría una empresa llegar a un punto en que ya no sepa por qué toma determinadas decisiones? A primera vista parece difícil: nunca habíamos tenido tanta capacidad para registrar lo que ocurre dentro de una organización. Pero existe una posibilidad menos evidente: que ocurra exactamente lo contrario.
A medida que entregamos a distintos agentes la capacidad de observar, decidir y actuar, una decisión puede dejar de ocurrir en un único lugar. Lo que decide un agente modifica el contexto del siguiente. La organización sigue tomando decisiones, posiblemente mejores y más rápidas, pero la razón que las produjo empieza a quedar repartida entre sistemas.
Podríamos construir empresas capaces de registrar cada acción y, al mismo tiempo, incapaces de explicar con claridad algunas de sus propias decisiones.
La genealogía de una decisión
A las 9:17 de un martes cualquiera, un agente decide subir el precio de un producto. El cambio está dentro de los márgenes autorizados; nadie recibe una alerta. Catorce minutos y cinco decisiones después, ninguna reunión se había convocado, y dos días después los resultados eran buenos.
Catorce minutos, cinco decisiones, ninguna reunión:
- 9:17 Pricing sube el precio
- 9:18 Promoción se reduce
- 9:21 Pronóstico de demanda cambia
- 9:24 Inventario ajusta reposición
- 9:31 Compras modifica una orden
Durante la reunión comercial alguien mira el dashboard y pregunta: «¿Por qué subimos el precio?». El equipo retrocede por la cadena hasta encontrarse, de forma absurda, nuevamente con pricing. No hay errores. Cada agente actuó dentro de sus permisos. Saben exactamente qué ocurrió. Lo que no pueden explicar con la misma facilidad es por qué la empresa decidió hacerlo. Y la decisión fue buena.
1. ¿Quién tomó la decisión?
Durante años, automatizar significó conseguir que una máquina ejecutara una decisión definida previamente por alguien. La decisión tenía un origen reconocible. La IA agéntica modifica esa relación: cuando varios agentes participan de un mismo proceso, las decisiones de unos pasan a formar parte del contexto sobre el que deciden otros.
Pricing ejecutó el cambio de precio, pero reaccionó a información que otro sistema había modificado. Cada agente tomó una decisión local razonable, y ninguna de ellas, por separado, contiene la explicación completa del resultado. Nadie tomó aquella decisión tal como finalmente ocurrió. La empresa sí.
Decisión huérfana: una decisión organizacional que emerge de varias decisiones agénticas legítimas, pero cuya racionalidad completa no pertenece a ninguno de los actores que participaron en ella.
2. El sistema pasó la auditoría
¿Qué hizo el sistema? Tenemos respuesta. ¿Quién ejecutó cada acción? También. ¿Estaba autorizado? Sí. ¿Funcionó? Sí. ¿Por qué la organización terminó tomando esa decisión? Ahí la respuesta empieza a complicarse. Trazabilidad y comprensión suelen aparecer muy cerca cuando hablamos de control, pero no son equivalentes: los registros conservan acontecimientos, comprender una decisión exige reconstruir las relaciones entre ellos.
3. El problema puede estar entre los agentes
En el ejemplo no encontraríamos el problema inspeccionando mejor al agente de pricing, ni a inventario ni a compras. El fenómeno está entre ellos: demanda cambia un forecast, inventario lo interpreta, pricing cambia un precio, marketing modifica una promoción, y esa promoción vuelve a afectar demanda. Cada paso puede tener sentido localmente, y aun así la razón del resultado puede quedar distribuida por todo el sistema.
Pricing busca proteger margen, inventario reducir quiebres de stock, marketing maximizar conversión, compras optimizar costos. No hay nada extraño en esos objetivos: el problema aparece cuando interactúan y compiten.
- Pricing: proteger margen
- Inventario: reducir quiebres
- Marketing: maximizar conversión
- Compras: optimizar costos
4. Del log a la genealogía
La genealogía de una decisión reconstruye qué evidencias, objetivos y decisiones previas hicieron posible una decisión posterior. Un log permite preguntar qué ocurrió antes; la genealogía debería permitir reconstruir por qué aquello que ocurrió antes terminó produciendo esta decisión y no otra. No se trata de pedirle a cada agente que escriba un ensayo justificando sus acciones: lo que interesa conservar es la estructura relevante: evidencia, objetivos, dependencias, cambios y consecuencias.
5. El humano necesita algo más que la última palabra
Una respuesta frecuente frente al riesgo de automatizar decisiones es mantener a una persona dentro del circuito. Pero imaginemos a la persona que recibe la alerta después de que veinte agentes hayan tomado cientos de decisiones relacionadas durante las últimas seis horas: técnicamente sigue teniendo la última palabra, pero en la práctica acaba de recibir un problema cuya historia no vivió.
En 1983, Lisanne Bainbridge describió una de las ironías de la automatización: cuanto más se automatiza una operación normal, más puede dependerse del humano precisamente en las situaciones anormales para las que está menos preparado. Por eso devolver una decisión a una persona no garantiza, por sí mismo, control humano. Hay que devolver también contexto.
6. ¿Qué auditaremos mañana?
A medida que los agentes pasen de ejecutar tareas a participar en decisiones conectadas, tendremos que ampliar aquello que entendemos por control. La unidad de control deja de ser solamente el agente: empieza a ser también la decisión que circula entre ellos. Quizás las organizaciones terminen auditando la genealogía de sus decisiones con la misma naturalidad con que hoy auditan procesos, transacciones o modelos.
No solo poder demostrar que sus agentes actuaron correctamente, sino seguir sabiendo por qué la organización decidió lo que decidió.
Fuentes
- Bainbridge, L. (1983). «Ironies of Automation». Automatica, 19(6), 775–779.
- Berberian, B. (2018). «Out-of-the-loop Performance Problem». Neuroergonomics, cap. 75.
- Zhu, J. et al. (2026). «Interpreting Agentic Systems». arXiv:2601.17168.
- NASA. «Crew Interfaces», Human Integration Design Handbook.
Publicado originalmente en LATAMIA N.º 2, la revista de Comunidad IA LATAM.
¿Te pasa con tus datos? Con caos·datos reviso de dónde sale cada cifra y qué no cuadra.