¿Por qué incluso tus mejores empleados pasan por alto los sistemas de IA que funcionan?

De HBR.org

A finales de 2022, un banco global aprobó un sistema de inteligencia artificial diseñado para automatizar las decisiones crediticias rutinarias. En teoría, parecía exactamente el tipo de medida innovadora que los expertos habían estado instando a las empresas a tomar. En las pruebas piloto, el sistema procesó las solicitudes más rápido que los humanos, redujo los errores y prometió un ahorro significativo de costos. El equipo de gestión de riesgos lo autorizó, el departamento de cumplimiento lo aprobó y el director general lo promocionó públicamente como prueba de que el banco estaba avanzando hacia el futuro.

PUBLICIDAD

Seis meses después, el sistema seguía evaluando solicitudes y generando recomendaciones. Sin embargo, la mayoría de los expedientes seguían pasando por una revisión humana. Las excepciones se habían multiplicado, y las medidas de seguridad temporales --como los umbrales de revisión doble y las marcas de confirmación manual-- se habían convertido en pasos permanentes del proceso. Aunque el sistema de IA formaba parte del flujo de trabajo del banco, en realidad nunca tomó la mayoría de las decisiones finales.

Versiones de esta historia se están repitiendo en muchas industrias. El problema no son proyectos piloto fallidos. Es que las estructuras de las organizaciones en materia de rendición de cuentas y legitimidad no han evolucionado para respaldar el uso de sistemas de IA. Por estructuras de legitimidad me refiero al entendimiento compartido de quién tiene derecho no solo a tomar una decisión, sino también a que se confíe en esa decisión. Demasiadas instituciones están acumulando inteligencia sin reorganizarse en torno a ella.

PUBLICIDAD

Ya hemos visto esto antes

Este patrón parece nuevo porque la tecnología es nueva, pero estructuralmente no lo es. Las oleadas anteriores de automatización de la toma de decisiones --por ejemplo, los sistemas de planificación de recursos empresariales (ERP) y la calificación crediticia-- pusieron de manifiesto el mismo hábito institucional: las organizaciones adoptan sistemas que pueden tomar mejores decisiones, pero conservan las estructuras de autoridad humana que impiden que se acepten las decisiones de esos sistemas.

Otras explicaciones de por qué a los sistemas de IA no se les ha otorgado autoridad para tomar decisiones apuntan a soluciones erróneas. Por ejemplo, algunos han planteado que la inercia estructural causa resistencia, pero con la IA a menudo vemos un cumplimiento aparente: los paneles de control están en funcionamiento, los flujos de trabajo incluyen el sistema y los empleados lo utilizan. Sin embargo, al sistema aún no se le otorgan derechos reales de decisión. Las investigaciones sobre la complacencia ante la automatización advierten que los humanos se someten con demasiada facilidad a las máquinas, pero ese no es el problema aquí, donde no se someten, porque las estructuras de rendición de cuentas hacen que hacerlo sea profesionalmente peligroso. La literatura sobre la paradoja de la productividad afirma que la inversión en TI no se traduce en mejoras de desempeño, pero en su mayoría no especifica el mecanismo organizacional que explica por qué.

PUBLICIDAD

¿Qué está pasando realmente?

En la mayoría de estas situaciones, se utiliza un sistema de IA y se promociona en las presentaciones ante la junta directiva; sin embargo, cuando el sistema y un humano no están de acuerdo, el humano casi siempre gana de manera silenciosa. Los profesionales reajustan los límites del sistema por razones de prudencia: establecen más pasos de revisión, fijan umbrales ligeramente más bajos, crean más excepciones documentadas y emiten nuevas alertas para casos delicados. Estos ajustes son defendibles individualmente. En conjunto, son desastrosos.

La gravedad del problema es aún mayor con los sistemas de IA agentiva. Los sistemas de recomendación al menos conservan la ficción del control humano: el sistema propone, el humano decide y la responsabilidad tiene un rostro (incluso cuando debería haberse trasladado). Los sistemas agentivos disuelven esa ficción. No recomiendan; actúan. Realizan reservas, aprueban, derivan, contratan y escalan dentro de parámetros que alguien autorizó, pero que nadie supervisa continuamente. Cuando un agente actúa dentro de sus parámetros definidos y el resultado es malo, la cuestión de la responsabilidad es realmente complicada: ¿Se establecieron mal los parámetros? ¿La autorización fue demasiado amplia? ¿El agente se enfrentó a una situación que sus diseñadores no pudieron anticipar? Estas preguntas se plantearán en las salas de juntas, en los tribunales y en los informes regulatorios. Cuando un sistema de IA recomienda, la brecha de responsabilidad genera soluciones alternativas. Pero cuando un sistema de IA con capacidad de agencia actúa, puede generar ambigüedad en materia de responsabilidad a gran escala.

PUBLICIDAD

Cambio en la rendición de cuentas

La adopción real es inconfundible: los procesos de decisión se simplifican. Las excepciones disminuyen en lugar de multiplicarse. La autoridad se reasigna de manera explícita para que las personas sepan quién (o qué) decide, quién da explicaciones y quién asume el riesgo. Esa claridad puede causar incomodidad, ya que obliga a cambios de roles. Pero, en última instancia, resulta estabilizadora porque la rendición de cuentas se vincula con la autoridad.

La tecnología y la arquitectura organizacional deben avanzar juntas, y el trabajo organizacional debe diseñarse antes de que un sistema se amplíe, no adaptarse a posteriori cuando surge la resistencia. Los líderes deben plantearse cuatro preguntas relacionadas con la gobernanza. Aunque puedan causar cierta incomodidad, son esenciales para sacar a la luz las brechas de rendición de cuentas. Las preguntas son: (1) ¿Quién pierde discrecionalidad si este sistema de IA funciona? (2) ¿Quién gana autoridad y sobre qué decisiones? (3) ¿Quién explica los resultados cuando se sigue el sistema? (4) ¿Quién asume el riesgo de transición durante la curva de aprendizaje?

PUBLICIDAD

Si la organización no responde explícitamente a esas cuatro preguntas al momento de aprobar el sistema de IA, serán respondidas implícitamente después por los operadores individuales, con el fin de preservar su autoridad actual.

La adopción plena solo ocurrirá cuando aprobar las decisiones de un sistema no se perciba como un sacrificio profesional. Los líderes deben rediseñar los roles para que, cuando se automaticen las decisiones rutinarias, el juicio humano se desplace hacia niveles superiores para dedicarse a la supervisión general, el establecimiento de límites y el perfeccionamiento del sistema. Las organizaciones deben establecer límites claros y brindar a los empleados herramientas para explicar las decisiones que no tomaron personalmente. Además, el sistema necesita el respaldo visible de líderes que estén dispuestos a asumir los errores iniciales como aprendizaje institucional, en lugar de culpar a las personas por los fracasos.

PUBLICIDAD

La capacidad que diferenciará a las organizaciones

A medida que el criterio se vuelva codificable y escalable, las empresas deberán reorganizarse en torno a sus sistemas de IA. Desafortunadamente, muchas empresas simplemente adquieren sistemas inteligentes y esperan que el resto se resuelva por sí solo. Tratan cada implementación de IA como un proyecto independiente cuyo éxito o fracaso depende del desempeño del modelo, la selección del proveedor y la disciplina durante la implementación. En esas empresas, cada nuevo sistema desencadena el mismo ciclo de entusiasmo, contención, adopción parcial y estabilización silenciosa en modo de asesoramiento. Con el tiempo, los empleados aprenden que nada fundamental cambiará, y los líderes aprenden a moderar la ambición antes de que amenace las estructuras de roles.

PUBLICIDAD

Los líderes perspicaces, por el contrario, reconocen que lo que está en juego no es la automatización, sino la autoridad. Ven dónde residen realmente los derechos de decisión, rediseñan los flujos de trabajo en torno a los valores predeterminados de las máquinas en lugar de superponer sistemas sobre los procesos heredados, y gestionan las transiciones de manera que no se transfieran los costos de aprendizaje a los empleados individuales.

La secuencia es importante aquí. La autoridad solo migrará después de que una organización convierta el algoritmo en el valor predeterminado operativo, haga visibles las excepciones, rediseñe los roles humanos en torno a la auditoría en lugar de cuestionar las decisiones, y transfiera la responsabilidad a los propietarios del sistema. La tecnología y la arquitectura organizacional deben avanzar juntas.

PUBLICIDAD

La medida del éxito

En algún momento cercano, aprobarás un sistema de IA que funcione. Tendrás la tentación de medir el éxito por las tasas de uso, las métricas del tablero y la fluidez de la implementación. Pero esas señales son engañosas.

Pregunta mejor lo siguiente: si el sistema se desactivara mañana, ¿cambiarían realmente las decisiones importantes en tu organización? ¿O la gente seguiría tomando decisiones como siempre lo ha hecho, solo que sin la interfaz abierta en sus pantallas?

Si las decisiones no cambiarían, entonces la autoridad no se ha transferido. Y si la autoridad no se ha transferido, entonces no se ha producido la adopción, sin importar cuán avanzado sea el modelo o cuán disciplinada haya sido la implementación.