La demo salió impecable. El equipo quiere conectar el agente el lunes, el proveedor ofrece acompañar el arranque y el caso de negocio promete recuperar la inversión en un trimestre. Todo empuja en la misma dirección: encender.
Frená un momento. Hay dos maneras de conocer de verdad a tu Empleado IA. Una es observarlo durante semanas procesando tus casos reales sin autoridad para tocar nada, y estudiar cada diferencia entre lo que decidió él y lo que decidió tu gente. La otra es descubrir sus límites en producción, con clientes reales recibiendo sus errores. Las dos enseñan exactamente lo mismo. La segunda te lo cobra en dinero, clientes y credibilidad interna.
El libro le pone nombre a la primera: shadow mode. Es la residencia médica del recurso artificial, y el capítulo 6 la define en una línea: «ejecuta el trabajo real, con casos reales, sin que sus acciones toquen todavía la operación».
Primero el baseline, después la comparación
La secuencia importa más que la herramienta. Antes de encender nada se establece el baseline humano: calidad, tiempo, costo, errores y excepciones del proceso tal como funciona hoy. Este paso es innegociable y suele saltarse por ansiedad. El libro es tajante: «sin baseline, cualquier comparación posterior es una opinión con gráficos».
Con la línea base en la mano, el recurso procesa los mismos casos en paralelo. Donde tu analista decidió A, ¿qué habría decidido el sistema? Cada coincidencia suma evidencia. Cada diferencia abre una investigación: ¿el sistema vio algo que el humano no vio, o le faltó contexto que el humano tenía en la cabeza? De esa comparación sale algo que ninguna demo puede enseñarte: dónde el diseño, el contexto o el modelo necesitan ajustes antes de que sus errores cuesten dinero o clientes.
Eso es lo que produce el shadow mode: evidencia comparada, caso por caso, sobre tu operación y no sobre el benchmark del proveedor. Un registro de en qué tipos de caso el sistema iguala al humano, en cuáles lo supera y en cuáles todavía no se le puede soltar la mano.
Mínimo privilegio o teatro
Durante todo el recorrido aplica una regla de seguridad elemental: el recurso recibe únicamente los accesos y el poder necesarios para el nivel que está probando. La progresión completa puede comenzar con simulación, continuar con shadow mode, pasar a aprobación humana caso por caso y llegar a delegación controlada. En cada etapa, los permisos acompañan a la etapa, no a la ambición del proyecto.
Un recurso en shadow mode no necesita permisos de escritura en el sistema de facturación. Si los tiene, tu shadow mode es teatro con riesgo real: presumís de estar observando mientras dejaste la puerta de producción abierta. El mínimo privilegio no es paranoia; es la diferencia entre observar y exponerte.
¿Y si no hay con quién comparar?
Aparece una pregunta en cuanto intentás aplicar el método: ¿y si la responsabilidad es nueva y no existe desempeño humano contra el cual comparar? Ocurre más de lo que parece. Un servicio que nunca se ofreció, una cobertura horaria que nadie cubría, un análisis que no se hacía porque no había manos.
La tentación es saltarse el paso. No se salta: se construye hacia adelante. Un baseline prospectivo se arma con muestras que un experto resuelve a mano y quedan como referencia, con un piloto manual corto, con doble revisión humana sobre los primeros casos, con datos de un proceso análogo que sí exista. Y sobre todo con criterios de aceptación escritos antes de encender nada: qué cuenta como respuesta correcta, qué cuenta como error grave, qué caso debe escalar siempre.
La diferencia con el baseline histórico es de naturaleza, no de calidad. Aquel compara contra lo que pasaba; este compara contra lo que decidiste que debía pasar. Y hay una regla que conviene grabar porque el error va en la dirección contraria a la intuición: «la ausencia de línea base es razón para exigir más prudencia, nunca para bajar el estándar de calidad». Cuando no sabés cómo se veía «bien» antes, tu incertidumbre es mayor, no menor. Eso pide un peldaño de autonomía más bajo y una ventana de observación más larga, no una vara más floja.
¿Cuánto dura?
No existe un número universal, y desconfiá de quien te lo venda. El tiempo de validación depende de tres variables: el riesgo del puesto, la frecuencia de los casos y su variedad. Un proceso diario de bajo impacto puede reunir evidencia suficiente en semanas, porque el volumen acumula casos representativos rápido. Una decisión poco frecuente y de alto costo puede requerir meses. Y algunas responsabilidades, por bien que funcione la asistencia, no deberían salir nunca de manos humanas.
Lo que sí existe es una tentación universal: declarar éxito después de algunos ejemplos favorables. Diez casos bien resueltos se sienten como una prueba y no lo son, igual que una semana buena no convierte a un vendedor nuevo en gerente de cuentas clave. El libro lo remata en una frase: «Resistirla es la diferencia entre validar y celebrar».
La señal de salida no es una fecha en el calendario. Es evidencia acumulada contra las condiciones de entrada del siguiente nivel de autonomía: calidad mínima sostenida, casos representativos suficientes, tasa de excepciones dentro de lo acordado, cero incidentes de los que bloquean el ascenso. Todo eso escrito antes de empezar, para que el entusiasmo no redacte el veredicto.
Saltárselo es la forma más cara de conocerlo
Shadow mode no elimina el riesgo. Lo vuelve observable antes de transferir la custodia del trabajo, que es distinto y es suficiente. Permite que la organización aprenda sin convertir cada hipótesis en una apuesta irreversible.
Pensalo desde el costo del aprendizaje. Todo lo que el shadow mode te enseña barato, la producción te lo enseña caro: la política que el sistema malinterpreta, el tipo de cliente que lo confunde, la excepción que nadie documentó porque vivía en la cabeza de la analista. En shadow mode, cada uno de esos hallazgos es una fila en una tabla de diferencias. En producción, cada uno es un correo equivocado, una cuenta tocada indebidamente o una disculpa que alguien tiene que firmar.
Y hay un costo menos visible: la credibilidad interna del proyecto. El equipo que ve incidentes en las primeras semanas deja de confiar en el sistema, y esa confianza cuesta el doble de recuperar. El shadow mode también protege eso: cuando el recurso por fin toca la operación, ya nadie está adivinando qué tan bueno es. Hay un expediente.
La autonomía no es una propiedad del modelo. Es una decisión del manager, basada en evidencia y condicionada por el puesto.
Preguntas frecuentes
Es la etapa en la que un sistema de IA ejecuta el trabajo real, con casos reales, sin que sus acciones toquen todavía la operación: procesa en paralelo los mismos casos que el equipo humano y sus decisiones se comparan contra las decisiones humanas, sin llegar a clientes ni modificar sistemas. Funciona como la residencia médica del Empleado IA: produce evidencia sobre dónde el diseño, el contexto o el modelo necesitan ajustes antes de que sus errores cuesten dinero o clientes. No elimina el riesgo, pero lo vuelve observable antes de transferir la custodia del trabajo.
No existe un número universal. La duración depende del riesgo del puesto, la frecuencia de los casos y su variedad. Un proceso diario de bajo impacto puede reunir evidencia en semanas; una decisión poco frecuente y de alto costo puede requerir meses, y algunas responsabilidades no deberían salir nunca de manos humanas. La salida no la marca una fecha sino la evidencia: calidad mínima sostenida sobre casos representativos, tasa de excepciones dentro de lo acordado y cero incidentes bloqueantes, todo definido por escrito antes de empezar. La tentación de declarar éxito con pocos ejemplos favorables es la que hay que resistir.
Se construye un baseline prospectivo, nunca se salta el paso. Se arma con muestras que un experto resuelve a mano y quedan como referencia, un piloto manual corto, doble revisión humana sobre los primeros casos, datos de un proceso análogo que sí exista y, sobre todo, criterios de aceptación escritos antes de encender nada: qué cuenta como respuesta correcta, qué es un error grave, qué caso escala siempre. A diferencia del baseline histórico, que compara contra lo que pasaba, este compara contra lo que decidiste que debía pasar. Y la ausencia de línea base exige más prudencia: un peldaño de autonomía más bajo y una ventana de observación más larga.
Los mínimos: solo lectura de los datos necesarios para procesar los casos que está observando. Aplica el principio de mínimo privilegio en toda la progresión (simulación, shadow mode, aprobación caso por caso, delegación controlada): el recurso recibe únicamente los accesos y el poder necesarios para el nivel que está probando. Un sistema en shadow mode no necesita permisos de escritura en facturación, CRM ni correo; si los tiene, el shadow mode es teatro con riesgo real, porque un fallo o un ataque podrían tocar producción mientras la organización cree estar solamente observando. Los permisos crecen con la evidencia, nivel por nivel.
El shadow mode es el primer peldaño de una progresión completa: leé La escalera de autonomía de la IA. Y la evidencia que produce se juzga contra métricas definidas antes del piloto: leé Scorecard del Empleado IA.
¿Querés el método completo? Leé Empleado IA. Para consultoría ejecutiva en IA o conferencias y talleres.
Profundizar
¿Querés llevar tu equipo al siguiente cinturón?
Reservá una llamada de descubrimiento o explorá el libro completo.