El libro de Excel superó sus 13 controles internos. Aun así, la cifra de amortización anual quedó un 22,6 % por debajo de la esperada. En una de las operaciones simuladas que describe un preprint de Handshake AI del 17 de noviembre, el agente incluyó la misma deducción errónea en un libro de Excel y en un cálculo aparte en Python. Al compararlos, obtuvo el mismo resultado.
El error se aprecia en la reconstrucción del proyecto Falcon. El correo del socio simulado enumeraba el fondo de comercio existente, un activo procedente de adquisiciones previas, por separado de los datos que debían entrar en el cálculo. El agente lo dedujo de todos modos. En el ejemplo del estudio, esa deducción redujo el importe amortizable de 670,88 millones a 519,05 millones de dólares. Dividir cada cifra entre los 15 años indicados da 44,73 millones y 34,60 millones de dólares al año, respectivamente. Los controles internos del libro podían confirmar que las cifras cuadraban mientras el supuesto erróneo seguía en el cálculo.
La diferencia entre el crédito parcial y aprobar
Los investigadores evaluaron 11 modelos con 100 tareas de banca de inversión en 13 firmas simuladas. Cada modelo tuvo tres intentos por tarea. Los agentes debían reunir instrucciones y datos de distintas aplicaciones de trabajo. Para aprobar, cada intento tenía que cumplir todos los criterios críticos y evitar cualquier penalización. En esas condiciones, Claude Opus 5 registró la tasa de aprobación más alta, con un 10,7 % de los intentos, y una puntuación media ponderada del 71,7 %. La primera cifra mide cuántas veces se alcanzó el umbral completo. La segunda también reconoce el trabajo parcialmente correcto. Preprint, secciones 3.5–5 y tabla 3.
En otra comparación, los autores entregaron desde el principio toda la información de las tareas a tres modelos. Los tres obtuvieron una puntuación mayor en esas condiciones. En el caso de GPT-6 Astra, la media subió del 70,0 % en el entorno de trabajo simulado al 80,2 % con la información entregada directamente, una diferencia de 10,2 puntos porcentuales. El estudio se hizo en firmas simuladas y no midió si los modelos permiten ahorrar tiempo en un banco real. Preprint, tabla 5 y limitaciones.
Un equipo podría repetir la comparación antes de dar a un agente acceso al flujo de trabajo de una operación. Puede empezar con una operación cerrada o ficticia y puntuar la misma tarea en dos condiciones. En una, el agente recibe toda la documentación. En la otra, los datos están dispersos en mensajes y archivos simulados. La persona encargada de revisar debe remontar cada supuesto relevante a su fuente y registrar qué versión de esa fuente es la aplicable. Después puede contar con qué frecuencia se puede entregar el libro sin una corrección sustancial. En un caso como Falcon, la pregunta es en qué parte de las instrucciones se autoriza la deducción. Comprobar una segunda copia del cálculo dejaría la pregunta sin responder.