El motor de siniestros que corre a oscuras

Una aseguradora liquida 9.500 siniestros por día. El motor que calcula cuánto se paga tiene ocho años, mil doscientas reglas y nadie que las recuerde todas.

El reemplazo está listo. Se probó con 4.000 siniestros históricos y acertó en todos. El problema con ese número es cuál es su muestra: los siniestros históricos son los que ya se cerraron sin discusión. Los casos difíciles nunca llegaron al banco de pruebas, porque los casos difíciles son justamente los que todavía están abiertos.

El único juego de datos que contiene los casos difíciles es el tráfico real. Y el tráfico real mueve dinero: la liquidación termina en una transferencia.

Ya hubo un intento. La primera versión de la prueba hizo que la recepción de siniestros llamara a los dos motores antes de contestar, para comparar. El día que el motor nuevo se colgó, la recepción de siniestros se frenó entera y los asegurados no pudieron denunciar. Una prueba que puede tirar abajo lo que está probando no es una prueba.

Hay un riesgo más, y es silencioso. Los dos motores escriben resultados con la misma forma; lo único que cambia es el importe. Un resultado del motor nuevo que se cuele en el expediente que paga no lo ve nadie el mismo día: aparece en la conciliación bancaria del mes siguiente, con la plata ya girada.

Lo que la dirección pidió es concreto: antes de autorizar el corte, quiere ver que el motor nuevo y el viejo difieren en menos del 0,5 % de los casos, medido sobre siniestros reales.

Rearmá el sistema para que el motor nuevo procese los mismos siniestros que el viejo sin poder frenar la recepción, sin poder tocar el expediente que paga, y con una señal por motor que permita decidir el corte con un número en vez de una sensación.