Por Michał Grzejdziak-Zdziarski, Gerente Sénior de Aprendizaje Automático; Markus Wulfmeier, Científico Jefe
Asegurarse de que cada pedido que se envía a un cliente sea correcto parece un problema resuelto hasta que se observa lo que realmente sucede en un almacén. Dependiendo del proceso, Aproximadamente 1% de pedidos todavía se envían con errores.: generando costos adicionales, complejidad operativa e insatisfacción del cliente. Hoy en día, detectar esos errores se reduce principalmente a controles basados en el peso, pero las básculas no son una solución perfecta: tienen dificultades con artículos ligeros y requieren datos maestros perfectos sobre el peso de cada artículo. Aquí es donde entra en juego la visualización La verificación de pedidos basada en IA puede tener un impacto real.. La tarea es fácil de plantear —antes de enviar un pedido, confirmar que la cantidad de artículos sea correcta—, pero la introducción de datos no lo es. Los artículos llegan empaquetados de forma compacta en cajas de cartón, a menudo con solo fragmentos visibles para la cámara, y el sistema tiene que verificarlos de todos los modos.
Spot, nuestro sistema de verificación de pedidos, superó recientemente la prueba de aceptación final para esta tarea en la intralogística farmacéutica y ahora se está implementando a gran escala., verificando 150.000 pedidos diarios, llegar a un Tasa de error detectada superior a 98% en un Tasa de falsas alarmas inferiores a 0,8%. A continuación se explica qué lo hizo difícil y qué se necesitó para lograrlo.
El trabajo consiste en un problema de detección con dos tipos de errores que se contrarrestan entre sí, y ambos conllevan un coste operativo directo.
Tasa de error detectada Se trata de una retirada por órdenes defectuosas: de todas las órdenes que contienen un error real, el Spot la marca. Aquí, "error" significa un error de recuento: un artículo faltante o un artículo adicional. En 98%+, se producen menos de 2 errores reales por cada 100.
Tasa de falsas alarmas es la tasa de falsos positivos: con qué frecuencia un correcto El pedido se marca como incorrecto. Cada falsa alarma obliga a un operario a interrumpir la producción para inspeccionar una caja que estaba bien, por lo que este valor se relaciona directamente con el costo laboral. Un valor inferior a 0,8% significa que Spot prácticamente no detecta pedidos correctos.
La tensión entre ellos es toda la dificultad. Bajar el umbral de decisión para detectar más errores reales también genera más falsas alarmas; ajustarlo para suprimir las falsas alarmas deja pasar los errores reales. La mayoría de los sistemas pueden alcanzar uno de estos objetivos. Estar en un buen punto de operación en ambos La alta tasa de recuperación y la baja tasa de falsos positivos (inferior a 11 TP4T) en datos de producción son aspectos que no se obtienen gratis.
Cada artículo en la caja plantea una pregunta principal: ¿cuántos hay? En el sector farmacéutico con el que trabajamos, las cantidades incorrectas representan más de 951 TP4T de los errores de pedido que aún se nos escapan.
El conteo es un problema de separación de instancias: el modelo tiene que determinar cuántos objetos distintos están presentes, superando los siguientes desafíos:
Ejemplos de órdenes desafiantes
Estos desafíos hacen que los modelos de propósito general fracasen. En nuestras pruebas comparativas, los modelos de lenguaje de visión generalistas de última generación mostraron una tasa de falsas alarmas mucho mayor en estas condiciones, tan alto que el costo de gestionar las falsas alarmas supera el valor de automatizar la verificación desde un principio.
La brecha no es una cuestión de pulido. En los mismos pedidos, Spot mantiene una Tasa de falsas alarmas con 1% – la línea donde la verificación autónoma comienza a ser rentable – mientras que la más fuerte generalistas de VLM probamos siéntate encima de 8%, aproximadamente ocho veces mayor. Los modelos generalistas son capaces de reconocer lo que hay en una imagen nítida; lo que no pueden hacer es separar las instancias densamente empaquetadas y ocluidas que constituyen la realidad del almacén. Esto demuestra que dominar esa tarea de principio a fin, en producción, es lo que hace que un sistema pase de ser "impresionante en una demostración" a "desplegable en la línea de producción".
El resultado fue fruto de aproximadamente un año de trabajo intensivo, basado en tres pilares que se reforzaban mutuamente. Cada uno abordó un cuello de botella diferente y logró reducir la tasa de falsas alarmas de forma significativa, manteniendo al mismo tiempo un alto nivel de detección.
1. Un motor de datos orientado a pedidos reales y concretos. La precisión en los casos extremos se logra aprender rápidamente de los casos más difíciles, no de datos más promedio. El motor de datos de Nomagic mantiene un ciclo de retroalimentación riguroso y de alta calidad con implementaciones de producción en vivo, de modo que los pedidos ocluidos, divididos y casi duplicados que confunden al modelo se detectan, etiquetan y se retroalimentan en lugar de promediarse. Este ciclo basado en datos, enfocado en los casos extremos, tiene un fuerte impacto en la tasa de falsas alarmas y nos permite reducirla significativamente.
2. Una arquitectura de verificación diseñada para la oclusión. Los detectores generales asumen implícitamente que el objeto que están contando es visible. En una caja farmacéutica llena de productos, generalmente no lo es. Hemos rediseñado el modelo principal para que considere explícitamente los regímenes de oclusión mencionados anteriormente (vistas parciales, instancias divididas, pilas laterales) y para que distinga con precisión las variantes a partir de las señales que permanecen visibles, en lugar de tratar los casos difíciles como ruido. Tratar estos casos como casos de primera clase, junto con el motor de datos descrito en el punto anterior, es otro aspecto importante para reducir la tasa de falsas alarmas.
3. Ordenar los metadatos como una prioridad, sin el modo de fallo que suele introducir. Cada pedido se envía con metadatos que describen qué debería estar en la caja, lo cual es una fuerte probabilidad a priori si se usa correctamente. Aquí encontramos algo que vale la pena señalar: cuando condicionamos los VLM de última generación a los mismos metadatos, su tasa de error detectada colapso. El conocimiento previo los orientó a confirmar el contenido esperado, un fallo del sesgo de confirmación en el que el modelo deja de buscar discrepancias una vez que se le ha dicho la respuesta esperada.
Ese tercer punto es el técnicamente interesante. El último tramo de confiabilidad no se logró con un modelo más grande o con mayor capacidad de procesamiento, sino que provino de la comprensión. por qué El uso evidente de una información previa degrada silenciosamente la detección y la ingeniería para solucionar ese fallo específico. En resumen: la información previa debe resolver la ambigüedad, nunca invalidar la evidencia.
En una demostración, unos pocos puntos porcentuales de error parecen detalles por pulir. En producción, tienen un impacto directo en la estructura de costos. Los errores detectados son los fallos que se intentan prevenir: que un artículo incorrecto llegue a un paciente; las falsas alarmas representan un costo laboral recurrente que aumenta con el rendimiento. Un paso de verificación autónoma solo vale la pena si es lo suficientemente confiable como para generar confianza sin la revisión humana, lo que significa estar en la cima de la curva de recuperación. y al mismo tiempo, en la parte inferior de la curva de falsas alarmas.
Alcanzar ese nivel en la gestión de pedidos farmacéuticos se reduce a dominar la totalidad del problema: el bucle de datos que revela los casos difíciles, la arquitectura que maneja la oclusión y el tratamiento cuidadoso de las complicaciones a priori que ayudan al modelo en lugar de obstaculizarlo. Ese es el trabajo detrás de Spot: y la razón por la que funciona correctamente incluso con los pedidos que de hecho ponen a prueba otros sistemas.
La suposición común —que podríamos llamar la apuesta por la generalidad— es que el principal desafío para implementar IA física reside en la creación de modelos generalistas, capaces de realizar muchas tareas con eficacia y, eventualmente, de gestionar este tipo de tareas de forma inmediata. Nuestra experiencia apunta en la dirección opuesta. Los modelos generalistas más potentes que probamos eran realmente capaces, pero su tasa de falsas alarmas era muy inferior a la necesaria para su implementación. La amplitud es un componente importante, pero no basta para lograr una autonomía total ni para obtener un retorno de la inversión inicial en un entorno de almacén real.
Lo que cerró esa brecha fue la apuesta opuesta: priorizar el dominio. Profundizar en una tarea, en implementaciones reales, hasta que el sistema maneje casos que solo aparecen en producción. Este tipo de dominio no depende de ningún corpus de preentrenamiento general. Los casos que lo definen existen solo en operaciones reales; se adquiere en un ciclo. Las implementaciones reales generan la cola larga difícil, construyendo la base para la mejora del modelo. Cada giro se acumula. Este es el ciclo de implementación y es lo que llevó a Spot de un rendimiento generalista a una detección superior a 981 TP4T con menos de 11 TP4T de falsas alertas.
Esta es nuestra apuesta para el futuro de la IA física en general. La autonomía en el mundo físico no está limitada por la competencia promedio, sino por la cola larga, y esta cola larga solo se manifiesta en la producción. Los sistemas integrados en operaciones reales y diseñados para aprender de ellas tomarán la delantera, permitiendo la expansión desde un dominio limitado a uno cada vez más amplio. Por eso, este camino es menos apropiado para un nuevo laboratorio que para una empresa ya integrado en implementaciones reales con clientes satisfechos. Spot es un ejemplo donde hemos visto que esto sucede. Y no será el último.
