Par Michał Grzejdziak-Zdziarski, responsable principal de l'apprentissage automatique ; Markus Wulfmeier, scientifique en chef
S'assurer que chaque commande expédiée à un client est correcte semble être un problème résolu jusqu'à ce qu'on observe la réalité du terrain dans un entrepôt. Selon le processus, Environ 1% des commandes sont encore expédiées avec des erreurs.: engendrer des coûts supplémentaires, une complexité opérationnelle accrue et l'insatisfaction des clients. Aujourd'hui, la détection de ces erreurs repose principalement sur des contrôles de poids, mais les balances ne constituent pas une solution idéale : elles peinent à traiter les articles légers et nécessitent des données de référence précises sur le poids de chaque article. C'est là que le contrôle visuel entre en jeu. La vérification des commandes basée sur l'IA peut avoir un impact réel. La tâche est simple à énoncer – vérifier, avant l'expédition d'une commande, que la quantité d'articles est correcte – mais sa mise en œuvre est complexe. Les articles arrivent emballés serrés dans du carton, souvent avec seulement quelques fragments visibles par la caméra, et le système doit malgré tout les vérifier.
Spot, notre système de vérification des commandes, a récemment passé avec succès le test d'acceptation final pour cette tâche en intralogistique pharmaceutique et est maintenant en cours de déploiement à grande échelle., vérification de 150 000 commandes par jour, atteindre Taux d'erreur détecté supérieur à 98% à un Taux de fausses alertes inférieur à 0,8%. Voici ce qui a rendu cela difficile et ce qu'il a fallu pour y parvenir.
Il s'agit d'un problème de détection comportant deux types d'erreurs qui s'opposent, et qui engendrent tous deux un coût opérationnel direct.
Taux d'erreur détecté Le rappel concerne les commandes erronées : parmi toutes les commandes contenant réellement une erreur, la part signalée par Spot est limitée. “ Erreur ” désigne ici une erreur de comptage : un article manquant ou un article en trop. Chez 98%+, moins de 2 % des erreurs réelles passent inaperçues.
taux de fausses alertes Le taux de faux positifs correspond à la fréquence à laquelle un correct Une commande est signalée comme erronée. Chaque fausse alerte mobilise un opérateur pour inspecter un colis conforme ; ce chiffre a donc un impact direct sur le coût de la main-d’œuvre. Un taux inférieur à 0,8% signifie que Spot ne détecte pas les commandes valides.
Toute la difficulté réside dans la tension entre ces deux paramètres. Abaisser le seuil de décision pour détecter davantage d'erreurs réelles augmente également le nombre de fausses alarmes ; le relever pour supprimer les fausses alarmes laisse passer les erreurs réelles. La plupart des systèmes peuvent atteindre l'un de ces objectifs. Se positionner à un point de fonctionnement optimal sur les deux à la fois un rappel élevé et un taux de faux positifs inférieur à 1%, sur les données de production, c'est ce qui ne vient pas gratuitement.
Chaque article contenu dans la boîte soulève une question principale : combien y en a-t-il ? Dans le secteur de la logistique pharmaceutique avec lequel nous collaborons, les quantités incorrectes représentent plus de 951 TP4T des erreurs de commande qui passent encore entre les mailles du filet.
Le comptage est un problème de séparation d'instances : le modèle doit déterminer le nombre d'objets distincts présents, en surmontant les difficultés suivantes :
Exemples de contestation de commandes
Ces difficultés rendent les modèles généralistes inadaptés. Dans nos tests de performance, les modèles vision-langage généralistes les plus performants ont affiché un taux de fausses alertes beaucoup plus élevé dans ces conditions – suffisamment élevé pour que le coût du traitement de ces fausses alertes dépasse largement l'intérêt d'automatiser la vérification initiale.
L'écart n'est pas une question de finition. Sur les mêmes commandes, Spot détient un Taux de fausses alertes inférieur à 1% – la limite à partir de laquelle la vérification autonome commence à s'autofinancer – tandis que le plus fort VLM généralistes nous avons testé assis au-dessus de 8%, environ huit fois plus élevé. Les modèles généralistes sont capables de reconnaître le contenu d'une image nette ; en revanche, ils ne peuvent pas distinguer les éléments denses et masqués qui constituent la réalité d'un entrepôt. Cela prouve que la maîtrise complète de cette tâche, en production, est ce qui permet à un système de passer du stade de “ impressionnant en démonstration ” à celui de “ déployable sur la chaîne de production ».
Ce résultat est le fruit d'un an de travail ciblé, reposant sur trois piliers essentiels. Chacun s'attaquait à un goulot d'étranglement différent et permettait de réduire sensiblement le taux de fausses alertes tout en maintenant un niveau de détection élevé.
1. Un moteur de données destiné aux commandes concrètes du monde réel. La précision dans les cas extrêmes provient d'un apprentissage rapide à partir des situations les plus complexes, et non de données plus moyennes. Le moteur de données de Nomagic maintient une boucle de rétroaction étroite et de haute qualité avec les déploiements en production. Ainsi, les ordres masqués, fractionnés et quasi-dupliqués qui trompent le modèle sont identifiés, étiquetés et intégrés au système au lieu d'être simplement moyennés. Cette boucle basée sur les données, axée sur les cas extrêmes, a un impact significatif sur le taux de fausses alertes et nous permet de le réduire considérablement.
2. Une architecture de vérification conçue pour l'occlusion. Les détecteurs classiques supposent implicitement que l'élément à compter est visible. Or, dans une boîte pharmaceutique remplie, ce n'est généralement pas le cas. Nous avons donc retravaillé le modèle de base afin de prendre explicitement en compte les différents types d'occlusion (vues partielles, instances fractionnées, piles latérales uniquement) et d'établir des distinctions fines entre les variantes à partir des indices restant visibles, au lieu de considérer les cas complexes comme du bruit. Le traitement de ces cas comme des cas à part entière, combiné au moteur de données décrit précédemment, contribue également de manière significative à la réduction du taux de fausses alertes.
3. Considérer les métadonnées de commande comme une donnée a priori – sans le mode de défaillance qu’elles introduisent habituellement. Chaque commande est expédiée avec des métadonnées décrivant ce que devrait être dans la boîte, ce qui constitue une forte a priori si vous l'utilisez correctement. Nous avons constaté un point important à signaler : lorsque nous avons conditionné les VLM de pointe sur les mêmes métadonnées, leur taux d'erreur détecté s'est effondré. Les connaissances préalables les ont amenés à confirmer le contenu attendu – un biais de confirmation où le modèle cesse de rechercher les divergences une fois qu'on lui a donné la réponse attendue.
Ce troisième point est le plus intéressant sur le plan technique. La fiabilité accrue n'a pas été obtenue grâce à un modèle plus grand ou à une puissance de calcul supérieure, mais grâce à une meilleure compréhension. pourquoi L'utilisation systématique d'une connaissance a priori nuit insidieusement à la détection et à la correction de cette défaillance. En bref : la connaissance a priori doit lever l'ambiguïté, elle ne doit jamais prévaloir sur les preuves.
Lors d'une démonstration, quelques points de pourcentage d'erreur semblent être de simples finitions. En production, ils ont un impact direct sur les coûts. Les erreurs non détectées sont les défaillances que l'on cherche à prévenir : un article erroné parvenant à un patient ; les fausses alertes représentent un coût de main-d'œuvre récurrent qui augmente avec le débit. Une étape de vérification autonome n'est pertinente que si elle est suffisamment fiable pour être exécutée sans intervention humaine, ce qui implique de maintenir un taux de rappel élevé. et et simultanément le bas de la courbe des fausses alertes.
Pour atteindre ce niveau de performance dans la distribution pharmaceutique, il a fallu maîtriser l'ensemble du processus : la boucle de données qui identifie les cas complexes, l'architecture qui gère les données masquées et le traitement rigoureux des informations a priori qui améliorent le modèle au lieu de le rendre inefficace. C'est le principe de Spot : et la raison pour laquelle il fonctionne même avec les commandes qui mettent à rude épreuve d'autres systèmes.
L'hypothèse courante – que l'on pourrait qualifier de « pari sur la généralité » – est que le principal défi du déploiement d'une IA physique réside dans la création de modèles généralistes, capables d'exceller dans de nombreuses tâches et, à terme, de gérer ce type de missions sans configuration supplémentaire. Notre expérience démontre le contraire. Les modèles généralistes les plus performants que nous avons testés étaient certes réellement efficaces, mais leur taux de fausses alertes restait largement inférieur au seuil requis pour un déploiement. La polyvalence est certes importante, mais elle ne suffit pas à garantir une autonomie complète et un retour sur investissement immédiat dans un environnement d'entrepôt réel.
Ce qui a permis de combler cet écart, c'est le pari inverse : la maîtrise d'abord. Il s'agit d'approfondir une tâche, dans des déploiements réels, jusqu'à ce que le système gère les cas qui n'apparaissent qu'en production. Ce type de maîtrise ne repose sur aucun corpus d'entraînement préalable général. Les cas qui la définissent n'existent que dans les opérations réelles ; elle s'acquiert de manière itérative. Les déploiements en production génèrent les cas difficiles à résoudre, jetant ainsi les bases de l'amélioration du modèle. Chaque itération amplifie les progrès. C'est le cercle vertueux du déploiement, et c'est ce qui a permis à Spot de passer de performances généralistes à une détection supérieure à 981 TP4T avec moins de 11 TP4T de fausses alertes.
Voici notre pari sur l'avenir de l'IA physique en général. L'autonomie dans le monde physique ne dépend pas des compétences moyennes, mais des capacités exceptionnelles, qui ne se révèlent pleinement qu'en production. Les systèmes intégrés aux opérations réelles et conçus pour apprendre de ces opérations prendront de l'avance, permettant ainsi une maîtrise de plus en plus étendue. C'est pourquoi cette voie s'adresse moins aux nouveaux laboratoires qu'aux entreprises déjà bien implantées et ayant des clients satisfaits. Spot est un exemple concret de ce phénomène. Et ce ne sera pas le dernier.
