Von Michał Grzejdziak-Zdziarski, Senior Machine Learning Manager; Markus Wulfmeier, Chief Scientist
Sicherzustellen, dass jede an einen Kunden versandte Bestellung korrekt ist, klingt nach einem gelösten Problem – bis man sich ansieht, was tatsächlich in einem Lager vor sich geht. Je nach Prozess, Ungefähr 11.040.000 Bestellungen werden immer noch mit Fehlern versendet.Dies führt zu zusätzlichen Kosten, erhöhter betrieblicher Komplexität und Unzufriedenheit bei den Kunden. Aktuell beruht die Fehlererkennung meist auf Gewichtskontrollen, doch Waagen sind keine perfekte Lösung: Sie haben Schwierigkeiten mit leichten Gegenständen und benötigen präzise Stammdaten zum Gewicht jedes einzelnen Artikels. Hier kommt die visuelle Analyse ins Spiel. KI-gestützte Auftragsprüfung kann echte Auswirkungen haben. Die Aufgabe ist leicht formuliert – vor dem Versand einer Bestellung die korrekte Artikelmenge prüfen –, doch die Umsetzung ist es nicht. Die Artikel kommen eng in Kartons verpackt an, oft sind nur Bruchstücke für die Kamera sichtbar, und das System muss sie trotzdem verifizieren.
Spot, unser Auftragsverifizierungssystem, hat vor Kurzem den finalen Abnahmetest für diese Aufgabe in der pharmazeutischen Intralogistik bestanden und wird nun flächendeckend eingesetzt., Täglich werden 150.000 Bestellungen überprüft., erreichen Fehlerrate über 98% bei einem Fehlalarmrate unter 0,8%. Im Folgenden wird beschrieben, was dies erschwert hat und was nötig war, um dieses Ziel zu erreichen.
Es handelt sich um ein Erkennungsproblem mit zwei Fehlertypen, die sich gegenseitig aufheben und jeweils direkte Betriebskosten verursachen.
Erkannte Fehlerrate Bei fehlerhaften Aufträgen erfolgt ein Rückruf – von allen Aufträgen, die tatsächlich einen Fehler enthalten, kennzeichnet die Spot-Aktie diese. “Fehler” bedeutet hier einen Zählfehler: ein fehlender oder ein zusätzlicher Artikel. Bei 98%+ gelangen weniger als 2 von 100 tatsächlichen Fehlern durch.
Fehlalarmrate ist die Falsch-Positiv-Rate – wie oft ein richtig Die Bestellung wird als fehlerhaft markiert. Jeder Fehlalarm zwingt einen Mitarbeiter, eine in Ordnung befindliche Box zu überprüfen, daher wirkt sich diese Zahl direkt auf die Arbeitskosten aus. Werte unter 0,8% bedeuten, dass Spot bei korrekten Bestellungen praktisch keine Meldungen ausgibt.
Die Spannung zwischen diesen beiden Polen ist die eigentliche Schwierigkeit. Eine Absenkung der Entscheidungsschwelle, um mehr echte Fehler zu erkennen, führt auch zu mehr Fehlalarmen; eine Verschärfung, um Fehlalarme zu unterdrücken, lässt echte Fehler durch. Die meisten Systeme können eines dieser Ziele erreichen. Ein guter Betriebspunkt liegt auf beide gleichzeitig hohe Trefferquote und eine Falsch-Positiv-Rate von unter 1% bei Produktionsdaten – das ist der Teil, der nicht kostenlos ist.
Jeder Artikel in der Box wirft eine zentrale Frage auf: Wie viele sind es? In der pharmazeutischen Auftragsabwicklung, mit der wir zusammenarbeiten, machen falsche Mengen über 951.040 der Bestellfehler aus, die immer noch durchrutschen.
Das Zählen ist ein Instanzentrennungsproblem: Das Modell muss ermitteln, wie viele unterschiedliche Objekte vorhanden sind, und dabei folgende Herausforderungen bewältigen:
Beispiele für anfechtbare Anordnungen
Diese Herausforderungen führen dazu, dass universelle Modelle versagen. In unseren Benchmarks wiesen hochmoderne, allgemeine Bildverarbeitungs- und Sprachmodelle unter diesen Bedingungen eine deutlich höhere Fehlalarmrate auf – so hoch, dass die Kosten für die Behandlung von Fehlalarmen den Nutzen der Automatisierung der Prüfung von vornherein übersteigen.
Der Unterschied ist nicht auf mangelnde Präzision zurückzuführen. Bei denselben Aufträgen hält Spot einen Fehlalarmrate gemäß 1% – die Grenze, ab der sich die autonome Verifizierung selbst finanziert – während die stärkste Generalistische VLMs Wir haben getestet sitzen über 8%, Die Genauigkeit ist etwa achtmal höher. Generalistische Modelle können zwar erkennen, was in einem sauberen Bild zu sehen ist; was sie aber nicht können, ist, die dicht gedrängten, verdeckten Elemente zu trennen, die die Realität im Lageralltag ausmachen. Das beweist: Die vollständige Beherrschung dieser einen Aufgabe im Produktionsbetrieb ist der entscheidende Schritt, um ein System von “beeindruckend in einer Demo” zu “einsatzfähig in der Produktion“ zu machen.
Das Ergebnis ist das Resultat von rund einem Jahr konzentrierter Arbeit, die auf drei sich gegenseitig verstärkenden Säulen beruht. Jede Säule adressierte einen anderen Engpass und senkte die Fehlalarmrate messbar, während die Erkennungsrate hoch blieb.
1. Eine Datenmaschine, die auf harte, reale Aufträge ausgerichtet ist. Die Genauigkeit im Extrembereich resultiert aus dem schnellen Lernen aus den schwierigsten Fällen, nicht aus durchschnittlichen Daten. Die Daten-Engine von Nomagic gewährleistet einen engen, qualitativ hochwertigen Feedback-Kreislauf mit laufenden Produktionsumgebungen. So werden verdeckte, aufgeteilte und nahezu doppelte Aufträge, die das Modell täuschen, aufgedeckt, gekennzeichnet und zurückgemeldet, anstatt durch Mittelwertbildung eliminiert zu werden. Dieser datengesteuerte Kreislauf, der sich auf den Extrembereich konzentriert, hat einen starken Einfluss auf die Fehlalarmrate und ermöglicht es uns, diese deutlich zu senken.
2. Eine für Okklusion ausgelegte Verifikationsarchitektur. Allgemeine Detektoren gehen implizit davon aus, dass das zu zählende Objekt sichtbar ist. In einer vollgepackten Pharmaverpackung ist dies jedoch meist nicht der Fall. Wir haben das Kernmodell überarbeitet, um die oben genannten Verdeckungszustände – Teilansichten, geteilte Instanzen, nur seitlich sichtbare Stapel – explizit zu berücksichtigen und feinere Variantenunterschiede anhand der verbleibenden sichtbaren Merkmale zu erkennen, anstatt die schwierigen Fälle als Rauschen zu behandeln. Die Behandlung dieser Fälle als gleichwertige Fälle, kombiniert mit der im vorherigen Punkt beschriebenen Datenverarbeitungs-Engine, ist ein weiterer wichtiger Faktor zur Reduzierung der Fehlalarmrate.
3. Metadaten als Priorität festlegen – ohne den damit verbundenen Fehlermodus. Jede Bestellung wird mit Metadaten versendet, die beschreiben, was sollen Die Annahme, dass die Ergebnisse innerhalb der vorgegebenen Grenzen liegen, ist eine starke Prämisse, sofern sie korrekt angewendet wird. Dabei ist uns etwas aufgefallen, das Beachtung verdient: Als wir hochmoderne VLMs mit denselben Metadaten konditionierten, war ihre Fehlerrate signifikant niedriger. zusammengebrochen. Die Vorannahmen führten dazu, dass sie die erwarteten Inhalte bestätigten – ein Bestätigungsfehler, bei dem das Modell aufhört, nach Abweichungen zu suchen, sobald ihm die erwartete Antwort mitgeteilt wurde.
Dieser dritte Punkt ist der technisch interessanteste. Die letzte Phase der Zuverlässigkeit wurde nicht durch ein größeres Modell oder mehr Rechenleistung erreicht – sie beruhte auf dem Verständnis Warum Die offensichtliche Verwendung von Vorwissen verschlechtert stillschweigend die Erkennung und die Behebung dieses spezifischen Fehlers. Kurz gesagt: Vorwissen sollte Mehrdeutigkeiten auflösen, es darf niemals Beweise außer Kraft setzen.
In einer Demo wirken wenige Prozentpunkte Fehler wie verbleibende Feinarbeiten. Im Produktivbetrieb haben sie jedoch direkte Auswirkungen auf die Kostenstruktur. Nicht erkannte Fehler sind genau die Ausfälle, die man vermeiden will – beispielsweise, dass ein falsches Produkt einen Patienten erreicht. Fehlalarme verursachen wiederkehrende Arbeitskosten, die mit dem Durchsatz steigen. Ein autonomer Verifizierungsschritt ist nur dann sinnvoll, wenn er zuverlässig genug ist, um ohne menschliche Nachprüfung vertrauenswürdig zu sein. Das bedeutet, eine hohe Rückrufquote zu erreichen. Und gleichzeitig der Tiefpunkt der Fehlalarmkurve.
Dieser Erfolg im Bereich der pharmazeutischen Auftragsabwicklung beruhte darauf, das gesamte Problem zu verstehen: die Datenverarbeitungsschleife, die schwierige Fälle aufdeckt, die Architektur, die mit Datenverdeckung umgeht, und die sorgfältige Behandlung von Vorinformationen, die das Modell unterstützt, anstatt es zu verfälschen. Das ist die Grundlage von Spot: und der Grund, warum es auch bei Aufträgen zuverlässig funktioniert, die andere Systeme an ihre Grenzen bringen.
Die gängige Annahme – man könnte sie den Ansatz der Generalisierung nennen – ist, dass die größte Herausforderung beim Einsatz von KI in der Praxis in der Entwicklung generalistischer Modelle liegt. Diese Modelle sollen viele Aufgaben gut beherrschen und letztendlich auch solche Aufgaben ohne weitere Anpassungen bewältigen können. Unsere Erfahrung zeigt jedoch das Gegenteil. Die leistungsstärksten von uns getesteten generalistischen Modelle waren zwar durchaus leistungsfähig, wiesen aber eine um Größenordnungen niedrigere Fehlalarmrate auf, als für einen einsatzfähigen Betrieb erforderlich wäre. Breite ist zwar ein wichtiger Faktor, reicht aber für vollständige Autonomie und den Beginn der Amortisation in einer realen Lagerumgebung nicht aus.
Diese Lücke wurde durch den gegenteiligen Ansatz geschlossen: die konsequente Anwendung von Expertise. Dabei wird eine Aufgabe in realen Einsatzszenarien intensiv geübt, bis das System Fälle bewältigen kann, die ausschließlich im Produktivbetrieb auftreten. Diese Art von Expertise basiert nicht auf einem allgemeinen Trainingskorpus. Die relevanten Fälle existieren nur im Live-Betrieb; sie wird kontinuierlich erworben. Live-Einsätze generieren die komplexen, aber schwer zu analysierenden Fälle – und bilden so die Grundlage für die Modellverbesserung. Jeder Schritt verstärkt sich. Dieser positive Effekt der Implementierung hat Spot von einer Leistung auf Generalistenniveau zu einer Erkennungsrate von über 98% bei einer Fehlalarmrate von unter 1% geführt.
Dies ist unsere Prognose für die Zukunft der physischen KI. Autonomie in der realen Welt wird nicht durch durchschnittliche Kompetenz, sondern durch die Vielfalt der Fähigkeiten begrenzt, die sich erst im Produktivbetrieb offenbart. Systeme, die in reale Abläufe integriert sind und daraus lernen, werden die Nase vorn haben – und so die Erweiterung von enger zu immer umfassenderer Expertise ermöglichen. Deshalb eignet sich dieser Weg weniger für ein neues Labor als vielmehr für ein Unternehmen, das bereits mit zufriedenen Kunden in realen Projekten tätig ist. Spot ist ein Beispiel dafür, wo wir diese Entwicklung bereits beobachten konnten. Und es wird nicht das letzte sein.
