Autorzy: Michał Grzejdziak-Zdziarski, starszy menedżer ds. uczenia maszynowego; Markus Wulfmeier, główny naukowiec
Upewnienie się, że każde zamówienie wysyłane do klienta jest prawidłowe, brzmi jak rozwiązany problem, dopóki nie przyjrzymy się temu, co faktycznie dzieje się na hali magazynowej. W zależności od procesu, około 1% zamówień nadal jest wysyłanych z błędami: generowanie dodatkowych kosztów, złożoności operacyjnej i niezadowolenia klientów. Obecnie wykrycie tych błędów sprowadza się głównie do kontroli wagowych, ale wagi nie są idealnym rozwiązaniem: mają problemy z lekkimi przedmiotami i wymagają dokładnych danych podstawowych dotyczących wagi każdego z nich. Właśnie tutaj pojawia się problem z wagą wizualną. Weryfikacja zamówień oparta na sztucznej inteligencji może mieć realny wpływ. Zadanie jest proste do sformułowania – przed wysłaniem zamówienia należy potwierdzić, czy w zamówieniu znajduje się prawidłowa liczba produktów – ale dane wejściowe już nie. Produkty docierają ciasno zapakowane w tekturę, często z widocznymi jedynie fragmentami, a system i tak musi je zweryfikować.
Spot, nasz system weryfikacji zamówień, niedawno przeszedł ostateczny test akceptacji dla tego zadania w intralogistyce farmaceutycznej i jest obecnie wdrażany na dużą skalę, weryfikując 150 tys. zamówień dziennie, osiągając wykryto wskaźnik błędów powyżej 98% w wskaźnik fałszywych alarmów poniżej 0,8%. Poniżej znajdziesz informacje na temat tego, co było trudne i co było potrzebne, aby to osiągnąć.
Zadanie polega na wykrywaniu dwóch typów błędów, które na siebie nachodzą i oba generują bezpośrednie koszty operacyjne.
Wykryty współczynnik błędów Wycofanie wadliwych zamówień – spośród wszystkich zamówień, które rzeczywiście zawierają błąd, Spot udostępnia flagi. “Błąd” oznacza tutaj błąd w liczeniu: brakujący lub dodatkowy element. W przypadku 98%+ mniej niż 2 na 100 rzeczywistych błędów przechodzą bezpowrotnie.
Wskaźnik fałszywych alarmów to wskaźnik fałszywie dodatnich wyników – jak często prawidłowy Zamówienie zostaje oznaczone jako nieprawidłowe. Każdy fałszywy alarm powoduje konieczność zejścia operatora z linii w celu sprawdzenia pudełka, które było w porządku, więc ta liczba bezpośrednio przekłada się na koszt robocizny. Poniżej 0,8% oznacza, że Spot praktycznie nie uwzględnia prawidłowych zamówień.
Napięcie między nimi stanowi o całej trudności. Obniżenie progu decyzyjnego w celu wykrycia większej liczby rzeczywistych błędów powoduje również wzrost liczby fałszywych alarmów; zaostrzenie go w celu tłumienia fałszywych alarmów powoduje przepuszczenie rzeczywistych błędów. Większość systemów może osiągnąć jeden z tych celów. Siedząc w dobrym punkcie operacyjnym, Zarówno jednocześnie - wysoka wykrywalność i wskaźnik fałszywie dodatnich wyników poniżej 1% w danych produkcyjnych - to część, której nie można dostać za darmo.
Każdy produkt w pudełku rodzi jedno główne pytanie: ile ich jest? W obszarze realizacji zamówień farmaceutycznych, z którym współpracujemy, nieprawidłowe ilości odpowiadają za ponad 95% błędów w zamówieniach, które wciąż przechodzą.
Liczenie jest problemem separacji instancji: model musi ustalić, ile odrębnych obiektów jest obecnych, co wymaga pokonania następujących wyzwań:
Przykłady kwestionowania zamówień
Te wyzwania powodują rozpad modeli ogólnego przeznaczenia. W naszych testach porównawczych najnowocześniejsze, generalistyczne modele wizyjno-językowe wykazały znacznie wyższy wskaźnik fałszywych alertów w tych warunkach – na tyle wysoki, że koszt obsługi fałszywych alertów przewyższa wartość automatyzacji kontroli.
Różnica nie jest kwestią polerowania. W tych samych zamówieniach Spot ma wskaźnik fałszywych alarmów w ramach 1% – granica, na której autonomiczna weryfikacja zaczyna się opłacać – podczas gdy najsilniejsza ogólne VLM-y testowaliśmy usiądź powyżej 8%, około osiem razy wyższa. Modele generalistyczne potrafią rozpoznać, co znajduje się w czystym obrazie; nie potrafią jednak oddzielić ściśle upakowanych, zasłoniętych instancji, które są rzeczywistością hali magazynowej. Dowodzi to, że kompleksowe opanowanie tego jednego zadania w środowisku produkcyjnym to klucz do zmiany systemu z “imponującego w wersji demonstracyjnej” na “możliwy do wdrożenia na linii produkcyjnej”.
Rezultat był efektem około rocznej, intensywnej pracy, opartej na trzech filarach. Każdy z nich rozwiązał inny problem i każdy pozwolił na mierzalne obniżenie wskaźnika fałszywych alarmów, przy jednoczesnym utrzymaniu wysokiego poziomu wykrywalności.
1. Silnik danych ukierunkowany na realizację trudnych, realnych zamówień. Dokładność na ogonie wynika z szybkiego uczenia się na najtrudniejszych przypadkach, a nie z bardziej uśrednionych danych. Silnik danych Nomagic utrzymuje ścisłą, wysokiej jakości pętlę sprzężenia zwrotnego z wdrożeniami produkcyjnymi na żywo, dzięki czemu przesłonięte, podzielone i niemal zduplikowane zamówienia, które wprowadzają model w błąd, są wykrywane, oznaczane i przekazywane zwrotnie, a nie uśredniane. Ta pętla oparta na danych, skoncentrowana na twardym ogonie, ma silny wpływ na wskaźnik fałszywych alertów i pozwala nam go znacznie zmniejszyć.
2. Architektura weryfikacyjna zaprojektowana do ukrywania. Detektory ogólne domyślnie zakładają, że liczony obiekt jest widoczny. W zapakowanym opakowaniu farmaceutycznym zazwyczaj tak nie jest. Przeprojektowaliśmy model główny, aby jawnie uwzględniał powyższe tryby okluzji – widoki częściowe, instancje podzielone, stosy tylko z boku – i aby umożliwiał precyzyjne rozróżnianie wariantów na podstawie wszelkich sygnałów, które pozostają widoczne, zamiast traktować trudne przypadki jako szum. Traktowanie ich jako przypadków pierwszej klasy, w połączeniu z silnikiem danych opisanym w poprzednim punkcie, to kolejny ważny element zmniejszania liczby fałszywych alertów.
3. Uporządkuj metadane tak, aby były wcześniejsze – bez trybu awarii, który zwykle wprowadzają. Każde zamówienie zawiera metadane opisujące, co powinien być w polu, co jest silnym priorytetem, jeśli używa się go poprawnie. Tutaj odkryliśmy coś wartego uwagi: kiedy warunkowaliśmy najnowocześniejsze systemy VLM na tych samych metadanych, ich wykryty współczynnik błędów zawalił się. Wcześniejsze zakotwiczenie ukierunkowało je na potwierdzenie oczekiwanych treści – błąd potwierdzenia, w którym model przestaje szukać rozbieżności, gdy tylko otrzyma oczekiwaną odpowiedź.
Ten trzeci punkt jest technicznie interesujący. Ostatni odcinek niezawodności nie został zdobyty dzięki większemu modelowi ani większej mocy obliczeniowej – wynikał ze zrozumienia Dlaczego Oczywiste użycie wcześniejszego rozwiązania po cichu obniża poziom wykrywania i inżynierii wokół tej konkretnej awarii. Krótko mówiąc: wcześniejsze rozwiązanie powinno rozwiewać niejednoznaczności, nigdy nie unieważnia dowodów.
W wersji demonstracyjnej kilka punktów procentowych błędu wygląda jak niedokończenie prac wykończeniowych. W produkcji ma to bezpośredni wpływ na strukturę kosztów. Błędy wykryte to awarie, którym starasz się zapobiec – np. dostarczenie niewłaściwego produktu do pacjenta; fałszywe alerty to powtarzające się koszty pracy, które rosną wraz z przepustowością. Autonomiczny etap weryfikacji jest warty wdrożenia tylko wtedy, gdy jest wystarczająco niezawodny, by można było mu zaufać bez konieczności ponownego sprawdzania przez człowieka, co oznacza konieczność utrzymania się na szczycie krzywej wycofywania produktu. I jednocześnie na dole krzywej fałszywych alarmów.
Osiągnięcie tego punktu w realizacji zamówień farmaceutycznych sprowadzało się do zrozumienia całego stosu problemu: pętli danych, która ujawnia trudne przypadki, architektury, która obsługuje okluzję, oraz starannego traktowania wcześniejszych danych, które wspomagają model, a nie go zaślepiają. To właśnie praca stojąca za Spot: i powód, dla którego sprawdza się on w przypadku zamówień, które faktycznie zakłócają działanie innych systemów.
Powszechnym założeniem – możemy to nazwać zakładem „najpierw ogólność” – jest to, że głównym wyzwaniem we wdrażaniu fizycznej sztucznej inteligencji jest stworzenie modeli generalistycznych – zdolnych do efektywnego wykonywania wielu zadań i ostatecznie zdolnych do radzenia sobie z takimi zadaniami od razu po instalacji. Nasze doświadczenie wskazuje na coś innego. Najsilniejsze modele generalistyczne, które testowaliśmy, były rzeczywiście wydajne, ale brakowało im rzędu wielkości do wskaźnika fałszywych alarmów, który można wdrożyć. Szerokość jest ważnym elementem, ale nie wystarcza do pełnej autonomii i początkowego zwrotu z inwestycji (ROI) w rzeczywistym środowisku magazynowym.
To, co zamknęło tę lukę, to przeciwny zakład: najpierw opanowanie. Zagłębianie się w jedno zadanie, w rzeczywistych wdrożeniach, aż system obsłuży przypadki pojawiające się tylko w środowisku produkcyjnym. Takie opanowanie nie opiera się na żadnym ogólnym korpusie wstępnego treningu. Przypadki, które je definiują, istnieją tylko w rzeczywistych operacjach; jest zdobywane w pętli. Wdrożenia na żywo generują twardy, długi ogon – budując fundament pod doskonalenie modelu. Każdy kolejny ruch kumuluje się. To jest koło zamachowe wdrożenia i to ono doprowadziło Spot od wydajności na poziomie generalisty do wykrywania fałszywych alarmów powyżej 98% przy fałszywych alarmach poniżej 1%.
To jest nasz zakład na ścieżkę rozwoju fizycznej sztucznej inteligencji w szerszym ujęciu. Autonomia w świecie fizycznym jest ograniczona nie przez przeciętną kompetencję, ale przez długi ogon, który ujawnia się dopiero w produkcji. Systemy osadzone w rzeczywistych operacjach i zbudowane tak, aby się na nich uczyć, będą się rozwijać – umożliwiając ekspansję od wąskiego do coraz szerszego zakresu kompetencji. Dlatego też jest to ścieżka nie tyle dla nowego laboratorium, co dla firmy już osadzonej w rzeczywistych wdrożeniach i posiadającej zadowolonych klientów. Spot to jeden z przykładów, gdzie już to obserwowaliśmy. I nie ostatni.
