Projekty ML wykonane prawidłowo: nasza historia z ClearML

Jeśli pracowałeś nad wczesnymi projektami uczenia maszynowego, prawdopodobnie znasz to uczucie. Masz wszędzie skrypty kodu, różne arkusze kalkulacyjne z zapisanymi wynikami i parametrami oraz pliki o losowo nazwach z wagami modeli. 

Wraz z powiększaniem się naszego zespołu i rosnącą ambicją projektów AI, zdaliśmy sobie sprawę, że proste metody “arkusza kalkulacyjnego” po prostu przestają działać. Musieliśmy się zorganizować. Potrzebowaliśmy niezawodności i jasnego obrazu naszej pracy. Oto historia o tym, jak kilka lat temu znaleźliśmy kluczowe narzędzie, które nam w tym pomogło: ClearML i używamy go od tamtej pory.

Potrzebowaliśmy narzędzia, które pozwoliłoby nam śledzić nasze eksperymenty i artefakty, a co ważniejsze, uporządkować cały proces rozwoju sztucznej inteligencji. Po przeanalizowaniu kilku opcji, ClearML okazał się najlepszym wyborem. Posiadał wszystkie potrzebne nam funkcje, był łatwy w konfiguracji i obiecał nam pomoc w zarządzaniu pracą od początku do końca. Zdecydowaliśmy się na niego, a efekt był ogromny.

Przyjrzyjmy się bliżej najważniejszym sposobom, w jakie ClearML udoskonalił nasz przepływ pracy.

Filar 1: Uzyskanie tych samych wyników za każdym razem (powtarzalność)

W uczeniu maszynowym kluczowe jest upewnienie się, że można powtarzać wyniki. Jeśli nie jest to możliwe, rozwiązywanie problemów staje się koszmarem, praca zespołowa jest trudna i nie można w pełni ufać własnej pracy.

Wyzwanie stojące przed ClearML: Wcześniej powtarzanie eksperymentu oznaczało długi proces. Mieliśmy kilka arkuszy kalkulacyjnych, które mnożyły się z każdym rozpoczętym projektem, parametry użyte do uruchomienia treningu musiały być zapisywane ręcznie, a po uruchomieniu treningu nie mieliśmy łatwej możliwości weryfikacji użytych parametrów. 

Jak ClearML rozwiązał ten problem: ClearML działa jak automatyczny notatnik dla każdego eksperymentu. Automatycznie zapisuje:

• Dokładne zatwierdzenie git: Obejmuje to dokładną wersję z Gita, a co zaskakujące, nawet różnice w Gicie. Koniec z zastanawianiem się, czy “mały test” był częścią finalnego uruchomienia.
• Konfiguracja szkolenia: ClearML zbiera pełny zrzut YAML naszej konfiguracji szkoleniowej.
• Wszystkie ustawienia: Zapamiętuje wszystkie ustawienia i parametry użyte do przeprowadzenia eksperymentu (np. liczbę użytych procesorów GPU, użyty napęd GPU czy wersję Pythona).

Wpływ: Teraz powtórzenie eksperymentu jest tak proste, jak kliknięcie przycisku “klon”. To było bardzo pomocne dla:

• Wdrażanie nowych członków zespołu: Mogą z łatwością przyjrzeć się starym eksperymentom i zrozumieć, jak je przeprowadzono.
• Znajdowanie błędów: Jeśli model nie działa prawidłowo, możemy powrócić do dokładnego eksperymentu i sprawdzić, co poszło nie tak.

Filar 2: Dokładne zobaczenie tego, co się wydarzyło (pełna widoczność)

Aby tworzyć lepsze modele, musisz zrozumieć, dlaczego eksperyment dał określony wynik. Kiedy po prostu wprowadzasz dane i otrzymujesz wynik, nie mając pojęcia o metrykach modelu, to jak błądzenie po omacku.

Wyzwanie stojące przed ClearML: Próbowaliśmy używać własnych, bardzo prostych narzędzi do porównywania metryk. Mimo to, po pewnym szkoleniu, narzędzie spełniło swoje zadanie. Niemniej jednak, było to uciążliwe, a próba śledzenia trendów wydajności w czasie była bardzo pracochłonna. Ustalenie, który kod i zestaw danych generują konkretny wynik, często przypominało pracę detektywa.

Jak ClearML rozwiązał ten problem: ClearML zapewnia nam pojedynczy, łatwy w obsłudze panel, który stanowi centrum dowodzenia wszystkimi naszymi szkoleniami z zakresu uczenia maszynowego.

• Automatyczne śledzenie: ClearML automatycznie zapisuje wszystkie ważne liczby, wykresy, obrazy i dane tekstowe generowane podczas szkolenia (nawet surowe dzienniki szkoleniowe).
• Łatwe porównanie: Możemy łatwo zobaczyć wszystkie nasze eksperymenty na jednej stronie i porównać różnice między nimi, co ułatwia wykrycie najmniejszych zmian. Możemy filtrować wyniki według metryk, aby porównywać je i znajdować najlepsze.
• Wyraźne wykresy: Możemy śledzić skuteczność naszego modelu za pomocą wbudowanych wykresów, które pokazują, jak różne eksperymenty wypadają w porównaniu ze sobą.

Wpływ: Dzięki tej przejrzystości mogliśmy:

• Szybciej rozwiązuj problemy: Potrafimy szybko dostrzec różnice między nieudanym a udanym biegiem.
• Współpracujmy lepiej: Członkowie zespołu mogą łatwo dzielić się swoją pracą w pełnym kontekście, dzięki czemu wszyscy są na tej samej stronie (pojedynczy link do ClearML oznacza czasami więcej niż tysiąc słów).
• Podejmuj mądrzejsze decyzje: Dzięki świetnym narzędziom do śledzenia i porównywania możemy śmiało wybrać najlepsze modele do dalszych działań.

Filar 3: Szkolenie artefaktów we właściwym miejscu (łatwe zarządzanie)

Szkolenie ML generuje wiele plików: wagi modeli, wykresy, dane debugowania, próbki, raporty i wiele innych, w zależności od rodzaju szkolenia ML, które przeprowadzasz. Utrzymanie ich w porządku jest kluczem do efektywnej pracy.

Wyzwanie stojące przed ClearML: Nasze pliki kryły się w głębokiej otchłani chmur. Modele łatwo było zgubić, ponieważ każde szkolenie generowało dziesiątki plików o tajemniczych nazwach. Prowadziło to do zamieszania, przypadkowych błędów i utrudniało znalezienie odpowiedniego pliku, gdy go potrzebowaliśmy.

Jak ClearML rozwiązał ten problem: Dzięki ClearML masz pewność, że Twoje pliki będą dostępne, gdy ich potrzebujesz.

• Pamięć centralna: Wszystkie nasze artefakty są przechowywane w jednym miejscu – możemy nimi łatwo zarządzać poprzez interfejs użytkownika ClearML.
• Łatwość przeglądania: Każdy wykres, szereg czasowy, obrazy debugowania i wiele innych są łatwo dostępne do przeglądania. To daje nam spokój ducha i możliwość szybkiego przechodzenia przez najważniejsze pliki.

Wpływ: To zorganizowane podejście do zarządzania plikami doprowadziło do:

• Mniej bałaganu i zamieszania: Nie musisz już zgadywać, który plik jest właściwy.
• Lepsza praca zespołowa: Każdy członek zespołu może śmiało wyszukiwać i wykorzystywać artefakty ze szkoleń prowadzonych przez innych inżynierów.

Całościowy obraz: Nasza praca jest teraz bardziej przejrzysta, szybsza i bardziej niezawodna

Korzystanie z ClearML to coś więcej niż tylko dodanie nowego narzędzia. Pomogło nam to wypracować lepsze nawyki pracy. Ponieważ platforma automatycznie obsługuje tak wiele czynności związanych ze śledzeniem i organizacją, nasz zespół poświęca mniej czasu na ręczne prowadzenie dokumentacji, a więcej na wymyślanie nowych pomysłów.

Teraz doświadczamy:

• Krótsze cykle rozwoju.
• Mniej czasu spędzonego na rozwiązywaniu problemów i szukaniu literówek.
• Lepsza praca zespołowa i dzielenie się wiedzą.
• Większe zaufanie do naszych modeli i sposobu, w jaki je tworzymy.

ClearML stał się niezbędnym narzędziem dla naszego zespołu ML. Zapewnia nam poziom przejrzystości i efektywności, którego wcześniej nie mogliśmy osiągnąć. Jeśli Twój zespół zmaga się z zawiłościami uczenia maszynowego i chcesz usprawnić swój proces, zdecydowanie zalecamy zapoznanie się z ClearML.