Wer schon einmal an frühen Projekten im Bereich maschinelles Lernen mitgearbeitet hat, kennt das wahrscheinlich. Überall findet man Code-Skripte, diverse Tabellen mit notierten Werten und Parametern sowie willkürlich benannte Dateien mit Modellgewichten.
Als unser Team wuchs und unsere KI-Projekte ambitionierter wurden, erkannten wir, dass die einfachen Tabellenkalkulationsmethoden nicht mehr ausreichten. Wir mussten uns besser organisieren. Wir brauchen Verlässlichkeit und einen klaren Überblick über unsere Arbeit. Dies ist die Geschichte, wie wir vor einigen Jahren ein wichtiges Werkzeug fanden, das uns dabei half: ClearML Und wir nutzen es seit.
Wir brauchten ein Tool, das unsere Experimente und Artefakte verfolgen und vor allem unseren gesamten KI-Entwicklungsprozess strukturieren konnte. Nach der Prüfung erwies sich ClearML als die beste Wahl. Es bot alle benötigten Funktionen, war einfach einzurichten und zu verstehen, uns bei der Verwaltung unserer Arbeit von Anfang bis Ende zu unterstützen. Wir haben uns dafür entschieden, und die Auswirkungen waren enorm.
Hier ein genauerer Blick auf die wichtigsten Wege, wie ClearML unseren Workflow verbessert hat.
Im maschinellen Lernen ist es unerlässlich, dass man seine Ergebnisse reproduzieren kann. Andernfalls wird die Lösung zum Albtraum, die Zusammenarbeit erschwert und man kann den eigenen Ergebnissen nicht wirklich vertrauen.
Die Herausforderung für ClearML: Früher bedeutet die Wiederholung eines Experiments einen langwierigen Prozess. Wir hatten mehrere Tabellenkalkulationen, die sich mit jedem neuen Projekt vermehrten, die Trainingsparameter mussten manuell notiert werden, und sobald das Training lief, gab es keine einfache Möglichkeit, die verwendeten Parameter zu überprüfen.
Wie ClearML das Problem gelöst hat: ClearML beginnt wie ein automatischer Protokollführer für jedes Experiment. Es speichert automatisch:
Die Auswirkungen: Das Wiederholen eines Experiments ist nun so einfach wie ein Klick auf den “Klonen”-Button. Dies hat sich als große Hilfe erwiesen für:
Um bessere Modelle zu erstellen, muss man verstehen, warum ein Experiment zu einem bestimmten Ergebnis geführt hat. Wenn man einfach nur Daten eingibt und ein Ergebnis erhält, ohne die Modellmetriken zu kennen, ist das, als würde man im Dunkeln tappen.
Die Herausforderung für ClearML: Wir haben versucht, unsere eigenen, sehr einfachen Tools für den Metrikvergleich zu verwenden. Nach einer kurzen Einarbeitungszeit erfüllte das Tool zwar seinen Zweck, war aber dennoch umständlich. Die Analyse von Leistungstrends im Zeitverlauf gestaltete sich sehr aufwendig. Die Suche nach dem Code und dem Datensatz, der ein bestimmtes Ergebnis erzeugte, ist oft Detektivarbeit.
Wie ClearML das Problem gelöst hat: ClearML bietet uns ein einziges, einfach zu bedienendes Dashboard, das als Kommandozentrale für unser gesamtes ML-Training dient.
Die Auswirkungen: Diese Transparenz hat es uns ermöglicht:
Beim ML-Training entstehen zahlreiche Dateien: Modellgewichte, Diagramme, Debug-Daten, Beispiele, Berichte und vieles mehr, abhängig von der Art des durchgeführten ML-Trainings. Eine gute Organisation dieser Dateien ist entscheidend für erfolgreiches Arbeiten.
Die Herausforderung für ClearML: Unsere Dateien waren in den Tiefen des Cloud-Speichers verschwunden. Da jedes Training Dutzende von Dateien mit kryptischen Namen erzeugte, gingen die Modelle leicht verloren. Das führte zu Verwirrung, versehentlichen Fehlern und erschwerte es, die richtige Datei zu finden, wenn wir sie brauchten.
Wie ClearML das Problem gelöst hat: ClearML sorgt dafür, dass Ihre Dateien da sind, wenn Sie sie brauchen.
Die Auswirkungen: Dieser systematische Ansatz zur Dateiverwaltung hat zu Folgendem geführt:
Die Nutzung von ClearML war mehr als nur die Einführung eines neuen Tools. Es ist halb so, bessere Arbeitsgewohnheiten zu entwickeln. Da die Plattform einen Großteil der Nachverfolgung und Organisation automatisch übernimmt, verbringt unser Team weniger Zeit mit der manuellen Datenerfassung und mehr Zeit mit der Entwicklung neuer Ideen.
Wir erleben nun Folgendes:
ClearML ist für unser ML-Team unverzichtbar geworden. Es bringt eine Klarheit und Effizienz in unsere Arbeit, die wir vorher nicht erreichen konnten. Wenn auch Ihr Team mit den komplexen Aspekten des maschinellen Lernens zu kämpfen hat und Sie Ihre Prozesse optimieren möchten, empfehlen wir Ihnen dringend, ClearML einmal genauer anzusehen.
