Projets d'apprentissage automatique réussis : notre histoire avec ClearML

Si vous avez participé aux premiers projets d'apprentissage automatique, vous connaissez sans doute cette sensation. On trouve des scripts de code partout, des feuilles de calcul avec des scores et des paramètres, et des fichiers aux noms aléatoires contenant les poids des modèles. 

À mesure que notre équipe s'agrandissait et que nos projets d'IA devenaient plus ambitieux, nous avons réalisé que les simples méthodes basées sur des tableurs ne suffisaient plus. Il nous fallait nous organiser. Nous avions besoin de fiabilité et d'une vision claire de notre travail. Voici comment, il y a quelques années, nous avons découvert un outil essentiel pour nous y aider : ClearML et nous l'utilisons depuis.

Nous avions besoin d'un outil capable de suivre nos expériences et leurs résultats, et surtout, d'organiser l'ensemble de notre processus de développement en IA. Après avoir examiné plusieurs options, ClearML s'est imposé comme le meilleur choix. Il possédait toutes les fonctionnalités nécessaires, était facile à configurer et promettait de nous aider à gérer notre travail de A à Z. Nous avons donc opté pour cette solution, et l'impact a été considérable.

Voici un aperçu plus détaillé des principaux avantages que ClearML a apportés à notre flux de travail.

Pilier 1 : Obtenir les mêmes résultats à chaque fois (Reproductibilité)

En apprentissage automatique, il est essentiel de pouvoir reproduire ses résultats. Dans le cas contraire, la résolution des problèmes devient un véritable cauchemar, la collaboration est difficile et la fiabilité de son propre travail est fortement compromise.

Le défi avant ClearML : Auparavant, la répétition d'une expérience impliquait un long processus. Nous avions plusieurs feuilles de calcul qui se multipliaient à chaque nouveau projet ; les paramètres utilisés pour l'entraînement devaient être notés manuellement et, une fois l'entraînement lancé, il nous était impossible de vérifier facilement quels paramètres avaient été utilisés. 

Comment ClearML a résolu le problème : ClearML agit comme un preneur de notes automatique pour chaque expérience. Il enregistre automatiquement :

• Commit Git exact : Cela inclut la version exacte issue de Git et, chose étonnante, même les différences Git. Plus besoin de se demander si un “ petit test ” a été inclus dans la version finale.
• Configuration de l'entraînement : ClearML collecte un dump YAML complet de notre configuration d'entraînement.
• Tous les paramètres : Il conserve en mémoire tous les paramètres et réglages utilisés pour exécuter l'expérience (par exemple, le nombre de GPU utilisés, le disque GPU utilisé ou la version de Python).

L'impact : Désormais, reproduire une expérience est aussi simple que de cliquer sur un bouton “ cloner ”. Cela s’est avéré extrêmement utile pour :

• Intégrer les nouveaux membres de l'équipe : Ils peuvent facilement consulter d'anciennes expériences et comprendre comment elles ont été réalisées.
• Détection des bugs : Si un modèle ne fonctionne pas correctement, nous pouvons revenir à l'expérience exacte et voir ce qui s'est mal passé.

Pilier 2 : Voir exactement ce qui s’est passé (Visibilité totale)

Pour créer de meilleurs modèles, il est essentiel de comprendre pourquoi une expérience a donné un certain résultat. Se contenter d'entrer des données et d'obtenir un résultat sans comprendre les paramètres du modèle, c'est comme avancer à l'aveuglette.

Le défi avant ClearML : Nous avons tenté d'utiliser nos propres outils, très simples, pour comparer les indicateurs. Après un certain temps d'apprentissage, l'outil a fini par remplir sa fonction. Néanmoins, c'était fastidieux, et analyser l'évolution des performances au fil du temps s'avérait très laborieux. Déterminer quel code et quel jeu de données avaient produit un résultat précis relevait souvent du travail d'enquête.

Comment ClearML a résolu le problème : ClearML nous offre un tableau de bord unique et facile à utiliser qui sert de centre de commande pour tous nos entraînements de ML.

• Suivi automatique : ClearML enregistre automatiquement tous les chiffres, graphiques, images et textes importants générés lors de notre entraînement (même les journaux d'entraînement bruts).
• Comparaison facile : Nous pouvons facilement visualiser toutes nos expériences sur une seule page et comparer leurs différences, ce qui permet de repérer aisément les moindres variations. Nous pouvons filtrer par critère pour comparer les résultats et identifier les plus performants.
• Graphiques clairs : Nous pouvons suivre les performances de notre modèle grâce à des graphiques intégrés, qui nous permettent de comparer les résultats des différentes expériences.

L'impact : Cette transparence nous a permis de :

• Réglez les problèmes plus rapidement : Nous pouvons rapidement repérer la différence entre une tentative infructueuse et une tentative réussie.
• Mieux travailler ensemble : Les membres de l'équipe peuvent facilement partager leur travail avec tout le contexte nécessaire, afin que tout le monde soit sur la même longueur d'onde (un simple lien vers ClearML vaut parfois plus qu'un millier de mots).
• Prenez des décisions plus intelligentes : Grâce à d'excellents outils de suivi et de comparaison, nous pouvons choisir en toute confiance les meilleurs modèles pour l'avenir.

Pilier 3 : Les outils de formation au bon endroit (gestion simplifiée)

L'entraînement de modèles d'apprentissage automatique génère de nombreux fichiers : poids du modèle, graphiques, données de débogage, exemples, rapports, etc., selon le type d'entraînement effectué. Une bonne organisation de ces fichiers est essentielle au bon déroulement des opérations.

Le défi avant ClearML : Nos fichiers étaient enfouis dans les profondeurs des espaces de stockage cloud. Les modèles étaient faciles à perdre, car chaque entraînement produisait des dizaines de fichiers aux noms obscurs. Cela engendrait de la confusion, des erreurs involontaires et rendait difficile la recherche du bon fichier lorsque nous en avions besoin.

Comment ClearML a résolu le problème : ClearML s'assure que vos fichiers sont disponibles lorsque vous en avez besoin.

• Stockage central : Tous nos artefacts sont stockés au même endroit – nous pouvons les gérer facilement via l'interface utilisateur de ClearML.
• Facilité de navigation : Tous les graphiques, séries temporelles, images de débogage et autres documents sont facilement accessibles et consultables. Cela nous rassure et nous permet d'accéder rapidement aux fichiers les plus importants.

L'impact : Cette approche structurée de la gestion des fichiers a permis de :

• Moins d'encombrement et de confusion : Plus besoin de deviner quel fichier est le bon.
• Un meilleur travail d'équipe : Chaque membre de l'équipe peut trouver et utiliser en toute confiance les documents issus des formations dispensées par d'autres ingénieurs.

Vue d'ensemble : Notre travail est désormais plus clair, plus rapide et plus fiable.

L'utilisation de ClearML a été bien plus qu'un simple ajout d'outil. Elle nous a permis d'adopter de meilleures méthodes de travail. Grâce à l'automatisation du suivi et de l'organisation assurée par la plateforme, notre équipe consacre moins de temps à la saisie manuelle des données et davantage à la conception de nouvelles idées.

Nous constatons désormais :

• Cycles de développement plus rapides.
• Moins de temps consacré à la correction des problèmes et à la recherche de fautes de frappe.
• Un meilleur travail d'équipe et un meilleur partage des connaissances.
• Plus de confiance dans nos modèles et dans la manière dont nous les construisons.

ClearML est devenu un outil indispensable pour notre équipe d'apprentissage automatique. Il apporte à notre travail une clarté et une efficacité que nous ne pouvions atteindre auparavant. Si votre équipe rencontre des difficultés avec les aspects complexes de l'apprentissage automatique et que vous souhaitez améliorer vos processus, nous vous recommandons vivement de vous intéresser à ClearML.