CreateML

Cet article consacré à Create ML présente le fonctionnement de l’outil d’entraînement de modèles d’Apple, ses principales fonctionnalités, son coût, les différences entre l’application Create ML et le framework, ses liens avec Core ML, ses points forts et ses limites, ainsi que sa comparaison avec d’autres outils d’apprentissage automatique. Create ML entraîne des modèles d’apprentissage automatique personnalisés sur votre propre ordinateur à partir de vos propres données d’entraînement. Le processus est rapide : vous choisissez un modèle, vous y ajoutez des exemples étiquetés, vous cliquez sur « Entraîner », vous vérifiez la précision de validation, puis vous exportez un fichier de modèle Core ML que Xcode transforme en classe Swift. Vous n’avez jamais à choisir d’algorithmes ni à écrire de boucles d’entraînement ; Create ML choisit une structure de modèle adaptée à la tâche. Apple s’appuie sur l’infrastructure d’apprentissage automatique qui sous-tend Photos et Siri, ce qui permet aux modèles d’image et de langage de rester légers et de s’entraîner rapidement (Documentation des développeurs Apple).

À quoi sert Create ML ?

Create ML est utilisé par les développeurs iOS, iPadOS, macOS, watchOS et visionOS pour ajouter des prédictions en périphérique à leurs applications sans avoir à écrire de code d’entraînement. Parmi les exemples typiques, on peut citer la reconnaissance d’images de produits ou de plantes, la détection d’objets à l’aide de cadres de sélection, la classification de messages d’assistance ou d’avis à partir de texte, le marquage de mots dans une phrase, la reconnaissance de sons, la détection de mouvements du corps ou des mains dans une vidéo, la classification des mouvements à partir des capteurs de l’Apple Watch et la prédiction de valeurs à partir de données tabulaires. Une application de recettes peut reconnaître des plats à partir d’une photo, une application de fitness peut compter les exercices à partir d’une vidéo, et une application de prise de notes peut trier le texte par thème. Les modèles textuels peuvent également effectuer une analyse des sentiments dans plusieurs langues. Comme le modèle s’exécute sur les appareils Apple via Core ML, les prédictions fonctionnent hors ligne, répondent à la vitesse native et les données utilisateur restent sur le téléphone.

Fonctionnalités clés

• Modèles pour chaque tâche : classification d’images, détection d’objets, pose des mains, classification des actions et des gestes des mains, transfert de style, classification de texte, balisage de mots, classification de sons, classification d’activités, classification de tableaux, régression sur tableaux et recommandations.
• Modèles spatiaux : un modèle de suivi d’objets entraîne des objets de référence pour les applications visionOS sur Apple Vision Pro, ajouté en 2024 (WWDC24).
• Apprentissage par transfert : la plupart des modèles s’appuient sur les extracteurs de caractéristiques pré-entraînés d’Apple ; ainsi, un modèle utile nécessite bien moins de données que s’il était entraîné à partir de zéro. Apple recommande au moins 10 images par catégorie pour un classificateur d’images, et des images plus variées donnent de meilleurs résultats (Apple).
• Augmentation des données : des boutons permettant de basculer entre rotation, retournement, flou, recadrage et exposition créent à la volée des images d’entraînement supplémentaires. L’augmentation peut améliorer la précision d’entraînement tout en réduisant la précision de validation ; il convient donc de comparer les deux.
• Évaluation et aperçu en direct : précision d’entraînement et de validation, matrice de confusion indiquant les prédictions correctes et erronées par classe, erreur quadratique moyenne pour la régression, et onglet d’aperçu dans lequel vous pouvez glisser-déposer de nouvelles données pour visualiser les prédictions avant l’exportation. Un écart important entre la précision d’entraînement et celle de validation indique un surapprentissage.
• Contrôle de l’entraînement : mettez en pause, reprenez et comparez plusieurs modèles au sein d’un même projet ; le framework ajoute des points de contrôle et des sessions d’entraînement.
• Métadonnées du modèle : le nom de l’auteur, la description, la version et la licence sont enregistrés dans le modèle exporté.
• Framework Swift : les mêmes modèles peuvent être entraînés en code à l’aide du framework Create ML, pour des scripts, l’automatisation et l’entraînement au sein d’une application.

Tarifs de Create ML

Create ML est gratuit. L’application Create ML est fournie avec Xcode, téléchargeable gratuitement depuis le Mac App Store, et le framework fait partie des SDK d’Apple. Il n’y a ni abonnement, ni compteur d’utilisation, ni facture de cloud : l’entraînement s’effectue sur votre propre Mac, le coût se limite donc à votre matériel et à votre temps. Pour intégrer un modèle entraîné dans une application de l’App Store, vous devez être membre du programme Apple Developer Program, pour lequel Apple facture des frais annuels liés à la publication, et non à Create ML lui-même. Le coût qui peut surprendre concerne le matériel : les grands ensembles de données d’images ou de vidéos s’entraînent beaucoup plus rapidement sur Apple Silicon que sur un ancien Mac Intel, et il n’existe aucune option permettant de louer des GPU cloud depuis Create ML.

L’application Create ML vs le framework Create ML

L’application Create ML est l’option « sans code ». Vous l’ouvrez depuis Xcode via « Ouvrir un outil de développement > Create ML », choisissez un modèle, faites glisser des dossiers de données d’entraînement et cliquez sur le bouton « Entraîner » (Hacking with Swift). Pour importer des données, les modèles d’images utilisent un sous-dossier par classe, les classificateurs de texte acceptent des dossiers ou un tableau JSON plat, la détection d’objets nécessite un fichier JSON avec un cadre de sélection par objet, et les modèles tabulaires lisent des fichiers CSV ou JSON, dans lesquels le modèle apprend les relations entre les colonnes. Si vous n’ajoutez pas de données de validation, l’application Create ML réserve automatiquement environ 20 % des données d’entraînement (Netguru). Une fois l’entraînement terminé, elle affiche les métriques et un onglet de sortie, où vous enregistrez le fichier mlmodel.

Le framework Create ML correspond à l’option de programmation. Dans un playground Swift ou via l’outil en ligne de commande de macOS, vous créez une instance telle que `MLImageClassifier` ou `MLRegressor`, vous lui transmettez un `MLDataTable` ou un dossier, puis vous lisez les métriques à partir du code (Documentation des développeurs Apple). Le framework est adapté aux pipelines reproductibles et à l’intégration continue ; l’application Create ML est quant à elle adaptée à l’exploration d’un ensemble de données, à la comparaison visuelle des modèles et à un entraînement ponctuel rapide. Les deux exportent le même fichier de modèle Core ML. Apple indique que le framework est disponible sur macOS 10.14 et versions ultérieures et, pour certains types de modèles, sur iOS et iPadOS 15 et versions ultérieures, ce qui permet à une application d’entraîner ou de mettre à jour un modèle sur l’appareil. Les modèles récents nécessitent une version à jour d’Xcode sur une version récente de macOS ; selon un guide, la configuration minimale requise est macOS Ventura et Xcode 14 (Netguru).

Create ML vs Core ML

Create ML et Core ML remplissent des fonctions différentes. Create ML entraîne le modèle ; Core ML l’exécute au sein de votre application (documentation Core ML). Lorsque vous ajoutez le fichier exporté à un projet Xcode, Xcode génère une classe Swift avec des entrées et sorties typées, et Core ML décide s’il convient d’exécuter le modèle Core ML sur le CPU, le GPU ou le Neural Engine pour optimiser les performances sur chaque appareil. Les modèles entraînés ailleurs, par exemple dans PyTorch ou TensorFlow, sont intégrés à Core ML via les outils open source Core ML Tools, qui convertissent les modèles au format Core ML. Vous pouvez ainsi commencer par Create ML pour une première version, puis passer à votre propre code d’entraînement ultérieurement sans modifier la manière dont l’application appelle le modèle.

Les points forts et les limites de Create ML

Points forts :

• Gratuit, intégré à Xcode et facile à prendre en main pour les développeurs Swift.
• Des modèles légers qui fonctionnent hors ligne et conservent les données sur l’appareil.
• De bons résultats avec peu de données grâce à l’apprentissage par transfert.
• Prend en charge les images, les vidéos, le texte, le son, le mouvement, les données tabulaires et les objets spatiaux.

Inconvénients :

• Uniquement sur Mac, et les modèles ciblent les plateformes Apple via Core ML.
• Aucun contrôle sur l’architecture du modèle au-delà de quelques paramètres.
• Pas d'entraînement dans le cloud, de fonctionnalités collaboratives, de boucles de rétroaction ni de suivi des expériences au-delà d'un seul projet.
• N'est pas conçu pour les grands modèles linguistiques ni pour l'IA générative.

Comparaison de Create ML

• Teachable Machine : l'outil gratuit de Google accessible via un navigateur, permettant de créer rapidement des modèles d'images, de sons et de poses, exportables vers le Web et TensorFlow.
• Obviously AI : prédictions sans code sur des données d'entreprise dans le cloud, destinées aux analystes plutôt qu'aux développeurs d'applications.
• DataRobot : AutoML d’entreprise et opérations sur les modèles pour les équipes de science des données.
• H2O.ai : AutoML open source et d’entreprise pour les données tabulaires à grande échelle.
• Dataiku : une plateforme collaborative pour la préparation des données, l'apprentissage automatique et le déploiement à l'échelle de l'entreprise.

Create ML en vaut-il la peine ?

Create ML est intéressant pour les développeurs Apple qui souhaitent intégrer à leur application un modèle personnalisé (image, texte, son ou tableau) sans avoir à se former à un framework d’entraînement. Il est gratuit, rapide à tester et produit des modèles qui s’exécutent rapidement et en toute confidentialité sur l’appareil. Il est moins utile pour les équipes qui ont besoin de modèles multiplateformes, d’un apprentissage dans le cloud, d’un contrôle total sur le réseau ou d’une IA générative ; ces équipes utilisent PyTorch ou TensorFlow et convertissent le résultat pour Core ML. Si vous avez besoin d’aide pour créer un modèle ou ajouter des fonctionnalités d’apprentissage automatique à une application iOS, les développeurs de LowCodeDevs peuvent s’en charger.

Sources

• Create ML, documentation pour les développeurs Apple : types de modèles, classes du framework et plateformes.
• Core ML, documentation pour les développeurs Apple : exécution de modèles dans les applications.
• Présentation de l’application Create ML, WWDC19 : le flux de travail de l’application.
• Nouveautés de Create ML, WWDC24 : suivi d’objets pour visionOS et API de séries chronologiques.
• Entraînement d’un modèle avec Create ML, Hacking with Swift : exemple étape par étape de régression tabulaire.
• Guide Create ML, Netguru : application vs framework, formats de données et augmentation.