Niveaux de maturité technologique pour les systèmes d'apprentissage automatique

May 25, 2024

Nature Communications volume 13, Numéro d'article : 6039 (2022) Citer cet article

25 000 accès

9 citations

114 Altmétrique

Détails des métriques

Le développement et le déploiement de systèmes d’apprentissage automatique peuvent être exécutés facilement avec des outils modernes, mais le processus est généralement précipité et ne parvient pas à une fin. Le manque de diligence peut entraîner une dette technique, une dérive du périmètre et des objectifs mal alignés, une mauvaise utilisation et des échecs du modèle, ainsi que des conséquences coûteuses. Les systèmes d’ingénierie, quant à eux, suivent des processus et des normes de test bien définis pour rationaliser le développement et obtenir des résultats fiables et de haute qualité. L’extrême est celui des systèmes d’engins spatiaux, dotés de mesures essentielles à la mission et d’une robustesse tout au long du processus. En nous appuyant sur notre expérience en matière d'ingénierie des engins spatiaux et d'apprentissage automatique (recherche de produits dans tous les domaines), nous avons développé une approche éprouvée d'ingénierie des systèmes pour l'apprentissage automatique et l'intelligence artificielle : le cadre des niveaux de préparation technologique d'apprentissage automatique définit un processus fondé sur des principes pour garantir des niveaux de préparation robustes, des systèmes fiables et responsables tout en étant rationalisés pour les flux de travail d'apprentissage automatique, y compris des distinctions clés par rapport à l'ingénierie logicielle traditionnelle, et une lingua franca permettant aux personnes des équipes et des organisations de travailler en collaboration sur les technologies d'apprentissage automatique et d'intelligence artificielle. Nous décrivons ici le cadre et expliquons avec des cas d'utilisation allant de la recherche en physique aux applications de vision par ordinateur en passant par le diagnostic médical.

L'utilisation accélérée des technologies d'intelligence artificielle (IA) et d'apprentissage automatique (ML) dans les systèmes de logiciels, de matériel, de données et de personnes introduit des vulnérabilités et des risques dus à des comportements dynamiques et peu fiables ; fondamentalement, les systèmes ML apprennent à partir des données, introduisant des défis connus et inconnus dans la façon dont ces systèmes se comportent et interagissent avec leur environnement. Actuellement, l'approche de création de technologies d'IA est cloisonnée : les modèles et les algorithmes sont développés dans des bancs d'essai isolés des environnements réels, et sans le contexte de systèmes plus vastes ou de produits plus larges, ils seront intégrés pour le déploiement. La principale préoccupation est que les modèles sont généralement formés et testés sur une poignée d’ensembles de données sélectionnés, sans mesures ni garanties pour les scénarios futurs, et sans tenir compte des tâches et des utilisateurs en aval. De plus, les modèles et les algorithmes sont souvent intégrés dans une pile logicielle sans tenir compte de la stochasticité inhérente et des modes de défaillance des composants ML cachés. Considérez par exemple l’effet massif des graines aléatoires sur les performances du modèle d’apprentissage par renforcement profond1.

D'autres domaines de l'ingénierie, tels que le civil et l'aérospatiale, suivent des processus et des normes de test bien définis pour rationaliser le développement et obtenir des résultats fiables et de haute qualité. Le niveau de maturité technologique (TRL) est un protocole d'ingénierie système pour les efforts technologiques et scientifiques approfondis à grande échelle, idéal pour intégrer de nombreux composants interdépendants et des équipes interfonctionnelles de personnes. Il n’est pas surprenant que le TRL soit un processus et un langage standard dans la NASA3 et la DARPA4.

Pour un projet de vol spatial, il existe plusieurs phases définies, du pré-concept au prototypage en passant par les opérations déployées et la fin de vie, chacune avec une série de cycles de développement et d'examens exigeants. Cela contraste fortement avec les flux de travail courants d’apprentissage automatique et de logiciels, qui favorisent une itération rapide, un déploiement rapide et des progressions linéaires simples. Pourtant, le processus de préparation technologique de la NASA pour les systèmes d’engins spatiaux est exagéré ; nous avons besoin de technologies ML robustes intégrées à des systèmes plus vastes de logiciels, de matériel, de données et d’humains, mais pas nécessairement pour les missions sur Mars. Nous visons à amener l’ingénierie des systèmes à l’IA et au ML en définissant et en mettant en œuvre un cadre allégé de niveaux de préparation technologique pour l’apprentissage automatique (MLTRL). Nous nous appuyons sur des décennies de développement de l'IA et du ML, de la recherche à la production, dans tous les domaines et divers scénarios de données : par exemple, la vision par ordinateur dans les diagnostics médicaux et les applications grand public, l'automatisation des véhicules autonomes et la robotique industrielle, les outils de découverte scientifique et de causalité. inférence, streaming de séries chronologiques dans la maintenance prédictive et la finance.