L'intelligence artificielle et l'automatisation sont désormais bien intégrées dans les processus de contrôle qualité des opérations sur le terrain. Les entreprises apprécient la capacité à rationaliser les opérations, améliorer la précision et réduire les erreurs humaines. C'est une révolution qui améliore tous les aspects du field management.
Cependant, pour tirer pleinement parti de ces technologies, les entreprises doivent comprendre les tenants et aboutissants des indicateurs de performance de l'IA afin d'évaluer clairement leur efficacité opérationnelle. Précision, rappel et exactitude – autant d’indicateurs clés qui permettent de rester à l'écoute de la performance.
Après tout, ce qui ne peut être mesuré ne peut être amélioré. Il est donc crucial que les opérateurs de terrain identifient des moyens de mesurer et d'améliorer la performance de l'IA visuelle et de l'automatisation.
Dans cette série d'articles, nous allons non seulement détailler ces indicateurs, expliquer leur importance et leur rôle dans la mesure de la performance de l'IA mais aussi comment utiliser ces indicateurs pour optimiser les systèmes d'automatisation du contrôle qualité pilotés par l'IA pour une meilleure prise de décision.
Quels sont les principaux indicateurs de performance de l'IA à surveiller ?
Il en existe une grande variété mais voici les plus importantes à suivre.
Exactitude
L'exactitude évalue le pourcentage d'occurrences où un système d'IA a raison. Cette mesure est adaptée lorsque tous les résultats ont un impact business équivalent. Elle est utile si le système classifie le type d'équipement qu'il observe.
Rappel
Le rappel mesure le pourcentage de positifs correctement prédits par le système. Par exemple, la prédiction des défauts liés à la sécurité sont critiques et nécessitent généralement un niveau de rappel élevé, ce qui signifie que tous les défauts sont correctement prédits, même si cela génère des faux positifs. Ceux-ci seront ensuite traités par une équipe back-office.
Précision
La précision évalue le pourcentage d’exactitude lors de la prédiction de positifs. Prenons l'exemple de la détection de fraude, où une grande précision est essentielle. Bloquer des utilisateurs ou leur signaler qu'ils ont fait une erreur alors que ce n'est pas le cas peut nuire gravement à l'adoption.
F1-score
Le score F1 analyse à la fois la précision et le rappel pour fournir une vue d'ensemble de l'efficacité du système d'IA. Il vous fournit un score qui symbolise la capacité du système à détecter des instances pertinentes tout en minimisant les fausses alertes. Ce score est particulièrement utile dans des situations où des problèmes de sous-déclaration et de sur-déclaration pourraient avoir des conséquences significatives.
Au-delà des indicateurs : mesurer la performance de l'ensemble du système d'IA
Pour comprendre la performance de l'IA, il faut commencer par comprendre la notion de modèles et de workflows. En effet, l'automatisation du contrôle qualité alimentée par l'IA nécessite les deux.
Les modèles de Deep Learning permettent de réaliser des tâches comme :
- la classification (attribuer un ou plusieurs tags à une image),
- la détection d'objets (localiser des objets spécifiques avec des boîtes de délimitation),
- la segmentation (classer chaque pixel de l'image / fournir des masques précis de différentes instances d'objets),
- l'OCR (extraction de texte à partir d'une image).
Les workflows assemblent quant à eux plusieurs modèles qui sont combinés à d'autres algorithmes et règles métier. Grâce aux workflows, il est possible d'offrir un retour en temps réel aux techniciens terrain et de produire les données de contrôle qualité. Un workflow typique exécute 10 modèles.
Les modèles et workflows sont 100 % personnalisés pour chaque client et répondent à différents cas d'utilisation.
Dans certains cas, il peut être bénéfique de capitaliser sur des solutions off-the-shelf (ayant déjà été développées). Voici pourquoi : Les modèles off-the-shelf sont déjà entraînés sur de grands ensembles de données d'images labellisées par Deepomatic, afin de fonctionner sur une gamme plus large de cas que les modèles spécifiques aux clients. Ce sont des blocs élémentaires qui peuvent être réutilisés dans n'importe quel workflow client, sans nécessiter généralement de réglage. Les modèles off-the-shelf permettent de réduire le temps et les efforts (collecte de données, entraînement de l'IA) nécessaires à la mise en place de la solution et accélèrent le retour sur investissement.
Les workflows off-the-shelf fonctionnent de la même manière que ceux spécifiques aux clients et permettent de mettre en œuvre un point de contrôle qualité complet. La seule personnalisation requise concerne la dernière couche concernant les règles métier. Les workflows off-the-shelf réduisent considérablement le temps nécessaire à la mise en place de certains points de contrôle à partir de zéro.
Revenons à la question de la performance ; elle peut être envisagée au niveau des modèles de deep learning (blocs de construction d'un workflow) ou au niveau du workflow (incluant les règles métier). Au final, ce qui compte le plus, c'est bien la performance du workflow, car il est corrélé aux résultats business. En général, de meilleurs modèles génèrent de meilleurs workflows, c'est pourquoi nous mettons davantage d'efforts à améliorer la performance des modèles. En d'autres termes, la performance de l'ensemble du système génère de meilleurs résultats que celle de ses composants.
Gardez à l'esprit que la définition de la performance est également étroitement liée à ce qui constitue essentiellement un résultat positif, et cela doit être guidé par les objectifs business, non pas par la data science. Par exemple, dans le cas de la détection de câbles débranchés dans une armoire de rue, il est plus important d'être très précis lorsqu'il y a peu de câbles débranchés, tandis que cela revêt une moindre importance lorsqu'il y en a plus de 100. La définition de cette notion de résultat positif est généralement ce sur quoi nous passons du temps avec nos clients lors de la première phase du projet.
Dans le deuxième article, nous vous guiderons à travers les stratégies du monde réel pour les services de terrain afin d'affiner en continu la performance de l'IA. Nous aborderons les défis communs à la réalisation d'une performance élevée de l'IA.
