KI und Automatisierung sind mittlerweile sehr gut in die Qualitätskontrollprozesse der Field Ops-Abteilungen integriert. Unternehmen schätzen die Fähigkeit, Abläufe zu rationalisieren, die Genauigkeit zu verbessern und menschliche Fehler zu reduzieren. KI ist ein entscheidender Faktor, der jeden Aspekt des Außendienstmanagements verbessert.
Um die Vorteile dieser Technologie voll ausschöpfen zu können, müssen Unternehmen jedoch die KI-Kennzahlen in- und auswendig kennen, um die betriebliche Effektivität vollständig beurteilen zu können. Genauigkeit, Präzision und Recall - all das sind wichtige KI-Kennzahlen, die Ihre Leistung am Puls der Zeit halten.
Was nicht gemessen werden kann, kann auch nicht verbessert werden. Daher ist es wichtig, dass Außendienstmitarbeiter Möglichkeiten zur Messung und Verbesserung der Leistung von visueller KI und Automatisierung kennen.
In dieser Blogserie werden wir diese Metriken entschlüsseln, ihre Bedeutung erläutern, die KI-Leistung betrachten und zeigen, wie diese Metriken zur Optimierung von KI-gesteuerten visuellen Automatisierungssystemen für eine bessere Entscheidungsfindung genutzt werden können.
Was sind die wichtigsten KI-Kennzahlen, auf die man achten sollte?
Es gibt eine Vielzahl von Metriken, die Sie im Auge behalten sollten. Hier sind die wichtigsten, die es zu überwachen gilt.
Korrektheit
Die Genauigkeit bewertet den Prozentsatz der Fälle, in denen ein KI-System richtig liegt. Diese Metrik wird angepasst, wenn alle Ergebnisse die gleichen geschäftlichen Auswirkungen haben. Diese Metrik ist nützlich, wenn das System die Art der untersuchten Anlagen klassifiziert.
Recallquote
Die Trefferquote oder Recallquote bewertet den Prozentsatz der positiven Ergebnisse, die vom System richtig vorhergesagt wurden. Bei der Vorhersage von sicherheitskritischen Fehlern ist in der Regel eine hohe Trefferquote erforderlich, was bedeutet, dass alle Fehler korrekt vorhergesagt werden, auch wenn dabei falsch-positive Ergebnisse entstehen. Diese würden dann von einem Backoffice-Team bearbeitet.
Präzision
Die Präzision bewertet den Prozentsatz der Korrektheit bei der Vorhersage von positiven Ergebnissen. Nehmen wir das Beispiel der Betrugserkennung, bei der eine hohe Präzision wichtig ist. Nutzer zu sperren oder ihnen zu sagen, dass sie etwas Falsches getan haben, obwohl dies nicht der Fall ist, kann die Akzeptanz stark beeinträchtigen.
F1-Score
Der F1-Score analysiert sowohl die Präzision als auch die Recall-Rate, um einen umfassenden Überblick über die Effektivität des KI-Systems zu geben. Er liefert Ihnen eine Punktzahl, die symbolisiert, wie kompetent das KI-System bei der Erkennung relevanter Fälle und der Minimierung von Fehlalarmen vorgeht. Dies ist besonders praktisch in Situationen, in denen sowohl eine Unter- als auch eine Übererfassung erhebliche Folgen haben könnte.
Über eine einzelne Kennzahl hinaus, um die Gesamtleistung des KI-Systems zu messen
Um die Leistung von KI zu verstehen, müssen wir zunächst den Begriff der Modelle und Arbeitsabläufe verstehen. Die Automatisierung der Qualitätskontrolle durch KI erfordert in der Tat beides.
Deep-Learning-Modelle ermöglichen die Durchführung von Aufgaben wie:
- Klassifizierung (Zuordnung von einem oder mehreren Tags zu einem Bild),
- Objekterkennung (Lokalisierung bestimmter Objekte mit Begrenzungsrahmen),
- Segmentierung (Klassifizierung jedes Pixels des Bildes / Bereitstellung präziser Masken für verschiedene Objektinstanzen),
- OCR (Extraktion von Text aus einem Bild).
Workflows fassen mehrere Modelle in Kombination mit anderen Algorithmen und Regeln zusammen. Dank der Workflows ist es möglich, den Außendienstmitarbeitern Echtzeit-Feedback zu geben und Daten zur Qualitätskontrolle zu produzieren. Ein typischer Workflow führt 10 Modelle aus.
Modelle und Arbeitsabläufe werden zu 100 % an jeden Kunden angepasst und dienen der Erfüllung verschiedener Anwendungsfälle.
In einigen Fällen kann es von Vorteil sein, auf Standardlösungen zurückzugreifen. Hier ist der Grund dafür:
Standardmodelle werden anhand großer Datensätze von Bildern trainiert, die von Deepomatic gelabelt wurden, um ein breiteres Spektrum von Fällen zu bearbeiten als kundenspezifische Modelle. Sie sind elementare Bausteine, die in jedem Kunden-Workflow wiederverwendet werden können, ohne dass normalerweise eine Feinabstimmung erforderlich ist. Standardmodelle tragen dazu bei, den für die Einrichtung der Lösung erforderlichen Zeit- und Arbeitsaufwand (Datenerfassung, KI-Training) zu reduzieren und die Time-to-Value zu beschleunigen.
Standard-Workflows funktionieren auf die gleiche Weise wie kundenspezifische Workflows und ermöglichen die Implementierung eines kompletten Qualitätskontrollpunkts. Die einzige Anpassung, die erforderlich ist, betrifft die letzte Ebene der Business Logic. Standard-Workflows tragen dazu bei, die für die Implementierung einiger Kontrollpunkte benötigte Zeit erheblich zu reduzieren.
Um auf die Frage der Leistung zurückzukommen: Sie kann auf der Ebene der Deep-Learning-Modelle (Bausteine eines Workflows) oder auf der Ebene des Workflows (einschließlich der Business Logic) betrachtet werden. Letztlich kommt es auf die Leistung des Workflows an, da er sich mit den Betriebsergebnissen befasst. Im Allgemeinen führen bessere Modelle zu besseren Arbeitsabläufen, weshalb wir uns verstärkt um die Verbesserung der Leistung der Modelle bemühen. Mit anderen Worten: Die Leistung des Gesamtsystems führt zu besseren Ergebnissen als die seiner Komponenten.
Beachten Sie, dass die Definition der Leistung auch eng mit dem zusammenhängt, was im Wesentlichen ein positives Ergebnis ist, und dass dies geschäftsorientiert und nicht datenwissenschaftlich motiviert sein muss. Im Falle der Erkennung von nicht eingesteckten Kabeln in einem Straßenverteilerkasten ist es beispielsweise wichtiger, besonders präzise zu sein, wenn nur wenige Kabel im Verteilerkasten nicht eingesteckt sind, während es nicht wirklich wichtig ist, wenn mehr als 100 Kabel nicht eingesteckt sind. In der Regel verbringen wir in der ersten Phase des Projekts viel Zeit mit unseren Kunden, um diesen Begriff des positiven Ergebnisses zu definieren.
Im zweiten Artikel stellen wir Ihnen Strategien für den Außendienst vor, mit denen Sie die KI-Leistung kontinuierlich verbessern können. Dabei gehen wir auf die allgemeinen Herausforderungen bei der Erzielung einer hohen KI-Leistung ein.
