OEM/ODM-Hersteller für Smart Eyewear · Shenzhen, China +86 19835872450 sales@cynrin.com
Smart-Glasses-Technologie

So testen Sie die KI-Funktionen von Smart Glasses

Der Grund, warum sich eine KI-Funktion nicht anhand einer Vorführung bewerten lässt, liegt nicht darin, dass Vorführungen irreführen. Es liegt daran, dass eine Vorführung die einzige…

Von CYNRIN Engineering & Sourcing Team/ Dec 15, 2021/ 18 Min. Lesezeit
So testen Sie die KI-Funktionen von Smart Glasses

KI-Funktionen der Smart Glasses: eine Beziehung, keine Komponente

Der Grund, warum sich eine KI-Funktion nicht durch das Ansehen einer Vorführung bewerten lässt, liegt nicht darin, dass Vorführungen irreführend sind. Es liegt vielmehr darin, dass eine Vorführung die einzige Konfiguration ist, in der ein Assistent am besten abschneidet: ein vorbereiteter Satz, ein ruhiger Raum, ein einwandfrei funktionierendes Netzwerk und ein Gerät, dessen Konten von der Person, die es eingerichtet hat, im Voraus verknüpft wurden. Alles, was ein Käufer wissen muss, ist eine Eigenschaft der Beziehung zwischen Gerät, Modellanbieter, Netzwerk und Region – und keines dieser vier Elemente ist das Produkt, das in der Verpackung liegt.

Die Entscheidung in drei Sätzen. Wenn ein Sprachassistent in Ihrem Listing eine tragende Rolle spielt, testen Sie ihn als Beziehung und nicht als einzelne Funktion: Halten Sie die Phrasenliste und die Bestehenskriterien fest, bevor das Muster eintrifft, führen Sie den Testplan auf einem Gerät durch, das nicht das Vorführgerät ist, und dokumentieren Sie bei jedem Ergebnis die Firmware-Version. Die Kennzahl, die über die Marktfähigkeit des Produkts entscheidet, ist in der Regel die Fehlauslösungsrate und nicht die Aktivierungsrate, denn ein Gerät, das Kunden in ein Gespräch unterbricht, wird aus dem Verkauf genommen. Wenn Sie keinen Build-Identifier, keine Beschreibung des Datenpfads und kein dokumentiertes Offline-Verhalten erhalten, sollten Sie den Assistenten nicht im Produkttext nennen – die Funktion wird dann nur auf der Produktseite existieren.

Wer diesen Testplan verantwortet und was er liefern muss. Leser entscheiden in der Regel, ob ein KI-Assistent überhaupt zum Produkt gehört, oder vergleichen die Implementierungen derselben angeblichen Funktion bei zwei Anbietern. Verfügbar haben sie Muster, eine Funktionsliste, einen Vertriebskanal, einen Zielpreis und einen Marketingplan, der bereits die Existenz der Funktion voraussetzt. Nicht verfügbar haben sie Leistungsdaten, und dafür gibt es einen strukturellen Grund: Die Daten liegen beim Modellanbieter und nicht beim Hersteller und ändern sich mit der Firmware-Version statt mit der Hardware. Der Testplan muss daher drei Dinge liefern – eine Zahl statt eines Eindrucks, einen Build-Identifier, der dieser Zahl zugeordnet ist, und eine schriftliche Liste der Bedingungen, unter denen die Zahl gemessen wurde.

Was unser eigener Katalog sagt – und was nicht. Wir nennen einen KI-Sprachassistenten als eine der Schlüsseltechnologien für die KI-Kamerabrillenfamilie, und auf unserer unabhängigen Website beschreiben wir die KI-Übersetzung auf der K01, einem Gerät mit Audio-Modell. Wir veröffentlichen weder Aktivierungsrate noch Fehlauslösungsrate, Befehlserfolgsrate, Latenz, Erkennungsgenauigkeit, Übersetzungsgenauigkeit oder Offline-Verhalten für ein Modell in unserem Sortiment, und wir werden auch keinen dieser Werte schätzen. Diese Knappheit ist kein Datenproblem, das wir nicht lösen konnten; sie zeigt schlicht, wie eine Kategorie ohne veröffentlichte Leistungsbenchmark aussieht, und ist der Grund, warum der folgende Testplan existiert.

Wo die Kosten einer KI-Funktion liegen. Die Hardwarekosten eines Assistenten liegen nahe bei null – Mikrofon und Funk sind bereits im Produkt enthalten. Was ein Assistent tatsächlich kostet, sind die vier Elemente rundherum: die Arbeit zur Definition eines testbaren Verhaltens, die Lokalisierung der Phrasenliste und der Dokumentation für jeden Einführungsmarkt, das Support-Skript für Fehlerfälle sowie die vertraglichen Mechanismen, die Ihnen anzeigen, wenn der Anbieter eine Änderung vorgenommen hat. Zwei Anbieter, die denselben Assistenten anbieten, werden sich bei diesen vier Positionen deutlich stärker unterscheiden als bei jedem Stückpreis, und dieser Unterschied bleibt unsichtbar, bis das Listing live ist.

Fünf Zahlen und jeweils die zugehörige Grundgesamtheit

KI-generiertes Foto zur Veranschaulichung der Tests vor der Bestellung von Smart Glasses KI-Funktionen – Bild 1 von 3

Die fünf Zahlen, die Sie verlangen sollten – und die drei, die niemand meldet

Senden Sie diese fünf Fragen in einer Nachricht und mit identischem Wortlaut an jeden potenziellen Anbieter, und verlangen Sie die Antworten in einer Tabelle statt als Fließtext. Entscheidend ist die Spalte mit der Grundgesamtheit, denn ein Prozentwert ohne Grundgesamtheit ist lediglich eine Marketingaussage.

Kennzahl Was sie misst Erforderliche Grundgesamtheit Mindestanforderung
Aktivierungsrate Der Assistent startet, wenn er sollte Versuche, Anzahl der Sprecher, Umgebung Ein Prozentwert unter Angabe aller drei Faktoren
Fehlauslösungsrate Der Assistent startet, wenn er nicht sollte Versuche und Stunden regulärer Nutzung Ein Prozentwert oder eine schriftliche Erklärung, dass er nicht gemessen wird
Befehlserfolgsrate Ihre Phrasenliste wird verstanden Die von Ihnen bereitgestellte Phrasenliste und die Wiederholungen je Phrase Ein Prozentwert bezogen auf Ihre eigene Liste
Latenz Die Verzögerung bis zur Antwort Netzwerkstatus und Firmware-Version Ein fester Schwellenwert, keine subjektive Bewertung
Erkennungsgenauigkeit Ob das Richtige verstanden wurde Die Szene und die Ausrichtung des Sprechers nach vorn Ein Wert für den ruhigen Raum und für die reale Umgebung

Die Schwellenwerte in einfacher Sprache und die drei häufig fehlenden Zeilen

Eine Rate ohne Anzahl der Versuche ist keine Rate. Neunundneunzig Prozent, gemessen über zehn Versuche in einem ruhigen Büro, sagen weniger als fünfundachtzig Prozent voraus, gemessen über dreihundert Versuche auf einer Straße. Und die zweite Zahl ist diejenige, die das Produkt beschreibt. Die einzuhaltende Mindestrate muss ein Prozentwert mit einem Nenner, einer Anzahl an Sprechern und einer Umgebung sein. Ein Lieferant, der alle drei Angaben nicht liefern kann, hat das Produkt nicht gemessen.

Die Fehlauslösungsrate ist ein Usability-Gate, keine technische Fußnote. Sie entscheidet, wo das Produkt verkauft werden kann, und nicht, ob die Funktion funktioniert, denn ein Besprechungsraum und eine Straße sind unterschiedliche Märkte für dasselbe Gerät. Ein Gerät, das in einem ruhigen Büro auf ein Husten reagiert, ist ein Produkt für Besprechungsräume; dasselbe Gerät auf einer Straße ist eine Belästigung. Der hier vom Käufer festgelegte Schwellenwert ist eine Produktentscheidung für den jeweiligen Vertriebskanal und sollte festgehalten werden, bevor die Produktseite erstellt wird.

Die Befehlserfolgsrate muss anhand Ihrer Liste gemessen werden, nicht anhand der des Lieferanten. Die Liste eines Lieferanten enthält Begrüßungen und einen Timer, weil diese einfach sind. Ihre Liste enthält den Satz, den ein Lagerleiter tatsächlich elfmal am Tag sagt. Die Mindestrate ist ein Prozentwert bezogen auf die von Ihnen gelieferten Sätze, mit einer angegebenen Anzahl an Wiederholungen pro Satz.

Für die Latenz braucht es eine feste Zahl statt eines Adjektivs. Legen Sie den Schwellenwert fest — unter zwei Sekunden ist ein sinnvoller Ausgangspunkt — und messen Sie ihn. Die Latenz variiert je nach Netzwerk, weshalb der Netzwerkzustand Teil der Messung sein muss. Eine Latenzangabe ohne Netzwerkzustand stammt aus dem Büro des Lieferanten.

Die Build-Nummer ist die Spalte, die die Ergebnisse erst aufbewahrenswert macht. Ein Assistent kann sich zwischen Builds ändern, und eine Messung ohne Build-Kennzeichnung lässt sich weder reproduzieren noch belegen noch mit dem Ergebnis des nächsten Lieferanten vergleichen. Sie ist die wichtigste einzelne Spalte im Messprotokoll und zugleich die, die am häufigsten leer bleibt.

Drei Zeilen, die fast nie zurückkommen, und wie Sie mit jeder umgehen sollten. Das Offline-Verhalten — was das Gerät tut, wenn das Netzwerk physisch getrennt wurde — ist die Zeile, die den häufigsten Streit in dieser Kategorie entscheidet: Tut das Produkt tatsächlich das, was in seiner Dokumentation steht, wenn kein Netzwerk vorhanden ist? Fordern Sie dazu eine schriftliche Erklärung an. Bleibt die Antwort aus, ist das Offline-Verhalten im Werbetext als nicht definiert zu behandeln. Der Datenpfad — was das Gerät verlässt, wohin es geht und wie die Einwilligung behandelt wird — ist die Zeile, nach der ein Compliance-Prüfer fragt. Verifizieren Sie sie durch Beobachtung statt durch Lesen, und lassen Sie die Datenschutzerklärung in Ihrer Angebotsbeschreibung das abbilden, was Sie beobachtet haben. Und der Update-Mechanismus — wie ein ausgeliefertes Gerät einen neuen Build erhält und wer dies entscheidet — ist die Zeile, die Ihnen zeigt, ob sich die Funktion ohne vertragliche Ankündigung gegenüber Ihnen ändern kann.

Die Reihenfolge, in der der Assistentenplan abläuft, und warum der Plan zuerst kommt

Durchführung des Plans: Build-Kennzeichnungen, Umgebungen und ein zweiter Tag

Schritt eins, bevor das Muster eintrifft. Erstellen Sie die Phrasenliste. Sie sollte die Befehle enthalten, die der Kunde tatsächlich geben wird, in der Sprache des Einführungsmarkts, einschließlich der zwei oder drei Formulierungen, die schwer auszusprechen sind. Legen Sie die Mindestwerte als Zahlen fest. Entscheiden Sie, welche Tests welche Umgebung benötigen. Legen Sie das Mobilgerät, das Netzwerk und die Audiobedingungen fest. Ermitteln Sie außerdem die Firmware-Build, von der Sie erwarten, dass das Muster damit ausgeliefert wird, damit Sie bei Ankunft als Erstes die Übereinstimmung bestätigen können.

Schritt zwei, am Messtag, bevor anything gemessen wird. Bestätigen und erfassen Sie die Build-Kennzeichnung des Geräts. Bestätigen Sie Sprache, Region und Kontostatus. Prüfen Sie, ob es sich um eine Standardkonfiguration direkt aus der Verpackung und nicht um ein Demonstrationsgerät handelt. Letzteres bedeutet in der Regel ein neues Konto, keine verknüpften Dienste und die werkseitigen Verarbeitungseinstellungen. Ein Ergebnis von einem verknüpften Demonstrationsgerät ist kein Ergebnis für das Produkt, das der Kunde erhält, und die häufigste Art, wie eine Bewertung eines Assistenten einen Lieferanten in einem zu guten Licht darstellt.

Schritt drei, die Aktivierungsrate, gemessen über eine große Anzahl an Versuchen. Verwenden Sie mehrere verschiedene Sprecher, weil sich Sprachassistenten je nach Sprecher stärker als je nach Hardware unterscheiden. Erfassen Sie die Anzahl der Versuche, die Anzahl der Sprecher und die Umgebung, und berechnen Sie die Rate anhand des Protokolls selbst, statt einer gerundeten Angabe zu vertrauen.

Schritt vier, die Fehlauslösungsrate, in der relevanten Umgebung. Dies ist der längste Test im Plan und zugleich derjenige, der am häufigsten übersprungen wird. Es bedeutet, den Assistenten während gewöhnlicher Aktivitäten — am Schreibtisch, in einer Besprechung, auf einer Straße — aktiviert zu lassen und jede nicht angeforderte Aktivierung zu protokollieren. Die so ermittelte Zahl ist diejenige, die den Vertriebskanal bestimmt.

Schritt fünf: die Erfolgsrate der Befehle, auf Ihrer Phrasenliste. Jede Anfrage wird eine feste Anzahl von Malen ausgeführt, und Fehler werden mit einem Grund erfasst, denn „nicht verstanden“ und „verstanden, aber die falsche Aktion ausgeführt“ sind zwei verschiedene Fehler mit zwei verschiedenen Abhilfemaßnahmen.

Schritt sechs: die Latenz, gegen den festgelegten Schwellenwert. Messen Sie das Intervall vom Ende der Äußerung bis zum Beginn der Antwort, zeichnen Sie den Netzwerkzustand auf und wiederholen Sie die Messung ausreichend oft, um den Ausreißerbereich statt des Durchschnitts zu sehen.

Schritt sieben: das Offline-Verhalten, wobei das Netzwerk physisch getrennt ist. Nicht der Flugmodus mit einem zwischengespeicherten Ergebnis – das Netzwerk muss tatsächlich nicht verfügbar sein, und das Ergebnis ist zu dokumentieren. Ein Anbieter, der dies nie getestet hat, hat ein Produkt, dessen Verhalten in einem Aufzug unbekannt ist.

Schritt acht: der Datenpfad, durch Beobachtung überprüft. Beobachten Sie, was das Gerät im Netzwerk tut, vergleichen Sie dies mit den Angaben in der Dokumentation und bewahren Sie den Vergleich in der Datei auf. Eine Datenschutzerklärung, die aus einem Marketing-Satz abgeleitet ist, stellt ein Haftungsrisiko dar; eine Datenschutzerklärung, die auf einer Beobachtung beruht, ist belastbar.

Jede Rate hat zwei Werte, und nur einer davon sagt die Kundenerwartung voraus

Testen Sie zwei oder drei Geräte desselben Builds überall dort, wo die Funktion entscheidend ist. Eine Funktion, die bei einem Muster funktioniert und bei einem anderen ausfällt, weist ein Ausbeutungsproblem auf, das bei einer Prüfung an einem einzelnen Gerät unsichtbar bleibt. Wenn die Funktion der Grund für den Kauf des Produkts durch den Kunden ist, ist ein einzelnes Gerät kein belastbarer Nachweis.

Führen Sie den gesamten Plan an zwei verschiedenen Tagen aus und behandeln Sie die Streuung als Feststellung. Das Verhalten eines Assistenten hängt vom Tag, vom Netzwerk und von den Umgebungsgeräuschen ab. Eine große Abweichung zwischen zwei Testläufen zeigt, dass die Funktion nicht stabil genug ist, um als Grundlage einer Aussage zu dienen. Ist die Streuung gering, ist das Ergebnis aufbewahrenswert; ist sie groß, ist die Feststellung wertvoller als der Zahlenwert.

Erfassen Sie bei jedem Ergebnis die Build-Kennung, die Umgebung und die Uhrzeit. Bewahren Sie die Aufzeichnungen dort auf, wo die Plattform dies zulässt. Eine Messung, die nicht reproduziert werden kann, ist kein Nachweis, und in dieser Kategorie ist es der Build, der sich ändert.

KI-Funktionen der Smart Glasses: ein Plan, der nach einer Änderung des Builds wiederholt werden kann

Was bei jedem Ergebnis zu erfassen ist. Die Modellbezeichnung und Konfiguration, die Firmware-Build-Kennung, die App-Version, Sprache und Region, der Kontostatus, das Mobilgerät und das Netzwerk, die Umgebung und ihr Geräuschpegel, die getestete Phrase oder Testanweisung, das Ergebnis, die Uhrzeit und die testende Person. Das Formular ist lang, und genau darum geht es: Die Anzahl der Einträge macht das Ergebnis auch sechs Monate später belastbar.

Was dieser Plan nicht belegen kann. Er belegt nicht, wie sich die Funktion bei Ihrer gesamten Kundschaft verhält, nicht, wie sie sich in einem nicht getesteten Markt oder in einer nicht getesteten Sprache verhält, nicht, wie sie sich nach der nächsten Änderung des Anbieters verhält, und nicht die Konformitätslage, die sich aus den Dokumenten ergibt. Der letzte Punkt ist wichtig: Die Funkgeräterichtlinie enthält Cybersecurity-Anforderungen, die Bestandteil der CE-Kennzeichnung sind. Sie werden durch die Reihe harmonisierter Normen EN 18031 beschrieben und umfassen sichere Kommunikation, Verschlüsselung, sichere Speicherung, die Einwilligung der Nutzer sowie den Prozess zum Umgang mit festgestellten Schwachstellen. Ein Sprachassistent fällt eindeutig in diesen Geltungsbereich, und ein gemessenes Offline-Verhalten ist der Nachweis dafür, dass das Produkt ohne Netzwerk das tut, was seine Dokumentation besagt.

KI-generiertes Foto zur Veranschaulichung der Tests vor der Bestellung von KI-Funktionen für Smart Glasses – Bild 2 von 3

Wo KI-Programme scheitern und welche Früherkennungszeichen jeweils darauf hindeuten

Die Funktion wird in einer Produktbeschreibung angekündigt, versagt aber in einem Kundengespräch. Das Symptom ist eine Beschwerde mit der Beschreibung eines unterbrochenen Gesprächs. Die Ursache liegt darin, dass nur die Aktivierungsrate gemessen wurde. Abhilfe schaffen Sie, indem Sie beide Raten messen und den Schwellenwert für Fehlaktivierungen festlegen, bevor die Produktseite erstellt wird.

Der Kunde meldet, dass der Assistent nach einem Update nicht mehr funktioniert. Das Symptom ist eine Häufung von Beschwerden, die an einem Tag beginnt, den niemand nachvollziehen kann. Die Ursache liegt darin, dass die Messung an einen Build gebunden war und der Build ohne erneute Tests geändert wurde. Abhilfe schaffen Sie, indem Sie bei jedem Ergebnis den Build erfassen, den Plan mit dem tatsächlich ausgelieferten Build erneut ausführen und eine Benachrichtigung bei Änderungen verlangen, die das Verhalten des Assistenten beeinflussen.

Es wird eine Übersetzungsqualität zugesichert, doch die Prüfung in der Zielsprache weist sie zurück. Das Symptom ist eine Produktbeschreibung, die eine Dolmetschfunktion verspricht, sowie eine prüfende Person, die diese nicht reproduzieren kann. Die Ursache liegt darin, dass die Genauigkeit von jemandem bewertet wurde, der die Zielsprache nicht muttersprachlich beherrscht, und zwar anhand von Begrüßungen statt anhand von Arbeitsphrasen. Abhilfe schaffen Sie, indem Sie eine muttersprachliche Person in der Zielsprache die vom Kunden benötigten Phrasen bewerten und die Phrasenliste der Bewertung beifügen.

Eine Datenschutzfrage wird mit einem Marketing-Satz beantwortet. Das Symptom ist eine Sicherheitsprüfung durch einen Unternehmenskunden, die den Datenpfad verlangt, während die Marke lediglich eine Richtlinien-URL vorweisen kann. Die Ursache liegt darin, dass der Datenpfad nie überprüft wurde. Vorbeugen lässt sich nur, indem er durch Beobachtung verifiziert und die Datenschutzaussage so formuliert wird, dass sie das Beobachtete beschreibt.

Das Produkt funktioniert im Demoland, versagt aber im Einführungsmarkt. Das Symptom ist eine Häufung von Rücksendungen aus nur einem Markt. Die Ursache liegt darin, dass der Plan in nur einer Region und nur in einem Netzwerk getestet wurde. Vorbeugen lässt sich nur, indem der Plan im Einführungsmarkt in den Netzen getestet wird, die der Kunde nutzen wird, und beide Ergebnis-sets nebeneinander berichtet werden.

Zwei Prüfer kommen am selben Tag zu gegensätzlichen Ergebnissen. Das Symptom ist eine Auswahlliste, die sich zwischen einem Treffen am Dienstag und einem am Freitag verändert. Die Ursache liegt darin, dass die Bestehenskriterien lediglich aus Adjektiven bestanden. Vorbeugen lässt sich nur, indem die Bestehenskriterien vor der Bestellung der Muster als Zahlen festgelegt werden. So verweist eine Meinungsverschiedenheit auf ein vages Kriterium und nicht auf das Produkt.

KI-generiertes Foto zur Veranschaulichung der Vorgehensweise, die KI-Funktionen der Smart Glasses vor der Bestellung zu testen – Bild 3 von 3

Was Sie vertraglich vereinbaren können, wenn der Anbieter etwas ändert

Build-Bezeichner und Update-Mechanismus sind die beiden Positionen, die in die Anfrage zur Kostenvoranschlag aufgenommen werden müssen. Ein Lieferant, der beide nicht benennen kann, teilt Ihnen damit mit, dass der Assistent ohne vertragliche Mitteilung gegenüber Ihnen geändert werden kann. Das ist ein größeres geschäftliches Risiko als der Stückpreis. Beide Positionen kosten nichts, wenn Sie danach fragen, und nur sie bieten Ihnen einen Ansatzpunkt.

Die Phrasenliste und die Bestehenskriterien gehören in die Bestellung und sind dort als Abnahmekriterien zu referenzieren. Der Assistent ist der einzige Teil des Produkts, den ein Kunde jemand anderem zurechnen kann. Daher müssen die Kriterien schriftlich vor dem Muster vorliegen und nicht erst nach der ersten Beschwerde. Ein Muster, das die Kriterien in der zum Lieferumfang gehörenden Build-Version erfüllt, ist ein Muster, das Sie abnehmen können.

Eine Mitteilungsklausel für Änderungen des Verhaltens ist in dieser Kategorie die wertvollste Klausel. Jede Änderung am Mikrofon, an der DSP-Abstimmung, am standardmäßigen Verarbeitungsstatus oder am Assistentenmodell kann das beobachtbare Verhalten verändern, ohne die Hardware zu verändern. Die Klausel muss daher das Verhalten und nicht die Bauteile abdecken.

Die Lokalisierungsarbeit ist verhandelbar und lohnt sich, ausgehandelt zu werden. Die Phrasenliste, die Sprache der Dokumentation und das Support-Skript für jeden Markt stellen jeweils einen Arbeitsumfang dar, der jeweils eine Woche dauert. Sinnvoll zu verhandeln sind die Anzahl der enthaltenen Arbeitsrunden und die Frage, ob ein zweiter Markt als Kopie des ersten oder als neue Übersetzungsaufgabe kalkuliert wird.

Die Mindestbestellmenge und die Verpackungsarbeit sind gewöhnliche kaufmännische Positionen. Eine Einbehaltung auf die Dokumentationsunterlagen schützt den Käufer vor dem wirtschaftlich schwerwiegendsten Fehler, nämlich dass ein Gerät mit Unterlagen geliefert wird, die es nicht abdecken. Eine Anzahlung mit Restbetrag bei der Prüfung vor dem Versand ist die Standardstruktur.

Die Terminpositionen in einem Assistentenprogramm sind der Build-Freeze und der Zertifizierungskalender, und beide verschieben sich nicht, weil ein Käufer Druck ausübt. Der Build-Freeze muss vor der Bestellung und nicht danach liegen, denn eine nach der Bestellung geänderte Build-Version macht sämtliche Messungen ungültig, auf denen die Abnahmekriterien beruhten. Zertifizierungskosten und Zertifizierungsvorlauf folgen dem Prozess und der Prüfstelle. Druck auf einen der beiden Faktoren verlängert den Zeitplan, statt ihn zu verkürzen. Die Werkzeugkosten sind ein einmaliger Posten, der in der Regel auf die erste Bestellung verteilt wird. Die entscheidenden Fragen lauten, auf welche Stückzahl sie verteilt werden und was mit ihnen geschieht, wenn das Programm eingestellt wird.

Die vor der Anzahlung anzufordernden Unterlagen. Der Firmware-Build-Bezeichner und der Update-Mechanismus. Die Zertifikatsnummern mit ausstellender Stelle und Gültigkeitsdaten. Die Konformitätserklärung für die exakte Modellbezeichnung. Eine schriftliche Beschreibung des Datenpfads und des Einwilligungsmechanismus. Eine schriftliche Erklärung zum Offline-Verhalten. Die im Angebot angegebene Modellbezeichnung.

Die in die Bestellung aufzunehmenden Klauseln. Die Modellbezeichnung als einzelne Position mit den beigefügten Zertifikatsnummern. Die Abnahmekriterien aus den acht Tests mit beigefügter Phrasenliste. Eine Klausel, die vor Firmware- oder Modelländerungen, die das Verhalten des Assistenten beeinflussen, eine Mitteilung verlangt und eine erneute Testpflicht festlegt. Eine Klausel dazu, wer die Kosten trägt, wenn das Muster die Abnahmekriterien nicht erfüllt.

Ein ausgearbeiteter Plan für eine Marke, die in einem einzigen Markt startet

Dies ist ein ausgearbeitetes Beispiel und kein Kundenbeispiel. Genau darum geht es bei dieser Reihenfolge.

Nehmen wir einen Verbrauchertechnikmarken mit einer Kameralinie aus elf Modellen, einer bestehenden Kamera-Plattform und dem Plan, einen Sprachassistenten in zwei Konfigurationen als Hauptmerkmal für die Einführung in einem einzigen Markt zu ergänzen. Der Produktmanager der Marke hat selbst Listingtexte formuliert, in denen es heißt, der Assistent „versteht natürlich“ und „ist immer da, wenn Sie ihn brauchen“, und die Konformitätsprüfung der Marke hat bereits nach dem Datenpfad gefragt.

Die erste Entscheidung ist, den Assistenten aus dem Text zu streichen, bis er gemessen wurde. Der Produktmanager entfernt beide Adjektive und ersetzt sie durch nichts, denn eine Funktion, die noch nicht genau beschrieben werden kann, sollte überhaupt noch nicht beschrieben werden. Diese einzige Änderung beseitigt das größte Risiko der Marke ohne Kosten.

Die zweite Entscheidung betrifft den Einführungsmarkt und wird getroffen, bevor der Plan geschrieben wird. Die Marke wählt einen Markt, eine Sprache und die beiden Netze, die ihre Kunden tatsächlich nutzen, und akzeptiert, dass der Assistent erst dann im zweiten Markt eingeführt wird, wenn er dort gemessen wurde. Der Grund sind die Kosten: Eine Phrasenliste in einer Sprache ist eine Übersetzungsaufgabe, während eine Phrasenliste in einer Sprache, die das Team nicht beurteilen kann, ein unbrauchbares Asset ist.

Die dritte Entscheidung betrifft die Entwicklung. Die Marke fordert den Lieferanten auf, für die Bewertung eine Build-Kennung festzulegen und zu bestätigen, dass dieselbe Version ausgeliefert wird. Der Lieferant bestätigt eine Build-Version, und die Marke dokumentiert sie. Diese Entscheidung macht alle späteren Zahlen aussagekräftig und kostet eine E-Mail.

Der vierte Schritt ist die Testphase an einem Gerät, das kein Vorführgerät ist. Die Marke bestellt ein Standardgerät, richtet ein neues Konto ein und führt die acht Tests über zwei Tage mit zwei Prüfern durch. Die Aktivierungsrate ist im ruhigen Raum hoch und in der Zielumgebung niedriger. Die Fehlaktivierungsrate, gemessen über einen normalen Arbeitstag, ist das entscheidende Ergebnis: Sie ist so hoch, dass die Marketingaussagen der Marke in dieser Umgebung nicht einmal eine Woche lang halten würden.

Die fünfte Entscheidung folgt aus der Fehlaktivierungsrate. Die Marke führt den Assistenten in diesem Markt nicht ein und lässt die Hardwarereihe unverändert. Die Alternative wäre gewesen, trotzdem einzuführen und eine Beschwerdehäufung hinzunehmen, die das Sample-Programm bereits vorhergesagt hatte. Die Bewertung kostete eine Sample-Runde und eine Woche; die Alternative hätte eine Markteinführung gekostet.

Die sechste Entscheidung betrifft den Umgang mit dem Ergebnis. Die Marke setzt den Schwellenwert für Fehlaktivierungen in der Bestellung als Bedingung für eine spätere Firmware-Version und verhandelt eine Mitteilungsklausel für Verhaltensänderungen. Sie behält die Aufzeichnungen und das Protokoll, denn eine künftige Firmware-Version erfordert eine erneute Prüfung, und nur das Protokoll macht diese Prüfung vergleichbar.

Das Ergebnis ist eine Produktreihe, die mit weniger eingeführt wurde, als die Marke wollte, und eine Lieferantenbeziehung, die nun einen schriftlichen Standard für die Funktion hat, die die Marke eventually ergänzen möchte. Der zentrale Punkt dieser exemplarischen Vorgehensweise ist, dass die entscheidende Zahl aus einem Test an einem Mustergerät stammte und nicht aus einer Vorführung – und dies kostete ein Gerät und zwei Tage.

Was die Aufzeichnungen unseres Assistenten klären können und was nicht

Konkret möchten wir lieber, dass ein Käufer eine KI-Funktion testet, als einer Beschreibung davon glaubt, und ein Testplan ist das Einzige, was eine Fähigkeit in eine Spezifikation überführt. Wir nennen einen KI-Sprachassistenten unter den zentralen Technologien für die Kamerabrillenfamilie und beschreiben auf unserer unabhängigen Website KI-Übersetzung bei der K01, einem Audiomodell. Wir behandeln dies als Beobachtung aus unserem eigenen Marketingmaterial und nicht als Spezifikation. Für kein Modell veröffentlichen wir Aktivierungsraten, Fehlaktivierungsraten, Befehlserfolgsraten, Latenzwerte, Erkennungsgenauigkeit, Übersetzungsgenauigkeit oder Offline-Verhalten, und wir schätzen keinen dieser Werte.

Wir werden auch keine Zahl in ein Listing aufnehmen, die an einem Vorführgerät gemessen wurde, denn eine nicht reproduzierbare Zahl ist eine Aussage, die sich nicht verteidigen lässt, wenn der Kunde vor Ihnen steht. Wir stellen Geräte mit einer bekannten Firmware-Version bereit und arbeiten mit Ihnen einen Plan aus, statt eine Vorführung zu schicken.

Drei Punkte, die vor einer Zusage eines Assistenten in einem Listing geklärt werden müssen

Fragen Sie in der ersten Nachricht nach der Build-Kennung und dem Aktualisierungsmechanismus. Nur diese beiden Antworten zeigen Ihnen, ob sich die Funktion während Ihres Programms ändern kann, und ein Lieferant, der beide beantwortet, hat einen entsprechenden Prozess.

Erstellen Sie die Phrasenliste, bevor das Muster eintrifft. Dies ist der einzige Teil des Plans, den der Lieferant nicht für Sie bereitstellen kann, und zugleich der Teil, der die Erfolgsquote zu Ihrer statt zu seiner macht.

Senden Sie uns die Funktionen, die Sie veröffentlichen möchten, den Startmarkt und die Sprache, und wir erstellen gemeinsam mit Ihnen den Testplan. Die Grundlagen finden Sie unter KI-Funktionen, die Musterroute unter Musterbewertung, die Messmethode in „So messen Sie KI-Funktionen“ und die Fragen an Lieferanten in „KI-Lieferantenverifizierung“.


Weiterführende Lektüre

Teilen Sie uns die Funktionen, die Sie veröffentlichen möchten, und die Umgebung mit, und wir erstellen gemeinsam mit Ihnen den Testplan.

Chat auf WhatsApp
Ihre Erfahrung auf dieser Website wird durch Erlaubnis von Cookies verbessert.