OEM/ODM-Hersteller für Smart Eyewear · Shenzhen, China +86 19835872450 sales@cynrin.com
Smart-Glasses-Technologie

Smart-Glasses-KI-Funktionen und Assistentenqualität messen

KI-Funktionen werden anhand von Raten, Latenzen und Genauigkeiten gemessen – nicht durch das Beobachten einer Vorführung. Eine Vorführung zeigt den besten Fall: …

Von CYNRIN Engineering & Sourcing Team/ May 28, 2025/ 16 Min. Lesezeit
Smart-Glasses-KI-Funktionen und Assistentenqualität messen

KI-Funktionen der Smart Glasses: an einem Build messen, nicht an einem Gerät

KI-Funktionen werden anhand von Raten, Latenzen und Genauigkeiten gemessen, und keine dieser Größen lässt sich durch das Beobachten einer Vorführung bestimmen. Eine Vorführung ist ein Bestfall: ein vorbereiteter Satz, ein ruhiger Raum, ein einwandfrei funktionierendes Netzwerk und ein Gerät, das für den Anlass konfiguriert wurde. Smart Glasses KI-Funktionen Smart Glasses: Messmethode bedeutet, eine Fähigkeit in eine Reihe von Zahlen zu überführen, die ein Käufer in eine Spezifikation aufnehmen und ein anderer Käufer reproduzieren kann. Der Grund für eine saubere Durchführung ist, dass sich KI-Aussagen am leichtesten übertreiben und am schwierigsten verteidigen lassen. Funktionen, die scheitern, scheitern zudem meist öffentlich.

Die kurze Antwort: Eine KI-Funktion erfordert acht Messungen, von denen zwei überhaupt keine Leistungsmessungen sind – das Offline-Verhalten und der Datenpfad. Zusammen bestimmen sie, was in einer Produktbeschreibung angegeben werden darf und was die Datenschutzerklärung erläutern muss. Legen Sie vor Beginn Ihre eigenen Abnahmegrenzwerte fest, führen Sie jede Rate an mehreren Geräten und mit mehreren Sprechern durch und erfassen Sie zu jedem Ergebnis die Firmware-Build-Nummer. Eine KI-Funktion kann sich zwischen Builds ändern, und eine Messung ohne Build-Nummer lässt sich nicht reproduzieren.

KI-Funktionen der Smart Glasses: Womit sich jede KI-Aussage belegen lässt

Der Käufer entscheidet, ob ein Assistent zum Produkt gehört

Ein Käufer entscheidet hier in der Regel, ob ein KI-Sprachassistent überhaupt zum Produkt gehört oder welche Umsetzung von zwei Anbietern verwendet werden soll. Dabei hat er Mustergeräte, eine Funktionsliste und einen Anwendungsbereich im Kopf – Kreative, Außendienstmitarbeiter oder alltägliche Assistenten. Leistungsdaten liegen ihm nicht vor, da sie in dieser Kategorie vom Modellanbieter und vom Assistenten-Stack statt vom Hersteller erzeugt werden und sich je nach Build statt je nach Hardware ändern.

Dieser letzte Punkt verändert die Denkweise bei der Entscheidung. Eine KI-Funktion ist keine Eigenschaft des Produkts, das Sie einmal kaufen. Sie ist eine Beziehung zwischen dem Produkt, einem Modellanbieter, einem Netzwerk und einer Region. Die eigentliche Frage des Käufers lautet nicht: „Ist das gut?“, sondern: „Kann ich es messen, kann ich es an einen Grenzwert binden, und was geschieht, wenn der Anbieter etwas ändert?“

Drei Faktoren müssen gleichzeitig gesteuert werden, die in unterschiedliche Richtungen wirken. Der erste ist die Aussage: Ein Satz auf einer Produktseite muss einer Kundin oder einem Kunden standhalten, die beziehungsweise der die Funktion in einer Besprechung ausprobiert. Der belastbare Satz ist gewöhnlich enger gefasst als der von einem Marketingteam gewünschte. Der zweite Faktor ist die Abhängigkeit: Der Betreiber des Modells kann eine Drittpartei sein, mit der die Marke keinen Vertrag hat. Dies stellt eher ein Beschaffungsrisiko als ein technisches Risiko dar. Der dritte Faktor ist die Drift: Ändert sich ein Assistent zwischen zwei Lieferungen beim Kunden, ist das ein Supportproblem, das ohne Produktfehler und damit ohne Rückgabegrund auftritt.

Der Käufer ist meist auch die Person, die Monate später eine Beschwerde zur Funktion beantworten muss – in einem Markt, in dem die Beschwerde in einer Sprache erfolgt, die das Supportteam nicht spricht. Deshalb muss das Messblatt so formuliert sein, dass es einen Personalwechsel übersteht: mit Grenzwert, Nenner, Build-Nummer und Datum statt einer Beschreibung des subjektiven Eindrucks.

KI-generiertes Foto zur Veranschaulichung der Messung von KI-Funktionen der Smart Glasses und der Assistentenqualität – Bild 1 von 3

Was die Pflege einer KI-Funktion kostet und wer sie tatsächlich kontrolliert

Die Kosten einer KI-Funktion sind keine Hardwarekosten. Es handelt sich um eine laufende Abhängigkeit, deren auf einer Bestellung erscheinende Teile den kleinsten Anteil darstellen.

Die Inferenz erfolgt entweder auf dem Gerät oder außerhalb des Geräts, und beide Varianten haben völlig unterschiedliche wirtschaftliche Eigenschaften. Die Inferenz auf dem Gerät ist durch die gekaufte Hardware begrenzt und damit standardmäßig stabil und datenschutzfreundlich, zugleich aber auf die Leistungsfähigkeit des Chips beschränkt. Eine Inferenz außerhalb des Geräts unterliegt keinerlei Beschränkungen durch eigene Ressourcen. Sie ermöglicht einen wirklich leistungsfähigen Assistenten, schafft jedoch zugleich eine Netzwerkabhängigkeit, eine Latenz, eine regionale Fragestellung und eine Partei, die Sie nicht kontrollieren.

Das KI-Programm nach Phasen, von den auf der Produktseite dargestellten Funktionen bis zum ausgelieferten Build

Der Betreiber der Laufzeitumgebung ist die wichtigste wirtschaftliche Angabe auf dem Messblatt. Sagt ein Anbieter, dass das Modell von einem Partner bereitgestellt wird, teilt er Ihnen damit mit, dass eine Drittpartei das Verhalten Ihres Produkts in Ihrem Markt ändern kann, ohne dass eine Bestellung angepasst werden muss. Das ist eine andere Art von Risiko als ein Bauteilwechsel, da sich ein Bauteilwechsel in einer Änderungskontrollklausel regeln lässt, eine Änderung des Modells jedoch nicht.

Der Update-Pfad ist eine Beschaffungsfrage, keine technische Frage. Eine Funktion, die sich per Over-the-Air-Update verändert, ändert sich ohne neue Bestellung, ohne neues Muster und ohne jede Informationspflicht, sofern diese nicht schriftlich vereinbart ist. Für eine Marke, die ein Marketingbudget für diese Funktion ausgegeben hat, ist eine nicht angekündigte Änderung kein technisches Ereignis, sondern ein geschäftliches. Die Fähigkeit des Lieferanten, eine Build-Nummer und einen Update-Mechanismus zu benennen, ist daher das Erste, was geklärt werden muss. Denn ein Lieferant, der den Build nicht benennen kann, kann Ihnen auch nicht sagen, was Sie gemessen haben.

Der Datenpfad ist eine Konformitätsfrage mit einem festen Rahmen. Ab dem 1. August 2025 sind die Cybersicherheitsanforderungen der Funkgeräte-Richtlinie ein verpflichtender Bestandteil der CE-Kennzeichnung. Sie werden durch die EN 18031-Reihe harmonisierter Normen beschrieben und umfassen sichere Kommunikation, Verschlüsselung, sichere Speicherung, Einwilligung der Nutzer sowie den Prozess zum Umgang mit identifizierten Schwachstellen. Eine Sprachfunktion fällt eindeutig in diesen Anwendungsbereich. Die Nachweise, die eine Marke später vorlegen muss, betreffen nicht die Genauigkeit der Funktion, sondern den dahinterliegenden Datenpfad.

Nichts davon kostet Geld auf der Rechnung, und genau deshalb wird es übergangen. Der Verhandlungsspielraum liegt in der Struktur der Verpflichtungen, nicht im Preis: in der Informationspflicht bei Firmware-Änderungen, der Definition des eingeschränkten Offline-Zustands, dem Recht auf eine Anpassung der Unterlagen, dem Zeitraum, in dem der gemessene Build dem ausgelieferten Build entspricht, sowie der Anzahl der Geräte im Prüflos.

KI-generiertes Foto zur Veranschaulichung der Messung von KI-Funktionen der Smart Glasses und der Qualität des Assistenzsystems – Bild 2 von 3

Die acht Messwerte, ihre Schwellenwerte und die Nennerregel

Fordern Sie die folgenden Positionen schriftlich an, bevor die Muster getestet werden. Die rechte Spalte unterscheidet einen Lieferanten, der den ausgelieferten Build gemessen hat, von einem, der lediglich eine Fähigkeit beschreibt.

Aktivierungsrate samt Testbedingungen. Ein Prozentwert über eine angegebene Anzahl von Versuchen in einer angegebenen Umgebung. „Sehr reaktionsschnell“ ist eine vage Antwort und zugleich diejenige, die am häufigsten gegeben wird.

Falschaktivierungsrate. Ein Prozentwert über eine angegebene Anzahl von Versuchen in einer angegebenen Umgebung. Dieser Messwert entscheidet, ob die Funktion öffentlich nutzbar ist, und wird fast nie angegeben. Ein Gerät, das ein Gespräch unterbricht, wird abgenommen, unabhängig davon, wie gut es bei tatsächlichen Aktivierungen funktioniert.

Erfolgsrate bei Befehlen anhand einer festen Liste. Ein Prozentwert im Verhältnis zu einer vom Käufer bereitgestellten Liste. „Versteht natürliche Sprache“ ist eine vage Antwort. Die Phrasenliste muss diejenige sein, die Ihre Kunden verwenden, nicht die, mit der die Demo arbeitet.

Latenz samt Netzwerkstatus. Ein Wert mit einem festen Schwellenwert und einer benannten Netzwerkbedingung. „Sehr schnell“ ist eine vage Antwort. Die Latenz unterscheidet eine reaktionsschnell wirkende Funktion von einer defekt wirkenden und variiert je nach Netzwerkbedingungen. Aus diesem Grund muss der Netzwerkstatus Bestandteil der Messung sein.

Erkennungsgenauigkeit nach Bedingungen. Ein Wert für einen ruhigen Raum und für die reale Umgebung. „Hohe Genauigkeit“ ist eine vage Antwort. Akzente, Hintergrundgeräusche, ungewöhnlicher Wortschatz und leise Stimme verändern diesen Wert. Entscheidend ist dabei der Wert, der auf Ihre Kunden zutrifft.

Übersetzungsgenauigkeit, beurteilt von einem Muttersprachler. Eine Bewertung der für den Kunden erforderlichen Formulierungen. „Genaue Übersetzung“ ist eine vage Antwort. Eine Übersetzung, die Begrüßungen korrekt verarbeitet, bei einer Produktbeschreibung jedoch versagt, ist für den Käufer unzureichend.

Offline-Verhalten. Eine schriftliche Erklärung dessen, was bei getrenntem Netzwerk geschieht. Eine schweigsame Antwort ist die am häufigsten gegebene und klärt den häufigsten Streitfall in dieser Kategorie: ob das Produkt das tut, was in seiner Dokumentation steht, wenn kein Netzwerk verfügbar ist.

Datenpfad und Einwilligungsmechanismus. Eine Beschreibung dessen, was das Gerät verlässt, sowie der Handhabung der Einwilligung. „Daten werden sicher verarbeitet“ ist eine vage Antwort und bedeutet nichts.

Firmware-Build und Update-Mechanismus. Die Build-Kennung und die Art und Weise, wie ein ausgeliefertes Gerät aktualisiert wird. „Updates über die App“ ist eine vage Antwort.

Modellbezeichnung. Eine veröffentlichte Bezeichnung für die exakte Konfiguration. Nur eine Serienbezeichnung ist eine vage Antwort. Sie bedeutet, dass zwei Konfigurationen verglichen werden können, ohne dass eine davon identifizierbar ist.

Eine Rate ohne Anzahl der Versuche ist keine Rate. Jeder Prozentwert in dieser Liste benötigt einen Nenner, eine Liste der Versuche und eine Umgebung. Eine „Aktivierungsrate von 98 %“, gemessen bei zehn Versuchen in einem ruhigen Büro, ist ein schlechterer Wert als eine „Aktivierungsrate von 85 %“, gemessen bei dreihundert Versuchen auf einer Straße. Nur einer dieser beiden Werte sagt etwas voraus. Dies ist der häufigste Fehler in dieser Kategorie und ohne Nenner nicht erkennbar.

Die Fehlauslösungsrate ist das usability gate, nicht eine technische Fußnote. Der Schwellenwert, den ein Käufer dafür festlegt, ist eine Produktentscheidung darüber, wo das Produkt verkauft werden kann — ein Besprechungsraum und eine Straße sind verschiedene Märkte für dasselbe Gerät.

Die Build-Nummer ist die Spalte, die die Ergebnisse aufbewahrenswert macht. Eine KI-Funktion ändert sich zwischen Builds, und eine Messung ohne Build-Nummer kann weder reproduziert noch verteidigt werden. Wenn ein Lieferant die Build nicht benennen kann, kann er Ihnen auch nicht sagen, was Sie gemessen haben.

Eine Warnung gilt für jede Zeile: Diese Werte sind zwischen Lieferanten nicht direkt vergleichbar. Zwei Implementierungen verwenden unterschiedliche Phrasenlisten, unterschiedliche Netze, unterschiedliche Versuchsanzahlen und unterschiedliche Definitionen einer erfolgreichen Aktivierung. Legen Sie vor der Erstellung einer Tabelle fest, welche Spalte Ihre eigene Messung ist und welche ein Lieferantenwert ist, und vermischen Sie die beiden niemals ohne entsprechenden Hinweis in einer Zeile.

KI-generiertes Foto zur Veranschaulichung der Messung von KI-Funktionen der Smart Glasses und der Qualität des Assistenten — Bild 3 von 3

Durchführung des Messblatts zweimal, an mehreren Geräten, in zwei Umgebungen

Das Messblatt vom Setup bis zu einem belastbaren Ergebnis

1. Erstellen Sie das Messblatt vor dem ersten Test. Fünf Spalten und keine mehr: den Test, die Bedingung, die Anzahl der Versuche, das Ergebnis und das Datum mit der Firmware-Build-Nummer. Ein Blatt mit mehr Spalten wird nicht ausgefüllt, und ein nicht ausgefülltes Blatt führt lediglich zu einer Vorführung.

2. Testen Sie zwei oder drei Geräte derselben Build, wenn die Funktion entscheidend ist. Eine Funktion, die bei einem Muster funktioniert und bei einem anderen ausfällt, weist ein Yield-Problem auf, das bei einem Test an einem einzelnen Gerät unsichtbar bleibt.

3. Testen Sie ein werkfrisches Gerät mit einem neuen Smartphone, nicht das Vorführgerät. Bei einem Vorführgerät sind die Konten verknüpft, die Sprache eingestellt, die Region konfiguriert und das Netzwerk als funktionsfähig bekannt. Das werkfrische Gerät ist das Produkt, das der Kunde erhält, und der Unterschied zwischen beiden ist die häufigste Ursache dafür, dass eine Funktion in einem Besprechungsroom, aber nicht in der Küche eines Kunden funktioniert.

4. Testen Sie in zwei Umgebungen und berichten Sie beide Ergebnisse. Jede Rate hat in einem ruhigen Raum einen Wert und auf der Straße einen anderen, und nur der zweite Wert sagt das Kundenerlebnis voraus. Wenn Sie nur einen davon berichten, treffen Sie eine Entscheidung darüber, welchen Kunden Sie ansprechen.

5. Verwenden Sie die Phrasen, die ein Kunde verwenden würde, nicht diejenigen, die Sie verwenden. Eine Änderung des Skripts zwischen den Durchläufen macht die beiden Runden unvergleichbar, und dies ist die häufigste Form des Fehlers. Bewahren Sie die Phrasenliste zusammen mit den Ergebnissen auf.

6. Führen Sie das gesamte Blatt an verschiedenen Tagen zweimal aus. Behandeln Sie eine große Abweichung zwischen den beiden Durchläufen als Ergebnis, nicht als Rauschen. Eine Funktion, deren Erfolgsrate zwischen den Durchläufen um zwanzig Prozentpunkte schwankt, ist nicht stabil, und ein auf ihr basierendes Produkt macht das Kundenerlebnis zu einem Glücksspiel.

7. Überprüfen Sie den Datenpfad, statt ihn zu messen. Beobachten Sie das Netzwerkverhalten, vergleichen Sie es mit den Angaben in der Dokumentation und halten Sie den Vergleich fest. Dies gehört in die Due-Diligence-Akte und nicht ins Labor, da es sich um einen Vergleich mit einem Dokument und nicht um eine Zahl handelt.

8. Wiederholen Sie das Messblatt für die Build, die tatsächlich ausgeliefert wird. Die kommerziell relevante Messung ist diejenige, die an der Build im Besitz des Kunden durchgeführt wurde, und wenn diese Build nach Ihrem Muster eintrifft, muss das Blatt erneut für sie ausgeführt werden.

Veröffentlichte Spezifikationszeilen für die Kamera- und Audiobereiche

Vier Möglichkeiten, wie ein KI-Funktionsprogramm scheitert, und die Begriffe, die verhandelt werden sollten

Die Funktion wird in einer Produktbeschreibung angekündigt, funktioniert jedoch nicht in einem Kundenmeeting. Ursache: Die Fehlauslösungsrate wurde nie gemessen, sondern nur die Aktivierungsrate. Gegenmaßnahme: Messen Sie beide Werte und legen Sie den Schwellenwert für Fehlauslösungen fest, bevor die Produktseite geschrieben wird.

Der Kunde meldet, dass der Assistent nach einem Update nicht mehr funktioniert. Ursache: Die Messung war an eine Build gebunden, und die Build wurde ohne erneuten Test geändert. Gegenmaßnahme: Halten Sie bei jedem Ergebnis die Build-Nummer fest und führen Sie das Messblatt für die Build erneut aus, die tatsächlich ausgeliefert wird.

Es wird eine Übersetzung versprochen, die von der Reviewer-Zielsprache abgelehnt wird. Ursache: Die Genauigkeit wurde von jemandem bewertet, der die Zielsprache nicht muttersprachlich spricht, und zwar anhand von Begrüßungen statt anhand von praxisrelevanten Phrasen. Gegenmaßnahme: Lassen Sie die Phrasen, die der Kunde benötigt, von einem Muttersprachler in der Zielsprache bewerten und halten Sie die Phrasenliste fest.

Das Produkt funktioniert im Demonstrationsland, scheitert jedoch am Startmarkt. Ursache: Die Messung wurde in einer Region und in einem Netzwerk durchgeführt. Gegenmaßnahme: Führen Sie das Messblatt am Startmarkt in den Netzen durch, die der Kunde verwenden wird, und berichten Sie beide Ergebnisgruppen.

Ein KI-Funktionsprogramm gibt proportional mehr für Evaluierungsgeräte aus als ein Hardwareprogramm, denn die Funktion ist das Produkt, und die Stichprobengröße bildet das Konfidenzintervall. Die Begriffe, für die es sich lohnt, Zeit zu verhandeln, sind:

  • Mindestbestellmenge und Anzahl der Prüfeinheiten, die hier größer sein muss als in einer Hardwarekategorie, weil die Stichprobengröße das Konfidenzintervall bestimmt.
  • Verpackungs- und Beilegerdesign einschließlich Marktetiketten, Sprache der Dokumentationsmappe und Einwilligungsformulierungen, die in dieser Kategorie ein Konformitätsdokument und kein Beileger sind.
  • Aufteilung der Lieferung anhand eines Meilensteins für die Musterfreigabe, der häufig leichter erteilt wird als ein Preisnachlass.
  • Die Zahlungsgrenzen: eine Anzahlung bei Unterzeichnung, eine Restzahlung bei Abnahme der Prüfung sowie ein Einbehalt auf der Dokumentenmappe.
  • Die Gewährleistungsdauer mit einer festgelegten Reaktionszeit sowie die Rückgaberichtlinie, die eine Funktion berücksichtigen muss, die ohne Ankündigung geändert werden kann.

Zwei Kosten in einem Funktionsprogramm werden ausgewiesen, aber nicht verhandelt. Zertifizierungskosten und Zertifizierungsdauer richten sich nach dem Prozess und der Prüfstelle, nicht nach Ihrer Bestellgröße; bei einem vernetzten Produkt umfassen sie außerdem die Cybersicherheitsanforderungen der Funkgeräte-Richtlinie. Werkzeugkosten werden häufig auf die Erstbestellung verteilt. Daraus ergeben sich zwei Konsequenzen: auf welche Menge die Kosten verteilt werden und wo sich das Werkzeug befindet, wenn das Programm eingestellt wird. Beides liegt unterhalb des Aktualisierungspfads: Kann ein Lieferant keine Build-Nummer und keinen Aktualisierungsmechanismus benennen, teilt er Ihnen damit mit, dass die Funktion ohne vertragliche Ankündigung gegenüber Ihnen geändert werden kann. Das ist ein größeres geschäftliches Risiko als der Stückpreis.

Die vor Anzahlung anzufordernden Unterlagen sind: die Firmware-Build-Kennung und der Aktualisierungsmechanismus; die Zertifikatsnummern mit ausstellender Stelle und Gültigkeitsdaten; die Konformitätserklärung für die genaue Modellbezeichnung; eine schriftliche Beschreibung des Datenpfads und des Einwilligungsmechanismus sowie die auf dem Angebot angegebene Modellbezeichnung.

Die Vertragsklauseln, die eine KI-Funktionsaussage schützen, lauten wie folgt: die Modellbezeichnung als eigenständige Position mit den beigefügten Zertifikatsnummern; die Abnahmekriterien für das Muster unter Verweis auf das Messprotokoll und die festgelegten Schwellenwerte; eine Klausel, die vor einer Firmware-Änderung, die das Verhalten des Assistenten beeinflusst, eine Ankündigung verlangt, damit der Käufer erneut testen kann, sowie einen festgelegten Zeitraum, in dem die gemessene Build-Version die ausgelieferte Version ist; und eine Klausel dazu, wer die Kosten trägt, wenn das Muster die Abnahmekriterien nicht erfüllt.

Ein gemessener Außendienstassistent und die Grenzen dessen, was wir veröffentlichen können

Betrachten Sie ein hypothetisches Szenario statt eines echten Kundenprojekts. Nehmen Sie an, ein kaufseitiger Mitarbeiter bei der Marke fügt einem bestehenden Kameraproduktportfolio einen Assistenten für einen Außendienstkanal hinzu. Die Endnutzer arbeiten in einer lauten Umgebung, tragen möglicherweise Handschuhe und verwenden das Produkt gemeinsam mit einer weiteren Person, die ebenfalls spricht.

Schritt eins: die Anforderung. Der Assistent wird zur Erfassung von Sprachnotizen während eines Standortbesuchs an einem lauten Ort in der Nähe eines sprechenden Begleiters benötigt. Dieser eine Satz legt die Schwellenwerte fest: Die Fehlauslösungsrate muss niedrig genug sein, damit das Gespräch des Begleiters das Gerät nicht auslöst; die Aktivierungsrate muss mit der Phrasenliste gemessen werden, die ein Mitarbeiter vor Ort tatsächlich verwenden würde; und die Erkennungsgenauigkeit muss unter lauten Bedingungen und nicht unter ruhigen Bedingungen angegeben werden.

Schritt zwei: das Protokoll. Der Käufer erstellt das Protokoll mit fünf Spalten, legt die Schwellenwerte fest, bevor die Muster eintreffen, und fragt den Lieferanten in derselben Nachricht nach der Build-Nummer und dem Aktualisierungsmechanismus. Der Lieferant nennt eine Aktivierungsrate ohne Nenner und ohne Build-Version sowie eine Beschreibung des Fehlauslösungsverhaltens als „hoch responsiv“. Beide Antworten gehen als Feststellungen und nicht als Ergebnisse in die Akte ein.

Schritt drei: die Einheiten. Drei Einheiten derselben Build-Version werden getestet: eine aus der Verpackung stammende Einheit mit einem neuen Smartphone in einem ruhigen Raum sowie auf einer Straße. Die Aktivierungsrate ist auf der Straße deutlich niedriger als die vom Lieferanten angegebene Zahl, die in einem ruhigen Raum ermittelt wurde, und eine der drei Einheiten löst fälschlich aus, während die anderen beiden dies nicht tun. Der Unterschied zwischen den Einheiten ist die wichtigere Feststellung, weil es sich um ein Ausbeute- und nicht um ein Produktproblem handelt. Dadurch verschiebt sich die Frage von „Ist das gut?“ zu „Ist das gleichmäßig genug, um es auf eine Produktseite zu nehmen?“

Schritt vier: die Wiederholung. Das gesamte Protokoll wird zwei Tage später erneut mit denselben Einheiten durchgeführt, und die Aktivierungsrate verändert sich deutlich. Diese Feststellung beendet die Diskussion über die Veröffentlichung einer Aktivierungsrate altogether und lenkt den Käufer zu einer Aussage, die das Produkt tatsächlich tragen kann: Der Assistent ist vorhanden, reagiert auf die Phrasenliste und wird auf einer benannten Build-Version gemessen.

Schritt fünf: die kaufmännische Struktur. Der Käufer schreibt die Informationspflicht bei firmwareÄnderungen, die sich auf den Assistenten auswirken, in die Bestellung, definiert den eingeschränkten Offline-Zustand als akzeptiertes Verhalten und nicht als Fehler, verknüpft die Kopie mit der ausgelieferten Build-Version und teilt die Erstlieferung in einen Teil bis zur Freigabe eines Musters auf. Das Ergebnis ist eine Funktion, die auf dem Niveau der vorhandenen Nachweise angeboten wird und nicht auf dem Niveau, das eine Vorführung nahelegt, öffentlich dann aber versagt.

Unsere eigene Position ist: Wir veröffentlichen die KI-Funktionen, die durch unsere Dokumentation belegt sind, kennzeichnen den Rest als offen und möchten lieber, dass ein Käufer diese Messungen selbst durchführt, als einer Beschreibung davon zu glauben. In unserem Katalog wird ein KI-Sprachassistent als eine der wichtigsten Technologien der KI-Kamerabrillenfamilie genannt, und auf unserer unabhängigen Website beschreiben wir die KI-Übersetzung für das K01, ein Audio-Modell. Daher betrachten wir dies als Beobachtung aus unserem eigenen Marketingmaterial und nicht als Spezifikation. Für kein Modell veröffentlichen wir Aktivierungsraten, Fehlauslösungsraten, Befehlserfolgsraten, Latenzwerte, Erkennungsgenauigkeiten, Übersetzungsgenauigkeiten oder das Offline-Verhalten, und wir schätzen keinen dieser Werte. Ebenso geben wir in einer Produktbeschreibung keine Zahl an, die an einem Vorführgerät gemessen wurde, denn eine nicht reproduzierbare Zahl ist eine Aussage, die sich nicht verteidigen lässt, wenn der Kunde vor Ihnen steht.

Was wir tun, ist Geräte mit einer bekannten Firmware-Build-Version bereitzustellen und gemeinsam mit Ihnen das Messprotokoll durchzugehen, anstatt lediglich eine Vorführung zu senden. Das Protokoll wird in „KI-Funktionen vor der Bestellung testen“ behandelt, die Fragen an Lieferanten in „Überprüfung von KI-Lieferanten“, die zu vermeidenden Fehler bei Leistungsangaben in „Häufige Fehler bei KI“ und die Hintergründe in „KI-Funktionen“.

Der nächste Schritt. Listen Sie die Funktionen auf, die Sie veröffentlichen möchten, die Umgebung, in der sie eingesetzt werden, und die Formulierungen, die der Kunde tatsächlich verwenden wird. Legen Sie die Schwellenwerte fest, bevor die Muster eintreffen. Führen Sie das Protokoll an drei Geräten, direkt aus der Verpackung, in zwei Umgebungen und jeweils zweimal durch und dokumentieren Sie bei jedem Ergebnis die Build-Nummer. Entscheiden Sie dann anhand der vorliegenden Zahlen, welche Funktion es wert ist, auf der Produktseite genannt zu werden und welche nicht.


Weiterführende Beiträge

Teilen Sie uns die Funktionen mit, die Sie veröffentlichen möchten, sowie die Umgebung. Wir erstellen gemeinsam mit Ihnen das Messprotokoll.

Chat auf WhatsApp
Ihre Erfahrung auf dieser Website wird durch Erlaubnis von Cookies verbessert.