Jede KI-Funktion in dieser Kategorie funktioniert in einer Vorführung gut, und der Grund dafür ist nicht, dass die Vorführungen unehrlich sind. Eine Vorführung ist vielmehr eine kontrollierte Umgebung: ein stiller Raum, ein kooperativer Sprecher, ein vorbereiteter Satz, ein zuverlässiges Netzwerk und ein Gerät, das jemand im Voraus eingerichtet hat. Ein Kunde bringt nichts davon mit. Der Unterschied zwischen beiden ist kein Produktmangel. Er ergibt sich aus den Bedingungen, die ein Lieferant auswählt, und den Bedingungen, unter denen ein Kunde arrives. Dieser Artikel behandelt diesen Unterschied, denn er entscheidet, ob eine Funktion genutzt wird.
KI-Funktionen der Smart Glasses: warum Demo- und Praxiswerte abweichen
Der Einkäufer und die Zahl, die ihm vorgelegt wurde
Der Leser ist ein Produktmanager einer Marke oder ein Einkäufer im Lieferantenmanagement, der gerade eine Kennzahl erhalten hat. Sie stammt aus einem Lieferantentest, aus dem Marketingmaterial eines Wettbewerbers oder aus einer Vorführung in einem Büro und wurde als Leistungseigenschaft des Produkts dargestellt. Das Problem des Einkäufers ist nicht, dass die Kennzahl falsch ist. Das Problem besteht darin, dass eine Kennzahl ohne Bedingung keine Messung ist. Wer sie in eine Spezifikation übernimmt, kauft ein Versprechen, das der Kunde überprüfen wird, für das der Lieferant jedoch nicht geradesteht.
Es gibt eine zweite Variante dieses Problems, die in dieser Kategorie häufiger vorkommt und teurer ist. Der Einkäufer verfügt über eine vollkommen gültige Kennzahl – eine Aktivierungsquote in einem stillen Raum oder eine Übersetzungsgenauigkeit an einem vorbereiteten Satz –, doch die Kennzahl beschreibt simply nicht die Bedingungen, unter denen sich der Kunde befinden wird. Nichts daran ist falsch. Sie ist lediglich die falsche Kennzahl für die Entscheidung.
Genau dieser Unterschied ist der Grund, warum zuerst nicht die Kennzahl, sondern die damit verbundenen Bedingungen geklärt werden müssen. Deshalb lautet die angemessene Reaktion auf eine Kennzahl ohne Bedingungen nicht ein Streit über ihren Wert, sondern die Bitte, die Bedingungen zu nennen.
Die veröffentlichten Angaben und ihre Bedeutung für den Vergleich
Unser Katalog nennt einen KI-Sprachassistenten als eine der wichtigsten Technologien für die KI-Kamerabrille, und unsere unabhängige Website beschreibt die KI-Übersetzung der K01, einem Bluetooth-Audiomodell und keinem Kameramodell. Die zweite Angabe behandeln wir als Beobachtung aus unserem eigenen Marketingmaterial und nicht als geprüfte Spezifikation; sie hat daher weniger Gewicht als eine Katalogzeile.
Für kein Modell veröffentlichen wir Aktivierungsquoten, Fehlauslösungsraten, Befehlserfolgsraten, Latenzwerte, Erkennungsgenauigkeiten, Übersetzungsgenauigkeiten oder Angaben zum Offline-Verhalten. Wir schätzen diese Werte nicht, und wir zitieren auch keine Branchenkennzahl für eine Funktion, die wir nicht gemessen haben. Der gesamte Zweck dieses Artikels besteht schließlich darin, dass eine Kennzahl ohne Bedingung keine Messung ist.
Was wir veröffentlichen, ist die Hardware, und zwar vollständig: Die Kameramodelle verfügen über Kameras mit 8MP bis 13MP, Zellkapazitäten von 220 mAh bis 290 mAh, Ladezeiten von höchstens zwei Stunden und Laufzeitbereiche von etwa fünf bis acht Stunden. Bei drei Modellen beträgt die Kapazität der Ladecases 1400 mAh, beim L2 Utral gibt es eine Option mit 900 oder 1400 mAh, für das faltbare MT6-Case stehen 1200 mAh und für die Cases von KY06 und MT5 sind die Kapazitäten nicht veröffentlicht. IP54 ist nur bei V06 und S7 angegeben, und 158 g sind beim MT6 das einzige im Katalog veröffentlichte Gewicht.
Diese Asymmetrie ist der zentrale Punkt der obenstehenden Grafik. Der Katalog veröffentlicht einen Laufzeitbereich, aber keine Bedingungen. Eine Kennzahl zum KI-Verhalten erfordert beides. Genau darin liegt der Unterschied zwischen einer Kennzahl, mit der ein Einkäufer planen kann, und einer Kennzahl, die ein Einkäufer testen muss.

Die fünf Variablen, die sich zwischen Raum und Straße ändern
Hintergrund, Satz, Netzwerk, Konfiguration, Körperhaltung
Der Hintergrund. Eine in einem stillen Büro gemessene Aktivierungsquote besitzt kaum Aussagekraft, denn die Auslösung ist ein Problem der Geräuscherkennung, und das Büro wurde ausgewählt, weil es dieses Problem löst. Auf der Straße, im Café und im Auto bricht die Quote ein, und zwar ungleichmäßig, weil ein stetiger Hintergrund leichter herausgefiltert werden kann als ein intermittierender.
Der Satz. Bei einer Vorführung wird ein kurzer, gebräuchlicher und grammatikalisch einwandfreier Befehl verwendet. Reale Nutzer sprechen längere Sätze, verwenden den Produktnamen in der Mitte statt am Anfang und erfinden eigene Formulierungen. Eine an einem vorbereiteten Satz gemessene Erkennungsgenauigkeit ist keine Schätzung der Erkennungsgenauigkeit unter realen Bedingungen.
Das Netzwerk. Eine Demonstration wird normalerweise bei einer guten Verbindung aufgezeichnet, und die Antwort erscheint sofort. Im tatsächlichen Gebrauch schwankt die Latenz je nach Signal. Eine Funktion, die bei guter Verbindung in weniger als einer Sekunde reagiert, kann bei schlechter Verbindung mehrere Sekunden benötigen. Für die Nutzer erlebt sich das als Unzuverlässigkeit, obwohl die Funktion funktioniert.
Das Gerät. Ein Demonstrationsgerät ist spracheingestellt, regionskonfiguriert, mit einem Konto verknüpft und der Update-Pfad funktioniert. Ein Gerät direkt aus der Verpackung, auf dem Smartphone eines Kunden, in dessen Netzwerk und in dessen Sprache ist eine andere Konfiguration. Dies ist die häufigste Ursache für Ausfälle in der ersten Woche und eine reine Konfigurationsfrage, keine Frage des Produkts.
Die Körperhaltung. Eine Demonstration wird im Sitzen oder Stehen durchgeführt. Ein Kunde trägt das Gerät, und beim Tragen befindet sich das Mikrofon an einem bewegten Kopf, der Nutzer blickt in eine andere Richtung, und die Geste, die die Interaktion auslöst, ist eine Handbewegung in der Nähe des Gesichts statt eines Tastendrucks.
Die Variable, die Käufer am häufigsten außer Acht lassen
Es gibt eine sechste Variable, die auf keiner Liste steht, weil sie keine Eigenschaft der Umgebung ist. Es ist die Erwartung, mit der der Kunde anreist, und sie entsteht durch den Listing-Text, nicht durch das Produkt.
Ein Käufer, der „versteht Ihre Befehle und beantwortet Ihre Fragen“ schreibt, erwartet ein Gespräch. Ein Käufer, der „beantwortet kurze gesprochene Fragen bei bestehender Verbindung“ schreibt, erwartet ein Werkzeug. Beide Geräte können sich identisch verhalten und völlig unterschiedliche Zufriedenheitsgrade erzeugen. Der gesamte Unterschied liegt im Text.
Deshalb würde ein Praxistest, der nur das technische Verhalten misst, das Problem unterschätzen. Das Beobachtungsprotokoll muss sowohl festhalten, was der Nutzer erwartet hat, als auch, was tatsächlich geschehen ist, denn die Lücke zwischen beidem ist die Rückgabe.
Die Ersteinrichtung, bei der über Funktionen entschieden wird
Das Muster und warum es behebbar ist
Es gibt ein bestimmtes Muster, wie KI-Funktionen im praktischen Einsatz ausfallen, und es lohnt sich, es zu benennen, weil es sich beheben lässt.
Ein Kunde nimmt das Produkt aus der Verpackung, setzt es auf und probiert die Funktion aus. Sie funktioniert nicht, weil die Sprache nicht eingestellt ist, das Konto nicht verknüpft ist, das Netzwerk nicht konfiguriert ist oder der verwendete Ausdruck nicht der aus der Demonstration war. Der Kunde schließt daraus, dass die Funktion nicht funktioniert, und in den meisten Fällen geht das Produkt zurück in die Verpackung.
Die Lösung ist nicht technischer Natur. Das Ersterlebnis muss konzipiert werden: Das Produkt muss den Nutzer vor dem ersten Gebrauch in seiner eigenen Oberfläche darauf hinweisen, was es benötigt, und zwar vor einem Fehlschlag statt danach. Die Demonstration des Lieferanten ist ein Marketinginstrument, und das Marketinginstrument entscheidet nicht, ob die Funktion genutzt wird. Das Onboarding entscheidet das.
Die Kosten eines Fehlers
Die wirtschaftlichen Kosten eines fehlgeschlagenen Erstlaufs stehen in keinem Verhältnis zur technischen Ursache, weil das Produkt zurückgegeben wird, statt dass lediglich die Funktion aufgegeben wird. Ein Kunde, der die Funktion nicht zum Laufen bringt, schließt normalerweise nicht „den KI-Teil muss konfiguriert werden“, sondern „dieses Produkt funktioniert nicht“. Das bedeutet eine Rückgabe, eine Erstattung, eine negative Bewertung und Rücksendekosten – alles verursacht durch einen Einrichtungsschritt, der dreißig Sekunden gedauert hat.
Deshalb ist ein Erstlauf-Test auch der wertvollste einzelne Test in dieser Kategorie. Er findet eine Fehlerart, die alle anderen Tests übersehen, und zwar bevor das Produkt in die Hand eines Kunden gelangt statt danach.

Einen Praxistest mit Ihren eigenen Nutzern durchführen
Sechs Schritte, zwei Tage, kein Labor
- Legen Sie die zwanzig Kundenphrasen fest. Nicht die Phrasen eines Lieferanten, sondern die Phrasen, die Ihre eigenen Kunden verwenden, einschließlich der ungewöhnlichen: Eigennamen, Zahlen, eine Formulierung mit zwei möglichen Bedeutungen und eine Bitte, die abgelehnt werden sollte.
- Testen Sie den Erstlauf mit einer unbekannten Person. Geben Sie das Gerät jemandem, der es noch nie gesehen hat, in der gesprochenen Sprache und mit dem eigenen Smartphone und beobachten Sie ohne Ihre Hilfe, was geschieht.
- Wiederholen Sie den Test in der Zielumgebung. Mit Lärm, Bewegung und einem schlechten Netzwerk, nicht nur in einem ruhigen Raum.
- Wiederholen Sie den Test ohne Netzwerkverbindung. Dies ist der Schritt, den die meisten Marken nicht durchführen, und der Schritt, der eine Dienstabhängigkeit so aufzeigt, wie es im Labor nie möglich ist.
- Messen Sie die Fehlauslösungen. Nicht nur die Aktivierungsrate. Eine Funktion, die Menschen unterbricht, wird abgeschaltet, und die Fehlauslösungsrate ist der Messwert, der dies vorhersagt.
- Schreiben Sie den Listing-Text anhand der Ergebnisse neu. Nicht anhand der beabsichtigten Wirkung. Der Listing-Text sollte sagen, was der Test gezeigt hat.
Was das Protokoll festhalten muss
Das Beobachtungsprotokoll ist bewusst langweilig, und genau darin liegt sein Wert: Es soll das Ergebnis zu einer Dokumentation machen, nicht zu einer Erinnerung. Pro Sitzung werden vier Punkte erfasst – die Umgebung und der Geräuschpegel, die vorgegebene Formulierung und das Ergebnis, die gefühlte oder gemessene Latenz sowie das, was der Benutzer bei einem Fehlschlag gesehen hat. Pro Kampagne kommen vier weitere Punkte hinzu – die Anzahl der Fehlauslösungen, die Frage, ob der erste Durchgang ohne Hilfestellung abgeschlossen wurde, das Ergebnis ohne Netzwerk sowie die Frage, ob der Text aufgrund des Ergebnisses korrigiert wurde.
Die Kampagne selbst sollte jeweils nur eine Variable verändern und pro Woche nur eine Umgebung testen, damit sich ein Rückgang eindeutig zuordnen lässt. Drei Umgebungen sind normalerweise ausreichend: ruhig, typisch und schlecht.
Das Ergebnis in eine kommerzielle Entscheidung überführen
Der Praxistest ergibt eine Zahl, und diese Zahl führt zu einer Entscheidung über die Positionierung des Produkts. Wenn die Funktion in der ruhigen Umgebung zuverlässig funktioniert, in der typischen jedoch ausfällt, handelt es sich um ein Vorführprodukt, und auf der Produktseite sollte sie nicht in den Vordergrund gestellt werden. Wenn die Leistung nachlässt, statt vollständig auszufallen, handelt es sich um eine Verbesserung, die im Produkttext unter Angabe der Einschränkung entsprechend dargestellt werden kann. Wenn sie ausfällt, muss die Kernaufgabe des Produkts auf eine Funktion verlagert werden, die nicht davon abhängt.
Dieses letzte Ergebnis sollte ausdrücklich benannt werden, weil Käufer es vermeiden. Ein Test mit dem Ergebnis „Die Funktion fällt aus“ hat dennoch seinen Zweck erfüllt: Das Ergebnis ist ein Produkt, das verkauft werden kann, statt eines Produkts, das zurückgegeben wird.
Die Abnahmekriterien, die vor dem Test festzulegen sind
Ein Praxistest ohne vorab vereinbarte Schwellenwerte ergibt einen Bericht statt einer Entscheidung, und über einen Bericht wird diskutiert. Die vor Beginn festzulegenden Kriterien sind kurz und entsprechen den Kriterien, die ein Käufer für einen Serienabnahmelauf festlegen würde.
Legen Sie fest, wie viele der zwanzig Kundenformulierungen erfolgreich funktionieren müssen, und zwar je Umgebung getrennt statt als globale Zahl, da die Umgebung die gemessene Variable ist. Legen Sie die obere Latenzgrenze in der Zielumgebung fest, nicht im Büro. Legen Sie fest, wie viele Fehlauslösungen in einem Gespräch akzeptabel sind – dies ist eine Beurteilung des Produktgebrauchs und kein technischer Messwert. Legen Sie das Ergebnis ohne Netzwerk fest, das als Aufzählung und nicht als Erfolgs- oder Fehlschlagkriterium angegeben werden sollte. Legen Sie außerdem das Kriterium für den Abschluss beim ersten Versuch fest: Welcher Anteil Erstbenutzer erledigt die Aufgabe ohne Hilfestellung? Diese einzelne Zahl sagt die Rückgabequote voraus.
Welches Modell getestet wird, ist genauso wichtig wie die Schwellenwerte. Testen Sie das Modell, den Firmware-Build und die Konfiguration, die Sie ausliefern möchten, denn ein Ergebnis aus einer anderen Kombination dieser drei Komponenten ist nicht übertragbar – hierbei verschlieren Käufer regelmäßig eine Woche. Fordern Sie die Build-Kennung auf dem Ergebnisprotokoll an und dokumentieren Sie sie.
Die auf den Test folgende Entscheidung
Sobald die Zahlen vorliegen, stehen drei Entscheidungen zur Verfügung, deren Abwägungen kommerzieller und nicht technischer Natur sind.
Die erste besteht darin, die Funktion beizubehalten und die Aussage einzuschränken. Das Produkt wird ausgeliefert, der Text beschreibt das Verhalten, und die Rückgabequote wird durch die Diskrepanz zwischen Text und tatsächlichem Verhalten bestimmt. Die zweite besteht darin, die Funktion und die allgemeine Aussage beizubehalten; dies ist nur möglich, wenn die Praxisergebnisse nahe an den Vorführergebnissen liegen. Die dritte besteht darin, die Funktion aus dem Umfang dieses Produkts herauszunehmen und eine separate Variante zu planen, die auf sie ausgelegt ist. Dies ist die teure Option und die richtige, wenn das Praxisergebnis zeigt, dass die Funktion in der Umgebung, in der das Produkt verkauft wird, nicht zuverlässig funktioniert.
Welche Option zu wählen ist, hängt von den Gesamtkosten und nicht von der Leistung ab. Die eingeschränkte Aussage verursacht einmalige Kosten für die Überarbeitung der Gestaltung und eine niedrigere Conversion-Rate im Listing. Die allgemeine Aussage verursacht Rückgaben, Erstattungen und Sichtbarkeit auf Marktplätzen – in einem Verhältnis zur Prominenz der Funktion. Die separate Variante verursacht eine zweite Produktlinie, eine zweite Zertifizierung und eine zweite Verpackungsserie. Sie ist nur gerechtfertigt, wenn die Funktion der eigentliche Grund dafür ist, dass der Vertriebskanal das Produkt überhaupt haben möchte.
Was vor der Bestellung vertraglich festgelegt werden sollte
Halten Sie vor der Bestellung drei Punkte schriftlich fest: die Aufzählung der Funktionen, die ohne Netzwerk weiterhin funktionieren; die Frist, die vor einer Änderung der Firmware oder des Modells einzuhalten ist, wenn dadurch das Verhalten des Assistenten verändert wird, einschließlich eines klar definierten Zeitraums; sowie die Anforderung, dass Marketing- und Etikettentexte mit der vom Hersteller angegebenen Funktionsliste übereinstimmen.
Diese drei Punkte verhindern, dass ein Praxisergebnis seine Gültigkeit verliert. Ohne sie bleibt der Produkttext unverändert so, wie er zum Launch verfasst wurde – und dieser Text basierte auf einer Vorführung.

Ein Praxisbeispiel: Ein Tourismusvertrieb testet die Übersetzung
Dies ist ein hypothetisches Szenario und kein Kundenprojekt. Es dient dazu, die Entscheidungsabfolge zu veranschaulichen.
Nehmen wir eine Marke für Tourismuskanäle an, die einen KI-Sprachassistenten in ein Modell mit Kamera integriert hat und in drei Märkte vertreibt, wobei ein auf Reiseführer ausgerichteter Anwendungsfall im Mittelpunkt des Nutzenversprechens steht. Das Marketingteam der Marke verfügt über eine Übersetzungszahl aus einer Lieferantenvorführung und möchte diese in die Produktbeschreibung aufnehmen. Der Einkäufer der Marke hat eine allgemeine Frage zu KI-Funktionen, statt eine konkrete Aussage, die er überprüfen möchte.
Schritt eins: die Bedingungen hinter der Zahl. Die Marke fragt, worum es sich bei der Vorführung handelte. Es war ein vorbereiteter Satz, in einem ruhigen Raum, bei guter Verbindung und auf einem vom Lieferanten eingerichteten Gerät. Die Zahl ist korrekt, aber irrelevant, und die Marke hat keine verwendbare Zahl.
Schritt zwei: die zwanzig Sätze. Die Marke formuliert die zwanzig Dinge, die ein Reisender oder ein Reiseführer tatsächlich sagen würde – einen Straßennamen, einen Preis, einen Ort mit ungewöhnlicher Schreibweise, eine Formulierung, die abgelehnt werden sollte. Der Lieferant testet sie auf zwei Geräten mit der ausgelieferten Version.
Schritt drei: die Umgebungen. Die Marke führt dieselbe Testreihe in einem ruhigen Büro, auf einer belebten Straße und bei schwacher Verbindung durch. Die Ergebnisse auf der Straße sind deutlich schlechter als die Ergebnisse im Büro. Das ist erwartbar und wurde nun gemessen.
Schritt vier: der Test ohne Netzwerk. Die Marke führt die Testreihe ohne Netzwerk durch. Aufnahme und Wiedergabe funktionieren weiterhin, Transkription und Übersetzung hingegen nicht. Das ist eine beschreibbare Einschränkung und nun eine schriftlich festgehaltene Tatsache statt einer unbekannten Größe.
Schritt fünf: die Entscheidung. Die Marke kommt zu dem Schluss, dass die Funktion eine Verbesserung, aber kein Kaufgrund ist, formuliert die Produktbeschreibung entsprechend und nennt ausdrücklich die Konnektivitätsanforderung sowie die unterstützten Sprachen. Sie stellt den Assistenten nicht an die Spitze der Produktbeschreibung und sorgt dafür, dass der auf Reiseführer ausgerichtete Workflow nicht von der Verfügbarkeit der Funktion abhängt.
Schritt sechs: die geschäftliche Folge. Die Marke übernimmt das einzeln aufgeführte Verhalten im Offlinebetrieb, eine Mitteilungsfrist für verhaltensändernde Updates und eine Klausel zur Übereinstimmung der Produktbeschreibung in die Bestellung. Außerdem beantragt sie eine zweite Prüfrunde, die finanziert wird, falls der Abnahmetest mit der Produktionsversion andere Ergebnisse als der Testversion liefert.
Entscheidend war der erste Schritt. Die Zahl des Lieferanten war nicht falsch; sie beschrieb lediglich ein anderes Produkt als dasjenige, das der Kunde in den Händen halten würde. Der Einkäufer musste daher feststellen, welches Produkt die Produktbeschreibung beschreiben sollte.
Die Zahlen, die wir veröffentlichen – und die wir nicht erfinden
Unsere Position zur Prüfung unter realen Bedingungen
Die Arbeitsregel, die wir anwenden, lautet: Die Distanz zwischen einer Vorführung und einem Kunden ist die wichtigste ungemessene Variable in dieser Kategorie. Ein Lieferant, der Vorführungszahlen wie Feldmessungen ausgibt, schadet dem Käufer. Wir führen die Tests lieber unter den Bedingungen durch, auf die es ankommt, und teilen Ihnen die Ergebnisse mit – auch die nicht schmeichelhaften.
Wir können Ihnen ein Gerät in der Konfiguration bereitstellen, die Sie ausliefern möchten, und gemeinsam mit Ihnen die erste Nutzung und die Tests unter realen Bedingungen durchgehen. So können Sie veröffentlichen, was Sie selbst gesehen haben. Wir führen die zwanzig von Ihnen formulierten Befehle in den von Ihnen genannten Umgebungen mit der von Ihnen angegebenen Version aus und berichten die Ergebnisse so, wie sie tatsächlich ausfallen, nicht so, wie sie idealerweise wären.
Der Messbogen, der diese Art von Fragen klärt, finden Sie unter KI-Funktionen messen, das Testprotokoll für ein Mustergerät unter KI-Funktionen vor der Bestellung testen, die zu vermeidenden Fehler bei Produktangaben unter häufige Fehler und die Funktionen ohne Verbindung unter offline verwenden. Hintergrundinformationen zur Plattform finden Sie unter KI-Funktionen in Smart Glasses.
Wo Ihre Kunden das Produkt verwenden werden
Teilen Sie uns mit, in welchen Umgebungen Ihre Kunden unterwegs sein werden, welche Sprachen sie verwenden werden und welche Version Sie ausliefern möchten. Gemeinsam mit Ihnen entwickeln wir dann den Praxistest: die zwanzig Befehle, die erste Nutzungssitzung mit jemandem, der das Produkt noch nicht gesehen hat, sowie den Test ohne Netzwerk. Anschließend teilen wir Ihnen die Ergebnisse mit, sodass Sie Ihre Produktbeschreibung darauf aufbauen können.
Weiterführende Informationen
- Der Messbogen, der die Frage klärt – KI-Funktionen messen
- Das Testprotokoll für ein Mustergerät – KI-Funktionen vor der Bestellung testen
- Die zu vermeidenden Fehler bei Produktangaben – häufige Fehler
- Was ohne Verbindung funktioniert – offline verwenden
- So testen Sie vor der Bestellung
Teilen Sie uns mit, in welchen Umgebungen Ihre Kunden unterwegs sein werden, und wir entwickeln gemeinsam mit Ihnen den Praxistest.



