AI-funktioner för smarta glasögon: mäts på en build, inte på en enhet
En AI-funktion mäts i frekvenser, svarstider och träffsäkerhet, och ingen av dem mäts genom att titta på en demonstration. En demonstration visar det bästa fallet: en förberedd fras, ett tyst rum, ett fungerande nätverk och en enhet som konfigurerats för tillfället. Smart glasses ai features smart glasses how to measure handlar om att omvandla en funktion till ett antal siffror som en köpare kan ange i en specifikation och som en annan köpare kan reproducera. Skälet till att göra det ordentligt är att AI-påståenden är de lättaste att överdriva och de svåraste att försvara, och de som misslyckas tenderar att göra det offentligt.
Det korta svaret: en AI-funktion består av åtta mätningar, varav två inte alls är prestandamätningar — offlinebeteende och datavägen, som tillsammans avgör vad du får skriva i en produktbeskrivning och vad din integritetsförklaring måste beskriva. Fastställ dina egna acceptanskrav innan du börjar, kör varje frekvens på flera enheter och med flera talare, och dokumentera firmwareens build-nummer för varje resultat, eftersom en AI-funktion förändras mellan builds och en mätning utan build-nummer inte kan reproduceras.
Köparen som avgör om en assistent hör hemma i produkten
En köpare avgör här vanligtvis om en röstassistent för AI alls hör hemma i produkten, eller vilken av två leverantörers implementeringar som ska användas. De har i åtanke prov, en funktionslista och en målgrupp — skapare, fältpersonal eller vardagsassistenter. Däremot har de ingen prestandata, eftersom data i den här kategorin genereras av modellleverantören och assistentplattformen snarare än av tillverkaren, och den förändras med builden snarare än med hårdvaran.
Den sista punkten förändrar hur en köpare bör tänka på beslutet. En AI-funktion är inte en egenskap hos produkten som köps en gång; den är ett förhållande mellan produkten, en modellleverantör, ett nätverk och en region. Köparens verkliga fråga är inte ”är detta bra” utan ”kan jag mäta det, kan jag ställa det mot ett tröskelvärde och vad händer när leverantören ändrar något”.
Tre saker hanteras samtidigt, och de drar åt olika håll. Det första är påståendet: en mening på en produktsida måste klara att en kund provar funktionen på ett möte, och den mening som överlever är vanligtvis snävare än den som marknadsföringsteamet vill ha. Det andra är beroendet: parten som drivmodellen kan vara en tredje part som varumärket inte har något avtal med, vilket är en inköpsrisk snarare än en teknisk risk. Det tredje är förändringen över tid: en assistent som ändras hos kunden mellan två leveranser är ett supportproblem som uppstår utan produktfel och därmed utan någon returorsak.
Köparen är dessutom ofta den som flera månader senare måste svara på ett klagomål om funktionen, på en marknad där klagomålet kommer att vara på ett språk som supportteamet inte talar. Därför måste mätningsformuläret skrivas så att det klarar personalbyten: ett tröskelvärde, en nämnare, ett build-nummer och ett datum, i stället för en beskrivning av hur det kändes.

Vad det kostar att underhålla en AI-funktion och vem som egentligen styr den
Kostnaden för en AI-funktion är inte en hårdvarukostnad. Det är ett löpande beroende, och de delar som syns på en inköpsorder utgör den minsta delen.
Inferensen sker antingen på enheten eller utanför den, och de två har helt olika kommersiella former. Inferens på enheten begränsas av hårdvaran du har köpt och är därför stabil och privat som standard, samtidigt som den är begränsad till vad chipet kan göra. Inferens utanför enheten begränsas inte av något du äger och är det som gör en genuint kapabel assistent möjlig — samtidigt som den innebär ett nätverksberoende, en svarstid, en regional fråga och en part som du inte styr.
Operatören av runtime-miljön är den enskilt viktigaste kommersiella uppgiften i dokumentet. En leverantör som säger att modellen tillhandahålls av en partner har berättat att en tredje part kan ändra beteendet hos din produkt, på din marknad, utan att någon inköpsorder behöver ändras. Det är en annan typ av risk än komponentbyte, eftersom ett komponentbyte kan skrivas in i en klausul om ändringskontroll, medan en modelländring inte kan det.
Uppdateringsvägen är en inköpsfråga, inte en teknisk fråga. En funktion som förändras via uppdateringar över luften kan ändras utan en ny beställning, utan en ny provlagerenhet och utan någon skyldighet att meddela om förändringen, om det inte står uttryckligen. För ett varumärke som har lagt ett marknadsföringsbudget på funktionen är en oannonserad förändring inte en teknisk händelse utan en kommersiell. Leverantörens möjlighet att ange ett versionsnummer och en uppdateringsmekanism är därför det första som bör klarläggas, eftersom en leverantör som inte kan ange versionen inte kan berätta vad ni har mätt.
Datavägen är en överensstämmelsefråga inom en fast ram. Från och med den 1 augusti 2025 är cybersäkerhetskraven i radioutrustningsdirektivet en obligatorisk del av CE-märkningen och beskrivs av EN 18031-serien av harmoniserade standarder, som omfattar säker kommunikation, kryptering, säker lagring, användarsamtycke och processen för hantering av identifierade sårbarheter. En röstfunktion omfattas tydligt av detta område, och underlaget som ett varumärke så småningom kommer att bli ombedt att lämna är inte funktionens träffsäkerhet utan datavägen bakom den.
Inget av detta kostar pengar på fakturan, vilket precis är därför det hoppas över. Förhandlingsutrymmet ligger i åtagandestrukturen snarare än i priset: skyldigheten att meddela om en firmwareändring, definitionen av nedsatt funktionsnivå utan nätverk, rätten att kräva en ändring av underlaget, hur länge den uppmätta versionen är den levererade versionen samt antalet enheter i utvärderingspartiet.

De åtta mätningarna, deras tröskelvärden och regeln om nämnare
Begär raderna nedan skriftligen innan proverna testas. Högerkolumnen skiljer en leverantör som har mätt den levererade versionen från en som beskriver en möjlighet.
Vakningsfrekvens, med testförhållandena. En procentsats över ett angivet antal försök, i en angiven miljö. ”Mycket responsiv” är ett vagt svar, och det är det svar som oftast ges.
Frekvens av falsk aktivering. En procentsats över ett angivet antal försök, i en angiven miljö. Detta är den mätning som avgör om funktionen är användbar offentligt, och det är nästan aldrig den som rapporteras. En enhet som avbryter ett samtal är en produkt som tas av, oavsett hur väl den fungerar när den aktiveras.
Frekvens av godkända kommandon, baserat på en fast lista. En procentsats mot en lista som köparen tillhandahåller. ”Förstår naturligt tal” är ett vagt svar, och fraslistan måste vara den som er kund använder, inte den som demon visar.
Fördröjning, med nätverkstillståndet. En siffra med en fast tröskel och ett angivet nätverksförhållande. ”Mycket snabb” är ett vagt svar. Fördröjningen är skillnaden mellan en funktion som känns responsiv och en som känns trasig, och den varierar med nätverksförhållandena, vilket är därför nätverkstillståndet måste ingå i mätningen.
Igenkänningsprecision per förhållande. En siffra för ett tyst rum och för den verkliga miljön. ”Hög precision” är ett vagt svar. Dialekter, bakgrundsljud, ett ovanligt ordförråd och en låg röst påverkar alla resultatet, och det som spelar roll är förhållandena hos er kund.
Översättningsprecision, bedömd av en moderspråkig person. En bedömning av de fraser som kunden behöver. ”Exakt översättning” är ett vagt svar, och en översättning som hanterar hälsningar men misslyckas med en produktbeskrivning fungerar inte för en köpare.
Beteende utan nätverk. En skriftlig beskrivning av vad som händer när nätverket kopplas bort. Tystnad om ämnet är det svar som oftast ges, och det avgör den vanligaste tvisten i denna kategori: om produkten gör vad dokumentationen säger när nätverket inte är tillgängligt.
Dataväg och samtyckesmekanism. En beskrivning av vad som lämnar enheten och hur samtycke hanteras. ”Data hanteras säkert” är ett vagt svar och betyder ingenting.
Firmwareversion och uppdateringsmekanism. Versionsidentifieraren och hur en levererad enhet uppdateras. ”Uppdateringar via appen” är ett vagt svar.
Modellbeteckning. En publicerad beteckning för den exakta konfigurationen. Endast ett serienamn är ett vagt svar, och det innebär att två konfigurationer kan jämföras utan att någon av dem kan identifieras.
En frekvens utan antalet försök är inte en frekvens. Varje procentsats i denna lista kräver en nämnare, en lista över försök och en miljö. ”98 % vakningsfrekvens” som mäts över tio försök i ett tyst kontor är ett sämre resultat än ”85 % vakningsfrekvens” som mäts över trehundra försök på en gata, och endast en av dem förutsäger något. Detta är det vanligaste felet i kategorin, och det är osynligt utan en nämnare.
Falsakt aktiveringsresultat är användbarhetsgrinden, inte en teknisk bisats. Tröskeln som en köpare sätter är en produktfråga om var produkten kan säljas — ett mötesrum och en gata är olika marknader för samma enhet.
Buildnumret är kolumnen som gör resultaten värda att behålla. En AI-funktion förändras mellan buildversioner, och en mätning utan buildnummer kan varken reproduceras eller försvaras. Om en leverantör inte kan ange buildversionen kan de inte heller berätta vad du har mätt.
En varning gäller alla rader: dessa siffror är inte direkt jämförbara mellan leverantörer. Två implementeringar använder olika fraslistor, olika nätverk, olika antal försök och olika definitioner av en lyckad aktivering. Innan du bygger en tabell ska du bestämma vilken kolumn som är din egen mätning och vilken som är leverantörens uppgift, och du får aldrig blanda de två i samma rad utan en anteckning.

Kör mätbladet två gånger, på flera enheter, i två miljöer
1. Bygg mätbladet före det första testet. Fem kolumner och inget mer: testet, förhållandena, antalet försök, resultatet och datumet med firmwarebuildnumret. Ett ark med fler kolumner kommer inte att fyllas i, och ett ark som inte fylls i ger bara en demonstration.
2. Testa två eller tre enheter av samma buildversion när funktionen är avgörande. En funktion som fungerar på en prov men misslyckas på en annan har ett yieldproblem, och ett yieldproblem är osynligt i ett test med en enda enhet.
3. Testa en enhet direkt ur kartongen med en ny telefon, inte demonstrationsenheten. En demonstrationsenhet har redan konton kopplade, språket inställt, regionen konfigurerad och nätverket känt att fungera. Enheten ur kartongen är produkten som kunden får, och skillnaden mellan de två är den vanligaste orsaken till att en funktion fungerar i ett mötesrum men inte i kundens kök.
4. Testa i två miljöer och rapportera båda. Varje resultat har ett värde i ett tyst rum och ett värde på en gata, och endast det senare förutsäger kundupplevelsen. Att rapportera det ena men inte det andra är ett val om vilken kund du säljer till.
5. Använd de fraser en kund skulle använda, inte de fraser ni använder. Om manuset ändras mellan körningarna blir de två omgångarna ojämförbara, och det är den vanligaste formen av fel. Behåll fraslistan tillsammans med resultaten.
6. Kör hela mätbladet två gånger, på olika dagar. Behandla en stor skillnad mellan de två körningarna som ett fynd, inte som brus. En funktion vars framgångsandel förändras med tjugo procentenheter mellan körningarna är inte stabil, och en produkt som bygger på den är en produkt där kundupplevelsen är en lotteri.
7. Verifiera datapathen i stället för att mäta den. Observera nätverkets beteende, jämför det med dokumentationens påståenden och dokumentera jämförelsen. Detta hör hemma i due diligence-akten, inte i laboratoriet, eftersom det är en jämförelse mot ett dokument och inte ett tal.
8. Upprepa mätbladet på den buildversion som faktiskt ska levereras. Den mätning som har kommersiell betydelse är den som görs på den buildversion kunden har i handen, och om den buildversionen kommer efter din provenhet måste mätbladet köras om på den.
Fyra sätt som ett program för AI-funktioner misslyckas, och de villkor som förhandlas
Funktionen presenteras i en produktlista men misslyckas i kundens möte. Grundorsak: falsakt aktiveringsresultat har aldrig mätts, endast aktiveringsfrekvensen. Förebyggande: mät båda och fastställ tröskeln för falsk aktivering innan produktsidan skrivs.
Kunden rapporterar att assistenten slutade fungera efter en uppdatering. Grundorsak: mätningen var knuten till en buildversion, och buildversionen ändrades utan omtestning. Förebyggande: dokumentera buildnumret med varje resultat och kör mätbladet på nytt mot den buildversion som faktiskt ska levereras.
En översättningsanspråk görs men granskare av målspråket avvisar den. Grundorsak: noggrannheten bedömdes av någon som inte talar målspråket som modersmål, med fokus på hälsningar snarare än fungerande fraser. Förebyggande: låt en modersmålstalare av målspråket betygsätta de fraser kunden behöver, och dokumentera fraslistan.
Produkten fungerar i demolandet men misslyckas på lanseringsmarknaden. Grundorsak: mätningen gjordes i en region på ett nätverk. Förebyggande: kör mätbladet på lanseringsmarknaden, på de nätverk kunden kommer att använda, och rapportera båda resultatmängderna.
Et program för AI-funktioner spenderar proportionellt mer på utvärderingsenheter än ett hårdvaruprogram, eftersom funktionen är produkten och antalet provenheter är konfidensintervallet. De villkor som är värda att förhandla om tid:
- Minsta beställningskvantitet och antalet utvärderingsenheter, som måste vara större här än i en hårdvarukategori eftersom antalet prov utgör konfidensintervallet.
- Förpacknings- och insertdesign, inklusive marknadsetiketter, språket i dokumentpaketet och formuleringen av samtycke, som i denna kategori är ett överensstämmelseartefakt och inte ett insert.
- Uppdelning av leveranser i förhållande till en milstolpe för godkännande av prov, som ofta beviljas lättare än en prisreduktion.
- Betalningsgränserna: en deposition vid undertecknande, ett restbelopp som betalas när inspektionen godkänns samt kvarhållning på dokumentpaketet.
- Garantiperioden med en angiven åtgärdstid samt returpolicyn, som måste ta hänsyn till en funktion som kan ändras utan föregående meddelande.
Två kostnader i ett funktionsprogram citeras men förhandlas inte. Certifieringskostnaden och ledtiden för certifiering följer processen och testarorganisationen snarare än din beställningsstorlek, och för en uppkopplad produkt omfattar de kraven på cybersäkerhet i radioutrustningsdirektivet. Verktygskostnader skrivs ofta av på den första beställningen. Två saker följer av detta: den volym som kostnaden sprids över och var verktyget finns om programmet avslutas. Under båda ligger uppdateringsvägen: en leverantör som inte kan ange ett buildnummer och en uppdateringsmekanism berättar att funktionen kan ändras utan ett avtalat meddelande till dig, och det är en större kommersiell exponering än enhetspriset.
Filen som ska begäras före depositionen är: buildidentifieraren för firmware och uppdateringsmekanismen; certifikatnumren med utfärdande organisation och giltighetsdatum; försäkran om överensstämmelse för den exakta modellbeteckningen; en skriftlig beskrivning av datapvägen och samtyckesmekanismen; samt modellbeteckningen som anges i offerten.
De avtalsklausuler som skyddar ett påstående om en AI-funktion är dessa: modellbeteckningen som en egen post, med bifogade certifikatnummer; acceptanskriterierna för provet, med hänvisning till mätprotokollet och de fasta tröskelvärdena; en klausul som kräver meddelande före en firmwareändring som påverkar assistentens beteende, så att köparen kan testa om, och en angiven period under vilken den uppmätta buildversionen är den levererade buildversionen; samt en klausul om vem som bär kostnaden när provet inte uppfyller acceptanskriterierna.
En assistent för fältpersonal som mäts, och gränsen för vad vi kan publicera
Betänk ett hypotetiskt scenario snarare än ett verkligt klientprojekt. Anta att en köpare på varumärkessidan lägger till en assistent i en befintlig produktlinje med kameror för en fältservicekanal, där slutanvändaren arbetar i en bullrig miljö, kan bära handskar och kommer att använda produkten tillsammans med en partner som också talar.
Steg ett: kravet. Assistenten efterfrågas för att spela in röstnoteringar under en platsinspektion, på en bullrig plats, med en partner som pratar i närheten. Den enda meningen anger tröskelvärdena: felaktiga aktiveringar måste vara tillräckligt sällsynta för att partnerns samtal inte ska aktivera enheten, aktiveringsfrekvensen måste mätas med den fraslista en arbetare på plats faktiskt skulle använda, och igenkänningsnoggrannheten måste rapporteras under bullriga förhållanden snarare än i tyst miljö.
Steg två: protokollet. Köparen tar fram protokollet med fem kolumner, fastställer tröskelvärdena innan proverna kommer och ber leverantören om buildnumret och uppdateringsmekanismen i samma meddelande. Leverantören återkommer med en aktiveringsfrekvens utan nämnare och utan buildversion samt en beskrivning av felaktiga aktiveringar som ”mycket responsiv”. Båda svaren förs in i filen som iakttagelser, inte som resultat.
Steg tre: enheterna. Tre enheter med samma buildversion testas, med en nyutpackad enhet och en ny telefon, i ett tyst rum och på en gata. Aktiveringsfrekvensen är väsentligt lägre på gatan än leverantörens siffra, som hade mätts i ett tyst rum, och en av de tre enheterna ger upphov till en felaktig aktivering som de andra två inte gör. Skillnaden mellan enheterna är den viktigare iakttagelsen, eftersom den är ett yieldproblem snarare än ett produktproblem, och den förändrar frågan från ”är detta bra” till ”är detta tillräckligt konsekvent för att publicera på en produktsida”.
Steg fyra: upprepningen. Hela protokollet körs igen två dagar senare, på samma enheter, och aktiveringsfrekvensen förändras kraftigt. Det är den iakttagelse som avslutar diskussionen om att publicera någon aktiveringsfrekvens alls, och den riktar om köparen mot ett påstående som produkten faktiskt kan upprätthålla: assistenten finns, den svarar på fraslistan och den är uppmätt på en angiven buildversion.
Steg fem: den kommersiella strukturen. Köparen skriver in skyldigheten att meddela om firmwareändringar som påverkar assistenten i inköpsordern, definierar nollställt läge offline som ett godkänt beteende i stället för ett fel, knyter exemplartexten till den version som levereras och delar upp den första leveransen mot en milstolpe för godkännande av prov. Resultatet blir en funktion som presenteras på den nivå som underlaget stödjer, i stället för en som presenteras på den nivå som en demonstration antyder och sedan misslyckas offentligt.
Vår egen position är att vi publicerar de AI-funktioner som vår dokumentation stödjer och markerar resten som öppna, och att vi hellre låter en köpare genomföra dessa mätningar än att de litar på en beskrivning av dem. Vår katalog anger en AI-röstassistent bland de viktigaste teknologierna i kameraglasögonfamiljen, och vår oberoende webbplats beskriver AI-översättning på K01, som är en ljudmodell, så vi behandlar det som en observation från vårt eget marknadsföringsmaterial snarare än som en specifikation. Vi publicerar ingen aktiveringsfrekvens, ingen frekvens av falska aktiveringar, ingen framgångsfrekvens för kommandon, inga svarstidssiffror, ingen igenkänningsprecision, ingen översättningsprecision och inget offlinebeteende för någon modell, och vi uppskattar inte något av det heller. Vi anger inte heller ett värde i en produktlista om det har mätts på en demonstrationsenhet, eftersom ett värde som inte går att reproducera är ett påstående som inte går att försvara när kunden står framför dig.
Det vi kommer att göra är att leverera enheter med en känd firmwareversion och gå igenom mätformuläret tillsammans med dig i stället för att skicka en demonstration. Protokollet behandlas i testa AI-funktioner innan beställning, leverantörsfrågorna i verifiering av AI-leverantörer, de vanliga misstagen med påståenden finns i vanliga AI-mistag, och bakgrunden finns i AI-funktioner.
Vad du bör göra härnäst. Lista de funktioner du avser att publicera, den miljö där de ska användas och de fraser kunden faktiskt kommer att säga. Fastställ tröskelvärdena innan proven kommer. Kör mätformuläret på tre enheter, direkt ur lådan, i två miljöer, två gånger, och registrera versionsnumret för varje resultat. Bestäm sedan, med siffrorna framför dig, vilken funktion som är värd att ange på webbplatsen och vilken som inte är det.
Relaterad läsning
- Testprotokollet för ett prov — testa AI-funktioner innan beställning
- Frågorna du bör ställa till en leverantör först — verifiering av AI-leverantörer
- De vanliga misstagen med påståenden — vanliga AI-mistag
Berätta vilka funktioner du avser att publicera och vilken miljö det gäller, så skriver vi mätformuläret tillsammans med dig.



