OEM/ODM-tillverkare av smarta glasögon · Shenzhen, Kina +86 19835872450 sales@cynrin.com
Teknik för smarta glasögon

Så testar du AI-funktioner för smarta glasögon med riktiga användare

Ett exempeltest visar om en AI-funktion fungerar. Ett staged test med riktiga användare visar om någon använder den, och ett tredje test visar om den…

Av CYNRINs ingenjörs- och inköpsgrupp/ Feb 24, 2026/ 19 min läsning
Så testar du AI-funktioner för smarta glasögon med riktiga användare

Ett provtest visar om en AI-funktion fungerar. Ett stegvis test med riktiga användare visar om någon använder den, och ett tredje test visar om den finns kvar om sex månader – och det tredje är det som en köpare faktiskt köper. En assistent i smarta glasögon är ett beroende, inte en komponent: modellen körs någonstans, någon driver tjänsten, och en kund som har använt funktionen i två veckor upptäcker den på ett sätt som en köpare aldrig gör. Programmet måste därför besvara tre frågor i tur och ordning – vad som händer när tjänsten inte finns, hur ofta verkliga människor väljer att använda funktionen och om den finns kvar ett år senare – och svaren måste bli avtalsklausuler, eftersom den tredje frågan inte är en teknisk risk utan en kommersiell. Vi publicerar ingen aktiveringsfrekvens, ingen frekvens av falska aktiveringar, ingen framgångsfrekvens för kommandon, ingen latens, ingen igenkänningsprecision och inget beteende utan internet för någon modell, och vi uppskattar dem inte heller.

AI-funktioner för smarta glasögon: vad som misslyckas och när

Skillnaden mellan en demonstration och kundens första vecka

Vår produktkatalog anger en AI-röstassistent som en av de viktigaste teknikerna i kameraglasögonfamiljen, och vår oberoende webbplats beskriver AI-översättning på K01, som är en ljudmodell. Det är de två påståenden som vi kan belägga. Allt annat i den här kategorin – aktiveringsfrekvens, frekvens av falska aktiveringar, framgångsfrekvens för kommandon, latens, igenkänningsprecision och beteende utan internet – publiceras inte för någon modell, och vi uppskattar det inte heller.

Luckan finns av en anledning, och den anledningen präglar hela synsättet på inköpet. En assistents beteende genereras av modellen och tjänsten bakom den, inte av tillverkaren, så en siffra som beskriver det tillhör den som driver tjänsten. En tillverkare kan rapportera vad deras egen fast programvara gör med resultatet, och kan rapportera hur en levererad enhet beter sig när resultatet aldrig kommer. Tillverkaren kan däremot inte lova vad modellen kommer att göra nästa månad, eftersom modellen inte är deras att ändra.

Den strukturella konsekvensen är att en demonstration och kundens första vecka är olika händelser. En demonstrationsenhet har kontona länkade, språket inställt, regionen konfigurerad, nätverket känt att fungera och någon i rummet som vet vad som ska göras om något går fel. Den enhet som levereras i kartongen är vad kunden får, och skillnaden mellan de två tillstånden är där de flesta iakttagelserna finns.

Läsaren är en produktchef, inköpare hos en leverantör eller en återförsäljare som måste avgöra om en AI-assistent är en huvudfunktion eller en punkt på listan, och som har prover, ett målpris, en återförsäljningskanal och en funktionslista att förhålla sig till. Risken som hanteras är en lansering där funktionen tillkännages, inte överlever mötet med ett verkligt hushåll och återkommer som ett återbetalningsansvar och ett recensionsproblem i stället för ett tekniskt ärende.

Det en köpare försöker undvika

Att lansera en funktion som kunderna slutar använda. En funktion som används mindre under den andra veckan än den första har visat dig något viktigt, även om varje enskilt test godkänts. En produkt som säljs med en funktion som ingen använder är en produkt med ett återbetalningsansvar och ett recensionsproblem.

En produktsida som säger att funktionen fungerar utan anslutning, när den inte gör det. Steget för felaktiga förutsättningar avgör om felet hanteras smidigt, och det är det steg som avgör vad produktsidan får säga.

Ett resultat som smickrar produkten eftersom testpersonen var engagerad. En kollega som har ett intresse av utfallet kommer att använda funktionen på rätt sätt, och det är inte samma sak som att behöva den.

Ett beroende som varumärket inte känner till. Detta är det som är unikt för den här kategorin. Varje annan funktion på produkten skapas av någon som köparen har tecknat avtal med. Den här funktionen har det kanske inte, och om köparen inte har frågat är standardsvaret: tjänsten drivs av någon annan och kan ändras eller tas bort av någon som varumärket aldrig har träffat.

AI-funktioner för smarta glasögon: fyra assistenttillstånd, vad var och en innebär

AI-genererat fotografi som illustrerar hur man testar AI-funktioner för smarta glasögon med riktiga användare – bild 1 av 3

Inköpsuppgiften: att avgöra vad som händer när tjänsten inte finns

Vem driver tjänsten bakom funktionen

Innan något mäts måste varumärket fastställa vem som äger funktionen, eftersom ägandet avgör den kommersiella strukturen för hela programmet och är det svåraste att ändra i efterhand.

Tre frågor avgör det. Körs modellen på enheten eller på en server? Vem ansvarar för servern om det är en server? Och vad händer med funktionen om den aktören ändrar sina priser, sin modell eller sitt stöd för produkten?

Detta är inte tekniska nyfikenheter. En assistent som körs på enheten har en livslängd knuten till produkten och ett beteende som tillverkaren kontrollerar, vilket gör det till en specifikationsfråga. En assistent som körs på servern har ett beteende som tillverkaren inte kontrollerar, vilket gör det till en leverantörskedjefråga, och varumärket förhandlar nu med två motparter i stället för en. Skillnaden avgör programmets totala kostnad, kontraktens struktur och om funktionen ärligt kan beskrivas i produktannonsen som något produkten gör.

Den andra frågan att avgöra är vad varumärket har rätt att veta om en förändring. En funktion som kan ändras utan ett avtalat meddelande till varumärket innebär en större kommersiell risk än en skillnad i enhetspris, eftersom varumärket har investerat i förpackning, texter, utbildning och supportsamtal för ett beteende som det inte kontrollerar. En skyldighet att meddela, med en angiven period, gör risken hanterbar.

Den tredje frågan är vad som händer när tjänsten tas bort. Det finns alltid ett praktiskt svar, och svaret är normalt att funktionen upphör att finnas för kunder som redan har betalat för en produkt som annonserats med den. Klausulen som anger ett återgångsläge — ett offlinebeteende, ett begränsat kommandouppsättning eller en lokal återgångslösning — är värdefullare än någon funktion som tjänsten tillhandahåller, eftersom det är den enda del som varumärket kan garantera.

Var en assistents beroenderisk faktiskt ligger

Matrisen ovan placerar de två dimensioner som spelar roll bredvid varandra. Cellen nederst till höger är den starkaste position ett varumärke kan nå, och den nås genom avtal snarare än genom teknik. Cellen uppe till vänster är den vanligaste positionen i denna kategori, och åtgärden är inte en bättre modell — det är ett återgångsläge och en meddelandeperiod.

The four degradation states, and the thresholds that go with each

The four states and the clause each one requires

Assistenten befinner sig inte i ett enda tillstånd, utan i fyra, och var och en av dem innebär en annan skyldighet för varumärkets texter och en annan klausul i avtalet.

Ansluten och fungerande. Kommandot förstås och besvaras. Skyldigheten här är den minsta: produktannonsen får omfatta funktionen, förutsatt att funktionslistan anger dess förutsättningar. "Förstår naturligt tal" blir "igenkände ett kommando från en lista på fyrtio fraser, i ett rum med en angiven ljudnivå och på en angiven firmwareversion" — en påstådd egenskap snarare än en funktion.

Ansluten men försämrad. Ett långsammare svar, ett delvis svar eller ett avslag. Detta är det tillstånd som ingen skriver om och alla upplever, och det är där löftet i texterna normalt brister. Tröskeln att hålla är en skriven beskrivning av det försämrade beteendet, som framtagits av leverantören och inte av varumärket, eftersom varumärket inte kan beskriva det korrekt utifrån. En produktannons som lovar ett svarstid är ett påstående om det försämrade tillståndet, inte om det fungerande.

Inget nätverk. Ett lokalt avslag, en kö eller tystnad. Tröskeln är att beteendet är specificerat och att specifikationen syns för kunden både i produktannonsen och i informationsbladet. En enhet som misslyckas tyst i en his är ett supportärende; en enhet som säger vad den gör är en funktion.

Tjänsten har tagits bort. Funktionen upphör att finnas för kunden. Tröskeln är avtalsmässig: en meddelandeperiod, ett definierat återgångsläge och det pris till vilket varumärket kan kräva att tjänsten hålls igång. Den här raden undertecknas av varumärket och upptäcks av kunden, och det är den enda som överlever lanseringsveckan.

En användbar metod för alla fyra tillstånd är att skriva texterna utifrån det sämsta tillstånd du kan nå i stället för det bästa du kan visa. En produktannons som klarar tillståndet utan nätverk och det försämrade tillståndet klarar automatiskt det fungerande tillståndet, men omvänt gäller inte det.

The questions to put in writing before the deposit

Frågorna om tjänsteberoenden som bör skrivas ned före handpeningen

De tre grupperna i checklista ordnas efter vad de avgör, inte efter vem som tillhandahåller dem. Ägandegruppen avgör programmets kommersiella struktur och måste vara avslutad innan ett avtal utarbetas. Kontinuitetsgruppen avgör risken och avgör om varumärket kan sova gott om natten efter lanseringen. Datagruppen avgör vad integritetsförklaringen får innehålla och är den grupp som marknader med egna dataregler kommer att fråga efter. Totalt nio rader, och frågorna som ska ställas är desamma för varje kandidat, vilket gör jämförelsen mellan dem rättvis.

  1. Vem driver tjänsten bakom assistenten, och är det fabriken, appoperatören eller en tredje part.
  2. Om modellen körs på enheten eller på en server, och vad enheten kan göra utan den.
  3. Den skriftliga listan över funktioner, med varje post och det villkor som gäller för den.
  4. Listan över språk som stöds, med riktningen för varje par om översättning påstås.
  5. Databeskrivningen: vad som samlas in, var det behandlas och hur mikrofonen inaktiveras.
  6. Uppdateringsmekanismen och hur länge byggen för fast programvara är tillgängliga.
  7. Den information varumärket får innan en modell eller ett beteende ändras.
  8. Det skriftliga beteendet när tjänsten tas ur bruk.
  9. Certifikatnumren med utfärdande organ och deras giltighetstider.
AI-genererat foto som illustrerar hur AI-funktioner för smarta glasögon testas med riktiga användare – bild 2 av 3

Bygga ett tvåveckorsprogram som ger underlag för användning

De sex etapperna och dokumentationen de ger

Programmet pågår i två veckor med personer som inte har något intresse av resultatet, och de två siffror som spelar roll framkommer ur det: användningsfrekvensen och fördelningen av felmodeller.

Det stegvis uppbyggda programmet som ger underlag för användning i stället för en demonstration

Etapp ett är den första körningen utan hjälp. En person, en enhet, ur kartongen och till en telefon som aldrig har paraats med den. Titta och ingrip inte. Den här etappen fångar upp konfigurationsproblem som ett stickprovstest hoppar över: språket är inte inställt, kontot är inte kopplat, regionen är fel, en behörighet saknas och det första försöket misslyckas av en orelaterad anledning.

Etapp två är den första dagen med personens vanliga rutiner. Användes funktionen en gång, tre gånger eller inte alls? Fråga nästa morgon i stället för direkt, eftersom svaret i stunden påverkas av demonstrationseffekten.

Etapp tre är den första veckan med fem personer, deras egna enheter, egna konton och egna nätverk. Nu framtrer variationen. Vissa befinner sig på en bullrig plats, vissa har en dialekt och en har en gammal telefon. En funktion som fungerar för fyra av fem kommer att få den femte att lämna in produkten.

Etapp fyra är de dåliga förhållandena, som introduceras avsiktligt. Ett bullrigt kafé, en svag signal, ett mörkt rum, en telefon med lågt batteri. Här blir frekvensen av falska aktiveringar och fördröjningen synlig, och det är den etapp som en demonstration aldrig når.

Etapp fem är fel förhållanden. Enheten utan nätverk och enheten vars konto har gått förlorat. Frågan är om felet hanteras gracefult, och svaret är vad produktsidan får säga.

Etapp sex är den andra veckan. Fråga samma fem personer igen. Frågan är om beteendet har ändrats.

Dokumentationen består av fem fält och inget annat: personen, enheten, byggen av fast programvara, förhållandena och resultatet. Användningsfrekvensen och fördelningen av felmodeller härleds sedan ur dokumentationen i stället för att minnas. Buildnumret är kolumnen som utelämnas, och det är den som låter dig jämföra den andra veckan med den första, eller ett supportärende tre månader senare med resultatet du skrev ner.

Tröskelvärden värda att hålla

Användningsfrekvensen är siffran som förutsäger om funktionen spelar roll. Hur många gånger en verklig person tog till den under en dag. En funktion som en motiverad testare använder tjugo gånger i timmen och en vanlig person använder två gånger om dagen är olika funktioner, och det andra talet är det som spelar roll.

Fördelningen av felmodeller spelar större roll än antalet fel. Inte hur många fel det var, utan vilken typ. En funktion som misslyckas tyst i ett bullrigt rum behöver en annan åtgärd än en som misslyckas långsamt i ett svagt nätverk, och de två åtgärderna ansvarar olika personer för.

En lista över funktioner utan tillhörande villkor är en lista över avsikter. Tröskelvärdet att hålla är att varje funktion kommer med ett tal, ett villkor och ett urval, eller inte kommer alls.

Byggidentifieraren måste registreras för varje resultat. Det är det som gör att ett supportärende tre månader senare kan jämföras med ett nummer som skrivits ner i ett testrum, och det är det billigaste fältet att registrera och det dyraste att återskapa.

Databeskrivningen är en kommersiell omständighet, inte en teknisk detalj. Den avgör vem som driver tjänsten, vad en integritetspolicy kan säga och vad som händer på en marknad med egna dataregler. Ett varumärke som inte kan beskriva vart datan går kan inte skriva integritetssidan, och ett varumärke som inte kan skriva integritetssidan kan inte lansera.

AI-genererat fotografi som illustrerar hur AI-funktioner för smarta glasögon kan testas med riktiga användare – bild 3 av 3

Där ett program för AI-funktioner bryter sönder efter lanseringen

Funktionen presenteras i en produktsida, men ingen använder den. Grundorsaken är att programmet stoppades i laboratoriefasen, där allt fungerar eftersom testaren är engagerad. Förebyggande åtgärd är att köra igenom hela processen till den andra veckan och behandla användningsgraden som ett villkor för texten i stället för en statistik som rapporteras i efterhand.

Misslyckandet vid första körningen avskrivs som ett firmware-fel. Grundorsaken är att det oftast rörde sig om en konfiguration, ett språk, ett konto, en behörighet eller ett steg som saknades i bruksanvisningen. Förebyggande åtgärd är att jämföra snabbstartsguiden med resultaten från första körningen, eftersom lösningen ofta är ett stycke text snarare än en firmware-uppdatering.

Produktsidan säger att funktionen fungerar utan anslutning. Grundorsaken är att fasen med felaktiga förutsättningar hoppades över, eller att felet inte hanterades på ett smidigt sätt. Förebyggande åtgärd är att köra den fasen och se till att produktsidan beskriver vad användaren faktiskt ser.

Tjänsten ändras och produkten slutar matcha förpackningen. Grundorsaken är att det inte fanns någon skyldighet att meddela förändringen, så den kom som en överraskning för varumärket och för varje kund som läst den gamla texten. Förebyggande åtgärd är att göra underrättelsetiden till en avtalsbestämmelse och att ta med en granskning av texten i ändringsrutinen.

Supportteamet kan inte besvara en fråga om funktionen. Grundorsaken är att listan över funktioner skrevs som en lista över avsikter, och att inget resultat någonsin registrerades i en form som supportteamet kunde citera. Förebyggande åtgärd är att ge supportteamet listan över funktioner med dess villkor och firmware-byggen, vilket är ett dokument, inte ett möte.

En kund rapporterar att funktionen fungerade och sedan slutade fungera. Grundorsaken är att tjänsten ändrades, att kontot upphörde att gälla eller att byggen avinstallerades. Förebyggande åtgärd är en skriftlig instruktion om vad kunden bör göra, vilket i praktiken innebär att informera om återfallsläget i informationsbroschyren i stället för i ett support-svar.

Genomgångsexempel: ett varumärke som avgör om assistenten ska vara en rubrik

Detta är ett räkneexempel och inte en faktisk beställning. Det finns här för att redovisa ordningen.

Anta att ett konsumentvarumärke överväger en AI-kameraglasögonlinje för en allmän marknad, med två möjliga plattformar och en produktsida som måste skrivas på sex veckor. Den bindande begränsningen är inte priset. Det är att varumärkets tidigare lansering hade en funktion som slutade fungera för vissa kunder, och att varumärkets eget supportteam saknade svar på deras frågor.

Frågan om ansvar kommer först, innan någon av plattformarna jämförs. Varumärket ställer de två frågorna – var modellen körs och vem som driver tjänsten. Den ena kandidaten körs på enheten, och varumärket kan beskriva beteendet. Den andra körs i en tjänst som varumärket inte har avtal med, och leverantörens svar omfattar en underrättelsetid och ett skriftligt återfallsläge. Det svaret förändrar jämförelsen fullständigt: den första plattformen har en teknisk risk som varumärket kan hantera, medan den andra har en beroenderisk som varumärket endast kan dölja.

De fyra tillstånden skrivs in i avtalet innan texten skrivs. Fungerande, försämrat, inget nätverk och återkallat. För den andra plattformen lämnar leverantören den försämrade beskrivningen och återfallsläget skriftligen, och varumärket godkänner formuleringen av beteendet utan nätverk. Texten skrivs sedan utifrån det sämsta tillståndet, vilket ger en långsammare och mindre spännande produktsida, men en som håller.

Det stegvisa programmet körs på enheter direkt ur förpackningen. Den första körningen med en ny telefon avslöjar två konfigurationsproblem som hade varit osynliga på en förberedd enhet. Den första veckan med fem personer ger ett kontobekymmer och ett fel vid svagt nätverk. Den andra veckan ger en måttlig användningsgrad, och varumärket bestämmer att funktionen ska vara en punkt i produktbeskrivningen snarare än en rubrik.

Texten anpassas för att stämma. Eftersom användningsfrekvensen är måttlig beskrivs funktionen i produktlistans andra stycke i stället för i titeln, och supportmanualen och informationsbladet utarbetas i enlighet med detta. Varumärket godtar en mindre starkt formulerad påstående och undviker lanseringsrisker.

Den kommersiella strukturen följer ägandefrågan. För plattformen som varumärket kan avtala med förhandlar varumärket om uppsägningstiden och retentionen av produktionsbygget och begär en andra provomgång så att reservläget kan verifieras på en produktionsenhet. För plattformen som varumärket inte kan avtala med kräver varumärket att reservläget implementeras på enheten som ett villkor, och om svaret är nej släpper varumärket den kandidaten.

Resultatet är en produktrad med ett måttligt påstående, ett skriftligt reservläge och ett supportteam som kan besvara frågan. Det avgörande beslutet gällde ägandefrågan och fattades innan texten skrevs.

Där AI-programmet förlorar sin marginal

Förpackningen och texten är bundna till ett beteende som varumärket inte kontrollerar. Detta är den största enskilda risken i kategorin och syns inte i något offert. Åtgärden är en uppsägningstid och en granskningsklausul, som båda kostar leverantören ingenting om denne inte har något att dölja.

Reservläget är inte inbyggt, så beteendet utan nätverk blir beroende av vad firmwareprogrammet råkar göra. Kostnaden för detta syns i supportinkorgen i stället för vid lanseringen, vilket gör det svårare att åtgärda och dyrare att bära. Att bygga in reservläget i acceptanskriterierna innan den första tillverkningsenheten tillverkas är kostnadsfritt.

Retentionen av produktionsbygget är kort. Om ett bygge dras tillbaka sex månader efter lanseringen kan enheterna i fält inte reproduceras, och en produkt som inte kan reproduceras är en produkt vars andra order är en annan produkt. Perioden för retention av produktionsbygget är en villkorsterm som är värd att förhandla hårt om, och den är ofta diskret kort.

Användningsfrekvensen mäts aldrig, så texten bygger på en demonstration i stället för på bevis. Den avvägning en köpare bör göra medvetet är mellan ett kortare program och ett korrekt påstående. Ett tvåveckorsprogram kostar två veckor; en produktlista som överdriver funktionen kostar hela produktionen.

Påståendet om översättning saknar en riktning. Ett språkpar som fungerar åt ena hållet men inte åt det andra är ett påstående som misslyckas exakt på den marknad som varumärket försökte nå. Listan över språk som stöds, med riktningen för varje par, är en enda begäran som förebygger misslyckanden marknad för marknad.

Vad vi publicerar om assistenten och vad vi inte uppskattar

Den arbetsregel vi tillämpar är att vi hellre vill att en köpare kör programmet än litar på en demonstration, och vi stöder testet i stället för att presentera ett resultat.

Vi publicerar de AI-funktioner som vår dokumentation stödjer och markerar resten som öppna. Vi publicerar ingen aktiveringsfrekvens, ingen frekvens av felaktiga aktiveringar, ingen framgångsfrekvens för kommandon, ingen latens, ingen igenkänningsprecision, ingen översättningsprecision och inget beteende utan nätverk för någon modell, och vi uppskattar inte något av det. Det innebär att de sex stegen ovan är det enda sättet på vilket dessa siffror kan skapas, och vi hjälper hellre till att ta fram dem än att ange siffror som vi inte kan stödja.

Vi är också direkta om vilka iakttagelser vi kan åtgärda. En konfiguration, ett språk, ett konto, en behörighet eller ett saknat steg i manualen är vårt ansvar att rätta till, och åtgärden är vanligtvis ett stycke i snabbstartshandboken. Modellbeteende, latensprofiler eller tjänstearkitektur rör appen och firmwareprogrammet, och vi berättar vilket som är vad innan ni bygger en lanseringsplan kring det.

Det vi kommer att göra är att hjälpa er att utforma de sex stegen, komma överens om vad som ska registreras, tillhandahålla enheter med ett känt bygge och rapportera resultaten, även de som är ofördelaktiga, eftersom en funktion som klarar den andra veckan är värd mer än en demonstration som klarar en mässa. Bakgrunden finns under AI-funktioner, laboratorieprotokollet med fasta frågor finns i hur du mäter AI-funktioner, planen för förbeställningar finns i hur du testar AI-funktioner innan du beställer, och de vanliga misstagen med påståenden finns i vanliga AI-mistag.

Fyra åtgärder innan assistenter listas upp

Ställ ägandefrågorna skriftligt. Oavsett om modellen körs på enheten eller på en server, vem som driver tjänsten och vad varumärket informeras om innan något ändras. Svaren på de här tre frågorna avgör den kommersiella strukturen för programmet, och det är billigare att få dem nu än att förhandla om dem efter att texten har tryckts.

Skicka listan med de nio frågorna till varje kandidat. Frågorna är identiska för alla, så jämförelsen är rättvis och svaren går att jämföra.

Skriv in de fyra försämringstillstånden i acceptanskriterierna. Fungerande, försämrat, inget nätverk, återkallat. Texterna är skrivna utifrån det sämsta tillståndet, och det är den texten som består.

Skicka oss den funktion som ni planerar att publicera. Vi utformar de sex stegen med er, berättar vilka mätningar som avgör frågan för er kanal och redovisar resultaten, även de som inte är fördelaktiga.


Relaterad läsning

Berätta vilken funktion ni planerar att publicera, så utformar vi de sex stegen med er.

Chatta på WhatsApp
Din upplevelse på denna webbplats kommer att förbättras genom att tillåta cookies.