En fallstudie om en AI-funktion är nästan alltid opublicerbar, eftersom den rapporterar ett resultat utan de förutsättningar som ledde till det. AI-funktioner för smarta glasögon: mall för fallstudier av smarta glasögon är därför inte egentligen en publiceringsmall — det är ett sätt att skapa underlag om en förmåga som inte kan specificeras i förväg. Om du har läst resten av vår AI-bevakning vet du redan att vår dokumentation inte publicerar någon träffsäkerhetssiffra, språktäckning, latens eller arkitekturdetalj för någon av våra 28 modeller, vilket innebär att vi inte har någon motsvarande studie som du kan reproducera.
Avsaknaden är anledningen till att den här malen spelar roll. I de flesta kategorier kan en köpare skriva en specifikation och kontrollera leverantören mot den. I AI-kategorin går det inte att lösa frågorna om förmågorna — träffsäkerhet, språktäckning, offlinebeteende, latens — utifrån dokumentationen alls, eftersom det i den här kategorin inte finns något att läsa, och det gäller i stort sett även de flesta leverantörer. Exemplet är därför mätinstrumentet. Det är den enda enhet du har som kan ge ett resultat som är specifikt för din produkt.
AI-funktioner för smarta glasögon: varför studier inte går att publicera
Det strukturella problemet
En fallstudie är en rapport om något som inträffade, och en rapport är bara användbar om läsaren kan se vad som inträffade på grund av vilka förutsättningar. De flesta studier av AI-funktioner misslyckas med det på tre olika sätt.
Förutsättningarna saknas. Studien rapporterar ”92 % träffsäkerhet på kundfrågor” utan något innehållsunderlag, språkpar, nätverksförhållande eller datum. Siffran är inte ett mätvärde — det är ett tal som har mist sitt referensobjekt, och varken du eller någon annan kan reproducera det.
Misslyckandena saknas. Studien rapporterar vad som fungerade. En rapport om framgångar är en demonstration, och det är felistan som har tekniskt värde. Det är också den del som visar en köpare om funktionen klarar bördan av en marknadsföringsmening.
Kravet saknas. Studien genomfördes utan ett skriftligt krav på vad funktionen skulle göra, så den resulterade i data men inget beslut. Det är det vanligaste felet och det dyraste, eftersom köparen till slut jämför data med en förväntan som aldrig skrevs ned och därför inte går att kontrollera.
Varför dokumentation inte kan ersätta studien
Frågorna om förmågorna i den här kategorin publiceras inte. Inte av oss och — enligt det köpare berättar — inte heller av de flesta leverantörer. Det finns ingen standardiserad testmetod för AI-träffsäkerhet på en bärbar enhet, inga standardiserade förutsättningar för latensmätning och ingen standarddefinition av vad ”offline support” betyder.
Praktiskt innebär det att exemplet är mätinstrumentet, och det tar ungefär en arbetsdag att ta fram ett försvarbart resultat. En dag är en verklig kostnad i förhållande till lanseringsschemat, men en mycket liten kostnad jämfört med alternativet att upptäcka beteendet när produkten redan är publicerad.
Vad en mall är till för
En mall i den här kategorin är inte ett dokumentformat. Det är ett protokoll som finns för att samtidigt se till att resultatet är tillräckligt specifikt för att agera på och att någon annan skulle kunna upprepa det.
De sex fälten nedan är minimin för det. Varje fält åtgärdar ett specifikt fel, och en studie som saknar något av dem bör inte spridas som underlag — inte för att den är oärlig, utan för att den inte kan bära ett beslut.

De sex fält som gör en studie reproducerbar
Fält ett: kravunderlaget
En skriftlig beskrivning av vad funktionen måste göra, formulerad före den första prompten och daterad. Inte en lista över önskade beteenden — ett tröskelvärde per funktion, uttryckt i de termer som kanalen faktiskt bryr sig om.
För en översättningsfunktion i en återförsäljningskanal kan kravunderlaget exempelvis vara: språkparet måste hanteras för de angivna språken; en talad begäran måste transkriberas tillräckligt exakt för att kunna åtgärdas; svaret måste komma inom en angiven tid under en angiven anslutning; och när systemet är osäkert måste det säga det i stället för att ge ett välfluget svar.
Kravunderlaget förvandlar studien från en beskrivning till ett beslut, och det är det fält som oftast hoppas över eftersom det känns som pappersarbete tills dagen då du måste avgöra om ett resultat godkänns.
Fält två: innehållsunderlaget
Femtio meningar som liknar det era kunder faktiskt kommer att säga. Ta med egennamn, siffror, enheter, produktkoder, namn som kan betyda två olika saker och medvetet tvetydiga fraseringar.
En generell testuppsättning ger ett generellt resultat som inte berättar något om din produkt. Trettio lätta meningar och tjugo svåra, där de svåra är skrivna för att vara svåra, är en bättre uppsättning än femtio som även ett demonstrationsscript skulle klara.
Uppsättningen bör skrivas av någon som känner till kanalen, inte av den som har mest tid. En supportchef som läst tusen ärenden för din kategori skriver ett bättre innehållsuppsättning än en ingenjör som arbetar utifrån en funktionslista, eftersom de vet vilka fraser som faktiskt förekommer och vilka som misstolkas.
Fält tre: nätverksförhållandet
Vilken anslutning det var under varje körning. Det är mer användbart att ange: det förhållande som är normalt för din sämsta marknad, inte förhållandet i leverantörens demonstrationsrum.
Om din kanal omfattar marknader med ojämn anslutning är ”normalt” för studien en dålig anslutning, och resultatet visar om funktionen går att använda där eller bara finns med. Det här är det fält som oftast lämnas outtalat och som påverkar slutsatsen mest.
Fält fyra: körningen utan nätverk
Det fält som oftast utelämnas och som avgör var produkten kan användas. Stäng av nätverket och räkna upp vad som fortfarande fungerar: inspelning, samtal, uppspelning, assistenten och inställningarna.
Om din kund ska använda produkten i ett lager, en källare eller utomlands med dålig anslutning är detta driffförhållandet och inte ett särfall. Körningen utan nätverk visar om AI-funktionen kan vara en förutsättning eller endast en förbättring – och därmed om du kan använda den på förpackningen som skäl att köpa produkten.
Fält fem: felistan
Dokumentera felen specifikt, med indata, utdata och orsaken till felet. Inte ett antal – en lista.
Ett antal visar dig en frekvens, och en frekvens utan underliggande indata går inte att åtgärda. Listan visar vilka indata som orsakar problem, och det är utifrån den som supportscript, utbildningsunderlag och produkttextens förbehåll skrivs.
Fält sex: förhållandena, byggversionen och platsen
Modellen, firmware-byggversionen, datumet, platsen, språkparet, enhetsidentifieraren och verktyget som användes för tidtagningen. Det här är det fält som oftast utelämnas och som gör skillnaden mellan en studie och en anekdot.
Utan det kan du inte reproducera ett resultat – vilket innebär att det inte går att reproducera alls, eftersom de enheter du testade inte längre finns kvar och firmware har uppdaterats sedan dess.

Att bygga ett innehållsuppsättning som faktiskt testar funktionen
En metod som ger jämförbara resultat
Innehållsuppsättningen är den del av mallen där merparten av bedömningen ligger, och det är värt att vara tydlig med hur man bygger en som en annan ingenjör skulle kunna använda.
Börja med verkliga indata, inte plausibla. Den bästa källan är de supportärenden, samtalsreferat, frågeloggar eller röstnoter som din kanal redan tar emot. Välj ett urval, och ta sedan bort den personliga informationen. Om kanalen är ny är den näst bästa källan de tio frågor som säljare oftast får, formulerade med kundens ord och inte produktens.
Lägg till svårighetsgraden medvetet. Dela de femtio i tre nivåer och dokumentera antalet i varje nivå i dina anteckningar: de begäran som en demonstration skulle klara, de begäran som innehåller ett egennamn, ett tal eller en enhet, och de begäran som är genuint tvetydiga – ett namn som kan avse två personer, ett tal utan sammanhang, en fras med två möjliga tolkningar. Den tredje nivån är där det tekniska värdet ligger, och där risken för ett flytande men felaktigt svar syns.
Inkludera de negativa fallen medvetet. Varje uppsättning behöver frågor som bör avvisas eller som saknar ett korrekt svar. Ett system som ger ett säkert och flytande nonsenssvar är mer skadligt än ett som inte svarar alls, och det är osynligt i en demonstration eftersom demonstrationer byggs av frågor som fungerar.
Skriv uppsättningen innan stickprovet kommer, eller åtminstone innan du har sett den fungera. En uppsättning som skrivs efter resultaten beskriver produkten i stället för att testa den, och skillnaden går inte att upptäcka från utdata – den går bara att upptäcka om du vet vad du avsåg att ta med.
Att köra testet och dokumentera vad som händer
Kör varje fråga på ett stickprov, under angivna nätverksförhållanden, och dokumentera fyra saker för varje fråga: vad som sades, vad som kom tillbaka, hur lång tid det tog och om svaret var korrekt, ofullständigt, fel eller korrekt avvisat.
Mät varje svar mot en fast tröskel i stället för att bara registrera råvärdet. En rå latenstid utan kopplad tröskel berättar ingenting om huruviden funktionen går att använda; en tröskel gör den till godkänd eller underkänd, och ett godkänt eller underkänt resultat kan tas in i en specifikation.
Kör om nätverksavstängningstestet med samma uppsättning och registrera vad som fortfarande ger svar. Där en fråga i den första uppsättningen nu misslyckas när nätverket är avstängt ingår den i din lista över begränsningar.
Arbetsordningen nedan ryms bekvämt på en dag för en produkt och en funktion, och den är medvetet ordnad så att de svåraste testerna görs medan teamet fortfarande har full koncentration.
Tre målgrupper, tre versioner av samma studie
En studie måste vanligtvis fungera för tre läsare, och misstaget är att skriva ett enda dokument som försöker tillgodose alla tre. De behöver olika saker och olika detaljnivåer.
Det interna teamet – produkt, support och marknadsföring – behöver listan över misslyckanden och begränsningarna. Det behöver veta vilka inmatningar som misslyckas och vad funktionen gör utan anslutning, eftersom det är utgångspunkten för supportinstruktioner och utbildningsmaterial. Det behöver inte de råa tidsmätningarna för varje fråga; det behöver tröskeln och upplysningen om huruvida den uppfylldes.
Leverantören behöver kravuppsättningen, innehållsuppsättningen och listan över misslyckanden i ett format som kan användas i praktiken. Det är värdefullt att skicka själva innehållsuppsättningen, eftersom en leverantör som kan se de exakta frågorna kan reproducera testet och förklara misslyckandena, vilket går snabbare än att beskriva femtio yttranden via e-post.
Kundnära teamet – säljkanalen, personalen i butikerna, återförsäljaren – behöver en sida. Vad funktionen gör bra, vad den inte kan göra och vad som ska sägas när en kund efterfrågar något som ligger utanför dess ram. Den sidan ska skrivas sist, eftersom det är den som måste vara sann, och den blir sann först när misslyckandena är kända.
Att skriva dem i den ordningen förhindrar också att studien formas av marknadsföringsmålgruppen. Om listan skrivs först tenderar innehållsuppsättningen att byggas utifrån de meningar som marknadsföringstexten redan lovar, och studien bekräftar då marknadsföringstexten i stället för att testa produkten. Det är det fel som hela den här mallen finns för att förhindra.
Se till att studien förblir användbar efter lanseringen
En studie har vanligtvis störst värde under månaderna efter lanseringen, när den första vågen av verkliga frågor kommer in och skillnaderna mellan testuppsättningen och verkligheten blir synliga.
Två vanor gör att detta fungerar. Behåll innehållsuppsättningen och testvillkoren tillsammans med studien, inte bara resultaten, så att en senare körning kan jämföras med den första. Och planera en omkörning med ett definierat intervall och en definierad utlösande faktor – efter en uppdatering av fast programvara, efter ett byte av leverantör och före någon större kampanj som kommer att generera ovanlig trafik. En AI-funktion som har ändrats under raderna sedan den senaste studien är en funktion vars produktbeskrivning kanske inte längre stämmer, och kostnaden för att upptäcka det genom en studie är mycket lägre än kostnaden för att upptäcka det genom ett klagomål.

Förvandla en studie till ett beslut i stället för ett dokument
Jämför med din kravuppsättning, inte med en annan produkt
Om du definierade vad funktionen måste göra innan testningen har du nu ett svar som du kan agera på. Om du inte gjorde det har du data men ingen fråga. Det är hela anledningen till att fält ett finns, och det är värt att betona eftersom det är här som de flesta studier går fel.
Att jämföra ditt resultat med en annan leverantörs resultat är nästan alltid ett misstag inom den här kategorin, eftersom resultaten har framställts under olika villkor, med olika innehållsuppsättningar och med olika trösklar. Du kommer att välja utifrån siffran och inte utifrån underlaget.
Den jämförelse som fungerar görs i tre led: ditt resultat mot din kravuppsättning, ditt resultat mot samma kravuppsättning för de andra leverantörerna och skillnaden mellan dem mot vad den skillnaden skulle kosta dig. Det tredje steget är det som köpare hoppar över, och det är det som förvandlar ett testresultat till ett inköpsbeslut.
Skriv upp det så att någon annan skulle kunna upprepa testet
Det innebär innehållsuppsättningen, testvillkoren och metoden – inte slutsatsen. Ett resultat som en annan ingenjör inte kan reproducera är ett påstående med en tabell bifogad.
Presentationen ska vara kort nog att en kollega hinner läsa den, men komplett nog att en kollega skulle kunna genomföra den. I praktiken innebär det: kravuppsättningen, innehållsuppsättningen i form av de faktiska femtio frågorna, villkorstabellen, resultatstabellen med misslyckandena angivna och ett slutsatsparagraf som anger vilka krav som uppfylldes och vilka som inte gjorde det.
Bestäm degraderingsfallet utifrån resultatet
Körningen utan nätverk är avgörande för om funktionen kan vara en beroende eller endast en förbättring. Om degraderingen är acceptabel kan funktionen tryggt användas i marknadsföringen. Om degraderingen innebär att produkten slutar göra det den köptes för måste antingen texten eller produkten ändras, och båda alternativen är billigare att fatta beslut om här än efter lanseringen.
En ytterligare avgörelse följer av listan över misslyckanden: om felet är synligt. Ett system som säger ”Jag missade det” är en formulering för ett supportsvar. Ett system som svarar säkert men felaktigt är ett helt annat slags problem, och det är inte det som dyker upp i er egen testuppsättning om den är alltför artig.
Studiens kommersiella konsekvenser
En slutförd studie förändrar tre kommersiella förutsättningar, och det är värt att använda den medvetet i stället för att låta den ligga i en mapp.
Acceptanskriterierna för beställningen. De tröskelvärden ni har mät blir kriterierna i inköpsordern, och en chargesats som inte uppfyller dem är en chargesats ni kan avböja. Utan studien finns det inget att avböja mot.
Garantin. En garanti som utgår från felkriteriet i fält sex går att mäta när ett krav görs. En garanti som utgår från en beskrivning blir en förhandling.
Produktbeskrivningen. Listan över misslyckanden och körningen utan nätverk skriver er produkttext. En snäv beskrivning som bygger på ett uppmätt resultat är försvarsbar; en bred beskrivning som bygger på en demonstration är det inte.
Vad vår egen position lämnar öppet
Vår dokumentation hänvisar till en AI-röstassistentfunktion för kameraplattformarna och beskriver AI-översättningsstöd på den fristående webbplatsen. Den publicerar ingen noggrannhetssiffra, ingen lista över språk som stöds, inget om latens, inget om offlinefunktioner, inget om var bearbetningen sker, inga prenumerationsvillkor och ingen uppgift om datans jurisdiktion.
Det betyder att vi inte kan tillhandahålla en ifylld version av den här mallen för våra egna produkter, och vi säger hellre det än att publicera en studie vars villkor vi inte kan beskriva. Det betyder också att om ni genomför den här studien med en av våra provprodukter kommer ni att skapa underlag som ingen annan i kedjan har – en märklig position för en tillverkare, men användbar för en köpare.
Det vi kan erbjuda är den andra delen. Skicka oss en studie som ni har genomfört med en av våra provprodukter, så berättar vi vilka resultat som är förenliga med våra publicerade rader och vilka som inte är det. Ett resultat som motsäger något i vår dokumentation är värt att känna till, för er eller oss.
För att få kontext om vad vårt sortiment innehåller och inte innehåller: tjugo av våra 28 modellposter är klassificerade som AI-produkter – elva kameramodeller, åtta ljudmodeller och en elektrokrom post utan kamera – och antalet är en namngivningskonvention för produktlinjen, inte ett påstående om att tjugo produkter delar samma implementering. För kameragruppen publicerar vi cellkapaciteten, laddningsgränssnittet, upplösningsklassen, den angivna drifttiden och laddtiden; de åtta ljudmodellerna publicerar dessutom en Bluetooth-version, medan kameraserien inte publicerar någon. Ett viktvärde förekommer i hela sortimentet, 158 g för kamera-plattformen MT6 exklusive hopfällbart laddningsfodral, och ingen modell publicerar en vikt för en AI-utrustad konfiguration.
Luckan är konsekvent och förklarlig: vi publicerar raderna för produkten vi tillverkar, men inte implementeringsegenskaperna för en funktion som någon annan tillhandahåller. Samma regel gäller för linsen i ett fotokromt program och för radiocertifieringen, där vårt sortiment innehåller ett exportcertifikat på företagsnivå men ingen certifieringsrad per modell. Det är en regel för vad vi ärligt kan belägga, och den gäller alla produkter vi listar.
Därför kan vi inte heller publicera en ifylld version av den här mallen för våra egna produkter. Det finns ingen ifylld version att publicera, och att skriva en skulle antingen innebära att hitta på villkor eller att låna en leverantörs, och ingetdera skulle stå sig när den första kunden frågar hur siffran har tagits fram.
Funktionsbakgrunden finns under AI-funktioner för smarta glasögon. De begränsningar som detta finns i de AI-funktionsbegränsningar vi känner till, metoden för påståenden finns i påståenden om AI-funktioner från tillverkare, raderna som bör fastställas innan du börjar testa finns i checklistan för upphandling av AI-funktioner, och själva provprotokollet finns under provutvärdering.
Relaterad läsning
- Vad detta test är utformat för att hitta — begränsningar och nackdelar med AI-funktioner
- Raderna som bör fastställas före testning — checklistan för upphandling av AI-funktioner
- Själva provprotokollet — provutvärdering
Skicka oss en studie som du har genomfört, så berättar vi vilka resultat som stämmer med våra publicerade rader.



