OEM/ODM-tillverkare av smarta glasögon · Shenzhen, Kina +86 19835872450 sales@cynrin.com
Teknik för smarta glasögon

Så testar du AI-funktioner för smarta glasögon

Varför en AI-funktion inte kan utvärderas genom att titta på en demonstration är inte att demonstrationer vilseleder. Det är att en demonstration är den enda…

Av CYNRINs ingenjörs- och inköpsgrupp/ Dec 15, 2021/ 19 min läsning
Så testar du AI-funktioner för smarta glasögon

AI-funktioner för smarta glasögon: en relation, inte en komponent

Orsaken till att en AI-funktion inte kan utvärderas genom att titta på en demonstration är inte att demonstrationerna vilseleder. Det är att en demonstration är den enda konfiguration där en assistent ser bäst ut: en förberedd fras, ett tyst rum, ett fungerande nätverk och en enhet vars konton kopplades i förväg av personen som byggde den. Allt en köpare behöver veta är en egenskap hos relationen mellan enheten, modellleverantören, nätverket och regionen – och ingen av de fyra är produkten i lådan.

Beslutet, i tre meningar. Om en röstassistent är avgörande i din produkttext, testa den som en relation och inte som en funktion: skriv fraslistan och godkännandevillkoren innan exemplet kommer, kör planen på en enhet som inte är demonstrationsenheten och dokumentera firmwareversionen med varje resultat. Måttet som avgör om produkten kan lanseras är vanligtvis den falska aktiveringsfrekvensen snarare än aktiveringsfrekvensen, eftersom en enhet som avbryter en kundkonversation är en produkt som tas av. Om du inte kan få en buildidentifierare, en beskrivning av datapflödet och ett angivet offlinebeteende skriftligt ska du inte ta med assistenten i texterna – funktionen kommer att finnas på produktsidan och inget annanstans.

Vem som genomför planen och vad den måste resultera i. Läsaren avgör vanligtvis om en AI-assistent alls hör hemma i produkten, eller jämför två leverantörers implementationer av samma påstådda funktion. De har prover, en funktionslista, en säljkanal, ett målpris och en marknadsföringsplan som redan förutsätter att funktionen finns. De har däremot inga prestandata, och det beror på strukturen: data tillhör modellleverantören, inte tillverkaren, och förändras med versionen snarare än med hårdvaran. Planen måste därför resultera i tre saker – ett tal snarare än ett intryck, en buildidentifierare kopplad till talet och en skriftlig lista över de villkor under vilka talet mättes.

Vad vår egen katalog säger, och vad den inte säger. Vi anger en AI-röstassistent bland nyckelteknikerna för AI-kameraglasögonfamiljen, och vår oberoende webbplats beskriver AI-översättning på K01, som är en ljudmodell. Vi publicerar ingen aktiveringsfrekvens, ingen falsk aktiveringsfrekvens, ingen framgångsfrekvens för kommandon, inget latenstvärde, ingen igenkänningsprecision, ingen översättningsprecision och inget offlinebeteende för någon modell i sortimentet, och vi uppskattar inte heller något av dem. Denna brist på data är inte ett datainsamlingsproblem som vi misslyckades med att lösa; det är så en kategori utan publicerad prestandabaslinje ser ut, och det är skälet till att planen nedan finns.

Var en AI-funktions kostnad ligger. Assistentens hårdvarukostnad är nära noll – mikrofonen och radiodelen finns redan i produkten. Det en assistent faktiskt kostar är de fyra omkringliggande delarna: arbetet med att specificera ett testbart beteende, lokaliseringen av fraslistan och dokumentationen till varje lanseringsmarknad, supportdokumentationen för fel fallen och den kontraktsmässiga infrastrukturen som visar när leverantören har ändrat något under ytan. Två leverantörer som erbjuder samma assistent kommer att skilja sig mycket mer åt i dessa fyra avseenden än i något enhetspris, och skillnaden är osynlig tills produkttexten publiceras.

Fem tal, och nämnaren som varje tal måste ha

AI-genererat fotografi som illustrerar hur man testar innan man beställer smarta glasögon med AI-funktioner – bild 1 av 3

De fem talen du ska kräva, och de tre ingen rapporterar

Skicka dessa fem frågor i ett meddelande, med exakt samma formuleringar, till varje kandidat och be om svaren i en tabell i stället för i löpande text. Kolumnen med nämnare är den som spelar roll, eftersom en procent utan nämnare bara är en marknadsföringsrad.

Mått Vad det mäter Nödvändig nämnare Godkännandegräns
Aktiveringsfrekvens Att assistenten startar när den ska Försök, antal talare, miljö En procent med alla tre angivna
Falsk aktiveringsfrekvens Att assistenten startar när den inte ska Försök och timmar av vanlig användning En procent, eller ett skriftligt besked om att det inte mäts
Framgångsfrekvens för kommandon Att din fraslista förstås Den fraslista du tillhandahöllit och antalet repetitioner per fras En procent utifrån din egen lista
Latens Fördröjningen innan svaret kommer Nätverkstillstånd och firmwareversion En fast tröskel, inte en bedömning
Igenkänningsprecision Om rätt sak hördes Miljön och om talaren är riktad framåt Ett värde för det tysta rummet och för den verkliga miljön

Tröskelvärdena med vanliga ord, och de tre rader som oftast saknas

En rate utan antalet försök är inte en rate. Nittioåtta procent mätt över tio försök i ett tyst kontor förutsäger mindre än åttiofem procent mätt över trehundra försök på en gata, och det är den andra siffran som beskriver produkten. Gränsvärdet måste vara en procentsats med en nämnare, ett antal talare och en miljö knutna till sig. En leverantör som inte kan uppge alla tre har inte mätt produkten.

Frekvensen av falska aktiveringar är en användbarhetsgräns, inte en teknisk bilaga. Den avgör var produkten kan säljas, inte om funktionen fungerar, eftersom ett mötesrum och en gata är olika marknader för samma enhet. En enhet som aktiveras av en hosta i ett tyst kontor är en mötesrumsprodukt; samma enhet på en gata är en olägenhet. Gränsvärdet som köparen anger här är en produktbeslut om försäljningskanalen, och det bör skrivas ned innan produktsidan utarbetas.

Frekvensen av lyckade kommandon måste mätas mot er lista, inte leverantörens. En leverantörs lista innehåller hej och en timer, eftersom sådant är lätt. Er lista innehåller frasen som en lagerarbetare faktiskt säger elva gånger om dagen. Gränsvärdet är en procentsats mot de fraser ni har tillhandahållit, med ett angivet antal repetitioner per fras.

Fördröjningen behöver ett bestämt tal, inte en adjektivform. Ange gränsvärdet – under två sekunder är en rimlig utgångspunkt – och mät det. Det varierar med nätverket, vilket är anledningen till att nätverkets status måste ingå i mätningen. En fördröjningssiffra utan nätverksstatus kommer från leverantörens kontor.

Buildnumret är den kolumn som gör resultaten värda att bevara. En assistent förändras mellan builds, och en mätning utan buildidentifierare kan varken reproduceras, försvaras eller jämföras med nästa leverantörs resultat. Det är den viktigaste kolumnen i tabellen, och samtidigt den som oftast lämnas tom.

Tre rader som nästan aldrig återkommer, och vad ni ska göra med var och en. Offlinebeteendet – vad enheten gör när nätverket kopplas bort fysiskt – är raden som avgör den vanligaste tvisten i den här kategorin, alltså om produkten gör vad dokumentationen säger när nätverket saknas. Begär det som ett skriftligt utlåtande, och om svaret är tyst ska offlinebeteendet behandlas som odefinierat i texterna. Datavägen – vad som lämnar enheten, vart det tar vägen och hur samtycke hanteras – är raden som en granskare av regelefterlevnad begär. Verifiera den genom observation i stället för genom att läsa, och se till att integritetsförklaringen i er annonsering beskriver vad ni har observerat. Uppdateringsmekanismen – hur en levererad enhet får en ny build och vem som beslutar – är raden som visar om funktionen kan ändras utan att ni får ett avtalstillträde.

Den ordning assistentplanen körs i och varför planen kommer först

Köra planen: buildidentifierare, miljöer och en andra dag

Steg ett, innan exemplaren kommer fram. Skriv fraslistan. Den ska innehålla de kommandon som kunden faktiskt kommer att ge, på lanseringsmarknadens språk, inklusive de två eller tre som är svåra att uttala. Ange godkännandevillkoren som siffror. Bestäm vilka tester som behöver vilken miljö. Lås fast telefonen, nätverket och ljudförhållandena. Identifiera dessutom den firmwarebuild ni förväntar er att exemplaret har, så att det första ni gör när det kommer fram är att bekräfta den.

Steg två, på dagen, innan något mäts. Bekräfta buildidentifieraren på enheten och dokumentera den. Bekräfta språk, region och kontostatus. Kontrollera att enheten har en vanlig nylagerställd konfiguration och inte är en demonstrationsenhet, vilket oftast innebär ett nytt konto, inga länkade tjänster och standardinställda bearbetningsinställningar. Ett resultat från en länkad demonstrationsenhet är inte ett resultat om produkten som kunden får, och det är det vanligaste sättet på vilket en assistentutvärdering smickrar en leverantör.

Steg tre, aktiveringsfrekvensen, över ett stort antal försök. Använd flera olika talare, eftersom röstassistenter varierar mer mellan talare än mellan hårdvara. Dokumentera antalet försök, antalet talare och miljön, och beräkna frekvensen själva utifrån loggen i stället för att lita på en avrundad siffra.

Steg fyra, frekvensen av falska aktiveringar, i den miljö som spelar roll. Det här är det längsta testet i planen och det som oftast hoppas över. Det innebär att låta assistenten vara aktiverad under vanlig aktivitet – vid ett skrivbord, i ett möte, på en gata – och logga varje aktivering som inte efterfrågades. Siffran ni får är den som avgör försäljningskanalen.

Steg fem, kommandots framgångsgrad, på din fraslista. Varje begäran körs ett fast antal gånger, och misslyckandena registreras med en orsak, eftersom ”förstod inte” och ”förstod men gjorde fel” är två olika typer av misslyckanden som kräver två olika åtgärder.

Steg sex, fördröjningen, mot den fasta tröskeln. Mät intervallet från slutet av yttrandet till starten av svaret, registrera nätverkets status och upprepa mätningen tillräckligt många gånger för att seen snarare än genomsnittet.

Steg sju, beteendet utan nätverk, med nätverket fysiskt bortkopplat. Inte flygplansläge med ett cachat resultat tillgängligt – nätverket ska vara genuint otillgängligt, och resultatet ska registreras. En leverantör som aldrig har testat detta har en produkt vars beteende i en hiss är okänt.

Steg åtta, datavägen, verifierad genom observation. Följ vad enheten gör på nätverket, jämför det med vad dokumentationen påstår och behåll jämförelsen i filen. En integritetsredogörelse som skrivs utifrån en marknadsförsäljningsmening är en risk, medan en integritetsredogörelse som skrivs utifrån en observation kan försvaras.

Varje frekvens har två värden, och endast ett av dem förutsäger kundens

Testa två eller tre enheter av samma byggversion på alla platser där funktionen är avgörande. En funktion som fungerar på ett prov men misslyckas på ett annat är ett yieldproblem, och ett yieldproblem är osynligt i ett test med en enda enhet. När funktionen är skälet till att kunden köpte produkten är en enda enhet inte bevis för någonting.

Kör hela planen två gånger, på olika dagar, och behandla spridningen som ett fynd. En assistents beteende varierar med dagen, nätverket och omgivningsbullret, och en stor skillnad mellan två körningar visar att funktionen inte är tillräckligt stabil för att ligga till grund för ett påstående. Där spridningen är liten är resultatet värt att behålla; där den är stor är fyndet mer värdefullt än själva siffran.

Registrera byggidentifieraren, miljön och tidpunkten för varje resultat. Behåll inspelningarna där plattformen tillåter det. En mätning som inte kan reproduceras är inte bevis, och inom den här kategorin är byggversionen det som förändras.

AI-funktioner för smarta glasögon: en plan som kan upprepas när byggversionen ändras

Vad som ska registreras med varje resultat. Modellbeteckningen och konfigurationen, byggidentifieraren för firmware, appversionen, språk och region, kontostatusen, telefonen och nätverket, miljön och dess bullernivå, den fras eller test som gjordes, resultatet, tidpunkten och testaren. Arket är långt, och det är poängen: antalet rader gör att resultatet kan försvaras sex månader senare.

Vad den här planen inte kan fastställa. Den fastställer inte hur funktionen beter sig för hela din kundpopulation, hur den beter sig på en marknad eller i ett språk du inte har testat, hur den beter sig efter leverantörens nästa ändring eller vilken överensstämmelsestatus produkten har, eftersom den granskningen baseras på dokument. Den sista delen spelar roll: Radioutrustningsdirektivet innehåller cybersäkerhetskrav som ingår i CE-märkningen, beskrivna i serien harmoniserade standarder EN 18031 och som omfattar säker kommunikation, kryptering, säker lagring, användarnas samtycke och processen för hantering av identifierade sårbarheter. En röstassistent ligger mitt i det tillämpningsområdet, och ett uppmätt beteende utan nätverk är beviset för att produkten gör vad dess dokumentation säger när nätverket inte finns.

AI-genererat fotografi som illustrerar hur man testar innan man beställer AI-funktioner för smarta glasögon – bild 2 av 3

Där ett AI-program går fel, och den tidiga varningen för varje problem

Funktionen tillkännages i en produktannons men misslyckas under ett kundmöte. Symtomet är ett klagomål med en beskrivning av ett samtal som avbröts. Grundorsaken är att endast aktiveringsfrekvensen mättes. Förebyggande åtgärd är att mäta båda frekvenserna och fastställa tröskeln för falsk aktivering innan produktsidan skrivs.

Kunden rapporterar att assistenten slutade fungera efter en uppdatering. Symtomet är en klump av klagomål som börjar ett datum ingen kan förklara. Grundorsaken är att mätningen var kopplad till en byggversion och byggversionen ändrades utan omtestning. Förebyggande åtgärd är att registrera byggversionen med varje resultat, köra planen igen mot den byggversion som faktiskt ska levereras och begära förvarning om ändringar som påverkar assistentens beteende.

En översättningsmöjlighet marknadsförs men granskaren av målspråket underkänner den. Symtomet är en annons som lovar tolkning och en granskare som inte kan reproducera resultatet. Grundorsaken är att noggrannheten bedömdes av någon som inte är modersmålstalare, utifrån hälsningar snarare än fungerande fraser. Förebyggande åtgärd är att låta en modersmålstalare av målspråket poängsätta de fraser kunden behöver, med fraslistan bifogad till bedömningen.

En integritetsfråga besvaras med en marknadsföringsmening. Symptomet är att en företagskunds säkerhetsgranskning frågar efter datapflödet och att varumärket bara har en policy-URL att erbjuda. Grundorsaken är att datapflödet aldrig har verifierats. Förebyggande åtgärd är att verifiera det genom observation och att låta integritetsformuleringen beskriva vad som har observerats.

Produkten fungerar i demolandet men misslyckas på lanseringsmarknaden. Symptomet är att en klump returer uppkommer från endast en marknad. Grundorsaken är att testplanen kördes i en region på ett nätverk. Förebyggande åtgärd är att köra testplanen på lanseringsmarknaden, på de nätverk som kunden kommer att använda, och att rapportera båda resultatuppsättningarna sida vid sida.

Två bedömare kommer fram till motstridiga slutsatser samma dag. Symptomet är att en kortlista ändras mellan ett möte på tisdag och ett på fredag. Grundorsaken är att godkänningskriterierna var adjektiv. Förebyggande åtgärd är att fastställa godkänningskriterierna som siffror innan proverna beställs, så att en oenighet pekar på ett otydligt kriterium i stället för på produkten.

AI-genererat foto som illustrerar hur man testar innan man beställer smarta glasögon med AI-funktioner – bild 3 av 3

Vad ni kan avtala om när leverantören ändrar något

Buildidentifieraren och uppdateringsmekanismen är de två rader ni bör ta med i förfrågan om offert. En leverantör som inte kan ange båda visar att assistenten kan ändras utan contractualisk information till er, och det är en större kommersiell risk än enhetspriset. Det kostar inget att fråga efter raderna, och de är de enda som ger er en möjlighet att agera.

Fraslistan och godkänningskriterierna hör hemma i inköpsordren, med hänvisning till dem som acceptanskriterier. Assistenten är den enda delen av produkten som en kund kan skylla på någon annan, så kriterierna måste finnas skriftligen innan provet skickas, inte efter den första reklamationen. Ett prov som uppfyller kriterierna i den build som levereras är ett prov ni kan godkänna.

En underrättelseklausul om beteendeförändringar är den värdefullaste klausulen i den här kategorin. Alla ändringar av mikrofon, DSP-inställningar, standardläge för bearbetning eller assistentmodell kan förändra det observerbara beteendet utan att hårdvaran ändras. Klausulen måste därför omfatta beteende, inte komponenter.

Arbetet med lokalisering är förhandlingsbart och värt att förhandla om. Fraslistan, dokumentationsspråket och supportdialogen per marknad motsvarar var och en en arbetsomgång, och varje omgång tar en vecka. Den förhandling som är värd att göra gäller antalet omgångar som ingår och om en andra marknad prissätts som en kopia av den första eller som en ny översättningsuppgift.

Minsta beställningskvantitet och arbetet med förpackningen är vanliga affärsposter. En kvarhållning mot dokumentationspaketet skyddar köparen vid det fel som kostar mest, nämligen att en enhet levereras med handlingar som inte omfattar den. En deposition med ett restbelopp vid inspektion före leverans är den vanliga strukturen.

Schemalagda poster i ett assistentprogram är byggfrysningen och certifieringskalendern, och ingen av dem flyttas för att en köpare trycker på. Byggfrysningen måste ligga före beställningen, inte efter den, eftersom en build som ändras efter beställningen ogiltigförklarar alla mätningar som acceptanskriterierna baserades på. Certifieringskostnad och certifieringstid följer processen och testorganet, och att pressa på något av dem ger en längre tidsplan, inte en kortare. Verktygskostnaden är en engångskostnad som vanligen amorteras över den första beställningen. De frågor som är värda att ställa är över vilken volym den amorteras och vad som händer med den om programmet avbryts.

Dokumenten ni bör begära innan depositionen. Firmwarebuildidentifieraren och uppdateringsmekanismen. Certifikatnumren med utfärdande organ och giltighetsdatum. Försäkran om överensstämmelse för den exakta modellbeteckningen. En skriftlig beskrivning av datapflödet och samtyckesmekanismen. En skriftlig förklaring av offlinebeteendet. Modellbeteckningen angiven i offerten.

Klausulerna ni bör skriva in i inköpsordren. Modellbeteckningen som en egen post med bifogade certifikatnummer. Acceptanskriterierna från de åtta testerna med bifogad fraslista. En klausul som kräver underrättelse före en firmware- eller modelländring som påverkar assistentens beteende, med skyldighet att genomföra omprovning. En klausul om vem som bär kostnaden när provet inte uppfyller acceptanskriterierna.

En genomarbetad plan för ett varumärke som lanserar på en marknad

Detta är ett genomarbetat exempel, inte ett kundfall. Det är just poängen med det.

Anta att en konsumentelektronikvarumärke har en kameraserie med elva modeller, en befintlig kamera-plattform och en plan att lägga till en röstassistent i två konfigurationer som huvudfunktion vid lanseringen på en enda marknad. Varumärkets egen produkttjänsteman har skrivit produkttext där assistenten "förstår naturligt" och "alltid är där när du behöver den", och varumärkets compliance-ansvariga har redan bett om uppgifter om dataflödet.

Det första beslutet är att ta bort assistenten ur texten tills den har mätts. Produkttjänstemannen tar bort båda adjektiven och ersätter dem med ingenting, eftersom en funktion som inte kan beskrivas korrekt inte bör beskrivas alls ännu. Den enda ändringen minskar varumärkets största risk utan någon kostnad.

Det andra beslutet gäller lanseringsmarknaden och fattas innan planen skrivs. Varumärket väljer en marknad, ett språk och de två nätverk som kunderna faktiskt använder, och accepterar att assistenten inte lanseras på den andra marknaden förrän den har mätts där. Skälet är kostnaden: en fraslista på ett språk är en översättningsuppgift, medan en fraslista på ett språk som teamet inte kan bedöma är en oanvändbar tillgång.

Det tredje beslutet gäller utvecklingsversionen. Varumärket ber leverantören att låsa en versionsidentifierare för utvärderingen och att bekräfta att samma version kommer att levereras. Leverantören bekräftar en version, och varumärket registrerar den. Det är beslutet som gör alla senare siffror meningsfulla, och det kostar ett e-postmeddelande.

Det fjärde steget är testet, som utförs på en enhet som inte är demonstrationsenheten. Varumärket beställer en vanlig enhet, skapar ett nytt konto och utför de åtta testerna under två dagar med två utvärderare. Aktiveringsfrekvensen är hög i det tysta rummet och lägre i målmiljön. Falskaktiveringsfrekvensen, som mätts under en vanlig arbetsdag, är det viktiga resultatet: den är så hög att varumärkets egna marknadsföringspåståenden inte skulle överleva en veckas användning i den miljön.

Det femte beslutet följer av falskaktiveringsfrekvensen. Varumärket lanserar inte assistenten på den marknaden och håller hårdvaruserien oförändrad. Alternativet hade varit att lansera och absorbera ett kluster av klagomål som provprogrammet redan hade förutsett. Utvärderingen kostade en provrunda och en vecka; alternativet hade kostat en lansering.

Det sjätte beslutet gäller hur resultatet ska användas. Varumärket anger tröskelvärdet för falskaktivering i beställningen som ett villkor för en senare firmware-version och förhandlar om en uppsägningsklausul om ändringar i beteendet. Varumärket behåller inspelningarna och resultatbladet, eftersom en framtida firmware-version kräver en omtestning och resultatbladet gör att omtestningen kan jämföras.

Resultatet är en produktserie som lanserades med mindre än varumärket ville ha, och en leverantörsrelation som nu har en skriven standard för den funktion som varumärket så småningom vill lägga till. Poängen med genomgången är att det avgörande värdet kom från ett test på en provenhet, inte från en demonstration, och att det kostade en enhet och två dagar.

Vad våra assistentregister kan och inte kan avgöra

Konkrekt föredrar vi att en köpare testar en AI-funktion framför att lita på en beskrivning av den, och en testplan är det enda som förvandlar en möjlighet till en specifikation. Vi anger en AI-röstassistent bland nyckelteknologierna för AI-kameraglasögonfamiljen, och vår oberoende webbplats beskriver AI-översättning på K01, som är en ljudmodell – vi behandlar det som en iakttagelse från vårt eget marknadsföringsmaterial och inte som en specifikation. Vi publicerar ingen aktiveringsfrekvens, ingen falskaktiveringsfrekvens, ing framgångsfrekvens för kommandon, inget latensvärde, ingen igenkänningsprecision, ingen översättningsprecision och inget beteende utan internetanslutning för någon modell, och vi uppskattar inte något av det.

Vi anger inte heller något värde i en produkttext om det har mätts på en demonstrationsenhet, eftersom ett värde som inte kan reproduceras är ett påstående som inte kan försvaras när kunden står framför dig. Vi levererar dessutom enheter med en känd firmware-version och arbetar igenom en plan med dig framför att skicka en demonstration.

Tre saker att avgöra innan en assistent lovas i en produkttext

Be om versionsidentifieraren och uppdateringsmekanismen i det första meddelandet. Det är de enda två svaren som visar om funktionen kan ändras under ditt program, och en leverantör som svarar på båda har en process.

Skriv fraselistan innan exemplet kommer. Det är den enda delen av planen som leverantören inte kan ta fram åt dig, och det är den del som gör framgångstakten till din i stället för deras.

Skicka de funktioner du planerar att publicera, lanseringsmarknaden och språket, så skriver vi testplanen tillsammans med dig. Bakgrunden finns under AI-funktioner, exemplarrutten finns i exempelutvärdering, mätmetoden beskrivs i hur du mäter AI-funktioner och leverantörsfrågorna finns i verifiering av AI-leverantörer.


Relaterad läsning

Berätta vilka funktioner du planerar att publicera och vilken miljö det gäller, så skriver vi testplanen tillsammans med dig.

Chatta på WhatsApp
Din upplevelse på denna webbplats kommer att förbättras genom att tillåta cookies.