Kvalitetskontroll av AI-funktioner är ovanligt på ett sätt som är värt att benämna innan detaljerna, eftersom det förklarar varför disciplinen inom denna kategori skiljer sig från all annan kvalitetskontroll inom sortimentet.
All annan kvalitetskontroll i en hårdvaruprodukt kontrollerar något som är fysiskt närvarande. Batteriet har antingen laddning eller så har det inte. Kameran fokuserar antingen eller så gör den det inte. En AI-funktion är annorlunda: det är ett beteende som beror på en modell, ett nätverk, en tjänst, ett språkpar, en indata och en stund. Enheten kan monteras korrekt och funktionen kan ändå vara trasig, och felet är ofta osynligt i fabriken eftersom fabriken nätverk, fabrikskontot och fabriken språkkonfiguration inte är kundens. Därför är AI-funktioner för smarta glasögon och kvalitet på smarta glasögon en fråga om att testa beteendet där det används, inte där det tillverkas.
AI-funktioner för smarta glasögon: varför benchtesterna misslyckas
INKÖPARE SOM MÅSTE UTFORMA DETTA REGIM
Läsaren är en kvalitetsingenjör eller inköpschef på ett varumärke som måste specificera vad leverantören ska hållas ansvarig för, och som har upptäckt att den vanliga inköpskontrollen inte är tillämplig. Den gäller hårdvara. Den kan inte tillämpas på ett beteende som beror på en tjänst.
Detta är det praktiska problem som denna artikel löser. Inköparen kan be om tre saker: ett fabriktstestregim som fabriken utför, ett acceptansregim som inköparen utför och ett gemensamt regim som båda utför. Den mesta förvirringen inom denna kategori beror på att man inte bestämmer vilket av de tre ett visst kontrollmoment hör till, och sedan upptäcker mitt i en produktionsserie att en kontroll som ingen ägde utfördes av någon som inte hade åtkomst till kontot eller nätverkstillståndet som behövdes.
Tre skäl till att fabriktstestet inte räcker, och vad vart och ett av dem leder till
1. Kontot och prenumerationen. En funktion som kräver ett konto, en inloggning eller en prenumeration kan fungera utmärkt i fabriken och vara helt trasig för en kund som inte har loggat in, vars provperiod har gått ut eller som har fel abonnemang. Symptomet är en kund som säger att funktionen inte fungerar, och fabriksbeviset på att den gör det är värdelöst. Kontrollen som upptäcker detta är ett test med ett nytt konto och ett test med en utgången prenumeration, och båda kräver inloggningsuppgifter som fabriken inte har.
2. Nätverket och regionen. En funktion som körs i en molntjänst är beroende av tjänstens tillgänglighet, kundens region och det lokala nätverket. Ett fabriktstest i ett nätverk i ett land bevisar ingenting om en kund i ett annat land. Symptomet är en grupp returer som koncentreras till en marknad, vilket ser ut som ett marknadsproblem men vanligtvis är ett problem med nätverks- eller regionskonfigurationen.
3. Språket och indatan. En översättnings- eller röstfunktion som fungerar i fabriken konfiguration kanske inte klarar kundens språk, kundens dialekt, kundens bullermiljö eller ett uttryck som ligger utanför testmängden. Detta är inte ett fel; det är en avgränsning av omfattningen, och den måste dokumenteras. Kontrollen som upptäcker detta är inköparens egen mängd testuttryck, som körs i inköparens egen miljö.
Var och en av de tre leder till ett distinkt fel, och inget av dem syns i ett fabriktstest. Det är hela argumentet för den fyrlagade strukturen nedan.

De fyra testlagren och vad vart och ett av dem kan bevisa
Lager ett: hårdvaran
Fångar mikrofonen in ljudet, fungerar processorn, är nätverksradion funktionsduglig och beter sig strömförvaltningen som den ska. Detta är ett fabriktstest och det är lagret som de flesta kvalitetskontrollsystem redan täcker. Det är värt att göra ordentligt, eftersom ett fel här är det enda felet i hela stacken som en ersättningsenhet löser.
Lager två: tjänsten
Svarar slutpunkten, godkänner kontot, tillåter prenumerationens status anropet och stöds regionen. Detta lager kräver fungerande inloggningsuppgifter i en konfiguration som liknar kundens. Det kan inte köras som ett fabriktstest med fabriksens eget konto, eftersom fabrikskontot har behörighet och kundens inte har det — och skillnaden mellan ett behörigt konto och ett obehörigt konto är exakt vad kunden upplever.
Lager tre: beteendet
Kommandouppsättet, latensen, noggrannheten, hanteringen av förfrågningar utanför omfattningen och försämringen under buller. Detta lager måste köras mot ett script och inte demonstreras, eftersom en demonstration är ett enda gynnsamt fall och ett beteende är en distribution. Scriptet är inköparens, av den anledning som anges senare i denna artikel.
Layer four: upplevelsen
Parkering, konfiguration vid första start, hur appen hanterar ett misslyckat anrop och vad kunden ser när nätverket försvinner. Det är den här lagret som orsakar returer och samtidigt det lagret som ingen testar, eftersom det krävs en person som aldrig har sett produkten tidigare.
Vad varje lager kan och inte kan bevisa
Nyttan med att skilja lagren åt är att varje lager ger olika typer av underlag, och varje lager har en annan ansvarig.
Det första lagret ger ett testprotokoll mot en specifikation, som fabriken kan ta fram. Det andra lagret ger en logg över enhets- och kontologgar, vilket kräver ett köparkonto. Det tredje lagret ger ett resultatark per enhet, och scriptet måste vara köparens. Det fjärde lagret ger observationsanteckningar från testsessioner, och användaren måste vara köparens.
Det ger ett tydligt svar på den fråga köpare oftast ställer om den här kategorin: hur mycket av regelverket kan delegeras till fabriken. Det ärliga svaret är det nedersta lagret, plus de delar av servicelagret som kan testas med ett testkonto som varumärket tillhandahåller och som fabriken är behörig att använda.
Acceptanscriptet och vem som måste ansvara för det
De åtta punkterna
- Ett kommandouppsättning med tjugo kommandon, skrivet av köparen och inte tillhandahållet av leverantören. Varje kommando motsvarar något som funktionen måste kunna göra i er användning, och scriptet körs på varje prov, inte bara en gång.
- Fördröjning, mätt. Tid från slutet av tal till start av svaret, i den miljö där produkten ska användas. En funktion som är omedelbar i ett tyst kontor fungerar inte likadant på en gata.
- Resultatet av nätverksberoendet. Vad som fortfarande fungerar när uppkopplingen är avstängd. Det här testet avslöjar arkitekturen bättre än någon specifikation.
- Felhantering, i fyra fall. Oklart underlag, en begäran utanför funktionens omfattning, en begäran på ett annat språk och en begäran i en loudjud miljö. Vad användaren ser i respektive fall är skillnaden mellan en funktion och en felgenerator.
- Konto- och prenumerationsstatus. Testas minst två gånger: en gång med ett nytt konto och en gång med ett konto vars prenumeration har upphörts.
- Variation mellan regioner och nätverk. Minst ett test från ett annat nätverk och, om produkten säljs på flera marknader, ett test i ett nätverk på varje marknad.
- Uppgraderingsvägen. Från den firmwareversion som levererats till den aktuella versionen, och vad en kund med den äldre versionen upplever. Det här är testet som hoppas över och sedan ångras.
- Datahanteringen. Var ljudet och de resulterande uppgifterna behandlas och lagras, och vad kunden ser i appen. Det här är en juridisk fråga som kvalitetskontrollen inte kan besvara, och den måste besvaras innan testet blir meningsfullt.
Varför köparen måste skriva scriptet
Det här är den mest omdebatterade punkten i hela regelverket, och det är värt att diskutera den ordentligt i stället för att bara hävda den.
Leverantören vet vilka vägar som fungerar. Det är verklig expertis och därför bör leverantören få ge råd om scriptet. Men köparen är den enda part som vet vad kunden faktiskt kommer att be om, och de tjugo kommandona ska vara de tjugo saker som kunden faktiskt kommer att göra. Ett script som leverantören skriver mäter leverantörens produkt utifrån leverantörens antaganden, och det kommer alltid att godkännas.
Sättet att få båda är att köparen först skriver de tjugo kommandona och leverantören kommenterar dem innan testet körs. Köparen behåller ansvaret för listan, medan leverantören får säga att tre av dem inte går att uppnå i den här konfigurationen. Det är i sig värdefull information eftersom det är en tidig varning om vad annonsen får ange.
Göra scriptet till en acceptansstandard
Ett script som finns i ett kalkylark och inte i inköpsordern är ett test, inte en standard. Gränsvärdet måste anges i förväg, och det måste vara ett tal som köparen är beredd att underkänna många gånger på grund av. De realistiska gränsvärdena är enkla: ett antal av de tjugo kommandona som lyckas i den angivna miljön, de uppräknade offlinefunktionerna som fortsätter att fungera, den högsta tillåtna fördröjningen och att de fyra fel fallen ger det avtalade beteendet.
Följden av ett misslyckande måste också vara överenskommen. Inom den här kategorin är den vanliga ordningen att en misslyckad provserie inte skickas och att leverantören finansierar en andra utvärderingsomgång. Den andra bestämmelsen är värd att förhandla om, eftersom en AI-funktion är den del av produkten som löper störst risk att misslyckas i den första acceptanstestningen, och en leverantör som inte finansierar den andra omgången visar hur stort förtroende leverantören har för den första.

Där inkommande kontroll slutar och beteendetestning börjar
Gränsdragningen och varför den är kommersiellt viktig
Inkommande kontroll är en grind för varje serie utifrån en specifikation. Den fungerar när specifikationen beskriver något som fysiskt finns, men inte för beteende. Gränsdragningen är därför inte ett stadium i processen. Den avgörs av om kontrollen kan utföras av en person som håller i en enhet och jämför den med en skriven specifikation, utan nätverk, konto eller tjänster.
Allt till vänster om den gränsen är inkommande kontroll och hör hemma i leveransavtalet som ett kriterium för frigörning. Allt till höger om den är acceptanstestning och hör hemma i programplanen, med köparens resurser åtagande och köparens testskript bifogat.
Vad en seriefrigörning faktiskt kräver
En seriefrigörning för en kameramodell i vårt sortiment är enkelt: Enheten matchar den publicerade specifikationen för modellen – upplösningsnivå, cellkapacitet, laddbeteende, driftstidsintervall, laddmetod – och modellens certifikatregister på certifieringschecklista samt dokumentationen för batteritransport på batteritransport finns i akten för den konfigurationen.
För en serie som innehåller en AI-funktion måste samma frigörning kompletteras med ett artefakt som saknar motsvarighet inom hårdvara: resultatprotokollet från acceptansskriptet, kopplat till en specifikvaruversion och en specifik kontokonfiguration. Utan det artefakt frigörs serien enbart utifrån dess hårdvaruegenskaper, och funktionens status är okänd. Det är den situation som hela den här artikeln är skriven för att förhindra.
Det finns ytterligare en praktisk punkt kring gränsdragningen. Testskripten är billiga per enhet men dyra att samordna – tjugo kommandon på två enheter av den version som ska levereras, med körningen utan nätverk, i köparens miljö. Samordningskostnaden är skälet till att schemalägga acceptanstestningen tidigt, på provnivån i stället för efter produktionsnivån, och skälet till att köparen bör reservera testenheterna i stället för att ta emot de enheter som blir över.
Vem betalar för acceptanstestningen och vad som måste förhandlas
Kostnadsfördelningen inom det här systemet är ovanlig, och köpare som har genomfört hårdvaruprogram tenderar att felprissätta den. Hårdvarulagret ingår redan i enhetspriset. Tjänstelagret kostar varumärket ett testkonto, en liten mängd trafik och tiden för den som underhåller kontot. Beteendelagret kostar varumärket de tjugo kommandona, miljön och de personer som skriver observationsprotokollet. Upplevelselagret kostar varumärket en främlingsefter middag.
Med andra ord: den största delen av acceptanskostnaden faller på köparen, inte på fabriken, och den belastar köparens personer snarare än dess budget. Därför finns det tre kommersiella frågor som bör avgöras före beställningen i stället för under den första kampanjen.
Den första är om leverantören finansierar en andra utvärderingsomgång om den första misslyckas. En AI-funktion är den del av produkten som löper störst risk att misslyckas i den första acceptanstestningen, och en leverantör som inte finansierar den andra omgången visar hur stort förtroende leverantören har för den första.
Den andra är om leverantören alls kan köra skriptet, vilket beror på vilka lager leverantören är behörig att utföra. En leverantör med rätt kontokonfiguration kan köra beteendelagret; en leverantör utan den kan inte det, och hela systemet blir då beroende av att köparen reser till fabriken eller att fabriken reser till köparens miljö.
Den tredje är artefaktens format. Om fabriken personal måste skriva av resultatprotokollet i köparens format efter varje körning slutar dokumentationen vara tillförlitlig inom ett kvartal. Ett resultatprotokoll i en definierad layout, med versionsidentifieraren angiven, gör att underlagen kan användas under en hel produktionsserie i stället för under en enda kampanj.

Fyra sätt som ett AI-baserat kvalitetskontrollsystem skapar falsk säkerhet
Testa demonstrationsvägen. Ett skriptad demonstrationsupplägg kör den lyckade vägen, i fabriken konfiguration och med fabriken konto. Alla dessa är kontrollerade variabler, medan de intressanta felen finns i de okontrollerade. Det här är det vanligaste felet och det mest ofarliga, eftersom det oftast upptäcks i fältet i stället för i granskningen.
Att behandla en molnberoende funktion som en maskinvarufunktion. Så snart en funktion är beroende av en tjänst har den ett beroende som fabriken inte styr, och testregimet måste spegla detta. Detta är det vanligaste strukturella felet och det som förvandlar ett tjänsteavbrott till ett garantikrav.
Att inte testa den version av fast programvara som levererats. Versionen på provet och versionen på produktionsenheten kan skilja sig åt, och det är i den skillnaden överraskningen ligger. Kontrollen är billig — dokumentera byggidentifieraren på varje resultatblad — och försummelsen är dyr, eftersom en beteendeförändring mellan byggen är omöjlig att skilja från ett fel när den når kunden.
Att låta leverantören äga acceptanskriterierna. Detta är det som leder till mängdsläpp utan beteendevisa belägg, eftersom kriterierna skrevs av den part som mäts.
Problem med eskaleringen bakom dem
Alla fyra felen har en gemensam konsekvens, och det är den som spelar kommersiell roll. Ett fel med oklart ägande kan inte hänvisas. Ett tjänsteavbrott, en utgången prenumeration och en felaktig språkkonfiguration presenteras alla för kunden som samma sak — funktionen fungerar inte — och endast två av dem löses genom att ersätta en enhet. Ägandematrisen är därför inte ett tekniskt diagram. Det är regeln som avgör om garantibudgeten spenderas på enheter som aldrig varit felaktiga, och därför måste triageringen ske före ersättningen, inte efteråt.
Den produktionsposition vi kan hålla och den vi inte kan
Vad vår publicerade position omfattar
Gränsen vi håller: vi publicerar AI-funktionerna enligt katalogens beskrivning, och vi anger inte något modellnamn, språkantal, latens, offlinepåstående eller prenumerationsstatus för dem, eftersom inget av detta har publicerats till oss för modellerna i denna serie. Vi upprepar inte en marknadsföringsmening som om den vore en specifikation, och katalogens exportcertifiering är en företagsomfattande kapacitet snarare än en certifieringsrad per modell, och presenteras därför inte som en sådan.
Det vi kommer att göra är att korrekt ange den publicerade konfigurationen och berätta vilka av de åtta acceptanspunkterna kräver en aktiv tjänst och ett kundliknande konto i stället för en bänktest — eftersom det är dessa som en kvalitetskontrollregim i fabriken inte kommer att upptäcka.
Vi kommer också att vara tydliga med de kommersiella frågorna bakom funktionen: om den körs på enheten eller i en tjänst, om en prenumeration krävs, vilka språkpar i vilken riktning och vart uppgifterna skickas. De fyra svaren avgör ert erbjudande till slutkunder och är inte tekniska frågor.
Vad vi inte kan, uttryckligen sagt
Vi kan inte publicera någon träffsäkerhetssiffra, latens, språkantal, offlinebeteende, bearbetningsplats eller datapväg för någon modell, eftersom vi inte har mätt dem mot ett angivet villkor. Vi kan inte heller ange ett godkännandeutfall för beteendeskiktet i manuset, eftersom manuset tillhör köparen och resultatet beror på köparens fraser, köparens miljö och köparens kontokonfiguration. En leverantör som publicerar ett generellt godkännandeutfall för detta lager publicerar en siffra som producerats av ett manus som ingen kan se.
Det vi kan göra är att köra testet med er. Skicka de tjugo kommandona, miljöerna och kontokonfigurationen, så kör vi dem på de enheter ni anger, med den bygg ni specificerar, och registrerar resultaten i takt med att de kommer. Mätbladet som avgör denna typ av frågor finns i mätning av AI-funktioner, testprotokollet för ett prov finns i testning av AI-funktioner före beställning, och uppgraderingsövervägandena som den sjunde acceptanspunkten är beroende av finns i uppgraderingsöverväganden för AI-funktioner. Metoden för att läsa specifikationer som genererar raderna i första hand finns i metod för att läsa datablad för AI-funktioner.
Uppdraget funktionen måste utföra
Berätta vad funktionen ska göra, så berättar vi vad ni ska ta med i acceptansmanuset, vilka av de åtta punkterna vi kan köra med er och vilka som kräver att era konto och er miljö stängs. Bakgrundsinformationen om plattformen finns under teknik för AI-funktioner, och det relaterade tillämpningsområdet finns i lösningar för AI-skapande innehåll.
Relaterad läsning
- teknik för AI-funktioner
- metod för att läsa datablad för AI-funktioner
- uppgraderingsöverväganden för AI-funktioner
- lösningar för AI-skapande innehåll
- checklista för certifiering · batteritransport
Berätta vad funktionen ska göra, så berättar vi vad ni ska ta med i acceptansmanuset.



