En policy för smartglasprover misslyckas oftast efter att enheten har kommit, inte innan den beställdes. Begäran var tydlig, leverantören var noggrann, enheten ligger på köparens skrivbord, och tre veckor senare ger utvärderingen en uppfattning i stället för ett resultat. Programmet behöver då en andra enhet som ingen har budgeterat för.
Orsaken är strukturell. Ett prov levereras utan något test kopplat till sig, och en enhet utan test ger det resultat som personen som håller i den för med sig. De sex misstagen nedan är de som återkommer, och varje ett av dem är ett beslut som kunde fattats innan enheten kom och som inte fattades.
Policy för smartglasprover: misstagen i utvärderingen
Slutsatsen först. Genomför mottagningskontrollen som ett enda tillfälle, utifrån en skriven checklista som har godkänts innan enheten skickades, och ta fram tre artefakter när tillfället är slut: ett resultat för varje fråga i listan, ett foto för varje resultat och en skriven lista över de frågor som enheten inte kunde besvara. Det är dessa tre artefakter som gör det möjligt att föra över en utvärdering till en produktionsorder. Utan dem är ett prov bara en erfarenhet.
De sex misstagen är inte en lista med varningar. Varje misstag har en kontroll, och varje kontroll är en mening i ett dokument som kan utfärdas innan enheten flyttas.
Två situationer kräver separat hantering. En köpare som har godkänt en enhet mot bakgrund av en första order och funnit den acceptabel måste ändå genomföra den andra utvärderingen på rätt sätt, eftersom det är den andra utvärderingen som ligger till grund för referensvärdet som produktionskörningen mäts mot. Och en köpare som utvärderar flera leverantörer samtidigt behöver samma lista för varje leverantör, i samma ordning, annars blir jämförelsen baserad på intryck.
Vem som läser detta och vart programmet är på väg
Läsaren är en köpare på varumärkessidan, en kanalpartner eller en importör, och tidpunkten är när en enhet som någon har beställt kommer fram.
Den vanliga situationen är att enheten nu finns i ett rum med en person som inte skrev begäran och inte godkände kriterierna. Det är det vanliga fel sättet som ett provprogram i denna kategori misslyckas på, och det är inte ett fel i noggrannheten; det är ett fel i överlämningen. Begäran skrevs av en inköpschef, enheten tas emot av vem som helst var på plats och utvärderingen genomförs av en produkt- eller marknadsförsökare som redan har en stark uppfattning om vad svaret bör vara.
Det läsaren behöver är en procedur som klarar denna överlämning, vilket innebär en skriven checklista som kan lämnas över tillsammans med enheten, en namngiven godkännandeinstans och en regel för vad som händer med en fråga som enheten inte kan besvara.

Sex utvärderingsmisstag och kontrollen som stoppar varje misstag
| Misstag | Symtom | Kontroll |
|---|---|---|
| Kriterier skrivs efter att enheten har kommit | Fungerar oftast, men | Skriv godkänningskriterierna före leverans |
| En enhet bedöms för batchbeteende | Defekter upptäcks efter beställningen | Separera frågor om hårdvara från frågor om partier |
| Resultat beskrivs i löptext | Inget bevis när ett påstående ifrågasätts | Fotografera varje resultat |
| Enheten returneras med budkilen | Inget referensunderlag lämnas kvar vid en tvist | Behåll en enhet tillsammans med körningsfilen |
| Provet används som demonstrationsenhet | Referensobjektet skadas | Ange skriftligt att enheten inte är en demonstrationsenhet |
| Öppna frågor skrivs aldrig ner | Samma fråga återkommer senare | Skriv listan med brister samma dag |
Inget av de sex misstagen är ett tekniskt fel. Det är de vanliga följderna av att genomföra en utvärdering utan en skriven checklista, och det är därför ett provprogram i denna kategori så ofta kostar dubbelt så mycket som väntat.
Det första misstaget: kriterier skrivs efter att enheten har kommit
Det här är misstaget som gör att ett prov blir en begäran om ett andra prov.
Förloppet är nästan alltid detsamma. Enheten kommer fram, någon hanterar den och får ett intryck. Intrycket är huvudsakligen positivt, med ett enda förbehåll. Eftersom det inte finns någon överenskommen checklista blir förbehållet föremål för ett e-postmeddelande, och e-postmeddelandet blir en begäran om en annan enhet, eftersom det som var fel inte kan beskrivas tillräckligt exakt för att kunna åtgärdas.
Att godkänna kriterierna innan enheten skickas är en timmes arbete och den enskilt effektivaste åtgärden en köpare kan vidta i denna kategori. Kriterierna är inte testproceduren. De är definitionen av vad ett godkänt resultat är, skriven i förväg, med en namngiven godkännandeinstans och kort nog att en kollega kan tillämpa dem utan att behöva ställa frågor.
De kriterier som fungerar inom den här kategorin formas av det som katalogen inte publicerar. Sortimentet omfattar tjugoåtta modeller: elva kameramodeller, åtta ljudmodeller, tre sportmodeller och sex övriga poster — AR-glasögonen, tre barnmodeller, den elektrokromiska modellen och benledningsmodellen — och de elektriska uppgifterna publiceras för samtliga: cellkapacitet, laddtid, angiven batteritid, laddningsgränssnitt för tjugofyra av de tjugoåtta samt, där det är tillämpligt, fodralets kapacitet. De fysiska uppgifterna är öppna. Sortimentet anger en enda viktsiffra, 158 g för glasögonkropp inklusive MT6:s batteri på 265 mAh och kamera men exklusive det vikbara laddfodralet, och ingen vikt för enbart en båge för någon modell. Ingen modell publicerar synfält, videoformat, bildfrekvens eller rapportnummer för ingressprovning, och katalogen innehåller inga certifieringsuppgifter per modell alls.
De kriterier som en köpare formulerar i förväg handlar därför främst om de öppna uppgifterna: den uppmätta vikten, den observerade inspelningsvägen, hur fodralet ansluts och om det sker tillförlitligt, konstruktionen på arbetsavstånd samt kontrollernas funktion. Det är precis de uppgifter som ett prov kan klarlägga, och att formulera dem i förväg är vad som gör provet värt att ha.
En kriterielista som kan lämnas över
Listan i sig är kort och har fyra kolumner.
- Frågan. En rad, formulerad så att den kan besvaras med ja, nej eller ett tal. En fråga som endast kan besvaras med ett adjektiv kommer att få ett adjektiv som svar, och svaret kommer att godkännas.
- Metoden. Vad som görs, i vilket tillstånd och hur länge. För en batteritid innebär detta belastningen, starttillståndet och sluttillståndet, eftersom katalogen anger en batteritid på cirka sju timmar för L1 Pro och CY03, MT6 och CY05 samt L2 Utral, och mellan fem och åtta timmar för V03 Pro och V06 samt S7 och V03, utan att publicera villkoren bakom någon av dem.
- Godkännandegränsen. Ett tröskelvärde som godkänns innan enheten kommer fram. Ett kriterium utan godkännandegräns är en åsikt med en metod bifogad.
- Resultatet och beläggen. Ett tal, ett ja eller nej och ett fotografi. Lämnas tomt vid leverans och fylls i under sessionen.
Listan gör dessutom utvärderingen jämförbar med en senare produktionsserie, eftersom produktionskontrollen kan dokumenteras i samma fyra kolumner.
Överlämningen är där kriterierna försvinner
Den största delen av kriterieförlusten inom den här kategorin sker mellan personen som skriver listan och personen som tar emot enheten, och det är värdefullt att analysera detta eftersom varje steg i överlämningen kräver en annan åtgärd.
Det första steget är begäran i sig. Om kriterierna bifogas begäran i stället för att skickas senare följer de med enheten och kan inte förloras. Det andra steget är personen som kvitterar enheten för budkarlen. En signatur på en leveranssedel är inte en bekräftelse av utvärderingskriterierna, och en kurriersignatur som samtidigt bekräftar att listan finns i lådan eliminerar luckan till nästan ingen kostnad. Det tredje steget är den första person som öppnar paketet. Den som öppnar det kommer att bilda sig en uppfattning, och en uppfattning som bildats innan listan läses är den som består. Lösningen är proceduriell snarare än motivationsbaserad: läs listan innan enheten hanteras, inte efteråt.
Det fjärde steget är personen som sammanställer dokumentationen. En resultatlista som fylls i ur minnet en vecka senare är en beskrivning av en uppfattning med siffror bifogade, och den kommer att skilja sig från vad fotografierna visar. Att fylla i listan under sessionen, bredvid enheten, är vad som håller resultat och belägg synkroniserade.
Inget av dessa fyra steg ligger under köparens kontroll i fabriken, och samtliga ligger under köparens kontroll innan enheten skickas. Det är den praktiska anledningen att formulera kriterierna tidigt: inte för att kriterierna är svåra, utan för att varje timmes fördröjning mellan att de skrivs och används är en timme under vilken de tyst kan ersättas av en åsikt.
Att genomföra sessionen med två leverantörer sida vid sida
När enheter från två leverantörer utvärderas måste disciplinen vara strängare, inte mildare, eftersom de två sessionerna glider mot varandra och köparen till slut jämför sessionerna i stället för enheterna.
Tre regler hanterar det. Använd samma mall för båda, med samma frågor i samma ordning, så att en skillnad i svaren innebär en skillnad i produkten och inte en skillnad i metoden. Kör båda testsessionerna under samma förutsättningar när dessa kan kontrolleras, inklusive laddningsnivå, testets varaktighet och nätverksmiljön, eftersom en körtid som uppmätts med en annan anslutning inte är jämförbar. Och fyll i en mall innan du påbörjar den andra, eftersom att växelvis arbeta med de två inbjuder till en slutsats om den första innan den andra har registrerats.
Jämförelsen som detta ger är en jämförelse av underlag, inte av intryck, och det är endast den typ av jämförelse som består vid en oenighet om vilken leverantör som ska tilldelas ordern.

Det andra misstaget: en enhet bedöms som om den vore ett partiet
En enhet som fungerar korrekt visar köparen att en enhet kan tillverkas och att den fungerar i köparens hand. Den visar inte vad tusen enheter kommer att göra, och skillnaden handlar inte om försiktighet. En enskild enhet har inte valts ut enligt en provplan, har inte inspekterats mot en defektklassificering och är statistiskt oförmöjlig att fastställa en defekthastighet med.
Misstaget är lätt att göra eftersom de två frågorna verkligen är olika och det är bekvämt att slå ihop dem. Lösningen är att dela upp utvärderingsmallen i två kolumner innan enheten kommer: de frågor som en enhet kan avgöra och de frågor som endast ett parti kan avgöra. Den första kolumnen besvaras med provet. Den andra kolumnen schemaläggs, och den andra kolumnen innebär vanligtvis ett pilotparti eller en inspektion under produktionen.
Vad som hör hemma i den andra kolumnen i denna kategori är ganska förutsägbart. Partiets enhetlighet vad gäller höljet, cellen, kameramodulen och gränssnittet. Hur en firmwareuppdatering fungerar i en volym. Hur ofta ett kosmetiskt fel uppstår på en lins eller en templeskena. Långsiktig åldring. Inget av detta går att besvara vid ett skrivbord med en enhet, och en köpare som skriver in detta i provkriterierna får ett svar som ser ut att vara ett svar men inte är det.

Det tredje misstaget: underlaget som försvinner
Tre saker försvinner från ett provprogram utan att någon beslutar att ta bort dem, och alla tre behövs senare.
Fotografierna. En beskrivning av ett resultat är en redogörelse för ett resultat, och en redogörelse är det köparen har att tillgå när leverantören ifrågasätter undersökningen. Ett foto av skärmen, fillistan, mätvärdet eller kontakten är det som kan visas för motparten. Detta är skillnaden mellan en utvärdering och en åsikt, och kostnaden är ingenting annat än vanan att ta bilden.
Listan över frågor. Listan över de frågor som enheten inte kunde besvara är den mest värdefulla sidan i handlingen, eftersom varje post på den är ett beslut som måste fattas utifrån ofullständiga uppgifter. I denna kategori är listan lång: de öppna raderna i katalogen, de rader som leverantören inte har besvarat, de mätningar som köparen har gjort utan något publicerat värde att jämföra dem med och de frågor som endast ett dokument eller ett parti kan avsluta. Om listan skrivs ned samma dag är den en arbetslista. Om den skrivs ned en månad senare är den en rekonstruktion.
Referensenheten. Om ett prov returneras med kuriren lämnas en tvist kvar utan referenspunkt, och den jämförelse som då är möjlig görs mot en specifikationsrad i stället för mot den enhet som godkänts. Endast en enhet som förvaras i köparens egen handling under hela programmet kan avgöra en fråga om ett produktionsparti, och den kan inte skapas i efterhand. Om enheten ska behållas måste det avtalas i förväg, inklusive var den förvaras och vem som får inspektera den.
Problemet med displayenheten
Det finns en fjärde försvinnande företeelse som inte alls handlar om underlag, och det är det som köpare glömmer att kontrollera. Under flera månader är ett prov den enda enheten av en viss konfiguration, och det är den uppenbara enheten att lägga fram på ett bord vid ett möte, skicka till en kollega eller fotografera för ett utkast till broschyr. I samband med detta får den märken, och en referens med märken på kan inte användas för att diskutera en defekt i produktionen.
En enda rad i beställningen kan förhindra hela problemet: provet är inte en demonstrationsenhet, det handlas inte vidare, säljs inte vidare eller används offentligt, och det behålls av köparen som referens mot produktionen. Om det skickas i förväg är det inget anmärkningsvärt. Om det skickas i efterhand blir det en diskussion om huruvida ett repor spelar roll.
Vad en slutförd utvärderingsfil innehåller
En slutförd utvärdering inom denna kategori är en liten fil, och det är storleken som är poängen. Den innehåller den beställda konfigurationssträngen, kriteriebladet med alla fyra kolumner ifyllda, ett fotografi för varje resultat, listan över luckor, anteckningarna över de frågor som skickats till leverantören i efterhand samt referensenheten på en angiven plats. Sex punkter, ett tillfälle, och programmet kan avslutas och beställningen göras.
De två misstag som fortfarande är möjliga med den filen är båda kommersiella snarare än tekniska. Det första är ett beslut att beställa en volym som provet inte kan bära upp, när utvärderingsbladets andra kolumn aldrig schemalagts. Det andra är en uppfattning att provet har avgjort certifieringsomfattningen, trots att katalogen aldrig innehöll en certifieringsrad per modell och att svaret var en dokumentförfrågan.
Det är värt att vara exakt: det publicerade materialet är den del av specifikationen som vi kan stå för, och resten är en fråga för leverantörens egen fil. Vi publicerar upplösningsklass, cellkapacitet, laddtid, nominerad batteritid, laddgränssnitt där det publiceras, fodralets kapacitet där det publiceras, Bluetooth-versionen för ljud- och sportmodellerna samt färgvalen när sådana finns. Vi publicerar inte ett fristående viktvärde för någon modell, och den enda viktuppgiften i sortimentet avser MT6-glasögonens stomme på 158 g, vilket inkluderar batteriet och kameran men inte det hopfällbara laddfodralet. Vi fyller inte en öppen rad med ett typiskt värde, eftersom en köpare som bygger ett påstående på en uppskattad siffra upptäcker felet i fältet i stället för i offerten.
Vi anger också en enhets tillverkningsidentitet innan den skickas, behåller en produktionsreferensenhet tillsammans med körfilen och förvarar de register som gör att en kvalitetsdiskussion fyra månader efter leveransen har en referenspunkt. Vi behandlar inte en enskild enhet som bevis för beteende i hela batcher, och vi skickar inte en enhet i en konfiguration som skiljer sig från den som är avsedd för beställningen.
Vad vi kommer att svara under utvärderingen
Tre frågor dyker upp i nästan varje utvärderingstillfälle, och det är värt att besvara dem i förväg eftersom det är frågorna där köparens förväntningar och de publicerade uppgifterna inte möts.
Den första är laddtiden. Den publiceras för alla tjugoåtta modeller: två timmar eller mindre för tjugo-sex av dem och cirka en timme för D17 och ZH12, som är de två sportmodellerna med Type-C. Det som inte publiceras är batteriets utgångsläge och den punkt då laddningen bedöms vara klar, så en uppmätt tid är endast jämförbar med en annan uppmätt tid om båda har mätts på samma sätt. När vi anger en egen uppmätt tid förklarar vi vilket tillstånd den avser.
Den andra är laddgränssnittet. Det publiceras som magnetiskt för sjutton modeller och Type-C för sju, och publiceras inte alls för fyra kameramodeller: L1 Pro, CY03, CY05 och MT6. De fyra publicerar en kapacitet för fodralet men ingen rad för gränssnittet, och vi anger gränssnittet för den enhet vi tillverkar i stället för att lämna luckan kvar i filen.
Den tredje är certifieringsomfattningen. Katalogen innehåller en företagsomfattande sida för exportcertifiering men ingen certifieringsrad per modell, och texten innehåller ingen CE-, FCC- eller RoHS-märkning för någon produkt. Certifieringsomfattningen för en modell är därför ett dokument som måste begäras skriftligen för varje modell, och det är inte något som en enhet kan visa. Vi säger det rakt ut i stället för att låta ett prov verka avgöra frågan.
Skicka modellerna, antalen och målmarknaden, så berättar vi vilka av era frågor ett prov kan avgöra, vilka som kräver ett dokument och vilka som kräver en pilotserie. Provspelaren beskriver den bredare processen, marginalartikeln tar upp vad upplägget innebär kommersiellt och jämförelsen av fältarbete visar vilka rader ett prov inte kan avgöra.
Skicka konfigurationen, antalet och marknaden, så säger vi vilka delar av utvärderingen som är avgjorda och vilka som är dina.



