Detta är ett hypotetiskt fall och inte ett klientprojekt. Det är skrivet som ett resonemangsövning eftersom exemplets värde ligger i ordningen på resonemanget. Ingen kund beskrivs, inget projekt presenteras och inga siffror redovisas som våra egna. Scenariot, antalet modeller och marknaden är antagna så att stegen kan följas och återanvändas.
Fallet är värt att läsa eftersom orsaken inte var en defekt produkt, lösningen inte var en ersättningsbatch och alla publicerade rader i specifikationsarket var identiska i båda körningarna. Ingenting som en köpare normalt jämför hade ändrats. Programmet misslyckades ändå, och det misslyckades i sex månader innan någon hittade problemet.
Det mest användbara i fallet är det sista fyndet, och det är därför fallet presenteras i denna ordning i stället för som en berättelse.
Konsekvent kvalitet på smarta glasögon: när ett fastställt specifikationsark inte räcker
Scenariot, kortfattat
Ett varumärke lade en första order på två modeller av ljudglasögon och lade en andra order på samma två modeller sex månader senare. Returerna från den första ordern var få och oanmärkningsvärda. Returerna från den andra ordern ökade för en modell och förblev oförändrade för den andra. Den angivna orsaken på alla ärenden var densamma: enheten återansluter inte efter att ha varit ur fodralet i en dag.
Inget i produktspecifikationen hade ändrats. Firmwareversionen matchade den som levererats. Förpackningsgrafiken var samma revision. Cellkapaciteten, laddtiden, den angivna användningstiden, Bluetooth-versionen, laddningsmetoden och fodralets kapacitet var alla identiska i båda körningarna och identiska med de publicerade raderna för modellerna.
Köparens första instinkt var att det rörde sig om ett kvalitetsproblem hos leverantören, eftersom en stigande returandel för en modell leder tankarna till en defekt. Så var det inte.
Varför den första ordern inte var ledtråden
Den första ordern är anledningen till att problemet överlevde så länge, och det är värt att förstå varför den inte behandlades som en signal.
En första order är liten, och en liten order ger få enheter som en andel kan beräknas utifrån. Det viktigare är att returdata från den första ordern var låga i absoluta tal. Det fanns därför ingen baslinje att jämföra mot och ingen tröskel att passera. Programmet hade alltså ingen aning om att någon andel hade ändrats, utan bara att den andra ordern kändes sämre. Ett program som från början hade registrerat returandelen per batch skulle ha sett förändringen under den första veckan av den andra körningen. Ett program som följt returer per kvartal skulle ha sett den sent, och kvartalssiffran hade spätts ut av den friska modellen under samma period.
Det här är den första överförbara punkten och den handlar om mätdesign snarare än om leverantörer: en andel som inte mätts kan inte varna dig, och en andel som mäts mot fel nämnare kommer för sent för att vara till nytta.
Vad den första undersökningen antog och varför den fastnade
Den första undersökningsriktningen var den uppenbara: returerna gällde en modell, så undersökningen fokuserade på den modellen. Teamet hämtade enheter av den berörda modellen, testade dem i laboratoriet och hittade ingenting. Symtomen kunde inte återskapas i testmiljön.
Det är en verkligt besvärlig situation, och fel respons är att dra slutsatsen att returerna är ett problem i kundhanteringen. Rätt respons är att uppmärksamma vad som inte testades. Symtomet var ett återanslutningsfel efter en dag utan fodralet för en modell, men orsaken fanns inte nödvändigtvis hos just den modellen. De två modellerna i programmet delade leveranskedja, komponentlista och fabrik. En orsak i den gemensamma delen skulle ge symtom på den ena modellen men inte på den andra.
Teamets misstag var inte fokuset på den berörda modellen. Misstaget var avsaknaden av en jämförelse med den friska modellen och avsaknaden av en jämförelse med den tidigare körningen.

Vad jämförelsen av de två körningarna ledde till
Genombrottet var inte en bättre test. Det var en bättre jämförelse.
Jämför körningarna, inte modellerna
Två enheter hämtades från varje körnings lager – färdiga varor från den tidigare tillverkningen, inte färsk produktion – och testades på samma sätt. Två av de fyra enheterna från den andra körningen återskapade symtomet inom en dag. Ingen enhet från den första körningen gjorde det.
Betydelsen ligger i urvalsmetoden. En fabrik visar dig en produktionslinje som körs med din konfiguration, och en linje som körs i dag är ett demonstration av det aktuella läget, inte ett belägg för det tidigare tillverkningsomgången. Färdiga varor från en tidigare omgång är ett belägg, eftersom det är de enheter som faktiskt skickades till kunder.
Specifikationen hade inte ändrats; tillgången hade det
Jämförelsen mellan de två omgångarna gick sedan vidare till komponentlistan. Cellleverantören hade bytts ut mellan omgångarna, vid samma nominella kapacitet.
Allt som köparen kunde se förblev oförändrat. Cellkapacitetssiffran var densamma före och efter, eftersom ersättningscellen valdes för att matcha den publicerade kapaciteten. Laddtiden, den angivna användningen, laddmetoden och fodralets kapacitet var oförändrade. Varje rad som en köpare normalt skulle kontrollera mot katalogen stämde fortfarande, och varorna klarade fortfarande en mottagningsinspektion mot den publicerade specifikationen.
Det är mekanismen som är värd att benämna exakt: en ersättning som görs vid samma nominella värde är osynlig för alla kontroller som bygger på publicerade rader, eftersom publicerade rader beskriver värdet, och värdet hade inte ändrats. Endast artikelnumret bakom värdet ändrades, och artikelnumret är inte någon publicerad rad.
Det beteende som ändrades
Oavsett vad ersättningscellen förändrade i strömförloppet gjorde hon det på ett sätt som påverkade återanslutningen efter en djup urladdning. Två enheter från den första omgången och två från den andra, samma publicerade rader men olika beteende i samma test.
Vi har ingen mätning av det beteendet, och vi kommer inte att presentera en branschiffre för det. Vad fallet visar är felets form: en beteendemässig skillnad som ingen publicerad rad kan uttrycka, som endast upptäcks genom att köra samma metod mot enheter från två olika tillverkningsomgångar.
De två tester som redan hade körts, och vad de uteslöt
Innan jämförelsen av omgångarna hade teamet testat omfattande, och det är viktigt att vara exakt om vad dessa tester uteslöt, eftersom det är uteslutningen som gjorde fallet att se omöjligt ut i sex veckor.
Laboratorietestet laddade enheten och använde den omedelbart, och den klarade testet. Det uteslöt ett fel som uppstår på en enhet som laddas och används direkt, vilket är en verklig och värdefull uteslutning. Det uteslöt inte ett fel som endast uppstår efter att enheten stått oanvänd, och det uteslöt inte heller ett fel som endast uppstår i enheter från en viss tillverkningsomgång.
Det andra testet var en enskild enhetskontroll av den berörda modellen, hämtad från den aktuella produktionen, och även den klarade testet. Det uteslöt ett fel i den aktuella tillverkningsomgången av modellen, i det urval som testades. Det uteslöt inte ett fel som var specifikt för den tidigare omgången, eftersom det inte fanns någon tidigare omgång att testa mot – vilket är vad den kvarvarande enhetskontrollen tar sikte på.
Inget av testerna var felaktiga, och inget av dem var slöseri med tid. Misstaget var att behandla två uteslutningar som ett allmänt bevis på att inget var fel. Ett test som godkänns utesluter endast de förhållanden det testade, och ingenting annat. Disciplinen att dokumentera vilka förhållanden ett test omfattar är samma disciplin som acceptanskriteriernas lista senare tillämpade på återanslutningskontrollen. Programmet hade en metod för sina bänktester men inte för sina acceptanskriterier, vilket är anledningen till att bänktesterna var exakta och att acceptanskriterierna kunde uppfyllas av allt som fungerade.
Tabellen ovan är kärnan i fallet. Fem publicerade rader stämde överens i båda omgångarna, och problemet uppstod ändå. Den sjätte raden – cellens artikelnummer – var den som hade flyttats, och det är en rad som katalogen inte publicerar.
Varför leverantören inte ifrågasatte det
Leverantören ifrågasatte inte resultatet när de båda satserna hade lagts fram, och det är värt att säga varför, eftersom det är skillnaden mellan ett kvalitetsfel och ett kontrollfel.
Leverantören hade inte dolt ersättningen. Inget i materialet var falskt. Det som saknades var en mekanism: ingen hade bett leverantören att inhämta godkännande innan en kritisk komponent byttes ut, så ändringen hade gjorts som ett normalt inköpsbeslut, och ingen hade kunnat uppmärksamma att den betydde något. Frånvaron av sådan kontroll var inte oärlig. Det var en kontroll som aldrig hade dokumenterats, på någon av sidorna.
Tidslinjen visar var de sex månaderna tog vägen. Ersättningen skedde i luckan mellan två omgångar, under en period då ingen dokumentation skrevs eftersom ingen omgång pågick. När symtomen uppstod var underlaget som behövdes för att tillskriva dem tre månader gammalt och fick rekonstrueras från lagret.

De tre kontroller som avslutade ärendet
Tre saker ändrades, i den här ordningen, och ingen av dem krävde en annan leverantör.
En komponentlista bifogad inköpsordern
De kritiska komponenterna — däribland cellen — angavs med artikelnummer på inköpsordern, med en regel om att eventuella ersättningar kräver skriftligt godkännande innan de används. Regeln är den viktiga delen. En komponentlista utan godkännanderegel är bara en beskrivning; med en regel blir en ersättning ett samtal som inköparen är delaktig i.
Det här är den billigaste av de tre åtgärderna och den som hade kunnat förhindra hela felet. Den kostar en rad i inköpsordern och en underskrift.
En acceptanskravsblankett med en metod, inte en beskrivning
Kontrollen av återanslutningen formulerades som en metod — anslut, koppla ner, återanslut, två gånger — i stället för som en beskrivning av en fungerande produkt. Varje krav i den andra ordern hade uppfyllts på papper, men inget av dem hade kunnat upptäcka det här, eftersom ”enheten återansluter” uppfylls av en enhet som återansluter på testbänken omedelbart efter en fullständig laddning.
Metoden tillförde de två saker som en beskrivning inte kan förmedla: det tillstånd som utlöser felet, nämligen fullständig urladdning, och ett antal repetitioner som skiljer ett beteende från en tillfällighet. Antalet testade enheter är litet, men antalet försök per enhet är det som gör resultatet reproducerbart.
En kvarvarande enhet från varje produktionsomgång
En enhet från varje produktionsomgång behålls och märks med vilken omgång den kommer från, så att en framtida jämförelse har något att jämföra mot. Det här är åtgärden som hade kunnat förkorta utredningen från sex månader till sex veckor, eftersom enheterna från den första omgången hade funnits tillgängliga att testa mot den andra omgångens i stället för att visa sig vara otillgängliga.
Att behålla en enhet per omgång kostar en enhet per omgång. Det är den minst dyra åtgärden i uppsättningen och den som oftast utelämnas.
Vad de tre åtgärderna kostade och varför de accepterades
Det användbara med den här uppsättningen är att alla tre var billiga, eftersom motståndet som en inköpare möter när åtgärder införs nästan aldrig handlar om pengar. Det handlar om ansträngningen och om föreställningen att en åtgärd som aldrig har upptäckt något inte är värd pappersarbetet.
Komponentlistan kostar en rad i inköpsordern och en underskrift vid varje ersättning. Acceptanskravsblanketten kostar ett möte för formulerandet före den första produktionsomgången och undanröjer diskussioner senare. Den kvarvarande enheten kostar en enhet per omgång. Totalt kostar de tre åtgärderna mindre än en enda retursändning, och argumentet för dem framställdes inte på kvalitetsgrunder — det framställdes utifrån att programmet just hade tillbringat sex månader och en kreditnota för att lära sig en läxa som tre små åtgärder hade förmedlat.
Skälet till att de accepterades är också skälet till att de är värda att rekommendera. Var och en fästes vid en tidpunkt som programmet redan hade. Komponentlistan fästes vid inköpsordern, acceptansblanketten vid den första enheten och den kvarvarande enheten vid slutet av omgången. Åtgärder som kräver ett nytt möte, ett nytt system eller en ny vana blir övergivna; åtgärder som fästs vid ett befintligt steg används.

Vad det här fallet lär ut som en specifikation inte kan
Jämför omgångar, inte modeller
Symtomet uppträdde på en modell och orsaken fanns på båda. En inköpare som bara hade undersökt den berörda modellen hade inte hittat något, vilket precis var vad som hände under de första sex veckorna.
Den generella formen av den här läxan är värd att behålla: ett symtom som uppstår på en artikel i ett program är ett påstående om den artikeln, och orsaken ligger ofta på den delade sidan. Den första frågan att ställa vid all oförklarad avdrift är vad annat den berörda artikeln har gemensamt med den friska.
Ta prov från lagret, inte från produktionslinjen
En fabrik visar dig en produktionslinje som kör din konfiguration, och en produktionslinje som kör i dag berättar om i dag. Färdiga varor som plockats från en tidigare omgång är beviset, och de är dessutom svårare att ordna med, vilket är en del av skälet till att de inte begärs tillräckligt ofta.
Den praktiska begäran är liten: två enheter från den föregående omgången och två från den pågående, testade på samma sätt. Det är värdefullt att ha rätten att be om att detta skrivs in i avtalet, eftersom det förutsätter att leverantören behåller lager från en omgång som redan har levererats.
Skriv metoden, inte adjektivet
Varje kriterium i den andra ordningen uppfylldes på papper, men inget av dem hade upptäckt detta. Kontrollen av återanslutningen behövde en metod och ett antal upprepningar, och det behövdes ett villkor som gjorde det möjligt att återskapa felet skrivet in i instruktionen.
Detta är den allmänna lärdomen av fallet, och den gäller alla egenskaper som en köpare anger. Ett kriterium som kan uppfyllas genom att beskriva en bra produkt är inte ett kriterium; det är ett sätt att skjuta upp diskussionen till en punkt när den blir dyrare.
De publicerade raderna är en lägsta gräns, inte en högsta
Allt som katalogen publicerar beskriver värdet. Det beskriver inte delen bakom värdet, och i en kategori där samma nominella värde förekommer på flera produkter kan de publicerade raderna inte visa om två enheter med samma siffra är samma produkt.
Det är inte en kritik mot katalogen, och det är viktigt att vara exakt i den meningen: en publicerad uppsättning specifikationer är ett utmärkt verktyg för att begränsa urvalet men ett dåligt verktyg för att avsluta det. Den visar vilka modeller som ska beaktas och hur en enhet ska se ut när den levereras. Den visar inte om komponenten inuti enheten är den som programmet var utformat kring.
Bygga jämförelsen innan den behövs
Jämförelsen som löste detta fall — två enheter från den föregående körningen och två från den aktuella, testade på samma sätt — är inte en undersökningsmetod. Det är en rutin, och rutinen är värd att upprätta medan inget är fel.
Tre moment i programmet gör den till rutin. Behåll en enhet från varje körning och märk den med körningen, datumet och konfigurationen. Behåll enheterna från en andra körning i stället för att skicka eller kassera dem, så att en jämförelse är möjlig. Och dokumentera acceptansmetoden en enda gång, så att samma metod kan tillämpas på enheter från olika tillverkningar utan att den behöver skrivas om under tidspress.
Den kommersiella motiveringen för detta är enkel och beror inte på att fallet ovan är typiskt. En returandel som inte kan hänföras till en specifik tillverkning är en kostnad som inte kan avgränsas, och en kostnad som inte kan avgränsas är en kostnad som så småningom överstiger programmets marginal. Ett program som kan hänföra ett fel till en körning kan stoppa den, ge kredit för den berörda satsen och fortsätta att skicka resten. Ett program som inte kan det måste antingen ge kredit för allt eller ingenting, och båda alternativen är sämre än det som data hade kunnat ge stöd för.
Vad felet kostade, i kommersiella termer
Kostnaden för detta fall fanns inte i de defekta enheterna, eftersom det inte fanns något fel i den meningen att en enhet inte borde ha tillverkats. Den fanns i de kommersiella villkoren som behövde förhandlas om i efterhand.
Den första kostnaden var returreserven. Ett program som budgeterat för en returandel baserat på den första körningen hade reserverat en siffra som visade sig vara fel för en modell, och skillnaden mellan den reserverade andelen och den faktiska andelen innebar en direkt minskning av marginalen för hela den andra ordningen, inte en kredit för de berörda enheterna.
Den andra kostnaden var omtillverkningen av inköpsordern och acceptanskriterierna, som inte finansierades av leverantören eftersom leverantören inte hadde brutit något. Varje timme som lades på att bygga om dokumentationen var en kostnad som köparen bar, och den uppstod i programmet vid den tidpunkt då tidplanen inte hade någon marginal.
Den tredje kostnaden var den som ingen prissatte: relationen. En leverantör som ifrågasätter ett resultat är ett kommersiellt problem, och det är även en leverantör som har rätt sex månader senare och måste bära både krediten och en ursäkt. Ingen av parterna i detta fall hade gjort något fel, och båda fick ett sämre program efteråt.
Den kommersiella lärdomen är att den billigaste tidpunkten att köpa säkerhet i denna kategori är vid avtalet, och att de kontroller som skapar denna säkerhet kostar en bråkdel av en returreserv som baseras på gissningar. Alternativet — att förhandla om en felandel efter att ett fel har inträffat — är det dyraste sättet att fastställa en siffra, och det fastställer en siffra för fel sats.
Vad vi kommer och inte kommer att skriftliggöra om detta
Vi publicerar inte någon defekthalt eller konsekvenssiffra, eftersom alla sådana siffror utan nämnare och inspektionsmetod är marknadsföringssiffror — inga av dem publiceras inte i vår dokumentation. Vi publicerar inte heller någon mätning av återanslutning för en cell som vi inte har karakteriserat, och vi kommer inte att presentera fallet ovan som en mätning av vår egen produktion, eftersom det är en hypotetisk rekonstruktion som skrivits för att visa resonemangets ordning.
Det vi kommer att göra är den del som är ett åtagande snarare än en statistikuppgift. Vi bestämmer kritiska komponenter utifrån artikelnummer tillsammans med en skriftlig godkännanderegel. Vi kommer överens om acceptanskriterier och metoder före produktionsstart, inte efter den första leveransen. Vi behåller en enhet från varje produktionsomgång. Och vi informerar en köpare skriftligt om att en komponent eller en firmwareversion ändras, före ändringen används, så att samtalet sker medan det fortfarande är billigt.
Ett komponentbyte som genomförts utan samtal är den enda feltyp som det här fallet ledde till, och det är den billigaste att förebygga. Det kostar en rad i inköpsordern.
Avsnittet om kvalitetskonsekvens för glasögon beskriver den ram som det här fallet ingår i.
Relaterad läsning
- Vad du bör fråga innan du beställer — de sju frågorna
- Konsekvensfel — var det går fel
- Exempel på fabriksrevision — samma iakttagelse, annan väg
Skicka de två produktionsomgångarna och komponentlistan till oss, så berättar vi vilka publicerade rader som stämmer, vilken rad som har ändrats och vad som fortfarande måste avslutas skriftligt avseende konsekvent kvalitet på smarta glasögon.



