To hipotetyczny przypadek, a nie projekt dla klienta. Został opisany jako ćwiczenie rozumowania, ponieważ wartość tego przykładu polega na kolejności rozumowania. Nie opisano żadnego klienta, nie deklaruje się żadnego projektu ani nie przedstawia żadnych liczb jako własnych. Scenariusz, liczba modeli i rynek są założone, aby można było prześledzić poszczególne kroki i je później wykorzystać.
Warto przeczytać ten przypadek, ponieważ przyczyną nie był wadliwy produkt, rozwiązaniem nie była partia wymienna, a każdy opublikowany wiersz w arkuszu specyfikacji był identyczny w obu partiach. Nic, co kupujący zwykle porównuje, się nie zmieniło. Program nadal się nie powiódł — przez sześć miesięcy, zanim ktokolwiek znalazł przyczynę.
Najbardziej przydatną rzeczą w tym przypadku jest ostatnie ustalenie. To ono stanowi powód, dla którego przypadek przedstawiono w tej kolejności, a nie jako narrację.
Spójność jakości smart glasses: kiedy stały arkusz specyfikacji nie wystarcza
Scenariusz wprost
Marka kanałowa złożyła pierwsze zamówienie dwóch modeli okularów audio, a sześć miesięcy później złożyła drugie zamówienie na te same dwa modele. Zwroty z pierwszego zamówienia były niskie i nie wyróżniały się niczym szczególnym. W przypadku drugiego zamówienia wskaźnik zwrotów wzrósł w jednym modelu, a w drugim pozostał bez zmian. Podanym powodem na każdym zgłoszeniu było to samo: urządzenie nie łączy się ponownie po tym, jak przez dzień pozostawało poza etui.
W specyfikacji produktu nie zmieniło się nic. Wersja oprogramowania sprzętowego odpowiadała wersji dostarczonej w pierwszej partii. Projekt opakowania był tą samą rewizją. Pojemność ogniwa, czas ładowania, znamionowy czas użytkowania, wersja Bluetooth, metoda ładowania i pojemność etui były identyczne w obu partiach i zgodne z opublikowanymi wierszami dotyczącymi tych modeli.
Pierwszą reakcją kupującego było podejrzenie niskiej jakości dostawcy, ponieważ rosnący wskaźnik zwrotów w przypadku jednego modelu sugeruje wadę. Nie było to jednak prawdą.
Dlaczego pierwsze zamówienie nie było wskazówką
Pierwsze zamówienie sprawiło, że problem przetrwał tak długo. Warto zrozumieć, dlaczego nie potraktowano go jako sygnału.
Pierwsze zamówienie było niewielkie, a w niewielkim zamówieniu powstaje mało egzemplarzy, na których można oprzeć obliczenie wskaźnika. Co ważniejsze, dane dotyczące zwrotów z pierwszego zamówienia były niskie w ujęciu bezwzględnym, więc nie było punktu odniesienia do porównania ani progu, który zostałby przekroczony. Program nie miał zatem pojęcia, że wskaźnik się zmienił, a jedynie że drugie zamówienie sprawiało wrażenie gorszego. Program, który od początku zapisywałby wskaźnik zwrotów dla każdej partii, zobaczyłby zmianę już w pierwszym tygodniu drugiej partii. Program monitorujący zwroty w ujęciu kwartalnym zobaczyłby ją później, a dane kwartalne zostałyby rozcieńczone przez wyniki zdrowego modelu w tym samym okresie.
To pierwszy przenoszalny wniosek, który dotyczy projektu pomiarów, a nie dostawców: wskaźnik, którego się nie mierzy, nie może nas ostrzec, a wskaźnik mierzony przy niewłaściwym mianowniku daje wynik zbyt późno, aby był przydatny.
Co zakładało pierwsze badanie i dlaczego utknęło
Pierwszym kierunkiem dochodzenia był oczywisty: zwroty dotyczyły jednego modelu, więc badanie skupiło się na tym modelu. Zespół pobrał egzemplarze modelu dotkniętego problemem, przetestował je w laboratorium i nie znalazł niczego. Objawy nie powtórzyły się w warunkach laboratoryjnych.
To naprawdę niezręczna sytuacja. Błędną reakcją byłoby stwierdzenie, że zwroty wynikają z niewłaściwej obsługi klienta. Właściwą reakcją jest zauważenie, czego nie przetestowano. Objawem była awaria ponownego łączenia po dniu bez etui, występująca w jednym modelu, ale przyczyna nie musiała leżeć w tym modelu. Oba modele objęte programem korzystały z tego samego łańcucha dostaw, wykazu komponentów i fabryki, a przyczyna po stronie elementów wspólnych ujawniłaby się w jednym modelu, a nie w drugim.
Błędem zespołu nie był nacisk na model dotknięty problemem, lecz brak porównania z modelem działającym prawidłowo oraz brak porównania z wcześniejszą partią.

Co ujawniło porównanie obu partii
Przełomem nie był lepszy test, lecz lepsze porównanie.
Porównuj partie, nie modele
Z magazynu każdej partii pobrano po dwa egzemplarze — gotowe produkty z wcześniejszej produkcji, a nie świeżą partię — i przetestowano je w ten sam sposób. Dwa z czterech egzemplarzy z drugiej partii odtworzyły objaw w ciągu jednego dnia. Żaden egzemplarz z pierwszej partii tego nie zrobił.
Znaczenie tkwi w sposobie doboru. Fabryka pokaże Ci linię produkcyjną obsługującą Twoją konfigurację, a linia działająca dzisiaj jest demonstracją obecnego stanu, a nie dowodem na wcześniejszą produkcję. Wyroby gotowe pobrane z poprzedniej partii są dowodem, ponieważ to właśnie one trafiły do klientów.
Specyfikacja się nie zmieniła; zmieniło się zaopatrzenie
Następnie porównano dwie partie pod kątem listy komponentów. Między nimi wymieniono dostawcę ogniw, przy tej samej nominalnej pojemności.
Wszystko, co kupujący mógł zobaczyć, pozostało bez zmian. Wartość pojemności ogniwa była taka sama przed zmianą i po niej, ponieważ zamiennik dobrano tak, aby odpowiadał opublikowanej pojemności. Czas ładowania, znamionowy czas pracy, metoda ładowania i pojemność etui pozostały niezmienione. Każdy wiersz, który kupujący zwykle sprawdza w katalogu, nadal był zgodny z opisem, a towary nadal przechodziły kontrolę odbiorową zgodnie z opublikowaną specyfikacją.
Warto precyzyjnie nazwać ten mechanizm: zamiana dokonana przy tej samej wartości nominalnej jest niewidoczna dla każdej kontroli opartej na opublikowanych wierszach, ponieważ opublikowane wiersze opisują wartość, a wartość się nie zmieniła. Zmienił się wyłącznie numer katalogowy części stojący za tą wartością, a numer katalogowy części nie jest opublikowanym wierszem.
Zmiana zachowania
Cokolwiek zamiennikowe ogniwo zmieniło w obwodzie zasilania, nastąpiło to w sposób wpływający na ponowne podłączenie po głębokim rozładowaniu. Dwa egzemplarze z pierwszej partii i dwa z drugiej miały identyczne opublikowane wiersze, ale zachowywały się inaczej podczas tego samego testu.
Nie dysponujemy pomiarem tego zachowania i nie będziemy przedstawiać dla niego branżowej wartości. Etui dowodzi natomiast kształtu usterki: różnicy w zachowaniu, której żaden opublikowany wiersz nie jest w stanie wyrazić i którą można było wykryć wyłącznie przez zastosowanie tej samej metody do egzemplarzy z dwóch różnych partii.
Dwa przeprowadzone już testy i to, co wykluczyły
Przed porównaniem partii zespół przeprowadził obszerzne testy. Warto precyzyjnie wyjaśnić, co wykluczyły, ponieważ właśnie te wykluczenia sprawiły, że przez sześć tygodni sprawa wydawała się niemożliwa.
Test laboratoryjny naładował egzemplarz i natychmiast go uruchomił; test został zaliczony. Wykluczyło to usterkę występującą w egzemplarzu ładowanym i użytkowanym bezpośrednio, co stanowi rzeczywiste i cenne wykluczenie. Nie wykluczyło natomiast usterki pojawiającej się wyłącznie po pozostawieniu egzemplarza bezczynności ani usterki występującej wyłącznie w egzemplarzach z określonej partii.
Drugim testem było sprawdzenie pojedynczego egzemplarza modelu, którego dotyczył problem, pobranego z bieżącej produkcji; test również został zaliczony. Wykluczyło to usterkę w badanej próbce bieżącej partii tego modelu. Nie wykluczyło natomiast usterki swoistej dla wcześniejszej partii, ponieważ nie było wcześniejszej partii, z którą można by ją porównać — właśnie temu problemowi odpowiada zachowany egzemplarz kontrolny.
Żaden z testów nie był błędny i żaden nie był stratą czasu. Błędem było potraktowanie dwóch wykluczeń jako ogólnego uniewinnienia. Zaliczony test wyklucza wyłącznie warunki, które objął, i nic więcej. Zasada zapisywania, jakie warunki objął dany test, jest taka sama jak ta, którą później zastosowano do kryteriów akceptacji przy sprawdzaniu ponownego podłączenia. Program miał metodę testów stanowiskowych, ale nie miał metody określania kryteriów akceptacji. Dlatego testy stanowiskowe były precyzyjne, a kryteria akceptacji spełniał cokolwiek, co działało.
Powyższa tabela jest sednem sprawy. Pięć opublikowanych wierszy było zgodnych w obu partiach, a mimo to pojawił się problem. Szósty wiersz — numer katalogowy ogniwa — uległ zmianie, choć katalog go nie publikuje.
Dlaczego dostawca nie zakwestionował ustaleń
Dostawca nie zakwestionował ustaleń po przedstawieniu obu partii. Warto wyjaśnić dlaczego, ponieważ stanowi to różnicę między usterką jakościową a awarią kontroli.
Dostawca nie ukrył zamiany. Nic w przedstawionych materiałach nie było fałszywe. Brakowało jednak mechanizmu: nikt nie poprosił dostawcy o uzyskanie zgody przed zmianą komponentu krytycznego, więc zmiana została wprowadzona jako zwykła decyzja zakupowa, a nikt nie znalazł się w sytuacji, w której mógłby zauważyć jej znaczenie. Brak ten nie wynikał z nieuczciwości. Był to brak kontroli, której nigdy nie udokumentowano po żadnej ze stron.
Oś czasu pokazuje, dokąd minęło sześć miesięcy. Zamiana nastąpiła w przerwie między dwiema partiami, w okresie, w którym nie sporządzano żadnych zapisów, ponieważ żadna partia nie była w produkcji. Gdy pojawili się objawy, dowody potrzebne do ustalenia ich przyczyny miały trzy miesiące i trzeba było je odtworzyć na podstawie stanu magazynowego.

Trzy kontrole, które zamknęły sprawę
Trzy rzeczy się zmieniły, w tej kolejności, i żadna z nich nie wymagała zmiany dostawcy.
Lista komponentów dołączona do zamówienia zakupowego
Krytyczne komponenty — w tym ogniwo — zostały wskazane w zamówieniu zakupowym według numerów części, wraz z zasadą, że każda zmiana wymaga pisemnej akceptacji przed jej zastosowaniem. To właśnie ta zasada ma największe znaczenie. Lista komponentów bez zasady akceptacji jest jedynie opisem; wraz z nią zmiana komponentu staje się kwestią, w której uczestniczy kupujący.
Jest to najtańsza z trzech kontroli i ta, która zapobiegłaby całemu niepowodzeniu. Kosztuje jedną pozycję w zamówieniu zakupowym i jeden podpis.
Arkusz kryteriów akceptacji zawierający metodę, a nie opis
Sprawdzenie ponownego połączenia zostało opisane jako metoda — połącz, rozłącz, połącz ponownie, dwa razy — a nie jako opis działającego produktu. Każde kryterium w drugim zamówieniu zostało spełnione na papierze, a żadne z nich nie wykryłoby tego problemu, ponieważ warunek „urządzenie łączy się ponownie” jest spełniony także przez urządzenie, które ponownie łączy się na stanowisku testowym bezpośrednio po pełnym naładowaniu.
Metoda dodała dwie rzeczy, których nie może przekazać opis: warunek wyzwalający awarię, czyli pełne rozładowanie, oraz liczbę powtórzeń, która pozwala odróżnić powtarzalne zachowanie od zbieżności okoliczności. Liczba testowanych urządzeń jest mała, ale to liczba prób na urządzenie sprawia, że wynik można powtarzać.
Zachowane urządzenie z każdej serii produkcyjnej
Z każdej serii produkcyjnej zachowuje się jedno urządzenie i oznacza je etykietą z numerem serii, z której pochodzi, aby w przyszłości można było przeprowadzić porównanie. To ta kontrola skróciłaby dochodzenie z sześciu miesięcy do sześciu tygodni, ponieważ urządzenia z pierwszej serii byłyby dostępne do porównania z urządzeniami z drugiej, zamiast dopiero w trakcie dochodzenia okazywałoby się, że nie ma ich w magazynie.
Zachowanie jednego urządzenia z każdej serii kosztuje jedno urządzenie na serię. Jest to najmniej kosztowna kontrola w zestawie i najczęściej pomijana.
Koszt trzech kontroli i powody ich zaakceptowania
Przydatność tego zestawu polega na tym, że wszystkie trzy kontrole były tanie, ponieważ opór, jaki napotyka kupujący przy wprowadzaniu kontroli, prawie nigdy nie dotyczy pieniędzy. Dotyczy nakładu pracy oraz przekonania, że kontrola, która nigdy niczego nie wykryła, nie jest warta zachodu papierkowego.
Lista komponentów kosztuje jedną pozycję w zamówieniu zakupowym i podpis pod każdą zmianą. Arkusz kryteriów akceptacji kosztuje jedną sesję przygotowania dokumentu przed pierwszą serią produkcyjną, a później eliminuje spory. Zachowane urządzenie kosztuje jedno urządzenie na serię. Łącznie trzy kontrole kosztują mniej niż jedna przesyłka zwrotna, a argument za nimi nie opierał się na jakości — opierał się na tym, że program właśnie spędził sześć miesięcy i otrzymał notę kredytową, ucząc się lekcji, którą przekazałyby trzy niewielkie kontrole.
Powód ich zaakceptowania jest jednocześnie powodem, dla którego warto je rekomendować. Każda z nich była powiązana z momentem, który już istniał w programie. Lista komponentów — z zamówieniem zakupowym, arkusz akceptacji — z pierwszą próbą produkcyjną, zachowane urządzenie — z końcem serii. Kontrole wymagające nowego spotkania, nowego systemu lub nowego nawyku są porzucane; kontrole powiązane z istniejącym etapem są stosowane.

Co ta sprawa uczy, czego nie potrafi specyfikacja
Porównuj serie, a nie modele
Objaw pojawił się w jednym modelu, a przyczyna dotyczyła obu. Kupujący, który zbadałby wyłącznie model objęty problemem, nie znalazłby niczego — dokładnie tak stało się przez pierwsze sześć tygodni.
Warto zachować ogólną formę tej lekcji: objaw występujący w jednym egzemplarzu w programie mówi coś o tym egzemplarzu, natomiast przyczyna często leży po stronie elementów wspólnych. Pierwszym pytaniem, które należy zadać w przypadku jakiegokolwiek niewyjaśnionego odchylenia, jest: z czym jeszcze egzemplarz dotknięty problemem ma wspólnego z egzemplarzem działającym prawidłowo?
Pobieraj próbki z magazynu, a nie z linii produkcyjnej
Fabryka pokaże Ci linię produkcyjną działającą zgodnie z Twoją konfiguracją, a linia działająca dzisiaj mówi tylko o dzisiejszym dniu. Dowodem są gotowe produkty pobrane z wcześniejszej serii, a ich pozyskanie jest trudniejsze — między innymi dlatego próbek tych nie zamawia się wystarczająco często.
Praktyczne żądanie jest niewielkie: dwa urządzenia z poprzedniej serii i dwa z bieżącej, przetestowane w ten sam sposób. Warto mieć prawo do zapisania tego w umowie, ponieważ zależy ono od zachowania przez dostawcę zapasów z serii, która została już dostarczona.
Opiszuj metodę, a nie przymiotnik
Każde kryterium w drugiej kolejności zostało spełnione na papierze, a żadne z nich nie wykryłoby tego problemu. Kontrola ponownego połączenia wymagała metody oraz liczby powtórzeń, a także wymagała wpisania w instrukcji warunku powodującego awarię.
To ogólna lekcja płynąca z tego przypadku, która dotyczy każdej cechy wskazywanej przez kupującego. Kryterium, które można spełnić, opisując dobry produkt, nie jest kryterium; jest sposobem przeniesienia sporu na moment, w którym jest on droższy.
Opublikowane wiersze wyznaczają dolną granicę, a nie górną
Wszystko, co publikuje katalog, opisuje wartość. Nie opisuje części znajdującej się za tą wartością, a w kategorii, w której ta sama wartość nominalna pojawia się przy kilku produktach, opublikowany wiersz nie pozwala ustalić, czy dwa egzemplarze o tej samej wartości są tym samym produktem.
Nie jest to krytyka katalogu, a warto wyrazić to precyzyjnie: opublikowany zestaw specyfikacji jest doskonałym narzędziem zawężania wyboru, lecz słabym narzędziem do zamykania sprawy. Mówi nam, które modele należy rozważyć, oraz jak powinien wyglądać egzemplarz po dostawie. Nie mówi nam jednak, czy komponent wewnątrz egzemplarza jest tym, wokół którego zaprojektowano program.
Zbudowanie porównania, zanim będzie potrzebne
Porównanie, które rozwiązało ten przypadek — dwa egzemplarze z poprzedniego uruchomienia i dwa z bieżącego, poddane identycznym testom — nie jest techniką dochodzenia. Jest rutynową procedurą, a tę procedurę warto wdrożyć, zanim pojawi się jakikolwiek problem.
Rutynowość zapewniają trzy elementy programu. Należy zachować po jednym egzemplarzu z każdego uruchomienia i oznaczyć go numerem uruchomienia, datą oraz konfiguracją. Egzemplarze z drugiego uruchomienia należy zachować zamiast wysyłać lub utylizować, aby możliwe było przeprowadzenie porównania. Metodę akceptacji należy natomiast zapisać raz, aby można było stosować tę samą metodę do egzemplarzy z różnych produkcji bez konieczności jej przepisywania pod presją czasu.
Uzasadnienie biznesowe jest proste i nie zależy od tego, czy opisany przypadek jest typowy. Wskaźnik zwrotów, którego nie można przypisać do konkretnej produkcji, oznacza koszt, którego nie można ograniczyć, a koszt, którego nie można ograniczyć, ostatecznie przekroczy marżę programu. Program, który potrafi przypisać usterkę do konkretnego uruchomienia, może je zatrzymać, wystawić kredyt dla affected partii i kontynuować wysyłkę pozostałych produktów. Program, który nie potrafi tego zrobić, będzie musiał wystawić kredyt dla wszystkich produktów albo dla żadnych, a obie odpowiedzi są gorsze niż odpowiedź, którą mogłaby uzasadnić dostępna dokumentacja.
Koszt awarii w kategoriach biznesowych
Koszt tego przypadku nie dotyczył wadliwych egzemplarzy, ponieważ nie było wady w rozumieniu egzemplarza, którego nie powinno się było wyprodukować. Dotyczył natomiast warunków biznesowych, które trzeba było renegocjować po fakcie.
Pierwszym kosztem była rezerwa na zwroty. Program, który zaplanował budżet na podstawie wskaźnika zwrotów z pierwszego uruchomienia, zarezerwował kwotę, która okazała się nieprawidłowa dla jednego modelu, a różnica między zarezerwowanym a rzeczywistym wskaźnikiem oznaczała bezpośrednie zmniejszenie marży w całej drugiej kolejności, a nie kredyt dla affected partii.
Drugim kosztem była praca nad zamówieniem zakupowym i kryteriami akceptacji, której nie pokrył dostawca, ponieważ dostawca nie naruszył żadnych zobowiązań. Każda godzina poświęcona na odbudowę dokumentacji stanowiła koszt poniesiony przez kupującego, który pojawiał się w momencie, gdy harmonogram nie miał już żadnej rezerwy.
Trzecim kosztem był ten, którego nikt nie wycenił: relacja z dostawcą. Dostawca, który kwestionuje ustalenia, stanowi problem biznesowy, podobnie jak dostawca, który po sześciu miesiącach ma rację i musi przyjąć kredyt oraz przeprosiny. Żadna ze stron w tym przypadku nie postąpiła niewłaściwie, a mimo to obie miały później gorszy program.
Lekcja biznesowa jest taka, że najtańszym momentem na uzyskanie pewności w tej kategorii jest etap umowy, a mechanizmy kontroli zapewniające tę pewność kosztują ułamek rezerwy na zwroty ustalonej na podstawie zgadywania. Alternatywa — negocjowanie wskaźnika wad po wystąpieniu usterki — jest najdroższą metodą ustalenia liczby, a ponadto ustala ją dla niewłaściwej partii.
Co odnośnie do tego zapiszemy, a czego nie zapiszemy
Nie publikujemy wskaźnika wad ani wartości obrazującej spójność, ponieważ każda liczba bez mianownika i metody kontroli jest wartością marketingową — wszystkie takie dane są oznaczone w naszej dokumentacji jako niepublikowane. Nie opublikujemy pomiaru ponownego łączenia dla ogniwa, którego nie scharakteryzowaliśmy, ani nie przedstawimy powyższego przypadku jako pomiaru naszej własnej produkcji, ponieważ jest to hipotetyczna rekonstrukcja mająca ukazać tok rozumowania.
Zrobimy natomiast to, co stanowi zobowiązanie, a nie statystykę. Krytyczne komponenty przypisujemy do numerów części zgodnie z pisemną zasadą zatwierdzania. Kryteria akceptacji i metody ich weryfikacji ustalamy przed rozpoczęciem produkcji, a nie po pierwszej wysyłce. Zatrzymujemy po jednym egzemplarzu z każdej serii produkcyjnej. Informujemy kupującego na piśmie, gdy zmienia się komponent lub wersja oprogramowania sprzętowego, i robimy to przed wprowadzeniem zmiany, aby rozmowa odbyła się jeszcze wtedy, gdy jej koszt jest niski.
Wymiana komponentu bez rozmowy jest jedynym trybem awarii, jaki ujawnił ten przypadek, i najtańszym ze wszystkich do zapobieżenia. Wystarczy jedna pozycja w zamówieniu zakupu.
Sekcja dotycząca spójności jakości przedstawia ramy, w których mieści się ten przypadek.
Powiązane lektury
- O co pytać przed złożeniem zamówienia — siedem pytań
- Błędy dotyczące spójności — gdzie popełnia się niepowodzenia
- Przykład przypadku audytu fabryki — to samo ustalenie, inna droga
Prześlijcie nam dane dotyczące dwóch serii produkcyjnych oraz listę komponentów, a powiemy, które opublikowane wiersze są zgodne, który wiersz uległ zmianie i jakie kwestie dotyczące spójności jakości smart glasses nadal wymagają pisemnego zamknięcia.



