Kontrola jakości funkcji AI jest wyjątkowa w sposób, który warto wyjaśnić przed przejściem do szczegółów, ponieważ wyjaśnia, dlaczego dyscyplina w tej kategorii różni się od wszystkich innych dyscyplin kontroli jakości w tej gamie.
Każda inna dyscyplina kontroli jakości w produkcie sprzętowym sprawdza coś, co jest fizycznie obecne. Akumulator albo trzyma ładunek, albo nie. Aparat albo się ustawia, albo nie. Funkcja AI jest inna: jest to zachowanie zależne od modelu, sieci, usługi, pary językowej, danych wejściowych i momentu. Urządzenie może zostać prawidłowo złożone, a funkcja nadal może być uszkodzona, a usterka często pozostaje niewidoczna w fabryce, ponieważ sieć fabryki, konto fabryki i konfiguracja językowa fabryki nie są takie same jak u klienta. Dlatego funkcje AI okularów jakość smart glasses to kwestia testowania zachowania w miejscu jego użycia, a nie w miejscu, w którym jest tworzone.
Funkcje AI smart glasses: dlaczego testy stanowiskowe zawodzą
Zakupujący, który musi zaprojektować ten system
Czytelnikiem jest inżynier jakości marki lub menedżer zakupów, który musi określić, jakie wymagania należy stosować wobec dostawcy, i który odkrył, że standardowy system kontroli dostaw nie ma tu zastosowania. Ma on zastosowanie do sprzętu. Nie może mieć zastosowania do zachowania zależnego od usługi.
To jest praktyczny problem, który rozwiązuje ten artykuł. Kupujący może poprosić o trzy rzeczy: system testów wykonywany w fabryce, system testów akceptacyjnych wykonywany przez kupującego oraz wspólny system, który wykonują obie strony. Większość nieporozumień w tej kategorii wynika z niezdecydowania, do którego z tych trzech systemów należy dane sprawdzenie, a następnie z odkrycia w połowie serii produkcyjnej, że sprawdzenie, za które nikt nie odpowiadał, wykonywała osoba bez dostępu do wymaganego konta lub stanu sieci.
Trzy powody, dla których test fabryczny nie wystarcza, i to, co każdy z nich ujawnia
1. Konto i subskrypcja. Funkcja wymagająca konta, logowania lub subskrypcji może działać bezbłędnie w fabryce, a u klienta, który nie zalogował się, którego okres próbny wygasł lub który ma niewłaściwy plan, może być całkowicie niedostępna. Objawem jest klient mówiący, że funkcja nie działa, a dowody z fabryki potwierdzające jej działanie są bezwartościowe. Sprawdzenie, które wykryje ten problem, obejmuje test na nowym koncie i test wygasłego planu, a oba wymagają danych uwierzytelniających, których fabryka nie posiada.
2. Sieć i region. Funkcja działająca w usłudze w chmurze zależy od dostępności usługi, regionu klienta i sieci lokalnej. Test fabryczny w jednej sieci w jednym kraju niczego nie dowodzi na temat klienta w innym kraju. Objawem jest grupa zwrotów skoncentrowana na jednym rynku, co wygląda jak problem rynkowy, choć zwykle jest problemem konfiguracji sieci lub regionu.
3. Język i dane wejściowe. Funkcja tłumaczenia lub głosowa działająca w konfiguracji fabrycznej może nie obsługiwać języka klienta, jego akcentu, jego otoczenia hałasowego ani frazy spoza zestawu testowego. To nie jest usterka; jest to granica zakresu, którą trzeba udokumentować. Sprawdzenie, które wykryje ten problem, obejmuje własny zestaw fraz kupującego uruchomiony w jego własnym środowisku.
Każdy z tych trzech przypadków powoduje odrębną usterkę, a żadna z nich nie jest widoczna podczas testu fabrycznego. To stanowi cały argument za czterowarstwową strukturą przedstawioną poniżej.

Cztery warstwy testów i to, co każda z nich może wykazać
Warstwa pierwsza: sprzęt
Czy mikrofon rejestruje dźwięk, czy procesor działa, czy moduł radiowy sieci jest sprawny, czy zarządzanie energią zachowuje się prawidłowo. Jest to test fabryczny i warstwa, którą większość systemów kontroli jakości już obejmuje. Warto wykonywać go dobrze, ponieważ usterka tutaj jest jedyną usterką w całym stosie technologicznym, którą można usunąć, wymieniając urządzenie.
Warstwa druga: usługa
Czy punkt końcowy odpowiada, czy konto autoryzuje, czy stan subskrypcji zezwala na wywołanie, czy region jest obsługiwany. Ta warstwa wymaga aktywnych danych uwierzytelniających w konfiguracji podobnej do konfiguracji klienta. Nie można jej wykonać jako testu fabrycznego z użyciem fabrycznego konta, ponieważ fabryczne konto ma uprawnienia, a konto klienta nie — a różnica między kontem uprawnionym a nieuprawnionym jest dokładnie tym, czego doświadcza klient.
Warstwa trzecia: zachowanie
Zestaw poleceń, opóźnienie, dokładność, obsługa żądań wykraczających poza zakres, pogorszenie działania w hałasie. Tę warstwę trzeba testować według skryptu, a nie prezentować, ponieważ prezentacja jest pojedynczym korzystnym przypadkiem, a zachowanie jest pewną dystrybucją. Skrypt należy do kupującego — z powodu podanego później w tym artykule.
Warstwa czwarta: środowisko użytkowania
Parowanie, konfiguracja początkowa, obsługa nieudanego żądania przez aplikację, to, co klient widzi po utracie połączenia sieciowego. To warstwa, która generuje zwroty, a jednocześnie warstwa, której nikt nie testuje, ponieważ wymaga osoby, która wcześniej nie miała do czynienia z produktem.
Co każda warstwa może i czego nie może wykazać
Korzyścią z rozdzielenia warstw jest to, że każda z nich dostarcza inny rodzaj dowodów i ma innego właściciela.
Warstwa pierwsza dostarcza protokół testów zgodny ze specyfikacją, który może przygotować fabryka. Warstwa druga dostarcza dzienniki z urządzeń końcowych i kont, co wymaga konta kupującego. Warstwa trzecia dostarcza arkusz wyników dla każdego egzemplarza, a skrypt musi należeć do kupującego. Warstwa czwarta dostarcza notatki z obserwacji sesji, a użytkownikiem musi być osoba kupującego.
W ten sposób otrzymujemy jasną odpowiedź na pytanie, które kupujący zadają najczęściej w odniesieniu do tej kategorii: jaką część reżimu można powierzyć fabryce. Uczciwa odpowiedź brzmi: dolną warstwę oraz te elementy warstwy usługowej, które można przetestować za pomocą konta testowego udostępnionego przez markę, z którego fabryka ma prawo korzystać.
Skrypt akceptacji i odpowiedzialność za niego
Osiem elementów
- Zestaw dwudziestu poleceń, opracowany przez kupującego, a nie dostarczony przez dostawcę. Każde polecenie opisuje funkcję, którą funkcja musi realizować w danym scenariuszu użycia, a skrypt należy uruchomić na każdym egzemplarzu, a nie tylko raz.
- Zmierzonym opóźnieniem. Czas od zakończenia wypowiedzi do rozpoczęcia odpowiedzi, w środowisku, w którym produkt będzie używany. Funkcja natychmiastowa w cichym biurze nie zachowuje się tak samo na ulicy.
- Wynikiem testu zależności od sieci. Co działa po wyłączeniu łączności. Ten jeden test lepiej niż jakakolwiek specyfikacja ujawnia architekturę systemu.
- Zachowaniem w razie niepowodzenia, w czterech przypadkach. Niejasne dane wejściowe, żądanie wykraczające poza zakres, żądanie w języku obcym oraz żądanie wydane w hałaśliwym otoczeniu. To, co użytkownik widzi w każdym z tych przypadków, decyduje o tym, czy mamy do czynienia z funkcją, czy z generatorem wad.
- Stanem konta i subskrypcji. Testowany co najmniej dwukrotnie: raz na nowym koncie i raz na koncie z wygasłą subskrypcją.
- Zróżnicowaniem regionalnym i sieciowym. Co najmniej jeden test z innej sieci, a jeśli produkt jest sprzedawany na wielu rynkach, test na sieci w każdym z nich.
- Ścieżką aktualizacji. Od wersji oprogramowania fabrycznego do wersji bieżącej oraz z doświadczeń klienta korzystającego ze starszej wersji. To test, który jest pomijany, a potem budzi żal.
- Statusem danych. Miejsce przetwarzania i przechowywania dźwięku oraz powstałych danych, a także to, co klient widzi w aplikacji. To kwestia prawna, na którą kontrola jakości nie może odpowiedzieć, dlatego trzeba ją rozstrzygnąć, zanim test nabierze znaczenia.
Dlaczego kupujący musi napisać skrypt
To najbardziej sporny punkt całego reżimu i warto się o nim solidnie argumentować, zamiast jedynie go stwierdzać.
Dostawca wie, które ścieżki działają. To rzeczywista wiedza ekspercka i właśnie dlatego należy poprosić dostawcę o doradztwo w sprawie skryptu. Jednak kupujący jest jedyną stroną, która wie, o co klient będzie w rzeczywistości prosić, a dwadzieścia poleceń ma odpowiadać dwudziestu rzeczom, które klient faktycznie wykona. Skrypt napisany przez dostawcę mierzy produkt dostawcy względem założeń dostawcy i zawsze przejdzie pomyślnie.
Aby uzyskać obie korzyści, kupujący powinien najpierw opracować dwadzieścia poleceń, a dostawca powinien je skomentować przed przeprowadzeniem testu. Kupujący zachowuje odpowiedzialność za listę, natomiast dostawca uzyskuje prawo do wskazania, że trzy z poleceń nie są możliwe do realizacji w tej konfiguracji. Jest to samo w sobie cenna informacja, ponieważ stanowi wczesne ostrzeżenie dotyczące treści oferty produktu.
Nadawanie skryptowi statusu standardu akceptacji
Skrypt przechowywany w arkuszu kalkulacyjnym, a nie w zamówieniu zakupowym, jest testem, a nie standardem. Próg akceptacji musi zostać ustalony z góry i musi być liczbą, za którą kupujący będzie gotów ponieść wiele porażek. Realistyczne progi są proste: określona liczba z dwudziestu poleceń wykonanych z powodzeniem w wskazanym środowisku, wymienione funkcje działające w trybie offline, maksymalne dopuszczalne opóźnienie oraz cztery przypadki niepowodzenia dające uzgodnione zachowanie.
Konsekwencje niepowodzenia również muszą zostać uzgodnione. W tej kategorii standardem jest, że nieudana partia próbna nie jest wysyłana, a drugą rundę oceny finansuje dostawca. Warto negocjować właśnie ten drugi punkt, ponieważ funkcja AI jest elementem produktu, który najczęściej nie powoduje powodzenia podczas pierwszego odbioru, a dostawca, który nie sfinansuje drugiej rundy, sygnalizuje kupującemu, jak dużo zaufania pokłada w pierwszej.

Gdzie kończy się kontrola odbiorowa, a zaczyna się testowanie zachowań
Granica i jej znaczenie handlowe
Kontrola odbiorowa stanowi bramkę dla każdej partii, którą porównuje się ze specyfikacją. Działa, gdy specyfikacja opisuje coś fizycznie obecnego w produkcie, ale nie działa w przypadku zachowania. Granica nie jest więc etapem procesu. Liczy się to, czy kontrolę można przeprowadzić, trzymając egzemplarz i porównując go ze specyfikacją w formie pisemnej, bez udziału sieci, konta i jakiejkolwiek usługi.
Wszystko po lewej stronie tej granicy to kontrola odbiorowa i powinno znaleźć się w umowie dostawy jako kryterium zwalniania partii. Wszystko po prawej to testy akceptacyjne, które należą do planu programu, wraz ze zabezpieczonymi zasobami kupującego i dołączonym scenariuszem testowym.
Co faktycznie wymaga zwolnienia partii
Zwolnienie partii modelu kamery z naszej oferty jest proste: egzemplarz odpowiada opublikowanej specyfikacji danego modelu — klasie rozdzielczości, pojemności ogniwa, zachowaniu ładowania, przedziałowi czasu działania i metodzie ładowania — a dla danej konfiguracji są w aktach rejestr certyfikatów dla poszczególnych modeli dostępny w liście kontroli certyfikacji oraz dokumentacja transportu baterii dostępna w dokumentacji transportu baterii.
W przypadku partii wyposażonej w funkcję AI to samo zwolnienie musi obejmować artefakt bez precedensu w branży sprzętowej: arkusz wyników scenariusza akceptacyjnego, powiązany z konkretną kompilacją oprogramowania sprzętowego i konkretną konfiguracją konta. Bez tego artefaktu partia jest zwalniana na podstawie parametrów sprzętowych, a status funkcji pozostaje nieznany — dokładnie sytuacji, której cały ten artykuł ma zapobiegać.
Istnieje jeszcze drugi praktyczny aspekt tej granicy. Scenariusze testowe są tanie pod względem liczby egzemplarzy, ale kosztowne pod względem koordynacji — dwadzieścia poleceń na dwóch egzemplarzach wysyłanej kompilacji, w tym próba przeprowadzona bez sieci, w środowisku kupującego. Koszt koordynacji jest powodem, aby zaplanować testy akceptacyjne wcześnie, na etapie pilotażowym, a nie po etapie produkcyjnym, a także powodem, aby kupujący zarezerwował egzemplarze testowe, zamiast otrzymywać pozostałe sztuki.
Kto płaci za testy akceptacyjne i co należy wynegocjować
Podział kosztów w tym modelu jest nietypowy, a kupujący, którzy prowadzili programy sprzętowe, zazwyczaj błędnie go wyceniają. Warstwa sprzętowa jest już uwzględniona w cenie egzemplarza. Warstwa usługowa kosztuje markę konto testowe, niewielki wolumen transmisji danych oraz czas osoby utrzymującej konto. Warstwa zachowań kosztuje markę dwadzieścia poleceń, środowisko testowe oraz osoby opracowujące arkusz obserwacji. Warstwa doświadczenia użytkownika kosztuje markę popołudnie obcego człowieka.
Innymi słowy, największa część kosztów akceptacji ponosi kupujący, a nie fabryka, i ponosi je swoimi zasobami ludzkimi, a nie środkami z budżetu. Dlatego trzy kwestie handlowe warto ustalić przed złożeniem zamówienia, a nie w trakcie pierwszej kampanii.
Pierwszą kwestią jest to, czy dostawca sfinansuje drugą rundę oceny, jeśli pierwsza się nie powiedzie. Funkcja AI jest elementem produktu, który najczęściej nie powoduje powodzenia podczas pierwszego odbioru, a dostawca, który nie sfinansuje drugiej rundy, sygnalizuje kupującemu, jak dużo zaufania pokłada w pierwszej rundzie.
Drugą kwestią jest to, czy dostawca w ogóle może przeprowadzić scenariusz testowy, co zależy od warstw, do których wykonania został upoważniony. Dostawca dysponujący konfiguracją konta może przeprowadzić testy warstwy zachowań; dostawca bez niej nie może, a cały model oparty jest wówczas na tym, że kupujący udaje się do fabryki albo fabryka przyjeżdża do środowiska kupującego.
Trzecią kwestią jest format artefaktu. Jeśli po każdym przebiegu personel fabryki musi przepisywać arkusz wyników do formatu kupującego, dokumentacja przestaje być wiarygodna już w ciągu kwartału. Arkusz wyników w zdefiniowanym układzie, zawierający identyfikator kompilacji, umożliwia wykorzystanie dowodów w całej serii produkcyjnej, a nie tylko podczas pojedynczej kampanii.

Cztery sposoby, w jakie model kontroli jakości AI może stwarzać fałszywe poczucie bezpieczeństwa
Testowanie ścieżki demonstracyjnej. Scenariusz demonstracyjny przeprowadza standardowy przebieg w konfiguracji fabryki, z użyciem fabrycznego konta. Każdy z tych elementów jest zmienną kontrolowaną, a najciekawsze awarie dotyczą zmiennych niekontrolowanych. Jest to najczęstszy błąd i najmniej szkodliwy, ponieważ zwykle ujawnia się w praktyce, a nie podczas audytu.
Traktowanie funkcji zależnej od chmury jako funkcji sprzętowej. W chwili, gdy funkcja zależy od usługi, pojawia się zależność, na którą fabryka nie ma wpływu, a tryb testów musi to odzwierciedlać. To najczęstszy błąd strukturalny i właśnie on sprawia, że awaria usługi staje się roszczeniem z tytułu gwarancji.
Brak testowania wersji oprogramowania sprzedawanego w urządzeniu. Wersja na egzemplarzu próbnym i wersja na urządzeniu produkcyjnym mogą się różnić, a właśnie w tej różnicy kryje się niespodzianka. Kontrola jest tania — należy zapisać identyfikator kompilacji w każdym arkuszu wyników — a jej pominięcie jest kosztowne, ponieważ zmiana zachowania między kompilacjami jest nie do odróżnienia od usterki, gdy trafia do klienta.
Pozwalanie dostawcy na definiowanie kryteriów akceptacji. To błąd, który prowadzi do wydania dużej partii bez dowodów działania, ponieważ kryteria zostały napisane przez stronę poddawaną ocenie.
Problem eskalacji leżący u podłoża tych błędów
Wszystkie cztery błędy mają wspólną konsekwencję, która ma znaczenie komercyjne. Usterki o niejasnym właścicielu nie można skierować do odpowiedniej osoby. Awaria usługi, wygasły plan i źle skonfigurowany język są dla klienta tak same — funkcja nie działa — a tylko dwie z tych sytuacji można rozwiązać, wymieniając urządzenie. Macierz odpowiedzialności nie jest więc diagramem technicznym. To zasada określająca, czy budżet gwarancji zostanie wydany na urządzenia, które nigdy nie były usterkowane, i dlatego wstępną ocenę należy przeprowadzić przed wymianą, a nie po niej.
Pozycja produkcyjna, którą możemy przyjąć, i ta, której nie możemy
Co obejmuje opublikowane przez nas stanowisko
Granica, którą wyznaczamy: publikujemy funkcje AI zgodnie z opisem katalogowym i nie przypisujemy im nazwy modelu, liczby języków, opóźnienia, deklaracji działania offline ani wymagania dotyczącego subskrypcji, ponieważ żadna z tych informacji nie została nam udostępniona w odniesieniu do modeli z tej serii. Nie będziemy powtarzać frazy marketingowej tak, jakby była specyfikacją, a certyfikacja eksportowa naszego katalogu jest możliwością na poziomie firmy, a nie pozycją certyfikacji dla poszczególnych modeli, dlatego nie przedstawiamy jej w ten sposób.
Możemy natomiast dokładnie podać opublikowaną konfigurację oraz wskazać, które z ośmiu pozycji akceptacji wymagają działającej usługi i konta przypominającego konto klienta, a nie testu na stanowisku — ponieważ to właśnie ich reżim kontroli jakości w fabryce nie wykryje.
Będziemy również wprost odpowiadać na pytania komercyjne dotyczące funkcji: czy działa na urządzeniu, czy w usłudze, czy wymaga subskrypcji, które pary językowe działają w którym kierunku oraz dokąd trafiają dane. Te cztery odpowiedzi determinują Państwa propozycję detaliczną i nie są pytaniami dotyczącymi inżynierii.
Co nie jestemy w stanie zrobić — mówimy to wprost
Nie możemy publikować wartości dokładności, opóźnienia, liczby języków, zachowania offline, lokalizacji przetwarzania ani ścieżki danych dla żadnego modelu, ponieważ nie mierzyliśmy ich w określonych warunkach. Nie możemy również podać współczynnika zdawalności dla warstwy zachowania skryptu, ponieważ skrypt należy do kupującego, a wynik zależy od jego poleceń, środowiska i konfiguracji konta. Dostawca publikujący ogólny współczynnik zdawalności dla tej warstwy przedstawia liczbę uzyskaną przy użyciu skryptu, którego nikt nie widzi.
Możemy natomiast przeprowadzić testy razem z Państwem. Prześlijcie dwadzieścia poleceń, informacje o środowiskach i konfigurację konta, a my uruchomimy je na wskazanych przez Państwa urządzeniach, w wskazanej kompilacji i zapiszemy wyniki na bieżąco. Arkusz pomiarowy rozstrzygający tego rodzaju kwestie znajduje się w artykule pomiar funkcji AI, protokół testów dla egzemplarza próbnego — w artykule testowanie funkcji AI przed zamówieniem, a kwestie uwzględniane przy aktualizacji, od których zależy siódma pozycja akceptacji — w artykule kwestie aktualizacji funkcji AI. Metoda odczytywania specyfikacji, która generuje poszczególne wiersze, znajduje się w artykule metoda odczytywania arkuszy danych funkcji AI.
Zadanie, które funkcja musi spełnić
Powiedzcie nam, co funkcja ma robić, a my wskażemy, co należy uwzględnić w skrypcie akceptacji, które z ośmiu pozycji możemy przeprowadzić wspólnie z Państwem, a które wymagają zamknięcia z użyciem Państwa konta i środowiska. Informacje o platformie znajdują się w sekcji technologia funkcji AI, a powiązany obszar zastosowań — w sekcji rozwiązania do tworzenia treści AI.
Powiązane lektury
- technologia funkcji AI
- metoda odczytywania arkuszy danych funkcji AI
- kwestie aktualizacji funkcji AI
- rozwiązania do tworzenia treści AI
- lista kontrolna certyfikacji · transport baterii
Powiedzcie nam, co funkcja ma robić, a my wskażemy, co należy uwzględnić w skrypcie akceptacji.



