Producent OEM/ODM inteligentnych okularów · Shenzhen, Chiny +86 19835872450 sales@cynrin.com
Technologia inteligentnych okularów

Jak testować funkcje AI smart glasses przed zamówieniem

Powodem, dla którego funkcji AI nie można ocenić na podstawie prezentacji, nie jest to, że prezentacje wprowadzają w błąd. Prezentacja to jedynie…

Od zespołu inżynieryjnego i zaopatrzeniowego CYNRIN/ Dec 15, 2021/ 19 min czytania
Jak testować funkcje AI smart glasses przed zamówieniem

Smart glasses ai features: relacja, a nie komponent

Powodem, dla którego funkcji AI nie można ocenić na podstawie prezentacji, nie jest to, że prezentacje wprowadzają w błąd. Prezentacja jest bowiem jedyną konfiguracją, w której asystent wygląda najlepiej: przygotowana fraza, ciche pomieszczenie, sprawdzona sieć i urządzenie, którego konta zostały wcześniej powiązane przez osobę je tworzącą. Wszystko, co kupujący musi wiedzieć, jest właściwością relacji między urządzeniem, dostawcą modelu, siecią a regionem — a żaden z tych czterech elementów nie jest produktem w opakowaniu.

Decyzja w trzech zdaniach. Jeśli asystent głosowy odgrywa kluczową rolę w Twoim opisie produktu, przetestuj go jako relację, a nie jako funkcję: przed otrzymaniem egzemplarza przygotuj listę fraz i warunki spełnienia testu, przeprowadź plan na urządzeniu innym niż prezentacyjne oraz zapisuj wersję oprogramowania wraz z każdym wynikiem. Wartością, która zwykle decyduje o możliwości wysyłki produktu, jest wskaźnik fałszywych aktywacji, a nie wskaźnik wybudzenia, ponieważ urządzenie przerywające rozmowę klienta to produkt, który zostanie wycofany. Jeśli nie otrzymasz identyfikatora wersji, opisu ścieżki danych i pisemnego opisu zachowania offline, nie umieszczaj asystenta w treści — funkcja będzie obecna wyłącznie na stronie produktu i nigdzie indziej.

Kto realizuje ten plan i czego musi on dostarczyć. Czytelnik zwykle decyduje, czy asystent AI powinien w ogóle znaleźć się w produkcie, albo porównuje wdrożenia tej samej deklarowanej funkcji przez dwóch dostawców. Do dyspozycji ma próbki, listę funkcji, kanał sprzedaży, cenę docelową i plan marketingowy, który już zakłada istnienie tej funkcji. Nie ma natomiast danych wydajnościowych, a powód jest strukturalny: dane należą do dostawcy modelu, a nie do producenta i zmieniają się wraz z wersją oprogramowania, a nie z podzespołami. Plan musi więc dostarczyć trzy rzeczy — liczbę, a nie wrażenie, identyfikator wersji powiązany z tą liczbą oraz pisemną listę warunków, w jakich liczba została zmierzona.

Co mówi nasza własna oferta i czego nie zawiera. Wymieniamy asystenta głosowego AI wśród kluczowych technologii rodziny okularów z kamerą AI, a nasza niezależna strona opisuje tłumaczenie AI w modelu K01, który jest modelem audio. Nie publikujemy wskaźnika wybudzenia, wskaźnika fałszywych aktywacji, wskaźnika skuteczności rozpoznawania poleceń, wartości opóźnienia, dokładności rozpoznawania, dokładności tłumaczenia ani zachowania offline żadnego modelu z naszej oferty i nie będziemy żadnej z tych wartości szacować. Tak ograniczony zestaw danych nie wynika z tego, że nie zebraliśmy danych; tak wygląda kategoria bez opublikowanej bazowej wartości wydajnościowej i właśnie dlatego powstał poniższy plan.

Gdzie znajduje się koszt funkcji AI. Koszt sprzętowy asystenta jest bliski zeru — mikrofon i moduł radiowy są już częścią produktu. Asystent kosztuje jednak cztery elementy otaczające go: pracę nad określeniem testowalnego zachowania, lokalizację listy fraz i dokumentacji na każdy rynek uruchomienia, skrypt wsparcia dla scenariuszy awarii oraz mechanizmy umowne informujące o zmianach wprowadzonych przez dostawcę. Dwóch dostawców oferujących tego samego asystenta będzie się znacznie bardziej różnić w tych czterech obszarach niż w przypadku jakiejkolwiek ceny jednostkowej, a ta różnica pozostaje niewidoczna do czasu publikacji oferty.

Pięć liczb i mianownik, który każda z nich musi uwzględniać

Fotografia wygenerowana przez AI ilustrująca testowanie funkcji AI smart glasses przed zamówieniem — obraz 1 z 3

Pięć liczb, których należy wymagać, oraz trzy, których nikt nie podaje

Wyślij każdemu kandydatowi te same pięć pytań w jednej wiadomości, używając identycznych sformułowań, i poproś o odpowiedzi w formie tabeli, a nie opisu tekstowego. Najważniejsza jest kolumna z mianownikiem, ponieważ procent bez mianownika jest jedynie hasłem marketingowym.

Wskaźnik Co mierzy Wymagany mianownik Próg spełnienia
Wskaźnik wybudzenia Uruchamianie asystenta w odpowiednim momencie Liczba prób, liczba osób mówiących, środowisko Procent wraz z podaniem wszystkich trzech elementów
Wskaźnik fałszywych aktywacji Uruchamianie asystenta w nieodpowiednim momencie Liczba prób i liczba godzin zwykłego użytkowania Procent albo pisemne stwierdzenie, że nie jest mierzony
Wskaźnik skuteczności rozpoznawania poleceń Rozumienie przekazanej listy fraz Przekazana lista fraz i liczba powtórzeń każdej frazy Procent względem własnej listy
Opóźnienie Czas oczekiwania na odpowiedź Stan sieci i wersja oprogramowania Stały próg, a nie ocena
Dokładność rozpoznawania Rozpoznanie właściwego słowa lub dźwięku Scena oraz informacja, czy mówiąca osoba patrzy do przodu Wartość dla cichego pomieszczenia i rzeczywistego środowiska

Progi wyjaśnione prostym językiem oraz trzy wiersze, których zwykle brakuje

Wskaźnik bez liczby prób nie jest wskaźnikiem. Dwadzieścia osiem procent zmierzone w dziesięciu próbach w cichym biurze przewiduje mniej niż osiemdziesiąt pięć procent zmierzonych w trzystu próbach na ulicy, a to druga liczba opisuje produkt. Wartość graniczną powinien stanowić procent z podanym mianownikiem, liczbą mówców i otoczeniem, a dostawca, który nie może podać wszystkich trzech, nie zmierzył produktu.

Wskaźnik niepożądanych aktywacji to bramka użyteczności, a nie uwaga techniczna. Decyduje o tym, gdzie produkt można sprzedawać, a nie o tym, czy funkcja działa, ponieważ sala konferencyjna i ulica to różne rynki dla tego samego urządzenia. Urządzenie, które budzi się na kaszel w cichym biurze, jest produktem do sal konferencyjnych; to samo urządzenie na ulicy jest uciążliwe. Próg wyznaczony tutaj przez kupującego to decyzja produktowa dotycząca kanału sprzedaży i powinien zostać zapisany przed sporządzeniem strony produktu.

Wskaźnik skuteczności rozpoznawania poleceń należy mierzyć względem Twojej listy, a nie listy dostawcy. Lista dostawcy zawiera powitania i minutnik, ponieważ są łatwe. Twoja lista zawiera polecenie, które faktycznie wydaje jedenast razy dziennie przełożony magazynu. Wartość graniczną stanowi procent dla poleceń, które przesłałeś, wraz z podaną liczbą powtórzeń każdego polecenia.

Opóźnienie wymaga podania konkretnej liczby, a nie określenia. Ustal próg — poniżej dwóch sekund to rozsądny punkt wyjścia — i przeprowadź pomiar. Zależy on od sieci, dlatego stan sieci musi być częścią pomiaru, a wartość opóźnienia bez informacji o stanie sieci pochodzi z biura dostawcy.

Numer kompilacji to kolumna, która sprawia, że wyniki są warte zachowania. Asystent zmienia się między kompilacjami, a pomiar bez identyfikatora kompilacji nie może zostać odtworzony, udokumentowany ani porównany z kolejnym wynikiem dostawcy. To najważniejsza pojedyncza kolumna w arkuszu i jednocześnie ta, którą najczęściej pozostawia się pustą.

Trzy wiersze, które niemal nigdy nie wracają, oraz sposób postępowania w każdym z nich. Zachowanie offline — czyli to, co urządzenie robi po fizycznym odłączeniu od sieci — to wiersz rozstrzygający najczęstszy spór w tej kategorii: czy produkt działa zgodnie z dokumentacją, gdy sieci nie ma; poproś o pisemne oświadczenie w tym zakresie, a jeśli odpowiedzią będzie cisza, traktuj zachowanie offline jako nieokreślone w treści. Ścieżka danych — czyli to, co opuszcza urządzenie, dokąd trafia i jak obsługiwana jest zgoda — to wiersz, o który pyta osoba odpowiedzialna za zgodność z przepisami; zweryfikuj go na podstawie obserwacji, a nie lektury i zadbaj o to, aby deklaracja prywatności w Twojej ofercie opisywała to, co zaobserwowałeś. Mechanizm aktualizacji — czyli sposób dostarczania nowej kompilacji do urządzenia, które trafiło do klienta, oraz to, kto o tym decyduje — to wiersz, który pokazuje, czy funkcja może się zmienić bez umownego zawiadomienia Cię.

Kolejność działań w planie testowania asystenta i powód, dla którego plan powinien powstać najpierw

Realizacja planu: identyfikatory kompilacji, środowiska i drugi dzień

Krok pierwszy, przed przyjazdem próbki. Sporządź listę poleceń. Powinna zawierać polecenia, które klient będzie faktycznie wydawał, w języku rynku objętego premierą, w tym dwa lub trzy, których trudno wypowiedzieć. Ustal warunki spełnienia w postaci liczb. Zdecyduj, które testy wymagają którego środowiska. Ustal urządzenie, sieć i warunki dźwiękowe. Wskaż kompilację oprogramowania, którą według Twoich oczekiwań będzie miała próbka, aby pierwszą czynnością po jej przyjeździe było potwierdzenie tego faktu.

Krok drugi, w dniu testów, przed jakimkolwiek pomiarem. Potwierdź i zapisz identyfikator kompilacji w urządzeniu. Potwierdź język, region i stan konta. Sprawdź, czy urządzenie ma standardową konfigurację fabryczną, a nie konfigurację demonstracyjną, co zwykle oznacza nowe konto, brak powiązanych usług i domyślne ustawienia przetwarzania. Wynik uzyskany z połączonego urządzenia demonstracyjnego nie jest wynikiem dotyczącym produktu, który otrzymuje klient, i to najczęstszy sposób, w jaki ocena asystenta przebarwia wyniki dostawcy na jego korzyść.

Krok trzeci: wskaźnik wybudzenia, zmierzony w dużej liczbie prób. Skorzystaj z kilku różnych mówców, ponieważ asystenci głosowi różnią się bardziej zależnie od mówcy niż od sprzętu. Zapisz liczbę prób, liczbę mówców i otoczenie oraz sam oblicz wskaźnik na podstawie dziennika, zamiast ufać wartości zaokrąglonej.

Krok czwarty: wskaźnik niepożądanych aktywacji w odpowiednim środowisku. To najdłuższy test w planie i ten, który najczęściej jest pomijany. Oznacza pozostawienie asystenta włączonego podczas zwykłej aktywności — przy biurku, w sali konferencyjnej, na ulicy — i zapisywanie każdej aktywacji, o którą nie poproszono. Uzyskana liczba to liczba decydująca o kanale sprzedaży.

Krok piąty: skuteczność rozpoznawania poleceń na podstawie listy fraz. Każde żądanie jest wykonywane określoną liczbę razy, a niepowodzenia są zapisywane wraz z przyczyną, ponieważ „nie zrozumiał” i „zrozumiał, ale zrobił nie to, co powinien” to dwa różne rodzaje niepowodzeń, wymagające dwóch różnych działań naprawczych.

Krok szósty: opóźnienie względem ustalonego progu. Należy zmierzyć czas od zakończenia wypowiedzi do rozpoczęcia odpowiedzi, zapisując stan sieci, i powtórzyć pomiar wystarczająco wiele razy, aby uwzględnić wartości skrajne, a nie tylko średnią.

Krok siódmy: działanie offline po fizycznym odłączeniu sieci. Chodzi o tryb samolotowy bez dostępnego wyniku z pamięci podręcznej — o rzeczywistą niedostępność sieci, z zapisem wyniku. Dostawca, który nigdy tego nie testował, oferuje produkt, którego zachowanie w windzie jest nieznane.

Krok ósmy: ścieżka danych, zweryfikowana przez obserwację. Należy obserwować, co urządzenie robi w sieci, porównać to z tym, co twierdzi dokumentacja, i zachować porównanie w pliku. Deklaracja ochrony prywatności napisana na podstawie zdania marketingowego stanowi zagrożenie prawne, natomiast deklaracja oparta na obserwacji jest możliwa do obrony.

Każdy wskaźnik ma dwie wartości, ale tylko jedna z nich przewiduje zachowanie klienta

W miejscach, w których funkcja ma kluczowe znaczenie, należy przetestować dwie lub trzy sztuki tego samego egzemplarza. Funkcja, która działa na jednym egzemplarzu, ale zawodzi na innym, wskazuje na problem z wydajnością produkcji, którego nie można wykryć podczas testu pojedynczego urządzenia. Jeśli funkcja była powodem, dla którego klient kupił produkt, wynik testu jednego egzemplarza nie jest żadnym dowodem.

Cały plan należy przeprowadzić dwukrotnie w różnych dniach, a rozrzut wyników potraktować jako ustalenie. Zachowanie asystenta zmienia się w zależności od dnia, sieci i otaczającego hałasu, a duża różnica między dwoma przebiegami oznacza, że funkcja nie jest wystarczająco stabilna, aby stanowić podstawę deklaracji. Jeśli rozrzut jest mały, wynik warto zachować; jeśli jest duży, samo ustalecie jest cenniejsze niż liczba.

Wraz z każdym wynikiem należy zapisać identyfikator kompilacji, środowisko i czas. Nagrania należy przechowywać, jeśli platforma na to pozwala. Pomiar, którego nie można odtworzyć, nie stanowi dowodu, a w tej kategorii to właśnie kompilacja jest elementem, który ulega zmianie.

Funkcje AI smart glasses: plan możliwy do powtórzenia po zmianie kompilacji

Co należy zapisywać wraz z każdym wynikiem. Oznaczenie i konfigurację modelu, identyfikator kompilacji oprogramowania sprzętowego, wersję aplikacji, język i region, stan konta, telefon i sieć, środowisko oraz poziom hałasu, testowaną frazę lub test, wynik, czas i osobę testującą. Arkusz jest długi i właśnie na tym polega: liczba wierszy sprawia, że po sześciu miesiącach wynik można obronić.

Czego ten plan nie może ustalić. Nie pozwala ustalić, jak funkcja zachowuje się w całej populacji klientów, jak zachowuje się na rynku lub w języku, którego nie testowano, jak zachowuje się po kolejnej zmianie wprowadzonej przez dostawcę ani jakie jest jej położenie w zakresie zgodności z przepisami, które wynika z dokumentów. Ostatnia kwestia jest ważna: Dyrektywa w sprawie urządzeń radiowych zawiera wymagania dotyczące cyberbezpieczeństwa, które stanowią część oznakowania CE, opisane w serii zharmonizowanych norm EN 18031 i obejmujące bezpieczną komunikację, szyfrowanie, bezpieczne przechowywanie danych, zgodę użytkownika oraz proces obsługi zidentyfikowanych luk bezpieczeństwa. Asystent głosowy mieści się w całości w tym zakresie, a zmierzone działanie offline jest dowodem, że produkt zachowuje się zgodnie z dokumentacją również wtedy, gdy sieć jest niedostępna.

Fotografia wygenerowana przez AI ilustrująca sposób testowania przed zamówieniem funkcji AI smart glasses — obraz 2 z 3

Gdzie program AI zawodzi i jakie są wczesne objawy każdego z tych problemów

Funkcja jest zapowiadana w ogłoszeniu, ale zawodzi podczas spotkania z klientem. Objawem jest skarga opisująca przerwaną rozmowę. Przyczyną jest to, że mierzono wyłącznie wskaźnik wybudzenia. Zapobieganie polega na mierzeniu obu wskaźników i ustaleniu progu fałszywej aktywacji przed napisaniem strony produktu.

Klient zgłasza, że asystent przestał działać po aktualizacji. Objawem jest zbiór skarg, które zaczynają się w dniu, którego nikt nie potrafi wyjaśnić. Przyczyną jest powiązanie pomiaru z określoną kompilacją, która została zmieniona bez ponownego testu. Zapobieganie polega na zapisywaniu kompilacji wraz z każdym wynikiem, ponownym przeprowadzeniu planu względem kompilacji, która faktycznie trafi do sprzedaży, oraz żądaniu uprzedniego powiadomienia o zmianach wpływających na zachowanie asystenta.

Składana jest deklaracja dotycząca tłumaczenia, ale recenzent odrzuca ją w języku docelowym. Objawem jest ogłoszenie obiecujące funkcję interpretacji oraz recenzent, który nie potrafi jej odtworzyć. Przyczyną jest ocena dokładności przez osobę niebędącą native speakerem, przeprowadzona na powitaniach zamiast na frazach operacyjnych. Zapobieganie polega na tym, aby native speaker języka docelowego ocenił frazy potrzebne klientowi, z dołączeniem listy fraz do oceny.

Na pytanie dotyczące prywatności odpowiedź brzmi jak zdanie marketingowe. Objawem jest przegląd bezpieczeństwa prowadzony przez klienta korporacyjnego, który pyta o ścieżkę danych, podczas gdy marka ma do zaoferowania wyłącznie adres polityki prywatności. Przyczyną jest to, że ścieżka danych nigdy nie została zweryfikowana. Zapobieganie polega na jej weryfikacji poprzez obserwację oraz dostosowaniu deklaracji prywatności do tego, co zaobserwowano.

Produkt działa w kraju prezentacji, ale zawodzi na rynku uruchomienia. Objawem jest fala zwrotów wyłącznie z jednego rynku. Przyczyną jest to, że plan testowano w jednym regionie, w jednej sieci. Zapobieganie polega na przeprowadzeniu testu na rynku uruchomienia, w sieciach, których będzie używał klient, oraz przedstawieniu obu zestawów wyników obok siebie.

Dwie osoby oceniające dochodzą do przeciwnych wniosków tego samego dnia. Objawem jest lista krótkiego wyboru, która zmienia się między spotkaniem we wtorek a spotkaniem w piątek. Przyczyną jest to, że warunki spełnienia testów zostały wyrażone przymiotnikami. Zapobieganie polega na ustaleniu warunków spełnienia testów jako liczb przed zamówieniem próbek, aby spór wskazywał na niejasne kryterium, a nie na produkt.

Fotografia wygenerowana przez AI ilustrująca testowanie przed zamówieniem funkcji AI smart glasses — obraz 3 z 3

Co można uwzględnić w umowie, gdy dostawca wprowadza zmiany

Identyfikator kompilacji i mechanizm aktualizacji to dwie pozycje, które należy umieścić w zapytaniu ofertowym. Dostawca, który nie potrafi wskazać obu, sygnalizuje, że asystent może ulec zmianie bez uprzedzenia wynikającego z umowy, co stanowi większe ryzyko komercyjne niż cena jednostkowa. Poproszenie o te dwie pozycje nic nie kosztuje, a to jedynie elementy, które dają możliwość zabezpieczenia się w umowie.

Lista fraz i warunki spełnienia testów powinny znaleźć się w zamówieniu zakupu jako kryteria akceptacji. Asystent jest jedyną częścią produktu, za którą klient może winić innych, dlatego kryteria muszą istnieć w formie pisemnej przed otrzymaniem próbki, a nie po pierwszej skargze. Próbkę spełniającą kryteria w wersji, która trafi do produkcji, można zaakceptować.

Klauzula informująca o zmianach w sposobie działania jest najcenniejszą klauzulą w tej kategorii. Każda zmiana mikrofonu, dostrajania DSP, domyślnego stanu przetwarzania lub modelu asystenta może zmienić obserwowalne zachowanie bez modyfikacji sprzętu, dlatego klauzula musi obejmować zachowanie, a nie podzespoły.

Prace lokalizacyjne można negocjować i warto to robić. Lista fraz, język dokumentacji i scenariusz wsparcia dla każdego rynku to odrębne rundy prac, a każda z nich trwa tydzień. Warto negocjować liczbę rund objętych ofertą oraz to, czy drugi rynek wyceniono jako kopię pierwszego, czy jako nowe zadanie tłumaczeniowe.

Minimalna wielkość zamówienia i prace nad opakowaniem to standardowe pozycje handlowe. Zatrzymanie części płatności do czasu przekazania pakietu dokumentów chroni kupującego w przypadku najbardziej kosztownej awarii, czyli dostarczenia urządzenia z dokumentami, które go nie obejmują. Zaliczka z pozostałością płatną po oględzinach przed wysyłką to standardowa struktura.

Terminy w programie dotyczącym asystenta to zamrożenie kompilacji i kalendarz certyfikacji, a żaden z nich nie przesuwa się wskutek nacisku kupującego. Zamrożenie kompilacji musi nastąpić przed zamówieniem, a nie po nim, ponieważ zmiana kompilacji po złożeniu zamówienia unieważnia wszystkie pomiary, na których oparto kryteria akceptacji. Koszt certyfikacji i czas jej uzyskania zależą od procesu oraz jednostki testującej, a nacisk na skrócenie któregokolwiek z nich wydłuża harmonogram, zamiast go skracać. Koszt oprzyrządowania jest jednorazową pozycją, zwykle rozłożoną na pierwsze zamówienie, a istotne pytania dotyczą objętości, na której zostanie rozłożony, oraz jego losów w przypadku zakończenia programu.

Dokumenty, o które należy poprosić przed wpłaceniem zaliczki. Identyfikator kompilacji oprogramowania sprzętowego i mechanizm aktualizacji. Numery certyfikatów wraz z jednostką wydającą i datami ważności. Deklarację zgodności dla dokładnego oznaczenia modelu. Pisemny opis ścieżki danych i mechanizmu wyrażania zgody. Pisemne oświadczenie o sposobie działania w trybie offline. Oznaczenie modelu wpisane w ofercie.

Klauzule, które należy wpisać do zamówienia zakupu. Oznaczenie modelu jako osobnej pozycji wraz z numerami certyfikatów. Kryteria akceptacji z ośmiu testów wraz z listą fraz. Klauzulę wymagającą uprzedzenia przed zmianą oprogramowania sprzętowego lub modelu wpływającą na działanie asystenta, wraz z obowiązkiem ponownego testowania. Klauzulę określającą, kto ponosi koszty, gdy próbka nie spełnia kryteriów akceptacji.

Przykładowy plan dla marki wchodzącej na jeden rynek

To studium przykładowe, a nie przypadek klienta. Taki jest jego cel.

Załóżmy, że marka elektroniki użytkowej ma linię jedenastu modeli kamer, istniejącą platformę kamer i plan dodania asystenta głosowego do dwóch konfiguracji jako główną funkcję premiery na jednym rynku. Własny menedżer produktu marki przygotował treść oferty, w której asystent „rozumie naturalnie” i „zawsze jest wtedy, gdy go potrzebujesz”, a osoba odpowiedzialna za zgodność z przepisami już poprosiła o opis przepływu danych.

Pierwszą decyzją jest usunięcie asystenta z treści do czasu przeprowadzenia pomiarów. Menedżer produktu usuwa oba przymiotniki i nie zastępuje ich niczym, ponieważ funkcji, której nie można opisać dokładnie, nie należy na razie w ogóle opisywać. Ta pojedyncza zmiana eliminuje największe ryzyko marki bez żadnych kosztów.

Druga decyzja dotyczy rynku premiery i zostaje podjęta przed napisaniem planu. Marka wybiera jeden rynek, jeden język oraz dwie sieci, z których rzeczywiście korzystają jej klienci, i akceptuje, że asystent nie trafi na drugi rynek, dopóki nie zostanie zmierzony również tam. Powodem są koszty: lista fraz w jednym języku to zadanie tłumaczeniowe, natomiast lista fraz w języku, którego zespół nie potrafi ocenić, to bezużyteczny zasób.

Trzecia decyzja dotyczy budowy. Marka prosi dostawcę o zamrożenie identyfikatora kompilacji na potrzeby ewaluacji i potwierdzenie, że ta sama kompilacja trafi do sprzedaży. Dostawca potwierdza kompilację, a marka ją rejestruje. To decyzja, która nadaje znaczenie wszystkim późniejszym liczbom, a kosztuje jednego maila.

Czwartym krokiem jest uruchomienie testów na egzemplarzu, który nie jest jednostką demonstracyjną. Marka zamawia zwykły egzemplarz, zakłada nowe konto i przeprowadza osiem testów w ciągu dwóch dni z udziałem dwóch osób oceniających. Wskaźnik wybudzenia jest wysoki w cichym pomieszczeniu, a niższy w środowisku docelowym. Wskaźnik fałszywych aktywacji, zmierzony podczas zwykłego dnia pracy, jest tu najważniejszym wynikiem: jest na tyle wysoki, że własne deklaracje marketingowe marki nie przetrwałyby tygodnia użytkowania w tym środowisku.

Piąta decyzja wynika ze wskaźnika fałszywych aktywacji. Marka nie wprowadza asystenta na ten rynek i pozostawia linię sprzętową bez zmian. Alternatywą byłoby uruchomienie sprzedaży i absorbowanie grupy skarg, którą program próbny już przewidział. Ewaluacja kosztowała jedną rundę prób i tydzień; alternatywa kosztowałaby premierę.

Szósta decyzja dotyczy sposobu wykorzystania wyniku. Marka wpisuje próg fałszywych aktywacji do zamówienia jako warunek późniejszego wydania oprogramowania sprzętowego i wynegocjuje klauzulę informującą o zmianach w zachowaniu funkcji. Zachowuje nagrania i arkusz wyników, ponieważ przyszłe wydanie oprogramowania sprzętowego będzie wymagało ponownego testu, a arkusz umożliwia porównywalność tego testu.

Rezultatem jest linia produktów, która wystartowała z mniejszą funkcjonalnością, niż marka chciała, oraz relacja z dostawcą, która ma teraz pisemny standard funkcji, którą marka ostatecznie chce dodać. Istotą tego przeglądu jest to, że rozstrzygająca liczba pochodziła z testu na egzemplarzu próbnym, a nie z prezentacji, i kosztowała jeden egzemplarz oraz dwa dni.

Co nasze dane dotyczące asystenta potrafią, a czego nie potrafią rozstrzygnąć

W praktyce wolelibyśmy, aby kupujący przetestował funkcję AI, niż uwierzył jej opisowi, a plan testowy jest jedyną rzeczą, która zamienia możliwość w specyfikację. Wskazujemy asystenta głosowego AI jako jedną z kluczowych technologii rodziny okularów z kamerą AI, a nasza niezależna witryna opisuje tłumaczenie AI w modelu K01, który jest modelem audio — traktujemy to jako obserwację z naszego własnego materiału marketingowego, a nie jako specyfikację. Nie publikujemy wskaźnika wybudzenia, wskaźnika fałszywych aktywacji, wskaźnika skuteczności rozpoznawania poleceń, danych o opóźnieniu, dokładności rozpoznawania, dokładności tłumaczenia ani informacji o działaniu offline dla żadnego modelu i nie będziemy żadnej z tych wartości szacować.

Nie umieścimy również w treści oferty liczby zmierzonej na egzemplarzu demonstracyjnym, ponieważ liczby, której nie można odtworzyć, jest twierdzeniem, którego nie można obronić, gdy klient stoi przed Tobą. Dostarczymy egzemplarze z ustaloną kompilacją oprogramowania sprzętowego i przeprowadzimy testy razem z Tobą, zamiast wysyłać demonstrację.

Trzy kwestie do rozstrzygnięcia przed obietnicą asystenta w treści oferty

Poproś o identyfikator kompilacji i mechanizm aktualizacji już w pierwszej wiadomości. Są to jedyne dwie odpowiedzi, które pozwalają ustalić, czy funkcja może zmienić się w trakcie Twojego programu, a dostawca, który udziela odpowiedzi na oba pytania, ma wdrożony proces.

Najpierw przygotuj listę fraz. To jedyna część planu, której dostawca nie może przygotować za Ciebie, i właśnie ona sprawia, że wskaźnik sukcesu zależy od Ciebie, a nie od dostawcy.

Prześlij nam funkcje, które planujesz opublikować, rynek docelowy oraz język, a my wspólnie z Tobą przygotujemy plan testów. Informacje podstawowe znajdziesz w sekcji Funkcje AI okularów, procedurę uzyskania próbki opisano w sekcji ocena próbki, metodę pomiaru przedstawiono w artykule jak mierzyć funkcje AI, a pytania do dostawcy opisano w artykule weryfikacja dostawcy AI.


Powiązane lektury

Prześlij nam funkcje, które planujesz opublikować, oraz środowisko testowe, a my wspólnie z Tobą przygotujemy plan testów.

Czat na WhatsApp
Twoje doświadczenia na tej stronie zostaną ulepszone dzięki zezwoleniu na pliki cookie.