Nie na pytanie „czy tłumaczenie jest dokładne” nie można odpowiedzieć procentem. Powodem nie jest brak takiego odsetka, lecz to, że samo słowo „dokładność” nie wskazuje jednej mierzalnej kwestii. Skrywa w sobie co najmniej pięć odrębnych pytań: o jakie języki chodzi, w jakim kierunku, przy użyciu jakiego procesu, względem jakiego materiału referencyjnego i w jakich warunkach. Dwa produkty mogą zostać określone jako dokładne, a mimo to być zupełnie różnymi produktami. Różnica między nimi tkwi w odpowiedziach na te pięć pytań, a nie w jednej liczbie. Katalog nie publikuje żadnych informacji na temat żadnego z nich — i właśnie stanowi to kluczowy fakt niniejszego artykułu. Publikuje jednak coś closely powiązanego, co regularnie jest błędnie uznawane za specyfikację tłumaczenia, a rozróżnienie tych dwóch kwestii stanowi najbardziej użyteczną część artykułu.
Ta powiązana informacja to liczba pozycji z funkcjami AI. Dwadzieścia spośród dwudziestu ośmiu modeli w tej serii ma pozycje z funkcjami AI, a jej obecność informuje kupującego, że dany model został umieszczony w kategorii AI w katalogu. Nie mówi ona jednak, jakich języków obsługuje model, czy działa w trybie mowy, tekstu czy obu, czy funkcjonuje na urządzeniu, czy w sieci, ile trwa, ani jak dobrze działa. Nic w katalogu nie łączy pozycji z funkcją AI z wierszem dotyczącym tłumaczenia, a żaden model w tej serii nie publikuje takiego wiersza.
Czy tłumaczenie jest dokładne: co publikuje katalog i czego nie publikuje
Tekst katalogu nie zawiera specyfikacji tłumaczenia dla żadnego modelu. Nie ma listy ani liczby języków, informacji o tym, czy modele obsługują mowę, tekst czy oba tryby, modelu rozpoznawania, modelu tłumaczenia, wskazania, czy przetwarzanie odbywa się na urządzeniu, czy zdalnie, wartości opóźnienia, procentu dokładności, nazwy benchmarku, korpusu ewaluacyjnego ani zestawu referencyjnego. Strony zawierające pozycję z funkcją AI prezentują ją obok standardowych wierszy — komórki, maksymalnego czasu ładowania, przedziału czasu działania, metody ładowania, a na niektórych stronach także wersji Bluetooth — i nie zawierają niczego, co kupujący mógłby wykorzystać do oceny twierdzenia o dokładności tłumaczenia.
Dwa szczegóły dotyczące tej serii sprawiają, że warto wyjaśnić tę kwestię wyraźnie, zamiast pozostawić ją jako brak. Po pierwsze, liczba pozycji i możliwości to faktycznie dwie różne rzeczy. Kupujący, który czyta w katalogu, że dwadzieścia modeli ma funkcje AI, zapoznaje się z informacją o organizacji serii, a nie o tym, co te modele potrafią. Po drugie, brak wiersza dotyczącego tłumaczenia nie jest w tej kategorii czymś niezwykłym — strona produktu audio lub kamery zawiera wiersze opisujące sprzęt, a tłumaczenie jest zwykle dokumentowane w części poświęconej oprogramowaniu, a nie na stronie produktu — i właśnie dlatego kupujący powinien o nie zapytać, zamiast zakładać, że dostawca nie dysponuje takimi informacjami.
Istnieje jeszcze trzecia kwestia dotycząca tego, co seria publikuje, która ma bezpośrednie znaczenie dla sposobu specyfikacji programu tłumaczeniowego. Katalog publikuje wersję Bluetooth dla ośmiu modeli audio — 5.3 w modelach K01 i K02 oraz 5.4 w modelach D12 i YK12, D11 i G07 oraz LC-105-1 i LC-105-2 — natomiast dla jedenastu modeli z kamerą nie publikuje żadnej. Dla wszystkich dwudziestu ośmiu modeli publikuje pojemność ogniwa, maksymalny czas ładowania i przedział czasu działania. Dla jedenastu modeli z kamerą publikuje klasę rozdzielczości, a dla modeli V06 i S7 — oznaczenie odporności na przenikanie. Żaden z tych wierszy nie mówi nic o możliwościach tłumaczenia ani nie stanowi ich substytutu.

Dlaczego pozycja z funkcją AI nie jest specyfikacją tłumaczenia
Liczba pozycji z funkcjami AI to najczęściej cytowany fakt strukturalny dotyczący tej serii i ten, który jest najczęściej nadinterpretowywany. Dwadzieścia spośród dwudziestu ośmiu modeli ma pozycję z funkcją AI. Liczba ta opisuje organizację katalogu: seria jest podzielona między pozycje zawierające wiersz z funkcją AI a pozycje, które go nie zawierają. Do tych drugich należą trzy modele dziecięce oraz trzy pozycje bez jednostki magazynowej. Jest to informacja o sposobie sklasyfikowania produktów, publikowana bez żadnego opisu tego, co funkcja ta robi.
Z tego rutynowo wyciąga się cztery wnioski, a żaden z nich nie jest uzasadniony. Wniosek, że funkcja AI jest funkcją tłumaczenia, jest błędny, ponieważ żaden model nie publikuje wiersza dotyczącego tłumaczenia ani listy języków. Wniosek, że wszystkie dwadzieścia modeli korzysta z jednej implementacji, również jest błędny — katalog nie publikuje struktury oprogramowania sprzętowego, deklaracji wspólnej platformy ani wspólnej listy funkcji, dlatego kupujący powinien traktować zachowanie każdego modelu jako odrębne, dopóki dostawca nie powie inaczej na piśmie. Wniosek, że funkcja AI wymaga połączenia sieciowego, także nie jest uzasadniony, ponieważ katalog nie publikuje żadnych informacji o tym, gdzie odbywa się przetwarzanie. Wniosek, że funkcja AI jest powodem do zakupu, również jest błędny, ponieważ katalog nie daje podstaw do porównania produktu posiadającego tę funkcję z produktem, który jej nie ma.
W praktyce oznacza to, że liczba funkcji AI może posłużyć do uporządkowania krótkiej listy, ale nie pozwala kwalifikować modelu. Kupujący, który chce mieć w produkcie funkcję tłumaczenia, ma do zrealizowania dwa oddzielne zadania: zadanie dotyczące możliwości, czyli opisany poniżej zestaw sześciu żądań, oraz zadanie handlowe, obejmujące urządzenie, łączność i sposób działania, które zapewnią realizację tej funkcji. Pierwsze zadanie polega na żądaniu dokumentów; drugie to ta sama decyzja, którą podejmuje się w przypadku każdego połączonego produktu. Traktowanie ich jako jednego zadania prowadzi do sytuacji, w której na pytanie o możliwości odpowiada liczba kategorii, a oferta deklaruje możliwość, której nikt nie testował.
Jest też kolejne konsekwencja dla dokumentu wymagań, którą warto zapisać na początku dokumentacji. Ponieważ katalog nie publikuje specyfikacji tłumaczenia ani opisu funkcji poszczególnych modeli, wymagania nie można sformułować jako „obsługuje funkcje AI modelu”. Muszą one obejmować pięć poniższych elementów, każdy z podaną wartością i źródłem, co sprawia, że dokument jest dłuższy, ale znacznie bardziej przydatny. Dokument sporządzony w ten sposób ma dodatkową zaletę: dostawca, który nigdy nie widział katalogu, może na niego odpowiedzieć, a właśnie takiego dostawcę kupujący chce mieć możliwość porównania.
Pięć elementów, na których opiera się deklaracja dokładności
Numeru dokładności nie można przytoczyć na stronie, ponieważ bez pięciu poniższych elementów jest on bez znaczenia. To są właśnie te elementy, a każdy z nich stanowi pytanie do dostawcy, a nie liczbę, którą można sprawdzić.
-
Obsługa języków. Jakie języki są obsługiwane, w jakim kierunku i czy lista jest symetryczna. Deklaracja „obsługuje pięćdziesiąt języków” jest bez znaczenia bez listy, ponieważ to lista mówi kupującemu, czy para językowa potrzebna w jego programie się na niej znajduje. Katalog nie publikuje liczby języków ani listy języków dla żadnego modelu, dlatego ten element w ogóle nie ma opublikowanej odpowiedzi. Dostawcę, który podaje liczbę, należy poprosić o listę oraz o wskazanie kierunku tłumaczenia dla każdego języka.
-
Zakres zadania. Co jest tłumaczone i w jaki sposób dostarczany jest wynik: mowa na mowę, mowa na tekst, tekst na mowę lub tekst. Potok mowa–mowa i potok mowa–tekst różnią się jednym etapem, który ma własne cechy dokładności, własne opóźnienie i własny sposób obsługi plików. Program potrzebujący jednego z tych rozwiązań nie można oceniać na podstawie działania drugiego, a dostawca, który mówi „to tłumaczy”, nie wskazał, które rozwiązanie oferuje.
-
Sam potok. Jakie systemy rozpoznawania i tłumaczenia są używane, gdzie odbywa się przetwarzanie i jakie jest opóźnienie. W tym miejscu pojawia się kwestia przetwarzania na urządzeniu lub w sieci. Jest to zarówno kwestia techniczna, jak i handlowa — funkcja zależna od sieci działa inaczej na rynku ze słabą łącznością, a kupujący wysyłający produkty na kilka rynków nie może sformułować jednej deklaracji obowiązującej we wszystkich z nich.
-
Podstawa ewaluacji. Korpus, względem którego testowano system, materiał odniesienia użyty do oceny, zastosowaną metrykę, liczbę próbek oraz warunki ich zbierania. Procent dokładności bez tych pięciu elementów jest liczbą bez znaczenia, a żądanie jest proste: każdy procent oferowany przez dostawcę powinien być przekazany wraz z korpusem i metryką. Dostawca, który nie może ich dostarczyć, nie ukrywa tajemnicy handlowej, ponieważ korpus ewaluacyjny jest opisem testu, a nie szczegółem implementacyjnym.
-
Warunki wdrożenia. Akcent, hałas tła, słownictwo branżowe, jakość połączenia sieciowego i poziom kompetencji mówiącej osoby. To element odróżniający prezentację od wdrożenia i jednocześnie ten element, który zespół ds. zakupów najczęściej zapomina zapisać. Dokładność uzyskana podczas czytania skryptu w wyciszonym pomieszczeniu przez osobę posługującą się językiem ojczystym jako native speakerem jest właściwością testu. Ten sam system na hałaśliwej ulicy ze słownictwem branżowym zachowa się inaczej w sposób, którego żaden opublikowany wynik nie przewiduje.
Pięć elementów w jednym widoku:
| Element twierdzenia o dokładności | Pytanie, które musi zadać kupujący | Opublikowany status |
|---|---|---|
| Zakres obsługiwanych języków | Jakie języki i w jakim kierunku | Brak listy i liczby |
| Zakres zadań | Mowa na mowę czy mowa na tekst | Brak jakiegokolwiek oświadczenia |
| Proces rozpoznawania i tłumaczenia | Co działa gdzie i z jakim opóźnieniem | Nieopisany |
| Podstawa oceny | Jaki korpus, wzorc odniesienia i metryka | Brak wyniku i metody |
| Warunki wdrożenia | Jaki szum, akcent i słownictwo | Nieopisany |
Te pięć elementów wyjaśnia również, dlaczego porównanie z konkurencją zwykle porównuje twierdzenia, a nie systemy. Gdy obie strony produktowe mówią o dokładności, ale żadna nie precyzuje, czego dotyczy, takie porównanie niczego nie ustala, a kupujący, który potraktuje komunikat marketingowy jak specyfikację, odkryje różnicę w praktyce, a nie podczas oceny.

Jak poprosić o odpowiedź w zakresie dokładności, którą można udokumentować
Zestaw pytań jest krótki i taki sam niezależnie od tego, który model jest oceniany. Pięć elementów zamyka sześć kwestii.
Lista języków dla każdego modelu wraz z kierunkiem. To pojedynczy arkusz, który całkowicie zamyka pierwszy element.
Oświadczenie o zakresie zadań, aby nie porównywać ze sobą konwersji mowa na mowę i mowa na tekst. Zamyka drugi element i zapobiega najczęstszemu błędowi kategorii w porównaniach tłumaczeń.
Opis procesu określający miejsce przetwarzania i opóźnienie, z jednoznacznie wskazaną zależnością od sieci. Zamyka trzeci element i jest to kwestia najbardziej potrzebna kupującemu działającemu na kilku rynkach docelowych, ponieważ decyduje o tym, czy funkcja nadaje się do zastosowania na każdym z nich.
Podstawa oceny dołączona do każdego podanego wyniku dokładności. Jeśli żaden wynik nie jest dostępny, należy poprosić o protokół testowy i metrykę akceptowaną przez kupującego. Jest to silniejsza pozycja niż zapożyczony wynik, ponieważ zostaje ustalona przed otrzymaniem próbki.
Profil wdrożenia określający warunki, w których funkcja ma działać: szum, akcent, słownictwo i sieć. Zamyka piąty element i jest wskazaniem, które przekształca funkcję w wymaganie.
Zobowiązanie do ponownego testowania określające, co się stanie, jeśli funkcja nie będzie działać zgodnie z twierdzeniami w warunkach kupującego. Jest to warunek handlowy przypisany do czwartego elementu, a bez niego ocena ma charakter porady, a nie mechanizmu kontroli.
Jakość odpowiedzi również warto ocenić, ponieważ powyższy zestaw pytań przynosi bardzo różne rezultaty w zależności od otrzymanej odpowiedzi. Najlepsza odpowiedź to lista języków wraz z kierunkami, określony zakres zadań, opis procesu wskazujący miejsce przetwarzania oraz podstawa oceny dołączona do każdego podanego wyniku. Taka odpowiedź pozwala kupującemu zdecydować, jeszcze przed otrzymaniem próbki, czy funkcja w ogóle mieści się w zakresie programu. Zwykła odpowiedź zawiera listę języków i zakres zadań, a na tym się kończy, co wciąż rozstrzyga dwa elementy, które najczęściej dyskwalifikują model. Słaba odpowiedź podaje liczbę języków i procent bez żadnych dodatkowych informacji, nie rozstrzygając niczego, dlatego należy ją oddać wraz z konkretnym pytaniem, które zostało pominięte.
Kupujący, który musi oddać odpowiedź po raz drugi, powinien zapisać, czego w niej brakowało, ponieważ brakujący element to zwykle ten, którego dostawca nie uważa za część produktu. Poproszenie o korpus dla wyniku dokładności jest pytaniem o metodykę, a dostawca, którego nikt o to nie pytał, może go nie posiadać. Nie oznacza to, że odpowiedź jest nieakceptowalna, ale wymaga przeklasyfikowania twierdzenia o dokładności ze specyfikacji na stwierdzenie i odpowiedniego sformułowania oferty. Wczesne przeklasyfikowanie jest tanie. Przeklasyfikowanie po premierze oznacza wycofanie produktu.

Jaki koszt ponosi program w przypadku nieuzasadnionego twierdzenia o dokładności
Argument handlowy za prawidłowym postępowaniem warto przedstawić, ponieważ koszt błędnego twierdzenia o dokładności nie rozkłada się równomiernie w całej firmie. Koszty bezpośrednie są znane: zwroty, kontakt z obsługą klienta, wpływ na reputację twierdzenia, które zostało publicznie przedstawione, a następnie wycofane. Dwa koszty pośrednie są większe i rzadziej uwzględniane.
Pierwszym z nich jest koszt ponownego przygotowania listy finalistów. Jeśli model wybrano dlatego, że przyjęto wynik dokładności bez metody, a okazuje się, że wynik opisuje test, którego kupujący by nie przeprowadził, trzeba ponownie otworzyć proces wyboru — a ponowne otwarcie listy finalistów na etapie, na którym próbki zostały już zamówione i ocenione, jest najdroższą formą ponownego otwarcia, ponieważ koszt oceny jest już poniesiony i nie można go odzyskać.
Druga to koszt oferty, której nie można obronić. Partnerzy kanałowi i recenzenci marketplace oczekują dowodów, a twierdzenie bez metody nie może zostać uzasadnione na żądanie. W rezultacie zwykle nie chodzi o odrzucenie, lecz obniżenie rangi — twierdzenie zostaje usunięte, oferta jest zmieniana, a materiały sprzedażowe, które do niej się odwoływały, również trzeba wycofać. Jest to koszt rozłożony na każdą już wystawioną sztukę i niewidoczny w ekonomice jednostkowej, dopóki się nie pojawi.
Obie te koszty można uniknąć przez samo działanie: przed rundą próbną ustalić, jakich dowodów wymaga dane twierdzenie. To decyzja o koszcie całkowitym, a nie techniczna, i właśnie dlatego sześciopunktowy zestaw żądań powinien znaleźć się w briefie wymagań, a nie w późnej wiadomości e-mail do dostawcy, którego ocena została już opłacona.
Dwa z tych sześciu punktów warto na chwilę wyróżnić. Profil wdrożenia to ten, który kupujący najczęściej pomijają, a jego pominięcie prowadzi do najdroższego trybu awarii w tej kategorii: funkcja, która działa podczas prezentacji, ale zawodzi na rynku, przy czym problem zostaje wykryty po premierze, a nie w trakcie oceny. Zobowiązanie do ponownych testów odróżnia rozmowę z dostawcą od umowy, ponieważ bez określenia konsekwencji wynik oceny ma charakter doradczy. Razem zamieniają pytanie bez odpowiedzi w warunek, który ma odpowiedź.
Istnieje jeszcze jeden aspekt relacji między tłumaczeniem a pozostałą częścią katalogu. Proces tłumaczenia w urządzeniu noszonym prawie zawsze zależy od łańcucha nagrywania i obróbki plików — od tego, czy mikrofon wychwytuje mowę, w jakim formacie zapisywane jest nagranie oraz jak plik jest następnie przenoszony i przetwarzany. Ani łańcuch nagrywania, ani obróbka plików nie są publikowane w tej serii: żaden model nie publikuje wiersza dotyczącego mikrofonu, częstotliwości próbkowania, głębokości bitowej, formatu pliku ani pojemności pamięci. Kupujący, który ocenia tłumaczenie jako samodzielną funkcję, powinien oceniać je właśnie jako samodzielną funkcję, natomiast kupujący, który ocenia je w ramach procesu nagrywania, powinien mieć świadomość, że obie połowy tego procesu opierają się na odrębnych dowodach.
Czy tłumaczenie jest dokładne: co należy uwzględnić w zamówieniu
Pisemna odpowiedź na to pytanie składa się z trzech części.
Katalog publikuje pozycję dotyczącą funkcji AI w dwudziestu z dwudziestu ośmiu modeli, wraz ze standardowymi wierszami: bateria, maksymalna pojemność ładowania, przedział czasu działania, metoda ładowania oraz wersja Bluetooth w ośmiu modelach audio. Nie publikuje natomiast żadnych danych dotyczących tłumaczenia: listy języków, liczby języków, zakresu zadań, modelu rozpoznawania lub tłumaczenia, wartości opóźnienia, dokładności, testu porównawczego, korpusu ani zestawu referencyjnego dla żadnego modelu w tej serii. Nie publikujemy specyfikacji tłumaczenia dla żadnego modelu, a kupujący, który otrzymał wartość dokładności bez podstaw jej oceny, powinien traktować ją jak komunikat marketingowy, dopóki podstawy nie zostaną dostarczone.
Należy poprosić o opisany powyżej sześciopunktowy zestaw żądań oraz wpisać profil wdrożenia i zobowiązanie do ponownych testów do zamówienia, zamiast pozostawiać je w korespondencji.
Zamówienie powinno również zawierać jedno dodatkowe zdanie, które rzadko się spotyka, a którego kupujący będzie później zadowolony: co stanie się z ofertą, jeśli funkcja zostanie wycofana, przełożona lub okaże się niespełniająca kryteriów akceptacji. W kategorii, w której twierdzenie opiera się na działaniu oprogramowania, a nie na specyfikacji fizycznej, procedura wycofania stanowi ryzyko komercyjne, a nie techniczne, i znacznie taniej jest z góry uzgodnić jej treść niż negocjować ją po rozpowiedzeniu funkcji, a następnie jej zmianie. Sformułowanie nie jest skomplikowane. Chodzi o wskazanie, czy strona zostanie zmieniona, czy materiały zostaną zmienione i w jakim terminie.
Stanowisko warte obrony jest takie, że pytanie nigdy tak naprawdę nie prosiło o liczbę. Dokładność jest relacją między systemem a warunkiem, a warunek to coś, co kupujący kontroluje i czego dostawca nie widzi. Kupujący, który określa warunek, otrzymuje odpowiedź, którą może obronić, natomiast kupujący, który prosi o wartość procentową, otrzymuje liczbę pochodzącą z cudzego testu. Strona Funkcje AI przedstawia tę kategorię, jak wybierać na podstawie funkcji AI — kwestię wyboru, jak mierzyć funkcje AI — kwestię oceny, jak porównywać funkcje AI — kwestię porównania, a czy funkcja AI wymaga internetu szczegółowo omawia zależność od łącza sieciowego.
Powiązane lektury
- Wybór na podstawie funkcji AI: jak wybrać smart glasses pod względem funkcji AI.
- Ocena deklaracji dotyczącej AI: jak zmierzyć funkcje AI smart glasses.
- Porównanie dwóch implementacji AI: jak porównać funkcje AI smart glasses.
- Zależność od sieci, która zmienia odpowiedź: czy funkcja AI wymaga internetu.
- Te same pytania answered dla rodziny kamer: najczęstsze pytania o okulary z kamerą AI.
Określ warunki, a odpowiedź można udokumentować; poproś o procent, a odpowiedź należy do testu innej osoby.



