Otázku „Je překlad přesný“ nelze zodpovědět procentem. Důvodem není, že by procento nebylo k dispozici, ale že slovo „přesnost“ samo o sobě neoznačuje měřitelnou věc. Skrývá v sobě přinejmenším pět samostatných otázek: o jaké jazyky jde, v jakém směru, pomocí jakého procesu, vůči jaké referenci a za jakých podmínek. Dva produkty lze oba označit za přesné, a přitom jde o naprosto odlišné produkty. Rozdíl mezi nimi tkví v odpovědích na těchto pět otázek, nikoli v jediném čísle. Katalog o žádné z nich nic neuvádí, což je hlavním zjištěním tohoto článku. Zveřejňuje však jednu související informaci, kterou se lidé pravidelně zaměňují za specifikaci překladu, a právě rozlišení těchto dvou věcí je zde užitečné.
Touto související informací je počet položek s funkcemi AI. Z dvaceti osmi modelů v této řadě jich dvacet obsahuje položku s funkcí AI a její přítomnost kupujícímu říká, že je model v katalogu zařazen do kategorie AI. Neříká mu však, které jazyky model podporuje, zda funguje se zvukem, textem, nebo s oběma, zda běží přímo na zařízení, nebo přes síť, jak dlouho trvá, ani jak dobře funguje. Katalog nespojuje žádnou položku AI s řádkem týkajícím se překladu a u žádného modelu v této řadě vůbec řádek s překladem neuvádí.
Je překlad přesný: co katalog zveřejňuje a co nikoli
Text katalogu neobsahuje specifikaci překladu pro žádný model. Neuvádí se seznam jazyků ani jejich počet, žádná informace o tom, zda modely zpracovávají zvuk, text, nebo obojí, žádný rozpoznávací ani překladový model, žádný údaj o tom, zda probíhá zpracování na zařízení, nebo vzdáleně, žádná hodnota latence, žádné procento přesnosti, žádný název benchmarku, žádný evaluační korpus ani referenční sada. Stránky s položkou AI ji uvádějí spolu se standardními řádky — s kapacitou baterie, maximální hodnotou doby výkonu, dobou provozu, způsobem nabíjení a na některých stránkách také s verzí Bluetooth — ale neobsahují nic, co by kupující mohl použít k posouzení tvrzení o kvalitě překladu.
V této řadě jsou dva podrobnosti, které stojí za to vyložit podrobněji, než je ponechat jako pouhé opomenutí. Zaprvé je počet položek skutečně jinou věcí než schopnost. Kupující, který čte katalog uvádějící, že dvacet modelů má funkce AI, získává informaci o tom, jak je řada organizována, nikoli o tom, co tyto modely dokážou. Zadruhé není nepřítomnost řádku s překladem v této kategorii neobvyklá — stránka zvukového nebo kamerového produktu obvykle uvádí údaje o hardwaru, zatímco překlad se dokumentuje zpravidla v části o softwaru, nikoli na stránce produktu — a právě proto by měl kupující tyto údaje vyžádat, místo aby předpokládal, že je dodavatel nezná.
Existuje ještě třetí bod týkající se toho, co řada zveřejňuje, a přímo ovlivňuje způsob, jak musí být specifikován program překladu. Katalog uvádí verzi Bluetooth u osmi zvukových modelů — 5.3 u K01 a K02 a 5.4 u D12 a YK12, D11 a G07 a LC-105-1 a LC-105-2 — ale u jedenácti kamerových modelů žádnou. U všech dvaceti osmi modelů uvádí kapacitu baterie, maximální hodnotu doby výkonu a dobu provozu. U jedenácti kamerových modelů uvádí třídu rozlišení a u V06 a S7 označení stupněm odolnosti proti průniku. Žádný z těchto řádků neříká nic o schopnosti překladu ani ji nenahrazuje.

Proč položka s funkcí AI není specifikací překladu
Počet položek s funkcemi AI je nejcitovanějším strukturálním údajem o této řadě a zároveň tím nejčastěji nadhodnocovaným. Z dvaceti osmi modelů jich dvacet obsahuje položku s funkcí AI. Toto číslo popisuje organizaci katalogu: řada je rozdělena na položky, které obsahují řádek s funkcí AI, a položky, které jej neobsahují; mezi těmi druhými jsou tři dětské modely a tři položky bez skladové jednotky. Jde o tvrzení o tom, jak byly produkty zařazeny, a je zveřejněno bez jakéhokoli popisu toho, co daná funkce dělá.
Z toho se běžně vyvozují čtyři závěry a ani jeden z nich neplatí. Tvrzení, že funkce AI je funkcí překladu, neplatí, protože žádný model nezveřejňuje řádek pro překlad ani seznam jazyků. Tvrzení, že všech dvacet modelů sdílí jednu implementaci, rovněž neplatí — katalog nezveřejňuje strukturu firmwaru, žádné prohlášení o společné platformě ani společný seznam funkcí, takže by měl kupující považovat chování každého modelu za vlastní, dokud dodavatel výslovně písemně neurčí jinak. Tvrzení, že funkce AI vyžaduje síť, neplatí, protože katalog neuvádí, kde probíhá zpracování. A tvrzení, že funkce AI je důvodem k nákupu, také neplatí, protože katalog neposkytuje základ pro porovnání položky s jednou funkcí AI a položky bez ní.
Provozně to znamená, že počet funkcí AI může sloužit k sestavení zúženého seznamu, ale nemůže kvalifikovat model. Kupující, který chce v produktu překlad, má dvě samostatné pracovní položky: pracovní položku týkající se schopností, kterou představuje níže uvedená sada šesti požadavků, a obchodní pracovní položku, kterou představuje zařízení, konečnost a provozní uspořádání, jež ji ponese. První je žádostí o dokumentaci; druhá je stejným rozhodnutím, jaké s sebou nese každý připojený produkt. Jejich sloučení v jednu položku vede k tomu, že se na otázku týkající se schopnosti odpoví počtem kategorií a v nabídce se následně tvrdí schopnost, kterou nikdo neotestoval.
Pro zadání požadavků z toho plyne ještě jeden důsledek a stojí za to ho zapsat na začátek dokumentu. Protože katalog nezveřejňuje specifikaci překladu ani popis funkcí jednotlivých modelů, požadavek nelze formulovat jako „podporuje funkce AI modelu“. Musí být zapsán jako následujících pět prvků, každý s hodnotou a zdrojem, což zadání prodlouží, ale zároveň jej výrazně více učiní užitečným. Takto napsané zadání má také výhodu, že na ně lze odpovědět i dodavateli, který nikdy katalog neviděl, a právě takového dodavatele chce mít kupující možnost porovnávat.
Pět prvků, na kterých tvrzení o přesnosti spočívá
Číslo přesnosti nelze uvést na stránce, protože bez následujících pěti prvků nemá význam. Toto jsou tyto prvky a každý z nich je otázkou pro dodavatele, nikoli číslem, které stačí vyhledat.
-
Pokrytí jazyků. Jaké jazyky jsou podporovány, v jakém směru a zda je seznam symetrický. Tvrzení „podporuje padesát jazyků“ je bez seznamu bezvýznamné, protože právě seznam kupujícímu říká, zda obsahuje dvojici jazyků, kterou jeho program potřebuje. Katalog nezveřejňuje počet jazyků ani seznam jazyků pro žádný model, takže tento prvek nemá vůbec žádnou zveřejněnou odpověď a dodavateli, který uvede počet, by se měl požádat o seznam a o směr, v němž každý jazyk funguje.
-
Rozsah úkolu. Co se překládá a jak je výsledek doručován: řeč na řeč, řeč na text, text na řeč nebo text. Směrovka řeč na řeč a směrovka řeč na text se liší jedním krokem, který má vlastní charakteristiku přesnosti, vlastní latenci a vlastní zpracování souborů. Program, který potřebuje jednu z nich, nelze hodnotit podle výkonu druhé, a dodavatel, který řekne „překládá“, neřekl, která z nich je nabízena.
-
Samotné zpracování. Jaké systémy rozpoznávání a překladu se používají, kde probíhá zpracování a jaká je latence. Sem patří otázka zpracování v zařízení oproti zpracování v síti a je stejně tak obchodní jako technická — funkce závislá na síti se chová jinak na trhu se špatným připojením a kupující, který dodává do více zemí, nemůže napsat jedno tvrzení platné ve všech z nich.
-
Základ hodnocení. Korpus, proti němuž byl systém testován, referenční hodnota použitá k jeho posouzení, použitá metrika, počet vzorků a podmínky, za nichž byly shromážděny. Procentuální přesnost bez těchto pěti údajů je číslem bez významu a požadavek je jednoduchý: jakékoli procento, které dodavatel nabídne, by mělo dorazit s přiloženým korpusem a metrikou. Dodavatel, který je nedokáže poskytnout, neuchovává obchodní tajemství, protože evaluační korpus je popisem testu, nikoli detailem implementace.
-
Podmínky nasazení. Přízvuk, šum v pozadí, odborná terminologie, kvalita sítě a úroveň mluvčího. Tento prvek odlišuje demonstraci od nasazení a je právě tím, který nákupní tým nejčastěji zapomene zapsat. Přesnost při čtení ze scénáře v tichém upraveném prostředí rodným mluvčím je vlastností testu a tentýž systém bude na hlučné ulici s odbornou terminologií fungovat jinak, což žádná zveřejněná hodnota nepředpovídá.
Pět prvků v jednom pohledu:
| Prvek tvrzení o přesnosti | Otázka, kterou musí kupující položit | Zveřejněný stav |
|---|---|---|
| Pokrytí jazyků | Které jazyky a v jakém směru | Bez seznamu a bez počtu |
| Rozsah úlohy | Řeč na řeč, nebo řeč na text | Bez jakéhokoli uvedení |
| Pipeline rozpoznávání a překladu | Co se zpracovává kde a jak pomalu | Nepopsáno |
| Základ hodnocení | Který korpus, referenční údaje a metrika | Bez hodnoty a bez metody |
| Podmínky nasazení | Který šum, přízvuk a slovní zásoba | Nepopsáno |
Těchto pět prvků je zároveň důvodem, proč se porovnání s konkurencí obvykle týká tvrzení, nikoli systémů. Když obě produktové stránky uvádějí, že překlad je přesný, ani jedna neříká, vůči čemu, srovnání nic neprokazuje a kupující, který považuje marketingový slogan za specifikaci, objeví rozdíl v praxi, nikoli při hodnocení.

Jak požádat o odpověď o přesnosti, kterou lze evidovat
Sada žádostí je krátká a je stejná bez ohledu na to, který model se hodnotí. Šest položek uzavírá všech pět prvků.
Seznam jazyků pro každý model, včetně směru překladu. Jde o jediný přehled, který zcela uzavírá první prvek.
Uvedení rozsahu úlohy, aby se porovnával překlad z řeči na řeč s překladem z řeči na text. Tím se uzavírá druhý prvek a zabrání se nejčastější chybě v kategoriích při porovnávání překladů.
Popis pipeline, v němž je uvedeno, kde zpracování probíhá a jaká je latence, a to včetně explicitního uvedení závislosti na síti. Tím se uzavírá třetí prvek. Právě tuto položku kupující s více cílovými trhy potřebují nejvíce, protože určuje, zda je daná funkce v každém z nich použitelná.
Základ hodnocení přiložený k jakékoli nabízené hodnotě přesnosti. Pokud žádná hodnota nabízena není, je žádostí testovací protokol a metrika, kterou kupující akceptuje. Jde o silnější pozici než převzaté číslo, protože je stanovena dříve, než dorazí vzorek.
Profil nasazení, v němž jsou uvedeny podmínky, za kterých se očekává fungování funkce: šum, přízvuk, slovní zásoba a síť. Tím se uzavírá pátý prvek a tato položka mění funkci v požadavek.
Závazek k opětovnému testování, v němž je uvedeno, co nastane, pokud funkce v podmínkách kupujícího nedosáhne deklarovaných výsledků. Jde o obchodní podmínku navázanou na čtvrtý prvek. Bez ní je hodnocení poradkou, nikoli kontrolou.
Kvalita odpovědí stojí za samotné posouzení, protože uvedená sada žádostí přináší podle doručených odpovědí velmi odlišné výsledky. Nejlepší odpověď zahrnuje seznam jazyků se směry, jasně uvedený rozsah úlohy, popis pipeline, v němž je uvedeno, kde probíhá zpracování, a základ hodnocení přiložený k každé nabízené hodnotě. Taková odpověď umožňuje kupujícímu rozhodnout ještě před doručením vzorku, zda je funkce vůbec v rozsahu daného programu. Běžná odpověď obsahuje seznam jazyků a rozsah úlohy a na tomto místě končí; tím se přesto vyřeší dva prvky, které model nejčastěji diskvalifikují. Slabá odpověď uvádí počet jazyků a procento bez jakýchkoli příloh, neprokazuje tedy nic a musí být vrácena s konkrétní otázkou, která zůstala bez zodpovězení.
Kupující, který musí odpověď vrátit podruhé, by měl zaznamenat, co v ní chybělo, protože chybějící položka je obvykle ta, kterou dodavatel nepovažuje za součást produktu. Požadavek na korpus pro hodnotu přesnosti je žádostí o metodologii a dodavatel, kterému nikdy nikdo korpus nepožadoval, jej nemusí mít. To neznamená, že je odpověď nepřijatelná, ale znamená to, že tvrzení o přesnosti je nutné překlasifikovat ze specifikace na tvrzení a příslušný záznam tomu přizpůsobit. Včasná reklasifikace je levná. Reklasifikace po uvedení na trh je stažením produktu.

Kolik program stojí nepodložené tvrzení o přesnosti
Obchodní důvod pro řádné postupování stojí za to, aby byl uveden, protože náklady na nesprávné tvrzení o přesnosti se v podniku nerozkládají rovnoměrně. Přímé náklady jsou známé: vrácené produkty, kontakty na podporu, dopad na pověst tvrzení, které bylo veřejně učiněno a následně staženo. Dvě nepřímé náklady jsou větší a často se nezapočítávají.
První z nich představují náklady na opakované sestavení užšího seznamu. Pokud je model vybrán na základě hodnoty přesnosti přijaté bez metody a hodnota se ukáže popisovat test, který by kupující neprováděl, výběr je nutné otevřít znovu. Otevření užšího seznamu ve fázi, kdy byly vzorky již objednány a vyhodnoceny, je nejdražší formou takového otevření, protože náklady na hodnocení se již stanou nevratnými.
Druhý je náklad na inzerát, který nelze obhájit. Partneré kanálů a recenzenti marketplaces požadují doložení a tvrzení bez metody nelze na vyžádání podložit. Výsledkem obvykle není zamítnutí, ale snížení hodnocení — tvrzení se odstraní, inzerát se přepíše a prodejní materiály, které na něj odkazovaly, se musejí rovněž stáhnout. Jde o náklad rozložený na všechny již uvedené jednotky, který je v jednotkové ekonomice neviditelný, dokud se nestane.
Obou těchto nákladů lze stejným krokem vyhnout: rozhodnout ještě před vzorkovým kolem, jaké důkazy tvrzení vyžaduje. Jde o rozhodnutí o celkových nákladech, nikoli o technické rozhodnutí, a proto patří žádost o šest položek do zadání požadavků, a nikoli do pozdního e-mailu dodavateli, jehož hodnocení už bylo uhrazeno.
Dvě z těchto šesti položek stojí za to vyzdvihnout. Profil nasazení je položka, kterou kupující přeskakují nejčastěji, a její přeskočení vede k nejdražšímu způsobu selhání v této kategorii: funkce, která funguje při demonstraci, ale selhává na trhu, přičemž se zjištění dostane až po uvedení na trh namísto během hodnocení. Závazek k opakovanému testování odlišuje jednání s dodavatelem od smlouvy, protože bez stanoveného následku je výsledek hodnocení pouze doporučení. Společně přeměňují otázku, na kterou není odpověď, na podmínku, na kterou jedna je.
Existuje ještě jeden bod týkající se vztahu mezi překladem a zbytkem katalogu. Pracovní postup překladu u wearables téměř vždy závisí na řetězci zachycení a na práci se soubory — na tom, zda mikrofon zachytí řeč, v jakém formátu se nahrávka uloží a jak se následně soubor přesune a zpracuje. Ani řetězec zachycení, ani zpracování souborů není v této řadě zveřejněno: žádný model neuvádí údaje o mikrofonu, vzorkovací frekvenci, bitové hloubce, formátu souboru ani úložné kapacitě. Kupující, který hodnotí překlad jako samostatnou funkci, by jej měl hodnotit jako samostatnou funkci, a kupující, který jej hodnotí jako součást pracovního postupu nahrávání, by si měl uvědomovat, že tyto dvě poloviny pracovního postupu mají samostatné důkazní základy.
je překlad přesný: co patří do objednávky
Písemná odpověď na tuto otázku má tři části.
Katalog zveřejňuje položku AI funkce u dvaceti z osmadvaceti modelů vedle standardních údajů: čip, maximální výkon nabíjení, rozsah výdrže, metoda nabíjení a verze Bluetooth u osmi audio modelů. Nezveřejňuje však u žádného modelu v této řadě údaje o překladu, seznam jazyků, počet jazyků, rozsah úkolů, model rozpoznávání nebo překladu, hodnotu latence, hodnotu přesnosti, benchmark, korpus ani referenční sadu. Pro žádný model nezveřejňujeme specifikaci překladu a kupující, kterému byla představena hodnota přesnosti bez základů hodnocení, by ji měl považovat za marketingovou větu, dokud nejsou základy dodány.
Je třeba požádat o výše uvedenou sadu šesti žádostí a zahrnout profil nasazení a závazek k opakovanému testování do objednávky, nikoli je ponechat pouze v korespondenci.
Objednávka by měla obsahovat ještě jednu další větu, která se zřídka uvádí a kterou bude kupující později rád mít: co se stane s inzerátem, pokud bude funkce odstraněna, odložena nebo se ukáže, že nesplňuje akceptační test. V kategorii, kde tvrzení spočívá na chování softwaru, nikoli na fyzické specifikaci, je cesta odstranění obchodním rizikem, nikoli technickým, a dohodnout její znění s předem je mnohem levnější, než o něm jednat poté, co byla funkce inzerována a následně změněna. Znění není složité. Jde pouze o uvedení, zda se změní stránka, zda se změní materiál a v jakém časovém rozmezí.
Držet si hodí pozici spočívá v tom, že otázka ve skutečnosti nikdy nežádala o číslo. Přesnost je vztahem mezi systémem a podmínkou a právě podmínka je to, co kupující kontroluje a co dodavatel nemůže vidět. Kupující, který stanoví podmínku, získá odpověď, kterou může obhájit, zatímco kupující, který žádá o procento, získá hodnotu, která patří někomu jinému testu. Stránka AI funkcí pokrývá kategorii, výběr podle AI funkcí pokrývá stránku výběru, měření AI funkcí pokrývá otázku hodnocení, porovnání AI funkcí pokrývá otázku porovnání a zda AI funkce potřebuje internet podrobně pokrývá závislost na síti.
Související čtení
- Volba podle schopností AI: jak vybrat smart glasses podle AI funkcí.
- Posouzení tvrzení o AI: jak měřit AI funkce smart glasses.
- Porovnání dvou implementací AI: jak porovnat AI funkce smart glasses.
- Závislost na síti, která mění odpověď: potřebuje AI funkce připojení k internetu.
- Stejné otázky zodpovězené pro řadu kamerových brýlí: časté otázky k AI brýlím s kamerou.
Uveďte podmínky a odpověď bude použitelná ve spisu; vyžádejte si procento a odpověď bude patřit někomu jinému testu.



