На вопрос «точен ли перевод» нельзя ответить в процентах, и причина не в отсутствии процентного показателя, а в том, что само слово «точность» не обозначает измеримую величину. В нём скрыто как минимум пять отдельных вопросов: о каких языках идёт речь, в каком направлении, с помощью какого конвейера, по какому эталону и при каких условиях. Два продукта могут быть названы точными и при этом оказаться совершенно разными продуктами: различие между ними заключается в ответах на эти пять вопросов, а не в одном числе. Каталог не публикует сведения ни по одному из них — именно это и составляет главную мысль статьи. Однако каталог публикует кое-что смежное, что регулярно принимают за спецификацию перевода, и разграничение этих двух вещей и есть полезная часть статьи.
Этим смежным фактом является количество позиций с функциями ИИ. Двадцать из двадцати восьми моделей в этом диапазоне имеют записи о функциях ИИ, и наличие такой записи сообщает покупателю, что модель позиционируется в категории ИИ каталога. Однако это не сообщает покупателю, какие языки поддерживает модель, работает ли она с речью или с текстом, выполняется ли обработка на устройстве или по сети, сколько времени она занимает и насколько хорошо работает. Ничто в каталоге не связывает запись о функции ИИ со строкой о переводе, а ни одна модель диапазона вообще не публикует такую строку.
точен ли перевод: что публикует каталог и что не публикует
Текст каталога не содержит спецификаций перевода ни для одной модели. В нём нет списка языков и указания их количества, нет сведений о том, работают ли модели с речью, текстом или с обоими вариантами, нет модели распознавания, нет модели перевода, нет указания на то, выполняется ли обработка на устройстве или удалённо, нет данных о задержке, проценте точности, названии теста, оценочном корпусе или эталонном наборе. Страницы с записью о функции ИИ содержат её рядом со стандартными параметрами — ёмкостью аккумулятора, пределом заряда, диапазоном времени работы, способом зарядки, а на некоторых страницах — версией Bluetooth — и не содержат ничего, что покупатель мог бы использовать для оценки утверждения о переводе.
В диапазоне есть две детали, которые стоит проговорить, а не оставить как простое упущение. Первая состоит в том, что количество записей и сама возможность — действительно разные вещи. Покупатель, читающий каталог, в котором указано, что двадцать моделей оснащены функциями ИИ, получает сведения об организации диапазона, а не о возможностях этих моделей. Вторая состоит в том, что отсутствие строки о переводе необычно для этой категории: страница аудио- или продуктов с камерой обычно публикует характеристики оборудования, тогда как перевод документируется в разделе о программном обеспечении, а не на странице продукта. Именно поэтому покупателю следует запросить эти сведения, а не предполагать, что поставщик о них не знает.
Есть и третий момент, касающийся того, что диапазон всё же публикует и напрямую влияющий на формулирование требований к программе перевода. Для восьми аудиомоделей каталог публикует версию Bluetooth — 5.3 у K01 и K02, а также 5.4 у D12 и YK12, D11 и G07, LC-105-1 и LC-105-2 — а для одиннадцати моделей с камерой не публикует ничего. Для всех двадцати восьми моделей указаны ёмкость аккумулятора, предел заряда и диапазон времени работы. Для одиннадцати моделей с камерой указан класс разрешения, а для V06 и S7 — степень защиты от проникновения. Ни одна из этих строк не сообщает о возможностях перевода, и ни одна не заменяет соответствующую спецификацию.

Почему запись о функции ИИ не является спецификацией перевода
Количество моделей с записями о функциях ИИ — наиболее цитируемый структурный факт о этом диапазоне и тот, который чаще всего подвергается чрезмерным обобщениям. Двадцать из двадцати восьми моделей имеют запись о функции ИИ. Это число описывает организацию каталога: диапазон разделён на позиции, содержащие строку о функции ИИ, и позиции, которые её не содержат; в последнюю группу входят три детские модели и три позиции без учётной единицы склада. Это утверждение о позиционировании продуктов, опубликованное без каких-либо описаний того, что делает данная функция.
Из него обычно делают четыре вывода, и ни один из них не является обоснованным. Вывод о том, что функция ИИ представляет собой функцию перевода, неверен: ни одна модель не публикует сведения о переводах и список языков. Вывод о том, что все двадцать моделей используют одну и ту же реализацию, также неверен: каталог не публикует структуру прошивки, заявление об общей платформе или единый список функций, поэтому покупателю следует считать поведение каждой модели самостоятельным, пока поставщик письменно не заявит обратное. Вывод о том, что функция ИИ требует подключения к сети, неверен, поскольку каталог не публикует сведения о том, где выполняется обработка. Вывод о том, что функция ИИ является основной причиной покупки, также неверен, поскольку каталог не дает оснований для сравнения позиций с этой функцией и без нее.
С практической точки зрения это означает, что количество функций ИИ можно использовать для формирования короткого списка, но не для подтверждения соответствия модели требованиям. У покупателя, которому нужны переводы в продукте, есть две отдельные задачи: задача по подтверждению функциональных возможностей — это приведенный ниже набор из шести запросов — и коммерческая задача, которая касается устройства, подключения и схемы эксплуатации, обеспечивающей эту функциональность. Первая задача предполагает запрос документов; вторая — то же решение, которое требуется для любого подключенного продукта. Объединение этих задач приводит к тому, что вопрос о возможностях продукта закрывается количеством функций в категории, а в описании продукта заявляется возможность, которую никто не проверял.
Для технического задания есть еще одно последствие, которое стоит письменно зафиксировать в начале файла. Поскольку каталог не публикует ни спецификацию перевода, ни описание функций для каждой модели, требование невозможно сформулировать как «поддерживать функции ИИ модели». Его необходимо оформить в виде пяти приведенных ниже элементов, каждый из которых должен содержать значение и источник. Это сделает документ длиннее, но значительно полезнее. Кроме того, задание в таком формате может быть выполнено поставщиком, который никогда не видел каталог, — именно такого поставщика покупателю и необходимо иметь возможность сравнить с другими.
Пять элементов, на которых основывается заявление о точности
Причина, по которой показатель точности нельзя приводить на странице, заключается в том, что без пяти элементов, лежащих в его основе, он лишен смысла. Каждый из этих элементов является вопросом для поставщика, а не значением, которое можно найти.
-
Охват языков. Какие языки поддерживаются, в каком направлении работает перевод и является ли список симметричным. Заявление «поддерживает пятьдесят языков» лишено смысла без самого списка, поскольку именно список показывает покупателю, входит ли в него нужная его программе языковая пара. Каталог не публикует ни количества языков, ни их списка ни для одной модели, поэтому по этому элементу опубликованного ответа нет вовсе. Если поставщик приводит количество, следует запросить список и указать направление перевода для каждого языка.
-
Объем задачи. Что именно переводится и как передается результат: речь в речь, речь в текст, текст в речь или текст. Конвейеры «речь в речь» и «речь в текст» различаются этапом, для которого характерны собственные показатели точности, задержка и порядок обработки файлов. Программу, которой нужен один из них, нельзя оценивать по эффективности другого, а фраза поставщика «устройство выполняет перевод» не позволяет понять, какой именно вариант предлагается.
-
Сам конвейер. Какие системы распознавания и перевода используются, где выполняется обработка и какова задержка. Именно здесь рассматривается вопрос обработки на устройстве или в сети, и он носит столько же коммерческий, сколько и технический характер: функция, зависящая от сети, ведет себя иначе на рынке с плохим подключением, поэтому покупатель, поставляющий продукцию на несколько рынков, не может сформулировать одно заявление, действительное для всех из них.
-
Основание для оценки. Корпус, на котором тестировалась система, эталон, использованный для оценки, примененная метрика, количество примеров и условия их сбора. Процент точности без этих пяти данных не имеет смысла, и запрос достаточно прост: любой процент, который предлагает поставщик, должен сопровождаться указанием корпуса и метрики. Поставщик, неспособный предоставить эти сведения, не раскрывает коммерческую тайну, поскольку оценочный корпус описывает тест, а не детали реализации.
-
Условия эксплуатации. Акцент, фоновый шум, отраслевая терминология, качество сети и уровень владения языком говорящим. Именно этот элемент отличает демонстрацию от реальной эксплуатации, и именно его закупочная команда чаще всего забывает фиксировать. Точность, достигнутая в тихой комнате при чтении сценария носителем языка, является характеристикой теста. Та же система на шумной улице и с отраслевой терминологией будет вести себя иначе, и ни один опубликованный показатель не позволяет это предсказать.
Пять элементов в одном представлении:
| Элемент утверждения о точности | Вопрос, который должен задать покупатель | Опубликованные данные |
|---|---|---|
| Покрытие языков | Какие языки и в каком направлении | Нет списка и указания количества |
| Объём задачи | Преобразование речи в речь или речи в текст | Нет никаких сведений |
| Конвейер распознавания и перевода | Что и где выполняется и с какой задержкой | Не описан |
| Основание для оценки | Какие корпус, эталон и метрика | Нет ни показателей, ни методики |
| Условия применения | Какие шум, акцент и словарный запас | Не описаны |
Пять элементов также объясняют, почему сравнение с конкурентом обычно представляет собой сравнение утверждений, а не систем. Если на страницах двух продуктов оба написано «точное», но нигде не указано, по сравнению с чем, такое сравнение ничего не доказывает. А покупатель, который принимает маркетинговую формулировку за спецификацию, обнаружит разницу на практике, а не в ходе оценки.

Как запросить ответ о точности, который можно сохранить
Набор запросов короткий и остаётся одинаковым независимо от того, какая модель оценивается. Шесть пунктов закрывают пять элементов.
Список языков для каждой модели с указанием направления перевода. Это один лист, который полностью закрывает первый элемент.
Описание объёма задачи, чтобы не смешивать преобразование речи в речь и речи в текст. Оно закрывает второй элемент и предотвращает самую распространённую категориальную ошибку при сравнении переводов.
Описание конвейера обработки с указанием того, где выполняется обработка и какова её задержка, а также с прямым указанием зависимости от сети. Оно закрывает третий элемент и особенно необходимо покупателю, работающему с несколькими целевыми рынками, поскольку от него зависит, пригодна ли эта функция для каждого из них.
Основание для оценки, приложенное к любому показателю точности. Если показатель не предоставлен, следует запросить протокол тестирования и метрику, которую принимает покупатель. Это более выгодная позиция, чем заимствованный показатель, поскольку она сформулирована до получения образцов.
Профиль условий применения, в котором указаны параметры, при которых функция должна работать: шум, акцент, словарный запас и сеть. Он закрывает пятый элемент и превращает функцию в требование.
Обязательство провести повторное тестирование с указанием того, что произойдёт, если функция не покажет заявленной точности в собственных условиях покупателя. Это коммерческое условие, связанное с четвёртым элементом; без него оценка остаётся консультацией, а не механизмом контроля.
Качество ответов само по себе подлежит оценке, поскольку приведённый выше набор запросов даёт очень разные результаты в зависимости от полученных ответов. Лучший ответ включает список языков с направлениями перевода, описание объёма задачи, описание конвейера с указанием того, где выполняется обработка, и основание для оценки, приложенное к любому предоставленному показателю. Такой ответ позволяет покупателю ещё до получения образцов решить, входит ли вообще эта функция в рамки программы. Обычный ответ содержит список языков и описание объёма задачи и на этом заканчивается; он всё же позволяет закрыть два элемента, которые чаще всего исключают модель. Плохой ответ содержит количество языков и процентное значение без каких-либо приложений, не позволяет закрыть ни один элемент и должен быть возвращён с указанием конкретного пропущенного вопроса.
Если покупателю приходится возвращать запрос на ответ, следует зафиксировать, чего именно не хватало, поскольку пропущенный пункт обычно как раз не входит в представление поставщика о составе продукта. Запрос корпуса для подтверждения показателя точности — это запрос о методике, и поставщик, которого об этом никогда не спрашивали, может не иметь такого корпуса. Это не делает ответ неприемлемым, но означает, что утверждение о точности необходимо переклассировать из спецификации в заявление и соответствующим образом сформулировать описание продукта. Переклассифицировать заранее недорого. Переклассифицировать после запуска — значит отозвать продукт.

Во что обходится программе неподтверждённое утверждение о точности
Коммерческий смысл надлежащего подхода следует изложить, поскольку издержки неверного утверждения о точности распределяются по бизнесу неравномерно. Прямые издержки очевидны: возвраты, обращения в поддержку, репутационные последствия публично высказанного и затем отозванного утверждения. Есть две косвенные статьи издержек, которые больше по размеру и реже учитываются.
Первая — стоимость пересмотра короткого списка. Если модель выбрана потому, что показатель точности приняли без методики, а затем выясняется, что этот показатель описывает тест, который покупатель не проводил бы, выбор необходимо пересмотреть. Пересмотр короткого списка на этапе, когда образцы уже заказаны и оценены, обходится дороже всего, поскольку расходы на оценку уже понесены.
Второй — это стоимость объявления, которое нельзя защитить. Партнёры по каналам продаж и модераторы маркетплейсов запрашивают подтверждение, а заявление без метода невозможно подтвердить по требованию. Обычно результатом становится не отклонение, а понижение позиции: заявление удаляют, описание товара переписывают, а материалы, которые на него ссылались, также приходится отзывать. Эта стоимость распределяется на все уже размещённые товары и остаётся незаметной в экономике единицы продукции до тех пор, пока проблема не возникнет.
Оба этих затрат можно избежать одним действием: ещё до тестовой партии решить, какие доказательства требуются для каждого заявления. Это решение об общих затратах, а не технический вопрос, и именно поэтому шесть пунктов запроса следует включить в требования к закупке, а не отправлять поставщику поздним письмом, когда оценка уже оплачена.
Два из этих шести пунктов стоит рассмотреть отдельно. Профиль развёртывания чаще всего пропускают покупатели, и именно его пропуск приводит к самому дорогому сценарию отказа в этой категории: функция работает на демонстрации, но не работает на реальном рынке, а проблема обнаруживается после запуска, а не на этапе оценки. Обязательство по повторному тестированию отличает переговоры с поставщиком от договора, поскольку без оговорённых последствий результат оценки носит лишь рекомендательный характер. Вместе они превращают вопрос, на который нет ответа, в условие, на которое ответ существует.
Есть ещё один момент, касающийся взаимосвязи перевода с остальной частью каталога. Рабочий процесс перевода в носимом устройстве почти всегда зависит от цепочки записи и обработки файлов: от того, улавливает ли микрофон речь, в каком формате сохраняется запись и как затем перемещается и обрабатывается файл. Ни цепочка записи, ни обработка файлов в этом ассортименте не опубликованы: ни один производитель не указывает микрофон, частоту дискретизации, разрядность, формат файла или объём памяти. Покупатель, оценивающий перевод как отдельную функцию, должен оценивать её именно как отдельную функцию, а покупатель, рассматривающий её как часть рабочего процесса записи, должен понимать, что две половины этого процесса имеют разные доказательные базы.
Насколько точен перевод: что должно быть указано в заказе
Письменный ответ на этот вопрос состоит из трёх частей.
В каталоге функция ИИ указана для двадцати из двадцати восьми моделей вместе со стандартными параметрами: ёмкость аккумулятора, верхний предел заряда, диапазон времени работы, способ зарядки, а также версия Bluetooth для восьми аудиомоделей. При этом каталог не содержит ни данных о переводе, ни списка и количества поддерживаемых языков, ни описания задач, моделей распознавания или перевода, показателей задержки и точности, тестов, корпусов или эталонных наборов для какой-либо модели в ассортименте. Мы не публикуем спецификации перевода ни для одной модели, и покупателю, которому показали показатель точности без основы его оценки, следует считать его маркетинговым заявлением до тех пор, пока основа не будет предоставлена.
Следует запросить шесть пунктов, перечисленных выше, и включить профиль развёртывания и обязательство по повторному тестированию в заказ, а не оставлять их в переписке.
В заказе также следует указать ещё одно предложение, которое редко включают, но покупатель будет рад иметь его позднее: что произойдёт с карточкой товара, если функцию отозвят, отложат или признают не соответствующей приёмочному тесту. В категории, где заявление основано на поведении программного обеспечения, а не на физической спецификации, порядок отзыва является коммерческим, а не техническим риском. Согласовать его формулировку заранее значительно дешевле, чем вести переговоры после того, как функция была прорекламирована, а затем изменена. Формулировка не сложна: нужно указать, изменится ли страница, изменится ли рекламный материал и в какие сроки.
Разумная позиция заключается в том, что вопрос изначально вовсе не требовал числового ответа. Точность — это соотношение системы и условий, причём покупатель контролирует именно условия, а поставщик не имеет к ним доступа. Покупатель, задающий условия, получает ответ, который может защитить, а покупатель, запрашивающий процент, получает показатель, относящийся к чужому тесту. Страница о функциях ИИ охватывает категорию в целом, руководство по выбору на основе функций ИИ — вопрос выбора, руководство по оценке функций ИИ — вопрос оценки, руководство по сравнению функций ИИ — вопрос сравнения, а статья о необходимости интернета для функции ИИ подробно раскрывает зависимость от сети.
Связанные материалы
- Выбор по возможностям ИИ: как выбрать смарт-очки по функциям ИИ.
- Оценка заявления об ИИ: как измерить функции ИИ смарт-очков.
- Сравнение двух реализаций ИИ: как сравнить функции ИИ смарт-очков.
- Зависимость от сети, которая меняет ответ: нужен ли интернет для функции ИИ.
- Ответы на те же вопросы для линейки очков с камерой: часто задаваемые вопросы об умных очках с ИИ-камерой.
Укажите условия — и ответ можно подать в документацию; запросите процент — и ответ будет принадлежать чужому тесту.



