OEM/ODM-производитель умных очков · Шэньчжэнь, Китай +86 19835872450 sales@cynrin.com
Технология умных очков

Как протестировать функции ИИ смарт-очков до заказа

Функцию ИИ невозможно оценить по демонстрации не потому, что демонстрации вводят в заблуждение, а потому, что демонстрация — это единственное…

От команды инженеров и специалистов по снабжению CYNRIN/ Dec 15, 2021/ 3 мин. чтения
Как протестировать функции ИИ смарт-очков до заказа

Функции ИИ смарт-очков: отношения, а не компонент

Причина, по которой функцию ИИ нельзя оценить по демонстрации, заключается не в том, что демонстрации вводят в заблуждение. Демонстрация — это единственная конфигурация, в которой голосовой помощник выглядит наилучшим образом: заранее подготовленная фраза, тихая комната, заведомо надёжная сеть и устройство, учётные записи которого создатель заранее связал. Всё, что должен знать покупатель, является свойством взаимосвязи между устройством, поставщиком модели, сетью и регионом, и ни один из этих четырёх элементов не входит в комплект поставки.

Решение в трёх предложениях. Если голосовой помощник является ключевым элементом вашего листинга, тестируйте его как систему взаимосвязей, а не как отдельную функцию: составьте список фраз и условия прохождения тестов до прибытия образца, выполните план на устройстве, которое не использовалось в демонстрации, и фиксируйте версию прошивки для каждого результата. Показателем, определяющим готовность продукта к запуску, обычно становится частота ложных срабатываний, а не частота активации, поскольку устройство, прерывающее разговор клиента, быстро снимают с продажи. Если вы не можете получить идентификатор версии, описание канала передачи данных и письменно зафиксированное поведение в автономном режиме, не упоминайте помощника в описании продукта — функция будет существовать только на странице товара и больше нигде.

Кто выполняет этот план и что он должен дать. Читатель обычно решает, нужен ли голосовой помощник с ИИ в продукте вообще, либо сравнивает реализации одной и той же заявленной функции у двух поставщиков. В его распоряжении имеются образцы, перечень функций, канал продаж, целевая цена и маркетинговый план, в котором эта функция уже предполагается. Данных о производительности у него нет, и это вызвано структурными причинами: данные принадлежат поставщику модели, а не заводу и изменяются вместе с версией программного обеспечения, а не с аппаратной частью. Поэтому план должен дать три результата: числовое значение вместо субъективного впечатления, идентификатор версии, связанный с этим значением, и письменный перечень условий, при которых оно было измерено.

Что говорит наш собственный каталог и чего в нём нет. Мы указываем голосового помощника с ИИ среди ключевых технологий семейства очков с ИИ-камерой, а на нашем независимом сайте описываем ИИ-перевод для K01, который является аудиомоделью. Мы не публикуем частоту активации, частоту ложных срабатываний, долю успешного выполнения команд, значение задержки, точность распознавания, точность перевода и поведение в автономном режиме ни для одной модели в линейке, и не будем их оценивать. Такая скудность данных — не следствие того, что мы не собрали их; именно так выглядит категория без опубликованных базовых показателей качества. Именно поэтому существует приведённый ниже план.

Где сосредоточены расходы на функцию ИИ. Аппаратные расходы на голосового помощника близки к нулю: микрофон и радиомодуль уже предусмотрены в продукте. Фактические расходы на помощника приходятся на четыре составляющие: работу по описанию проверяемого поведения, локализацию списка фраз и документации для каждого рынка запуска, сценарий поддержки для случаев сбоев и договорные механизмы, позволяющие узнать, когда поставщик внёс изменения без вашего ведома. Два поставщика, предлагающие одного и того же помощника, будут значительно сильнее различаться по этим четырём статьям, чем по любой цене за единицу, и эта разница останется незаметной до публикации листинга.

Пять числовых показателей и знаменатель, который должен быть указан для каждого

Сгенерированное ИИ фотографическое изображение, иллюстрирующее тестирование перед заказом функций ИИ смарт-очков — изображение 1 из 3

Пять числовых показателей, которых следует требовать, и три, о которых обычно не сообщают

Отправьте эти пять вопросов одним сообщением, в идентичной формулировке, каждому потенциальному поставщику и запросите ответы в виде таблицы, а не в свободной форме. Столбец со знаменателем является наиболее важным, поскольку процент без знаменателя — это рекламная формулировка.

Показатель Что он измеряет Необходимый знаменатель Критерий соответствия
Частота активации Запуск помощника, когда это необходимо Количество попыток, число говорящих, условия окружения Процент с указанием всех трёх параметров
Частота ложных срабатываний Запуск помощника, когда это не требуется Количество попыток и часы обычного использования Процент или письменное заявление о том, что показатель не измеряется
Доля успешного выполнения команд Понимание вашего списка фраз Предоставленный вами список фраз и число повторений каждой фразы Процент относительно вашего собственного списка
Задержка Промежуток времени до появления ответа Состояние сети и версия прошивки Фиксированный порог, а не субъективная оценка
Точность распознавания Было ли услышано именно то, что требовалось Обстановка и направление взгляда говорящего Значение для тихой комнаты и для реальных условий

Пороговые значения простым языком и три строки, которые обычно отсутствуют

Показатель без количества попыток не является показателем. Девяносто восемь процентов, измеренные за десять попыток в тихом офисе, предсказывают менее восьмидесяти пяти процентов, измеренные за триста попыток на улице, и именно второй показатель описывает продукт. Порог приёмки должен быть задан в процентах со знаменателем, количеством говорящих и средой измерения; если поставщик не может предоставить все три параметра, значит, он не измерял продукт.

Доля ложных активаций — это критерий удобства использования, а не техническая сноска. Она определяет, где продукт можно продавать, а не работает ли функция, поскольку переговорная и улица — разные рынки для одного устройства. Устройство, которое активируется от кашля в тихом офисе, предназначено для переговорной; на улице оно становится источником раздражения. Заданный здесь заказчиком порог — это продуктовое решение для канала продаж, и его следует зафиксировать до составления страницы продукта.

Доля успешного выполнения команд должна измеряться по вашему списку, а не по списку поставщика. В списке поставщика есть приветствия и таймер, потому что их легко распознать. В вашем списке есть фраза, которую складской руководитель произносит одиннадцать раз в день. Порог приёмки — это процент распознавания по предоставленным вами фразам с указанием количества повторений каждой фразы.

Задержка должна быть выражена конкретным числом, а не прилагательным. Задайте порог — менее двух секунд — разумная отправная точка — и проведите измерение. Она меняется в зависимости от сети, поэтому состояние сети должно быть частью измерения, а показатель задержки без указания состояния сети получен в офисе поставщика.

Номер сборки — это столбец, который делает результаты ценными. Ассистент меняется от сборки к сборке, а измерение без идентификатора сборки невозможно воспроизвести, защитить или сравнить с результатом следующего поставщика. Это важнейший столбец в таблице, и именно его чаще всего оставляют пустым.

Три строки, которые почти никогда не заполняют, и что с каждой из них делать. Поведение при отсутствии сети — что устройство делает при физически отключённой сети — это строка, которая решает самый распространённый спор в этой категории: делает ли продукт то, что указано в его документации, когда сети нет. Запросите письменное подтверждение, и если в ответ поступит молчание, считайте поведение при отсутствии сети неопределённым в описании продукта. Путь передачи данных — что покидает устройство, куда направляется и как обеспечивается согласие — это строка, которую запрашивает специалист по проверке соответствия требованиям; проверьте её путём наблюдения, а не чтения и сделайте так, чтобы заявление о конфиденциальности в вашем объявлении описывало то, что вы наблюдали. Механизм обновления — как уже выпущенное устройство получает новую сборку и кто принимает решение — это строка, которая показывает, может ли функция измениться без предварительного уведомления вас в рамках договора.

Порядок выполнения плана работы ассистента и причина, по которой план составляется первым

Выполнение плана: идентификаторы сборок, среды и второй день

Шаг первый, до прибытия образца. Составьте список фраз. Он должен содержать команды, которые клиент будет произносить на практике, на языке рынка запуска, включая две или три фразы, которые неудобно произносить. Задайте условия приёмки в виде числовых значений. Определите, каким тестам нужна какая среда. Зафиксируйте смартфон, сеть и аудиоусловия. Укажите ожидаемую версию прошивки образца, чтобы сразу после получения проверить её соответствие.

Шаг второй, в день тестирования, до начала измерений. Проверьте идентификатор сборки на устройстве и запишите его. Подтвердите язык, регион и состояние учётной записи. Убедитесь, что устройство находится в стандартной конфигурации с завода, а не является демонстрационным, что обычно означает новую учётную запись, отсутствие подключённых сервисов и настройки обработки по умолчанию. Результат, полученный на подключённом демонстрационном устройстве, не характеризует продукт, который получает клиент, и именно так чаще всего результаты оценки ассистента создают поставщику необоснованно выгодное впечатление.

Шаг третий: доля активаций на большом количестве попыток. Используйте нескольких разных говорящих, поскольку результативность голосовых ассистентов сильнее различается по говорящим, чем по аппаратному обеспечению. Зафиксируйте количество попыток, число говорящих и среду, а затем рассчитайте показатель самостоятельно по журналу, не полагаясь на округлённое значение.

Шаг четвёртый: доля ложных активаций в значимой среде. Это самый длительный тест в плане, который чаще всего пропускают. Он предполагает оставить ассистент включённым во время обычной деятельности — за рабочим столом, на совещании, на улице — и зафиксировать каждую не запрошенную активацию. Полученный показатель определяет канал продаж.

Шаг пятый — доля успешного выполнения команд по вашему списку фраз. Каждый запрос запускается фиксированное число раз, а сбои фиксируются с указанием причины, поскольку «не понял» и «понял, но выполнил не то» — это два разных типа сбоев, требующих разных способов устранения.

Шаг шестой — задержка с учётом установленного порогового значения. Измерьте интервал от окончания речи до начала ответа, зафиксировав состояние сети, и повторите измерение достаточное число раз, чтобы оценить «хвост» распределения, а не только среднее значение.

Шаг седьмой — поведение при отсутствии сети при физически отключённом соединении. Не просто авиарежим с доступным кэшированным результатом, а полностью недоступная сеть с фиксацией результата. Если поставщик этого не тестировал, он не знает, как продукт будет работать в лифте.

Шаг восьмой — маршрут передачи данных, проверенный путём наблюдения. Наблюдайте за действиями устройства в сети, сопоставляйте их с заявлениями документации и сохраняйте результаты сопоставления в файле. Заявление о конфиденциальности, написанное на основе маркетинговой фразы, создаёт риски, а заявление, основанное на наблюдениях, — надёжную основу для защиты.

У каждой доли есть два значения, но только одно из них позволяет прогнозировать поведение клиента

Протестируйте два или три устройства одной сборки везде, где функция играет ключевую роль. Если функция работает на одном образце, но не работает на другом, это проблема выхода годной продукции, которую невозможно выявить при тестировании одного устройства. Если функция стала причиной покупки продукта клиентом, результат тестирования одного устройства не является доказательством.

Выполните весь план дважды в разные дни и считайте разброс результатов отдельным выводом. Поведение голосового помощника зависит от дня, состояния сети и уровня окружающего шума, а значительное расхождение между двумя запусками говорит о том, что функция недостаточно стабильна, чтобы служить основой для заявлений. Небольшой разброс означает, что результат стоит сохранить; большой — что вывод ценнее самого числового показателя.

Фиксируйте идентификатор сборки, условия и время для каждого результата. Сохраняйте записи там, где это допускает платформа. Измерение, которое невозможно воспроизвести, не является доказательством, а в этой категории изменяется именно сборка.

Функции ИИ смарт-очков: план, который можно повторить после изменения сборки

Что фиксировать для каждого результата. Обозначение и конфигурацию модели, идентификатор сборки прошивки, версию приложения, язык и регион, состояние учётной записи, смартфон и сеть, условия и уровень шума, проверяемую фразу или тест, результат, время и имя тестировщика. Таблица получается длинной, и в этом заключается смысл: именно количество строк делает результат обоснованным спустя шесть месяцев.

Чего этот план не позволяет установить. Он не показывает, как функция будет работать у всего потребительского рынка, на рынке или языке, которые вы не тестировали, после следующих изменений у поставщика, а также не определяет соответствие требованиям, для чего необходимы документы. Последний пункт особенно важен: Директива о радиооборудовании содержит требования по кибербезопасности, входящие в состав маркировки CE и описанные серией гармонизированных стандартов EN 18031. Они охватывают защищённые коммуникации, шифрование, безопасное хранение, согласие пользователя и порядок обработки выявленных уязвимостей. Голосовой помощник полностью попадает в эту область, а измеренное поведение при отсутствии сети служит доказательством того, что продукт действует согласно своей документации, когда сеть недоступна.

Сгенерированное ИИ фотографическое изображение, иллюстрирующее тестирование перед заказом функций ИИ смарт-очков — изображение 2 из 3

Где программы внедрения ИИ идут не так и какие ранние признаки указывают на проблемы

Функцию анонсируют в карточке товара, но на встрече с клиентом она не работает. Симптом — жалоба с описанием прерванного диалога. Первопричина — измерялась только доля срабатываний по активационной фразе. Способ предотвращения — измерять обе доли и установить порог ложной активации до написания страницы продукта.

Клиент сообщает, что после обновления помощник перестал работать. Симптом — серия жалоб, начинающаяся с даты, которую никто не может объяснить. Первопричина — измерения были привязаны к конкретной сборке, а сборка изменилась без повторного тестирования. Способ предотвращения — фиксировать сборку для каждого результата, повторно выполнять план на той сборке, которая действительно будет поставлена, и заранее запрашивать уведомление об изменениях, влияющих на поведение помощника.

Заявлен перевод, но рецензент на языке перевода его отклоняет. Симптом — карточка товара обещает функцию интерпретации, но рецензент не может воспроизвести результат. Первопричина — точность оценивал носитель языка, проверяя приветствия вместо рабочих фраз. Способ предотвращения — поручить носителю целевого языка оценить фразы, необходимые клиенту, и приложить список фраз к оценке.

Вопрос о конфиденциальности получает маркетинговый ответ вместо ответа по существу. Симптом — проверка безопасности корпоративного клиента запрашивает описание пути передачи данных, а у бренда есть только ссылка на политику. Первопричина в том, что путь передачи данных никогда не проверялся. Способ предотвращения — проверить его на практике и сформулировать заявление о конфиденциальности с учётом фактически наблюдаемого.

Продукт работает на демонстрационном рынке, но не работает на рынке запуска. Симптом — возвраты сосредоточены только на одном рынке. Первопричина в том, что план проверяли в одном регионе и в одной сети. Способ предотвращения — выполнить план на рынке запуска, в сетях, которыми будет пользоваться клиент, и представить результаты обоих наборов рядом.

Два специалиста приходят к противоположным выводам в один день. Симптом — шорт-лист меняется между встречей во вторник и встречей в пятницу. Первопричина в том, что условия приёмки были сформулированы прилагательными. Способ предотвращения — зафиксировать условия приёмки в виде числовых показателей до заказа образцов, чтобы разногласие указывало на расплывчатый критерий, а не на продукт.

Сгенерированное ИИ фотография, иллюстрирующая тестирование функций ИИ смарт-очков перед заказом — изображение 3 из 3

Что можно закрепить в договоре, если поставщик вносит изменения

Идентификатор сборки и механизм обновления — это две позиции, которые следует включить в запрос коммерческого предложения. Поставщик, который не может назвать ни то, ни другое, тем самым сообщает, что ассистент может измениться без предварительного уведомления по договору, а это создаёт больший коммерческий риск, чем цена устройства. Запросить эти данные не стоит ничего, и только они дают вам отправную точку для контроля.

Список фраз и условия приёмки следует включить в заказ на закупку со ссылкой на них как на критерии приёмки. Ассистент — единственная часть продукта, за которую клиент может возложить ответственность на другую сторону, поэтому критерии должны существовать в письменном виде до получения образца, а не после первой жалобы. Образец, соответствующий критериям в той сборке, которая будет поставлена, — это образец, который можно принять.

Пункт договора об уведомлении об изменениях в поведении — самый ценный пункт в этой категории. Любое изменение микрофона, настройки DSP, состояния обработки по умолчанию или модели ассистента может изменить наблюдаемое поведение без изменения аппаратной части, поэтому пункт должен охватывать поведение, а не компоненты.

Объём работ по локализации можно обсуждать, и это стоит обсуждать. Список фраз, язык документации и сценарий поддержки для каждого рынка — это отдельные этапы работ, каждый из которых занимает неделю. Стоит обсудить количество включённых этапов, а также то, считается ли второй рынок копией первого или требует нового перевода.

Минимальный объём заказа и работы по упаковке — обычные коммерческие позиции. Удержание части оплаты до предоставления комплекта документации защищает покупателя в случае наиболее дорогостоящего сбоя, когда устройство поставляется с документами, которые к нему не относятся; стандартная схема — задаток с остатком после проверки перед отгрузкой.

Сроки в программе по разработке ассистента определяются датой заморозки сборки и календарём сертификации, и ни один из них не меняется из-за давления со стороны покупателя. Дата заморозки сборки должна предшествовать размещению заказа, поскольку изменение сборки после заказа обесценивает все измерения, на которых основывались критерии приёмки. Стоимость сертификации и срок её проведения зависят от процедуры и испытательной лаборатории, а давление на любой из этих параметров лишь увеличивает сроки. Стоимость оснастки — единовременная позиция, которую обычно распределяют на первый заказ; важно спросить, на какой объём она распределяется и что происходит с ней в случае прекращения программы.

Документы, которые следует запросить до внесения задатка. Идентификатор сборки прошивки и механизм обновления. Номера сертификатов с указанием выдавшего их органа и сроков действия. Декларация о соответствии для точного обозначения модели. Письменное описание пути передачи данных и механизма получения согласия. Письменное заявление о поведении в автономном режиме. Обозначение модели, указанное в коммерческом предложении.

Пункты, которые следует включить в заказ на закупку. Обозначение модели как отдельная позиция с приложенными номерами сертификатов. Критерии приёмки по восьми тестам с приложенным списком фраз. Пункт, требующий уведомления до внесения изменений в прошивку или модель, влияющих на поведение ассистента, с обязательством повторного тестирования. Пункт о том, кто несёт расходы, если образец не соответствует критериям приёмки.

Проработанный план для бренда, выходящего на один рынок

Это проработанный пример, а не реальный клиентский случай. Именно в таком порядке он и представлен.

Представьте бренд бытовой электроники с линейкой из одиннадцати моделей камер, существующей камерной платформой и планом добавить голосового помощника в две конфигурации в качестве главной особенности запуска на одном рынке. Менеджер по продукту самого бренда составил описание для карточки товара, в котором говорится, что помощник «понимает естественную речь» и «всегда рядом, когда он нужен», а специалист бренда по комплаенсу уже запросил описание пути передачи данных.

Первое решение — убрать помощника из описания до проведения измерений. Менеджер по продукту удаляет оба прилагательных и ничего не заменяет, поскольку функцию, которую невозможно точно описать, вообще не следует пока описывать. Внесение этого единственного изменения снимает главный риск для бренда без каких-либо затрат.

Второе решение — рынок запуска; оно принимается до составления плана. Бренд выбирает один рынок, один язык и две сети, которыми действительно пользуются его клиенты, и принимает, что помощник не будет запущен на втором рынке до проведения измерений там. Причина — затраты: список фраз на одном языке — это задача по переводу, а список фраз на языке, который команда не может оценить, становится бесполезным активом.

Третье решение — сборка. Бренд просит поставщика зафиксировать идентификатор сборки для оценки и подтвердить, что в продажу поступит именно эта же сборка. Поставщик подтверждает сборку, а бренд фиксирует ее. Именно это решение делает значимыми все последующие цифры, а его стоимость равна одному электронному письму.

Четвёртый этап — тестирование на устройстве, не являющемся демонстрационным. Бренд заказывает обычное устройство, создаёт новую учётную запись и проводит восемь тестов в течение двух дней с участием двух специалистов. Частота срабатывания по запросу высока в тихой комнате и ниже в целевой среде. Доля ложных срабатываний, измеренная в течение обычного рабочего дня, — вот что имеет значение: она настолько высока, что маркетинговые заявления самого бренда не выдержали бы даже недели использования в такой среде.

Пятое решение следует из доли ложных срабатываний. Бренд не запускает помощника на этом рынке и оставляет линейку оборудования без изменений. Альтернативой было бы запустить продукт и столкнуться с волной жалоб, которую программа тестирования на образцах уже предсказала. Оценка стоила одного раунда образцов и недели; альтернатива стоила бы запуска.

Шестое решение — что делать с результатом. Бренд включает пороговое значение доли ложных срабатываний в заказ на закупку как условие выпуска последующей версии прошивки и согласует положение об уведомлении об изменениях в поведении устройства. Бренд сохраняет записи и оценочный лист, поскольку для выпуска будущей версии прошивки потребуется повторное тестирование, а оценочный лист обеспечит сопоставимость его результатов.

Результат — продуктовая линейка, запущенная с меньшим набором возможностей, чем хотел бренд, и отношения с поставщиком, в которых теперь существует письменный стандарт для функции, которую бренд в конечном счёте хочет добавить. Смысл этого разбора в том, что решающая цифра была получена при тестировании на образце, а не на демонстрационном устройстве, и это обошлось в одно устройство и два дня.

Что могут и чего не могут установить данные, собранные нашим помощником

В частности, мы предпочитаем, чтобы покупатель сам протестировал функцию ИИ, поверил её описанию, и только план тестирования превращает возможность в спецификацию. Мы называем голосового помощника с ИИ одной из ключевых технологий семейства умных очков с ИИ-камерой, а наш независимый сайт описывает ИИ-перевод на модели K01, которая является аудиомоделью, — мы рассматриваем это как наблюдение из собственных маркетинговых материалов, а не как спецификацию. Мы не публикуем данные о частоте срабатывания по запросу, доле ложных срабатываний, доле успешного выполнения команд, задержке, точности распознавания, точности перевода и автономной работе для какой-либо модели и не будем оценивать ни один из этих показателей.

Мы также не будем указывать в карточке товара цифры, измеренные на демонстрационном устройстве, поскольку цифру, которую невозможно воспроизвести, невозможно защитить, когда покупатель стоит перед вами. Кроме того, мы будем поставлять устройства с известной версией прошивки и совместно с вами прорабатывать план, а не ограничиваться демонстрацией.

Три вещи, которые необходимо уточнить до того, как в карточке товара будет обещан помощник

Запросите идентификатор сборки и механизм обновления в первом сообщении. Это единственные два ответа, которые позволяют понять, может ли функция измениться под вашей программой, а поставщик, ответивший на оба вопроса, имеет налаженный процесс.

Составьте список фраз до прибытия образца. Это единственная часть плана, которую поставщик не может подготовить за вас, и именно она превращает достижение целевого показателя в вашу задачу, а не в задачу поставщика.

Отправьте нам описание функций, которые вы планируете опубликовать, рынок запуска и язык, и мы вместе подготовим план тестирования. Общая информация приведена в разделе Функции ИИ очков, порядок работы с образцами описан в разделе Оценка образцов, метод измерения приведён в материале Как измерить функции ИИ, а вопросы поставщику — в материале Проверка поставщика ИИ-очков.


Полезные материалы

Расскажите нам о функциях, которые вы планируете опубликовать, и условиях эксплуатации, и мы вместе подготовим план тестирования.

Чат в WhatsApp
Ваш опыт работы на этом сайте будет улучшен, если вы разрешите использование файлов cookie.