Тестовый образец показывает, работает ли функция ИИ. Проверка с участием реальных пользователей показывает, пользуются ли ею в действительности, а третья проверка — сохранится ли она через шесть месяцев; именно за третью проверку в итоге платит покупатель. Голосовой ИИ-ассистент в смарт-очках — это внешняя зависимость, а не компонент: модель работает где-то на стороне, кто-то управляет сервисом, а покупатель, который пользовался функцией две недели, обнаруживает ее так, как никогда не обнаружит сам покупатель. Поэтому программа должна последовательно ответить на три вопроса: что происходит, когда сервис недоступен, как часто реальные люди обращаются к этой функции и сохранится ли она через год. Ответы должны стать пунктами договора, поскольку третий вопрос — не технический, а коммерческий риск. Мы не публикуем показатели пробуждения, ложной активации, успешного выполнения команд, задержки, точности распознавания и автономной работы для какой-либо модели и не будем их оценивать.
Функции ИИ смарт-очков: что и когда выходит из строя
Разница между демонстрацией и первой неделей использования у клиента
В нашем каталоге голосовой ИИ-ассистент указан среди ключевых технологий семейства очков с ИИ-камерой, а на нашем независимом сайте описана функция ИИ-перевода в K01, основанная на аудиомодели. Это два утверждения, которые мы можем подтвердить. Все остальные показатели в этой категории — частота пробуждения, частота ложной активации, успешность выполнения команд, задержка, точность распознавания и автономная работа — не публикуются ни для одной модели, и мы не будем их оценивать.
Этот пробел существует по определенной причине, и она определяет весь подход к закупкам. Поведение ассистента формируется моделью и стоящим за ней сервисом, а не заводом, поэтому показатель, описывающий ее поведение, относится к оператору этого сервиса. Завод может сообщить, что делает его собственная прошивка с полученным результатом, и как ведет себя уже поставленное устройство, если результат так и не поступает. Но он не может гарантировать, что модель будет делать в следующем месяце, поскольку не распоряжается ею.
Структурное следствие заключается в том, что демонстрация и первая неделя использования у клиента — разные события. У демонстрационного образца подключены учетные записи, настроен язык, задан регион, проверена работоспособность сети, а рядом находится человек, который знает, что делать в случае сбоя. Покупатель получает устройство в заводской комплектации, и именно между этими двумя состояниями выявляется большинство проблем.
Читатель — бренд-менеджер по продукту, закупщик или партнер по сбыту, которому необходимо решить, считать ли ИИ-ассистента ключевым преимуществом продукта или отдельной позицией, у него есть образцы, целевая цена, канал продаж и список функций. Управляемый риск — запуск, при котором функцию анонсируют, но она не выдерживает проверки реальной семьей и возвращается как обязательство по возвратам и проблема с отзывами, а не как техническая заявка.
Чего пытается избежать покупатель
Поставка функции, которой клиенты перестают пользоваться. Если на вторую неделю функцией пользуются реже, чем на первую, это сообщает вам нечто важное, даже если каждый отдельный тест пройден. Продукт, продвигаемый с помощью функции, к которой никто не обращается, — это продукт с обязательствами по возвратам и проблемами с отзывами.
Описание товара, в котором указано, что функция работает без подключения, хотя это не так. Этап проверки в ненадлежащих условиях определяет, будет ли сбой обработан корректно, и от его результата зависит, что можно писать в описании товара.
Результат, который приукрашивает продукт из-за заинтересованности тестировщика. Коллега, заинтересованный в успехе, будет правильно пользоваться функцией, но правильное использование не равно потребности в ней.
Зависимость, о которой бренд не знает. Именно этот риск характерен для данной категории. Все остальные функции продукта создаются компанией, с которой покупатель заключил договор. Эта функция может быть реализована другой компанией, а если покупатель не задал этот вопрос, ответ по умолчанию такой: сервис управляется третьей стороной, которая может изменить его или прекратить его предоставление, причем бренд может никогда не встречаться с ее представителями.

Задача закупки: определить, что происходит, когда сервис недоступен
Кто управляет сервисом, стоящим за функцией
До начала каких-либо измерений бренд должен установить, кому принадлежит функция, поскольку это определяет коммерческую структуру всей программы и является самым сложным для последующего изменения.
Всё решают три вопроса. Модель работает на устройстве или на сервере? Кто управляет сервером, если это сервер? И что произойдёт с функцией, если оператор изменит цены, модель или передумает поддерживать продукт?
Это не технические тонкости. Ассистент на стороне устройства имеет срок службы, привязанный к продукту, и поведение, которым управляет производитель, — это вопрос спецификации. Ассистент на стороне сервера имеет поведение, которым производитель не управляет, — это вопрос цепочки поставок, и теперь бренд ведёт переговоры с двумя контрагентами вместо одного. Это различие определяет совокупную стоимость программы, структуру контракта и возможность честно описать в карточке продукта функцию как возможность самого продукта.
Второй вопрос, который необходимо решить, — это объём информации, которую бренд имеет право получать об изменениях. Функция, которую можно изменить без договорного уведомления бренда, создаёт большую коммерческую угрозу, чем разница в цене единицы продукции, поскольку бренд уже привязал упаковку, тексты, обучение и скрипты поддержки к поведению, которым не управляет. Обязанность уведомлять с установленным сроком превращает эту угрозу в управляемую.
Третий вопрос — что происходит при прекращении работы сервиса. На практике ответ всегда есть, и обычно он звучит так: функция перестаёт существовать для клиентов, уже заплативших за продукт, в рекламе которого она была заявлена. Пункт, определяющий резервный режим — офлайн-поведение, ограниченный набор команд или локальную замену, — стоит больше любой функции, которую предоставляет сервис, поскольку это единственная часть, которую бренд может гарантировать.
Приведённая выше матрица juxtaposes два важных измерения рядом. Ячейка в правом нижнем углу — самая сильная позиция, доступная бренду, и достичь её можно с помощью договора, а не технологий. Ячейка в левом верхнем углу — самая распространённая позиция в этой категории, и способ её снизить — не более совершенная модель, а резервный режим и срок уведомления.
Четыре состояния деградации и соответствующие им пороговые требования
Четыре состояния и необходимый для каждого пункт договора
Ассистент находится не в одном состоянии, а в четырёх, и каждое из них предъявляет разные требования к текстам бренда и разные условия к договору.
Подключён и работает. Команда распознана и на неё получен ответ. Здесь обязательства минимальны: в перечень заявленных возможностей можно включить эту функцию при условии, что в списке возможностей указаны её условия. Формулировка «Понимает естественную речь» превращается в «распознаёт команду из списка из сорока фраз в помещении с заданным уровнем шума на указанной версии прошивки» — это конкретное заявление, а не возможность в широком смысле.
Подключён, но работает с ограничениями. Более медленный ответ, частичный ответ или отказ. Это состояние, о котором никто не пишет, но которое все испытывают, и именно здесь обещания в рекламных текстах обычно нарушаются. Необходимо зафиксировать письменное описание поведения при ограничениях, подготовленное поставщиком, а не брендом, поскольку бренд не может точно описать его извне. Если в карточке продукта заявлено время ответа, речь идёт о поведении при ограничениях, а не о полноценной работе.
Нет сети. Локальный отказ, очередь запросов или отсутствие ответа. Пороговое требование — поведение должно быть специфицировано, а спецификация должна быть доступна клиенту как в карточке продукта, так и в буклете. Устройство, которое без предупреждения перестаёт работать в лифте, становится обращением в поддержку; устройство, которое сообщает о своих действиях, — это функция.
Сервис прекращён. Функция перестаёт существовать для клиента. Пороговое требование носит договорной характер: срок уведомления, определённый резервный режим и цена, по которой бренд может потребовать продолжать работу сервиса. Этот пункт бренд согласует, а клиент обнаруживает уже после запуска; только он сохраняет силу после первой недели продаж.
Полезный подход для всех четырёх состояний — писать тексты, ориентируясь на худшее из достижимых состояний, а не на лучшее из доступных для демонстрации. Карточка продукта, которая сохраняет актуальность при отсутствии сети и работе с ограничениями, автоматически сохранит её и при полноценной работе, но обратное неверно.
Вопросы, которые следует письменно согласовать до внесения задатка
Три группы в этом чек-листе сгруппированы по тому, что именно они решают, а не по тому, кто их предоставляет. Группа по владению определяет коммерческую структуру программы, и она должна быть закрыта до составления договора. Группа по непрерывности определяет уровень риска и решает, сможет ли бренд спокойно спать по ночам после запуска. Группа по данным определяет, что может быть указано в заявлении о конфиденциальности, и именно к ней будут обращаться рынки с собственными правилами обработки данных. Всего девять позиций, а вопросы для каждого кандидата одинаковы — именно это обеспечивает корректность сравнения.
- Кто управляет сервисом, на котором работает помощник: производитель, оператор приложения или третья сторона.
- Работает ли модель на устройстве или на сервере и что устройство может делать без нее.
- Письменный перечень возможностей с указанием каждой функции и применимых к ней условий.
- Перечень поддерживаемых языков с указанием направления перевода для каждой языковой пары, если заявлена функция перевода.
- Описание данных: что собирается, где обрабатывается и как отключается микрофон.
- Механизм обновлений и срок доступности сборок прошивки.
- Уведомление, которое бренд получает перед изменением модели или поведения устройства.
- Письменно зафиксированное поведение при прекращении работы сервиса.
- Номера сертификатов с указанием выдавшего их органа и сроков действия.

Создание двухнедельной программы, которая дает данные о внедрении
Шесть этапов и формируемые ими записи
Программа проводится в течение двух недель с участием людей, не заинтересованных в результате, и по ее итогам определяются два ключевых показателя: частота использования и распределение типов отказов.
Первый этап — первое использование без помощи. Один человек, одно устройство, прямо из коробки, подключение к телефону, с которым оно ранее не сопрягалось. Наблюдайте и не вмешивайтесь. На этом этапе выявляются проблемы с настройкой, которые тестовая проверка пропускает: не установлен язык, не привязан аккаунт, неверно выбран регион, отсутствует разрешение, а первая попытка завершается неудачей по причине, не связанной с тестируемой функцией.
Второй этап — первый день в привычной для участника среде. Использовал ли человек функцию один раз, три раза или вообще не использовал? Спрашивайте на следующее утро, а не сразу, поскольку непосредственный ответ искажается эффектом демонстрации.
Третий этап — первая неделя с пятью людьми, их собственными устройствами, аккаунтами и сетями. Теперь проявляется изменчивость. Одни будут находиться в шумном месте, у других будетaccent, у одного — старый телефон. Функция, которая работает у четырех из пяти человек, обязательно приведет к возврату от пятого.
Четвертый этап — намеренно создаваемые неблагоприятные условия. Шумное кафе, слабый сигнал, темная комната, телефон с низким уровнем заряда. Именно здесь становятся заметными доля ложных срабатываний и задержка, и демонстрация никогда не доходит до этого этапа.
Пятый этап — неподходящие условия. Устройство без сети и устройство, для которого потерян аккаунт. Важно выяснить, происходит ли корректная обработка отказа, а ответ должен быть отражен в описании продукта.
Шестой этап — вторая неделя. Снова опросите тех же пяти человек. Важно выяснить, изменилось ли поведение.
Запись состоит из пяти полей и не содержит ничего сверх того: человек, устройство, сборка прошивки, условия и результат. Частота использования и распределение типов отказов затем рассчитываются на основе этих записей, а не по памяти. Номер сборки чаще всего опускают, однако именно он позволяет сравнить вторую неделю с первой или отдельно взятый случай поддержки через три месяца с зафиксированным ранее результатом.
Пороговые значения, которых следует придерживаться
Частота использования — показатель, предсказывающий, важна ли функция. Сколько раз реальный пользователь обращался к ней за день. Функция, которой заинтересованный тестировщик пользуется двадцать раз в час, а обычный человек — дважды в день, является другой функцией, и значим здесь второй показатель.
Распределение типов отказов важнее количества отказов. Имеет значение не число отказов, а их вид. Для функции, которая без явного уведомления отказывает в шумном помещении, требуется одно решение, а для функции, которая медленно работает при слабом сигнале сети, — другое, и ответственность за реализацию этих решений лежит на разных людях.
Перечень возможностей без указания условий — это перечень намерений. Следует придерживаться правила: каждая возможность должна быть подтверждена числом, условием и размером выборки; в противном случае она не включается.
Идентификатор сборки необходимо фиксировать для каждого результата. Именно он позволяет через три месяца сопоставить обращение в поддержку с числом, записанным в испытательной лаборатории. Это самое дешевое поле для фиксации и самое дорогое для восстановления.
Описание данных — это коммерческий факт, а не техническая деталь. Оно определяет, кто управляет сервисом, что можно написать в заявлении о конфиденциальности и что происходит на рынке с собственными правилами обработки данных. Бренд, который не может описать, куда направляются данные, не сможет подготовить страницу о конфиденциальности, а без нее не сможет запустить продукт.

Где программа разработки ИИ-функций перестает работать после запуска
Функция анонсируется в карточке товара, но ее никто не использует. Причина в том, что программа остановилась на лабораторном этапе, где все работает, поскольку тестировщик заинтересован в результате. Предотвратить это можно, если довести испытания до второй недели и рассматривать уровень использования как критерий допуска для текста, а не как статистику для отчета постфактум.
Сбой при первом запуске списывается на ошибку прошивки. Причина обычно в настройках, языке, учетной записи, разрешениях или пропущенном шаге в руководстве. Предотвратить это можно, сопоставляя краткое руководство с результатами первого запуска, поскольку исправление часто заключается в одном абзаце, а не в выпуске новой версии прошивки.
В карточке товара указано, что функция работает без подключения. Причина в том, что этап проверки в ненадлежащих условиях был пропущен либо сбой произошел некорректно. Предотвратить это можно, если проводить соответствующие испытания и описывать в карточке то, что действительно видит пользователь.
Сервис изменяется, и продукт перестает соответствовать упаковке. Причина в отсутствии обязательств по уведомлению, поэтому изменение стало неожиданностью и для бренда, и для каждого клиента, ознакомившегося с прежним текстом. Предотвратить это можно, закрепив срок уведомления в договоре и включив проверку текста в процедуру внесения изменений.
Команда поддержки не может ответить на вопрос о функции. Причина в том, что перечень возможностей был составлен как список намерений, а результаты никогда не фиксировались в форме, которую могла бы использовать команда поддержки. Предотвратить это можно, если передать команде поддержки перечень возможностей с условиями их применения и идентификаторами сборок прошивки — это документ, а не совещание.
Клиент сообщает, что функция работала, а затем перестала. Причина в том, что изменился сервис, истек срок действия учетной записи или сборка была выведена из эксплуатации. Предотвратить это можно с помощью письменной инструкции о действиях клиента, что на практике означает указать в буклете правдивую информацию о резервном режиме, а не сообщать о нем только в ответе службы поддержки.
Пример: бренд решает, сделать ли голосового помощника ключевым предложением
Это разбор кейса, а не реальный заказ. Он приведен здесь, чтобы определить порядок действий.
Предположим, что потребительский бренд рассматривает линейку очков с ИИ-камерой для массового рынка, располагает двумя возможными платформами и должен подготовить карточку товара за шесть недель. Основным ограничением является не цена. Дело в том, что во время предыдущего запуска бренда одна из функций перестала работать у некоторых клиентов, а собственная команда поддержки бренда не могла им помочь.
Вопрос о владельце решается первым, до сравнения платформ. Бренд задает два вопроса: где работает модель и кто управляет сервисом. Одна из возможных платформ работает на устройстве, поэтому бренд может описать ее поведение. Другая работает через сервис, с которым у бренда нет договора, а ответ поставщика включает срок уведомления и письменно описанное резервное состояние. Этот ответ полностью меняет сравнение: первая платформа связана с техническим риском, которым бренд может управлять, а вторая — с риском зависимости, который бренд может лишь замаскировать.
Четыре состояния фиксируются в договоре до написания текста. Работает, работает с ограничениями, нет сети, функция изъята. Для второй платформы поставщик письменно предоставляет описание состояния с ограничениями и резервного режима, а бренд согласовывает формулировки о поведении при отсутствии сети. После этого текст пишется с учетом худшего состояния: карточка получается менее впечатляющей и менее привлекательной, но сохраняет актуальность.
Поэтапная программа испытаний проводится на устройствах прямо из коробки. Первый запуск на новом смартфоне выявляет две проблемы с настройками, которые остались бы незаметными на заранее подготовленном устройстве. Первая неделя испытаний с пятью пользователями выявляет одну проблему с учетной записью и один сбой из-за слабого сигнала сети. На второй неделе уровень использования оказывается умеренным, и бренд решает позиционировать функцию как дополнительную, а не как ключевую.
Текст скорректирован в соответствии с реальными возможностями. Поскольку уровень использования невысок, функция описана во втором абзаце карточки, а не в заголовке; скрипт поддержки и листовка также согласованы с ним. Бренд ограничивает формулировку меньшей claim и снимает риск запуска.
Коммерческая структура определяется зоной ответственности. Для платформы, с которой бренд может заключить договор, он согласовывает срок уведомления и период доступности сборки, а также запрашивает второй раунд образцов, чтобы проверить резервный режим на производственном устройстве. Для платформы, с которой договор заключить нельзя, бренд ставит требование реализовать резервный режим на стороне устройства; если ответ отрицательный, бренд исключает такого кандидата.
В результате получается линейка с умеренной формулировкой, письменно зафиксированным резервным режимом и командой поддержки, способной ответить на вопрос. Решающим стал вопрос о зоне ответственности, и он был решен до написания текста.
Где программа ИИ теряет маржу
Упаковка и текст ориентированы на поведение, которым бренд не управляет. Это крупнейший отдельный риск в категории, и он не виден ни в одном коммерческом предложении. Снизить риск можно за счет срока уведомления и оговорки о пересмотре; если поставщику нечего скрывать, обе меры не увеличивают его расходы.
Резервный режим не реализован, поэтому поведение без сети определяется тем, что случайно делает прошивка. Эти расходы проявляются не на этапе запуска, а во входящих службы поддержки, из-за чего их сложнее устранить и дороже обслуживать. Включение резервного режима в критерии приемки до изготовления первого образца обходится недорого.
Период доступности сборки короткий. Если сборку выводят из эксплуатации через шесть месяцев после запуска, устройства в эксплуатации невозможно воспроизвести, а продукт, который нельзя воспроизвести, при повторном заказе становится другим продуктом. Период доступности сборки — это условие, по которому стоит настойчиво торговаться, и зачастую оно тихо сокращают.
Уровень использования никогда не измеряется, поэтому текст пишется на основе демонстрации, а не фактических данных. Покупателю следует осознанно выбирать между более короткой программой и корректной формулировкой. Двухнедельная программа обходится в две недели; карточка с преувеличенными возможностями стоит всего тиража.
Заявление о поддержке перевода дано без указания направления. Языковая пара, которая работает в одном направлении, но не в обратном, — это заявление, которое не сработает именно на том рынке, куда бренд пытался выйти. Список поддерживаемых языков с указанием направления каждой пары — это запрос в одну строку, который помогает избежать сбоя на каждом рынке.
Что мы публикуем об ассистенте и что не оцениваем
Наше рабочее правило: мы предпочитаем, чтобы покупатель провел программу тестирования, а не принял демонстрацию за факт, и будем поддерживать тест, а не просто представить результат.
Мы публикуем возможности ИИ, подтвержденные нашей документацией, а остальные отмечаем как открытые. Мы не публикуем показатели срабатывания по голосовому запросу, уровня ложной активации, доли успешного выполнения команд, задержки, точности распознавания, точности перевода и поведения без сети ни для одной модели и не будем их оценивать. Это означает, что шесть этапов, описанных выше, — единственный способ получить эти данные, и мы предпочитаем помочь получить их, а не приводить цифры, которые не можем подтвердить.
Мы также прямо указываем, какие результаты можем использовать. Конфигурация, язык, учетная запись, разрешение или пропущенный шаг в руководстве — это наша зона ответственности, и исправление обычно сводится к одному абзацу в кратком руководстве по началу работы. Поведение модели, профиль задержки или архитектура сервиса относятся к приложению и прошивке, и мы заранее сообщим, что именно к чему относится, прежде чем вы построите на этом план запуска.
Мы поможем спроектировать шесть этапов, согласовать, какие данные будут фиксироваться, предоставить устройства с известной сборкой и представить результаты, включая те, которые выглядят невыгодно, поскольку функция, работающая и на второй неделе, стоит больше, чем демонстрация, удерживающая внимание на выставке. Справочная информация приведена в разделе Функции ИИ, скрипт лабораторного протокола — в статье Как измерить функции ИИ смарт-очков, план предварительного тестирования — в статье Как тестировать функции ИИ смарт-очков перед заказом, а типичные ошибки в формулировках — в статье Распространенные ошибки при описании функций ИИ.
Четыре действия перед размещением ассистента в карточке
Задайте вопросы о зоне ответственности в письменной форме. Работает ли модель на устройстве или на сервере, кто управляет сервисом и о чем бренд уведомляется до внесения изменений. Ответы на эти три вопроса определяют коммерческую структуру программы, и получить их сейчас дешевле, чем пересматривать условия после печати карточки.
Отправьте список из девяти пунктов каждому кандидату. Вопросы для всех одинаковые, поэтому сравнение будет справедливым, а ответы — сопоставимыми.
Внесите четыре состояния деградации в критерии приёмки. Работает, работает с ограничениями, нет сети, снято с производства. Текст написан для худшего случая — именно он сохранит свою актуальность.
Отправьте нам функцию, которую планируете опубликовать. Мы разработаем вместе с вами шесть этапов, подскажем, какие измерения имеют решающее значение для вашего канала, и представим результаты, включая те, которые выглядят невыгодно.
Связанные материалы
- Сценарий тестирования на образце — как измерять функции ИИ
- План предзаказа — тестирование функций ИИ перед заказом
- Ошибки в заявлениях, которых следует избегать — распространённые ошибки в ИИ
Расскажите нам о функции, которую планируете опубликовать, и мы разработаем вместе с вами шесть этапов.



