OEM/ODM-производитель умных очков · Шэньчжэнь, Китай +86 19835872450 sales@cynrin.com
Технология умных очков

Функции ИИ смарт-очков: контроль качества

Контроль качества функций ИИ очков имеет свои особенности. Рассмотрим их до перехода к подробностям, чтобы понять, почему в этой категории так важна дисциплина…

От команды инженеров и специалистов по снабжению CYNRIN/ Mar 28, 2023/ 3 мин. чтения
Функции ИИ смарт-очков: контроль качества

Контроль качества функций ИИ имеет одну особенность, которую стоит обозначить до перехода к подробностям: она объясняет, почему дисциплина в этой категории отличается от всех остальных направлений контроля качества.

Любая другая дисциплина контроля качества аппаратного продукта проверяет физически присутствующий элемент. Аккумулятор либо держит заряд, либо нет. Камера либо фокусируется, либо нет. Функция ИИ устроена иначе: это поведение, зависящее от модели, сети, сервиса, языковой пары, входных данных и момента использования. Устройство может быть собрано правильно, а функция — всё равно не работать. Более того, на производстве такой сбой часто остаётся незамеченным, поскольку сеть, учётная запись и языковая конфигурация завода отличаются от пользовательских. Поэтому функции ИИ очков качество смарт-очков — это вопрос о тестировании поведения в точке использования, а не в точке сборки.

Функции ИИ смарт-очков: четыре уровня тестирования и сценарий приёмки

Функции ИИ смарт-очков: почему стендовые тесты не дают результата

Закупщик, которому предстоит выстроить эту систему

Эта статья адресована специалисту по качеству бренда или менеджеру по закупкам, которому необходимо определить требования к поставщику и который обнаружил, что стандартная схема входного контроля здесь неприменима. Она подходит для аппаратного обеспечения, но не может применяться к поведению, зависящему от внешнего сервиса.

Именно эту практическую задачу решает статья. Закупщик может запросить одно из трёх: заводскую схему тестирования, которую проводит завод; схему приёмки, которую проводит закупщик; либо совместную схему, которую проводят обе стороны. Большая часть путаницы в этой категории возникает из-за того, что не определено, к какой из трёх схем относится конкретная проверка. Позже выясняется, что посреди производственного цикла проверку, за которую никто не отвечал, выполнял специалист, не имевший доступа к необходимым учётной записи или состоянию сети.

Три причины, по которым заводского тестирования недостаточно, и результаты каждой из них

1. Учётная запись и подписка. Функция, требующая учётной записи, входа в систему или подписки, может полностью работать на заводе и быть полностью неработоспособной для пользователя, который не вошёл в систему, пробный период которого истёк или который пользуется неподходящим тарифом. Симптом — пользователь сообщает, что функция не работает, а доказательства завода о её работоспособности не имеют ценности. Выявить такую проблему позволяет тестирование с новой учётной записью и тестирование с истёкшим тарифом; для обоих требуются учётные данные, которых нет на заводе.

2. Сеть и регион. Функция, работающая через облачный сервис, зависит от доступности сервиса, региона пользователя и локальной сети. Заводское тестирование в одной сети и одной стране ничего не доказывает о работе у пользователя в другой стране. Симптом — возвратов, сосредоточенных на одном рынке, что выглядит как проблема рынка, хотя обычно это проблема конфигурации сети или региона.

3. Язык и входные данные. Функция перевода или голосового управления, работающая в заводской конфигурации, может не обрабатывать язык пользователя, его акцент, шумовую обстановку или выражение, не включённое в тестовый набор. Это не дефект, а граница применимости, которую необходимо зафиксировать. Выявить такую проблему позволяет собственный набор выражений закупщика, проверенный в собственной среде закупщика.

Каждая из трёх причин приводит к собственному типу отказа, и ни один из них не виден при заводском тестировании. Именно поэтому ниже представлена четырёхуровневая структура.

Фотография, созданная ИИ, иллюстрирующая функции ИИ смарт-очков: контроль качества на практике — изображение 1 из 3

Четыре уровня тестирования и возможности каждого из них

Первый уровень: аппаратное обеспечение

Микрофон выполняет запись, процессор работает, радиомодуль сети функционирует, система управления питанием ведёт себя корректно. Это заводское тестирование, и данный уровень уже охвачен большинством систем контроля качества. Его стоит выполнять качественно, поскольку отказ на этом уровне — единственный во всём стеке отказ, устраняемый заменой устройства.

Второй уровень: сервис

Конечная точка отвечает, учётная запись авторизуется, состояние подписки разрешает вызов, регион поддерживается. Для тестирования этого уровня необходимы действующие учётные данные и конфигурация, приближённая к пользовательской. Провести его в рамках заводского тестирования с собственной учётной записью завода невозможно: заводская учётная запись имеет право доступа, а пользовательская — нет, и именно эта разница между аккаунтом с доступом и аккаунтом без доступа определяет опыт пользователя.

Третий уровень: поведение

Набор команд, задержка, точность, обработка запросов, выходящих за рамки предусмотренных сценариев, и ухудшение качества в условиях шума. Этот уровень необходимо тестировать по сценарию, а не демонстрировать: демонстрация представляет собой единичный благоприятный случай, тогда как поведение — это распределение результатов. Сценарий принадлежит закупщику по причине, указанной далее в статье.

Четвёртый слой: опыт использования

Сопряжение, первоначальная настройка, поведение приложения при неудачном запросе, то, что видит покупатель при потере сети. Именно этот слой приводит к возвратам, и именно его никто не тестирует, поскольку для этого нужен человек, который раньше не пользовался продуктом.

Сценарий приёмки и ответственный за каждую строку

Что каждый слой может и не может доказать

Ценность разделения на слои заключается в том, что каждый из них формирует свой вид подтверждений и имеет своего ответственного.

Первый слой формирует протокол испытаний в соответствии со спецификацией, и его может составить фабрика. Второй слой формирует журнал обращений к конечной точке и учётной записи, для чего нужна учётная запись покупателя. Третий слой формирует протокол результатов испытаний для каждого экземпляра, причём сценарий должен быть разработан покупателем. Четвёртый слой формирует наблюдения в ходе сессий, и пользователем должен быть покупатель.

Таким образом, получается чёткий ответ на вопрос, который покупатели этой категории задают чаще всего: какую часть режима можно передать фабрике. Честный ответ — нижний слой, а также те части сервисного слоя, которые можно проверить с помощью тестовой учётной записи, предоставляемой брендом и разрешённой к использованию фабрикой.

Сценарий приёмки и ответственный за его разработку

Восемь пунктов

  1. Набор из двадцати команд, разработанный покупателем, а не предоставленный поставщиком. Каждая команда должна соответствовать тому, что функция должна делать в вашем сценарии использования, а сценарий необходимо выполнять на каждом образце, а не однократно.
  2. Измеренная задержка. Время от окончания речи до начала ответа в среде, в которой устройство будет использоваться. Функция, работающая мгновенно в тихом офисе, будет вести себя иначе на улице.
  3. Результат проверки зависимости от сети. Что продолжает работать при отключённом соединении. Этот тест раскрывает архитектуру лучше любой спецификации.
  4. Поведение при сбоях в четырёх случаях. Неоднозначный ввод, запрос вне предусмотренной области, запрос на втором языке и запрос в шумной среде. То, что видит пользователь в каждом случае, отличает функцию от генератора дефектов.
  5. Состояние учётной записи и подписки. Проверяется не менее двух раз: один раз в новой учётной записи и один раз в учётной записи с истёкшей подпиской.
  6. Различия в регионе и сети. Не менее одного испытания в другой сети, а если продукт продаётся на нескольких рынках — испытание в сети каждого из них.
  7. Схема обновления. Переход с поставляемой версии прошивки до текущей и опыт пользователя с более старой версией. Именно этот тест часто пропускают, о чём впоследствии жалеют.
  8. Порядок обработки данных. Где обрабатываются и хранятся аудио и полученные данные, а также что покупатель видит в приложении. Это юридический вопрос, на который не может ответить контроль качества, и ответить на него необходимо до того, как результаты испытаний станут значимыми.

Последовательность этапов контроля качества

Почему сценарий должен разработать покупатель

Это самый спорный момент во всём режиме, и его следует аргументированно обосновать, а не просто декларировать.

Поставщик знает, какие сценарии работают. Это подлинная компетенция, поэтому к поставщику следует обратиться за консультацией по сценарию. Но только покупатель знает, что в действительно запросит клиент, а двадцать команд должны соответствовать двадцати действиям, которые клиент будет выполнять. Сценарий, написанный поставщиком, проверяет продукт поставщика на соответствие его же предположениям и всегда будет пройден.

Чтобы получить преимущества обоих подходов, покупатель сначала формулирует двадцать команд, а поставщик высказывает замечания до начала испытаний. Список остаётся в ведении покупателя, а поставщик получает возможность указать, что три команды недостижимы в данной конфигурации. Сама по себе эта информация ценна, поскольку служит ранним предупреждением о допустимых формулировках в описании продукта.

Как превратить сценарий в стандарт приёмки

Если сценарий хранится в таблице, а не включён в заказ на закупку, это лишь тест, а не стандарт. Пороговые значения необходимо заранее зафиксировать в письменной форме, причём они должны выражаться числом, несоответствие которому покупатель готов допускать у значительного числа образцов. Реалистичные пороговые значения просты: количество из двадцати команд, успешно выполняемых в заданной среде, перечень функций, сохраняющих работоспособность без сети, предельная задержка и достижение согласованного поведения в четырёх случаях сбоя.

Последствия неудачи также необходимо заранее согласовать. В этой категории обычная схема предусматривает, что непрошедшая проверку опытная партия не отгружается, а второй раунд оценки финансирует поставщик. Именно второй пункт стоит согласовать, поскольку функция ИИ — та часть продукта, которая с наибольшей вероятностью не пройдет первое приемочное испытание, а поставщик, не готовый финансировать второй раунд, тем самым сообщает покупателю, насколько высок он оценивает свои шансы при первой проверке.

Сгенерированное ИИ фотографий, иллюстрирующее функции ИИ смарт-очков: контроль качества на практике — изображение 2 из 3

Где заканчивается входной контроль и начинается тестирование поведения

Разграничение и его коммерческое значение

Входной контроль — это проверка каждой партии на соответствие спецификации. Он работает, когда спецификация описывает физически присутствующий элемент, но не работает для проверки поведения. Поэтому граница между ними проходит не по этапам процесса, а по возможности провести проверку: человек держит изделие в руках, сверяет его с письменной спецификацией, и при этом не требуются сеть, учетная запись или сервис.

Все, что находится слева от этой границы, относится к входному контролю и должно быть включено в договор поставки как критерий выпуска партии. Все, что находится справа, относится к приемочным испытаниям и должно быть предусмотрено в плане программы с обязательным выделением ресурсов покупателя и приложением его тестового сценария.

Слой тестирования, необходимая среда и создаваемый артефакт

Что фактически требуется для выпуска партии

Выпуск партии модели камеры из нашего ассортимента не представляет сложностей: изделие соответствует опубликованной спецификации модели — классу разрешения, емкости аккумулятора, поведению при зарядке, диапазону времени работы, способу зарядки, — а реестр сертификатов по моделям из контрольного списка сертификации и документация по транспортировке аккумуляторов из раздела транспортировки аккумуляторов находятся в файлах для данной конфигурации.

Для партии с функцией ИИ к условиям выпуска необходимо добавить артефакт, не имеющий прецедента в аппаратном обеспечении: лист результатов приемочного сценария, привязанный к конкретной сборке прошивки и конкретной конфигурации учетной записи. Без такого артефакта партия выпускается исключительно по аппаратным характеристикам, а положение с функцией остается неизвестным — именно такой ситуации посвящена вся эта статья.

Есть еще один практический момент, связанный с этой границей. Тестовые сценарии недороги с точки зрения количества образцов, но требуют значительных усилий по координации: двадцать команд на двух изделиях отгружаемой сборки, включая проверку при отключенной сети, в среде покупателя. Стоимость координации является причиной запланировать приемочные испытания на раннем этапе, на уровне опытной партии, а не после серийного выпуска, и причиной покупателю заранее зарезервировать тестовые изделия, а не принимать то, что останется.

Кто оплачивает приемочные испытания и что необходимо согласовать

Распределение затрат в этой модели необычно, и покупатели, ранее реализовывавшие аппаратные программы, склонны неверно оценивать его стоимость. Слой аппаратного обеспечения уже включен в цену изделия. Стоимость сервисного слоя для бренда включает тестовую учетную запись, небольшой объем трафика и время специалиста, который ее обслуживает. Стоимость слоя поведения включает для бренда двадцать команд, тестовую среду и сотрудников, составляющих лист наблюдений. Стоимость слоя пользовательского опыта — это, по сути, один день из жизни постороннего человека.

Иными словами, наибольшая часть затрат на приемочные испытания ложится не на завод, а на покупателя и приходится не на его бюджет, а на его сотрудников. Поэтому три коммерческих вопроса следует урегулировать до размещения заказа, а не в ходе первой кампании.

Первый вопрос: готов ли поставщик финансировать второй раунд оценки, если первая проверка не пройдена. Функция ИИ — та часть продукта, которая с наибольшей вероятностью не пройдет первое приемочное испытание, а поставщик, не готовый финансировать второй раунд, тем самым сообщает покупателю, насколько высок он оценивает свои шансы при первой проверке.

Второй вопрос: может ли поставщик в принципе выполнить тестовый сценарий, что зависит от того, на выполнение каких слоев он авторизован. Поставщик, располагающий необходимой конфигурацией учетной записи, может выполнить проверку слоя поведения; без нее он не сможет, и тогда вся модель будет зависеть от того, кто путешествует: покупатель едет на завод или завод приезжает в среду покупателя.

Третий вопрос — формат артефакта. Если после каждого запуска сотрудники завода должны переносить результаты испытаний в установленный покупателем формат, достоверность документации перестанет сохраняться уже в течение квартала. Лист результатов в заданном формате с идентификатором сборки позволяет использовать подтверждающие материалы на протяжении всего серийного выпуска, а не только в рамках одной кампании.

Сгенерированное ИИ фотографий, иллюстрирующее функции ИИ смарт-очков: контроль качества на практике — изображение 3 из 3

Четыре способа создать ложное чувство уверенности в системе контроля качества ИИ

Тестирование демонстрационного сценария. Заранее подготовленная демонстрация проверяет успешный сценарий в конфигурации завода с учетной записью завода. Каждый из этих элементов представляет собой контролируемую переменную, тогда как все значимые отказы относятся к некорректным. Это самая распространенная и самая безобидная ошибка, поскольку обычно проявляется при эксплуатации, а не во время аудита.

Представление функции, зависящей от облака, как аппаратной. Как только функция зависит от сервиса, у неё появляется зависимость, которую завод не контролирует, и режим испытаний должен это учитывать. Это самая распространённая структурная ошибка, из-за которой перебои в работе сервиса превращаются в гарантийное обращение.

Отсутствие испытаний фактически поставляемой версии прошивки. Версия на тестовом образце и версия на серийном устройстве могут различаться, и именно в этом различии скрывается неожиданность. Проверка недорогая — фиксируйте идентификатор сборки в каждом протоколе испытаний, — а её отсутствие обходится дорого, поскольку изменение поведения между сборками невозможно отличить от дефекта, когда проблема достигает клиента.

Передача критериев приёмки поставщику. Именно эта ошибка приводит к выпуску партии без каких-либо подтверждений поведения устройств, поскольку критерии были составлены той же стороной, которая проходила измерение.

Кто отвечает за дефект после выхода устройства с завода

Общая проблема эскалации

Все четыре ошибки имеют одно общее последствие, которое имеет наибольшее коммерческое значение. Дефект с неясным владельцем невозможно маршрутизировать. Перебой в работе сервиса, истёкшая подписка и некорректная языковая конфигурация для клиента выглядят одинаково — функция не работает, — но устранить заменой устройства можно только две из этих проблем. Поэтому матрица ответственности — не техническая схема. Именно она определяет, будет ли бюджет на гарантийное обслуживание потрачен на устройства, которые никогда не были неисправны, и именно поэтому первичная сортировка должна проводиться до замены, а не после неё.

Наша опубликованная позиция: что мы можем и чего не можем заявлять

Что охватывает наша опубликованная позиция

Граница, которую мы проводим: мы публикуем функции ИИ смарт-очков в соответствии с каталогом и не привязываем к ним название модели, количество языков, задержку, заявление о работе офлайн или условия подписки, поскольку ничего из этого не опубликовано для нас по моделям данной линейки. Мы не будем повторять маркетинговую формулировку, выдавая её за спецификацию. Наш сертификат на экспорт каталога относится к возможностям компании в целом, а не к отдельной строке сертификации каждой модели, поэтому мы не представляем его именно так.

При этом мы точно сообщим опубликованную конфигурацию и укажем, какие из восьми приёмочных позиций требуют работающего сервиса и пользовательской учётной записи, а не стендовых испытаний, поскольку именно такие позиции не выявляются заводским режимом контроля качества.

Мы также прямо ответим на коммерческие вопросы, лежащие в основе функции: работает ли она на устройстве или в сервисе, требуется ли подписка, какие языковые пары поддерживаются и в каком направлении, а также куда передаются данные. Эти четыре ответа определяют ваше предложение для розничного рынка, и они не являются инженерными вопросами.

Чего мы не можем сделать — без обиняков

Мы не можем публиковать показатель точности, задержку, количество языков, описание работы офлайн, место обработки или путь передачи данных для какой-либо модели, поскольку не проводили соответствующие измерения при определённых заданных условиях. Мы также не можем предоставить процент успешных проверок для уровня поведения сценария, поскольку сценарий принадлежит покупателю, а результат зависит от его фраз, его окружения и конфигурации его учётной записи. Поставщик, публикующий обобщённый процент успешных проверок для этого уровня, публикует число, полученное по невидимому всем сценарию.

Что мы можем сделать, так это провести испытания совместно с вами. Пришлите нам двадцать команд, описание окружений и конфигурацию учётной записи, и мы выполним их на выбранных вами устройствах и указанной вами сборке, фиксируя результаты по мере их получения. Протокол измерений, позволяющий разрешить такие вопросы, приведён в статье об измерении функций ИИ смарт-очков, протокол испытаний образца — в статье о проверке функций ИИ перед заказом, а факторы, учитываемые при обновлении и от которых зависит седьмая приёмочная позиция, перечислены в статье о факторах обновления функций ИИ смарт-очков. Метод чтения спецификаций, на основе которого формируются соответствующие строки, приведён в статье о методе чтения технических описаний функций ИИ смарт-очков.

Задача, которую должна выполнять функция

Расскажите, для чего предназначена функция, и мы сообщим, что включить в приёмочный сценарий, какие из восьми позиций мы можем проверить совместно с вами, а какие требуют вашей учётной записи и вашего окружения. Общие сведения о платформе приведены в статье о технологии функций ИИ смарт-очков, а связанная область применения — в статье о решениях для создания контента с помощью ИИ.


Связанные материалы

Расскажите, для чего предназначена функция, и мы сообщим, что включить в приёмочный сценарий.

Чат в WhatsApp
Ваш опыт работы на этом сайте будет улучшен, если вы разрешите использование файлов cookie.