スマートアイウェアOEM/ODMメーカー · 中国、深圳 +86 19835872450 sales@cynrin.com
スマートグラス技術

スマートグラスのAI機能を発注前にテストする方法

スマートグラスのAI機能:構成要素ではなく、関係性として考える 実演こそ、アシスタントが最も良く見える構成だからです。その使用者が購入時に知るべきことはすべて、デバイス、モデル提供事業者、ネットワーク、地域の間に成立する関係性 の属性です。しかし、この4つのどれ一つも、箱の中の製品ではありません。

CYNRINエンジニアリング&ソーシングチームによる/ Dec 15, 2021/ 3 分で読めます
スマートグラスのAI機能を発注前にテストする方法

スマートグラスのAI機能:構成要素ではなく、関係性として考える

実演こそ、アシスタントが最も良く見える構成だからです。その使用者が購入時に知るべきことはすべて、デバイス、モデル提供事業者、ネットワーク、地域の間に成立する関係性 の属性です。しかし、この4つのどれ一つも、箱の中の製品ではありません。

判断を3文でまとめると。 音聲アシスタントを商品情報で重要視するなら、機能としてではなく関係性として検証してください。サンプルが届く前に発話リストと合否条件を定め、実演機ではない機でテスト計画を実行し、結果ごとにファームウェアビルドを記録します。出荷可能かどうかを左右する指標は、起動率ではなく誤検知率であることが多い?ビルド識別子、データ経路の説明、明示されたオフライン挙動を入手できなければ、アシスタントを商品コピーに記載しないでください。その機能は、商品ページ上にのみ存在し 其他には存在しません。

この計画を実行するのは誰で、何を生み出す必要があるか。持っているのはサンプル、機能リスト、販売チャネル、目標価格、そしてその機能が既に存在することを前提としたマーケティング計画です。持っていないのは性能データです。その理由は構造的なものです。したがって、この計画で生み出す必要があるものは3つです。印象ではなく数値、その数値に紐づくビルド識別子、そしてその数値の測定条件 written リストです。

自社カタログが述べていることと、述べしていないこと。 当社はAIカメラグラスのファミリー 主要技術としてAI音聲アシスタントを挙げ、独立したサイトでも、オーディオモデルであるK01のAI翻訳について説明しています。当社は、シリーズ全体のどのモデルについても、起動率、誤検知率、コマンド成功率、レイテンシ、認識精度、翻訳精度、オフライン挙動を公開しておらず、推定も行いません。この薄さは、収集に失敗したデータ不足ではありません。公開されている性能基準が存在しないカテゴリーが持つ姿であり、次の計画が必要とされる理由です。

AI機能のコストはどこにかかるか。 アシスタントのハードウェアコストはほぼゼロです。マイクと無線機は、既に製品に組み込まれています。実際のアシスタントのコストは、その周囲にある4つの要素にあります。同じアシスタントを見積もる2社でも、この4項目の差は、単価の差よりはるかに大きくなります。その差は、商品ページ公開まで目立ちません。

5つの数値と、それぞれが持つべき分母

スマートグラスのAI機能を注文前にテストする方法を示すAI生成寫真 — 3枚中1枚目

要求すべき5つの数値と誰も報告しない3つ

この5つの質問を一つのメッセージにまとめ、同一の文言ですべての候補者に送り、回答は文章ではなく表で求めてください。重要なのは分母の列です。分母のないパーセントは、マーケティング上の定型文にすぎません。

指標 測定対象 必要な分母 合格ライン
起動率 アシスタントが適切に起動した割合 3項目すべてを明記したパーセント
誤検知率 アシスタントが誤って起動した割合 パーセント、または未測定であると明記した文書
コマンド成功率 提示した発話リストが理解された割合 提示した発話リストと発話ごとの反復回数 自社リストに対するパーセント
レイテンシ 回答が届くまでの遅延 ネットワークの状態とファームウェアビルド 主観的判断ではなく固定のしきい値
認識精度 意図した音聲が正しく聞き取られたかどうか シーンと、話者が前方を向いているかどうか

平易な言葉で示したしきい値と、通常は記載されていない3行

試行回数のない割合は な割合ではありません。

誤活性化率( false activation rate )は、技術的注記ではなく、ユーザビリティのゲートです。 機能を動作するかどうかではなく する.購入者がここで設定する閾値は、流通経路に関する製品上の決定であり、製品ページの作成前に文書化するべきです。

コマンド成功率は、サプライヤーのリストではなく YOUR OWN のリストを基準に測定しなければなりません。 サプライヤーのリストには、挨拶やタイマーが含まれます。それらは簡単だからです。あなたのリストには、倉庫の責任者が実際に1日11回言うフレーズが含まれます。通行ラインは、供給したフレーズに対するパーセンテージであり、フレーズごとの反復回数を明記します。

レイテンシは形容詞ではなく、固定した数値が必要です。 閾値を設定してください(2秒未満が妥当な開始点です)。そして測定します。ネットワークによって変化するため、ネットワークの状態を測定対象に含める必要があります。ネットワーク状態のないレイテンシの数値は、サプライヤーのオフィスからの数値にすぎません。

ビルド番号は、結果を保存する価値を生む列です。 アシスタントはビルドごとに変化するため、ビルド識別子のない測定結果は再現できず、 defended できず、次のサプライヤーの結果と比較できません。これはシートの中で最も重要な列であり、 列.

3つの行は almost never come back—and what to do about each. オフライン時の挙動(ネットワークを物理的に切断した状態でデバイスがどう動作するか)は、ネットワークがないときに製品がドキュメントどおりに動作するかという、このカテゴリーで最も一般的な紛争を解決する行です。書面の説明として要求し、返事がなければ、コピーではオフライン時の挙動を未定義として扱ってください。データ経路(デバイスから何が出て、どこへ送られ、同意がどのように処理されるか)は、コンプライアンス審査担当が要求する行です。読むのではなく観察によって確認し、掲載するプライバシーに関する記述には、観察した内容を記載してください。更新の仕組み(出荷済みユニットが新しいビルドを受け取る方法と、更新を決める主体)は、契約上のお知らせなしに機能が変更できるかどうかを示す行です。

アシスタントプランが実行される順序と、プランが最初に來る理由

プランの実行:ビルド識別子、環境、そして2日目

ステップ1:サンプルが届く前。 フレーズリストを作成します。合格条件を数値で設定します。各テストに必要な環境を決定します。ハンドセット、ネットワーク、オーディオ条件を固定します。そして、サンプルに想定されるファームウェアビルドを確認し、到着後最初にそれを確認できるようにします。

ステップ2:当日、測定を始める前。 ユニットのビルド識別子を確認し、記録します。言語、地域、アカウント状態を確認します。ユニットがデモ用ではなく、通常の出荷時状態(新しいアカウント、連携サービスなし、標準処理設定)であることを確認します。

ステップ3:ウェイク率。多数回の試行で測定します。 音聲アシスタントはハードウェアよりも話者によって大きく異なるため、異なる話者を複数使用してください。試行回数、話者数、環境を記録し、丸められた数値を信用せず、ログから自分で率を算出してください。

ステップ4:誤活性化率。重要な環境で測定します。 これはプランの中で最も時間のかかるテストであり、よく省略されます。通常の活動(デスク、会議、路上)を通じてアシスタントを有効にしたままにし、要求されなかった活性化をすべて記録するという意味です。得られた数値が、流通経路を決定します。

ステップ5:フレーズリストに対するコマンド成功率。各リクエストを一定回数実行し、失敗内容とその理由を記録します。

ステップ6:固定したしきい値に対するレイテンシ。発話終了から応答開始までの間隔を計測し、ネットワーク状態を記録します。平均値だけでなく、分布の端に現れる値を確認できるenoughな回数まで繰り返してください。

ステップ7:ネットワークを物理的に切断した状態でのオフライン動作。一度もこれを検証していないサプライヤーから納入された製品は、エレベーター内での動作が不明というです。

ステップ8:観察によって検証するデータ経路。ネットワーク上でデバイスが何を行うかを観察し、ドキュメントの記載内容と比較、その比較結果をファイルに残してください。マーケティング文から作成したプライバシー聲明は責任を伴いますが、観察に基づいて作成したプライバシー聲明は擁護可能です。

すべての率には2つの値があり、そのうち を予測できるのは一方だけ

1台では成功し別のサンプルでは失敗する機能は歩留まり問題であり、単一機のテストでは把握できません。

全体の計画を異なる日に2回実行し、ばらつきを調査結果として扱ってください。アシスタントの動作は曜日、ネットワーク、周囲の騒音によって変化します。

各結果にビルドID、環境、時刻を記録してください。プラットフォームが許可する限り、録音データを保存してください。再現できない計測は証拠ではなく、この分野では最も変動するのがビルドです。

スマートグラスのAI機能:ビルド変更後にも再実行できる計画

各結果に記録する内容。モデルの名称と構成、ファームウェアのビルドID、アプリバージョン、言語と地域、アカウント状態、端末とネットワーク、環境と騒音レベル、試行したフレーズまたはテスト、結果、時刻、テスト担当者です。記録項目は多く、それでこそよいのです。6か月後に結果の妥当性を検証できるのは、記録件数だからです。

この計画で確立できないこと。コンプライアンス上の位置付けは文書に基づくものです。最後の項目は重要です。Radio Equipment Directiveには、CEマーキングの一部を構成するサイバーセキュリティ要件が定められており、EN 18031シリーズ Harmonised standardsで説明され、安全な通信、暗号化、安全なストレージ、ユーザーの同意、識別された脆弱性の対応プロセスが対象です。音聲アシスタントはこの範囲に直接該当し、測定されたオフライン動作は、ネットワークがない環境で製品がドキュメントどおりに動作することを示す証拠です。

スマートグラスのAI機能を注文前にテストする方法を示すAI生成寫真 — 3枚中2枚目

AIプログラムで問題が起きる箇所と、それぞれの早期警戒指標

症状は、会話が中断されたという説明を含むクレームです。根本原因は、ウェーク率和認識率のうち一方しか測定していなかったことです。対策は、両方の率を測定し、商品ページを作成する前に誤検出のしきい値を設定することです。

症状は、経緯を説明できないある日付から始まるクレームの集まりです。根本原因は、計測が特定のビルドに紐づいており、再テストなしにビルドが変更されたことです。対策は、各結果にビルドを記録し、実際には出荷するビルドに対して計画を再実行し、アシスタントの動作に影響する変更について事前通知を求めることです。

翻訳功能的を掲げ、目標言語話者に否定された。症状は、通訳を約束する商品頁と、それを再現できない審査員です。根本原因は、正確性がネイティブ話者ではない人物により、実用的なフレーズではなく挨拶を使って評価されたことです。

プライバシーの質問には、マーケティング文で答えます。根本原因は、データフローが一度も検証されていないことです。予防策は、観察によって検証し、プライバシー statementが観察された内容を表すようにすることです。

根本原因は、計画が1つの地域・1つのネットワーク上で実行されたことです。

2人の評価者が同じ日に正反対の結論に達します。 症状は、 リストが火曜日の会議と金曜日の会議の間で変わることです。根本原因は、合否基準が形容詞だったことです。予防策は、サンプルを発注する前に合否基準を数値として固定し、意見の相違が製品ではなく曖昧な基準を指すようにすることです。

スマートグラスのAI機能を注文前にテストする方法を示すAI生成寫真 — 3枚中3枚目

ビルド識別子と更新メカニズムは、見積書に記載すべき2つの項目です。 両方名を挙げられないサプライヤーは、あなたへの契約上の通知なしにアシスタントを変更できることを示しています。その商業上のリスクは、単価より大きくなります。

フレーズリストと合否基準は、受け入れ基準として参照的に発注書に含めるべきです。そのため、基準は、最初のクレームではなくサンプル 前に文書化する必要があります。出荷されるビルドで基準を満たしたサンプルは、受け入れ可能なサンプルです。

挙動変更を網羅する通知条項は、このカテゴリーで最も価値のある条項です。 マイク、DSPチューニング、デフォルトの処理状態、アシスタントモデルのいずれを変更しても、ハードウェアを変えずに観測可能な挙動を変えることができます。そのため、条項は部品ではなく挙動を網羅する必要があります。

ローカライズ作業は交渉可能であり、交渉する価値があります。

最低発注数量とパッケージ作業は、通常の商業条項です。 ドキュメントパッケージに留保金 、損失が最大の失敗から購入者を保護します。これは、書類が対象を網羅していない状態で製品が届くケースです。出荷前に検査し、残金とデポジットをセットにするのが標準的な構成です。

アシスタントプログラムのスケジュール上の節目は、ビルド凍結と認証カレンダであり、買い手が- をしてもどちらも移動しません。 ビルド凍結は、発注後ではなく発注前に置く必要があります。発注後に変わるビルドは、受け入れ基準の根拠となったすべての測定を無効にします。認証費用と認証リードタイムは、プロセスと試験機関に従います。どちらかを急かしてもスケジュールは短縮されず、反而は長くなります。ツーリング費用は通常、最初の注文に償却される一括費用です。

デポジットの前に要求する書類。 ファームウェアのビルド識別子と更新メカニズム。正確なモデル表記の適合宣言。データフローと同意メカニズムの説明文書。オフライン時の挙動に関する文書。見積書に記載されたモデル表記。

発注書に書き込む条項。 証明書番号を付けたモデル表記を品目として記載すること。8つのテストに基づく受け入れ基準とフレーズリストを添えること。アシスタントの挙動に影響するファームウェアまたはモデル変更の前に通知を要求し、再テストを義務付ける条項。

その順序こそがポイントです。

ブランドの自社製品マネージャーが、アシスタントが「自然を理解し」「必要なときにいつでもそばにいる」と説明する掲載文案をすでに作成しており、コンプライアンス担当者もすでにデータパスを確認しています。

最初の決定は、測定が完了するまで、コピーからアシスタントを削除することです。製品マネージャーは、両方の形容詞を削除して置き換えず、空の状態にします。正確に説明できない機能については、まだ一切説明すべきではないからです。この一度の編集により、ブランドの最大のリスクがコストゼロで解消されます。

理由はコストです。1つの言語でのフレーズリストは翻訳作業ですが、チームが判断できない言語でのフレーズリストは使えない資産だからです。

3番目の決定は構築です。ブランドは、評価用のビルド識別子を固定し、同じビルドが出荷されることを確認するようサプライヤーに求めます。サプライヤーがビルドを確認し、ブランドがそれを記録します。この決定により、その後のすべての数値に意味が生まれ、コストはメール1通分です。

4番目の手順は、デモ用ユニットではないユニットでの実行です。ブランドは通常ユニットを発注し、新しいアカウントを設定し、2人の評価者による2日間の8項目のテストを実施します。通常業務的一天を通して測定した誤作動率は、重要な結果です。その高さはブランド自身のマーケティングクレームでは、その環境で1週間も使えば維持できない水準です。

5番目の決定は、誤作動率から導かれます。代替案は投入し、サンプリングプログラムですでに予測されていた苦情の集中発生を吸収することでした。

6番目の決定は、結果をどう するかです。ブランドは誤作動率の基準値を、後続のファームウェアリリースの条件として発注書に記載し、動作変更に関する通知条項を交渉します。録音と記録シートは保持します。将来のファームウェアリリースでは再テストが必要となり、その比較を可能にするのが記録シートだからです。

結果は、ブランドが望んでいたものより少ない内容で投入された製品ラインと、最終的にブランドが追加したい機能について、書面化された基準 整ったサプライヤー です。この手順のポイントは、決定的な数値がデモではなくサンプルでのテストから得られたものであり、そのコストはユニット1台と2日間だったことです。

アシスタントの記録で解決できることと、解決できないこと

具体的には、我たち対買家的建议是譲他たち亲自測試一項 AI 功能、而非規格説明。

サンプルが届く前にフレーズリストを作成してください。 これが計画のなか、サプライヤーが代わりに用意できない唯一の部分であり、成功の責任をサプライヤーではなく自社が担う部分でもあります。

背景についてはAI機能、サンプルのルートについてはサンプル評価、測定方法についてはAI機能の測定方法、サプライヤーへの質問についてはAIサプライヤー検証をご覧ください。


関連する読み物

公開な機能と環境をお知らせいただければ、我たち来=test planを作成=します。

WhatsAppでチャット
Cookie を許可すると、このサイトでのエクスペリエンスが向上します。