智慧眼鏡 OEM/ODM 製造商·中國深圳 +86 19835872450 sales@cynrin.com
智慧眼鏡技術

訂購智慧眼鏡 AI 功能前如何測試

AI 功能無法僅靠觀看示範來評估,並非因為示範具有誤導性,而是因為示範正是……

由 CYNRIN 工程與採購團隊提供/ Dec 15, 2021/ 3 分鐘閱讀
訂購智慧眼鏡 AI 功能前如何測試

智慧眼鏡 AI 功能:一種關係,而非單一零件

AI 功能無法透過觀見示範來評估,原因並不是示範會造成误导,而是示範恰好是助理表現最佳的一種配置:預先準備好的話語、安靜的房間、穩定已知的網路,以及由製作人員事先連結帳戶的裝置。买家需要知道的一切,都是裝置、模型供應商、網路與地區之間關係的特徵——而這四者都不是盒子裡的產品。

三句話說完決策。如果語音助理是商品資訊中的關鍵支柱,請將它視為一種關係而非單項功能來測試:在樣品送達前先制定話語清單與通過條件,在非示範機上執行測試方案,並記錄每次結果對應的韌體版本。決定產品能否上市的指標,通常是誤啟動率,而非喚醒率,因為會打斷客戶對話的裝置,終究會被取下。如果無法取得版本識別碼、資料路徑說明,以及明文規定的離線行為,就不要在文案中提及該助理——這項功能只會出現在產品頁面上,別無他處。

誰負責執行此方案,以及方案必須產出什麼。讀者通常是在判斷 AI 助理是否應納入產品,或是比較兩家供應商對同一項宣稱功能的實作方式。他們手中有的是樣品、功能清單、通路、目標價格,以及一份已預設該功能存在的行銷方案。他們手上沒有的則是效能數據,而原因在於結構:數據屬於模型供應商,而非工廠;它會隨版本改變,而非隨硬體改變。因此,方案必須產出三項內容——一個數字而非 impression、與該數字對應的版本識別碼,以及一份書面清單,列出測量該數字時採用的條件。

我們自己的型錄揭露了什麼,以及未揭露什麼。我們將 AI 語音助理列為 AI 相機眼鏡系列的關鍵技術之一,我們的獨立網站也介紹了 K01 上的 AI 翻譯功能,而 K01 採用的是音訊模型。我們並未公布產品系列中任何模型的喚醒率、誤啟動率、指令成功率、延遲數值、辨識準確度、翻譯準確度或離線行為,也不會估算其中任何一項。這份資訊的薄弱,並不是我們未能收集數據所致,而是一個沒有公開效能基準的品類原本就會呈現的樣貌,也正是下方方案存在的原因。

AI 功能的成本落在哪裡。助理的硬體成本接近零——麥克風與無線電模組本就已經在產品內。助理真正的成本在於周圍的四個部分:制定可測試行為所需的工作、將話語清單與文件在地化至各上市市場、針對失敗情境的支援腳本,以及能在供應商於你不知情的情況下變更內容時通知你的合約機制。兩家供應商報價相同的助理時,這四個項目的差異,遠大於任何單價差異,而這些差異在商品頁面上線前都不可見。

五個數字,以及各自必須搭配的分母

AI 生成的示意照片,說明如何在下訂前測試智慧眼鏡 AI 功能——圖 1/3

應要求提供的五個數字,以及沒有人回報的三項數據

請以同一則訊息、用完全相同的措辭,向每位候選供應商提出以下五個問題,並要求以表格而非文字段落提供答案。分母欄位才是重點,因為沒有分母的百分比不過是一句行銷話術。

指標 測量內容 必要分母 通過門檻
喚醒率 助理在正確時機啟動的情況 嘗試次數、說話者人數、環境 三項條件均明確列出的百分比
誤啟動率 助理在不正確時機啟動的情況 嘗試次數,以及一般使用的時數 百分比,或明文聲明未進行測量
指令成功率 你的話語清單被理解的情況 你提供的話語清單,以及每句話的重複次數 以你自己的清單為基準的百分比
延遲 答案抵達前的等待時間 網路狀態與韌體版本 固定門檻,而非主觀判斷
辨識準確度 是否聽懂正確的內容 場景,以及說話者是否面向前方 安靜房間與實際環境各自的數值

以白話說明的門檻,以及通常被略過的三列

沒有嘗試次數的成功率,不是真正的成功率。在安靜的辦公室內進行十次嘗試所測得的百分之九十八,預測不了在街上進行三百次嘗試時低於百分之八十五的結果,而後者才是能描述產品表現的數字。要守住合格標準,就必須提供一組附有分母、發言人數及環境資訊的百分比數據;無法提供這三項資訊的供應商,就等於沒有測量過產品。

誤啟動率是可用性關卡,不是技術附註。它決定的是產品能在哪些市場銷售,而不是功能能否運作,因為會議室與街道對同一款裝置而言是不同的市場。若裝置在安靜的辦公室內會被咳嗽聲喚醒,它就是一款會議室產品;但同一款裝置在街上卻會造成干擾。買方在此設定的門檻,是針對銷售通路的產品決策,並應在產品頁面起草前就明確記載。

指令成功率必須依據您的清單測量,而不是供應商的清單。供應商的清單包含問候語和計時器,因為這些指令很容易執行。您的清單則包含倉儲主管每天實際說了十一遍的特定詞句。合格標準應以您提供的詞句為基礎,並清楚列出每個詞句的重複次數,以百分比呈現。

延遲時間需要明確的數值,而不是形容詞。先設定門檻——低於兩秒是合理的起始點——再進行測量。延遲會隨網路狀況而變動,因此網路狀態必須納入測量條件;沒有附帶網路狀態的延遲數據,只是供應商辦公室裡測得的數字。

版本編號是讓測試結果值得保留的那一欄。助理在不同版本間可能有所變更,而沒有版本識別資訊的測量結果,既無法重現、無法據以辯護,也無法與下一家供應商的結果比較。這是整張表中最重要的單一欄位,卻也是最常被留白的一欄。

三項幾乎總是交不回的數據,以及各自該怎麼處理。離線行為——在完全移除網路連線時,裝置會如何運作——是能解決此類別中最常見爭議的數據,也就是產品在無網路環境下是否仍如文件所述運作;應要求供應商以書面說明提供,若對方未回覆,便應將離線視為未定義,相關文案也應如實反映。資料傳輸路徑——哪些資料會離開裝置、傳往何處,以及如何處理同意事項——是合規審查人員會索取的數據;應透過實際觀察而非僅閱讀說明來驗證,並讓商品列表中的隱私權聲明描述您實際觀察到的情況。更新機制——已出貨的裝置如何接收新版本,以及由誰決定——則能告訴您,這項功能是否可以在未事先 contractual 通知您的情況下變更。

助理方案的執行順序,以及方案為何必須優先

執行方案:版本識別資訊、測試環境與第二天

第一步,在樣品送達之前。撰寫詞句清單。清單應包含客戶實際會發出的指令,並使用上市市場的語言,包括那兩三個難以發音的詞句。將合格條件設定為明確數值。決定各項測試所需的環境。固定手機、網路及音訊條件。並確認您預期樣品搭載的韌體版本,以便樣品送達後第一件事就是進行核對。

第二步,在測試當天、開始任何測量之前。核對裝置上的版本識別資訊並記錄下來。確認語言、地區及帳號狀態。確認裝置採用的是未經設定的出廠配置,而非展示機;後者通常意味著全新帳號、未連結任何服務,且採用預設處理設定。從已連結服務的展示機取得的結果,並不是客戶所收到產品的測試結果,也是助理評估最常過度美化供應商表現的方式。

第三步,進行大量嘗試以測得喚醒率。使用數位不同的發言人,因為語音助理的表現差異往往來自發言人,而非硬體。記錄嘗試次數、發言人數及環境,並根據記錄自行計算成功率,不要直接採用四捨五入的數字。

第四步,在實際重要的環境中測得誤啟動率。這是整個方案中耗時最長、也最常被略過的測試。測試方式是在日常活動進行期間——辦公桌、會議室、街道——保持助理開啟,並記錄每次未經指令而自行啟動的情況。您得到的數值,就是決定銷售通路的數值。

第五步,指令成功率,對照你的指令清單。每項要求都會執行固定次數,並記錄失敗情況及其原因,因為「沒有聽懂」和「聽懂了,但做了錯誤的事」是兩種不同的失敗,也需要兩種不同的修正方式。

第六步,延遲時間,對照固定門檻。測量從話語結束到回覆開始的間隔,並記錄網路狀態,同時重複測試足夠次數,以掌握尾端數據,而非只見平均值。

第七步,離線行為,並實際切斷網路連線。不是使用飛航模式且還能取得快取結果,而是讓網路確實無法連線,並記錄結果。從未測試過這項情況的供應商,其產品在電梯裡的行為無從得知。

第八步,資料路徑,透過觀察進行驗證。查見裝置在網路上的行為,將其與文件聲稱的內容比較,並將比較結果保存在檔案中。根據行銷文案撰寫的隱私聲明是一項法律風險;根據實際觀察撰寫的隱私聲明則站得住腳。

每個比率都有兩個數值,但只有其中一個能預測客戶的表現

在功能攸關之處,使用相同版本的三台或兩台裝置進行測試。某項功能若在一台樣機上運作正常,卻在另一台上失敗,那就是良率問題,而單機測試無法見出良率問題。如果某項功能正是客戶購買產品的原因,單台裝機測試便不足以構成任何證據。

在不同的日子執行完整測試計畫兩次,並將數據差異視為一項發現。助理的行為會隨著日期、網路及環境噪音而變動;若兩次測試之間的差異很大,便表示這項功能尚未穩定到足以作為宣傳主張的基礎。若差異很小,結果便值得保留;若差異很大,這項發現比數字本身更有價值。

每項結果都要記錄版本識別碼、測試環境及時間。在平台允許的情況下保留錄音。無法重現的測量數據不構成證據,而在這個類別中,版本才是會改變的因素。

智慧眼鏡 AI 功能:版本變更後仍可重複執行的測試計畫

每項結果應記錄哪些內容。模型名稱與設定、韌體版本識別碼、應用程式版本、語言與地區、帳號狀態、手機與網路、環境及其噪音 level、所測試的指令或項目、結果、時間及測試人員。這份表格很長,而這正是重點:六個月後,正是這些列數能讓結果站得住腳。

這份測試計畫無法證明的事項。它無法證明這項功能在所有客戶群體中的行為,無法證明它在你未測試的市場或語言中的行為,無法證明供應商下次變更後的行為,也無法確定合規性狀態;後者必須依據文件判定。最後一點尤其重要:《無線設備指令》包含網路安全要求,這些要求屬於 CE 標示的一部分,由 EN 18031 系列協調標準加以說明,涵蓋安全通訊、加密、安全儲存、使用者同意,以及處理已識別弱點的程序。語音助理完全落入此範圍,而經測量的離線行為則是證據,顯示網路不存在時,產品的確如文件所述運作。

AI 生成照片,展示如何在訂購智慧眼鏡 AI 功能前進行測試——第 2 張,共 3 張

AI 專案在哪裡出錯,以及每個問題的早期警訊

功能在商品頁面中受到宣傳,卻在客戶會議中失敗。症狀是客戶投訴某段對話遭到中斷。根本原因在於只測量了喚醒率。預防方式是同時測量兩項比率,並在撰寫產品頁面之前設定誤啟動門檻。

客戶回報助理在更新後停止運作。症狀是一組從某個無人能說明清楚的日期開始集中的投訴。根本原因在於測量結果與特定版本綁定,而該版本未經重新測試便已變更。預防方式是每項結果都記錄版本、針對實際出貨版本重新執行測試計畫,並要求供應商在變更影響助理行為時事先通知。

提出翻譯相關宣傳,但目標語言的審查員不予接受。症狀是商品頁面承諾具備口譯功能,卻無法重現翻譯結果。根本原因在於準確度是由非母語人士以問候語而非實用指令進行評估。預防方式是由目標語言的母語人士對客戶所需的指令進行評分,並將指令清單附在評分結果中。

隱私問題竟用一句行銷話術帶過。症狀是企業客戶進行安全審查,要求說明資料傳輸路徑,但品牌除了政策網址之外一無所有。根本原因是從未驗證過資料傳輸路徑。預防方式是透過實際觀察加以驗證,並讓隱私聲明確實描述所觀察到的情況。

產品在示範國家運作正常,到了上市市場卻失效。症狀是只有單一市場出現集中退貨。根本原因是測試計畫僅在一個區域的一種網路上執行。預防方式是在上市市場、依客戶將使用的網路執行測試,並將兩組結果並列呈現。

兩位評估者在同一天得出相反結論。症狀是入圍名單在星期二與星期五的會議之間發生變動。根本原因是用形容詞設定通過條件。預防方式是在樣品下單前,將通過條件以數值明確固定,讓分歧指向模糊的標準,而不是產品本身。

AI 生成的攝影圖,說明訂購智慧眼鏡 AI 功能前應如何進行測試——第 3 張,共 3 張

供應商變更設定時,你可以約定哪些事項

建置版本識別碼與更新機制,是應列入詢價單的兩項內容。如果供應商無法說明這兩項,代表助理功能可以在未事先 contractual 通知你的情況下變更;這比單價所造成的商業風險更大。要求列出這兩項不需額外成本,而且只有它們能成為後續追蹤的依據。

片語清單與通過條件應納入採購單,並以驗收標準的形式引用。助理是產品中唯一能讓客戶歸咎於其他部件的部分,因此標準必須在樣品之前以書面形式確定,而不是等到第一次收到客訴後才補上。符合出貨版本驗收標準的樣品,才是你可以接受的樣品。

涵蓋行為變更的通知條款,是這類產品中最有價值的條款。麥克風、DSP 調校、預設處理狀態或助理模型的任何變更,都可能改變可觀察的行為,而無須變更硬體,因此條款必須涵蓋行為,而非零組件。

在地化工作可以談判,而且值得談判。片語清單、文件語言,以及各市場的支援腳本,各自都是一輪工作,而每輪需要一週。值得談判的是包含幾輪工作,以及第二個市場應按第一個市場的複製內容計價,還是視為新的翻譯工作另行計價。

最低訂購量與包裝工作屬於一般商業項目。從文件套件中保留一部分款項,可在成本最高的失效情況下保護買方,也就是設備到貨時,隨附文件卻未涵蓋該設備;而採用訂金加上出貨前驗收後支付尾款的結構,是標準做法。

助理專案時程中的關鍵項目是版本凍結與認證行事曆,而這兩者都不會因買方施壓而提前。版本凍結必須在訂單之前,而不是之後,因為下單後若版本變更,驗收標準所依據的所有測量結果便會失效。認證成本與認證前置時間取決於流程及測試機構;催促任何一項,只會延長而非縮短時程。開模成本是通常在首筆訂單中分攤的一次性費用,值得詢問的重點是分攤的訂單量,以及若專案終止,這筆費用將如何處理。

支付訂金前應索取的 文件。韌體建置版本識別碼與更新機制。含發證機構與有效日期的證書編號。針對確切型號名稱的符合性聲明。資料傳輸路徑與同意機制的書面說明。離線行為的書面聲明。報價單上明確載明的型號名稱。

應寫入採購單的條款。將型號名稱列為獨立項目,並附上證書編號。納入八項測試的驗收標準,並附上片語清單。規定韌體或型號變更若影響助理行為,必須事先通知,並有重新測試的義務。樣品若未達驗收標準,應明訂由誰承擔成本。

品牌進入單一市場的實務計畫範例

這是示範案例,而非客戶案例;這正是本案例的重點。

假設某消費電子品牌有一款包含十一個機型的相機產品線、既有的相機平台,並計畫在單一市場推出時,將語音助理加入兩種配置,作為主打功能。品牌自己的產品經理草擬了商品頁文案,稱該助理「能自然理解」且「需要時隨時都在」,而品牌的合規審查員已要求提供資料流程。

第一個決定,是在測量完成前,先從文案中移除助理的描述。產品經理刪除兩個形容詞,並沒有加入任何替代文字,因為無法準確描述的功能,現階段就不該描述。僅此一項編修,就能零成本消除品牌最大的風險。

第二個決定是選擇上市市場,而且在撰寫計畫前就已決定。品牌選定一個市場、一種語言,以及客戶實際使用的兩個網路,並接受該助理在第二個市場完成測量前不會推出。原因在於成本:一種語言的詞表只是翻譯工作,而團隊無法判斷的語言,其詞表則毫無實用價值。

第三個決定是建立測試版本。品牌要求供應商為評測凍結一個版本識別碼,並確認實際出貨時會使用相同版本。供應商確認了一個版本,品牌則將其記錄下來。這項決定讓後續所有數據都有意義,而且只需寄一封電子郵件。

第四個步驟,是使用非展示機進行測試。品牌訂購一台一般市售機、設定全新帳戶,並由兩名評估員在兩天內執行八項測試。在安靜環境中的喚醒率很高,但在目標環境中則較低。以一般工作日測得的誤觸發率,才是真正重要的結果:其數值偏高,品牌自身的行銷主張在該環境中使用不到一週便難以成立。

第五個決定源自誤觸發率。品牌不在該市場推出語音助理,產品硬體線則維持不變。另一個選項是先推出,再消化一批客訴;但樣品測試計畫早已預示了這批客訴。評測只花費了一輪樣品和一個星期;另一個選項則要付出一次上市的代價。

第六個決定,是如何運用測試結果。品牌將誤觸發率門檻列入後續韌體釋出的採購條件,並就行為變更議定通知條款。品牌保留錄音和測試表,因為未來的韌體版本需要重新測試,而測試表正是讓重新測試具備可比性的依據。

最終結果是一條推出的產品線,內容雖然少於品牌原先期望,但品牌與供應商之間已建立一項書面標準,供日後加入該功能時遵循。整個流程的關鍵在於:最具決定性的數據來自樣品測試,而非展示,而且總共只花費一台產品和兩天時間。

我們記錄的助理測試結果能與不能解決哪些問題

具體而言,相關 AI 功能我們寧可讓買方自行測試,也不會只讓買方相信功能描述;而只有測試計畫,才能將一項能力轉化為規格。我們將 AI 語音助理列為 AI 相機眼鏡系列的關鍵技術之一,而我們的獨立網站則介紹 K01 上的 AI 翻譯功能;K01 是一款音訊模型——我們將此視為自身行銷資料中的觀察,而非規格。我們未公布任何機型的喚醒率、誤觸發率、指令成功率、延遲數據、辨識準確度、翻譯準確度或離線行為,也不會估算上述任何數據。

我們也不會在商品頁中使用以展示機測得的數據,因為無法重現的數據,就是當客戶站在你面前時無法據以辯護的主張。我們會提供採用已知韌體版本的產品,並與你共同完成測試計畫,而不是只安排展示。

在商品頁承諾語音助理之前,必須釐清的三件事

在第一封訊息中,詢問版本識別碼與更新機制。這兩個答案能告訴你,功能是否可能在測試計畫進行期間遭到變更;能回答這兩個問題的供應商,代表其具備完善的流程。

請在樣品寄達前列出功能清單。這是計畫中唯一無法由供應商代為完成的部分,也是決定成功率的關鍵:成敗掌握在您手中,而非供應商手中。

請告訴我們您預計發布的功能、上市市場及語言,我們將與您共同撰寫測試計畫。相關背景請參閱 AI 功能,樣品流程請見 樣品評估,測量方法請參閱 如何測量 AI 功能,供應商問題請見 AI 供應商查核。


相關閱讀

請告訴我們您預計發布的功能及使用環境,我們將與您共同撰寫測試計畫。

在 WhatsApp 上聊天
Your experience on this site will be improved by allowing cookies.