樣品測試能告訴你某項 AI 功能是否運作。讓真實使用者參與的分階段測試,能告訴你是否有人使用;而第三項測試則能告訴你該功能在六個月後是否仍然存在——買方真正購買的,正是這第三項測試的答案。智慧眼鏡上的語音助理是一項依賴服務,而非零組件:模型會在 somewhere 執行,由某個人營運該服務,而使用該功能兩週的客戶所面臨的情況,與買方見到的截然不同。因此,整體計畫必須依序回答三個問題:服務無法使用時會發生什麼事、真實使用者多常會使用該功能,以及一年後該功能是否仍然存在——而這些答案必須轉化為合約條款,因為第三個問題不是技術風險,而是商業風險。我們不公布任何模型的喚醒率、誤觸發率、指令成功率、延遲、辨識準確度或離線行為,也不會對這些數據進行估算。
智慧眼鏡 AI 功能:會出現哪些問題,以及何時出現
展示效果與客戶第一週的實際體驗有何不同
我們的產品目錄將 AI 語音助理列為 AI 相機眼鏡系列的關鍵技術之一,而我們的獨立網站則介紹了 K01 上的 AI 翻譯功能;K01 是一款音訊模型。這是我們能提出證據的兩項主張。此類別中的其他所有數據——喚醒率、誤觸發率、指令成功率、延遲、辨識準確度與離線行為——我們一概不公布任何模型的數據,也不會進行估算。
這個資訊落差有其原因,而該原因會塑造整體採購方式。助理的行為是由模型及其背後的服務產生,而非由工廠決定,因此,描述其行為的數據應歸屬於營運該服務的一方。工廠可以報告自身的韌體如何處理該結果,也可以報告已出貨裝置在結果未能送達時的行為。但工廠無法保證模型下個月會如何運作,因為模型並非工廠能自行更動的對象。
其結構性後果是,展示效果與客戶第一週的實際體驗屬於不同的情況。展示用裝置已連結帳戶、設定語言與地區、已知網路能正常運作,而且現場還有人知道發生問題時該如何處理。開箱後的裝置才是客戶實際收到的產品,而這兩種狀態之間的差異,正是大多數問題的來源。
本文讀者是品牌產品經理、採購人員或通路買方,必須決定 AI 助理應列為主打功能或一般配備項目,同時掌握樣品、目標價格、通路與功能清單。所管理的風險是:產品上市時大力宣傳某項功能,但該功能在接觸真實家庭後便無法支撐,最後帶來退款負債與負評問題,而非僅是一張技術支援工單。
買方必須避免的問題
推出功能後,客戶卻逐漸不再使用。即使每一項個別測試都通過,若某項功能第二週的使用量低於第一週,便已傳達一項重要訊息。以沒有人會主動使用的功能作為銷售賣點,等同推出一項具有退款負債與負評風險的產品。
商品頁面宣稱功能在沒有連線時仍可運作,但實際並非如此。在不理想條件下的測試階段,會決定故障能否平穩處理,也會決定商品頁面可以採取哪些表述。
測試者有所投入,導致結果過度美化產品。對結果有利益關聯的同事會正確使用該功能,而正確使用並不等同於真的需要該功能。
品牌不知道自身存在一項依賴服務。這是此類別特有的問題。產品上的其他每項功能,都是由買方已簽約合作的一方製造;但這項功能可能並非如此。若買方未曾詢問,答案就是預設情況:該服務由其他人士營運,而且可能遭到變更或中止,而對方是品牌從未接觸過的人。

採購任務:決定服務無法使用時會發生什麼事
誰在營運功能背後的服務
在進行任何測量之前,品牌都必須先釐清該功能的所有權歸屬,因為所有權會決定整體計畫的商業架構,而且這也是日後最難變更的部分。
三個問題就能釐清一切。模型是在裝置上執行,還是在伺服器上執行?如果是伺服器,由誰營運?以及,如果該營運商調整價格、變更模型,或改變支援這項產品的意願,這項功能又會如何?
這些並非純粹的技術疑慮。裝置端助理的服務生命週期與產品相繫,其行為也由工廠掌控,因此屬於規格問題。伺服器端助理的行為則不受工廠掌控,因此屬於供應鏈問題,而品牌也將從與一家合作方協商,變成與兩家合作方協商。這項區別將決定計畫的總成本、合約結構,以及該功能能否在商品頁面上如實描述為產品本身的功能。
第二件要釐清的事,是品牌對於變更有哪些知情權。若某項功能可以在未經合約通知品牌的情況下變更,其造成的商業風險遠大於產品單價的差異,因為品牌已將包裝、文案、培訓與客服話術,全部投入在自身無法掌控的行為上。附帶期限的通知義務,能將這項風險轉化為可管理的範圍。
第三件要釐清的事,是服務撤回後會發生什麼。實務上總是有答案,而且答案通常是:對於已經購買宣傳時含有該功能的產品的客戶而言,這項功能將直接消失。明確訂定替代狀態的條款——離線行為、精簡指令集或本機備援機制——其價值高於服務所提供的任何功能,因為這是品牌唯一能夠提供保證的部分。
上方的矩陣將兩個重要維度並列呈現。右下角的儲存格是品牌所能達成的最強位置,而這可以透過合約達成,而非仰賴技術。左上角的儲存格則是此類產品中最常見的位置,而降低風險的方法並非採用更好的模型,而是訂定替代狀態與通知期限。
四種降級狀態,以及各自的門檻
四種狀態,以及各自需要的條款
助理並非只有一種狀態,而是有四種;每一種都會對品牌文案施加不同的義務,也需要在合約中訂定不同的條款。
已連線且正常運作。 指令能夠被理解並得到回應。這裡的義務最小:只要功能清單列出適用條件,宣稱項目便可以納入這項能力。「理解自然語言指令」應改寫為「在指定噪音水平的環境中,於指定韌體版本上,可辨識四十組短語中的指令」——這是一項宣稱,而非一項能力。
已連線但效能下降。 回應較慢、回應不完整,或拒絕回應。這是無人書寫、卻人人都會遇到的狀態,文案中的承諾也通常會在此失效。應設定的門檻是由供應商而非品牌提供降級行為的書面描述,因為品牌無法從外部準確描述其情況。商品頁面若承諾回應時間,便是在宣稱降級狀態下的表現,而非正常運作狀態下的表現。
無網路。 本機拒絕處理、形成佇列,或毫無回應。門檻在於必須明確訂定此行為,且商品頁面與說明書都須讓消費者見見這項規格。在電梯中無聲故障的裝置,只會帶來客服聯絡需求;能夠說明自身正在做什麼的裝置,才算是一項功能。
服務已撤回。 該功能對客戶而言將不存在。門檻屬於合約層面:通知期限、明確訂定的替代狀態,以及品牌可要求維持服務運作的價格。這一列是品牌簽約時所承諾、消費者購買後才會發現的部分,也是唯一能夠延續至上市週之後的部分。
適用於這四種狀態的一項實用原則,是依據你能夠達到的最差狀態來撰寫文案,而非依據你能夠展示的最佳狀態。只要商品頁面能夠承受無網路與效能下降的狀態,就必然能夠承受正常運作的狀態;反之則不然。
支付訂金前應以書面確認的問題
該清單中的三個群組是依據「決定什麼」來排列,而非依據「由誰供應」來劃分。所有權群組決定該方案的商業架構,而合約起草前必須先讓這個群組完成審查。連續性群組決定風險,也就是決定品牌方在產品上市後能否安心入睡。數據群組決定隱私聲明可以寫哪些內容,而各市場在制定自己的數據規則時,也會向這個群組詢問相關問題。總共九列,而每位候選者都適用相同的問題,這正是候選者之間能夠公平比較的原因。
- 由誰營運助理背後的服務:工廠、應用程式營運商,還是第三方?
- 模型是在裝置上還是伺服器上執行,以及裝置在沒有模型的情況下能執行哪些功能。
- 書面功能清單,列出每一項功能及其適用條件。
- 支援的語言清單,若聲稱支援翻譯,則列出每一組語言的翻譯方向。
- 數據說明:收集哪些資料、在哪裡處理,以及如何停用麥克風。
- 更新機制,以及韌體版本可供下載的時間。
- 模型或行為變更前,品牌方會收到什麼通知。
- 服務撤下時的行為,需以書面形式說明。
- 憑證編號、發證機構及其有效日期。

建立為期兩週、可產出具體採用證據的方案
六個階段及其產生的紀錄
該方案為期兩週,參與者都是對結果毫無興趣的一般人,而其中最重要的兩項數據是使用率與故障模式分布。
第一階段是首次開箱後,在完全沒有協助的情況下進行。一名使用者、一組裝置,直接從包裝取出,配對一部從未連線過的手機。只觀察,不要介入。這個階段能找出樣品測試會略過的設定問題:語言未設定、帳戶未連結、地區錯誤、權限缺失,以及首次嘗試因與功能無關的原因而失敗。
第二階段是使用者依照日常作息使用的第一天。 該功能被使用了一次、三次,還是完全沒有使用?第二天早上再詢問,不要當下追問,因為當下的回答會受到示範效應影響。
第三階段是讓五名使用者搭配自己的裝置、帳戶與網路,進行第一週測試。 此時各種變因就會顯現出來。有些人可能處於嘈杂環境,有些人有口音,還有人使用舊款手機。五人中四人可正常使用的功能,代表第五很可能會因此要求退貨。
第四階段是刻意營造不佳的使用條件。 嘈杂的咖啡廳、微弱的訊號、昏暗的房間、沒電的手機。誤啟動率與延遲時間會在這個階段顯露出來,而這也是示範活動永遠無法達到的階段。
第五階段是使用錯誤條件。 沒有網路的裝置,以及帳戶已遺失的裝置。問題在於裝置是否能平順地處理故障,而答案就是產品頁面上可以寫明的內容。
第六階段是第二週。 再次詢問同樣的五名使用者。重點在於其行為是否有所改變。
紀錄只有五個欄位,不多不少:使用者、裝置、韌體版本、使用條件與結果。使用率與故障模式分布接著都從紀錄中計算,而非憑記憶回想。版本編號通常會被漏掉,但正是這個欄位能讓你將第二週的結果與第一週相比,或將三個月後的客服案件與當時記下的結果進行比對。
值得堅守的門檻
使用率是預測功能是否重要的數據。 也就是真實使用者一天內主動使用該功能多少次。一項功能若讓有高度意願的測試者在一小時內使用二十次,卻只讓一般人一天使用兩次,那就是兩種不同的功能,而第二個數字才是關鍵。
故障模式分布比故障總數更重要。 重點不在於發生多少故障,而在於故障的類型。某項功能若在嘈杂環境中無聲故障,就需要與在微弱網路下緩慢故障不同的解決方案,而這兩種解決方案分別由不同負責人處理。
未附帶條件的功能清單,只是一份意向清單。 應堅守的門檻是:每項功能都必須附上數值、條件與樣本數,否則就不應列入。
每項測試結果都必須記錄建置識別碼。三個月後要將客服案件與測試室抄下的數字進行比對時,靠的就是這個識別碼;它也是最便宜的記錄欄位,卻是日後最難重建的資訊。
資料說明是一項商業事實,而非技術細節。它決定由誰營運服務、隱私權聲明可以怎麼寫,以及在擁有各自資料規範的市場中會發生什麼事。無法說明資料流向的品牌無法撰寫隱私權頁面,而無法撰寫隱私權頁面的品牌便無法推出產品。

AI 功能計畫在推出後如何失效
功能在商品頁面上遭到宣傳,卻沒有人使用。根本原因在於計畫停留在實驗室階段;測試人員既然全心投入,所有功能當然都能運作。預防方法是測試一路執行到第二週,並在使用率成為文案撰寫的放行條件,而不是事後才回報的統計數字。
首次執行失敗被當成韌體錯誤而遭到略過。根本原因通常在於設定、語言、帳戶、權限,或操作手冊缺少某個步驟。預防方法是將快速入門指南與首次執行結果對照閱讀,因為修正方式往往只需要一段說明,不必推出新的韌體版本。
商品頁面宣稱功能無須連線即可運作。根本原因在於略過了非預期環境測試階段,或功能未能平順降級。預防方法是執行該階段,並讓商品頁面如實描述使用者實際見到的狀況。
服務變更後,產品不再符合包裝上的說明。根本原因在於沒有通知義務,因此變更對品牌及所有讀過舊文案的消費者而言都來得猝不及防。預防方法是將通知期列為合約條款,並在變更流程中加入文案審查。
支援團隊無法回答與該功能有關的問題。根本原因在於功能清單只是按照預期撰寫,且從未以支援團隊能引用的形式記錄任何測試結果。預防方法是向支援團隊提供功能清單及其適用條件與韌體建置;這應該是一份文件,而不是一場會議。
客戶回報功能原本可運作,後來卻停止運作。根本原因可能是服務變更、帳戶失效,或建置版本遭淘汰。預防方法是明文說明客戶應採取的處置方式;實務上,這代表應在說明書中據實交代備援方案,而不是只在支援回覆中告知。
實務情境:品牌評估助理功能是否應列為主打特色
以下是演練案例,並非實際訂單,用於說明作業順序。
假設某消費品牌正在考慮為一般市場推出 AI 相機眼鏡產品線,有兩個候選平台,而商品頁面必須在六週內完成。真正的限制並非價格,而是該品牌先前推出的產品曾有某項功能對部分客戶停止運作,且品牌自己的支援團隊也無法為客戶解答。
首先必須釐清權責歸屬,再比較兩個平台。品牌提出兩個問題:模型在哪裡執行,以及由誰營運服務。其中一個候選平台在裝置本機執行,品牌能夠說明其運作行為;另一個則在品牌未簽約的服務上執行,供應商的答覆包含通知期與明文規定的備援狀態。這個答覆徹底改變了比較結果:第一個平台具有品牌能管理的技術風險,第二個則具有品牌只能粉飾的依賴風險。
文案撰寫前,四種狀態便已納入合約。正常運作、功能降級、無網路,以及停止提供。對於第二個平台,供應商以書面提供功能降級的說明與備援狀態,品牌則同意無網路情況下的行為文案。之後,文案以最差狀態為基準撰寫;這樣的頁面雖然較慢速、不吸睛,卻能夠站得住腳。
分階段測試計畫使用全新開箱的裝置執行。在新手機上的首次執行,會發現兩個在事先準備好的裝置上可能見不見的設定問題。針對五人的第一週測試產生一個帳戶問題與一次弱網路故障。第二週測試得出的使用率偏低,因此品牌決定將該功能列為附列功能,而非主打特色。
文案已調整至相符。由於使用率不高,功能會在商品頁面的第二段說明,而非標題中描述,並讓支援腳本與說明書的內容保持一致。品牌接受較小的宣稱範圍,並降低上市風險。
商業架構依歸屬權而定。對於品牌可以签约的平台,品牌會協商通知期與版本保留期,並要求進行第二輪樣機測試,以便在量產機上驗證備援狀態。對於品牌無法簽約的平台,品牌會要求以裝置端備援方案為條件;若對方拒絕,品牌便會排除該候選平台。
最終成果是一套宣稱範圍克制、備援方案書面化,且支援團隊能夠回答相關問題的產品線。關鍵決策在於歸屬權問題,且已在撰寫文案前做出決定。
AI 專案在哪個環節失去利潤
包裝與文案所承諾的行為,並不受品牌控制。這是整個品類中最大的單一風險敞口,而且不會顯示在任何報價單上。緩解方式是設定通知期與審查條款;如果供應商沒有任何需要隱瞞的事項,這兩項措施都不會增加其成本。
備援狀態未被建置,因此無網路時的行為取決於韌體恰好如何處理。這項成本會出現在支援收件匣,而非上市階段,因此更難修正,長期維護的代價也更高。在首件製作前將備援方案納入驗收標準,成本並不高。
版本保留期較短。若某個版本在上市六個月後就被撤除,市場上已售出的裝置便無法重現;而無法重現的產品,其第二筆訂單等同於另一款產品。版本保留期是一項值得力爭的條款,而且經常在不引人注意的情況下設得很短。
使用率從未被測量,因此文案是依據示範而非證據撰寫。買方應有意識地在較短的專案與正確的宣稱之間做出取捨。為期兩週的專案會耗費兩週;夸大功能的商品頁面,則會讓整批產品付出代價。
翻譯宣稱缺乏方向性。若某組語言僅在單一方向有效,便代表該宣稱恰好會在品牌原本想進入的市場失效。只要提出一行要求,列明支援的語言清單及各語言組合的翻譯方向,就能避免逐個市場失敗。
我們會公開哪些 AI 助理資訊,以及哪些內容我們不會估算
我們採用的原則是:我們寧可讓買方實際執行專案,也不要讓買方僅憑示範就相信其效果。我們會支援測試,而不是僅呈現結果。
我們只公開文件有支持的 AI 能力,其餘則標示為尚未確認。我們不會公開任何模型的喚醒率、誤觸率、指令成功率、延遲時間、辨識準確度、翻譯準確度或離線行為,也不會估算這些數據。這表示上述六個階段是這些數據產生的唯一方式;我們寧可協助取得數據,也不願引用無法佐證的數字。
對於哪些發現能夠採取行動,我們也會直言說明。設定、語言、帳戶、權限或使用手冊中遺漏的步驟,都屬於我們能修正的範圍,而修正通常只需在快速入門指南中增加一段文字。模型行為、延遲特徵或服務架構,則分別涉及應用程式與韌體;在您據此制定上市計畫前,我們會先說明各項問題的歸屬。
我們會協助您設計六個階段、議定要記錄的內容、提供具備已知版本的裝置,並回報所有結果,包括不利於產品的結果;因為一項能撐過第二週的功能,價值遠高於一項只能撐過-trade show 的示範。背景說明請見 AI 功能,腳本化的實驗室測試 protocol 請見 如何測量 AI 功能,預購計畫請見 下單前測試 AI 功能,常見宣稱錯誤請見 AI 常見錯誤。
AI 助理登上商品頁面前的四項行動
以書面形式提出歸屬權問題。模型是在裝置端或伺服器上執行?由誰營運該服務?以及在變更之前,品牌會收到哪些資訊?這三個問題的答案會決定專案的商業架構;現在取得的成本,遠低於文案印刷完畢後再重新協商的代價。
將九列問題清單寄給每一位候選者。所有人要問的問題完全相同,因此比較結果公平,答案也具有可比性。
將四種降級狀態納入驗收標準。正常運作、性能降級、無網路、撤回。文案是依照最糟的情況撰寫的,而最終保留下來的也會是這份文案。
請將您打算發布的功能寄給我們。我們會與您共同設計六個階段,告訴您哪些測量數據能決定該功能是否適合您的通路,並回報結果,包括不利於該功能的數據。
相關閱讀
- 樣品上的標準測試流程 — 如何測量 AI 功能
- 預購計畫 — 預購前測試 AI 功能
- 應避免的主張謬誤 — AI 常見錯誤
請將您打算發布的功能告訴我們,我們會與您共同設計六個階段。



