針對 AI 功能的案例研究幾乎總是無法發布,因為它只呈現結果,卻未交代促成該結果的條件。因此,智慧眼鏡 AI 功能智慧眼鏡案例研究範本並非真正的發布範本,而是一種產生證據的方法,用來驗證一項無法事先明確規定的能力。如果您閱讀過我們其他 AI 相關報导,就會知道我們的 文件並未公布我們任何 28 款模型的準確度數據、語言支援範圍、延遲或架構細節,這表示我們並沒有可供您重現的相關研究。
正因如此,這份範本才至關重要。在大多數品類中,買家可以撰寫規格,並依此檢核供應商是否符合。但在 AI 品類中,能力相關問題——準確度、語言支援範圍、離線運作、延遲——完全無法透過文件解決,因為這類產品根本沒有相關文件可供查閱,而大多數供應商的情況大致相同。因此,樣品就是測量工具。這是唯一能產生與您特定產品相關數據的裝置。
智慧眼鏡 AI 功能:為何研究無法發布
結構性問題
案例研究是對已發生事件的報告,而報告只有在讀者能判斷究竟因應哪些條件而發生該事件時,才有實用價值。大多數 AI 功能研究都會以下列三種方式之一,未能通過這項檢驗。
缺少條件。研究僅列出「客戶查詢準確度達 92%」,卻未提供內容集、語言組合、網路狀況及日期。這個數字並非測量結果,而是一個失去参照對象的數字,無論您或其他人都無法重現。
缺少失敗案例。研究只呈現成功之處。成功案例報告屬於示範,而失敗清單才是真正具有工程價值的部分。這也是讓買家判斷該功能能否承擔行銷主張的部分。
缺少需求。研究在未先以書面形式界定功能必須做到哪些事情的情況下執行,因此只能產生數據,無法形成決策。這是最常見也是代價最高的問題,因為買家最後只能將數據與某項從未寫下、無法核實的預期進行比較。
為何文件無法取代研究
這個品類的能力相關問題並未公布。我們沒有公布,從買家向我們提供的資訊來見,大多數供應商也沒有公布。目前既沒有針對穿戴式裝置 AI 準確度的標準測試方法,也沒有標準的延遲測量條件,更沒有「離線支援」的標準定義。
在實務上,這代表樣品就是測量工具,而要產出一份站得住腳的結果,大約需要一天的作業時間。相較於上市排程而言,這一天確實是實際成本;但與產品上架後才發現其運作情況相比,這只是非常小的成本。
範本的用途
這個品類的範本並非文件格式,而是一套流程規範,其目的在於同時確保兩件事:結果具體到足以採取行動,而且其他人能夠重複驗證。
以下六個欄位是達成此目的的最低要求。每個欄位都能解決一項特定缺失;任何缺少其中一項的研究,都不應作為證據傳閱——這並非因為研究不誠實,而是因為它無法作為決策依據。

讓研究得以重現的六個欄位
第一個欄位:需求集
以書面形式界定該功能必須做到哪些事情,並於第一次提示前完成撰寫及標註日期。內容不是一份理想行為清單,而是針對每項功能設定門檻,並使用該通路實際重視的術語。
以零售通路中的翻譯功能為例,需求集可能包括:必須支援所列語言的翻譯;口語要求的轉錄準確度必須足以據以執行;回覆必須在指定時間內,透過指定連線方式送達;系統不確定時,必須明確告知,而非流暢地編造答案。
需求集能將研究從單純描述轉化為決策依據。這也是最常被略過的欄位,因為在您必須判斷結果是否通過門檻之前,它見起來都只像是一堆文書工作。
第二個欄位:內容集
五十個近似您客戶實際會說的句子。內容應包含專有名詞、數字、單位、產品代碼、可能指涉兩種事物的名稱,以及刻意製造歧義的片語。
通用測試集只會產生通用結果,無法告訴你任何關於產品的資訊。三十個簡單句子加上二十個刻意設計的困難句子,會比五十個連展示腳本都能通過的句子更有效。
測試集應由熟悉該通路的人員撰寫,而不是交給最有空的人。閱讀過上千張同類別工單的支援主管,比僅依據功能清單撰寫內容的工程師更了解哪些字詞實際會出現、哪些容易被誤聽,因此能編寫出更好的測試內容。
第三個欄位:網路狀況
每次測試執行時的連線狀況。較有用的呈現方式是:以你們最差市場的正常狀況為準,而非供應商展示室內的網路狀況。
如果你的通路包含連線不穩定的市場,那麼研究中所谓的「正常」狀況就是連線不良,而結果會告訴你,該功能在那裡是否實用,還是僅僅存在。這個欄位最常被略過,卻也是對結論影響最大的欄位。
第四個欄位:無網路測試
這是最常被省略的欄位,也是決定產品能在哪些環境中使用的關鍵。關閉網路,並逐一列出仍可正常運作的功能:拍攝、通話、播放、助理與設定。
如果你的客戶會在倉庫、地下室,或國外使用連線不良的環境,那才是實際運作狀況,而非邊緣案例。無網路測試能告訴你,AI 功能是必要依賴,還是僅為加分項——也因此決定你能否將其包裝成購買產品的理由。
第五個欄位:失敗清單
具體記錄失敗情況,包括輸入內容、輸出內容,以及失敗原因。不是統計數量,而是一份清單。
數量只能告訴你失敗率,而缺乏背後輸入內容的失敗率無從採取行動。這份清單會告訴你,哪些輸入可能發生問題,而支援腳本、培訓簡報與商品頁面的注意事項,都應據此撰寫。
第六個欄位:條件、版本與地點
型號、韌體版本、日期、地點、語言配對、裝置識別資訊,以及用於計時的工具。這是最常被遺漏的欄位,也是讓研究結果與單一親身經歷之間產生差異的關鍵。
如果缺少這些資訊,你就無法重現結果——也就是說,結果根本無法被重現,因為測試裝置已不復存在,而韌體也已更新。

建立真正能測試功能的內容集
可產生可比結果的方法
內容集是整個範本中最需要判斷力的部分,因此值得精確說明如何建立,才能讓其他工程師也能使用。
從真實輸入開始,而非見似合理的輸入。 最佳來源是你的通路已經收到的支援工單、通話紀錄、查詢紀錄或語音筆記。從中抽取樣本,再移除其中的個人資訊。如果通路是全新的,次佳來源則是業務最常被問到的十個問題,並以客戶的說法而非產品用語來撰寫。
刻意分層安排難度。 將五十個句子分成三個等級,並在筆記中記錄各等級的數量:示範可以通過的要求、包含專有名詞、數字或單位的要求,以及真正含糊的要求——可能指兩個人的名稱、缺乏上下文的數字,或有兩種解讀方式的詞語。第三級才是工程價值所在,也是流暢但錯誤的答案所帶來的風險浮現之處。
刻意加入負面案例。 每組測試都需要加入應被拒絕或沒有正確答案的提示。自信且流暢地輸出荒謬內容的系統,比完全沒有回應的系統危害更大;而這個問題在展示中不會被發現,因為展示所使用的提示全都是能正常運作的。
在樣本寄達前撰寫測試集,至少也要在親眼確認它能運作前完成。結果出爐後才撰寫的測試集,只是在描述產品,而非測試產品;兩者的差異無法從輸出中察覺,只有知道你原本打算納入哪些內容才能辨識。
執行測試並記錄結果
在明載的網路狀況下,於樣本裝置執行每個提示,並為每個提示記錄四項資訊:系統說了什麼、回傳了什麼、花費多少時間,以及答案是正確、不完整、錯誤,還是正確拒絕。
評估每次回應時,除了記錄原始數值,也要對照固定門檻。單純呈現原始延遲數值卻未附上門檻,無法說明該功能是否實用;有了門檻,就能判定通過或不通過,而這項結果便能納入規格。
在斷網狀態下,以相同的一組提示重複測試,並記錄仍能取得回應的項目。若第一組提示中有項目在斷網後失敗,該項目便應列入產品說明的限制項目。
以下工作流程可輕鬆在一個日內完成,適用於一項產品的一項功能;流程刻意安排先執行難度較高的測試,讓團隊在仍專注於測試時完成。
三類讀者,同一項研究的三種版本
研究通常必須同時滿足三類讀者;若只撰寫一份文件並試圖涵蓋所有人,往往會出錯。他們需要不同資訊,也需要不同程度的細節。
內部團隊——產品、客服與行銷——需要失敗項目清單與限制項目清單。他們必須知道哪些輸入會失敗,以及功能在無連線時的表現,因為客服腳本與教育訓練簡報都是依據這些內容編寫。他們不需要每個提示的原始計時數據,而是需要測試門檻及是否達標的結果。
供應商需要需求項目清單、內容項目清單與失敗項目清單,並以能採取行動的形式呈現。值得直接提供內容項目清單,因為供應商若能見到確切的提示,就能重現測試並解釋失敗原因;這比在電子郵件中逐一描述 50 段話語更快。
面向客戶的團隊——通路、零售人員與經銷商——只需要一頁內容:功能的優勢、無法處理的事項,以及客戶要求超出功能範圍時的回應方式。這一頁最後撰寫,因為其中每一項資訊都必須準確,而只有在掌握失敗項目後,才能確保其正確無誤。
依此順序撰寫,也能避免研究受到行銷受眾的影響。若先撰寫產品說明,內容項目清單往往會依既有文案所承諾的句子建立,之後的研究便只是佐證文案,而非測試產品。這正是整套範本旨在避免的失敗模式。
讓研究在產品上市後持續發揮作用
研究通常在產品上市後的幾個月內最具價值;此時第一批真實查詢湧入,測試項目與實際情境之間的落差也會浮現。
建立兩項習慣即可達成此目的。隨研究保留內容項目清單與測試條件,而不只保留結果,讓後續測試能與第一次測試進行比較;以及依明確的間隔與觸發條件安排重新測試——例如韌體更新後、供應商變更後,以及任何可能帶來異常流量的重大推廣活動之前。若 AI 功能自上次研究後已在不知情的情況下變更,其產品說明可能已不再準確;透過研究察覺這項變更的成本,遠低於透過客訴發現問題的成本。

將研究轉化為決策,而非只是一份文件
與需求項目清單比較,而非與其他產品比較
若您在測試前已明確定義功能必須完成的內容,如今便有可供採取行動的答案;若未定義,則只有數據,沒有問題。這正是第一個欄位存在的理由,值得再次強調,因為多數研究都在這個環節出錯。
在此類別中,將結果與其他供應商的結果比較,幾乎都是錯誤做法,因為兩份結果是在不同條件、不同內容項目清單與不同門檻下產生的。最終,您會依數值而非證據做出選擇。
有效的比較包含三個步驟:將您的結果與您的需求項目清單比較、將您的結果與其他供應商使用相同需求項目清單所得的結果比較,再評估兩者差距對您的成本影響。第三個步驟是買方最常忽略的,卻也是將測試結果轉化為採購決策的關鍵。
將研究寫成其他人能重複執行的形式
這表示要記錄內容項目清單、測試條件與方法,而不是結論。若其他工程師無法重現某項結果,那便只是附上表格的主張。
這份報告應簡短到同事願意閱讀,完整到同事能夠依照執行。實務上包含:需求項目、實際的 50 項提示詞內容、條件表、列出失敗項目的結果表,以及一段結論,說明哪些需求通過、哪些未通過。
根據結果判斷降級情境
斷網測試決定了這項功能能成為必要依賴,還是只能作為 enhancements。如果降級情況可以接受,這項功能就能安全地成為行銷重點。如果降級會讓產品無法再達成消費者購買時所期待的功能,那麼就必須修改文案或產品;在這裡做決定,比上架後再處理更省成本。
失敗項目清單還會帶出第二個判斷:失敗模式是否見得見。系統說「我沒有捕捉到那句話」,只不過是客服話術;系統自信地給出錯誤答案,則完全是另一類問題。如果測試集太客氣,這種問題不會出現在你自己的測試集中。
研究的商業影響
完成一項研究會改變三項商業決策;與其讓它放在資料夾裡吃灰,不如主動善加運用。
訂單的驗收標準。你測得的門檻會成為訂購單中的驗收標準,而不符合門檻的批次就是你可以拒絕的批次。如果沒有這項研究,就沒有可供拒絕的依據。
保固。依據第六個現場的失敗準則所制定的保固,在提出理賠時具備可衡量性。依據功能描述制定的保固,則只會變成一場協商。
商品頁面。失敗項目清單與斷網測試會決定你的文案。由實測結果建立的精準描述站得住腳;由示範建立的廣泛描述則站不住腳。
我們自身做法所留下的空白
我們的文件在多款相機平台中都提及 AI 語音助理功能,並在獨立網站上說明 AI 翻譯支援。我們沒有公布準確率、支援語言清單、延遲時間、離線行為、處理地點、訂閱條款或資料司法管轄區。
這表示我們無法為自家產品提供這份範本的完整版本;我們寧可據實說明,也不願發布一項無法描述測試條件的研究。這也表示,如果你對我們的其中一款樣品執行這項研究,你將會產出供應鏈中其他人都不具備的證據——對製造商而言,這是很奇怪的位置,但對買家而言卻很有用。
我們能提供的是另一半服務。把你對我們其中一款樣品執行研究後的結果寄給我們,我們會告訴你哪些結果與我們公布的資料一致,哪些不一致。無論對我們或你而言,與我們文件內容相衝突的結果都值得了解。
為了說明我們的型錄有哪些資料、哪些沒有:28 個型號項目中有 20 個被指定為 AI 產品——11 款相機型號、8 款音訊型號,以及 1 款不配備相機的電致變色產品——而這個數字只是產品系列的命名慣例,並不表示有 20 款產品採用同一套實作。在相機產品群中,我們公布電池容量、充電介面、解析度等級、額定續航時間與充電時間;8 款音訊型號另外公布 Bluetooth 版本,相機系列則未公布。整份型錄只出現一項重量資料,即 MT6 相機平台不含其可摺疊充電殼的 158 g;沒有任何型號公布配備 AI 的組態重量。
這個落差一致且可以解釋:我們公布的是自家組裝產品的資料,而不是由他人提供的功能之實作特性。同一原則也適用於感光變色系列中的鏡片,以及無線射频認證狀態:我們的型錄在公司層級載有出口認證聲明,卻沒有各型號的認證資料列。這是一條關於我們能夠誠實提供哪些證據的原則,並適用於我們列出的每一款產品。
這也是我們無法為自家產品發布這份範本完整版本的原因。根本沒有完整版本可以發布,而自行撰寫,就代表要麼虛構測試條件,要麼沿用供應商的條件;無論採取哪一種做法,都撐不過第一位追問數字如何得出的客戶。
功能背景請參閱智慧眼鏡的 AI 功能。本測試揭示的限制位於我們所知的 AI 功能限制,測試聲稱的方法位於AI 功能製造商聲稱,開始測試前需要建立的項目位於AI 功能採購清單,而樣品測試 protocol 本身則位於樣品評估。
相關閱讀
- 本測試旨在找出哪些問題 — AI 功能限制與缺點
- 測試前需要建立的項目 — AI 功能採購清單
- 樣品測試 protocol 本身 — 樣品評估
如果您已進行相關研究,請傳給我們,我們會告訴您哪些結果與我們發布的項目一致。



