智慧眼鏡 OEM/ODM 製造商·中國深圳 +86 19835872450 sales@cynrin.com
智慧眼鏡技術

智慧眼鏡 AI 功能:實務品質控制

AI 功能品質控制有別於一般情況,值得在深入細節前先說明清楚,因為這正是此領域重視規範的原因……

由 CYNRIN 工程與採購團隊提供/ Mar 28, 2023/ 3 分鐘閱讀
智慧眼鏡 AI 功能:實務品質控制

AI 功能的品質管制有其獨特之處,值得在進入細節前先加以說明,因為這正是這個領域的嚴謹要求與其他所有品質管制領域不同的原因。

硬體產品中的其他每一種品質管制領域,檢查的都是實際存在的物件。電池要嘛有電,要嘛沒電;相機要嘛能對焦,要嘛不能。AI 功能則不同:它是一種行為,取決於模型、網路、服務、語言組合、輸入內容以及使用時機。即使產品組裝完全正確,功能仍可能無法運作;而且這類故障經常在工廠中難以察覺,因為工廠的網路、工廠的帳戶及工廠的語言設定都不等同於客戶的環境。因此,智慧眼鏡 AI 功能智慧眼鏡品質管制的重點在於測試功能實際被使用的情境,而非產品製造完成的階段。

智慧眼鏡 AI 功能:四個測試層級與驗收腳本

智慧眼鏡 AI 功能:為何工作檯測試會失敗

必須設計這套制度的採購方

讀者是品牌品質工程師或採購經理,必須訂定供應商應遵循的驗收標準,並已發現一般進貨檢驗制度並不適用。該制度適用於硬體,卻無法適用於依賴服務的行為。

本文要解決的正是這項實務問題。採購方可以要求三類制度:由工廠執行的工廠測試制度、由採購方執行的買方驗收制度,以及雙方共同執行的共享制度。這個領域的大部分混淆,都源自未先確定每項檢查屬於三者中的哪一種,結果在量產進行到一半時才發現,某項無人負責的檢查竟由無法存取所需帳戶或網路狀態的人員執行。

工廠測試不足的三個原因,以及各自造成的結果

1. 帳戶與訂閱。需要帳戶、登入或訂閱的功能,在工廠中可能完全正常,卻對尚未登入、試用期已到期或訂閱方案錯誤的客戶完全無法使用。症狀是客戶反映功能無法運作,而工廠提供的功能正常證據毫無價值。能偵測此問題的檢查是新帳戶測試與過期方案測試,而兩者都需要工廠不持有的憑證。

2. 網路與地區。在雲端服務中執行的功能,會受到服務可用性、客戶所在地區及當地網路影響。在某個國家的單一網路環境中進行工廠測試,無法證明另一個國家的客戶也能正常使用。症狀通常是退貨集中在單一市場,見起來像是市場問題,實際上通常是網路或地區設定問題。

3. 語言與輸入。翻譯或語音功能在工廠設定中運作正常,不代表能處理客戶的語言、口音、噪音環境或測試集以外的詞句。這不是缺陷,而是範圍限制,必須明文記載。能偵測此問題的檢查,是使用買方自有的詞句集,在買方自身的環境中執行。

上述三種情況各自造成不同的故障,且工廠測試都無法察覺。這正是採用以下四層架構的完整理由。

AI 生成的智慧眼鏡 AI 功能實務品質管制照片 — 圖 1/3

四個測試層級及其可證明的事項

第一層:硬體

麥克風能否收音、處理器能否運作、網路無線電是否正常、電源管理是否 behaving。這是工廠測試,也是多數品質管制系統已經涵蓋的層級。值得做好,因為整個技術堆疊中,只有這一層的故障能靠更換產品解決。

第二層:服務

端點能否回應、帳戶能否取得授權、訂閱狀態是否允許呼叫,以及是否支援該地區。此層級需要使用與客戶設定相近的有效憑證。由於工廠帳戶具備使用權限,而客戶帳戶可能沒有,因此不能使用工廠自身的帳戶作為工廠測試來執行——具備權限的帳戶與未具備權限的帳戶之間的差異,正是客戶實際感受到的差異。

第三層:行為

指令集、延遲、準確度、範圍外要求的處理能力,以及噪音下的效能退化。此層級必須依腳本執行,而不能僅以示範驗證,因為示範只是單一的有利個案,行為則是一種分布。腳本由買方提供,原因將於本文後續說明。

第四層:使用體驗

配對、首次設定、應用程式處理失敗請求的方式,以及網路中斷時顧客會見到什麼。這是造成退貨的一層,也是沒有人測試的一層,因為這需要一位從未使用過產品的人來測試。

驗收腳本及各項目的負責人

每一層能與不能證明的事

將各層分開的價值在於,每一層都會產生不同類型的證據,而且各有不同的負責人。

第一層會產生對照規格的測試紀錄,工廠就能完成。第二層會產生端點與帳戶紀錄,需要具備買方帳戶。第三層會為每台裝置產生結果表,而測試腳本必須由買方提供。第四層會產生工作階段觀察紀錄,而測試者必須是買方的使用者。

這能清楚回答買方最常針對此類產品提出的問題:整套制度有多少可以交由工廠執行。誠實的答案是最底層,再加上服務層中可用品牌提供的測試帳戶進行測試、且經授權供工廠使用的部分。

驗收腳本,以及誰必須負責

八個項目

  1. 二十項指令的指令集,由買方撰寫,而非供應商提供。每項都是該功能在你的使用情境中必須完成的事,而且腳本要對每台樣品執行,而不是只跑一次。
  2. 實測延遲。在實際使用環境中,測量從語音結束到回應開始的時間。在安靜辦公室裡瞬間完成的功能,在街道上並非如此。
  3. 網路依賴性測試結果。在關閉網路連線的情況下,確認哪些功能仍可使用。這項測試比任何規格都更能揭示系統架構。
  4. 四種情況下的失敗行為。輸入不明確、範圍外的請求、以第二種語言提出的請求,以及在吵雜環境中提出的請求。使用者在每種情況下見到什麼,正是功能與瑕疵製造機之間的差別。
  5. 帳戶與訂閱狀態。至少測試兩次:一次使用全新帳戶,一次使用訂閱已失效的帳戶。
  6. 地區與網路差異。至少要使用另一個網路進行測試;若產品在多個市場銷售,則每個市場的網路都要各測一次。
  7. 升級路徑。從出貨時的韌體版本升級至目前版本,以及使用舊版時顧客的體驗。這項測試經常被略過,之後卻令人懊悔。
  8. 資料處理與儲存位置。確認音訊與產生的資料在哪裡處理及儲存,以及顧客在應用程式中會見到什麼。這是品質管制無法回答的法律問題,而且必須在測試具有意義之前先回答。

品質管制關卡順序

為何買方必須撰寫腳本

這是整套制度中爭議最大的單一重點,值得好好論辯,而非直接斷言。

供應商知道哪些路徑可行。這確實是專業知識,也是應該請供應商就腳本提供建議的原因。但只有買方知道顧客實際會要求什麼,而這二十項指令理應就是顧客實際會做的二十件事。由供應商撰寫的腳本,是依據供應商自己的假設來衡量供應商的產品,因此每次都會通過。

兼顧雙方的方式,是先由買方寫出這二十項指令,再由供應商在測試執行前提出意見。買方保留清單的所有權;供應商則有權指出其中三項在此配置下無法達成,而這本身就是寶貴的資訊,因為它能提前預警商品頁面可以宣稱哪些功能。

將腳本轉為驗收標準

如果腳本只存在於試算表中,而未納入採購訂單,那它就只是測試,不是標準。門檻必須事先明文訂定,而且必須是買方即使大量項目未達標也願意據以判定失敗的數字。實際可行的門檻很簡單:在指定環境中成功完成的二十項指令數量、可正常運作的離線功能清單、延遲上限,以及四種失敗情況皆產生約定的行為。

失敗的後果也必須事先議定。在這個類別中,惯例安排是:試製品批次若未通過便不予出貨,第二輪評測則由供應商出資。第二項條款尤其值得談判,因為 AI 功能是產品中最可能無法通過首次驗收測試的部分;不願意負擔第二輪評測費用的供應商,等於是在告訴買方,他們對第一輪測試有多大信心。

AI 生成的攝影圖,說明眼鏡 AI 功能:實務品質控制 — 第 2 張,共 3 張

來料檢驗在哪裡結束,行為測試從哪裡開始

分界線及其商業重要性

來料檢驗是針對規格進行的逐批次關卡。當規格描述的是實際存在的物品時,這種方法有效;但不適用於行為。因此,分界線並不是流程中的一個階段,而是取決於:檢查人員能否僅持有一台設備,依據書面規格進行測試,全程不需使用網路、帳戶或任何服務。

分界線左側的一切都屬於來料檢驗,應作為放行標準納入供應協議;右側的一切則屬於驗收測試,應納入專案計畫,並確認買方投入資源及附上買方的測試腳本。

測試層級、所需環境及其產出的文件

批次放行實際需要哪些條件

我們系列中的相機型號要進行批次放行很直接:設備符合該型號公布的規格——解析度級別、電池容量、充電行為、續航時間範圍、充電方式——而且該配置已備妥各型號證書登錄冊(見認證檢查清單)及電池運輸文件(見電池運輸)。

對於具備 AI 功能的批次,同樣的放行作業還必須加入一項在硬體領域沒有先例的文件:驗收腳本產生的結果表,並與特定韌體版本及特定帳戶配置相互對應。沒有這份文件,批次只會依硬體條件放行,而功能狀態仍然不明;整篇文章正是為了避免這種情況。

關於這條分界線還有另一個實務重點。這些腳本所需的設備數量很少,但協調成本很高——針對出貨版本,在買方環境中,以兩台設備執行二十道指令,並在斷網狀態下完成測試。協調成本正是應提早安排驗收測試的原因:應在試製層級進行,而非等到量產層級;這也是買方應保留測試設備,而非接收剩餘設備的原因。

驗收測試由誰付費,以及必須談判哪些事項

這種制度下的成本分攤方式很不尋常,曾執行硬體專案的買方往往會估算錯誤。硬體層的成本已包含在產品單價中。服務層的成本包括品牌提供測試帳戶、少量流量,以及維護帳戶人員的時間。行為層的成本包括品牌執行二十道指令、準備測試環境,以及投入撰寫觀察表的人力。體驗層則要花費品牌一個陌生人的下午。

換句話說,驗收成本中最大的一部分由買方而非工廠承擔,而且負擔落在買方人員身上,而非其預算。因此,有三項商業條款值得在下單前敲定,而不是等到第一波活動進行時才處理。

第一項是:第一輪評測若失敗,供應商是否出資進行第二輪評測。AI 功能是產品中最可能無法通過首次驗收測試的部分;不願意負擔第二輪評測費用的供應商,等於是在告訴買方,他們對第一輪測試有多大信心。

第二項是:供應商是否具備執行腳本的能力,這取決於其獲准執行哪些層級。具備該帳戶配置的供應商可以執行行為層;沒有該配置的供應商則無法執行,整套制度便取決於買方前往工廠,或工廠前往買方環境。

第三項是文件格式。如果每次測試後,都必須由工廠人員將結果表重新輸入買方的格式,這份紀錄不到一個季度就會失去可信度。採用既定版面並標示版本識別碼的結果表,才能讓這些證據適用於整個量產批次,而非僅限於單一活動。

AI 生成的攝影圖,說明眼鏡 AI 功能:實務品質控制 — 第 3 張,共 3 張

AI 品質控制制度製造虚假信心的四種方式

測試展示流程。腳本化展示是在工廠的配置下,使用工廠的帳戶執行順利情境。這每一項都是受控變數,而真正值得關注的故障,全都存在於未受控制的變數中。這是最常見的錯誤,也是危害最小的一種,因為這類問題通常會在現場浮現,而不是在稽核中發現。

將依賴雲端的功能視為硬體功能。 一旦某項功能仰賴服務,就會產生工廠無法控制的依賴關係,而測試制度也必須反映這點。這是最常見的結構性錯誤,也正因如此,服務中斷才會被誤當成保固索賠。

未測試實際出貨的韌體版本。 樣品上的版本與量產裝置上的版本可能不同,而意外之處往往就藏在差異之中。這項檢查成本很低——只需在每份結果表中記錄組建識別碼——但忽略它卻代價高昂,因為不同組建之間的行為變更到了客戶手上時,與缺陷難以區分。

讓供應商自行制定驗收標準。 這會導致大量產品在缺乏行為測試證據的情況下獲准放行,因為標準正是由受測的一方所制定。

產品離開工廠後,缺陷由誰負責

背後的升級處理問題

這四種錯誤都有一項共同後果,也就是在商業上最重要的一點。責任歸屬不清的缺陷便無法分流。服務中斷、方案到期和語言設定錯誤,在客戶眼中都是同一件事——功能無法使用——但其中只有兩項能靠更換裝置解決。因此,責任矩陣並非單純的技術圖表;它決定了保固預算是否會花在從未故障的裝置上,也因此,分流處理必須在更換之前完成,而非事後才做。

我們能採取與不能採取的生產立場

我們已公開立場涵蓋的範圍

我們堅守的界線是:依產品目錄所列內容公開 AI 功能,而不會為這些功能附加型號名稱、語言數量、延遲時間、離線聲明或訂閱方案,因為針對此系列機型,這些資訊均未向我們公開。我們不會把行銷用語當作規格重複宣稱;此外,我們產品目錄中的匯出認證屬於公司層級的能力,而非各機型各自的認證項目,因此不會以個別機型認證的形式呈現。

我們能做的是準確告知已公開的配置,並說明八項驗收項目中,哪些需要使用中的服務與類似客戶的帳戶,而非台架測試——因為這些正是工廠品質管制制度無法發現的項目。

對於功能背後涉及商業面的問題,我們也會直言:它是在裝置上執行,還是透過服務執行;是否需要訂閱;支援哪些語言配對及哪個翻譯方向;以及資料流向何處。這四項答案會決定您的零售市場定位,而且它們並非工程問題。

我們做不到的事,坦白說明

我們無法公布任何機型的準確率、延遲時間、語言數量、離線行為、處理位置或資料傳輸路徑,因為我們尚未在明確條件下進行測量。我們也無法提供操作指令行為層的通過率,因為指令腳本屬於買方,而結果取決於買方的指令、買方的環境及買方的帳戶設定。供應商若公布此行為層的通用通過率,實際上是在公布一個由無人見得見的指令腳本所產生的數字。

我們能做的,是與您一起執行測試。請向我們提供二十項指令、相關環境及帳戶設定,我們會在您指定的裝置與指定的組建版本上執行,並如實記錄結果。能解決這類問題的測量表位於測量 AI 功能,樣品的測試protocol位於訂購前測試 AI 功能,第七項驗收項目所依賴的升級考量則載於AI 功能升級考量。最初用來產生各項資料列的規格判讀方法,請參閱AI 功能資料表判讀方法。

功能必須完成的任務

請告訴我們這項功能預期要完成什麼,我們就會告知您驗收指令腳本應包含哪些內容、八個項目中哪些可與您共同執行,以及哪些必須在具備您的帳戶與環境後才能完成。平台背景資訊請見AI 功能技術,相關應用領域請見AI 內容創作者解決方案。


延伸閱讀

請告訴我們這項功能預期要完成什麼,我們就會告知您驗收指令腳本應包含哪些內容。

在 WhatsApp 上聊天
Your experience on this site will be improved by allowing cookies.