AI 功能的质量控制有些不同寻常,这一点值得在介绍具体内容之前先说明,因为它解释了为什么这一领域的质量控制规范与其他所有质量控制领域不同。
硬件产品中的其他每一项质量控制检查的都是实际存在的东西。电池要么有电,要么没有;相机要么能够对焦,要么不能。AI 功能则不同:它是一种行为,取决于模型、网络、服务、语言组合、输入以及具体时刻。即使设备组装正确,该功能仍可能失效,而且这类故障在工厂中往往难以发现,因为工厂的网络、工厂的账号和工厂的语言配置都与客户的不同。因此,智能眼镜AI功能智能眼镜质量控制的核心在于测试功能实际使用时的行为,而不是构建时的行为。
智能眼镜AI功能:为何台架测试会失败
必须制定这一体系的采购方
本文的读者是品牌质量工程师或采购经理,需要明确供应商应达到哪些要求,并且发现常规来料检验体系并不适用。该体系适用于硬件,却无法适用于依赖服务端的行为。
这正是本文要解决的实际问题。采购方可以要求三方面的测试:由工厂执行的工厂测试体系、由采购方执行的采购方验收体系,以及双方共同执行的共享体系。本领域的大多数困惑都源于没有先确定某项检查属于这三类中的哪一类,随后在生产进行到一半时才发现,某项无人负责的检查竟由无法访问所需账号或网络状态的人员执行。
工厂测试不够充分的三个原因及其各自造成的故障
1. 账号与订阅。需要账号、登录或订阅的功能,在工厂中可能完全正常,但对于尚未登录、试用期已过或订阅了错误套餐的客户而言,则可能完全无法使用。客户会反馈该功能无法使用,而工厂提供的正常证据毫无价值。能够发现此问题的检查包括新账号测试和过期套餐测试,而这两项测试都需要工厂并不持有的凭据。
2. 网络与地区。在云服务中运行的功能会受到服务可用性、客户所在地区和当地网络的影响。在某个国家的一张网络上完成工厂测试,无法证明该功能适用于另一地区的客户。其症状通常是退货集中于某个市场,看起来像是市场问题,实际上通常是网络或地区配置问题。
3. 语言与输入。翻译或语音功能在工厂配置下可能运行正常,却可能无法处理客户的语言、口音、噪声环境或测试集之外的短语。这不属于缺陷,而是范围边界,必须明确记录。能够发现此类问题的检查,是使用采购方自己的短语集并在采购方自己的环境中执行测试。
这三类原因各自会引发不同的故障,而且工厂测试无法发现其中任何一种。这正是下文采用四层结构的全部理由。

四个测试层级及其各自能够证明的事项
第一层:硬件
麦克风能否采集声音,处理器能否运行,网络无线电功能是否正常,电源管理是否正常。这是工厂测试,也是大多数质量控制体系已经覆盖的层级。做好这一层测试很有价值,因为整个技术栈中,只有这一层发生的故障可以通过更换设备来解决。
第二层:服务
端点能否响应,账号是否获得授权,订阅状态是否允许调用,所在地区是否受支持。这一层需要有效凭据,并采用与客户相似的配置。它无法使用工厂自有账号作为工厂测试来执行,因为工厂账号拥有相应权限,而客户账号没有——而有无权限的差异,恰恰就是客户实际感受到的差异。
第三层:行为
命令集、延迟、准确率、对超出范围请求的处理能力,以及在噪声环境下的性能衰减。这一层必须通过脚本执行,而不能仅靠演示,因为演示只是单次有利实例,而行为则是一种分布。出于本文后文所述的原因,该脚本应由采购方提供。
第四层:使用体验
配对、首次设置、应用程序处理失败请求的方式,以及网络中断时用户看到的内容。这一层最容易导致退货,却也是最无人测试的一层,因为它需要一个从未见过该产品的人来测试。
每一层能证明和不能证明的内容
分层体系的价值在于,每一层都会产生不同类型的证据,每一层也都有不同的负责人。
第一层会生成对照规格的测试记录,工厂即可完成。第二层会生成端点和账户日志,需要买方账户。第三层会为每台设备生成结果表,测试脚本必须由买方编写。第四层会生成会话观察记录,测试用户必须是买方的人。
这样就能清楚回答买方针对这一品类最常提出的问题:这套测试体系中有多少内容可以交给工厂?诚实的答案是最底层,再加上服务层中那些可以使用品牌提供并授权工厂使用的测试账户进行验证的部分。
验收脚本及其负责人
八个项目
- 二十条命令组成的测试集,由买方编写,而不是供应商提供。每条命令都对应你的使用场景中该功能必须完成的事项,而且脚本要在每台样品上运行,而不是只运行一次。
- 实测延迟。从讲话结束到响应开始的时间,测试环境应与实际使用环境一致。在安静办公室里即时响应的功能,在街道上并非如此。
- 网络依赖测试结果。在断开网络连接的情况下,哪些功能仍然可用。这项测试比任何规格都更能揭示系统架构。
- 四种情况下的失败表现。含义不明确的输入、超出支持范围的请求、以第二种语言提出的请求,以及在嘈杂环境中提出的请求。用户在这四种情况下看到的表现,决定了一项功能究竟是真正可用,还是只会制造问题。
- 账户和订阅状态。至少测试两次:一次使用全新账户,一次使用订阅已失效的账户。
- 地区和网络差异。至少使用一种不同网络进行测试;如果产品在多个市场销售,则需在每个市场的一种网络上进行测试。
- 升级路径。从出厂固件版本升级到当前版本,并验证旧版本用户的使用体验。这项测试往往被跳过,之后又会让人追悔莫及。
- 数据处理与存储情况。音频及由此产生的数据在哪里处理和存储,以及用户在应用程序中会看到什么。这是质量控制无法回答的法律问题,必须在测试之前得到明确答复,测试才有意义。
为什么脚本必须由买方编写
这是整套测试体系中最有争议的一点,值得充分讨论,而不是直接下结论。
供应商知道哪些路径可以正常工作。这是真正的专业经验,因此应当请供应商就脚本提供建议。但只有买方清楚客户实际会提出什么要求,而这二十条命令也应该涵盖客户实际会做的二十件事。由供应商编写的脚本,只能依据供应商的假设来衡量供应商的产品,因此每次都会通过测试。
兼顾双方的做法是,先由买方编写这二十条命令,再由供应商在测试运行前提出意见。清单的所有权仍归买方;供应商则可以指出其中三条命令在此配置下无法实现,这本身就是有价值的信息,因为可以提前警示商品详情中哪些内容可以写、哪些不能写。
将脚本转化为验收标准
如果脚本只存在于电子表格中,而没有写入采购订单,它就只是一项测试,而不是一项标准。合格阈值必须事先写明,而且必须是买方愿意因此淘汰大量产品的数值。切合实际的阈值很简单:在指定环境中成功执行的命令数量、仍能正常使用的离线功能清单、延迟上限,以及四种失败情况下均能产生约定表现。
失败后果也必须事先商定。在这一类别中,通常的做法是,试制批次不合格不予发货,并要求供应商承担第二轮评估的费用。第二项条款尤其值得谈判,因为AI功能是产品中最有可能在首次验收测试中失败的部分,而不愿承担第二轮测试费用的供应商,实际上是在向买方表明其对首次测试有多大信心。

来料检验与行为测试的边界
分界线及其商业意义
来料检验是依据规格对每个批次进行放行把关。当规格描述的是实体存在且可直接检查的物品时,这种方式有效;但对于行为,它并不可行。因此,区分标准并不在于流程处于哪个阶段,而在于检查能否由持有产品的人员依据书面规格执行,且全程不涉及网络、账户或服务。
分界线左侧的所有事项均属于来料检验,应在供应协议中列为放行标准。分界线右侧的所有事项则属于验收测试,应纳入项目计划,并明确落实买方所需资源,同时附上买方的测试脚本。
批次放行的实际要求
对于我方产品系列中的某个摄像头型号,批次放行流程相对简单:产品符合该型号已公布的规格——分辨率档位、电池容量、充电表现、续航区间、充电方式——并且该配置对应的型号证书记录和电池运输文件已分别存档于认证核查清单和电池运输页面。
对于包含AI功能的批次,同一批放行流程还必须增加一种在硬件领域前所未有的产物:与特定固件版本和特定账户配置绑定的验收脚本结果表。如果缺少该产物,批次将仅依据硬件性能放行,而功能状态则无从得知——本文正是为了避免这种情况。
关于这条分界线还有第二个实务要点。脚本测试本身的产品成本很低,但协调成本很高——需要在买方环境中,针对出货版本的两台产品,断网执行20条指令。正因如此,应尽早安排验收测试,在试制层级而非量产运行层级之后进行;同时,买方应预留测试产品,而不是接收剩余的任意产品。
验收测试由谁承担费用,以及必须谈判的事项
这种模式下的成本分担并不常见,而负责过硬件项目的买方往往会对其成本估算错误。硬件层的成本已计入产品单价。服务层的成本包括品牌方提供一个测试账户、少量流量,以及维护该账户所需人员的时间。行为层的成本包括品牌方执行20条指令、搭建测试环境,以及安排人员填写观察记录表。体验层的成本则是品牌方需要花费陌生人的一个下午。
换言之,验收成本中最大的一部分由买方而非工厂承担,而且负担的是买方人员的时间,而不是买方的预算。因此,有三个商业事项值得在下单前敲定,而不是等到首次推广活动期间再处理。
第一,如果首次评估失败,供应商是否承担第二轮评估的费用。AI功能是产品中最有可能在首次验收测试中失败的部分,而不愿承担第二轮测试费用的供应商,实际上是在向买方表明其对首次测试有多大信心。
第二,供应商是否具备执行脚本的能力,这取决于其获授权执行哪些层级。拥有相应账户配置的供应商可以执行行为层测试;没有该配置的供应商则无法执行,届时整套模式将取决于买方前往工厂,或工厂前往买方环境。
第三,是产物的格式。如果每次测试后,都需要由工厂员工将结果表重新录入买方格式,记录在不到一个季度内就会失去可信度。采用统一版式并注明版本标识的结果表,才能让相关证据适用于整个量产过程,而非仅限于单次推广活动。

AI质量控制体系产生虚假信心的四种方式
测试演示路径。预先编排的演示脚本是在工厂配置下使用工厂账户运行理想流程。其中每一项都是受控变量,而真正值得关注的故障恰恰都出现在不受控的变量中。这是最常见、也是危害最小的一种错误,因为这类问题通常会在实际使用中暴露,而不是在审核中发现。
将依赖云服务的功能视为硬件功能。功能一旦依赖某项服务,就存在一个工厂无法控制的依赖关系,测试方案必须反映这一点。这是最常见的结构性错误,也是最常将服务中断转化为保修索赔的错误。
未测试实际出货的固件版本。样品上的版本与量产设备上的版本可能不同,而意外往往就隐藏在差异之中。这项检查成本很低——在每份测试结果表上记录构建标识符——但遗漏的代价很高,因为不同构建版本之间的行为变化传到客户手中时,与缺陷无从区分。
让供应商自行制定验收标准。这个问题会产出大量缺乏行为证据就放行的产品,因为标准是由被考核方自己编写的。
这些问题背后的升级处理难题
这四类错误有一个共同后果,也是商业上最值得关注的一点。责任归属不明确的缺陷无法分流。服务中断、订阅套餐到期和语言配置错误,在客户看来都是同一个问题——功能无法使用——但其中只有两类能通过更换设备解决。因此,责任归属矩阵并非技术示意图,而是决定保修预算是否会花在原本没有故障的设备上的规则;这也是必须在更换设备之前而非之后进行分级处理的原因。
我们能够坚守以及无法坚守的生产立场
我们公布的立场涵盖的内容
我们坚守的边界是:按照目录中的描述公布眼镜 AI 功能,并且不会为其附加具体型号名称、语言数量、延迟、离线能力声明或订阅说明,因为本系列型号的相关信息并未发布给我们。我们不会把营销话术当作规格重复陈述;目录中的出口认证属于公司层面的能力,而非逐型号的认证项,因此也不会将其表述为逐型号认证。
我们能够做到的是准确告知已公布的配置,并说明八项验收内容中,哪些需要实时服务和类似客户的账户,而非台架测试——因为工厂质量控制方案无法发现这些问题。
我们也会直接说明该功能背后的商业问题:它是在设备端还是服务端运行,是否需要订阅,支持哪些语言对及其方向,以及数据流向何处。这四个答案决定您的零售产品主张,而且它们不属于工程问题。
我们无法做到的事情,明确说明如下
我们无法公布任何型号的准确率、延迟、语言数量、离线行为、处理位置或数据路径,因为尚未在明确条件下对这些指标进行测量。我们也无法提供脚本行为层的通过率,因为脚本由买方提供,测试结果取决于买方的指令短语、使用环境和账户配置。供应商若公布该行为层的通用通过率,公布的就是一个由无人可见的脚本生成的数据。
我们能够与您共同开展测试。请向我们提供这二十条指令、使用环境和账户配置,我们会在您指定的设备上、使用您指定的构建版本进行测试,并如实记录测试结果。解决此类问题的测量表请参阅测量 AI 功能,样品测试方案请参阅订购前测试 AI 功能,第七项验收内容所依赖的升级注意事项请参阅AI 功能升级注意事项。最初生成相关条目的规格解读方法请参阅AI 功能数据表解读方法。
该功能需要完成的任务
请告诉我们该功能需要完成什么任务,我们会告知您验收脚本中应包含哪些内容、八项内容中哪些可以与我们共同测试,以及哪些必须结合您的账户和使用环境才能完成。平台背景介绍请参阅AI 功能技术,相关应用领域请参阅AI 内容创作解决方案。
相关阅读
请告诉我们该功能需要完成什么任务,我们会告知您验收脚本中应包含哪些内容。



