样本测试能告诉你某项 AI 功能是否可用。分阶段引入真实用户的测试能告诉你是否有人使用,而第三项测试则能告诉你六个月后它是否仍然存在——而买家真正购买的,正是第三项测试的结果。智能眼镜上的助手是一项依赖,而非一个组件:模型运行在某个地方,由他人运营服务,而使用该功能两周的客户,会以买家永远不会采用的方式发现问题。因此,整个项目必须依次回答三个问题:服务不可用时会发生什么、真实用户多久会使用一次该功能,以及一年后它是否仍然存在——而这些答案必须转化为合同条款,因为第三个问题并非技术风险,而是商业风险。我们不公布任何模型的唤醒率、误激活率、指令成功率、延迟、识别准确率或离线表现,也不会对这些指标进行估算。
智能眼镜AI功能:会出什么问题,以及何时发生
演示与客户上手第一周之间的差异
我们的产品目录将 AI 语音助手列为 AI 摄像眼镜系列的关键技术之一,我们的独立评测网站介绍了 K01 的 AI 翻译,这是一项音频模型。这两项是我们能够提供证据支持的声明。该类别中的其他所有指标——唤醒率、误激活率、指令成功率、延迟、识别准确率、离线表现——均未针对任何模型公布,我们也不会对其进行估算。
这一信息缺口有其原因,而这一原因决定了整个采购思路。助手的行为由模型及其背后的服务生成,而非由工厂生成,因此,描述其表现的数值归属于服务运营方。工厂可以报告自有固件如何处理输出结果,也可以报告已交付设备在结果始终未送达时的表现。但它无法承诺模型下个月会如何运行,因为模型并不归它所有。
由此带来的结构性后果是,演示与客户上手第一周属于两种不同的场景。演示设备已绑定账户、设置语言和区域、确认网络可用,并且现场有人知道出现异常时该怎么办。而开箱设备才是客户实际收到的产品,这两种状态之间的差异,正是大多数测试结果所在之处。
本文读者是品牌产品经理、采购买家或渠道买家,他们需要决定 AI 助手是核心卖点功能还是普通功能项,同时手握样品、目标价格、渠道和功能清单。他们需要管理的风险是:产品发布时大肆宣传某项功能,但该功能无法经受真实家庭环境的考验,最终带来的不是技术支持工单,而是退款负债和口碑问题。
买家想要规避的问题
交付一项客户很快就不再使用的功能。即使每项单独测试都顺利通过,如果某项功能第二周的使用频率低于第一周,它也已经告诉你一些重要信息。以无人使用的功能作为卖点的产品,注定会面临退款负债和口碑问题。
商品页面声称某项功能无需连接即可使用,但事实并非如此。非正常条件测试阶段决定故障发生时系统能否平稳降级,也决定了商品页面可以如何描述该功能。
测试人员对结果有所期待,导致测试结果让产品显得更好。对结果有所顾虑或期待的同事会正确地使用该功能,而正确使用并不等同于确有使用需求。
品牌并未意识到自己存在一项外部依赖。这是本类别独有的一项问题。产品上的其他每项功能都由买家已签约合作方提供,唯独这项功能可能并非如此。如果买家没有问明,答案默认是:该服务由其他方运营,对方可以随时变更或下线服务,而品牌甚至从未与其打过交道。

采购任务:决定服务不可用时会发生什么
谁在运营功能背后的服务
在测量任何指标之前,品牌必须明确该功能的所有权,因为所有权决定整个项目的商业结构,而且这是日后最难改变的事项。
三个问题可以下定论。该模型是在设备上运行,还是在服务器上运行?如果在服务器上运行,服务器由谁运营?如果运营方调整定价、更换模型,或改变主意不再支持该产品,这项功能会如何变化?
这些并非技术层面的好奇心。设备端助手的服务周期与产品绑定,其行为也由制造商掌控,因此这是一个规格问题。服务器端助手的行为不受制造商控制,因此这是一个供应链问题,也意味着品牌方需要与两家合作方谈判,而非一家。这一区别决定了项目的总成本、合同结构,以及该功能能否在商品listing中如实描述为产品自身具备的能力。
第二件需要确定的事,是品牌方有权获知哪些变更信息。如果某项功能可以在不向品牌方发出合同通知的情况下发生变更,其商业风险远高于单价差异,因为品牌方已经围绕一种不受其控制的行为,承诺了包装、宣传文案、培训和支持话术。明确规定通知义务及相应期限,可以将这种风险转化为可管理的风险。
第三件需要确定的事,是服务终止时会发生什么。实践中总会有一种结果,通常是:对于已经购买了宣传中包含该功能产品的客户,该功能将不复存在。明确规定降级状态的条款——离线行为、精简指令集或本地降级方案——比服务本身提供的任何功能都更有价值,因为这是品牌方唯一能够作出保证的部分。
上方的矩阵将两个关键维度并置呈现。右下角的单元格是品牌方能够达到的最有利位置,而且可以通过合同而非技术实现。左上角的单元格是这一品类中最常见的位置,应对措施并非采用更好的模型,而是设置降级状态和通知期限。
四种降级状态及其对应阈值
四种状态及各自所需的条款
助手并非只有一种状态,而是有四种状态,每种状态都对品牌方的宣传文案施加不同义务,也需要在合同中设置不同条款。
已连接且正常工作。指令得到理解并作出回应。这里的义务最小:只要功能清单中列明适用条件,宣传主张中就可以包含该能力。“理解自然语言”应改为“在指定噪声水平的房间内,基于指定固件版本,可识别四十条指令列表中的指令”——这是一种有条件限制的主张,而非能力描述。
已连接但功能降级。响应更慢、回答不完整或拒绝响应。没有人会写明这种状态,却每个人都会遇到,而文案中的承诺通常也正是在这种状态下失效。此处应设定明确阈值:由供应商而非品牌方提供一份关于降级行为的书面说明,因为品牌方无法从外部准确描述该行为。listing中承诺响应时间,实际上是在对降级状态作出主张,而非对正常工作的状态。
无网络。本地拒绝响应、排队等待或无任何反应。此处的阈值是:行为已有明确规格,且客户可以在listing和说明书中看到该规格。设备在电梯中无任何提示地停止工作,会引发客服咨询;设备能够说明自身正在做什么,则是一项功能。
服务终止。该功能对客户而言不复存在。此处的阈值属于合同层面:通知期限、明确的降级状态,以及品牌方能够要求维持该服务的费用标准。这一行是品牌方签署时确定的,客户却是到实际发生后才会知道,而它也是唯一一种能够在上线周之后继续存在的状态。
对所有四种状态都适用的一项实用原则是:文案应按照你可能达到的最差状态来写,而不是按照你所能演示的最佳状态来写。能够经受无网络状态和降级状态的listing,自然也能应对正常工作状态,反之则不然。
支付定金前需要书面确认的问题
该清单中的三个组是按其决定的事项划分,而不是按供应方划分。所有权组决定项目的商业结构,并且在起草合同之前必须先敲定该组。连续性组负责评估风险,决定品牌方在产品发布后能否安心入睡。数据组决定隐私声明可以写哪些内容,任何拥有自身数据规则的市场都会向该组提出相关问题。总共分为九行,针对每位候选方提出的问题都相同,这也正是公平比较的基础。
- 助手背后的服务由谁运营:是工厂、应用运营方,还是第三方。
- 模型是在设备上还是服务器上运行,以及设备脱离服务器后能够完成哪些功能。
- 书面功能清单,包括每项功能及其适用条件。
- 受支持语言清单;如果宣称支持翻译,还应列出每种语言对应关系的翻译方向。
- 数据说明:收集哪些数据、在哪里处理,以及如何关闭麦克风。
- 更新机制,以及固件构建版本会保留供应多长时间。
- 模型或行为变更前,品牌方会收到什么通知。
- 服务停止运营时的处理方式,需以书面形式说明。
- 证书编号、颁发机构及其有效期限。

构建一个能够产采用证据的两周项目
六个阶段及其产出的记录
该项目为期两周,参与者对结果并不在意,而最终得出的两个关键数字是:使用率和故障模式分布。
第一阶段是首次开箱使用,全程不提供任何帮助。一名参与者、一台设备,以开箱状态配合一部从未与之配对过的手机使用。只观察,不干预。这个阶段可以发现样机测试会跳过的配置问题:语言未设置、账户未关联、地区设置错误、缺少权限,以及首次尝试失败的原因与该功能本身无关。
第二阶段是参与者按照日常作息使用的第一天。该功能使用了一次、三次,还是完全没有使用?应在次日早上询问,而不是当场询问,因为当场的回答会受到演示效应的影响。
第三阶段是首周,让五名参与者分别使用自己的设备、账户和网络。此时差异就会显现。有些人身处嘈杂环境,有些人有口音,还有些人使用旧手机。一项五人中有四人可用的功能,意味着第五人很可能提出退货。
第四阶段是刻意引入恶劣条件。嘈杂的咖啡馆、微弱的信号、昏暗的房间、电量不足的手机。误激活率和延迟会在这里显现,而这也是演示永远无法触及的阶段。
第五阶段是错误条件。设备没有网络,或设备的账户已经丢失。问题在于系统是否能够妥善处理故障,而答案就是商品页面可以写明的内容。
第六阶段是第二周。再次询问同样的五名参与者。问题在于其使用行为是否发生了变化。
记录仅包含五个字段:参与者、设备、固件构建版本、使用条件和结果。随后,使用率和故障模式分布都根据记录计算得出,而不是凭记忆总结。构建版本号是最容易漏掉的字段,但正是它让你能够将第二周与第一周进行对比,或将三个月后的支持工单与此前的记录结果进行对照。
值得坚持的阈值
使用率是预测功能是否重要的数字。它反映真实用户一天中主动使用该功能的次数。一项积极测试者一小时会使用二十次,而普通人一天只会使用两次的功能,是两种截然不同的功能,而后一个数字才是关键。
故障模式分布比故障总数更重要。关键不在于发生了多少次故障,而在于故障的类型。一项在嘈杂环境中静默失效的功能,与一项在弱网环境下运行缓慢的功能,需要不同的补救措施,而这两类补救措施分别由不同人员负责。
没有附加条件的功能清单只是一份意向清单。应坚持的阈值是:每项功能都必须附有数字、适用条件和样本量,否则就不应列入。
每个结果都必须记录构建标识符。它能让三个月后的支持工单与测试室里记录的数字进行比对,而且记录成本最低,日后重建的成本却最高。
数据去向说明是一项商业事实,而非技术细节。它决定了由谁运营服务、隐私声明可以写些什么,以及在拥有独立数据规则的市场中会发生什么。一个无法说明数据去向的品牌无法撰写隐私页面,而一个无法撰写隐私页面的品牌则无法推出产品。

AI 功能项目在上线后会在哪些环节出问题
功能在上架介绍中被重点宣传,却无人使用。根本原因在于,项目停在了实验室阶段;在那里一切都运转正常,因为测试人员本身就有参与感。预防方法是确保测试持续到第二周,并将使用率作为文案发布的准入条件,而不是事后才报告的一项统计数据。
首次运行失败被当作固件缺陷处理。根本原因通常是配置、语言、账户、权限设置,或说明书中遗漏了某个步骤。预防方法是结合首次运行结果查阅快速入门指南,因为解决办法往往只需补充一段说明,并不一定要发布新版固件。
上架介绍声称该功能无需连接即可使用。根本原因在于跳过了非理想条件测试阶段,或者故障未能妥善降级。预防方法是执行该阶段的测试,并确保上架介绍如实描述用户实际看到的情况。
服务发生变更后,产品不再符合包装上的说明。根本原因在于没有通知义务,因此变更令品牌以及所有看过旧文案的客户都感到意外。预防方法是将通知期限写入合同条款,并在变更流程中加入文案审查。
支持团队无法回答有关该功能的问题。根本原因在于,功能清单只是一份意向清单,从未将任何测试结果记录成支持团队可以直接引用的形式。预防方法是将包含适用条件和固件构建版本的功能清单交给支持团队;这应当是一份文档,而不是一次会议。
客户反馈该功能原本可以正常使用,后来却失效了。根本原因可能是服务发生变更、账户失效,或某个构建版本已停止支持。预防方法是提供书面说明,告知客户应当采取哪些措施;实际上,这意味着应在产品说明书中如实交代替代方案,而不是等到客服回复时才说明。
实战案例:品牌如何决定是否将助手功能作为核心卖点
这是一个模拟案例,而非真实订单。此处旨在说明决策顺序。
假设一个消费电子品牌正在考虑面向大众市场推出一条 AI 摄像眼镜产品线,目前有两个候选平台,而相关上架文案必须在六周内完成。真正的限制条件并非价格。关键在于,该品牌上一次的发布中有一项功能对部分客户停止运行,而品牌自己的支持团队也无法为这些客户提供答案。
首先需要解决的是责任归属问题,然后才能比较两个平台。品牌提出了两个问题:模型在何处运行,以及由谁运营服务。其中一个候选方案在设备端运行,品牌能够说明其行为表现;另一个方案则运行在品牌并未签约的服务上,而供应商的答复中包含通知期限和书面载明的替代状态。这一答复彻底改变了比较结果:第一个平台存在品牌能够管理的技术风险,第二个平台则存在品牌只能设法掩盖的依赖风险。
在撰写文案之前,必须将四种状态写入合同。正常工作、性能降级、无网络和停止支持。对于第二个平台,供应商以书面形式提供性能降级说明和替代状态,品牌则同意无网络状态下的行为表述。随后根据最差状态撰写文案;这样的文案吸引力较弱,但能够经得起实际考验。
分阶段项目使用开箱即用的设备进行测试。在全新手机上首次运行时,会发现两个在预先配置好的设备上可能无法察觉的配置问题。第一周让五个人参与测试,会出现一个账户问题和一个弱网络故障。第二周得出的使用率并不高,因此品牌决定将该功能列为普通卖点,而不作为核心卖点。
文案已调整为匹配实际情况。由于使用率不高,该功能在商品详情第二段中介绍,而不是放在标题中,支持话术和宣传单也随之调整。品牌方接受较小的宣传主张,从而消除发布风险。
商业结构随责任归属而定。对于品牌方可以签约的平台,品牌方会协商通知期和版本保留期,并要求进行第二轮样机测试,以便在量产设备上验证备用状态。对于品牌方无法签约的平台,品牌方会将设备端备用方案作为合作条件;如果对方拒绝,品牌方就会放弃该候选方案。
最终,我们推出的是一条宣传主张克制、书面备用方案明确且支持团队能够解答问题的产品线。关键决策在于责任归属问题,而且在文案定稿前就已作出决定。
AI 项目在哪里失去利润空间
包装和文案所承诺的行为,并不由品牌方掌控。这是该品类中最大的单项风险敞口,而且在任何报价单中都看不出来。缓解方式是设置通知期和审查条款;如果供应商没有什么需要隐瞒的,这两项措施都不会带来额外成本。
备用状态未被开发,因此断网时的行为完全取决于固件的实际表现。这项成本会出现在支持收件箱中,而不是发布阶段,因此更难修复,长期维护的成本也更高。在首件之前将备用方案纳入验收标准,成本并不高。
版本保留期较短。如果某个版本在发布六个月后被撤下,市场上的设备就无法复现;而无法复现的产品,第二批订单实际上已经是另一款产品。版本保留期是值得大力谈判的条款,而且往往会在不经声张的情况下被设得很短。
使用率从未得到测量,因此文案依据的是演示,而不是证据。买家应当有意识地权衡项目周期与宣传主张是否准确。两周的项目周期需要两周时间;夸大功能的商品详情则会让整批产品付出代价。
翻译能力在没有方向说明的情况下被写进宣传。一种语言组合如果只在一个语向上有效,就恰好会在品牌方试图进入的市场中失效。列明支持的语言以及每个语言组合的翻译方向,只需提出一个要求,就能避免逐个市场失败。
我们公布的助手能力,以及我们不会估算的内容
我们采用的工作原则是:买家实际开展项目测试,比相信演示更有价值;我们会支持测试,而不是直接展示结果。
我们公布文档已有依据的 AI 能力,并将其余项目标记为待确认。我们不会公布任何模型的唤醒率、误激活率、指令成功率、延迟、识别准确率、翻译准确率或离线行为,也不会对这些指标进行估算。这意味着,上述六个阶段是这些数据得以产生的唯一途径;相比引用无法提供依据的数据,我们更愿意协助生成这些数据。
对于哪些问题需要处理,我们也会直言不讳。配置、语言、账户、权限或手册中缺失的步骤,都由我们负责解决,通常只需在快速入门指南中补充一段文字。模型行为、延迟表现或服务架构,则取决于应用和固件;在您据此制定发布计划之前,我们会先说明哪些部分属于应用、哪些属于固件。
我们会协助设计这六个阶段、确定需要记录的内容、提供已知版本的产品,并报告所有结果,包括不利结果。因为一项能够经受住第二周考验的功能,比一项只能撑过贸易展会的演示更有价值。相关背景请参阅AI 功能,实验室标准操作流程请参阅如何测量 AI 功能,预订前测试计划请参阅下单前如何测试 AI 功能,需要避免的宣传错误请参阅AI 常见错误。
助手功能写入商品详情前的四项行动
以书面形式询问责任归属问题。模型是在设备端还是服务器上运行,由谁运营服务,以及变更发生前会告知品牌方什么内容。这三个问题的答案将决定项目的商业结构,现在获取比文案印刷后重新谈判成本更低。
将包含九个问题的需求清单发送给每一位候选方。针对所有人的问题完全相同,因此比较是公平的,答案也具有可比性。
将四种降级状态写入验收标准。正常工作、性能降级、无网络、已撤回。文案按最糟糕的情况来写,而这样的文案才经得起考验。
把您打算发布的功能告诉我们。我们将与您共同设计六个阶段,告知您针对自身渠道哪些测量指标能够决定问题所在,并报告所有结果,包括那些不尽如人意的结果。
延伸阅读
- 基于样本的脚本化测试方案 — 如何测量 AI 功能
- 预订前测试方案 — 预订前如何测试 AI 功能
- 需要避免的主张误区 — AI 常见误区
告诉我们您打算发布的功能,我们将与您共同设计六个阶段。



