智能眼镜AI功能:关系,而非组件
AI 功能无法仅凭演示来评估,原因并不是演示会误导人,而是演示恰恰是助手表现最佳的一种配置:预先准备好的语句、安静的房间、已知正常的网络,以及由制作者提前关联账户的设备。买家需要了解的一切,都取决于设备、模型提供商、网络和地区之间的关系,而这四者均不是包装盒中的产品。
用三句话说明决策。 如果语音助手对您的商品页面至关重要,请将其作为一项关系来测试,而不是当作一项功能:在样品到货前编写短语清单和通过条件,在非演示样机上执行测试计划,并记录每次测试对应的固件版本。决定产品能否上市的指标通常是误唤醒率,而非唤醒率,因为会打断客户对话的设备,迟早会被弃用。如果您无法以书面形式取得版本标识符、数据路径说明和明确命名的离线行为,请勿在文案中加入该助手——这样一来,该功能只会存在于产品页面中,而 nowhere else。
由谁执行这项计划,以及该计划必须产出什么。 读者通常是在决定 AI 助手是否应作为产品的一部分,或者是在比较两家供应商对同一项宣称功能的实现方式。他们掌握的是样品、功能清单、渠道、目标价格,以及一份已经假定该功能存在的营销方案。他们没有的是性能数据,而这是结构性的原因:数据归模型提供商所有,而非工厂所有,并且会随版本而非硬件变化。因此,该计划必须产出三项内容——一个数字而非一种印象、一个与该数字关联的版本标识符,以及一份书面清单,列明测量该数字时所处的条件。
我们自己的产品目录写了什么,以及没有写什么。 我们将 AI 语音助手列为 AI 摄像眼镜系列的关键技术之一,我们的独立网站也介绍了 K01 上的 AI 翻译,这是一项音频模型。我们没有发布该系列中任何模型的唤醒率、误唤醒率、指令成功率、延迟数据、识别准确率、翻译准确率或离线行为,也不会对其中任何一项进行估算。这种信息匮乏并非是我们未能收集数据所致,而是一个尚无公开性能基准的品类所呈现的现状,也正是以下计划存在的原因。
AI 功能的成本在哪里。 助手的硬件成本接近于零——麦克风和无线通信模块本就已包含在产品中。助手真正的成本在于其周边的四项工作:指定可测试行为、将短语清单和文档本地化至各个上市市场、为故障情形编写支持话术,以及建立合同机制,确保供应商在底层做出变更时能够及时通知您。两家供应商报价同一个助手时,这四项成本之间的差异,远大于任何单价上的差异,而这种差异在上架之前始终不可见。

必须索取的五个数字,以及无人披露的三个数字
请在一条消息中,用完全相同的措辞向每一位候选供应商提出以下五个问题,并要求以表格而非文字形式作答。分母一栏至关重要,因为没有分母的百分比不过是一句营销话术。
| 指标 | 衡量内容 | 必备分母 | 通过标准 |
|---|---|---|---|
| 唤醒率 | 助手在应当启动时启动的情况 | 尝试次数、说话人数、环境 | 同时说明三者的百分比 |
| 误唤醒率 | 助手在不应启动时启动的情况 | 尝试次数,以及日常使用时长 | 百分比,或书面声明未进行测量 |
| 指令成功率 | 您的短语清单被正确理解的情况 | 您提供的短语清单,以及每条短语的重复次数 | 基于您自己的清单计算出的百分比 |
| 延迟 | 回答到达前的等待时间 | 网络状态和固件版本 | 固定阈值,而非主观判断 |
| 识别准确率 | 是否听到了正确内容 | 场景,以及说话者是否面向前方 | 安静房间和真实环境中的数据 |
通俗表述的阈值,以及通常缺失的三行
没有尝试次数的比例,不是真正的比例。在安静办公室里基于十次尝试测得的百分之九十八,并不能预测在街头基于三百次尝试测得的比例会低于百分之八十五,而后一个数字才是真正描述产品的数字。合格线应是一个附带分母、说话人数和环境的百分比;如果供应商无法提供这三项,就说明其并未真正测量产品。
误唤醒率是可用性门槛,而非技术脚注。它决定产品能在哪些渠道销售,而不是功能能否正常使用,因为会议室和街头对于同一款设备而言是不同的市场。一款在安静办公室里会被咳嗽声唤醒的设备,是会议室产品;同一款设备放在街头就会沦为干扰。买方在此设定的阈值,关系到渠道选择的产品决策,应在产品页面起草之前就明确写下。
指令成功率必须根据你的指令清单来衡量,而不是供应商的。供应商的清单包含问候语和计时器,因为这些很容易实现。你的清单则包含仓库主管每天实际会说十一遍的那句话。合格线是相对于你所提供指令的百分比,并应明确每条指令的重复次数。
延迟需要用固定数值来表示,而不是形容词。设定阈值——低于两秒是一个合理的起点——并进行测量。延迟会随网络状况变化,因此网络状态必须纳入测量;没有注明网络状态的延迟数据,不过是在供应商办公室测得的数据。
构建版本号是让测试结果值得保留的那一列。助手在各个构建版本之间可能有所变化,而没有构建标识符的测量结果既无法复现,也无法作为依据,更无法与下一家供应商的结果进行比较。它是表格中最重要的一列,却也是最常被留空的一列。
三行几乎总是无人提交的数据,以及各自该怎么办。离线行为——在物理切断网络后设备会如何运行——是解决这一品类中最常见争议的关键:产品在无网络时是否仍能按照文档描述运行。要求供应商以书面形式说明;如果对方保持沉默,就应将离线行为视为文案中尚未定义的部分。数据路径——哪些数据会离开设备、传向何处以及如何处理用户同意——是合规审查人员会要求提供的信息。应通过实际观察而非仅阅读文档来核实,并确保商品详情中的隐私声明描述的是你实际观察到的情况。更新机制——已售出的设备如何接收新构建版本,以及由谁决定——则能告诉你,该功能是否可以在未事先 contractual 通知你的情况下发生变化。
执行方案:构建标识符、测试环境以及第二天复测
第一步,在样品到货之前。编写指令清单。清单应包含客户实际会使用的指令,采用发布市场的语言,包括两三处读起来别扭的指令。将合格条件设定为具体数值。确定每项测试需要何种环境。固定手机型号、网络和音频条件。并确定你预计样品所搭载的固件构建版本,以便样品到货后首先核对该版本。
第二步,在测试当天,任何测量开始之前。核对设备上的构建标识符并做好记录。确认语言、地区和账户状态。检查设备是否为标准的开箱配置,而非演示机;演示机通常意味着全新账户、未关联任何服务,并且采用默认处理设置。关联账户的演示机所得结果,并不能代表客户实际收到的产品表现,而这也是助手评估中最容易美化供应商结果的一种做法。
第三步,在大量尝试中测量唤醒率。使用多名不同的说话者,因为语音助手的表现因说话者而异的程度往往高于因硬件而异的程度。记录尝试次数、说话人数和环境,并根据日志自行计算比例,而不是直接采信四舍五入后的数字。
第四步,在关键环境中测量误唤醒率。这是整个方案中耗时最长、也最常被跳过的测试。它意味着在日常活动场景中——办公桌旁、会议中、街头——保持助手处于启用状态,并记录每一次并非用户主动发起的唤醒。你得到的数字,才是决定销售渠道的数字。
第五步,命令成功率,列入你的短语清单。每条指令都要运行固定次数,并记录失败原因,因为“未理解”和“理解了但做错了”是两种不同的失败,需要两种不同的修复方法。
第六步,延迟,对照固定阈值进行测量。测量从说话结束到响应开始之间的间隔,同时记录网络状态,并重复足够多次,以观察尾延迟而非平均值。
第七步,离线表现,在物理断开网络的情况下测试。不是使用飞行模式并调用缓存结果,而是让网络真正不可用,并记录结果。供应商如果从未测试过这种情况,那么其产品在电梯中的表现就仍是未知数。
第八步,数据路径,通过实际观察进行验证。观察设备在网络上的行为,将其与文档中的声明进行比较,并将比较结果保存在档案中。privacy statement written from a marketing sentence is a liability, and a privacy statement written from an observation is defensible.
对于承载关键功能的功能项,在任何地方都要测试同一版本的两到三个设备。某项功能在一台样品上正常、在另一台上失败,属于良率问题,而单台设备测试无法发现良率问题。如果这项功能正是客户购买产品的原因,那么单台设备的测试结果不能证明任何问题。
在不同的日子运行完整测试计划两次,并将差异视为一项测试结果。助手的表现会随日期、网络和环境噪声而变化,两次运行之间如果存在巨大差异,就说明该功能不够稳定,无法作为宣传依据。差异很小时,结果值得保留;差异很大时,测试发现比数值更有价值。
每次记录结果时,都要注明版本标识、环境和时间。在平台允许的情况下保留录音。无法复现的测量结果不能作为证据,而在这个测试类别中,版本才是会发生变化的因素。
每次结果需要记录的内容。模型名称和配置、固件版本标识、应用版本、语言和地区、账户状态、手机和网络、测试环境及其噪声水平、所尝试的短语或测试项目、结果、时间以及测试人员。这张表很 ,而这正是关键所在:正是这些记录行让结果在六个月后仍能站得住脚。
这份测试计划无法确定的事项。它无法确定该功能在您的整个客户群体中的表现,无法确定该功能在未测试的市场或语言中的表现,无法确定供应商下一次变更后的表现,也无法确定合规性,因为合规性来自文件。最后一点很重要:《无线电设备指令》包含网络安全要求,这些要求构成 CE 标记的一部分,由 EN 18031 系列协调标准进行说明,涵盖安全通信、加密、安全存储、用户同意以及已识别漏洞的处理流程。语音助手完全处于这一范围内,而经过测量的离线表现,是证明产品在无网络情况下仍按文档所述运行的证据。

AI 项目会在哪些环节出问题,以及每个问题的早期预警
功能在商品页面中被宣传,却在与客户开会时失效。症状是客户投诉,并描述了一段被打断的对话。根本原因在于只测量了唤醒率。预防方法是在撰写产品页面之前,同时测量两项比率并设定误激活阈值。
客户反馈助手在更新后停止工作。症状是从某个无人能解释清楚的日期开始出现的一批投诉。根本原因在于测试结果与某个版本绑定,而版本未经复测就发生了变化。预防方法是为每次结果记录版本,针对实际出货的版本重新运行测试计划,并要求供应商在变更影响助手表现时提前通知。
对外宣称支持翻译,但目标语言的审核人员拒绝认可。症状是商品页面承诺提供口译功能,而审核人员无法复现。根本原因在于准确率是由非母语人员评估的,而且只测试了问候语,没有测试实际工作场景中的短语。预防方法是由目标语言的母语人员对客户所需短语进行评分,并将评分结果与短语清单一并提交。
一个隐私问题,却用一句营销话术来回答。 症状是企业客户的安全审查要求说明数据路径,而品牌方除了一个政策链接之外什么都没有。根本原因是数据路径从未得到验证。预防方法是通过实际观察来验证数据路径,并让隐私声明如实描述所观察到的情况。
产品在演示所在国运行正常,却在上市市场失败。 症状是退货仅集中在某一个市场。根本原因是测试计划只在一个区域的一张网络上执行。预防方法是在上市市场、基于客户将使用的网络执行测试计划,并并列报告两组结果。
两名评估人员在同一天得出了相反结论。 症状是候选名单在周二会议和周五会议之间发生变化。根本原因是通过条件使用了形容词。预防方法是在订购样品之前,将通过条件确定为具体数值,这样意见分歧就会指向模糊的标准,而不是产品本身。

当供应商做出变更时,您可以写入合同的约定
构建版本标识和更新机制,是应写进询价单的两项内容。 如果供应商连这两项都说不清楚,就等于告诉您,助手可以在不提前通知您的情况下进行变更,而这种商业风险远高于单台价格。要求写明这两项不费任何成本,而且只有它们能为您提供一个可追责的抓手。
短语清单和通过条件应写入采购订单,并作为验收标准予以引用。 助手是产品中唯一可以被客户归咎于其他方的部分,因此相关标准必须在收到样品之前就形成书面文件,而不是等到首次投诉后才补写。满足出货版本各项标准的样品,才是您可以验收的样品。
涵盖行为变更的通知条款,是这一类别中价值最高的条款。 麦克风、DSP 调校、默认处理状态或助手模型的任何变更,都可能在不改变硬件的情况下改变可观察到的行为,因此条款必须涵盖行为,而非零部件。
本地化工作可以谈判,也值得谈判。 短语清单、文档语言以及各市场的支持话术,每一项都是一轮工作,每轮需要一周。值得谈判的事项包括:包含多少轮工作,以及第二个市场是按第一个市场的复制成本计价,还是作为一项全新的翻译工作单独计价。
最低起订量和包装工作属于常规商务条款。 从尾款中暂扣一部分作为文档资料包的费用,可以保护买方免受代价最高的失效情形影响,即收到的产品附带文件却不涵盖该产品;定金加发货前检验余款是标准付款结构。
助手项目进度表中的关键节点是构建版本冻结和认证排期,两者都不会因买方施压而提前。 构建版本冻结必须安排在下单之前,而不是之后,因为下单后再变更构建版本,就会使验收标准所依据的全部测量结果失效。认证费用和认证交期取决于既定流程及测试机构;催促任何一项都只会拉长而非缩短进度。模具费用通常是一次性费用,分摊至首笔订单;值得询问的是按什么数量分摊,以及项目终止时该费用如何处理。
支付定金前应索取的 文件。 固件构建版本标识和更新机制。证书编号、发证机构及有效期。与确切型号名称相对应的符合性声明。数据路径和同意机制的书面说明。离线行为的书面声明。报价单上注明的型号名称。
应写入采购订单的条款。 将型号名称列为独立项目,并附上证书编号。附有短语清单的八项测试验收标准。规定在固件或型号变更影响助手行为时必须提前通知,并承担重新测试义务。明确规定样品未达到验收标准时由谁承担费用。
品牌进入单一市场的实操计划
这是一个实操案例,而不是客户案例。重点正在于此。
假设某消费电子品牌拥有一条包含 11 款机型的摄像眼镜产品线、一个现有的摄像平台,并计划将语音助手加入其中两个配置,以该功能作为产品进入单一市场发布时的主打卖点。该品牌的产品经理起草了商品文案,称该助手“能自然理解”并且“随时伴您左右”;品牌的合规审核人员则已要求提供数据路径。
第一个决定,是在对助手进行测量之前,将其从文案中删除。产品经理删除了这两个形容词,却没有补上任何其他描述,因为一项无法准确描述的功能,暂时根本就不该被描述。这一处修改便消除了品牌面临的最大风险,而且没有任何成本。
第二个决定是确定发布市场,并且在制定计划之前就作出决定。品牌选定一个市场、一种语言,以及客户实际使用的两张网络,并接受在第二个市场完成测量之前,不会在该市场推出助手。原因在于成本:一种语言的短语列表只需翻译,而团队无法判断其准确性的语言所对应的短语列表,则毫无实用价值。
第三个决定是构建版本。品牌要求供应商为评测冻结一个构建标识,并确认出货时将使用同一版本。供应商确认了构建版本,品牌则将其记录下来。正是这个决定让之后的所有数据都有意义,而成本只是一封电子邮件。
第四步是在非演示样机上进行测试。品牌订购了一台普通样机,设置了一个全新账号,并由两名评估人员在两天内完成八项测试。在安静环境中,唤醒率较高;而在目标环境中,唤醒率较低。通过一个普通工作日测得的误唤醒率,才是关键结论:这一误唤醒率高到品牌的营销文案在该环境中使用不到一周就会失去可信度。
第五个决定源自误唤醒率。品牌决定不在该市场推出助手,并保持硬件产品线不变。另一种选择是强行发布,然后承受一连串投诉,而这些投诉在样机测试阶段就已显现。此次评测的代价是一轮样机测试和一周时间;另一种选择的代价则是一次失败的产品发布。
第六个决定是如何处理评测结果。品牌将误唤醒率阈值写入采购订单,作为后续固件发布的附加条件,并就行为变更谈判设置了通知条款。品牌保留了录音和评测表,因为未来的固件发布仍需重新测试,而评测表正是确保复测结果具有可比性的依据。
最终结果是一产品线的发布内容少于品牌预期,但品牌与供应商之间的关系也因此拥有了一项书面标准,用于规范品牌日后希望加入的功能。整个流程的关键在于:起决定作用的数据来自样机测试,而非演示样机,而其成本仅为一台样机和两天时间。
我们的助手记录了什么,以及无法解决什么
具体而言,我们宁愿让采购方亲自测试一项 AI 功能,也不要仅凭描述相信这项功能。而只有测试方案,才能将一种能力转化为可执行的规格。我们将 AI 语音助手列为 AI 摄像眼镜系列的关键技术之一;我们的独立网站介绍了 K01 的 AI 翻译功能,而 K01 是一款音频机型——我们将其视为对自身营销材料的观察结果,而非规格说明。我们不公布任何机型的唤醒率、误唤醒率、指令成功率、延迟数据、识别准确率、翻译准确率或离线表现,也不会对这些指标作出任何估算。
我们也不会把在演示样机上测得的数字写进商品文案,因为无法复现的数字,就是当客户站在你面前时无法辩护的主张。我们会提供采用已知固件构建版本的样机,并与您共同制定测试方案,而不是只给您发送一台演示样机。
在商品文案中承诺助手之前,必须明确的三件事
在首次沟通时,要求供应商提供构建标识和更新机制。只有这两个答案能告诉您,该功能是否会在您的项目运行过程中发生变更;能够回答这两个问题的供应商,才具备规范的流程。
在样品寄达前写好短语清单。这是供应商无法代你完成的唯一环节,也正是决定成功率掌握在谁手中的关键部分。
请将你计划发布的功能、上市市场和使用语言发送给我们,我们将与你共同编写测试计划。相关背景请参阅眼镜 AI 功能,样品流程请参阅样品评估,测量方法请参阅如何衡量 AI 功能,供应商问题请参阅AI 供应商验证。
相关阅读
- 测量技巧 — 如何衡量 AI 功能
- 供应商问题 — AI 供应商验证
- 样品流程 — 样品评估
请告诉我们你计划发布的功能和使用环境,我们将与你共同编写测试计划。



