智能眼镜 OEM/ODM 制造商 · 中国深圳 +86 19835872450 sales@cynrin.com
智能眼镜技术

如何衡量智能眼镜AI功能与助手质量

AI 功能可通过速率、延迟和准确率来衡量,但这些指标无法通过观看演示得出。演示呈现的是理想情况:……

由 CYNRIN 工程与采购团队提供/ May 28, 2025/ 3 分钟阅读
如何衡量智能眼镜AI功能与助手质量

智能眼镜AI功能:基于构建版本测量,而非基于单台设备

AI 功能需要通过比率、延迟和准确率来衡量,而这三项都不能靠观看演示来判断。演示呈现的是最佳情况:预先准备好的语句、安静的房间、稳定的网络,以及为特定场合配置妥当的设备。智能眼镜AI功能 智能眼镜如何测量,讲的是如何将一项能力转化为一组数据,使一位买家可以将其写入规格说明,另一位买家也能复现。之所以要严谨测量,是因为 AI 宣称最容易被夸大,也最难辩护;一旦失败,往往还会当众失败。

简而言之:一项 AI 功能需要八项测量,其中两项根本不属于性能指标——离线行为和数据路径。二者共同决定你可以在商品详情页中写些什么,以及隐私声明必须说明什么。开始之前,先确定自己的验收阈值;每项比率测试都要使用多台设备和多名说话者;每次测试结果都要记录固件构建版本号,因为 AI 功能会随着构建版本发生变化,没有构建版本号的测量结果无法复现。

智能眼镜AI功能:每项 AI 宣称可以用什么来检验

决定助手是否应纳入产品的买家

这里的买家通常是在决定产品是否应该配备 AI 语音助手,或者应该选用两家供应商中的哪一种实现。他们手头会有样品、功能清单,以及一个目标使用场景——创作者、现场工作人员或日常助理。但他们不会掌握任何性能数据,因为在这个品类中,数据由模型提供商和助手技术栈生成,而非由工厂生成;数据会随着构建版本变化,而不会随着硬件变化。

最后这一点会改变买家看待决策的方式。AI 功能并非一次购买后便永久属于产品的属性;它是产品、模型提供商、网络和地区之间的关系。买家真正的问题不是“这个效果好不好”,而是“我能否测量它,能否要求它达到某个阈值,以及当提供商做出调整时会发生什么”。

这里需要同时管理三件事,而它们各自指向不同的方向。第一是宣称:商品详情页上的一句话,必须经得起客户在会议中实际试用;最终能站得住脚的表述,通常比营销团队希望表达的更窄。第二是依赖关系:模型运营方可能是品牌并未签约的第三方,这属于采购风险,而非技术风险。第三是漂移:如果助手在两次交付之间自行发生变化,就会引发售后支持问题,而问题并非源自产品故障,因此也没有退货理由。

买家通常还得在几个月后回答有关该功能的投诉,而投诉可能来自客服团队不会说的语言。因此,测量表必须采用经得起人员变动考验的形式:写明阈值、分母、构建版本号和日期,而不是描述使用感受。

展示如何测量智能眼镜AI功能与助手质量的 AI 生成图片——第 1 张,共 3 张

持续使用一项 AI 功能的成本,以及究竟由谁掌控

AI 功能的成本并不是硬件成本。它是一项持续性依赖,而在采购订单上体现出来的部分只是其中最小的一部分。

推理要么在设备端进行,要么在设备外进行,而两者在商业形态上完全不同。设备端推理受限于你购买的硬件,因此默认具有稳定性和隐私保护,其能力也受芯片性能限制。设备外推理不受你拥有的任何资源限制,正是它让真正强大的助手成为可能;但与此同时,它也带来了网络依赖、延迟、地区适配问题,以及一个你无法控制的第三方。

AI 项目各阶段,从商品页上的功能到最终交付的构建版本

运行时运营方是测量表上最重要的单一商业事实。如果供应商声称模型由合作伙伴提供 told you that a third party can change the behaviour of your product, in your market, without a purchase order being amended. 这与更换零部件带来的风险不同,因为零部件替换可以写入变更控制条款,而模型变更无法如此处理。

更新路径是采购问题,而不是技术问题。一项可通过 OTA 更新的功能,无需新订单、无需新样品,也不会触发任何通知义务,除非合同中另有约定。对于已将这项能力纳入营销预算投入的品牌而言,未经通知的变更并非技术事件,而是商业事件。因此,首先需要确认的是供应商能否明确说出构建版本号和更新机制,因为如果供应商连构建版本都说不清,就无法告诉你测量时对应的是哪个版本。

数据路径则是一个有固定框架的合规问题。自 2025 年 8 月 1 日起,《无线电设备指令》的网络安全要求已成为 CE 标志认证的强制组成部分,并由 EN 18031 系列协调标准加以说明,涵盖安全通信、加密、安全存储、用户同意以及已识别漏洞的处理流程。语音功能完全处于该范围内,而品牌最终将被要求提供的证据并不是功能的准确率,而是其背后的数据路径。

这一切都不会直接增加发票金额,而这恰恰是它容易被忽略的原因。谈判空间存在于承诺结构中,而非价格中:固件变更的通知义务、离线降级状态的定义、要求修订副本的权利、所测构建版本与实际出货版本保持一致的有效期限,以及评估批次中的设备数量。

AI-generated photograph illustrating how to measure smart glasses ai features and assistant quality — image 2 of 3

八项测量指标、对应阈值及分母规则

在测试样品之前,请要求供应商以书面形式提供以下各项数据。右侧一栏能够区分真正测量过实际出货版本的供应商,与只是描述某项能力的供应商。

唤醒率及测试条件。在明确说明的环境下,以明确次数的尝试为基数计算得出百分比。“响应灵敏”是含糊的回答,也是最常见的回答。

误唤醒率。在明确说明的环境下,以明确次数的尝试为基数计算得出百分比。这项指标决定该功能是否适合在公共场合使用,却几乎从未被报告。打断对话的设备无论在实际唤醒时表现多好,都会成为用户摘下不戴的产品。

指令成功率及固定指令列表。以买方提供的列表为基准计算得出百分比。“能够理解自然语言”是含糊的回答,而且短语列表必须是客户实际使用的列表,而不是演示所用的列表。

延迟及网络状态。提供带有固定阈值的数据,并注明网络条件。“非常快”是含糊的回答。延迟决定了功能给人的感觉是响应灵敏还是无法使用,而且会随网络条件变化,因此网络状态必须成为测量的一部分。

不同条件下的识别准确率。分别提供安静房间和真实环境中的数据。“高准确率”是含糊的回答。口音、背景噪声、不常用的词汇和较小的说话音量都会影响结果,而真正重要的,是客户实际具备的条件。

由母语者评判的翻译准确率。针对客户所需短语给出评价。“翻译准确”是含糊的回答,而如果一项翻译能够处理问候语,却无法翻译产品描述,对买方来说就是不合格的。

离线行为。以书面形式说明断开网络后会发生什么。对此避而不谈是最常见的回答,而这也最能解决该品类中最常见的争议:当网络不可用时,产品是否仍能按照文档描述正常工作。

数据路径及同意机制。说明哪些数据会离开设备,以及如何处理用户同意。“数据得到安全处理”是含糊的回答,毫无实际意义。

固件构建版本及更新机制。提供构建标识符以及出货设备的更新方式。“通过应用更新”是含糊的回答。

模型标识。提供与准确配置对应的公开标识。仅提供系列名称是含糊的回答,这意味着两种配置可以相互比较,却无法识别其中任何一种配置。

没有尝试次数的比例数据不能称为比例数据。此列表中的每个百分比都需要分母、尝试列表和测试环境。在安静办公室中基于十次尝试测得的“98% 唤醒率”,比不上在街道上基于三百次尝试测得的“85% 唤醒率”,而且只有后者能够预测实际表现。这是该品类中最常见的错误,没有分母就无法发现。

误激活率是可用性门槛,而不是技术细节。采购方为此设定的阈值,关乎产品能在哪些市场销售——对同一款设备而言,会议室和街头就是不同的市场。

版本号是让测试结果值得保留的那一列。AI 功能会随着版本更新而变化,而没有版本号的测试数据既无法复现,也无法作为依据。如果供应商连版本号都说不出来,你就无法确认他们测量的究竟是什么。

有一项警告适用于每一行:不同供应商之间的这些数据不可直接比较。两种实现方案会采用不同的短语列表、不同网络、不同尝试次数,以及不同的成功激活定义。在建立表格之前,先确定哪一列是你自己的测量结果,哪一列是供应商提供的数据;未经注明,切勿将两者混在同一行中。

AI生成的示意图,展示如何衡量智能眼镜AI功能和助手质量——第3张,共3张

在多个设备、两种环境中分别运行两遍测试表

从准备到得出可靠结论的测量表

1. 首次测试前,先建立测量表。最多设置五列:测试项、测试条件、尝试次数、结果,以及日期和固件版本号。列数更多的表不会被填写,而未被填写的表只能用来演示。

2. 对同一版本中起关键作用的功能,测试两三台设备。如果某项功能在一台样机上正常、另一台样机上失败,就存在良率问题,而单台设备测试无法发现良率问题。

3. 使用全新的手机测试开箱设备,而不是演示机。演示机已经完成账号绑定、语言设置、地区配置,而且网络已知可用。客户收到的开箱设备才是实际产品,两者之间的差异,是某项功能在会议室中正常、却无法在客户厨房中正常工作的最常见原因。

4. 在两种环境中进行测试,并同时报告结果。每项比率在安静房间和街头都有对应数值,而只有后者能够预测客户体验。只报告其中一个而不报告另一个,等于是在选择你要面向哪类客户销售。

5. 使用客户会说的短语,而不是你自己会说的短语。在不同轮次中更改测试话术,会导致两轮结果无法比较,而这也是最常见的错误形式。请将短语列表与测试结果一并保存。

6. 在不同日期将整张测试表完整运行两遍。如果两次运行之间存在大幅差异,应将其视为一项发现,而不是噪声。某项功能的成功率在两轮测试间波动 20 个百分点,说明它并不稳定;而以该功能为基础打造的产品,其客户体验无异于一场抽奖。

7. 验证数据路径,而不是测量数据路径。观察网络行为,将其与文档中的说明进行比较,并记录比较结果。这项工作应纳入尽职调查档案,而不是实验室测试,因为它比较的是文档与实际行为,而不是数值。

8. 在实际出货的版本上重新运行测试表。从商业角度看,真正重要的测量,是客户手中实际出货版本上的测量结果;如果该版本是在样机之后才到货,就必须在该版本上重新运行测试表。

为摄像和音频产品系列发布的规格数据

AI 功能项目失败的四种方式,以及需要争取的条款

功能在商品页面上宣布可用,却无法在客户会议中正常工作。根本原因:从未测量误激活率,只测量了唤醒率。预防措施:两项都要测量,并在编写商品页面前设定误激活阈值。

客户反馈更新后助手停止工作。根本原因:测量结果与某个版本绑定,但版本更新后未重新测试。预防措施:每次测量都要记录版本号,并针对实际出货版本重新运行测试表。

宣传了某项本地化能力,却被目标语言的评审人员否决。根本原因:由非目标语言母语者评估准确性,而且只测试了问候语,没有测试实际工作短语。预防措施:由目标语言母语者对客户需要的短语进行评分,并记录短语列表。

产品在演示国家运行正常,却无法在上市市场正常工作。根本原因:仅在一个地区、一种网络上进行了测量。预防措施:在上市市场、基于客户将使用的网络运行测试表,并同时报告两组结果。

与硬件项目相比,AI 功能项目在评测设备上的支出占比更高,因为功能本身就是产品,而样本数量决定了置信区间。以下条款值得投入时间谈判:

  • 最低订购数量和评估单元数量;后者的样本数必须大于硬件品类,因为样本数就是置信区间。
  • 包装和插页设计,包括市场标签、文档包语言和同意条款文案;在该品类中,后两者属于合规性文件而非插页。
  • 在样品审批节点之后分批交付;相比价格让步,样品通常更容易获得审批。
  • 付款节点:签约时支付定金,检验签认后支付余款,文档包交付时保留尾款。
  • 明确响应期限的保修期,以及退货政策;后者必须考虑某项功能可能不经通知即发生变化。

功能项目中有两项成本采用报价形式,但不可议价。认证费用和认证交期取决于流程和检测机构,而非订单规模;对于联网产品,还包括《无线电设备指令》的网络安全要求。工装费用通常在首笔订单中摊销。由此产生两个问题:该费用分摊到多少数量,以及项目终止时工装放在哪里。在这两项之下还有更新路径:如果供应商无法说明构建版本号和更新机制,就意味着功能可以发生变化而无需按合同通知你,这比产品单价带来的商业风险更大。

支付定金前应索取以下文件:固件构建标识和更新机制;证书编号、签发机构和有效日期;与准确型号标识对应的符合性声明;数据路径和同意机制的书面说明;以及报价单上注明的型号标识。

保护 AI 功能声明的合同条款包括:将型号标识列为独立项目,并附上证书编号;规定样品验收标准,并引用测量表和固定阈值;要求在固件变更影响助手行为之前提前通知,以便买方重新测试,并明确一个期限,确保接受测量的构建版本与实际交付版本一致;以及规定样品未达到验收标准时由谁承担费用。

实测现场服务助手,以及可公开声明的边界

请将其视为假设场景,而非真实客户项目。假设品牌方采购人员要为一个面向现场服务渠道的现有摄像产品系列增加助手功能:终端用户处于嘈杂环境中,可能戴着手套,并且会与同样正在交谈的同事一起使用该产品。

第一步:提出需求。 希望助手能够在现场巡查期间于嘈杂环境中捕捉语音备忘录,同时附近还有同事交谈。这一句话就确定了各项阈值:误唤醒率必须足够低,以免同事的对话触发设备;唤醒率必须使用现场工作人员实际会说的短语列表进行测量;识别准确率必须在嘈杂条件下报告,而不是在安静条件下报告。

第二步:制定测量表。 买方制定五列表格,在样品送达前确定阈值,并在同一封邮件中向供应商询问构建版本号和更新机制。供应商返回了一个没有分母和构建版本号的唤醒率,以及一段关于误触发行为的“响应灵敏”描述。两项答复都作为调查发现记录在案,而非作为测试结果。

第三步:测试单元。 对同一构建版本的三台设备进行测试:一台为全新开箱设备并搭配新手机,测试分别在安静房间和街道上进行。街道环境下的唤醒率明显低于供应商在安静房间中测得的数据,并且三台设备中的一台出现了误触发,另外两台则没有。设备之间的差异是更重要的发现,因为这是良率问题而非产品问题,也使问题从“这个效果好不好”转变为“稳定性是否足以用于产品页面”。

第四步:复测。 两天后使用相同的设备再次运行整张测量表,唤醒率大幅波动。这一发现终结了关于是否公开唤醒率的讨论,并将采购方向转向产品真正能够持续支持的声明:该助手具备语音功能,能够响应指定短语列表,并且已在明确标注的构建版本上进行测量。

第五步:商业结构。买方应在采购订单中写明因固件变更而影响语音助手功能时的告知义务,将离线降级状态定义为可接受行为而非缺陷,将宣传文案与实际出货的固件版本绑定,并将首次交付与样品确认里程碑挂钩。这样得出的结论是:功能宣传应以现有证据所能支持的范围为限,而不是依据演示效果夸大宣传,最终在公开场合无法兑现。

我们自身的原则是:只宣传文档有据可查的 AI 能力,其余功能均标注为待验证;我们宁愿让买方自行进行这些测量,也不要买方仅凭我们的描述形成预期。我们的产品目录将 AI 语音助手列为 AI 摄像眼镜系列的关键技术之一,我们的独立网站则介绍了 K01 的 AI 翻译功能。K01 是一款音频模型,因此我们将其视为自身营销材料中的一项观察,而非产品规格。我们不公布任何型号的唤醒率、误唤醒率、指令成功率、延迟数据、识别准确率、翻译准确率或离线表现,也不会对这些指标进行估算。我们也不会在商品页面中使用基于演示机测得的数据,因为无法复现的数字,在客户当面质疑时便无法自圆其说。

我们能够做到的是,提供固件版本明确的产品,并与您共同完成测量表,而不是仅发送一台演示机。相关测试流程请参阅订购智能眼镜前测试 AI 功能,供应商核查问题请参阅AI 供应商验证,需避免的宣传误区请参阅AI 常见误区,相关背景信息请参阅AI 功能。

接下来该怎么做。列出您准备宣传的功能、实际使用环境,以及客户真正会说的语句。在样品寄达前确定各项阈值。使用开箱状态的产品,在两种环境中对三台设备各测试两次,并为每项结果记录固件版本号。然后根据这些数据决定哪些功能值得写入产品页面,哪些功能不适合宣传。


相关阅读

告诉我们您准备宣传的功能和使用环境,我们将与您共同制定测量表。

在 WhatsApp 上聊天
您在此网站上的体验将通过允许 cookies 得到改善。