智能眼镜 OEM/ODM 制造商 · 中国深圳 +86 19835872450 sales@cynrin.com
智能眼镜技术

智能眼镜AI功能:案例研究模板方法

AI功能案例研究几乎总是无法发布,因为它只报告结果,却不说明产生结果的条件。智能眼镜AI功能……

由 CYNRIN 工程与采购团队提供/ Jul 28, 2025/ 3 分钟阅读
智能眼镜AI功能:案例研究模板方法

关于某项 AI 功能的案例研究几乎总是无法发布,因为它只报告结果,却不说明产生该结果的条件。因此,智能眼镜AI功能智能眼镜案例研究模板并非真正的发布模板,而是一种生成证据的方法,用于证明一种无法预先明确说明的能力。如果您读过我们其余的 AI 报道,就会知道,我们的文档从未公布过我们 28 个模型中任何一个模型的准确率、语言覆盖范围、延迟或架构细节,这意味着我们这边并不存在可供您复现的此类研究。

正是这种缺失让该模板显得意义重大。在大多数品类中,买方可以编写规格说明,并据此核验供应商。但在 AI 品类中,能力问题——准确率、语言覆盖范围、离线表现、延迟——根本无法通过文档来解决,因为这个领域根本无可供参考,而大多数供应商的情况大体也是如此。因此,样例就是测量工具。这是您唯一拥有的设备,能够生成与您产品相关的具体数值。

智能眼镜AI功能:生成可复现的 AI 功能研究

智能眼镜AI功能:为何研究无法发布

结构性问题

案例研究是对已发生事项的报告,而只有当读者能够判断出是哪些条件导致了结果时,报告才有用。大多数 AI 功能研究都会以下列三种方式之一未能通过这一检验。

缺少条件。研究报告称“针对客户查询的准确率为 92%”,却没有说明内容集、语言对、网络条件和日期。这个数字不是测量结果——而是一个失去指代对象的数字,您或任何其他人都无法复现它。

缺少失败案例。研究报告只说明哪些部分有效。成功案例报告只是演示,而失败清单才具有工程价值。失败清单也能告诉买方,该功能能否承载营销声明所要求的水平。

缺少要求。研究在没有书面说明该功能必须做什么的情况下进行,因此只能产生数据,无法得出决策。这是最常见、也是代价最高的失误,因为最终买方只能拿数据与从未记录在案、因而也无法核验的预期进行比较。

为何文档无法取代研究

这个品类的能力问题并未得到公布。我们没有公布,根据买方反馈,大多数供应商也没有公布。AI 在可穿戴设备上的准确率没有标准测试方法,延迟没有标准测量条件,“离线支持”也没有统一定义。

从实际角度来看,这意味着样例就是测量工具,而生成一份站得住脚的结果大约需要一天的工作量。一天相对于发布排期而言是实打实的成本,但与等到商品上线后才意外发现其实际表现相比,这又是非常小的代价。

模板的用途

这个品类中的模板并非一种文档格式,而是一套协议,旨在同时确保两点:结果具体到足以据此采取行动,并且其他人能够重复该测试。

以下六个字段是实现这一目标的最低要求。每个字段都能弥补一种特定的缺陷,缺少其中任何一项的研究都不应作为证据流转——这并非因为它不诚实,而是因为它无法支撑决策。

让 AI 研究具备可发布性的六个字段

AI 生成照片,展示智能眼镜AI功能:案例研究模板方法——第 1 张,共 3 张

让研究具备可复现性的六个字段

字段一:要求集

在首次发出提示词之前,以书面形式写明并标注日期,说明该功能必须做什么。它不是一份理想行为清单——而是按照渠道真正关心的指标,为每项功能设定一个阈值。

以零售渠道中的翻译功能为例,要求集可能是:必须能够处理所列语言;语音请求必须被准确转录,足以据此采取行动;响应必须在指定时间和指定连接条件下送达;系统不确定时,必须如实说明,而不是给出流畅却可能错误的回答。

要求集将研究从描述转化为决策。这也是最常被省略的字段,因为在您必须判断某项结果是否达标之前,它看起来都只是繁琐文书。

字段二:内容集

准备五十个句子,模拟客户实际会说的话。应包含专有名词、数字、单位、产品代码、可能指代两种事物的名称,以及刻意设置的有歧义表述。

通用测试集得出的通用结果,无法说明你的产品任何情况。三十个简单句子和二十个困难句子,并且困难句子要确实具有难度,这样的一套测试,比五十个连演示脚本也能通过的句子更好。

测试集应由熟悉该渠道的人编写,而不是由时间最充裕的人编写。阅读过上千张你所在品类工单的支持负责人,比依据功能清单工作的工程师更善于编写内容测试集,因为他们知道哪些表达在实际使用中会出现,哪些容易被听错。

字段三:网络状况

每次运行测试时的网络连接状况。更实用的表述方式是:以你最差市场的正常网络状况为准,而不是以供应商演示室里的网络状况为准。

如果你的渠道涵盖网络连接不稳定的市场,那么研究中的“正常”状况就是较差的连接,测试结果将告诉你,该功能在那里是否真正可用,还是仅仅具备这一功能。这个字段最常被默认为不言自明,却也是最可能改变结论的字段。

字段四:断网运行测试

这是最常被省略的字段,也决定了产品可以在哪些场景中使用。关闭网络,并逐一列出仍可正常工作的功能:拍摄、通话、播放、助手、设置。

如果你的客户会在仓库、地下室或网络不佳的海外环境中使用产品,那么这就是实际运行状况,而不是边缘情况。断网运行测试能告诉你,AI 功能究竟是不可或缺的依赖,还是仅仅锦上添花——也由此决定,你能否将“AI 功能”印在包装上,作为购买产品的理由。

字段五:失败清单

具体记录每次失败,包括输入、输出以及失败原因。不是统计数量——而是逐项列出。

数量只能告诉你失败率,而缺少对应输入的失败率无法据此采取行动。清单能告诉你哪些输入容易出问题,支持话术、培训简报和商品说明中的注意事项都应据此编写。

字段六:条件、构建版本与地点

型号、固件构建版本、日期、地点、语言对、设备标识符,以及用于计时的工具。这个字段最常被漏记,却正是它让研究结果与个人轶事产生本质区别。

缺少这些信息,你就无法复现实验结果——这实际上意味着任何人都无法复现,因为你测试过的设备已经不在,而固件此后也已更新。

研究模板中每个字段所决定的事项

展示智能眼镜AI功能的 AI 生成照片:案例研究模板方法——第 2 张,共 3 张

构建真正能检验功能的内容测试集

一种可产生可比较结果的方法

内容测试集是模板中最需要专业判断的部分,因此有必要明确说明如何构建一套其他工程师也能使用的内容测试集。

从真实输入出发,而不是从看似合理的输入出发。最佳来源是你的渠道已经收到的支持工单、通话记录、查询日志或语音留言。从中抽取样本,然后去除个人信息。如果该渠道是新渠道,第二佳来源是销售人员最常被问到的十个问题,并且要用客户的说法来表述,而不是产品的说法。

有意识地划分难度层级。将这五十条分为三个层级,并在笔记中记录各层数量:演示时能够通过的请求、包含专有名词、数字或单位的请求,以及真正存在歧义的请求——一个可能对应两个人的名字、一个缺乏上下文的数字、一句有两种理解的表达。第三层级才真正具有工程价值,流利但错误的回答所带来的风险也会在这里显现。

有意识地加入否定样本。每套测试都需要包含应当被拒绝或没有正确答案的提示。返回一段自信流畅却毫无意义的内容,比什么都不返回危害更大,而在演示中这一点看不出来,因为演示所使用的提示全都是能够正常工作的。

在样本到来之前编写测试集,或者至少要在看到它成功运行之前完成编写。测试结果出来后再编写的内容测试集,只是在描述产品,而不是检验产品。两者之间的区别无法从输出中看出来,只有知道你原本打算纳入哪些内容,才能发现这种区别。

运行测试并记录结果

在明确的网络状况下,将每条提示输入样本,并记录四项信息:说了什么、返回了什么、耗时多久,以及答案是正确、不完整、错误,还是被正确拒绝。

不要只记录原始响应时间,而应针对每个响应与既定阈值进行比较。没有关联阈值的原始延迟数据无法说明功能是否可用;有了阈值,结果就能判定为通过或未通过,而通过或未通过的结果可以写入规格说明。

在断网条件下使用同一组提示词再次测试,并记录仍能正常响应的内容。如果第一组中的某条提示词在断网后无法响应,则应将其列入产品页面的限制项。

以下工作流程可在一个产品、一个功能的情况下于一天内从容完成,并且特意按照由难到易的顺序安排,使最具挑战性的测试在团队仍保持专注时进行。

一天完成 AI 研究的工作流程

三类受众,同一项研究的三个版本

一项研究通常需要服务三类读者。常见的错误是只写一份文档,试图满足所有读者的需求。他们所需的信息不同,需要的细节程度也不同。

内部团队——包括产品、支持和市场部门——需要失败项清单和限制项清单。他们需要了解哪些输入会失败,以及功能在无网络连接时如何表现,因为支持话术和培训简报正是据此编写。他们不需要每条提示词的原始计时数据,只需要知道阈值以及是否达到阈值。

供应商需要需求清单、内容清单和失败项清单,并且这些信息必须便于其采取行动。建议直接发送内容清单,因为供应商看到准确的提示词后,便能复现测试并解释失败原因,这比在邮件中描述五十条提示词更快。

面向客户的团队——包括渠道团队、零售人员和经销商——需要一页内容:功能擅长什么、无法做什么,以及当客户提出超出功能范围的需求时应该如何回应。这一页要最后编写,因为它必须准确无误,而只有在发现所有失败项后才能得出准确结论。

按这个顺序编写,也能避免研究受市场受众的影响。如果先编写产品页面,内容清单往往会根据文案已经承诺的表述来构建,随后研究只是验证文案,而不是测试产品。整个模板正是为了防止这种失误。

让研究在产品发布后持续发挥作用

一项研究通常在发布后的数月内最具价值,因为此时第一批真实查询涌入,测试集与实际情况之间的差距开始显现。

养成两个习惯即可实现这一目标。保留内容清单和测试条件,与研究结果一并存档,而非只保留结果,这样后续测试才能与首次测试进行比较。同时,按照明确的间隔和明确的触发条件安排复测——例如固件更新后、服务提供商变更后,以及任何会引发异常流量的重大推广活动之前。如果某项 AI 功能在上次研究后已经在底层发生了变化,那么其产品页面可能已不再准确。通过研究发现这一问题的成本,远低于通过客户投诉发现的成本。

AI 生成的智能眼镜 AI 功能示意图:案例研究模板方法——第 3 张,共 3 张

将研究转化为决策,而非文档

与需求清单比较,而不是与其他产品比较

如果你在测试前明确定义了功能必须实现什么,那么现在就能得出可据以行动的结论。如果没有,你拥有的只是数据,而不是问题。 这正是设置第一个字段的原因,值得再次强调,因为大多数研究恰恰是在这里出现偏差。

在这个品类中,将你的结果与其他供应商的结果进行比较几乎总是一个错误,因为双方的结果是在不同条件、不同内容清单和不同阈值下得出的。最终你只能根据数字进行选择,而不是依据证据。

有效的比较需要从三个方面进行:将你的结果与你的需求清单比较,将你的结果与其他供应商适用的同一需求清单比较,再评估差距及其可能带来的成本。 买方通常会跳过第三个步骤,而正是这一步将测试结果转化为采购决策。

编写时,要确保他人能够重复测试

这意味着记录内容清单、测试条件和方法,而不是结论。另一名工程师无法复现的结果,只不过是一项附加了表格的主张。

这份说明应当简短到同事愿意读完,同时又完整到同事能够据此执行。实际操作中,这意味着需要包括:需求集、以实际五十个提示词构成的内容集、条件表、列明失败项的结果表,以及一段结论,说明哪些需求通过、哪些未通过。

根据结果判断降级场景

断网运行测试决定了该功能究竟可以作为必要依赖,还是只能作为增强功能。如果降级后的表现可以接受,该功能就能安全地承担营销价值。如果降级意味着产品无法继续兑现购买目的,那么就需要修改文案或调整产品;无论是哪一种,在这里作出决定都比上线后再处理更省成本。

从失败清单中还可以得出第二个判断:故障模式是否可见。系统提示“我没有识别出来”,可以直接写入客服话术。系统却自信地给出错误答案,则完全是另一类问题;如果测试集过于宽容,这类问题甚至不会出现在你自己的测试集中。

研究的商业影响

完成一项研究会改变三项商业决策,因此应主动利用研究成果,而不是把它搁置在文件夹里。

订单验收标准。你测得的阈值会成为采购订单中的验收标准,未能达到这些标准的批次可以直接拒收。如果没有这项研究,你就没有拒收的依据。

保修条款。依据第六项现场故障标准制定的保修条款,在提出索赔时可以直接衡量。而依据描述性表述制定的保修条款,则会演变成一场谈判。

商品页面。失败清单和断网运行测试结果共同决定你的文案。基于实测结果撰写的范围明确的描述具有可辩护性,而基于演示得出的宽泛描述则不具备。

我们自身产品说明中尚未明确的内容

我们的文档提到相机平台具备 AI 语音助手功能,并在独立网站上介绍了 AI 翻译支持功能。但文档没有公布准确率数字、支持的语种列表、延迟、离线表现、处理地点、订阅条款或数据管辖地。

这意味着,我们无法为自己的产品提供本模板的完整版本;与其发布一项连测试条件都无法说明的研究,我们宁愿如实告知。这也意味着,如果你针对我们的某款样品开展这项研究,你将获得整条供应链中其他人都没有的证据——对于制造商而言这是一种奇怪的处境,但对采购方而言却很有价值。

我们能够提供的是另一半工作。把针对我们某款样品开展研究的结果发给我们,我们会告诉你哪些结果与我们公布的数据一致,哪些不一致。无论对我们还是对采购方而言,与文档内容相冲突的结果都值得了解。

为了说明我们的产品目录包含和不包含哪些信息:28款型号中,有20款被归为 AI 产品——包括11款相机型号、8款音频型号,以及1款不带相机的电致变色产品——而且这一数字只是整个产品系列采用的一种命名规则,并不表示有20款产品共用同一套实现方案。在相机产品组中,我们公布了电池容量、充电接口、分辨率等级、标称续航时间和充电时间;8款音频型号还额外公布了 Bluetooth 版本,而相机系列没有公布任何 Bluetooth 版本。整个产品目录中只有一个重量数据,即 MT6 相机平台不含可折叠充电保护壳时为 158 g;没有任何型号公布配备 AI 功能的配置重量。

这种缺失始终一致且可以解释:我们公布的是由我们组装的产品所对应的参数,而不是由其他供应商提供的某项功能的实现特征。同样的规则也适用于光致变色产品方案中的镜片,以及无线射频认证信息:在我们的产品目录中,出口认证说明以公司层面呈现,但没有针对每款型号单列认证信息。这是一条关于哪些内容能够得到真实证据支持的规则,并适用于我们列出的每一款产品。

这也是我们无法为自己的产品发布本模板完整版本的原因。并不存在可以发布的完整版本;如果强行编写,就意味着要么自行虚构测试条件,要么借用供应商的测试条件,而无论哪一种做法,都无法经受住第一位追问数字如何得出的客户的考验。

该测试的功能背景详见智能眼镜的AI功能。本测试发现的局限详见我们已知的AI功能局限,声明评估方法详见制造商的AI功能声明,开始测试前需要确定的各项指标详见AI功能采购清单,样本测试方案本身详见样本评估。


相关阅读

如果您开展过相关研究,请将结果发送给我们,我们会告诉您哪些结论与我们公布的数据一致。

在 WhatsApp 上聊天
您在此网站上的体验将通过允许 cookies 得到改善。