这一类别中公布的每一次续航测试结果都是额定值,而额定值就是剥离了测试条件的数字。但买家用来预估退货率的依据并不是平均值,而是样本中表现最差的那一台。5 台设备的平均续航为 6 小时,其中 2 台只能运行 5 小时、1 台运行了 8 小时,这与 5 台全部运行 6 小时属于两种不同的产品,只有后者的退货率才具有可预测性。因此,测试方案分为两个部分:首次运行前需要固定 5 个变量,之后则逐台记录并对结果进行排序,而不是取平均值,因为真正会退回来的是长尾中的设备。固定负载、无线电测试环境、温度、初始状态和样本,然后运行每一台设备、记录每一台设备、对结果进行排序,并将合格线设在长尾而非平均值上。
智能眼镜续航时间:真正重要的长尾
只有 1 个样本、1 个目录额定值,却收到投诉的买家
进行这项测试的买家通常是在核实供应商的额定值是否符合实际、为商品页面确定一个数字,或回应客户关于产品实际续航不及页面标注的投诉。他们手中有样本、目录标称的续航时间和使用场景,却没有测试方法,而这正是问题所在:除非了解各自测量时采用的负载,否则同一款产品的两家供应商所公布的数据无法直接比较。
我们的目录为每款产品公布了续航时间,却没有公布任何一款产品的测试条件。公布的数据从部分音频型号的约 6 小时,到儿童系列的约 20 小时不等,摄像型号集中在 5 至 8 小时之间。它们本质上都是同一种声明:剥离了方法的测试结果。
这张图表值得仔细阅读,因为它看起来像排名,实际上并不是。每根柱子的长度不代表型号之间的比较,而是毫无可比性,因为每根柱子都缺少产生该结果的负载、无线电条件、温度和初始状态。关键信息在每根柱子旁边的备忘录中,而不在柱形本身。
买家真正关心的 3 种负载分别是连续播放、混合使用和连续拍摄,就续航表现而言,它们相当于 3 种不同的产品。第一种最容易复现,也最有利于呈现效果;第二种是客户的实际使用方式;第三种负载最重,摄像系列中两个分辨率档次的差异预计也会在这一测试中最为明显。
导致错误答案的 3 个误区
测试中途改变负载。这是续航测量出错最常见的形式:测试开始时为连续播放,之后却变成了通话测试,最终得到的数字根本不对应任何实际使用场景。规则是,负载应列成一份带计时的操作清单并记录在案,在整个测试过程中不得更改。
测量充电盒,而不是眼镜本体。充电盒有自己的电池和充电时间,将两者放在一起测量,得到的数字会远大于产品本身的实际表现。这是最容易让争论朝错误方向发展的做法,因为数字是真实的,附在数字上的标签却不是。
将单个设备当作整个群体。1 台设备、1 次运行只能算作一则轶事。如果要通过测量来解决客户投诉,该测量必须能够由他人重复,而单台设备的结果任何人都无法复现。

采购任务:确定退货率所处的百分位
真正会退回来的是长尾设备
买家之所以应该关注表现最差的设备,而不是平均值,原因在于一种分布规律,而非测量结果。退货数量并不与产品的平均表现成正比,而是取决于有多少设备低于客户失去满意度的临界点。预期续航为 8 小时、实际达到 7.5 小时的客户不会退货;预期续航为 6 小时、实际只有 4 小时的客户则会退货。处于续航区间底部的设备数量很少,但它们在退货设备中占的比例明显更高。
正因如此,验收线应该设在尾部。以均值为依据制定的验收规则,必然会导致返修产品无法通过;而经常失效的规则,要么会被忽视,要么会被套用于每一批产品,成本高昂。以尾部为依据制定的规则,则能让你愿意出货的产品通过。至于实施该规则所需的样本量,取决于你能容忍多大比例的尾部产品。
上面的决策图将买家最终可能持有的四类数据区分开来。不标注工作负载的公开评级,根本不应写入采购订单。实测平均值可用于商品页面的宣传,却不适合作为验收规则。最差产品的实测数据才应写入订单。至于在客户并不拥有的工作负载条件下测得的数据,在签署任何文件之前都必须重新测量,因为那描述的是另一款产品。
实际阈值应采用百分位数,而非单一数值。如果买家暂时无法确定渠道能够容忍的百分位数,就应采用第 10 百分位产品,因为退货开始集中出现的节点正是第 10 百分位,而且采用合理规模的样本即可测量。

五个变量及其对结果的影响方向
这五个变量中的任何一个,都可能让公开评级相差数小时。因此,缺少这些条件的数值根本不能作为规格指标。
负载是测试期间无线电模块和电子元件的工作状态,其影响远超其他所有因素。负载越高,续航时间越短。要让测试结果具备可重复性,就应将工作负载写成一组计时的操作步骤,而不是一段描述,因为描述可以与负责计时的人协商更改。
无线电环境是幼稚测试最容易判断错误的变量。设备处于弱信号环境下时,传输会消耗更多电量,因此同一台设备在同一房间内,不同日期测得的数值也可能不同。要么固定环境——同一测试台、与路由器相同的距离、相同的配对状态——要么详细记录环境,因为来自两种不同环境的数据不具备可比性。
温度应设定为范围,而不是标称值。电池性能随温度变化而双向波动,而在温带房间中进行的测试,描述的却是将在炎热车内或寒冷街道中使用的产品。为了节省时间而只测试市场实际遇到的极端温度并不值得,因为尾部数据恰恰存在于低温端。
初始电量状态必须明确指定,并且每次测试都应保持一致。满电产品与半电产品的起始状态不同,而从深度放电状态开始的首个循环,其表现也与后续循环不同,因此第一次测得的数据往往最慢,第二次则更快。
样本决定公开数据是否成立。仅从某一批次中抽取一台产品,只能说明这台产品的情况。跨产品、跨批次抽取的样本,才能反映整个生产过程;而批次间的数据离散程度往往高于批次内的离散程度,这会让许多只测试首批到货产品的人感到意外。
五个变量及其各自推动结果的方向
终点应定义为明确的状态,而非“电量耗尽”。放电曲线的尾部很长,最后几个百分点会占用不成比例的时间。将结束条件定义为某种具体表现——设备无法再执行主要功能的节点——既能确保两次测试具有可比性,也能赋予数值明确含义。
运行结束时的表现是一项单独的观察指标。设备是否会提示电量耗尽,是否仍能部分工作;对于配有感光镜片的镜片,在电池耗尽时又会有什么表现。能够正常关机的产品,意味着已有相应的支持流程;若运行状态出现无规律退化,就意味着需要准备保修处理文件。
充电时间必须从与续航测试相同的明确起点进行测量,并记录所用充电器,因为这两项数据会一同标注在产品页面上,而且彼此并非独立。
降额系数是一项商业决策,而非技术常数。如果供应商给出降额系数,却没有说明背后的方法,那么这个数值就是未经测量的数据,只是披着工程外衣的猜测。

从台架测试到批次验收规则
六个步骤,以及每一步建立的验收规则
第一步以书面形式确定五个变量。负载、无线电环境、温度、初始状态和样本。拿到首个结果后才设计的方案不能称为方案;在这类测试中,它甚至不能算作证据,因为提出异议的供应商可以指向这五项中的任意一项,反问你究竟控制了哪一项。
第二步对每台设备运行相同的工作负载。不是抽取具有代表性的子集,也不是选择看起来状态良好的设备——而是样本中的每一台设备,因为这项测试的目的在于观察离散程度,而离散程度正是我们要考察的对象。
第三步记录每台设备的数值。要列出完整数据,而不是汇总结论。一旦写下平均值,尾部数据就被丢弃了。
第四步对结果排序,并提取尾部数据。按升序排列,读出表现最差的设备,然后是倒数第二差的设备;两者之间的差距本身就是一项发现。尾部数据集中,说明样本能够反映流程的某些特征。尾部数据离散,则意味着需要就制造问题展开沟通。
第五步根据尾部数据设定验收线。这条线由小时数、工作负载、温度和初始状态四项条件共同确定。这就是应写入采购订单和来料检验单的验收标准。
第六步将规则写入订单。只存在于测试报告中的规则,来料检验团队不会执行,因为他们根本不知道这条规则的存在。写入采购订单的规则才具有约束力;不满足该规则的批次可以拒收或返工。
让其他人也能复现测试结果
只有能够复现的结果才有用,而实现复现所需的字段,正是上述五个变量,再加上每台设备的记录。请在检验单上注明样本标识:设备编号、所属批次或生产批次、日期、环境条件、充电器和初始状态。保留测试设备及原始读数,因为这些数据将成为后续交付批次的比对基准——否则,更换电池或充电电路的行为将无从察觉。
另外两项做法可以提升测量结果的价值。对同一批设备进行多次测试,因为新设备的首次测试结果往往不具代表性,而单次测试无法区分系统性结果与偶然结果。此外,应在后续生产批次上重复整个测试方案,因为抽样阶段测试的批次并不是最终出货的批次。
运行时长测试方案容易失去余量的地方
将标称七小时的数据与混合使用场景的预期进行比较,进而判定产品存在缺陷。根本原因在于双方都没有说明工作负载。预防方法是在品牌引用的每个数据旁注明工作负载,包括商品详情页,因为客户复现的是工作负载,而不是某个数字。
在充电盒上完成测量,却将其报告为产品的续航表现。根本原因在于将眼镜和充电盒视为同一个对象。预防方法是分别测量并报告这两件产品的数据,同时公开两者。
同型号的两台设备相差三小时,却无人察觉。根本原因在于只测试了一台设备,却公布了平均值。预防方法是跨设备、跨批次进行测试,并公布数值范围而非平均值;这正是让制定退货政策的人能够看到尾部数据的做法。
产品在寿命末期的表现由客户率先发现。根本原因在于结束条件仅设为关机,因此从未观察到性能衰减阶段。预防方法是将设备变得无法使用的节点作为独立观察项进行记录,并将异常行为视为测试发现,而不是将其当作噪声忽略。
保修政策依据标称数据制定,却无法应对首笔索赔。根本原因在于标称数据未附带适用条件,导致索赔演变成对客户使用何种工作负载的争论。预防方法是依据既定工作负载下的实测数据制定保修政策,并将工作负载写入客服话术和商品详情页。
充电盒的充电次数是通过计算得出的,而非实测得出的。根本原因在于,有人把容量数值当成了续航时间数值。预防方法是,在样品上统计充电盒从满电状态开始能够完成的充电次数,因为客户实际体验到的次数取决于硬件的实际表现,而不是电子表格所呈现的数据。
实操案例:渠道采购方设定退货率预期
这是一个假设情境,而非客户项目,旨在展示决策顺序,而不是报告结果。
假设有一家渠道采购方,正在评估三款候选型号,并且必须在销售季开始前确定退货政策。上一销售季,一款类似产品的退货被归因于续航问题;此后,渠道收到品牌方来函,要求降低退货折让额度。真正的约束在于,没有人能够提供经得起讨论的续航时间数据。
首先明确写出使用场景。渠道客户以三种方式之一使用产品,采购方将每种方式分别写成带有计时的清单:连续播放、混合使用并定期拍摄,以及仅拍摄场景。此处真正影响决策的是,退货折让额度应以这三种场景中的哪一种为依据;答案是混合使用,因为大多数使用场景都属于这一类。
固定并记录五个变量。路由器位置和距离、环境条件、起始状态、样品以及结束条件。采购方明确说明,结果仅描述这些条件,而不涉及其他条件,正因如此,这项结果才能用于来函沟通。
样品中的每一台设备都要运行测试。最终得到的是一份列表,而这个列表呈现出一种形态:大部分数据集中在一起,另有一台设备明显低于这一组。平均值接近产品目录中公布的评级。尾部数据则低了 2 小时。这就是测试发现;之所以能够发现,是因为每台设备都是单独运行测试,而不是在现场取平均值。
验收线依据尾部数据设定,而非平均值。采购方将验收线设定为样品中最差的一台设备,并明确注明使用场景、温度和起始状态,随后将其写入采购订单,作为进货检验标准。
三款候选型号依据尾部数据进行比较,而非平均值。其中两款产品的尾部数据较为集中,另一款的最差设备与倒数第二差设备之间存在较大差距。差距较大的候选型号存在流程方面的疑问,因此采购方在下单前而非下单后就提出这个问题。
退货折让额度依据实测数据确定。致品牌方的来函引用了实测数据,并注明其对应的使用场景、样品数量和温度,同时要求品牌方在自身数据中采用同样的严谨标准。这一要求通常会得到认可,因为另一种做法将引发双方都无法取胜的争论。
最终,渠道获得了一项能够据理力争的退货折让额度,品牌方也得到了一组能够复现的数据。起决定性作用的选择是以尾部数据为依据,而且这一选择是在下单之前作出的,没有等到首个销售季的数据出来后才决定。
我们如何公布续航数据,以及额定数据未涵盖的内容
我们采用的工作原则是:严格按照产品目录所载内容公布额定续航时间,并同时说明目录未为其中任何一项数据列出测试条件。
我们不会凭空设定测试条件,也不会对尚未在您使用场景下实测的数据套用降额系数,因为降额系数是针对您自身退货率作出的商业决策,而不是技术常数;供应商若在未说明方法的情况下提供降额系数,提供的就是一个未经实测的数字。我们也不会公布在运输途中且经过存放的样品上测得的数据,因为这种状态并不是客户用来比较产品的状态。
我们会明确说明,您自己的测试无法告诉您什么。它无法告诉您,产品在供应商面向整个用户群体出货时的表现如何,因为这个问题需要通过生产端的质量控制来回答,而不是通过实验台测试。它能够告诉您的是,您自己样品中的数据分布,而这一分布正是决定退货折让额度的关键数值。
我们所能做的,是将您的测量结果与该型号公布的数据进行对照,并告诉您结果是否与标称值一致,以及这对文案意味着什么。测量规范详见眼镜续航时间与功耗,比较方法详见如何比较续航时间,测量方法详见如何测量续航时间,生产环节的控制方法详见续航时间质量控制。
本周的四项行动
将工作负载写成带时间的清单,而不是一段描述。就设备运行时间向供应商提问时,需要了解运行了什么、运行频率、音量大小以及当时的无线电条件。能够完整回答这四个问题的供应商,才具备规范的测量习惯。
测试每一台设备并保留清单。尾部数据需要通过排序才能发现。如果您只记录平均值,那么续航时间较短的设备就已经从证据中被舍弃了。
以表现最差的设备设定验收线。这条验收线以及对应的工作负载、温度和初始状态,就是应写入采购订单和来料检验单的标准。
把工作负载和尾部数据发给我们。我们会告诉您结果与该型号标称值的对比情况,以及差异是工作负载造成的,还是表明产品描述中应补充某些内容。
延伸阅读
请将测量结果及其背后的五项变量发送给我们,我们会告诉您该结果与公布数值相比如何。



