Fabricante OEM/ODM de óculos inteligentes · Shenzhen, China +86 19835872450 sales@cynrin.com
Tecnologia de Óculos Inteligentes

Como testar antes de comprar óculos inteligentes com IA

O motivo pelo qual um recurso de IA não pode ser avaliado assistindo a uma demonstração não é que ela engana. É que a demonstração é a única…

Pela equipe de engenharia e sourcing da CYNRIN/ Dec 15, 2021/ 22 min de leitura
Como testar antes de comprar óculos inteligentes com IA

Funcionalidades de IA dos óculos: uma relação, não um componente

A razão pela qual uma funcionalidade de IA não pode ser avaliada assistindo a uma demonstração não é que as demonstrações enganam. É que uma demonstração é a configuração em que um assistente parece melhor: uma frase preparada, uma sala silenciosa, uma rede comprovadamente funcional e uma unidade cujas contas foram vinculadas previamente pela pessoa que a configurou. Tudo o que um comprador precisa saber é uma propriedade da relação entre o dispositivo, o provedor do modelo, a rede e a região — e nenhum desses quatro elementos é o produto que vem na caixa.

A decisão, em três frases. Se um assistente de voz for essencial na sua listagem, teste-o como uma relação, e não como uma funcionalidade: escreva a lista de frases e as condições de aprovação antes de a amostra chegar, execute o plano em uma unidade que não seja a unidade de demonstração e registre a versão do firmware com cada resultado. A métrica que determina se o produto pode ser lançado costuma ser a taxa de ativação indevida, e não a taxa de ativação por palavra de despertar, porque um dispositivo que interrompe a conversa de um cliente é um produto que acaba sendo retirado. Se você não conseguir obter por escrito um identificador da versão, uma descrição do fluxo de dados e um comportamento offline identificado, não inclua o assistente no texto — a funcionalidade EXISTS na página do produto e em nenhum outro lugar.

Quem está executando este plano, e o que ele precisa produzir. Geralmente, o leitor está decidindo se um assistente de IA pertence ou não ao produto, ou comparando as implementações da mesma funcionalidade declarada por dois fornecedores. O que ele tem são amostras, uma lista de funcionalidades, um canal, um preço-alvo e um plano de marketing que já pressupõe a existência da funcionalidade. O que ele não tem são dados de desempenho, e o motivo é estrutural: os dados pertencem ao provedor do modelo, e não à fábrica, e mudam com a versão, e não com o hardware. Portanto, o plano precisa produzir três coisas — um número, e não uma impressão; um identificador da versão associado a esse número; e uma lista escrita das condições nas quais o número foi medido.

O que o nosso próprio catálogo diz, e o que não diz. Indicamos um assistente de voz de IA entre as tecnologias-chave da família de óculos com câmera de IA, e nosso site independente descreve a tradução por IA no K01, que é um modelo de áudio. Não publicamos taxa de ativação por palavra de despertar, taxa de ativação indevida, taxa de sucesso de comandos, dados de latência, precisão de reconhecimento, precisão de tradução nem comportamento offline de qualquer modelo da gama, e não estimaremos nenhum deles. Essa escassez não é um problema de dados que não coletamos; é a aparência de uma categoria sem uma linha de base de desempenho publicada, e é a razão pela qual o plano abaixo existe.

Onde está o custo de uma funcionalidade de IA. O custo de hardware de um assistente é próximo de zero — o microfone e o rádio já estão no produto. O custo real de um assistente corresponde aos quatro elementos ao seu redor: o trabalho de especificar um comportamento que possa ser testado, a localização da lista de frases e da documentação para cada mercado de lançamento, o roteiro de suporte para os casos de falha e o mecanismo contratual que informa quando o fornecedor alterou algo sem o seu conhecimento. Dois fornecedores que cotam o mesmo assistente apresentarão diferenças muito maiores nesses quatro pontos do que em qualquer preço unitário, e essa diferença permanece invisível até a listagem ser publicada.

Cinco números e o denominador que cada um precisa ter

Fotografia gerada por IA ilustrando como testar antes de pedir smart glasses com funcionalidades de IA — imagem 1 de 3

Os cinco números a exigir e os três que ninguém relata

Envie estas cinco perguntas em uma única mensagem, com as mesmas palavras, a todos os candidatos e solicite as respostas em uma tabela, e não em prosa. A coluna do denominador é a mais importante, porque uma porcentagem sem denominador é apenas uma alegação de marketing.

Métrica O que mede Denominador necessário Limite de aprovação
Taxa de ativação por palavra de despertar O assistente iniciar quando deveria Tentativas, número de falantes e ambiente Uma porcentagem com os três elementos declarados
Taxa de ativação indevida O assistente iniciar quando não deveria Tentativas e horas de uso normal Uma porcentagem ou uma declaração por escrito de que não é medida
Taxa de sucesso de comandos A sua lista de frases ser compreendida A lista de frases que você forneceu e as repetições por frase Uma porcentagem em relação à sua própria lista
Latência O atraso antes de a resposta chegar Estado da rede e versão do firmware Um limite fixo, e não uma avaliação subjetiva
Precisão de reconhecimento Se a coisa correta foi ouvida O ambiente e se o falante está voltado para a frente Um valor para a sala silenciosa e para o ambiente real

Os limites em linguagem simples e as três linhas que normalmente estão faltando

Uma taxa sem uma contagem de tentativas não é uma taxa. Noventa e oito por cento medidos em dez tentativas em um escritório silenciosoê menos de oitenta e cinco por cento medidos em trezentas tentativas em uma rua, e o segundo número é o que descreve o produto. A linha de aprovação a manter é uma percentual com denominador, contagem de falantes e ambiente especificados, e um fornecedor que não consiga fornecer os três não mediu o produto.

A taxa de ativação falsa é um critério de usabilidade, não uma nota técnica. Ela determina onde o produto pode ser vendido, e não apenas se o recurso funciona, porque uma sala de reuniões e uma rua são mercados diferentes para o mesmo dispositivo. Um dispositivo que acorda com uma tosse em um escritório silencioso é um produto para salas de reuniões; o mesmo dispositivo em uma rua é um incômodo. O limite definido pelo comprador aqui é uma decisão de produto sobre o canal de venda e deve ser registrado antes de a página do produto ser redigida.

A taxa de sucesso dos comandos precisa ser medida com base na sua lista, não na do fornecedor. A lista de um fornecedor contém saudações e um temporizador, porque são fáceis. Sua lista contém a frase que um supervisor de armazém realmente diz onze vezes por dia. A linha de aprovação é uma percentual calculada em relação às frases fornecidas, com um número declarado de repetições por frase.

A latência precisa de um número fixo, não de um adjetivo. Defina o limite — menos de dois segundos é um ponto de partida razoável — e faça a medição. Ela varia conforme a rede, e é por isso que o estado da rede precisa fazer parte da medição; um número de latência sem o estado da rede é um número do escritório do fornecedor.

O número da versão de compilação é a coluna que torna os resultados dignos de serem mantidos. Um assistente muda entre versões de compilação, e uma medição sem um identificador de compilação não pode ser reproduzida, defendida nem comparada com o resultado do próximo fornecedor. É a coluna mais importante da planilha e a que mais frequentemente fica em branco.

Três linhas que quase nunca são preenchidas, e o que fazer com cada uma delas. O comportamento offline — o que o dispositivo faz quando a rede é removida fisicamente — é a linha que resolve a disputa mais comum nesta categoria: se o produto faz o que sua documentação diz quando a rede não está disponível. Solicite esse comportamento como uma declaração por escrito e, se a resposta for silêncio, considere o comportamento offline como indefinido no texto. O fluxo de dados — o que sai do dispositivo, para onde vai e como o consentimento é tratado — é a linha solicitada por um revisor de conformidade; verifique-a por observação, não por leitura, e faça a declaração de privacidade no seu anúncio descrever o que você observou. E o mecanismo de atualização — como uma unidade já comercializada recebe uma nova compilação e quem decide — é a linha que informa se o recurso pode mudar sem aviso contratual a você.

A ordem em que o plano do assistente é executado e por que o plano vem primeiro

Executando o plano: identificadores de compilação, ambientes e um segundo dia

Primeiro passo, antes de a amostra chegar. Escreva a lista de frases. Ela deve conter os comandos que o cliente realmente emitirá, no idioma do mercado de lançamento, incluindo os dois ou três que são difíceis de dizer. Defina as condições de aprovação como números. Decida quais testes precisam de quais ambientes. Fixe o aparelho, a rede e as condições de áudio. E identifique a versão de firmware que você espera que a amostra tenha, para que a primeira coisa a fazer na chegada seja confirmá-la.

Segundo passo, no dia, antes de qualquer medição. Confirme o identificador da compilação na unidade e registre-o. Confirme o idioma, a região e o estado da conta. Verifique se a unidade está em uma configuração padrão de fábrica, e não na configuração de demonstração, que normalmente significa uma conta nova, nenhum serviço vinculado e configurações padrão de processamento. Um resultado de uma unidade de demonstração vinculada não é um resultado sobre o produto que o cliente recebe, e essa é a forma mais comum de uma avaliação do assistente favorecer um fornecedor.

Terceiro passo, a taxa de ativação por voz, em um grande número de tentativas. Use vários falantes diferentes, porque os assistentes de voz variam mais conforme o falante do que conforme o hardware. Registre a contagem de tentativas, o número de falantes e o ambiente, e calcule a taxa você mesmo a partir do registro, em vez de confiar em um número arredondado.

Quarto passo, a taxa de ativação falsa, no ambiente que importa. Este é o teste mais longo do plano e o que mais frequentemente é ignorado. Significa manter o assistente ativado durante atividades normais — uma mesa, uma reunião, uma rua — e registrar cada ativação que não foi solicitada. O número obtido é o número que determina o canal de venda.

Etapa cinco: a taxa de sucesso dos comandos, com base na sua lista de frases. Cada solicitação é executada um número fixo de vezes, e as falhas são registradas com um motivo, porque “não entendeu” e “entendeu, mas fez a coisa errada” são duas falhas diferentes, com duas correções diferentes.

Etapa seis: a latência, em relação ao limite fixo. Meça o intervalo entre o fim da fala e o início da resposta, registrando o estado da rede, e repita a medição vezes suficientes para observar a cauda da distribuição, e não apenas a média.

Etapa sete: o comportamento offline, com a rede fisicamente desconectada. Não basta ativar o modo avião com um resultado em cache disponível — a rede deve estar realmente indisponível, com o resultado registrado. Um fornecedor que nunca fez esse teste tem um produto cujo comportamento em um elevador é desconhecido.

Etapa oito: o fluxo de dados, verificado por meio de observação. Observe o que o dispositivo faz na rede, compare com o que a documentação afirma e mantenha essa comparação no arquivo. Uma declaração de privacidade escrita a partir de uma frase de marketing representa um risco jurídico, enquanto uma declaração de privacidade escrita a partir de uma observação pode ser defendida.

Toda taxa tem dois valores, e apenas um deles prevê o comportamento do cliente

Teste duas ou três unidades da mesma versão em todos os locais em que o recurso seja essencial. Um recurso que funciona em uma amostra e falha em outra é um problema de rendimento, e um problema de rendimento fica invisível em um teste de uma única unidade. Quando o recurso é o motivo da compra do cliente, uma única unidade não constitui evidência de nada.

Execute todo o plano duas vezes, em dias diferentes, e trate a variação como um achado. O comportamento de um assistente varia conforme o dia, a rede e o ruído ambiente, e uma diferença grande entre duas execuções indica que o recurso não é estável o suficiente para servir como base de uma afirmação. Quando a variação é pequena, vale manter o resultado; quando é grande, o achado é mais valioso do que o número.

Registre o identificador da versão, o ambiente e o horário com cada resultado. Mantenha as gravações onde a plataforma permitir. Uma medição que não pode ser reproduzida não constitui evidência e, nesta categoria, a versão é o fator que muda.

Recursos de IA dos óculos inteligentes: um plano que pode ser repetido após mudanças na versão

O que registrar com cada resultado. A designation e a configuração do modelo, o identificador da versão do firmware, a versão do aplicativo, o idioma e a região, o estado da conta, o dispositivo e a rede, o ambiente e seu nível de ruído, a frase ou o teste realizado, o resultado, o horário e o testador. A planilha é longa, e esse é o objetivo: a quantidade de linhas é o que torna o resultado defensável seis meses depois.

O que este plano não pode estabelecer. Ele não estabelece como o recurso se comporta para toda a sua base de clientes, nem como se comporta em um mercado ou idioma que você não testou, nem como se comporta após a próxima alteração do fornecedor, e também não estabelece a situação de conformidade, que é determinada por documentos. A última questão é importante: a Diretiva de Equipamentos de Rádio contém requisitos de cibersegurança que fazem parte da marcação CE, descritos pela série de normas harmonizadas EN 18031 e abrangendo comunicação segura, criptografia, armazenamento seguro, consentimento do usuário e o processo de tratamento de vulnerabilidades identificadas. Um assistente de voz está integralmente abrangido por esse escopo, e o comportamento offline medido é a evidência de que o produto faz o que sua documentação afirma quando a rede está indisponível.

Fotografia gerada por IA ilustrando como testar antes de encomendar recursos de IA dos óculos inteligentes — imagem 2 de 3

Onde um programa de IA dá errado e os sinais de alerta inicial de cada problema

O recurso é anunciado em uma página de produto e falha durante uma reunião com um cliente. O sintoma é uma reclamação que descreve uma conversa interrompida. A causa raiz é que apenas a taxa de ativação por voz de ativação foi medida. A prevenção é medir as duas taxas e definir o limite de ativações falsas antes de escrever a página do produto.

O cliente relata que o assistente parou de funcionar após uma atualização. O sintoma é um conjunto de reclamações que começa em uma data que ninguém consegue explicar. A causa raiz é que a medição ficou vinculada a uma versão, e a versão mudou sem um novo teste. A prevenção é registrar a versão com cada resultado, reexecutar o plano na versão que realmente será comercializada e solicitar aviso prévio de alterações que afetem o comportamento do assistente.

É feita uma afirmação sobre tradução, e o revisor do idioma de destino a rejeita. O sintoma é uma página de produto que promete interpretação e um revisor que não consegue reproduzir o resultado. A causa raiz é que a precisão foi avaliada por alguém que não é falante nativo, usando saudações em vez de frases úteis. A prevenção é pedir que um falante nativo do idioma de destino avalie as frases de que o cliente precisa, anexando a lista de frases à avaliação.

Uma pergunta sobre privacidade recebe uma resposta de marketing. O sintoma é a avaliação de segurança de um cliente corporativo que solicita o caminho dos dados, enquanto a marca não tem nada além do URL da política. A causa raiz é que o caminho dos dados nunca foi verificado. A prevenção é verificá-lo por meio de observações e fazer com que a declaração de privacidade descreva o que foi observado.

O produto funciona no país da demonstração e falha no mercado de lançamento. O sintoma é um conjunto de devoluções vindas de apenas um mercado. A causa raiz é que o plano foi executado em uma única região e em uma única rede. A prevenção é executar o plano no mercado de lançamento, nas redes que o cliente utilizará, e apresentar os dois conjuntos de resultados lado a lado.

Dois avaliadores chegam a conclusões opostas no mesmo dia. O sintoma é uma lista de selecionados que muda entre uma reunião na terça-feira e outra na sexta-feira. A causa raiz é que as condições de aprovação eram adjetivos. A prevenção é fixar as condições de aprovação como números antes de as amostras serem encomendadas, para que uma divergência indique um critério vago, e não o produto.

Fotografia gerada por IA ilustrando como testar antes de encomendar funcionalidades de IA dos óculos — imagem 3 de 3

O que você pode contratualmente exigir quando o fornecedor alterar algo

O identificador da versão e o mecanismo de atualização são os dois itens que devem constar na solicitação de cotação. Um fornecedor incapaz de informar os dois está dizendo que o assistente pode mudar sem aviso contratual a você, o que representa uma exposição comercial maior do que o preço unitário. Não há custo algum em solicitar esses itens, e eles são os únicos que lhe proporcionam um ponto de.

A lista de frases e as condições de aprovação devem constar na ordem de compra, referenciadas como critérios de aceitação. O assistente é a única parte do produto que um cliente pode atribuir a terceiros, portanto os critérios precisam existir por escrito antes da amostra, e não após a primeira reclamação. Uma amostra que atende aos critérios na versão que será entregue é uma amostra que você pode aceitar.

Uma cláusula de notificação que cubra alterações de comportamento é a cláusula mais valiosa nesta categoria. Qualquer alteração no microfone, no ajuste do DSP, no estado padrão de processamento ou no modelo do assistente pode mudar o comportamento observável sem alterar o hardware, portanto a cláusula precisa cobrir o comportamento, e não as peças.

O trabalho de localização é negociável e vale a pena ser negociado. A lista de frases, o idioma da documentação e o roteiro de suporte para cada mercado representam, cada um, uma rodada de trabalho, e cada rodada leva uma semana. A negociação que vale a pena fazer é sobre o número de rodadas incluídas e sobre se um segundo mercado serápriced como uma cópia do primeiro ou como um novo trabalho de tradução.

A quantidade mínima de pedido e o trabalho de embalagem são itens comerciais comuns. Uma retenção sobre o pacote de documentação protege o comprador no caso de falha mais custoso, que é a chegada de uma unidade acompanhada de documentos que não a cobrem, e um sinal com o restante pendente para inspeção antes do envio é a estrutura padrão.

Os itens de prazo em um programa do assistente são o congelamento da versão e o calendário de certificação, e nenhum dos dois muda porque o comprador pressiona. O congelamento da versão precisa ocorrer antes do pedido, e não depois, porque uma versão que muda após o pedido invalida todas as medições nas quais se basearam os critérios de aceitação. O custo e o prazo de certificação seguem o processo e o órgão de testes, e pressionar qualquer um dos dois produz um cronograma mais longo, não mais curto. O custo de ferramental é um item único, normalmente amortizado na primeira ordem, e as perguntas que valem a pena fazer são sobre qual volume ele será amortizado e o que acontece com ele caso o programa seja descontinuado.

Os documentos que devem ser solicitados antes do sinal. O identificador da versão do firmware e o mecanismo de atualização. Os números dos certificados, com o órgão emissor e as datas de validade. A declaração de conformidade da designação exata do modelo. Uma descrição por escrito do caminho dos dados e do mecanismo de consentimento. Uma declaração por escrito sobre o comportamento offline. A designação do modelo escrita na cotação.

As cláusulas a serem incluídas na ordem de compra. A designação do modelo como item, com os números dos certificados anexados. Os critérios de aceitação dos oito testes, com a lista de frases anexada. Uma cláusula que exija notificação antes de uma alteração de firmware ou de modelo que afete o comportamento do assistente, com a obrigação de novos testes. Uma cláusula sobre quem suporta o custo quando a amostra não atende aos critérios de aceitação.

Um plano prático para uma marca que lança em um único mercado

Este é um caso prático, e não um caso de cliente. Essa é justamente a razão de ser deste exemplo.

Considere uma marca de eletrônicos de consumo com uma linha de onze modelos com câmeras, uma plataforma de câmeras já existente e um plano de adicionar um assistente de voz a duas configurações como principal destaque do lançamento em um único mercado. O próprio gerente de produto da marca redigiu o texto do anúncio dizendo que o assistente "entende naturalmente" e "sempre está disponível quando você precisa", e o revisor de conformidade da marca já solicitou o fluxo de dados.

A primeira decisão é remover o assistente do texto até que ele seja avaliado. O gerente de produto remove os dois adjetivos e não os substitui por nada, porque um recurso que não pode ser descrito com precisão não deve ser descrito ainda. Essa única edição elimina a maior exposição da marca sem custo algum.

A segunda decisão é o mercado de lançamento, e ela é tomada antes de o plano ser escrito. A marca escolhe um mercado, um idioma e as duas redes que seus clientes realmente usam, e aceita que o assistente não será lançado no segundo mercado até ser avaliado lá. O motivo é o custo: uma lista de frases em um idioma é um trabalho de tradução, enquanto uma lista de frases em um idioma que a equipe não consegue avaliar é um ativo inutilizável.

A terceira decisão é a construção. A marca solicita ao fornecedor que congele um identificador de build para a avaliação e confirme que a mesma build será comercializada. O fornecedor confirma uma build, e a marca a registra. Essa é a decisão que dá sentido a todos os números posteriores, e custa um e-mail.

A quarta etapa é a execução dos testes, em uma unidade que não é a unidade de demonstração. A marca solicita uma unidade padrão, configura uma conta nova e realiza os oito testes ao longo de dois dias com dois avaliadores. A taxa de ativação por voz é alta em um ambiente silencioso e menor no ambiente-alvo. A taxa de ativação indevida, medida durante um dia de trabalho comum, é o achado que importa: ela é alta o suficiente para que as próprias alegações de marketing da marca não sobrevivessem a uma semana de uso nesse ambiente.

A quinta decisão decorre da taxa de ativação indevida. A marca não lança o assistente nesse mercado e mantém a linha de hardware como está. A alternativa teria sido lançar e absorver um agrupamento de reclamações que o programa de amostras já havia previsto. A avaliação custou uma rodada de amostras e uma semana; a alternativa custaria um lançamento.

A sexta decisão é o que fazer com o resultado. A marca inclui o limite de ativação indevida no pedido de compra como condição para uma futura versão de firmware e negocia uma cláusula de notificação sobre mudanças de comportamento. Mantém as gravações e a planilha, porque uma futura versão de firmware exigirá um novo teste, e a planilha é o que torna esse novo teste comparável.

O resultado é uma linha de produtos lançada com menos recursos do que a marca desejava e uma relação com o fornecedor que agora tem um padrão documentado para o recurso que a marca-eventualmente deseja adicionar. O objetivo desta análise é mostrar que o número decisivo veio de um teste em uma amostra, não de uma demonstração, e custou uma unidade e dois dias.

O que os registros do nosso assistente podem e não podem esclarecer

Concretamente, preferiríamos que um comprador testasse um recurso de IA em vez de acreditar em uma descrição dele, e um plano de testes é a única coisa que transforma uma capacidade em uma especificação. Indicamos um assistente de voz de IA entre as tecnologias-chave da família de óculos com câmera de IA, e nosso site independente descreve a tradução por IA no K01, que é um modelo de áudio — tratamos isso como uma observação do nosso próprio material de marketing, e não como uma especificação. Não publicamos taxa de ativação por voz, taxa de ativação indevida, taxa de sucesso de comandos, valor de latência, precisão de reconhecimento, precisão de tradução nem comportamento offline de qualquer modelo, e não estimaremos nenhum deles.

Também não incluiremos em um anúncio um número medido em uma unidade de demonstração, porque um número que não pode ser reproduzido é uma alegação que não pode ser defendida quando o cliente está diante de você. E forneceremos unidades com uma build de firmware conhecida e trabalharemos com você por meio de um plano, em vez de enviar uma demonstração.

Três pontos a esclarecer antes que um assistente seja prometido em um anúncio

Solicite o identificador da build e o mecanismo de atualização na primeira mensagem. São as duas únicas respostas que mostram se o recurso pode mudar durante seu programa, e um fornecedor que responde às duas tem um processo.

Escreva a lista de frases antes da chegada da amostra. É a única parte do plano que o fornecedor não pode elaborar para você, e é a que faz a taxa de sucesso ser sua, e não deles.

Envie-nos os recursos que pretende publicar, o mercado de lançamento e o idioma, e elaboraremos o plano de testes com você. O contexto está em recursos de IA, o percurso da amostra está em avaliação da amostra, o método de medição está em como medir recursos de IA e as perguntas para o fornecedor estão em verificação do fornecedor de IA.


Leituras relacionadas

Diga-nos os recursos que pretende publicar e o ambiente, e elaboraremos o plano de testes com você.

Conversar no WhatsApp
A sua experiência neste site será melhorada ao permitir cookies.