O controle de qualidade dos recursos de IA é incomum de uma forma que vale destacar antes dos detalhes, pois explica por que a disciplina nesta categoria difere de todas as outras disciplinas de controle de qualidade da linha.
Todas as outras disciplinas de controle de qualidade em um produto de hardware verificam algo presente fisicamente. A bateria mantém a carga ou não. A câmera foca ou não. Um recurso de IA é diferente: é um comportamento que depende de um modelo, uma rede, um serviço, um par de idiomas, uma entrada e um momento. A unidade pode ser montada corretamente e o recurso ainda assim pode estar com defeito. Além disso, a falha frequentemente é invisível na fábrica, porque a rede, a conta e a configuração de idioma da fábrica não são as do cliente. Portanto, funcionalidades de IA dos óculos qualidade dos óculos inteligentes é uma questão sobre testar o comportamento no momento e no local em que ele é usado, e não no momento e no local em que é fabricado.
Funcionalidades de IA dos óculos inteligentes: por que os testes de bancada falham
O comprador que precisa projetar esse regime
O leitor é um engenheiro de qualidade de marca ou um gestor de suprimentos que precisa especificar a que o fornecedor estará sujeito e descobriu que o regime habitual de inspeção de entrada não se aplica. Ele se aplica ao hardware. Não pode se aplicar a um comportamento que depende de um serviço.
Esse é o problema prático que este artigo resolve. O comprador pode solicitar três coisas: um regime de testes de fábrica executado pela fábrica, um regime de aceitação do comprador executado pelo comprador e um regime compartilhado executado por ambos. A maior parte da confusão nesta categoria decorre de não decidir a qual dos três uma verificação específica pertence e, depois, descobrir no meio de uma produção que uma verificação sem responsável estava sendo realizada por alguém sem acesso à conta ou ao estado da rede de que precisava.
Três razões pelas quais o teste de fábrica não é suficiente e o que cada uma gera
1. A conta e a assinatura. Um recurso que exige uma conta, um login ou uma assinatura pode funcionar perfeitamente na fábrica e ser completamente inoperante para um cliente que não fez login, cujo período de teste expirou ou que está no plano errado. O sintoma é um cliente que declara que o recurso não funciona, enquanto as evidências da fábrica de que funciona não têm valor. A verificação que detecta esse problema é um teste com conta nova e um teste com plano expirado, e ambos exigem credenciais que a fábrica não possui.
2. A rede e a região. Um recurso executado em um serviço em nuvem está sujeito à disponibilidade do serviço, à região do cliente e à rede local. Um teste de fábrica em uma rede e em um país não prova nada sobre um cliente em outro local. O sintoma é uma concentração de devoluções em um mercado, o que parece um problema de mercado, mas normalmente é um problema de configuração de rede ou de região.
3. O idioma e a entrada. Um recurso de tradução ou de voz que funciona na configuração da fábrica pode não lidar com o idioma, o sotaque ou o ambiente de ruído do cliente, nem com uma expressão fora do conjunto de testes. Isso não é um defeito; é um limite de escopo e precisa ser documentado. A verificação que detecta esse problema consiste no conjunto próprio de expressões do comprador, executado no ambiente do próprio comprador.
Cada um dos três gera uma falha distinta, e nenhuma delas fica visível em um teste de fábrica. Toda a defesa da estrutura de quatro camadas abaixo está nisso.

As quatro camadas de teste e o que cada uma pode comprovar
Camada um: o hardware
O microfone capta, o processador executa, o rádio de rede funciona e o gerenciamento de energia se comporta corretamente. Este é um teste de fábrica, e é a camada que a maioria dos sistemas de controle de qualidade já cobre. Vale a pena fazê-lo bem, porque uma falha aqui é a única, em toda a pilha, que uma unidade de reposição resolve.
Camada dois: o serviço
O endpoint responde, a conta autoriza, o estado da assinatura permite a chamada e a região é compatível. Esta camada exige credenciais ativas em uma configuração semelhante à do cliente. Não pode ser executada como teste de fábrica com a conta da própria fábrica, porque a conta da fábrica tem direito de acesso e a do cliente não — e a diferença entre uma conta com direito de acesso e uma sem esse direito é exatamente o que o cliente experimenta.
Camada três: o comportamento
O conjunto de comandos, a latência, a precisão, o tratamento de solicitações fora do escopo e a degradação sob ruído. Esta camada precisa ser executada por meio de um script, e não demonstrada, porque uma demonstração é um único caso favorável, enquanto um comportamento é uma distribuição. O script é do comprador, pelo motivo explicado mais adiante neste artigo.
Quarta camada: a experiência
Emparelhamento, configuração inicial, tratamento pelo aplicativo de uma solicitação que falhou e o que o cliente vê quando a rede cai. Esta é a camada que gera devoluções, e é a camada que ninguém testa, porque exige uma pessoa que nunca viu o produto.
O que cada camada pode e não pode comprovar
O valor de separar as camadas está no fato de que cada uma gera um tipo diferente de evidência e tem um responsável diferente.
A primeira camada gera um registro de teste em relação a uma especificação, e a fábrica pode produzi-lo. A segunda gera um registro de endpoint e conta, e exige uma conta de comprador. A terceira gera uma folha de resultados por unidade, e o roteiro precisa ser do comprador. A quarta gera notas de observação das sessões, e o usuário precisa ser do comprador.
Isso oferece uma resposta clara à pergunta que os compradores mais fazem sobre esta categoria: quanto do regime pode ser delegado à fábrica. A resposta honesta é a camada inferior, além das partes da camada de serviço que podem ser testadas com uma conta de teste fornecida pela marca e cuja uso pela fábrica está autorizado.
O roteiro de aceitação e quem precisa ser responsável por ele
Os oito itens
- Um conjunto de vinte comandos, escrito pelo comprador, não fornecido pelo fornecedor. Cada comando corresponde a algo que o recurso precisa fazer em seu caso de uso, e o roteiro é executado em todas as amostras, não apenas uma vez.
- Latência, medida. Tempo entre o fim da fala e o início da resposta, no ambiente em que será utilizado. Um recurso instantâneo em um escritório silencioso não se comporta da mesma forma em uma rua.
- O resultado da dependência de rede. Com a conectividade desligada, o que continua funcionando. Este teste revela a arquitetura melhor do que qualquer especificação.
- O comportamento em caso de falha, em quatro situações. Entrada inconclusiva, solicitação fora do escopo, solicitação em um segundo idioma e solicitação feita em um ambiente barulhento. O que o usuário vê em cada situação é a diferença entre um recurso e um gerador de defeitos.
- O estado da conta e da assinatura. Testado pelo menos duas vezes: uma vez em uma conta nova e outra em uma conta com a assinatura vencida.
- Variações de região e de rede. Pelo menos um teste em uma rede diferente e, se o produto for vendido em vários mercados, um teste em uma rede de cada um deles.
- O caminho de atualização. Da versão de firmware enviada ao mercado até a versão atual, e a experiência de um cliente que ainda usa a versão anterior. Este é o teste que costuma ser ignorado e depois lamentado.
- A posição sobre os dados. Onde o áudio e os dados resultantes são processados e armazenados, e o que o cliente vê no aplicativo. Esta é uma questão jurídica que o controle de qualidade não pode responder, e ela precisa ser respondida antes que o teste tenha significado.
Por que o comprador precisa escrever o roteiro
Este é o único ponto mais contestado de todo o regime, e vale debater essa questão a sério em vez de simplesmente afirmá-la.
O fornecedor sabe quais caminhos funcionam. Essa é uma experiência genuína, e é por isso que se deve pedir ao fornecedor que advise sobre o roteiro. No entanto, o comprador é a única parte que sabe o que o cliente realmente vai solicitar, e os vinte comandos devem ser as vinte coisas que o cliente realmente fará. Um roteiro escrito pelo fornecedor avalia o produto do fornecedor com base nas premissas do próprio fornecedor, e sempre será aprovado.
A maneira de obter o melhor dos dois é fazer o comprador escrever primeiro os vinte comandos e o fornecedor comentar sobre eles antes da execução do teste. O comprador mantém a responsabilidade pela lista; o fornecedor tem o direito de dizer que três deles não são alcançáveis nessa configuração, o que, por si só, é uma informação valiosa, pois funciona como um alerta antecipado sobre o que o anúncio pode afirmar.
Transformando o roteiro em um padrão de aceitação
Um roteiro que fica em uma planilha, e não no pedido de compra, é um teste, não um padrão. O limite de aceitação precisa ser definido por escrito com antecedência, e precisa ser um número pelo qual o comprador esteja disposto a reprovar muitas vezes. Os limites realistas são simples: um número dos vinte comandos bem-sucedidos no ambiente especificado, as funções offline enumeradas que continuam funcionando, o limite máximo de latência e os quatro casos de falha produzindo o comportamento acordado.
A consequência de uma falha também precisa ser acordada. Nesta categoria, o(arranjo habitual é que um lote piloto reprovado não seja enviado e que uma segunda rodada de avaliação seja financiada pelo fornecedor. Essa segunda cláusula é a que vale a pena negociar, pois uma funcionalidade de IA é a parte do produto com maior probabilidade de reprovar em uma primeira rodada de aceitação, e um fornecedor que não financia a segunda rodada está indicando ao comprador o grau de confiança que deposita na primeira.

Onde termina a inspeção de recebimento e começa o teste comportamental
A linha divisória e por que ela importa comercialmente
A inspeção de recebimento é uma barreira por lote contra uma especificação. Ela funciona quando a especificação descreve algo fisicamente presente, mas não funciona para comportamentos. Portanto, a linha divisória não é uma etapa do processo. É a questão de se a verificação pode ser realizada por uma pessoa uma unidade diante de uma especificação escrita, sem rede, conta ou serviço envolvido.
Tudo à esquerda dessa linha é inspeção de recebimento e deve constar no acordo de fornecimento como critério de liberação. Tudo à direita é teste de aceitação e deve constar no plano do programa, com os recursos do comprador comprometidos e o roteiro do comprador anexado.
O que a liberação de um lote realmente exige
A liberação de um lote de um modelo de câmera da nossa linha é direta: a unidade corresponde à especificação publicada do modelo — nível de resolução, capacidade da célula, comportamento de carga, faixa de autonomia, método de carregamento — e o registro de certificados por modelo na lista de verificação de certificação e a documentação de transporte da bateria em transporte da bateria estão arquivados para essa configuração.
Para um lote que conta com uma funcionalidade de IA, a mesma liberação precisa incluir um artefato sem precedente em hardware: a folha de resultados do roteiro de aceitação, vinculada a uma versão de firmware específica e a uma configuração de conta específica. Sem esse artefato, o lote é liberado com base no mérito do hardware, e a situação da funcionalidade permanece desconhecida, que é exatamente a situação que este artigo inteiro, evitar.
Há um segundo aspecto prático sobre essa linha. Os roteiros são baratos em unidades, mas caros em coordenação — vinte comandos em duas unidades da versão que será enviada, com a execução sem rede, no ambiente do comprador. O custo de coordenação é o motivo para programar os testes de aceitação cedo, na etapa piloto, e não depois da etapa de produção, além de ser o motivo para o comprador reservar as unidades de teste, em vez de receber whatever unidades restarem.
Quem paga pelo teste de aceitação e o que precisa ser negociado
A divisão de custos nesse regime é incomum, e compradores que já conduziram programas de hardware costumam subestimá-la. A camada de hardware já está incluída no preço da unidade. A camada de serviço custa à marca uma conta de teste, uma pequena quantidade de tráfego e o tempo de quem mantém a conta. A camada comportamental custa à marca os vinte comandos, o ambiente e as pessoas que preenchem a folha de observações. A camada de experiência custa à marca a tarde de um estranho.
Em outras palavras, a maior parte do custo de aceitação recai sobre o comprador, não sobre a fábrica, e recai sobre as pessoas do comprador, e não sobre seu orçamento. Por isso, três pontos comerciais merecem ser definidos antes do pedido, e não durante a primeira campanha.
O primeiro é se o fornecedor financiará uma segunda rodada de avaliação caso a primeira reprove. Uma funcionalidade de IA é a parte do produto com maior probabilidade de reprovar em uma primeira rodada de aceitação, e um fornecedor que não financia a segunda rodada está indicando ao comprador o grau de confiança que deposita na primeira.
O segundo é se o fornecedor consegue executar o roteiro, o que depende das camadas que ele está autorizado a executar. Um fornecedor com a configuração da conta consegue executar a camada comportamental; um fornecedor sem ela não consegue, e todo o regime passa a depender de o comprador viajar até a fábrica ou de a fábrica ir até o ambiente do comprador.
O terceiro é o formato do artefato. Se a folha de resultados tiver de ser redigitada no formato do comprador pela equipe da fábrica após cada execução, o registro deixa de ser confiável em menos de um trimestre. Uma folha de resultados com um layout definido e o identificador da versão nela são o que torna a evidência utilizável ao longo de uma produção, e não apenas em uma única campanha.

Quatro maneiras pelas quais um regime de controle de qualidade com IA gera falsa confiança
Testar o caminho da demonstração. Uma demonstração roteirizada percorre o caminho feliz, na configuração da fábrica, com a conta da fábrica. Todas essas são variáveis controladas, e as falhas interessantes estão justamente nas variáveis não controladas. Este é o erro mais comum e o menos grave, porque normalmente aparece em campo, e não na auditoria.
Tratar uma funcionalidade dependente da nuvem como uma função do hardware. No momento em que uma funcionalidade depende de um serviço, surge uma dependência que a fábrica não controla, e o regime de testes precisa refletir isso. Este é o erro estrutural mais comum e é o que transforma uma indisponibilidade de serviço em uma solicitação de garantia.
Não testar a versão de firmware enviada. A versão da amostra e a versão da unidade de produção podem ser diferentes, e a diferença é onde reside a surpresa. A verificação é barata — registre o identificador da compilação em cada ficha de resultados — e a omissão é cara, porque uma mudança de comportamento entre compilações é indistinguível de um defeito quando chega ao cliente.
Deixar o fornecedor responsável pelos critérios de aceitação. Este é o erro que gera uma liberação de lote sem nenhuma evidência comportamental, porque os critérios foram escritos pela parte que está sendo avaliada.
O problema de escalonamento por trás deles
Todos esses quatro erros têm uma consequência em comum, que é a que importa comercialmente. Um defeito sem responsável claro não pode ser encaminhado. Uma indisponibilidade de serviço, um plano expirado e uma configuração de idioma incorreta chegam ao cliente como a mesma coisa — a funcionalidade não funciona — e apenas dois deles são resolvidos com a substituição da unidade. Portanto, a matriz de responsabilidade não é um diagrama técnico. É a regra que determina se o orçamento de garantia será gasto em unidades que nunca tiveram defeito, e é por isso que a classificação precisa ocorrer antes da substituição, não depois.
A posição de produção que podemos assumir e a que não podemos
O que nossa posição publicada abrange
O limite que assumimos: publicamos as funcionalidades de IA dos óculos conforme o catálogo as descreve e não associamos a elas um nome de modelo, uma contagem de idiomas, uma latência, uma alegação de funcionamento offline ou uma posição sobre assinatura, porque nada disso é publicado para nós no que diz respeito aos modelos desta linha. Não repetimos uma frase de marketing como se fosse uma especificação, e a certificação de exportação do nosso catálogo é uma capacidade da empresa, não uma linha de certificação por modelo; portanto, não é apresentada como tal.
O que podemos fazer é informar com precisão a configuração publicada e dizer quais dos oito itens de aceitação exigem um serviço ativo e uma conta semelhante à do cliente, em vez de um teste em bancada — porque esses são os que um regime de controle de qualidade de fábrica não detectará.
Também seremos diretos sobre as questões comerciais por trás da funcionalidade: se ela é executada no dispositivo ou em um serviço, se exige assinatura, quais pares de idiomas e em que direção e para onde vão os dados. Essas quatro respostas determinam sua proposta de varejo e não são questões de engenharia.
O que não podemos fazer, dito claramente
Não podemos publicar uma taxa de precisão, uma latência, uma contagem de idiomas, um comportamento offline, um local de processamento ou um fluxo de dados para qualquer modelo, porque não os medimos em uma condição definida. Também não podemos fornecer uma taxa de aprovação para a camada comportamental do script, porque o script pertence ao comprador e o resultado depende das expressões, do ambiente e da configuração de conta do comprador. Um fornecedor que publica uma taxa de aprovação genérica para essa camada está publicando um número produzido por um script que ninguém pode ver.
O que podemos fazer é executar o teste com você. Envie-nos os vinte comandos, os ambientes e a configuração de conta, e nós os executaremos nas unidades que você indicar, na compilação que especificar, e registraremos os resultados à medida que forem obtidos. A ficha de medição que resolve esse tipo de questão está em medir funcionalidades de IA, o protocolo de teste de uma amostra está em testar funcionalidades de IA antes de pedir e as considerações de atualização das quais depende o sétimo item de aceitação estão em considerações sobre atualização das funcionalidades de IA. O método de leitura das especificações que gera as linhas da primeira tabela está em método de leitura da folha de dados das funcionalidades de IA.
A função que a funcionalidade precisa cumprir
Diga-nos o que a funcionalidade deve fazer e informaremos o que incluir no script de aceitação, quais dos oito itens podemos executar com você e quais precisam da sua conta e do seu ambiente para serem concluídos. Os fundamentos da plataforma estão em tecnologia de funcionalidades de IA e a área de aplicação relacionada está em soluções de criação de conteúdo com IA.
Leituras relacionadas
- Tecnologia de funcionalidades de IA
- Método de leitura da folha de dados das funcionalidades de IA
- Considerações sobre atualização das funcionalidades de IA
- Soluções de criação de conteúdo com IA
- Lista de verificação de certificação · Transporte de baterias
Diga-nos o que a funcionalidade deve fazer e informaremos o que incluir no script de aceitação.



