Fabricant OEM/ODM de lunettes connectées · Shenzhen, Chine +86 19835872450 sales@cynrin.com
Technologie des lunettes connectées

Fonctionnalités IA des lunettes connectées : contrôle qualité

Le contrôle qualité des fonctionnalités IA est particulier et mérite d’être explicité avant d’aborder les détails, car cela explique pourquoi la discipline dans cette catégorie est…

Par l'équipe d'ingénierie et d'approvisionnement de CYNRIN/ Mar 28, 2023/ 18 min de lecture
Fonctionnalités IA des lunettes connectées : contrôle qualité

Le contrôle qualité des fonctionnalités IA présente une particularité qu’il convient de nommer avant d’aborder les détails, car elle explique pourquoi cette discipline est différente de toutes les autres disciplines de contrôle qualité de la gamme.

Toute autre discipline de contrôle qualité dans un produit matériel vérifie un élément physiquement présent. La cellule contient une charge ou non. L’appareil photo effectue la mise au point ou non. Une fonctionnalité IA est différente: il s’agit d’un comportement qui dépend d’un modèle, d’un réseau, d’un service, d’une paire de langues, d’une entrée et d’un moment. L’appareil peut être assemblé correctement et la fonctionnalité peut néanmoins être défaillante. En usine, cette défaillance est souvent invisible, car le réseau, le compte et la configuration linguistique de l’usine ne correspondent pas à ceux du client. Ainsi, le contrôle qualité des fonctionnalités IA des lunettes connectées consiste à tester le comportement là où il est utilisé, plutôt que là où l’appareil est fabriqué.

Fonctionnalités IA des lunettes connectées: quatre couches de test et le script d’acceptation

Fonctionnalités IA des lunettes connectées: pourquoi les tests sur banc échouent

L’acheteur qui doit concevoir ce régime de contrôle

Le lecteur est un ingénieur qualité de marque ou un responsable des achats qui doit définir les exigences imposées au fournisseur et qui a constaté que le régime classique de contrôle à réception ne s’applique pas. Ce régime convient au matériel. Il ne peut pas s’appliquer à un comportement dépendant d’un service.

C’est le problème pratique que cet article résout. L’acheteur peut demander trois éléments: un régime de tests en usine exécuté par l’usine, un régime d’acceptation exécuté par l’acheteur et un régime partagé exécuté par les deux. La majeure partie de la confusion dans cette catégorie vient du fait de ne pas déterminer à quel régime appartient chaque contrôle, puis de découvrir au milieu d’une série de production qu’un contrôle sans responsable était effectué par une personne sans accès au compte ni à l’état du réseau nécessaires.

Trois raisons pour lesquelles le test en usine ne suffit pas, et ce que chacune produit

1. Le compte et l’abonnement. Une fonctionnalité qui nécessite un compte, une connexion ou un abonnement peut fonctionner parfaitement en usine et être totalement inutilisable pour un client qui ne s’est pas connecté, dont l’essai a expiré ou qui bénéficie du mauvais forfait. Le symptôme est un client qui déclare que la fonctionnalité ne fonctionne pas, tandis que les preuves fournies par l’usine ne valent rien. Les contrôles qui permettent de détecter ce problème sont un test avec un compte nouvellement créé et un test avec un forfait expiré; tous deux nécessitent des identifiants dont l’usine ne dispose pas.

2. Le réseau et la région. Une fonctionnalité qui s’exécute dans un service cloud dépend de la disponibilité de ce service, de la région du client et du réseau local. Un test effectué en usine sur un réseau situé dans un seul pays ne prouve rien pour un client situé ailleurs. Le symptôme est une concentration des retours sur un marché, ce qui donne l’impression d’un problème de marché alors qu’il s’agit généralement d’un problème de configuration réseau ou de région.

3. La langue et l’entrée. Une fonctionnalité de traduction ou vocale qui fonctionne avec la configuration de l’usine peut ne pas gérer la langue du client, son accent, son environnement sonore ou une expression qui ne figure pas dans le jeu de tests. Ce n’est pas un défaut; c’est une limite de périmètre qui doit être consignée. Le contrôle qui permet de détecter ce problème consiste à exécuter le propre jeu d’expressions de l’acheteur dans son propre environnement.

Chacune de ces trois situations produit une défaillance distincte, et aucune n’est visible par un test en usine. C’est là toute l’argumentation en faveur de la structure à quatre couches présentée ci-dessous.

Photographie générée par IA illustrant les fonctionnalités IA des lunettes connectées: contrôle qualité en pratique — image 1 sur 3

Les quatre couches de test et ce que chacune peut prouver

Couche un: le matériel

Le microphone capte-t-il le son, le processeur fonctionne-t-il, le module radio réseau est-il opérationnel et la gestion de l’alimentation se comporte-t-elle correctement? Il s’agit d’un test en usine, et c’est la couche que la plupart des systèmes de contrôle qualité couvrent déjà. Il vaut la peine de bien la réaliser, car une défaillance à ce niveau est la seule, dans toute la pile, qu’une unité de remplacement permet de corriger.

Couche deux: le service

Le point de terminaison répond-il, le compte autorise-t-il l’accès, l’état de l’abonnement permet-il l’appel et la région est-elle prise en charge? Cette couche nécessite des identifiants actifs dans une configuration comparable à celle du client. Elle ne peut pas être exécutée comme test en usine avec le compte de l’usine, car le compte de l’usine est autorisé, contrairement à celui du client; or c’est précisément la différence entre un compte autorisé et un compte non autorisé que vit le client.

Couche trois: le comportement

L’ensemble des commandes, la latence, la précision, la gestion des demandes hors périmètre et la dégradation des performances dans le bruit. Cette couche doit être exécutée à l’aide d’un script plutôt que démontrée, car une démonstration ne constitue qu’un cas unique favorable, tandis qu’un comportement correspond à une distribution. Le script est celui de l’acheteur, pour la raison expliquée plus loin dans cet article.

Quatrième couche: l'expérience

Appairage, configuration initiale, gestion par l'application d'une requête échouée, ce que voit le client lorsque le réseau tombe. C'est la couche qui génère les retours, et celle que personne ne teste, car elle nécessite une personne qui n'a jamais vu le produit.

Le script de recette et le responsable de chaque ligne

Ce que chaque couche peut et ne peut pas prouver

L'intérêt de séparer les couches réside dans le fait que chacune fournit un type de preuve différent et relève d'un responsable différent.

La première couche fournit un compte rendu de test par rapport à une spécification, que l'usine peut produire. La deuxième fournit un journal de points de terminaison et de comptes, et nécessite un compte acheteur. La troisième fournit une fiche de résultats par unité, et le script doit être celui de l'acheteur. La quatrième fournit des notes d'observation de session, et l'utilisateur doit être celui de l'acheteur.

Cela apporte une réponse claire à la question que les acheteurs posent le plus souvent sur cette catégorie: dans quelle mesure le régime peut-il être délégué à l'usine? La réponse honnête est la couche inférieure, plus les éléments de la couche de service qui peuvent être testés avec un compte de test fourni par la marque et dont l'usage est autorisé à l'usine.

Le script de recette et le responsable

Les huit éléments

  1. Un jeu de vingt commandes, rédigé par l'acheteur et non fourni par le fournisseur. Chacune correspond à une action que la fonctionnalité doit effectuer dans votre cas d'usage, et le script est exécuté sur chaque échantillon, et non une seule fois.
  2. La latence, mesurée. Délai entre la fin de la parole et le début de la réponse, dans l'environnement où elle sera utilisée. Une fonctionnalité instantanée dans un bureau silencieux ne se comporte pas de la même façon dans la rue.
  3. Le résultat du test de dépendance réseau. Lorsque la connectivité est désactivée, qu'est-ce qui continue de fonctionner? Ce test révèle l'architecture mieux que n'importe quelle spécification.
  4. Le comportement en cas d'échec, dans quatre situations. Entrée ambiguë, demande hors périmètre, demande dans une deuxième langue et demande formulée dans un environnement bruyant. Ce que l'utilisateur voit dans chaque cas distingue une fonctionnalité d'un générateur de défauts.
  5. L'état du compte et de l'abonnement. Testé au moins deux fois: une fois avec un compte neuf, une fois avec un compte dont l'abonnement a expiré.
  6. Les variations de région et de réseau. Au moins un test depuis un réseau différent et, si le produit est vendu sur plusieurs marchés, un test sur un réseau dans chacun d'eux.
  7. Le parcours de mise à niveau. De la version du micrologiciel livrée à la version actuelle, et ce que vit un client utilisant l'ancienne version. C'est le test qui est négligé, puis regretté.
  8. Le traitement des données. L'endroit où l'audio et les données résultantes sont traités et stockés, ainsi que ce que le client voit dans l'application. Il s'agit d'une question juridique à laquelle le contrôle qualité ne peut pas répondre, et elle doit être tranchée avant que le test ne soit significatif.

La séquence des points de contrôle qualité

Pourquoi l'acheteur doit rédiger le script

C'est le point le plus contesté de l'ensemble du régime, et il mérite d'être débattu correctement plutôt qu'affirmé.

Le fournisseur sait quels parcours fonctionnent. Il s'agit d'une expertise réelle, et c'est pourquoi il faut demander au fournisseur de conseiller sur le script. Mais l'acheteur est le seul à savoir ce que le client demandera réellement, et les vingt commandes sont censées correspondre aux vingt actions que le client effectuera réellement. Un script rédigé par le fournisseur mesure le produit du fournisseur par rapport aux hypothèses du fournisseur, et il réussira à chaque fois.

Pour obtenir les deux, l'acheteur rédige d'abord les vingt commandes, puis le fournisseur les commente avant l'exécution du test. L'acheteur conserve la responsabilité de la liste; le fournisseur obtient le droit de signaler que trois d'entre elles ne sont pas réalisables dans cette configuration, ce qui constitue en soi une information valuable, car il s'agit d'un avertissement précoce sur ce que l'annonce peut affirmer.

Transformer le script en norme de recette

Un script qui réside dans un tableur et non dans le bon de commande constitue un test et non une norme. Le seuil doit être consigné à l'avance, et il doit correspondre à un chiffre au-delà duquel l'acheteur est prêt à faire échouer de nombreux tests. Les seuils réalistes sont simples: un nombre de commandes parmi les vingt qui réussissent dans l'environnement spécifié, les fonctions hors ligne recensées qui restent opérationnelles, le plafond de latence et les quatre cas d'échec qui produisent le comportement convenu.

La conséquence d’un échec doit également être convenue. Dans cette catégorie, l’accord habituel prévoit qu’un lot pilote défaillant n’est pas expédié et qu’un second tour d’évaluation est financé par le fournisseur. C’est cette seconde clause qui mérite d’être négociée, car une fonctionnalité IA est la partie du produit la plus susceptible d’échouer lors d’une première campagne d’acceptation. Un fournisseur qui refuse de financer le second tour indique ainsi à l’acheteur le niveau de confiance qu’il accorde au premier.

Photographie générée par IA illustrant les fonctionnalités IA des lunettes: contrôle qualité en pratique — image 2 sur 3

Où se termine le contrôle à réception et où commence les essais comportementaux

La ligne de démarcation et son importance commerciale

Le contrôle à réception est un contrôle de conformité du lot par rapport à une spécification. Il fonctionne lorsque la spécification décrit un élément physiquement présent, mais pas pour le comportement. La ligne de démarcation ne correspond donc pas à une étape du processus. Elle dépend de la possibilité d’effectuer le contrôle par une personne qui tient l’unité en main face à une spécification écrite, sans réseau, sans compte et sans intervention d’un service.

Tout ce qui se trouve à gauche de cette ligne relève du contrôle à réception et doit figurer dans l’accord de fourniture comme critère de libération. Tout ce qui se trouve à droite relève des essais d’acceptation et doit être inscrit dans le plan du programme, avec l’engagement des ressources de l’acheteur et l’ajout du script de test de l’acheteur.

Couche de test, environnement requis et artefact produit

Ce qu’exige réellement la libération d’un lot

Pour un modèle de caméra de notre gamme, la libération d’un lot est simple: l’unité est conforme à la spécification publiée pour ce modèle — niveau de résolution, capacité de la cellule, comportement de charge, plage d’autonomie, méthode de recharge — et le registre des certificats par modèle figurant dans la liste de contrôle de la certification, ainsi que la documentation relative au transport des batteries à la page sur le transport des batteries, sont archivés pour cette configuration.

Pour un lot doté d’une fonctionnalité IA, cette même libération doit ajouter un artefact unprecedented dans le secteur du matériel: la fiche de résultats issue du script d’acceptation, associée à une version de micrologiciel et à une configuration de compte spécifiques. Sans cet artefact, le lot est.libéré sur la base de ses qualités matérielles et la situation de la fonctionnalité reste inconnue, précisément la situation que cet article dans son ensemble vise à éviter.

Un second aspect pratique de cette ligne doit être é. Les scripts sont peu coûteux en unités, mais coûteux à coordonner — vingt commandes sur deux unités de la version livrée, avec l’exécution hors réseau, dans l’environnement de l’acheteur. Ce coût de coordination justifie de planifier les essais d’acceptation tôt, au niveau pilote plutôt qu’après la série, et explique pourquoi un acheteur doit réserver les unités de test plutôt que recevoir les unités restantes.

Qui paie les essais d’acceptation et ce qui doit être négocié

La répartition des coûts dans ce régime est inhabituelle, et les acheteurs ayant piloté des programmes matériels ont tendance à la sous-estimer. La couche matérielle est déjà intégrée au prix unitaire. La couche logicielle coûte à la marque un compte de test, un faible volume de trafic et le temps de la personne qui administre le compte. La couche comportementale coûte à la marque les vingt commandes, la mise en place de l’environnement et les personnes qui rédigent la fiche d’observations. La couche expérience coûte à la marque l’après-midi d’un inconnu.

Autrement dit, la plus grande part du coût d’acceptation incombe à l’acheteur, non à l’usine, et pèse sur ses équipes plutôt que sur son budget. C’est pourquoi trois points commerciaux méritent d’être réglés avant la commande plutôt que pendant la première campagne.

Le premier point concerne le financement par le fournisseur d’un second tour d’évaluation en cas d’échec du premier. Une fonctionnalité IA est la partie du produit la plus susceptible d’échouer lors d’une première campagne d’acceptation, et un fournisseur qui refuse de financer le second tour indique à l’acheteur le niveau de confiance qu’il accorde au premier.

Le deuxième point consiste à déterminer si le fournisseur est capable d’exécuter le script, ce qui dépend des couches qu’il est autorisé à exécuter. Un fournisseur disposant de la configuration du compte peut exécuter la couche comportementale; un fournisseur qui n’en dispose pas ne le peut pas, et l’ensemble du régime dépend alors du déplacement de l’acheteur à l’usine ou de l’usine dans l’environnement de l’acheteur.

Le troisième point concerne le format de l’artefact. Si la fiche de résultats doit être ressaisie par le personnel de l’usine dans le format de l’acheteur après chaque campagne, le document cesse d’être fiable au bout d’un trimestre. Une fiche de résultats présentée dans une mise en page définie, portant l’identifiant de la version logicielle, rend les preuves exploitables sur toute une série de production plutôt que sur une seule campagne.

Photographie générée par IA illustrant les fonctionnalités IA des lunettes: contrôle qualité en pratique — image 3 sur 3

Quatre façons dont un régime de contrôle qualité par IA crée une fausse confiance

Tester le parcours de démonstration. Une démonstration scriptée exécute le parcours nominal, dans la configuration de l’usine, avec le compte de l’usine. Chacun de ces éléments constitue une variable contrôlée, tandis que les défaillances intéressantes se produisent précisément dans les variables non contrôlées. C’est l’erreur la plus fréquente et la moins grave, car elle apparaît généralement sur le terrain plutôt que lors de l’audit.

Considérer une fonction dépendante du cloud comme une fonction matérielle. Dès qu’une fonction dépend d’un service, elle présente une dépendance que l’usine ne contrôle pas, et le protocole de test doit en tenir compte. C’est l’erreur structurelle la plus courante, et celle qui transforme une panne de service en réclamation au titre de la garantie.

Ne pas tester la version du micrologiciel livrée. La version présente sur l’échantillon et celle de l’unité de production peuvent différer, et c’est dans cet écart que se cache la surprise. La vérification est peu coûteuse — consigner l’identifiant de compilation sur chaque fiche de résultats — et l’omission est coûteuse, car un changement de comportement entre deux compilations est impossible à distinguer d’un défaut lorsqu’il parvient au client.

Laisser le fournisseur définir les critères d’acceptation. C’est l’erreur qui conduit à libérer une série de production sans aucune preuve comportementale à l’appui, parce que les critères ont été rédigés par la partie évaluée.

Qui possède un défaut une fois l’unité sortie de l’usine

Le problème d’escalade derrière ces erreurs

Ces quatre erreurs ont une conséquence commune, et c’est celle qui compte sur le plan commercial. Un défaut dont le responsable n’est pas clairement établi ne peut pas être traité. Une panne de service, un abonnement expiré et une mauvaise configuration linguistique se présentent tous au client de la même manière — la fonction ne fonctionne pas — et seuls deux d’entre eux peuvent être résolus par le remplacement d’une unité. La matrice des responsabilités n’est donc pas un simple diagramme technique. Elle détermine si le budget de la garantie sera consacré à des unités qui n’étaient jamais défectueuses, et c’est pourquoi le tri doit avoir lieu avant le remplacement, et non après.

La position de production que nous pouvons défendre, et celle que nous ne pouvons pas

Ce que couvre notre position publiée

La limite que nous[posons: nous publions les fonctionnalités IA telles qu’elles sont décrites dans le catalogue, sans y associer de nom de modèle, de nombre de langues, de latence, d’allégation de fonctionnement hors connexion ni de conditions d’abonnement, car aucun de ces éléments ne nous est communiqué pour les modèles de cette gamme. Nous ne répéterons pas une formule marketing comme s’il s’agissait d’une spécification, et la certification d’exportation de notre catalogue relève d’une capacité à l’échelle de l’entreprise plutôt que d’une certification propre à chaque modèle; elle n’est donc pas présentée comme telle.

Ce que nous ferons, en revanche, sera de vous communiquer avec exactitude la configuration publiée et de vous indiquer lesquels des huit critères d’acceptation nécessitent un service actif et un compte comparable à celui d’un client plutôt qu’un test sur banc — car ce sont précisément ceux qu’un régime de contrôle qualité en usine ne peut pas détecter.

Nous répondrons également sans détour aux questions commerciales sous-jacentes à la fonctionnalité: si elle s’exécute sur l’appareil ou dans un service, si un abonnement est nécessaire, quelles paires de langues sont prises en charge et dans quel sens, ainsi que la destination des données. Ces quatre réponses déterminent votre proposition de vente au détail et ne relèvent pas de questions techniques.

Ce que nous ne pouvons pas faire, clairement

Nous ne pouvons publier aucun chiffre de précision, aucune latence, aucun nombre de langues, aucun comportement hors connexion, aucun lieu de traitement ni aucun cheminement des données pour un quelconque modèle, car nous ne les avons pas mesurés dans des conditions déterminées. Nous ne pouvons pas non plus fournir de taux de réussite pour la couche comportementale du script, car le script appartient à l’acheteur et le résultat dépend de ses formulations, de son environnement et de la configuration de son compte. Un fournisseur qui publie un taux de réussite générique pour cette couche publie un chiffre produit par un script que personne ne peut consulter.

Ce que nous pouvons faire, c’est réaliser le test avec vous. Envoyez-nous les vingt commandes, les environnements et la configuration du compte; nous les exécuterons sur les unités que vous désignerez, avec la version que vous spécifierez, et consignerons les résultats au fur et à mesure. La fiche de mesure qui permet de trancher ce type de question figure dans mesurer les fonctionnalités IA, le protocole de test d’un échantillon se trouve dans tester les fonctionnalités IA avant de commander, et les considérations liées aux mises à jour dont dépend le septième critère d’acceptation sont traitées dans considérations relatives aux mises à jour des fonctionnalités IA. La méthode de lecture des spécifications qui permet d’établir les lignes du tableau se trouve dans méthode de lecture des fiches techniques des fonctionnalités IA.

La fonction à laquelle la fonctionnalité doit répondre

Indiquez-nous l’objectif de la fonctionnalité et nous vous dirons ce qu’il faut inclure dans le script d’acceptation, lesquels des huit critères nous pouvons tester avec vous et lesquels nécessitent votre compte et votre environnement pour être validés. Les informations relatives à la plateforme figurent dans technologie des fonctionnalités IA, et le domaine d’application associé est présenté dans solutions de création de contenu IA.


Lectures complémentaires

Indiquez-nous l’objectif de la fonctionnalité et nous vous dirons ce qu’il faut inclure dans le script d’acceptation.

Discuter sur WhatsApp
Your experience on this site will be improved by allowing cookies.