Fabricant OEM/ODM de lunettes connectées · Shenzhen, Chine +86 19835872450 sales@cynrin.com
Technologie des lunettes connectées

Comment tester les fonctionnalités IA des lunettes connectées

Une fonctionnalité IA ne peut pas être évaluée sur la seule base d’une démonstration. Voici comment tester les lunettes connectées avant de commander.

Par l'équipe d'ingénierie et d'approvisionnement de CYNRIN/ Dec 15, 2021/ 23 min de lecture
Comment tester les fonctionnalités IA des lunettes connectées

Fonctionnalités IA des lunettes connectées: une relation, pas un composant

La raison pour laquelle une fonctionnalité IA ne peut pas être évaluée en regardant une démonstration n’est pas que les démonstrations induisent en erreur. C’est qu’une démonstration correspond à la seule configuration dans laquelle un assistant est présenté sous son meilleur jour: une phrase préparée, une pièce silencieuse, un réseau connu et fiable, et un appareil dont les comptes ont été liés à l’avance par la personne qui l’a configuré. Tout ce qu’un acheteur doit savoir dépend de la relation entre l’appareil, le fournisseur du modèle, le réseau et la région — et aucun de ces quatre éléments n’est le produit contenu dans la boîte.

La décision, en trois phrases. Si un assistant vocal est essentiel dans votre fiche produit, testez-le comme une relation et non comme une fonctionnalité: rédigez la liste des phrases et les conditions de réussite avant la réception de l’échantillon, exécutez le plan de test sur un appareil autre que celui utilisé pour la démonstration, et enregistrez la version du firmware avec chaque résultat. La métrique qui détermine si le produit peut être commercialisé est généralement le taux de déclenchements intempestifs plutôt que le taux d’activation, car un appareil qui interrompt la conversation d’un client est un produit qui sera retiré. Si vous ne pouvez pas obtenir par écrit un identifiant de version, une description du cheminement des données et un comportement hors ligne clairement défini, ne mentionnez pas l’assistant dans la fiche produit — la fonctionnalité existera sur la page produit et nulle part ailleurs.

Qui exécute ce plan et ce qu’il doit produire. Le lecteur cherche généralement à déterminer si un assistant IA a sa place dans le produit, ou à comparer les implementations d’une même fonctionnalité annoncée par deux fournisseurs. Ce qu’il possède, ce sont des échantillons, une liste de fonctionnalités, un canal de distribution, un prix cible et un plan marketing qui suppose déjà que la fonctionnalité existe. Ce qu’il ne possède pas, ce sont des données de performance, et la raison en est structurelle: ces données appartiennent au fournisseur du modèle plutôt qu’à l’usine, et elles évoluent selon la version logicielle plutôt que selon le matériel. Le plan doit donc produire trois éléments — un chiffre plutôt qu’une impression, un identifiant de version associé à ce chiffre, et une liste écrite des conditions dans lesquelles le chiffre a été mesuré.

Ce que notre propre catalogue indique, et ce qu’il n’indique pas. Nous mentionnons un assistant vocal IA parmi les technologies clés de la gamme de lunettes avec caméra IA, et notre site indépendant présente la traduction IA sur le K01, qui est un modèle audio. Nous ne publions aucun taux d’activation, aucun taux de déclenchements intempestifs, aucun taux de réussite des commandes, aucune mesure de latence, aucun taux de reconnaissance, aucun taux de traduction et aucune description du comportement hors ligne pour les modèles de la gamme, et nous n’estimerons aucune de ces valeurs. Cette paucité d’informations ne résulte pas d’un problème de collecte de données que nous aurions négligé; c’est l’aspect d’une catégorie dépourvue de base de performance publiée, et c’est la raison pour laquelle le plan ci-dessous existe.

Où se situe le coût d’une fonctionnalité IA. Le coût matériel d’un assistant est presque nul — le microphone et le module radio sont déjà présents dans le produit. Le coût réel d’un assistant correspond aux quatre éléments qui l’entourent: le travail nécessaire pour spécifier un comportement testable, la localisation de la liste des phrases et de la documentation pour chaque marché de lancement, le script d’assistance pour les cas de défaillance, et l’appareil contractuel qui vous informe lorsque le fournisseur a modifié un élément sans vous en informer. Deux fournisseurs proposant le même assistant afficheront des écarts bien plus importants sur ces quatre postes que sur les prix unitaires, et cette différence reste invisible jusqu’à la mise en ligne de la fiche produit.

Cinq chiffres et le dénominateur que chacun doit préciser

Photographie générée par IA illustrant la manière de tester avant de commander des lunettes connectées dotées de fonctionnalités IA — image 1 sur 3

Les cinq chiffres à exiger et les trois que personne ne communique

Envoyez ces cinq questions dans un seul message, avec des formulations identiques, à chaque candidat, et demandez les réponses sous forme de tableau plutôt que sous forme de texte. La colonne du dénominateur est la plus importante, car un pourcentage sans dénominateur n’est qu’un argument marketing.

Métrique Ce qu’elle mesure Dénominateur requis Seuil de réussite
Taux d’activation Le déclenchement de l’assistant lorsqu’il le doit Nombre de tentatives, nombre de locuteurs, environnement Un pourcentage avec les trois éléments précisés
Taux de déclenchements intempestifs Le déclenchement de l’assistant lorsqu’il ne le doit pas Nombre de tentatives et heures d’utilisation ordinaire Un pourcentage ou une déclaration écrite indiquant qu’il n’est pas mesuré
Taux de réussite des commandes La compréhension de votre liste de phrases La liste de phrases que vous avez fournie et le nombre de répétitions par phrase Un pourcentage calculé par rapport à votre propre liste
Latence Le délai avant l’arrivée de la réponse État du réseau et version du firmware Un seuil fixe, et non un jugement
Taux de reconnaissance Le fait que l’élément attendu ait été entendu La scène et l’orientation du locuteur Un chiffre pour la pièce silencieuse et pour l’environnement réel

Les seuils en termes simples et les trois lignes généralement absentes

Un taux sans nombre de tentatives n’est pas un taux. Quatre-vingt-dix-huit pour cent mesurés sur dix tentatives dans un bureau silencieux prédisent moins de quatre-vingt-cinq pour cent mesurés sur trois cents tentatives dans la rue, et c’est le second chiffre qui décrit le produit. Le seuil à respecter doit être un pourcentage accompagné d’un dénominateur, d’un nombre de locuteurs et d’un environnement; un fournisseur incapable de fournir ces trois informations n’a pas mesuré le produit.

Le taux de fausses activations est une condition d’utilisation, pas une note technique. Il détermine les marchés où le produit peut être vendu plutôt que la fonctionnalité de la fonction, car une salle de réunion et une rue sont deux marchés différents pour le même appareil. Un appareil qui s’active en Entendant une toux dans un bureau silencieux est un produit destiné aux salles de réunion; le même appareil dans la rue est une gêne. Le seuil fixé ici est une décision produit relative au canal de distribution, et il doit être consigné avant la rédaction de la fiche produit.

Le taux de réussite des commandes doit être mesuré selon votre liste, et non celle du fournisseur. La liste d’un fournisseur contient des salutations et un minuteur, car ce sont des commandes faciles. Votre liste contient la formule qu’un responsable d’entrepôt prononce réellement onze fois par jour. Le seuil à respecter est un pourcentage calculé sur les formules que vous avez fournies, avec un nombre de répétitions précisé pour chacune.

La latence exige une valeur fixe, et non un adjectif. Fixez le seuil — moins de deux secondes constitue un point de départ raisonnable — et mesurez-la. Elle varie selon le réseau, d’où l’importance d’indiquer l’état du réseau dans la mesure: une valeur de latence sans indication de l’état du réseau provient du bureau du fournisseur.

Le numéro de version est la colonne qui rend les résultats dignes d’être conservés. Un assistant peut évoluer d’une version à l’autre, et une mesure sans identifiant de version ne peut être reproduite, défendue ni comparée au résultat du fournisseur suivant. C’est la colonne la plus importante de la feuille, et c’est aussi celle qu’on laisse le plus souvent vide.

Trois lignes qui ne sont presque jamais communiquées, et la marche à suivre pour chacune. Le comportement hors ligne — ce que fait l’appareil lorsque le réseau est physiquement coupé — est la ligne qui tranche le litige le plus fréquent dans cette catégorie: celui de savoir si le produit fait ce que sa documentation indique lorsque le réseau est absent. Demandez une déclaration écrite à ce sujet; si la réponse est le silence, considérez que le comportement hors ligne n’est pas défini dans les supports marketing. Le chemin des données — ce qui quitte l’appareil, où il est transmis et comment le consentement est géré — est la ligne demandée par un responsable de la conformité. Vérifiez-la par observation plutôt que par lecture, et faites en sorte que la déclaration de confidentialité de votre fiche.describe ce que vous avez observé. Enfin, le mécanisme de mise à jour — la manière dont un appareil livré reçoit une nouvelle version et l’identité de quien décide — est la ligne qui vous indique si la fonctionnalité peut être modifiée sans notification contractuelle.

L’ordre d’exécution du plan de l’assistant et les raisons pour lesquelles le plan vient en premier

Exécution du plan: identifiants de version, environnements et deuxième journée

Étape une, avant l’arrivée de l’échantillon. Rédigez la liste des formules. Elle doit contenir les commandes que le client formulera réellement, dans la langue du marché de lancement, y compris les deux ou trois commandes difficiles à prononcer. Fixez les conditions de réussite sous forme de valeurs chiffrées. Déterminez les tests qui nécessitent chaque environnement. Verrouillez le téléphone, le réseau et les conditions audio. Identifiez également la version du micrologiciel que vous attendez sur l’échantillon, afin que la première action à son arrivée soit de la vérifier.

Étape deux, le jour même, avant toute mesure. Confirmez et consignez l’identifiant de version de l’appareil. Confirmez la langue, la région et l’état du compte. Vérifiez que l’appareil présente une configuration standard à la sortie de la boîte et ne s’agit pas de l’unité de démonstration, ce qui signifie généralement un compte neuf, aucun service lié et les paramètres de traitement par défaut. Un résultat obtenu avec une unité de démonstration connectée ne constitue pas un résultat concernant le produit que reçoit le client, et c’est la manière la plus courante de faire flattering une évaluation d’assistant au bénéfice d’un fournisseur.

Étape trois: le taux d’activation, sur un grand nombre de tentatives. Utilisez plusieurs locuteurs différents, car les assistants vocaux varient davantage selon le locuteur que selon le matériel. Consignez le nombre de tentatives, le nombre de locuteurs et l’environnement, puis calculez vous-même le taux à partir du journal plutôt que de faire confiance à une valeur arrondie.

Étape quatre: le taux de fausses activations, dans l’environnement qui compte. C’est le test le plus long du plan et celui qui est le plus souvent omis. Il consiste à laisser l’assistant activé pendant une activité ordinaire — à un bureau, pendant une réunion, dans la rue — et à consigner chaque activation non sollicitée. Le nombre obtenu est celui qui détermine le canal de distribution.

Étape cinq, le taux de réussite des commandes, sur votre liste de phrases. Chaque requête est exécutée un nombre fixe de fois, et les échecs sont enregistrés avec un motif, car « n’a pas compris » et « a compris, mais a mal agi » sont deux types d’échec différents, qui nécessitent deux corrections différentes.

Étape six, la latence, par rapport au seuil fixé. Mesurez l’intervalle entre la fin de l’énoncé et le début de la réponse, en enregistrant l’état du réseau, et répétez l’opération suffisamment de fois pour observer la queue de la distribution plutôt que la moyenne.

Étape sept, le comportement hors ligne, avec le réseau physiquement débranché. Pas le mode avion avec un résultat en cache disponible, mais une véritable indisponibilité du réseau, avec enregistrement du résultat. Un fournisseur qui n’a jamais testé ce scénario commercialise un produit dont le comportement dans un ascenseur reste inconnu.

Étape huit, le cheminement des données, vérifié par observation. Observez le comportement de l’appareil sur le réseau, comparez-le aux affirmations de la documentation et conservez cette comparaison dans le dossier. Une déclaration de confidentialité rédigée à partir d’une phrase marketing constitue un risque juridique, tandis qu’une déclaration fondée sur une observation est défendable.

Chaque taux comporte deux valeurs, et une seule prédit le comportement du client

Testez deux ou trois unités de la même version de fabrication là où la fonctionnalité est déterminante. Une fonctionnalité qui fonctionne sur un exemplaire et échoue sur un autre révèle un problème de rendement, invisible lors d’un test portant sur une seule unité. Lorsque la fonctionnalité est la raison pour laquelle le client a acheté le produit, une seule unité ne constitue aucune preuve.

Exécutez l’ensemble du plan deux fois, à des jours différents, et considérez l’amplitude des résultats comme un constat. Le comportement d’un assistant varie selon le jour, le réseau et le bruit ambiant, et une différence importante entre deux exécutions indique que la fonctionnalité n’est pas assez stable pour servir de base à une affirmation. Lorsque l’amplitude est faible, le résultat vaut la peine d’être conservé; lorsqu’elle est élevée, le constat est plus précieux que la mesure.

Enregistrez l’identifiant de la version de fabrication, l’environnement et l’heure avec chaque résultat. Conservez les enregistrements là où la plateforme l’autorise. Une mesure qui ne peut pas être reproduite ne constitue pas une preuve, et dans cette catégorie, c’est la version de fabrication qui évolue.

Fonctionnalités IA des lunettes connectées: un plan qui peut être répété après une modification de la version de fabrication

Ce qu’il faut enregistrer avec chaque résultat. La désignation et la configuration du modèle, l’identifiant de la version du micrologiciel, la version de l’application, la langue et la région, l’état du compte, le téléphone mobile et le réseau, l’environnement et son niveau de bruit, la phrase ou le test effectué, le résultat, l’heure et le testeur. La fiche est longue, et c’est précisément le but: le nombre de lignes permet de défendre le résultat six mois plus tard.

Ce que ce plan ne peut pas établir. Il n’établit pas le comportement de la fonctionnalité auprès de l’ensemble de votre clientèle, ni dans un marché ou une langue que vous n’avez pas testés, ni après la prochaine modification du fournisseur, et il ne détermine pas la situation de conformité, qui repose sur des documents. Ce dernier point est important: la directive relative aux équipements radio impose des exigences de cybersécurité qui font partie du marquage CE, décrites par la série de normes harmonisées EN 18031 et couvrant la communication sécurisée, le chiffrement, le stockage sécurisé, le consentement de l’utilisateur et le processus de gestion des vulnérabilités identifiées. Un assistant vocal se situe pleinement dans ce champ d’application, et un comportement hors ligne mesuré constitue la preuve que le produit fait ce que sa documentation annonce lorsque le réseau est indisponible.

Photographie générée par IA illustrant la manière de tester avant de commander des fonctionnalités IA pour lunettes connectées — image 2 sur 3

Où un programme IA dérape, et les signes précoces de chaque problème

La fonctionnalité est annoncée dans une fiche produit, mais échoue lors d’une réunion avec un client. Le symptôme est une réclamation décrivant une conversation qui a été interrompue. La cause racine est que seul le taux de réveil a été mesuré. La prévention consiste à mesurer les deux taux et à définir le seuil de déclenchement involontaire avant la rédaction de la fiche produit.

Le client signale que l’assistant a cessé de fonctionner après une mise à jour. Le symptôme est une série de réclamations qui commence à une date que personne ne peut expliquer. La cause racine est que la mesure était liée à une version de fabrication, laquelle a changé sans nouveau test. La prévention consiste à enregistrer la version de fabrication avec chaque résultat, à réexécuter le plan sur la version qui sera effectivement livrée et à demander toute notification de modification affectant le comportement de l’assistant.

Une promesse de traduction est faite, mais le réviseur de la langue cible la refuse. Le symptôme est une fiche produit qui promet l’interprétation et un réviseur qui ne parvient pas à la reproduire. La cause racine est que la précision a été évaluée par une personne qui n’est pas locatrice native, sur des formules de politesse plutôt que sur des phrases opérationnelles. La prévention consiste à faire évaluer par un locateur natif de la langue cible les phrases dont le client a besoin, en joignant la liste de phrases à l’évaluation.

Une question de confidentialité reçoit une réponse marketing. Le symptôme est un audit de sécurité demandé par un client professionnel, qui exige de connaître le parcours des données, tandis que la marque ne dispose que de l’URL de sa politique. La cause racine est que le parcours des données n’a jamais été vérifié. La solution préventive consiste à le vérifier par l’observation et à faire en sorte que la déclaration de confidentialité décrive ce qui a été observé.

Le produit fonctionne dans le pays de démonstration, mais échoue sur le marché de lancement. Le symptôme est une concentration de retours provenant d’un seul marché. La cause racine est que le plan a été exécuté dans une seule région, sur un seul réseau. La solution préventive consiste à exécuter le plan sur le marché de lancement, sur les réseaux que le client utilisera, et à présenter les deux ensembles de résultats côte à côte.

Deux évaluateurs arrivent à des conclusions opposées le même jour. Le symptôme est une liste de présélection qui change entre une réunion du mardi et une autre du vendredi. La cause racine est que les conditions de validation étaient des adjectifs. La solution préventive consiste à fixer les conditions de validation sous forme de chiffres avant de commander les échantillons, afin qu’un désaccord désigne un critère vague plutôt que le produit.

Photographie générée par IA illustrant la manière de tester avant de commander des fonctionnalités IA des lunettes connectées — image 3 sur 3

Ce que vous pouvez contractualiser lorsque le fournisseur modifie quelque chose

L’identifiant de la version logicielle et le mécanisme de mise à jour sont les deux mentions à inscrire sur la demande de devis. Un fournisseur incapable de préciser les deux vous indique que l’assistant peut être modifié sans préavis contractuel, ce qui représente une exposition commerciale supérieure au prix unitaire. Ces mentions ne coûtent rien à demander et constituent les seules informations vous permettant de disposer d’un point d’ancrage.

La liste d’expressions et les conditions de validation figurent dans le bon de commande, en tant que critères d’acceptation. L’assistant est la seule partie du produit qu’un client peut imputer à un tiers. Les critères doivent donc exister par écrit avant l’échantillon, et non après la première réclamation. Un échantillon qui respecte les critères sur la version logicielle effectivement livrée est un échantillon que vous pouvez accepter.

Une clause de notification couvrant les modifications comportementales est la clause la plus valuable dans cette catégorie. Toute modification du microphone, du réglage du DSP, de l’état de traitement par défaut ou du modèle de l’assistant peut altérer le comportement observable sans modifier le matériel. La clause doit donc couvrir le comportement, et non les composants.

Le travail de localisation est négociable, et il vaut la peine de le négocier. La liste d’expressions, la langue de la documentation et le script de support pour chaque marché constituent chacun une étape de travail, soit une semaine. La négociation utile porte sur le nombre d’étapes incluses et sur le fait qu’un deuxième marché soit facturé comme une copie du premier ou comme une nouvelle opération de traduction.

La quantité minimale de commande et les travaux d’emballage sont des mentions commerciales ordinaires. Une retenue sur le dossier de documentation protège l’acheteur contre la défaillance la plus coûteuse, à savoir la réception d’un appareil accompagné d’une paperasse qui ne le couvre pas. Un acompte avec un solde versé à l’inspection avant expédition constitue la structure standard.

Les échéances importantes d’un programme d’assistant sont le gel de la version logicielle et le calendrier de certification, et aucune ne s.Invariant sous l'effet d’une pression de l’acheteur. Le gel de la version logicielle doit précéder la commande, et non la suivre, car une version modifiée après la commande invalide toutes les mesures sur lesquelles reposaient les critères d’acceptation. Le coût de la certification et son délai suivent le processus et l’organisme de test. Exercer une pression sur l’un ou l’autre allonge le calendrier au lieu de le raccourcir. Les coûts d’outillage constituent une charge unique, généralement amortie sur la première commande. Les questions à poser portent sur le volume auquel elle est amortie et sur son devenir si le programme est abandonné.

Les documents à demander avant le versement de l’acompte. L’identifiant de la version logicielle du micrologiciel et le mécanisme de mise à jour. Les numéros de certificat, l’organisme émetteur et les dates de validité. La déclaration de conformité correspondant à la désignation exacte du modèle. Une description écrite du parcours des données et du mécanisme de consentement. Une déclaration écrite du comportement hors ligne. La désignation du modèle inscrite sur le devis.

Les clauses à inscrire dans le bon de commande. La désignation du modèle en tant que ligne de commande, avec les numéros de certificat en annexe. Les critères d’acceptation issus des huit tests, avec la liste d’expressions en annexe. Une clause exigeant une notification avant toute modification du micrologiciel ou du modèle affectant le comportement de l’assistant, ainsi qu’une obligation de nouveau test. Une clause précisant qui assume les frais lorsque l’échantillon ne respecte pas les critères d’acceptation.

Un plan opérationnel pour une marque qui se lance sur un marché

Il s’agit d’un cas pratique plutôt que d’un cas client. C’est précisément l’objectif.

Supposons qu’une marque de produits électroniques grand public gère une gamme de onze modèles de lunettes avec caméra, dispose déjà d’une plateforme caméra et prévoit d’ajouter un assistant vocal à deux configurations comme principale argument de lancement sur un seul marché. Le responsable produit de la marque a rédigé une description de produit selon laquelle l’assistant « comprend naturellement » et « est toujours là quand vous en avez besoin ». Le responsable conformité de la marque a déjà demandé comment les données sont traitées.

La première décision consiste à retirer l’assistant de la description jusqu’à ce que ses performances soient mesurées. Le responsable produit supprime les deux adjectifs et ne les remplace par rien, car une fonctionnalité qui ne peut pas être décrite avec exactitude ne doit pas encore être décrite. Cette seule modification élimine le principal risque juridique de la marque sans aucun coût.

La deuxième décision concerne le marché de lancement et est prise avant la rédaction du plan. La marque choisit un seul marché, une seule langue et les deux réseaux que ses clients utilisent réellement. Elle accepte que l’assistant ne soit pas lancé sur le second marché avant d’y avoir été mesuré. La raison est le coût : une liste d’expressions dans une langue connue relève de la traduction, tandis qu’une liste d’expressions dans une langue que l’équipe ne peut pas évaluer constitue un actif inutilisable.

La troisième décision porte sur le versionnage. La marque demande au fournisseur de figer un identifiant de version pour l’évaluation et de confirmer que cette même version sera commercialisée. Le fournisseur confirme une version, et la marque l’enregistre. C’est la décision qui rend significatifs tous les chiffres obtenus ultérieurement, et elle ne coûte qu’un e-mail.

La quatrième étape consiste àconducteur les tests sur un appareil qui n’est pas l’unité de démonstration. La marque commande un appareil standard, configure un compte neuf et réalise les huit tests sur deux jours avec deux évaluateurs. Le taux de réveil est élevé dans une pièce silencieuse et plus faible dans l’environnement cible. Le taux de déclenchement parasite, mesuré sur une journée de travail ordinaire, est le résultat déterminant : il est suffisamment élevé pour que les arguments marketing de la marque ne résistent pas ne serait-ce qu’à une semaine d’utilisation dans cet environnement.

La cinquième décision découle du taux de déclenchement parasite. La marque ne lance pas l’assistant sur ce marché et conserve la gamme matérielle telle quelle. L’alternative aurait consisté à lancer l’assistant et à absorber une vague de réclamations que le programme d’échantillonnage avait déjà anticipée. L’évaluation a coûté une série d’échantillons et une semaine ; l’alternative aurait coûté un lancement.

La sixième décision consiste à déterminer l’usage du résultat. La marque inscrit le seuil de déclenchement parasite dans le bon de commande comme condition d’une future version du firmware et négocie une clause de notification en cas de modification du comportement. Elle conserve les enregistrements et la fiche de résultats, car une future version du firmware nécessitera un nouveau test, et cette fiche permettra de rendre ce test comparable.

Le résultat est une gamme de produits lancée avec moins de fonctionnalités que ce que la marque souhaitait, et une relation fournisseur qui dispose désormais d’une norme écrite pour la fonctionnalité que la marque finira par vouloir ajouter. L’intérêt de cette démarche est que le chiffre déterminant provient d’un test réalisé sur un échantillon plutôt que d’une démonstration, et qu’elle a coûté un appareil et deux jours.

Ce que les données de notre assistant peuvent et ne peuvent pas établir

Concrètement, nous préférons qu’un acheteur teste une fonctionnalité IA plutôt qu’il ne croie une description de celle-ci. Un plan de test est le seul moyen de transformer une capacité en spécification. Nous citons un assistant vocal IA parmi les technologies clés de la gamme de lunettes avec caméra IA. Notre site indépendant décrit la traduction IA sur le K01, qui est un modèle audio ; nous considérons cela comme une observation issue de notre propre matériel marketing plutôt que comme une spécification. Nous ne publions aucun taux de réveil, aucun taux de déclenchement parasite, aucun taux de réussite des commandes, aucune donnée de latence, aucun taux de reconnaissance, aucun taux de traduction ni aucun comportement hors ligne pour un quelconque modèle, et nous ne nous pas d’estimer ces valeurs.

Nous ne publierons pas non plus dans une fiche produit un chiffre mesuré sur une unité de démonstration, car un chiffre qui ne peut pas être reproduit est une affirmation qui ne peut pas être défendue face à un client. Nous fournirons des appareils associés à une version de firmware connue et vous proposerons de travailler avec vous selon un plan plutôt que de vous envoyer une démonstration.

Trois points à régler avant de promettre un assistant dans une fiche produit

Demandez l’identifiant de version et le mécanisme de mise à jour dès le premier message. Ce sont les deux seules réponses qui indiquent si la fonctionnalité peut être modifiée en cours de programme, et un fournisseur qui répond aux deux dispose d’un processus.

Rédigez la liste des expressions avant la réception de l’échantillon. C’est la seule partie du plan que le fournisseur ne peut pas préparer pour vous, et c’est celle qui vous permet de contrôler le taux de réussite plutôt que de le déléguer.

Envoyez-nous les fonctionnalités que vous souhaitez publier, le marché de lancement et la langue, et nous rédigerons le plan de test avec vous. Le contexte est présenté dans fonctionnalités IA des lunettes, la procédure d’évaluation de l’échantillon dans évaluation des échantillons, la méthode de mesure dans comment mesurer les fonctionnalités IA, et les questions à poser au fournisseur dans vérification du fournisseur IA.


Lectures complémentaires

Indiquez-nous les fonctionnalités que vous souhaitez publier et l’environnement de test, et nous rédigerons le plan de test avec vous.

Discuter sur WhatsApp
Your experience on this site will be improved by allowing cookies.