Producător OEM/ODM de înglobente inteligente · Shenzhen, China +86 19835872450 sales@cynrin.com
Tehnologia ochelarilor inteligenți

Funcții AI ale ochilor inteligenți: controlul calității în practică

Controlul calității funcțiilor IA ale ochilor inteligenți este special și merită explicat înaintea detaliilor, deoarece arată de ce disciplina din această categorie este…

De către echipa de inginerie și aprovizionare CYNRIN/ Mar 28, 2023/ 16 min citire
Funcții AI ale ochilor inteligenți: controlul calității în practică

Controlul calității funcțiilor AI este neobișnuit într-un mod care merită clarificat înaintea detaliilor, deoarece explică de ce disciplina din această categorie diferă de toate celelalte discipline de control al calității din portofoliu.

Fiecare altă disciplină de control al calității dintr-un produs hardware verifică ceva care este prezent fizic. Celula fie ține sarcină, fie nu ține. Camera fie focalizează, fie nu. O funcție AI este diferită: este un comportament care depinde de un model, o rețea, un serviciu, o pereche de limbi, o intrare și un moment. Unitatea poate fi asamblată corect, iar funcția poate fi totuși defectă, iar defectul este frecvent invizibil în fabrică, deoarece rețeaua fabricii, contul fabricii și configurația lingvistică a fabricii nu sunt cele ale clientului. Prin urmare, funcții IA ale ochilor inteligenți calitatea ochilor inteligenți este o întrebare despre testarea comportamentului în punctul în care este utilizat, nu în punctul în care este construit.

Funcții IA ale ochilor inteligenți: patru niveluri de testare și scriptul de acceptare

Funcții IA ale ochilor inteligenți: de ce eșuează testele pe banc

Achizitorul care trebuie să conceapă acest regim

Cititorul este un inginer de calitate de marcă sau un manager de achiziții care trebuie să specifice standardele față de care va fi evaluat furnizorul și care a descoperit că regimul obișnuit de inspecție la recepție nu se aplică. Acesta se aplică hardware-ului. Nu se poate aplica unui comportament care depinde de un serviciu.

Aceasta este problema practică pe care acest articol o rezolvă. Achizitorul are trei lucruri pe care le poate cere: un regim de testare în fabrică, executat de fabrică, un regim de acceptare a achizitorului, executat de acesta, și un regim comun, executat de ambii. Majoritatea confuziei din această categorie rezultă din faptul că nu se decide cărei dintre cele trei verificări îi aparține o anumită verificare, iar apoi se descoperă, la jumătatea unei serii de producție, că o verificare fără responsabil era efectuată de cineva care nu avea acces la contul sau la starea rețelei necesare.

Trei motive pentru care testul în fabrică nu este suficient și ce produce fiecare

1. Contul și abonamentul. O funcție care necesită un cont, o autentificare sau un abonament poate funcționa perfect în fabrică și poate fi complet nefuncțională pentru un client care nu s-a conectat, al cărui perioadă de probă a expirat sau care are un alt plan. Simptomul este un client care afirmă că funcția nu merge, iar dovezile fabricii că funcționează nu au nicio valoare. Verificarea care depistează această situație este un test cu un cont nou și un test cu un plan expirat, ambele necesitând credențiale pe care fabrica nu le deține.

2. Rețeaua și regiunea. O funcție care rulează într-un serviciu cloud depinde de disponibilitatea serviciului, regiunea clientului și rețeaua locală. Un test efectuat în fabrică pe o anumită rețea, într-o anumită țară, nu demonstrează nimic despre un client din altă regiune. Simptomul este un grup de returnări concentrate pe o singură piață, care pare o problemă de piață, dar este de obicei o problemă de configurație a rețelei sau a regiunii.

3. Limba și intrarea. O funcție de traducere sau de voce care funcționează în configurația fabricii poate nu gestiona limba clientului, accentul clientului, mediul de zgomot al clientului sau o formulă din afara setului de testare. Aceasta nu este o defecțiune; este o limită a domeniului de aplicare și trebuie documentată. Verificarea care depistează această situație este setul propriu de formulare al achizitorului, testat în mediul propriu al acestuia.

Fiecare dintre cele trei produce o defecțiune distinctă, iar niciuna nu este vizibilă într-un test efectuat în fabrică. Aceasta este toată argumentația structurii pe patru niveluri prezentată mai jos.

Fotografie generată de AI care ilustrează funcțiile IA ale ochilor inteligenți: controlul calității în practică — imaginea 1 din 3

Cele patru niveluri de testare și ce poate demonstra fiecare

Nivelul întâi: hardware-ul

Microfonul preia corect semnalul, procesorul rulează, radio-ul rețelei este funcțional, iar gestionarea energiei se comportă corect. Acesta este un test efectuat în fabrică și este nivelul acoperit deja de majoritatea sistemelor de control al calității. Merită făcut bine, deoarece o defecțiune la acest nivel este singura din întreaga structură pe care o poate remedia înlocuirea unității.

Nivelul al doilea: serviciul

Punctul de acces răspunde, contul autorizează, starea abonamentului permite apelul, iar regiunea este acceptată. Acest nivel necesită credențiale active într-o configurație asemănătoare celei a clientului. Nu poate fi executat ca test în fabrică cu contul propriu al fabricii, deoarece contul fabricii are drepturi de acces, iar cel al clientului nu — iar diferența dintre un cont cu drepturi de acces și unul fără reprezintă exact ceea ce experimentează clientul.

Nivelul al treilea: comportamentul

Setul de comenzi, latența, acuratețea, gestionarea solicitărilor din afara domeniului de aplicare și degradarea performanței în condiții de zgomot. Acest nivel trebuie testat printr-un script, nu doar demonstrat, deoarece o demonstrație este un singur exemplu favorabil, iar un comportament este o distribuție. Scriptul îi aparține achizitorului, din motivele explicate ulterior în acest articol.

Nivelul patru: experiența

Împerecherea, configurarea inițială, modul în care aplicația gestionează o cerere nereușită, ce vede clientul când rețeaua se întrerupe. Acesta este nivelul care generează retururi și nivelul pe care nimeni nu îl testează, deoarece necesită o persoană care nu a mai văzut niciodată produsul.

Scriptul de acceptare și responsabilul fiecărui rând

Ce poate și ce nu poate demonstra fiecare nivel

Valoarea separării nivelurilor constă în faptul că fiecare produce un alt tip de dovadă și are un alt responsabil.

Nivelul unu produce un proces-verbal de testare în raport cu o specificație, iar fabrica îl poate produce. Nivelul doi produce un jurnal al punctului final și al contului și necesită un cont de cumpărător. Nivelul trei produce o fișă de rezultate pentru fiecare unitate, iar scriptul trebuie să fie al cumpărătorului. Nivelul patru produce note de observare a sesiunii, iar utilizatorul trebuie să fie al cumpărătorului.

Astfel, se obține un răspuns clar la întrebarea pe care cumpărătorii o pun cel mai des despre această categorie: cât din regimul de testare poate fi delegat fabricii. Răspunsul sincer este nivelul de jos, plus părțile din nivelul serviciului care pot fi testate cu un cont de test furnizat de marcă și a cărui utilizare este autorizată fabrica.

Scriptul de acceptare și responsabilul asupra acestuia

Cele opti elemente

  1. Un set de douăzeci de comenzi, redactat de cumpărător, nu furnizat de furnizor. Fiecare reprezintă ceva ce funcția trebuie să facă în cazul dumneavoastră de utilizare, iar scriptul este executat pe fiecare exemplar, nu o singură dată.
  2. Latența, măsurată. Timpul de la finalul rostirii până la începutul răspunsului, în mediul în care va fi utilizat. O funcție care este instantanee într-un birou liniștit nu se comportă la fel pe stradă.
  3. Rezultatul în funcție de dependența de rețea. Fără conectivitate, ce funcționează în continuare. Acest singur test dezvăluie arhitectura mai bine decât orice specificație.
  4. Comportamentul la eroare, în patru cazuri. Intrare neclară, cerere în afara scopului, cerere într-o a doua limbă și cerere efectuată într-un mediu zgomotos. Ce vede utilizatorul în fiecare caz face diferența dintre o funcție și un generator de defecte.
  5. Starea contului și a abonamentului. Testat cel puțin de două ori: o dată într-un cont nou și o dată într-un cont al cărui abonament a expirat.
  6. Variația în funcție de regiune și rețea. Cel puțin un test de pe o rețea diferită și, dacă produsul este vândut în mai multe piețe, câte un test pe o rețea din fiecare dintre ele.
  7. Traseul de actualizare. De la versiunea de firmware livrată până la cea curentă și ce trăiește un client care folosește versiunea mai veche. Acesta este testul care este omis și apoi regretat.
  8. Starea datelor. Unde sunt procesate și stocate datele audio și cele rezultate, precum și ce vede clientul în aplicație. Aceasta este o întrebare juridică la care controlul calității nu poate răspunde și care trebuie lămurită înainte ca testul să aibă sens.

Secvența porților de control al calității

De ce cumpărătorul trebuie să redacteze scriptul

Acesta este singurul punct cel mai disputat din întregul regim de testare și merită argumentat temeinic, nu doar afirmat.

Furnizorul știe că trasee funcționează. Aceasta este expertiză autentică și motivul pentru care ar trebui solicitat sfatul furnizorului cu privire la script. Dar cumpărătorul este singura parte care știe ce va cere efectiv clientul, iar cele douăzeci de comenzi ar trebui să reprezinte cele douăzeci de acțiuni pe care le va efectua efectiv clientul. Un script redactat de furnizor măsoară produsul furnizorului în raport cu ipotezele furnizorului și va trece de fiecare dată.

Modul de a le obține pe amândouă este ca cumpărătorul să redacteze mai întâi cele douăzeci de comenzi, iar furnizorul să comenteze asupra lor înainte de executarea testului. Cumpărătorul păstrează responsabilitatea asupra listei, iar furnizorul primește dreptul de a semnala că trei dintre comenzi nu pot fi realizate în această configurație, ceea ce reprezintă, în sine, informații valoroase, deoarece constituie un avertisment timpuriu cu privire la ce poate menționa anunțul de vânzare.

Transformarea scriptului într-un standard de acceptare

Un script care există într-o foaie de calcul și nu într-o comandă de achiziție este un test, nu un standard. Pragul trebuie stabilit în avans și trebuie să fie un număr pentru care cumpărătorul este dispus să lase multe exemplare să eșueze. Pragurile realiste sunt simple: numărul celor douăzeci de comenzi care reușesc în mediul specificat, funcțiile offline enumerate care rămân operaționale, plafonul de latență și cele patru cazuri de eroare care produc comportamentul convenit.

Consecința eșecului trebuie negociată, de asemenea. În această categorie, mecanismul obișnuit prevede că un lot-pilot respins nu este expediat și că o a doua rundă de evaluare este finanțată de furnizor. Această a doua clauză merită negociată, deoarece o funcție IA este partea produsului cu cea mai mare probabilitate să eșueze la prima rundă de acceptare, iar un furnizor care nu finanțează a doua rundă îi transmite cumpărătorului câtă încredere acordă primei runde.

Fotografie generată de AI care ilustrează funcții IA ale ochelarilor: controlul calității în practică — imaginea 2 din 3

De la inspecția la recepție la testarea comportamentală

Linia de demarcare și de ce are importanță comercială

Inspecția la recepție este o poartă de verificare a fiecărui lot în raport cu o specificație. Funcționează atunci când specificația descrie ceva prezent fizic, dar nu funcționează pentru comportament. Linia de demarcare nu reprezintă, așadar, o etapă a procesului. Ea este determinată de întrebarea dacă verificarea poate fi realizată de o persoană care ține în mână o unitate și o compară cu o specificație scrisă, fără implicarea rețelei, a unui cont sau a vreunui serviciu.

Tot ce se află la stânga acestei linii ține de inspecția la recepție și trebuie inclus în acordul de achiziție ca criteriu de eliberare. Tot ce se află la dreapta ei ține de testarea de acceptare și trebuie inclus în planul programului, cu resursele cumpărătorului angajate și scenariul cumpărătorului atașat.

Nivelul de testare, mediul necesar și artefactul rezultat

Ce presupune, în fapt, eliberarea unui lot

Eliberarea unui lot pentru un model de cameră din portofoliul nostru este simplă: unitatea corespunde specificației publicate pentru model — nivelul rezoluției, capacitatea bateriei, comportamentul la încărcare, intervalul de funcționare, metoda de încărcare — iar registrul certificatelor per model de la lista de verificare a certificării și documentația privind transportul bateriei de la transportul bateriilor sunt în dosar pentru configurația respectivă.

Pentru un lot care include o funcție IA, aceeași eliberare trebuie să adauge un artefact fără precedent în industria hardware: foaia de rezultate a scenariului de acceptare, asociată unei versiuni specifice de firmware și unei configurații specifice a contului. Fără acest artefact, lotul este eliberat pe baza calităților hardware, iar starea funcției rămâne necunoscută — exact situația pe care întregul articol urmărește să o prevină.

Există încă un aspect practic legat de această linie. Scenariile costă puțin în unități, dar mult în coordonare — douăzeci de comenzi pe două unități ale versiunii expediate, inclusiv rularea fără rețea, în mediul cumpărătorului. Costul de coordonare este motivul pentru care testarea de acceptare trebuie programată devreme, la nivelul pilot, nu după nivelul de producție, și motivul pentru care cumpărătorul ar trebui să rezerve unitățile de test, în loc să primească orice unități rămase.

Cine plătește testarea de acceptare și ce trebuie negociat

Repartizarea costurilor în acest regim este neobișnuită, iar cumpărătorii care au condus programe hardware tind să o evalueze greșit. Nivelul hardware este deja inclus în prețul unității. Nivelul serviciului costă brandul un cont de test, un volum mic de trafic și timpul persoanei care întreține contul. Nivelul comportamental costă brandul cele douăzeci de comenzi, mediul de test și persoanele care redactează foaia de observații. Nivelul experienței costă brandul o după-amiază a unui necunoscut.

Cu alte cuvinte, cea mai mare parte a costului acceptării revine cumpărătorului, nu fabricii, și cade asupra personalului cumpărătorului, nu asupra bugetului său. De aceea, trei puncte comerciale merită stabilite înainte de emiterea comenzii, nu în timpul primei campanii.

Primul este dacă furnizorul finanțează o a doua rundă de evaluare în cazul în care prima eșuează. O funcție IA este partea produsului cu cea mai mare probabilitate să eșueze la prima rundă de acceptare, iar un furnizor care nu finanțează a doua rundă îi transmite cumpărătorului câtă încredere acordă furnizorului în prima rundă.

Al doilea este dacă furnizorul poate executa scenariul, ceea ce depinde de nivelurile pe care este autorizat să le ruleze. Un furnizor care deține configurația contului poate rula nivelul comportamental; unul care nu o deține nu poate, iar întregul regim depinde atunci de deplasarea cumpărătorului la fabrică sau a fabricii în mediul cumpărătorului.

Al treilea este formatul artefactului. Dacă foaia de rezultate trebuie retipărită de personalul fabricii în formatul cumpărătorului după fiecare rulare, înregistrarea își pierde credibilitatea în mai puțin de un trimestru. O foaie de rezultate cu o structură definită, care conține identificatorul versiunii, face ca dovezile să poată fi utilizate pe parcursul unei runde de producție, nu doar în cadrul unei singure campanii.

Fotografie generată de AI care ilustrează funcții IA ale ochelarilor: controlul calității în practică — imaginea 3 din 3

Patru moduri în care un regim de control al calității bazat pe IA generează o încredere falsă

Testarea traseului demonstrativ. O demonstrație scriptedă rulează traseul favorabil, în configurația fabricii, cu contul fabricii. Fiecare dintre acestea este o variabilă controlată, iar eșecurile relevante se află toate în variabilele necontrolate. Aceasta este cea mai frecventă eroare și cea mai puțin gravă, deoarece apare de obicei în teren, nu în audit.

Tratarea unei funcții dependente de cloud ca pe o funcție hardware. În momentul în care o funcție depinde de un serviciu, apare o dependență pe care fabrica nu o controlează, iar regimul de testare trebuie să reflecte acest lucru. Aceasta este cea mai frecventă eroare structurală și cea care transformă o întrerupere de serviciu într-o solicitare de garanție.

Testarea neefectuată a versiunii de firmware livrate. Versiunea de pe exemplarul de test și cea de pe unitatea de producție pot fi diferite, iar diferența este locul în care se ascunde surpriza. Verificarea este ieftină — înregistrați identificatorul versiunii pe fiecare fișă de rezultate —, iar omisiunea este costisitoare, deoarece o modificare de comportament între versiuni este imposibil de diferențiat de un defect atunci când ajunge la client.

Permiterea furnizorului să dețină criteriile de acceptare. Aceasta este eroarea care produce lansarea unei serii fără dovezi comportamentale în spate, deoarece criteriile au fost scrise de partea evaluată.

Cine deține defectul după ce acesta părăsește fabrica

Problema escaladării din spatele acestora

Toate cele patru erori au aceeași consecință, care este cea importantă din punct de vedere comercial. Un defect al cărui responsabil este neclar nu poate fi direcționat. O întrerupere de serviciu, un plan expirat și o configurare greșită a limbii apar pentru client ca fiind aceeași situație — funcția nu funcționează —, iar doar două dintre ele sunt rezolvate prin înlocuirea unei unități. Prin urmare, matricea responsabilităților nu este o diagramă tehnică. Este regula care stabilește dacă bugetul de garanție va fi cheltuit pe unități care nu au fost niciodată defecte și motivul pentru care triajul trebuie efectuat înainte de înlocuire, nu după aceasta.

Poziția de producție pe care o putem susține și cea pe care nu o putem susține

Ce include poziția noastră publicată

Limita pe care o respectăm: publicăm funcțiile AI așa cum sunt descrise în catalog și nu le vom atribui un nume de model, un număr de limbi, o latență, o afirmație despre funcționarea offline sau o poziție privind abonamentele, deoarece niciuna dintre aceste informații nu ne-a fost publicată pentru modelele din această gamă. Nu vom repeta o formulă de marketing ca și cum ar fi o specificație, iar certificarea de export a catalogului nostru reprezintă o capabilitate la nivel de companie, nu un rând de certificare pentru fiecare model, așa că nu este prezentată astfel.

Ce putem face este să vă comunicăm cu exactitate configurația publicată și să vă indicăm care dintre cele opt elemente de acceptare necesită un serviciu activ și un cont similar celui al clientului, nu un test pe banc de lucru — deoarece tocmai acestea nu pot fi detectate de un regim de control al calității în fabrică.

Vom fi, de asemenea, direcți în privința întrebărilor comerciale din spatele funcției: dacă rulează pe dispozitiv sau într-un serviciu, dacă este necesar un abonament, care perechi de limbi în ce direcție și unde ajung datele. Aceste patru răspunsuri determină propunerea dumneavoastră pentru consumatori și nu sunt întrebări de inginerie.

Ce nu putem face, formulat fără echivocuri

Nu putem publica o valoare a preciziei, o latență, un număr de limbi, un comportament offline, o locație de procesare sau un traseu al datelor pentru niciun model, deoarece nu le-am măsurat față de o condiție specificată. De asemenea, nu putem furniza o rată de trecere pentru stratul comportamental al scriptului, deoarece scriptul îi aparține cumpărătorului, iar rezultatul depinde de formulările cumpărătorului, de mediul cumpărătorului și de configurația contului său. Un furnizor care publică o rată de trecere generică pentru acest strat publică un număr produs de un script pe care nimeni nu îl poate vedea.

Ce putem face este să rulăm testul împreună cu dumneavoastră. Trimiteți-ne cele douăzeci de comenzi, mediile și configurația contului, iar noi le vom rula pe unitățile pe care le desemnați, pe versiunea pe care o specificați, și vom înregistra rezultatele pe măsură ce sunt obținute. Fișa de măsurare care stabilește acest tip de întrebare se găsește la măsurarea funcțiilor AI, protocolul de testare pentru un exemplar se află la testarea funcțiilor AI înainte de comandare, iar considerațiile privind actualizarea de care depinde al șaptelea element de acceptare se găsesc la considerații privind actualizarea funcțiilor AI. Metoda de citire a specificațiilor care generează rândurile în sine se află la metoda de citire a fișei de date a funcțiilor AI.

Sarcina pe care funcția trebuie să o îndeplinească

Spuneți-ne ce este destinat funcției să facă și vă vom spune ce trebuie să includeți în scriptul de acceptare, care dintre cele opt elemente le putem rula împreună cu dumneavoastră și care dintre ele necesită contul și mediul dumneavoastră pentru a fi finalizate. Contextul platformei este prezentat la tehnologia funcțiilor AI, iar domeniul aplicat conex se află la soluții pentru crearea de conținut AI.


Lecturi conexe

Spuneți-ne ce este destinat funcției să facă și vă vom spune ce trebuie să includeți în scriptul de acceptare.

Chat pe WhatsApp
Experiența dumneavoastră pe acest site va fi îmbunătățită prin acceptarea cookie-urilor.