Produttore OEM/ODM di smart eyewear · Shenzhen, Cina +86 19835872450 sales@cynrin.com
tecnologia degli smart glasses

Funzionalità IA degli occhiali smart: controllo qualità

Il controllo qualità delle funzionalità IA degli occhiali smart è un aspetto singolare, che vale la pena chiarire prima dei dettagli, perché spiega la disciplina in questa categoria:…

A cura del team di ingegneria e approvvigionamento CYNRIN/ Mar 28, 2023/ 15 min di lettura
Funzionalità IA degli occhiali smart: controllo qualità

Il controllo qualità delle funzionalità IA presenta un'anomalia che vale la pena definire prima di entrare nel dettaglio, perché spiega perché la disciplina in questa categoria è diversa da ogni altra disciplina di controllo qualità presente in questo ambito.

Ogni altra disciplina di controllo qualità in un prodotto hardware verifica qualcosa di fisicamente presente. La batteria mantiene la carica oppure no. La fotocamera mette a fuoco oppure no. Una funzionalità IA è diversa: è un comportamento che dipende da un modello, una rete, un servizio, una coppia di lingue, un input e un momento. L'unità può essere assemblata correttamente e la funzionalità può comunque non funzionare; inoltre, il guasto è spesso invisibile in fabbrica, perché la rete, l'account e la configurazione linguistica della fabbrica non corrispondono a quelli del cliente. Quindi smart glasses ai features smart glasses quality control riguarda il test del comportamento nel punto in cui viene utilizzato, anziché nel punto in cui viene costruito.

Smart glasses ai features: quattro livelli di test e lo script di accettazione

Smart glasses ai features: perché i test su banco falliscono

Chi deve definire questo regime di test

Il lettore è un ingegnere della qualità di un brand o un responsabile degli approvvigionamenti che deve specificare a quali requisiti il fornitore sarà tenuto a rispondere e che ha scoperto che il consueto regime di controllo in ingresso non è applicabile. Vale per l'hardware, ma non può valere per un comportamento che dipende da un servizio.

Questo è il problema pratico che questo articolo risolve. L'acquirente può chiedere tre cose: un regime di test di fabbrica eseguito dalla fabbrica, un regime di accettazione eseguito dall'acquirente e un regime condiviso eseguito da entrambi. La maggior parte della confusione in questa categoria deriva dal non aver deciso a quale dei tre regimi appartenga un determinato controllo e dalla scoperta, a metà di una campagna di produzione, che un controllo di cui nessuno era responsabile veniva eseguito da qualcuno che non aveva accesso all'account o allo stato della rete necessari.

Tre motivi per cui il test di fabbrica non è sufficiente e cosa produce ciascuno

1. L'account e l'abbonamento. Una funzionalità che richiede un account, un accesso o un abbonamento può funzionare perfettamente in fabbrica e risultare completamente non funzionante per un cliente che non ha effettuato l'accesso, la cui prova è scaduta o che ha un piano sbagliato. Il sintomo è un cliente che afferma che la funzionalità non funziona, rendendo irrilevanti le prove della fabbrica. Il controllo che rileva il problema è un test con un account nuovo e un test con un piano scaduto; entrambi richiedono credenziali che la fabbrica non possiede.

2. La rete e l'area geografica. Una funzionalità che viene eseguita tramite un servizio cloud dipende dalla disponibilità del servizio, dall'area geografica del cliente e dalla rete locale. Un test di fabbrica su una rete in un Paese non dimostra nulla su un cliente in un altro Paese. Il sintomo è un concentrato di resi in un singolo mercato, che sembra un problema di mercato, mentre è di solito un problema di configurazione della rete o dell'area geografica.

3. La lingua e l'input. Una funzionalità di traduzione o vocale che funziona nella configurazione della fabbrica potrebbe non gestire la lingua del cliente, il suo accento, il suo ambiente rumoroso o una frase fuori dal set di test. Non si tratta di un difetto, ma di un limite di ambito applicativo che deve essere documentato. Il controllo che rileva il problema prevede l'esecuzione del set di frasi dell'acquirente nel suo ambiente.

Ciascuno dei tre produce un guasto distinto e nessuno di essi è visibile in un test di fabbrica. Questo è l'intero fondamento della struttura a quattro livelli descritta di seguito.

Fotografia generata dall'IA che illustra smart glasses ai features: controllo qualità in pratica — immagine 1 di 3

I quattro livelli di test e cosa può dimostrare ciascuno

Livello uno: l'hardware

Il microfono acquisisce correttamente il suono? Il processore funziona? La radio di rete è operativa? La gestione dell'energia si comporta correttamente? È un test di fabbrica ed è il livello che la maggior parte dei sistemi di controllo qualità copre già. Vale la pena eseguirlo bene, perché un guasto a questo livello è l'unico, nell'intero stack, che può essere risolto sostituendo l'unità.

Livello due: il servizio

L'endpoint risponde? L'account autorizza l'accesso? Lo stato dell'abbonamento consente la chiamata? L'area geografica è supportata? Questo livello richiede credenziali attive in una configurazione simile a quella del cliente. Non può essere eseguito come test di fabbrica con l'account della fabbrica, perché l'account della fabbrica è abilitato, mentre quello del cliente non lo è: la differenza tra un account abilitato e uno non abilitato è esattamente ciò che sperimenta il cliente.

Livello tre: il comportamento

Il set di comandi, la latenza, l'accuratezza, la gestione delle richieste fuori ambito e la riduzione delle prestazioni in presenza di rumore. Questo livello deve essere testato tramite uno script anziché dimostrato, perché una dimostrazione è un singolo caso favorevole, mentre un comportamento è una distribuzione. Lo script appartiene all'acquirente, per il motivo spiegato più avanti in questo articolo.

Quarto livello: l’esperienza

L’abbinamento, la configurazione iniziale, la gestione da parte dell’applicazione di una richiesta non riuscita, ciò che il cliente vede quando la rete si disconnette. È il livello che genera i resi, ma anche quello che nessuno testa, perché richiede una persona che non ha mai visto il prodotto.

Lo script di accettazione e chi è responsabile di ogni riga

Cosa può e cosa non può dimostrare ciascun livello

Il vantaggio di separare i livelli è che ognuno produce un tipo diverso di evidenza e ha un responsabile diverso.

Il primo livello produce un verbale di prova rispetto a una specifica e può essere realizzato dalla fabbrica. Il secondo produce un registro degli endpoint e degli account e richiede un account acquirente. Il terzo produce una scheda di risultato per ogni unità e lo script deve essere dell’acquirente. Il quarto produce note di osservazione delle sessioni e l’utente deve essere dell’acquirente.

Questo consente di dare una risposta chiara alla domanda che gli acquirenti pongono più spesso su questa categoria: quanto del regime può essere delegato alla fabbrica. La risposta onesta è il livello inferiore, più le parti del livello di assistenza che possono essere testate con un account di prova fornito dal brand e che la fabbrica è autorizzata a utilizzare.

Lo script di accettazione e chi deve averne la responsabilità

Gli otto elementi

  1. Un insieme di venti comandi, redatti dall’acquirente e non forniti dal fornitore. Ciascuno deve rappresentare un’azione che la funzionalità deve compiere nel vostro caso d’uso, e lo script va eseguito su ogni campione, non una sola volta.
  2. Latenza, misurata. Tempo trascorso dalla fine del parlato all’inizio della risposta, nell’ambiente in cui sarà utilizzata. Una funzionalità istantanea in un ufficio silenzioso non si comporta allo stesso modo in strada.
  3. Il risultato in caso di dipendenza dalla rete. Con la connettività disattivata, cosa continua a funzionare. Questo singolo test rivela l’architettura meglio di qualsiasi specifica.
  4. Il comportamento in caso di errore, in quattro casi. Input ambiguo, richiesta fuori ambito, richiesta in una seconda lingua e richiesta effettuata in un ambiente rumoroso. Ciò che l’utente vede in ciascun caso distingue una funzionalità da un generatore di anomalie.
  5. Stato dell’account e dell’abbonamento. Testato almeno due volte: una volta con un account nuovo e una volta con un account il cui abbonamento è scaduto.
  6. Variazione in base a regione e rete. Almeno un test da una rete diversa e, se il prodotto viene venduto in più mercati, un test su una rete in ciascuno di essi.
  7. Il percorso di aggiornamento. Dalla versione del firmware in commercio a quella attuale e ciò che sperimenta un cliente che utilizza la versione precedente. È il test che viene saltato e di cui poi ci si pente.
  8. La posizione dei dati. Dove vengono elaborati e archiviati l’audio e i dati risultanti, e cosa vede il cliente nell’applicazione. È una questione legale a cui il controllo qualità non può rispondere e che deve essere chiarita prima che il test sia significativo.

La sequenza dei controlli qualità

Perché l’acquirente deve scrivere lo script

È il punto più contestato dell’intero regime e merita di essere discusso adeguatamente anziché essere dato per scontato.

Il fornitore conosce i percorsi funzionanti. Si tratta di una competenza autentica ed è il motivo per cui al fornitore dovrebbe essere chiesto di contribuire alla definizione dello script. Tuttavia, l’acquirente è l’unica parte che sa cosa chiederà effettivamente il cliente e i venti comandi dovrebbero corrispondere alle venti azioni che il cliente compirà davvero. Uno script scritto dal fornitore misura il prodotto del fornitore rispetto alle presupposizioni del fornitore e passerà sempre.

Per ottenere entrambi i vantaggi, l’acquirente deve scrivere prima i venti comandi e il fornitore deve commentarli prima che venga eseguito il test. L’acquirente mantiene la responsabilità dell’elenco; il fornitore ha il diritto di segnalare che tre di essi non sono realizzabili in questa configurazione, informazione essa stessa preziosa perché costituisce un segnale di allerta precoce su ciò che l’annuncio può affermare.

Trasformare lo script in uno standard di accettazione

Uno script custodito in un foglio di calcolo anziché nell’ordine di acquisto è un test, non uno standard. La soglia deve essere definita in anticipo e deve essere un valore per il quale l’acquirente sia disposto a far fallire molti test. Le soglie realistiche sono semplici: un numero dei venti comandi deve riuscire nell’ambiente specificato, le funzioni offline elencate devono continuare a funzionare, la latenza non deve superare il limite stabilito e i quattro casi di errore devono produrre il comportamento concordato.

Deve essere concordata anche la conseguenza in caso di mancato superamento. In questa categoria, l’accordo consueto prevede che un lotto pilota non superato non venga spedito e che un secondo round di valutazione sia finanziato dal fornitore. È questa seconda clausola che vale la pena negoziare, perché una funzionalità AI è la parte del prodotto più incline a non superare una prima verifica di accettazione e un fornitore che non finanzia il secondo round stacommunicando all’acquirente quanta fiducia ripone nel primo.

Fotografia generata dall’AI che illustra le funzionalità AI degli occhiali smart: controllo qualità nella pratica — immagine 2 di 3

Dove termina l’ispezione in ingresso e inizia il collaudo comportamentale

La linea di confine e la sua importanza commerciale

L’ispezione in ingresso è un controllo, lotto per lotto, rispetto a una specifica. Funziona quando la specifica descrive qualcosa di fisicamente presente, ma non funziona per il comportamento. La linea di confine non corrisponde quindi a una fase del processo: dipende dal fatto che il controllo possa essere eseguito da una persona che tiene in mano un’unità e la confronta con una specifica scritta, senza rete, account o servizi coinvolti.

Tutto ciò che si trova a sinistra di questa linea rientra nell’ispezione in ingresso e deve essere inserito nell’accordo di fornitura come criterio di rilascio. Tutto ciò che si trova a destra rientra nel collaudo di accettazione e deve essere inserito nel piano del programma, con le risorse dell’acquirente impegnate e lo script dell’acquirente allegato.

Livello di test, ambiente richiesto e artefatto prodotto

Che cosa richiede realmente il rilascio di un lotto

Il rilascio di un lotto per un modello di fotocamera della nostra gamma è lineare: l’unità corrisponde alla specifica pubblicata per il modello — fascia di risoluzione, capacità della cella, comportamento in carica, intervallo di autonomia, metodo di ricarica — e per quella configurazione sono in archivio il registro dei certificati per modello riportato nella checklist di certificazione e la documentazione sul trasporto delle batterie.

Per un lotto dotato di una funzionalità AI, lo stesso rilascio deve aggiungere un artefatto senza precedenti nell’hardware: il foglio dei risultati prodotto dallo script di accettazione, collegato a una specifica build del firmware e a una specifica configurazione dell’account. Senza questo artefatto, il lotto viene rilasciato in base ai meriti hardware, mentre la posizione della funzionalità resta sconosciuta: è precisamente la situazione che questo articolo intende evitare.

Esiste un secondo aspetto pratico riguardante questa linea. Gli script sono economici in termini di unità, ma onerosi in termini di coordinamento: venti comandi su due unità della build destinata alla spedizione, con l’esecuzione a rete disattivata, nell’ambiente dell’acquirente. Il costo di coordinamento è il motivo per cui il collaudo di accettazione va programmato in anticipo, sul livello pilota anziché dopo il livello di produzione, ed è anche il motivo per cui l’acquirente dovrebbe prenotare le unità di test anziché ricevere Whatever unità rimangano disponibili.

Chi paga il collaudo di accettazione e che cosa occorre negoziare

La ripartizione dei costi in questo regime è insolita e gli acquirenti che hanno gestito programmi hardware tendono a sottovalutarla. Il livello hardware è già compreso nel prezzo unitario. Il livello di servizio costa al brand un account di test, un modestissimo quantitativo di traffico e il tempo di chi gestisce l’account. Il livello comportamentale costa al brand i venti comandi, l’ambiente e le persone che redigono il foglio delle osservazioni. Il livello esperienziale costa al brand un pomeriggio di una persona estranea.

In altre parole, la parte più consistente del costo di accettazione ricade sull’acquirente, non sulla fabbrica, e grava sulle persone dell’acquirente anziché sul suo bilancio. Per questo tre aspetti commerciali vanno definiti prima dell’ordine, non durante la prima campagna.

Il primo riguarda il finanziamento, da parte del fornitore, di un secondo round di valutazione in caso di mancato superamento del primo. Una funzionalità AI è la parte del prodotto più incline a non superare una prima verifica di accettazione e un fornitore che non finanzia il secondo round sta comunicando all’acquirente quanta fiducia ripone nel primo.

Il secondo riguarda la possibilità per il fornitore di eseguire lo script, che dipende dai livelli cui è autorizzato a eseguire. Un fornitore dotato della configurazione dell’account può eseguire il livello comportamentale; un fornitore che ne è privo no, e l’intero regime dipende allora dal fatto che sia l’acquirente a recarsi in fabbrica o che sia la fabbrica a recarsi nell’ambiente dell’acquirente.

Il terzo riguarda il formato dell’artefatto. Se dopo ogni esecuzione il personale della fabbrica deve ricopiare il foglio dei risultati nel formato dell’acquirente, il registro perde attendibilità entro un trimestre. Un foglio dei risultati in un layout definito, sul quale sia indicato l’identificatore della build, rende le prove utilizzabili per l’intera produzione anziché per una sola campagna.

Fotografia generata dall’AI che illustra le funzionalità AI degli occhiali smart: controllo qualità nella pratica — immagine 3 di 3

Quattro modi in cui un regime di controllo qualità basato sull’AI genera una falsa sensazione di sicurezza

Testare il percorso dimostrativo. Una dimostrazione scripted esegue il percorso prestabilito nella configurazione della fabbrica, con l’account della fabbrica. Sono tutte variabili controllate, mentre i guasti più interessanti si verificano in quelle non controllate. È l’errore più comune e anche il meno grave, perché di solito emerge sul campo anziché durante l’audit.

Trattare una funzionalità dipendente dal cloud come una funzione hardware. Nel momento in cui una funzionalità dipende da un servizio, acquisisce una dipendenza che lo stabilimento non controlla e il regime di test deve riflettere questo aspetto. Si tratta dell’errore strutturale più comune e di quello che trasforma un’interruzione di servizio in una richiesta di garanzia.

Non testare la versione firmware spedita. La versione presente sul campione e quella sull’unità di produzione possono differire, ed è proprio in questa differenza che si nasconde la sorpresa. Il controllo è economico — registrare l’identificatore della build su ogni foglio dei risultati — mentre l’omissione è costosa, perché una modifica del comportamento tra una build e l’altra è indistinguibile da un difetto quando raggiunge il cliente.

Lasciare che sia il fornitore a definire i criteri di accettazione. È l’errore che produce il rilascio di un lotto senza prove comportamentali a supporto, perché i criteri sono stati scritti dalla parte che si sta sottoponendo alla misurazione.

Chi possiede un difetto dopo che lascia lo stabilimento

Il problema di escalation dietro questi errori

Tutti e quattro gli errori condividono una conseguenza, quella che conta commercialmente. Un difetto di cui non è chiaro il responsabile non può essere inoltrato. Un’interruzione di servizio, un piano scaduto e una configurazione linguistica errata si presentano al cliente come la stessa cosa — la funzionalità non funziona — e solo due di esse si risolvono sostituendo l’unità. La matrice di responsabilità non è quindi uno schema tecnico. È la regola che determina se il budget della garanzia verrà speso per unità che non erano mai difettose ed è il motivo per cui lo smistamento deve avvenire prima della sostituzione, non dopo.

La posizione sulla produzione che possiamo assumere e quella che non possiamo assumere

Che cosa copre la nostra posizione pubblicata

Il limite che manteniamo: pubblichiamo le funzionalità AI come indicato nel catalogo e non assoceremo loro un nome modello, un numero di lingue, una latenza, un’indicazione di funzionamento offline o una posizione sull’abbonamento, perché nessuno di questi elementi è stato pubblicato per i modelli di questa gamma. Non ripeteremo una frase di marketing come se fosse una specifica e la certificazione per l’export del nostro catalogo è una capacità a livello aziendale, non una riga di certificazione per singolo modello, pertanto non viene presentata come tale.

Quello che faremo è indicarti con precisione la configurazione pubblicata e quali degli otto elementi di accettazione richiedono un servizio attivo e un account simile a quello del cliente anziché un test di banco — perché sono proprio questi che un regime di controllo qualità di stabilimento non rileverà.

Saremo inoltre diretti sulle questioni commerciali alla base della funzionalità: se viene eseguita sul dispositivo o in un servizio, se richiede un abbonamento, quali coppie linguistiche e in quale direzione e dove vengono trasferiti i dati. Queste quattro risposte determinano la tua proposta retail e non sono questioni ingegneristiche.

Che cosa non possiamo fare, detto chiaramente

Non possiamo pubblicare un valore di precisione, una latenza, un numero di lingue, un comportamento offline, una sede di elaborazione o un percorso dei dati per alcun modello, perché non li abbiamo misurati rispetto a una condizione dichiarata. Non possiamo inoltre fornire un tasso di superamento per il livello comportamentale dello script, perché lo script è dell’acquirente e il risultato dipende dalle frasi, dall’ambiente e dalla configurazione dell’account dell’acquirente. Un fornitore che pubblica un tasso di superamento generico per questo livello sta pubblicando un numero prodotto da uno script che nessuno può vedere.

Quello che possiamo fare è eseguire il test con te. Inviaci i venti comandi, gli ambienti e la configurazione dell’account: li eseguiremo sulle unità che indichi, sulla build che specifichi e registraremo i risultati man mano che emergono. Il foglio di misurazione che risolve questo tipo di domanda si trova in misurare le funzionalità AI, il protocollo di test di un campione si trova in testare le funzionalità AI prima dell’ordine e le consideri sugli aggiornamenti da cui dipende il settimo elemento di accettazione si trovano in consideri sugli aggiornamenti delle funzionalità AI. Il metodo di lettura delle specifiche che genera le righe delle prime due matrici si trova in metodo di lettura delle specifiche delle funzionalità AI.

Il compito che la funzionalità deve svolgere

Indicaci che cosa deve fare la funzionalità e ti diremo che cosa includere nello script di accettazione, quali degli otto elementi possiamo eseguire con te e quali richiedono il tuo account e il tuo ambiente per essere completati. Il contesto tecnologico della piattaforma si trova in tecnologia delle funzionalità AI e l’area applicativa correlata si trova in soluzioni per la creazione di contenuti AI.


Letture correlate

Indicaci che cosa deve fare la funzionalità e ti diremo che cosa includere nello script di accettazione.

Chatta su WhatsApp
La tua esperienza su questo sito sarà migliorata consentendo i cookie.