Funzionalità IA degli occhiali smart: una relazione, non un componente
Il motivo per cui una funzionalità AI non può essere valutata guardando una dimostrazione non è che le dimostrazioni ingannino. È che una dimostrazione è l'unica configurazione in cui un assistente appare al meglio: una frase preparata, una stanza silenziosa, una rete collaudata e un dispositivo i cui account sono stati collegati in anticipo da chi lo ha configurato. Tutto ciò che un acquirente deve sapere è una proprietà della relazione tra il dispositivo, il fornitore del modello, la rete e la regione — e nessuno di questi quattro elementi è il prodotto nella confezione.
La decisione, in tre frasi. Se un assistente vocale è essenziale nella tua scheda prodotto, testalo come una relazione e non come una funzionalità: scrivi l'elenco delle frasi e le condizioni di superamento prima che il campione arrivi, esegui il piano su un dispositivo diverso da quello usato per la dimostrazione e registra la versione del firmware con ogni risultato. La metrica che determina se il prodotto può essere messo in commercio è solitamente il tasso di attivazione impropria anziché il tasso di attivazione, perché un dispositivo che interrompe la conversazione di un cliente è un prodotto che viene tolto. Se non riesci a ottenere per iscritto un identificatore della versione, una descrizione del percorso dei dati e un comportamento offline specificato, non includere l'assistente nel testo — la funzionalità esisterà soltanto nella pagina del prodotto.
Chi esegue questo piano e cosa deve produrre. Il lettore di solito sta decidendo se un assistente AI debba essere incluso nel prodotto oppure sta confrontando le implementazioni di due fornitori per la stessa funzionalità dichiarata. Ha a disposizione campioni, un elenco delle funzionalità, un canale, un prezzo obiettivo e un piano di marketing che presume già l'esistenza della funzionalità. Non ha invece a disposizione dati sulle prestazioni, e il motivo è strutturale: i dati appartengono al fornitore del modello anziché alla fabbrica e cambiano con la versione anziché con l'hardware. Il piano deve quindi produrre tre elementi — un numero anziché un'impressione, un identificatore della versione associato al numero e un elenco scritto delle condizioni in cui il numero è stato misurato.
Cosa dice il nostro catalogo e cosa non dice. Indichiamo un assistente vocale AI tra le tecnologie chiave della gamma di occhiali con fotocamera AI e il nostro sito indipendente descrive la traduzione AI sul K01, che è un modello audio. Non pubblichiamo il tasso di attivazione, il tasso di attivazione impropria, il tasso di successo dei comandi, la latenza, l'accuratezza del riconoscimento, l'accuratezza della traduzione né il comportamento offline di alcun modello della gamma, e non stimiamo nessuno di questi valori. Questa scarsità di dati non è un problema di raccolta dati che non siamo riusciti a effettuare; è ciò che una categoria priva di una base di prestazioni pubblicata è, ed è il motivo per cui esiste il piano seguente.
Dove si trova il costo di una funzionalità AI. Il costo hardware di un assistente è quasi nullo — il microfono e il modulo radio sono già nel prodotto. Il costo reale di un assistente consiste nei quattro aspetti che lo circondano: il lavoro necessario per specificare un comportamento testabile, la localizzazione dell'elenco delle frasi e della documentazione per ogni mercato di lancio, lo script di assistenza per i casi di errore e l'apparato contrattuale che ti comunica quando il fornitore ha modificato qualcosa sotto la tua copertura. Due fornitori che propongono lo stesso assistente differiranno molto di più su queste quattro voci rispetto a qualsiasi prezzo unitario, e la differenza resterà invisibile finché la scheda prodotto non sarà online.

I cinque numeri da richiedere e i tre che nessuno comunica
Invia queste cinque domande in un unico messaggio, formulate identiche, a ogni candidato e richiedi le risposte in una tabella anziché in formato discorsivo. La colonna del denominatore è quella importante, perché una percentuale priva di denominatore è soltanto un'espressione di marketing.
| Metrica | Cosa misura | Denominatore richiesto | Soglia di superamento |
|---|---|---|---|
| Tasso di attivazione | L'avvio dell'assistente quando deve avviarsi | Numero di tentativi, numero di parlanti, ambiente | Una percentuale con tutti e tre i dati indicati |
| Tasso di attivazione impropria | L'avvio dell'assistente quando non deve avviarsi | Numero di tentativi e ore di utilizzo ordinario | Una percentuale oppure una dichiarazione scritta che non viene misurata |
| Tasso di successo dei comandi | La comprensione del tuo elenco di frasi | L'elenco di frasi che hai fornito e il numero di ripetizioni per frase | Una percentuale rispetto al tuo elenco |
| Latenza | Il ritardo prima dell'arrivo della risposta | Stato della rete e versione del firmware | Una soglia fissa, non una valutazione soggettiva |
| Accuratezza del riconoscimento | Se è stata udita la cosa giusta | La scena e se il parlante è rivolto in avanti | Un valore per la stanza silenziosa e per l'ambiente reale |
Le soglie in parole semplici e le tre righe che di solito mancano
Una percentuale senza il numero di tentativi non è una percentuale di successo. Novantotto per cento misurati su dieci tentativi in un ufficio silenzioso prevedono meno di ottantacinque per cento misurati su trecento tentativi per strada, ed è il secondo numero a descrivere il prodotto. La soglia da rispettare è una percentuale con denominatore, numero di relatori e ambiente associati: un fornitore che non è in grado di fornire tutti e tre non ha misurato il prodotto.
La percentuale di attivazioni errate è un requisito di usabilità, non una nota tecnica. Determina dove il prodotto può essere venduto, anziché stabilire se la funzionalità funziona, perché una sala riunioni e una strada sono mercati diversi per lo stesso dispositivo. Un dispositivo che si attiva con un colpo di tosse in un ufficio silenzioso è un prodotto per sale riunioni; lo stesso dispositivo per strada è una fonte di disturbo. La soglia che l’acquirente stabilisce qui è una decisione di prodotto relativa al canale di vendita e deve essere documentata prima della stesura della pagina prodotto.
La percentuale di comandi eseguiti correttamente deve essere misurata rispetto al proprio elenco, non a quello del fornitore. L’elenco di un fornitore contiene saluti e un timer, perché sono facili. Il vostro elenco contiene la frase che un supervisore di magazzino pronuncia davvero undici volte al giorno. La soglia è una percentuale rispetto alle frasi fornite, con un numero dichiarato di ripetizioni per frase.
La latenza richiede un valore fisso, non un aggettivo. Impostate la soglia — meno di due secondi è un punto di partenza ragionevole — e misuratela. Varia in base alla rete, motivo per cui lo stato della rete deve far parte della misurazione; un valore di latenza privo dello stato della rete proviene dall’ufficio del fornitore.
Il numero di build è la colonna che rende validi i risultati. Un assistente cambia tra una build e l’altra e una misurazione senza un identificatore di build non può essere riprodotta, né difesa, né confrontata con il risultato successivo di un altro fornitore. È la colonna più importante del foglio, ma anche quella che più spesso viene lasciata vuota.
Tre righe che quasi mai vengono fornite, e cosa fare per ciascuna. Il comportamento offline — ciò che il dispositivo fa quando la rete viene rimossa fisicamente — è la riga che risolve la disputa più comune in questa categoria: se il prodotto fa ciò che la documentazione dichiara quando la rete non è disponibile. Richiedetelo come dichiarazione scritta e, in caso di silenzio, considerate il comportamento offline come non definito nei testi. Il percorso dei dati — ciò che esce dal dispositivo, dove viene inviato e come viene gestito il consenso — è la riga richiesta da chi verifica la conformità; verificate mediante l’osservazione diretta anziché leggere la documentazione e fate in modo che l’informativa sulla privacy nella vostra scheda descriva ciò che avete osservato. Il meccanismo di aggiornamento — il modo in cui un’unità già consegnata riceve una nuova build e chi decide — è la riga che vi dice se la funzionalità può cambiare senza preavviso contrattuale.
Esecuzione del piano: identificatori di build, ambienti e una seconda giornata
Primo passo, prima che il campione arrivi. Scrivete l’elenco delle frasi. Deve contenere i comandi che il cliente pronuncerà davvero, nella lingua del mercato di lancio, incluse le due o tre frasi difficili da pronunciare. Impostate le condizioni di superamento come valori numerici. Decidete quali test richiedano quali ambienti. Definire il telefono, la rete e le condizioni audio. E identificate la build del firmware che dovrebbe essere installata sul campione, così che la prima cosa da fare all’arrivo sia confermarla.
Secondo passo, il giorno della prova, prima di effettuare qualsiasi misurazione. Confermate l’identificatore della build sull’unità e registratelo. Confermate la lingua, l’area geografica e lo stato dell’account. Verificate che l’unità sia in una configurazione standard appena uscita dalla scatola anziché essere un’unità dimostrativa, il che di solito significa un account nuovo, nessun servizio collegato e impostazioni predefinite di elaborazione. Un risultato proveniente da un’unità dimostrativa collegata non è un risultato sul prodotto che il cliente riceve ed è il modo più comune in cui una valutazione dell’assistente lusinga un fornitore.
Terzo passo, la percentuale di attivazione, su un numero elevato di tentativi. Utilizzate diversi relatori, perché gli assistenti vocali variano più in base alla voce che all’hardware. Registrate il numero di tentativi, il numero di relatori e l’ambiente, quindi calcolate voi stessi la percentuale dal registro anziché fidarvi di un valore arrotondato.
Quarto passo, la percentuale di attivazioni errate, nell’ambiente pertinente. È il test più lungo del piano e quello che più spesso viene saltato. Consiste nel lasciare l’assistente attivo durante le normali attività — una scrivania, una riunione, una strada — e registrare ogni attivazione non richiesta. Il numero ottenuto è quello che determina il canale di vendita.
Quinto passo, il tasso di successo dei comandi, sulla tua lista di frasi. Ogni richiesta viene eseguita un numero prefissato di volte e gli errori vengono registrati con una motivazione, perché «non ha capito» e «ha capito, ma ha fatto la cosa sbagliata» sono due errori diversi, con due correzioni diverse.
Sesto passo, la latenza, rispetto alla soglia prestabilita. Misura l’intervallo tra la fine dell’enunciato e l’inizio della risposta, annotando lo stato della rete, e ripeti la misurazione un numero sufficiente di volte da osservare la coda della distribuzione anziché la media.
Settimo passo, il comportamento offline, con la rete fisicamente scollegata. Non la modalità aereo con un risultato in cache disponibile: la rete deve essere realmente irraggiungibile, e il risultato va registrato. Un fornitore che non ha mai testato questo scenario ha un prodotto il cui comportamento in ascensore è sconosciuto.
Ottavo passo, il percorso dei dati, verificato mediante osservazione. Osserva cosa fa il dispositivo sulla rete, confrontalo con ciò che afferma la documentazione e conserva il confronto nel fascicolo. Un’informativa sulla privacy redatta a partire da una frase di marketing è una responsabilità; un’informativa sulla privacy redatta a partire da un’osservazione è difendibile.
Testa due o tre unità della stessa build ovunque la funzionalità sia determinante. Una funzionalità che funziona su un campione e fallisce su un altro è un problema di resa, e un problema di resa è invisibile in un test su una sola unità. Quando la funzionalità è il motivo per cui il cliente ha acquistato il prodotto, una singola unità non costituisce alcuna prova.
Esegui l’intero piano due volte, in giorni diversi, e considera la dispersione una constatazione. Il comportamento di un assistente varia in base al giorno, alla rete e al rumore ambientale; un’ampia differenza tra due esecuzioni indica che la funzionalità non è abbastanza stabile da servire come base per un’affermazione. Se la dispersione è ridotta, il risultato vale la pena essere conservato; se è ampia, la constatazione è più preziosa del numero.
Registra l’identificativo della build, l’ambiente e l’orario con ogni risultato. Conserva le registrazioni dove la piattaforma lo consente. Una misurazione che non può essere riprodotta non è una prova e, in questa categoria, è la build a cambiare.
Cosa registrare con ogni risultato. La designazione e la configurazione del modello, l’identificativo della build del firmware, la versione dell’app, la lingua e l’area geografica, lo stato dell’account, il telefono e la rete, l’ambiente e il suo livello di rumore, la frase o il test tentato, il risultato, l’orario e il collaudatore. Il foglio è corposo, ed è proprio questo il punto: il numero di righe rende il risultato difendibile sei mesi dopo.
Cosa questo piano non può dimostrare. Non dimostra come si comporta la funzionalità per l’intera popolazione di clienti, né come si comporta in un mercato o in una lingua che non hai testato, né come si comporta dopo la prossima modifica del fornitore. Non dimostra inoltre la posizione di conformità, che deriva dai documenti. Quest’ultimo aspetto è importante: la Direttiva sulle apparecchiature radio prevede requisiti di cybersicurezza che fanno parte della marcatura CE, descritti dalla serie di standard armonizzati EN 18031 e riguardanti la comunicazione sicura, la cifratura, l’archiviazione sicura, il consenso dell’utente e il processo di gestione delle vulnerabilità identificate. Un assistente vocale rientra pienamente in questo ambito di applicazione e un comportamento offline misurato costituisce la prova che il prodotto fa ciò che la sua documentazione dichiara quando la rete non è disponibile.

Dove un programma AI va storto e il segnale di allarme per ciascun caso
La funzionalità viene annunciata in un annuncio di vendita e fallisce durante una riunione con un cliente. Il sintomo è un reclamo che descrive una conversazione interrotta. La causa principale è che è stato misurato soltanto il tasso di attivazione. La prevenzione consiste nel misurare entrambi i tassi e nel definire la soglia per le attivazioni errate prima di scrivere la pagina del prodotto.
Il cliente segnala che l’assistente ha smesso di funzionare dopo un aggiornamento. Il sintomo è una serie di reclami che inizia in una data che nessuno riesce a spiegare. La causa principale è che la misurazione era legata a una build, che è cambiata senza un nuovo test. La prevenzione consiste nel registrare la build con ogni risultato, rieseguire il piano sulla build che verrà effettivamente distribuita e richiedere avviso in caso di modifiche che influenzano il comportamento dell’assistente.
Viene fatta un’affermazione sulla traduzione e il revisore della lingua di destinazione la rifiuta. Il sintomo è un annuncio di vendita che promette l’interpretazione e un revisore che non riesce a riprodurla. La causa principale è che la precisione è stata valutata da una persona che non è madrelingua, su saluti anziché su frasi operative. La prevenzione consiste nel far valutare da un madrelingua della lingua di destinazione le frasi necessarie al cliente, allegando la lista di frasi alla valutazione.
Una domanda sulla privacy viene liquidata con una frase di marketing. Il sintomo è una revisione della sicurezza da parte di un cliente aziendale che chiede il percorso dei dati, mentre il brand dispone soltanto dell’URL dell’informativa. La causa è che il percorso dei dati non è mai stato verificato. La prevenzione consiste nel verificarlo mediante osservazione e nel redigere la dichiarazione sulla privacy in modo che descriva quanto osservato.
Il prodotto funziona nel Paese della demo e fails nel mercato di lancio. Il sintomo è un cluster di resi proveniente da un solo mercato. La causa è che il piano è stato eseguito in una regione su una sola rete. La prevenzione consiste nell’eseguire il piano nel mercato di lancio, sulle reti che il cliente utilizzerà, e nel riportare entrambi i set di risultati affiancati.
Due valutatori formulano conclusioni opposte nello stesso giorno. Il sintomo è una shortlist che cambia tra una riunione di martedì e una di venerdì. La causa è che le condizioni di superamento erano espresse con aggettivi. La prevenzione consiste nel fissare le condizioni di superamento sotto forma di valori numerici prima di ordinare i campioni, in modo che un disaccordo evidenzi un criterio ambiguo anziché il prodotto.

Cosa è possibile contrattualizzare quando il fornitore modifica qualcosa
L’identificativo della build e il meccanismo di aggiornamento sono le due voci da inserire nella richiesta di preventivo. Un fornitore che non riesce a indicarli sta comunicando che l’assistente può cambiare senza preavviso contrattuale, e questa è un’esposizione commerciale maggiore rispetto al prezzo unitario. Sono dettagli gratuiti da richiedere e gli unici che ti consentono di avere un punto di aggancio.
L’elenco delle frasi e le condizioni di superamento devono figurare nell’ordine di acquisto, come criteri di accettazione. L’assistente è l’unica parte del prodotto che un cliente può attribuire a qualcun altro, perciò i criteri devono esistere per iscritto prima del campione e non dopo il primo reclamo. Un campione che soddisfa i criteri sulla build consegnata è un campione che puoi accettare.
Una clausola di preavviso relativa alle modifiche comportamentali è la clausola più preziosa in questa categoria. Qualsiasi modifica del microfono, della taratura del DSP, dello stato di elaborazione predefinito o del modello dell’assistente può alterare il comportamento osservabile senza modificare l’hardware, quindi la clausola deve riguardare il comportamento e non i componenti.
Il lavoro di localizzazione è negoziabile e vale la pena negoziarlo. L’elenco delle frasi, la lingua della documentazione e lo script di assistenza per ciascun mercato rappresentano altrettanti cicli di lavoro, ciascuno della durata di una settimana. La negoziazione da condurre riguarda il numero di cicli inclusi e se un secondo mercato debba essere quotato come duplicato del primo o come un nuovo lavoro di traduzione.
Il quantitativo minimo d’ordine e il lavoro di packaging sono normali voci commerciali. Una trattenuta sul pacchetto documentale tutela l’acquirente rispetto al guasto più oneroso, ossia la consegna di un’unità accompagnata da documenti che non la coprono; un acconto con saldo dopo l’ispezione e prima della spedizione costituisce la struttura standard.
Le scadenze in un programma per assistente sono il congelamento della build e il calendario delle certificazioni, e nessuno dei due si modifica perché l’acquirente fa pressione. Il congelamento della build deve precedere l’ordine e non seguirlo, perché una build che cambia dopo l’ordine invalida tutte le misurazioni su cui si basavano i criteri di accettazione. I costi e i tempi di certificazione dipendono dal processo e dall’ente di prova; fare pressione su uno dei due allunga il calendario anziché accorciarlo. Il costo della strumentazione è una voce straordinaria, solitamente ammortizzata sul primo ordine, e le domande da porre sono su quale volume viene ammortizzata e che cosa accade se il programma viene interrotto.
I documenti da richiedere prima dell’acconto. L’identificativo della build del firmware e il meccanismo di aggiornamento. I numeri dei certificati, con l’ente emittente e le date di validità. La dichiarazione di conformità riferita all’esatta denominazione del modello. Una descrizione scritta del percorso dei dati e del meccanismo di consenso. Una dichiarazione scritta sul comportamento offline. La denominazione del modello riportata nel preventivo.
Le clausole da inserire nell’ordine di acquisto. La denominazione del modello come voce distinta, con allegati i numeri dei certificati. I criteri di accettazione derivati dagli otto test, con allegato l’elenco delle frasi. Una clausola che imponga un preavviso prima di una modifica del firmware o del modello che influisca sul comportamento dell’assistente, con l’obbligo di ripetere i test. Una clausola che stabilisca chi sostiene il costo quando il campione non soddisfa i criteri di accettazione.
Un piano concreto per un brand che lancia in un solo mercato
Questo è un caso pratico, non un caso cliente. L’ordine in cui vengono presentate le informazioni è il punto essenziale.
Si ipotizzi un brand di elettronica di consumo con una linea di undici modelli dotati di fotocamera, una piattaforma fotografica già esistente e il piano di aggiungere un assistente vocale a due configurazioni come caratteristica principale del lancio in un singolo mercato. Il product manager del brand ha redatto il testo dell'annuncio affermando che l'assistente «comprende in modo naturale» ed «è sempre a disposizione quando serve», mentre il revisore della conformità del brand ha già richiesto il percorso dei dati.
La prima decisione è rimuovere l'assistente dal testo finché non viene misurato. Il product manager elimina entrambi gli aggettivi senza sostituirli con nulla, perché una funzionalità che non può essere descritta accuratamente non deve ancora essere descritta affatto. Questa singola modifica elimina la maggiore esposizione del brand senza alcun costo.
La seconda decisione riguarda il mercato di lancio e viene presa prima della stesura del piano. Il brand sceglie un mercato, una lingua e le due reti effettivamente utilizzate dai propri clienti, e accetta che l'assistente non sarà lanciato nel secondo mercato finché non sarà stato misurato anche lì. Il motivo è il costo: un elenco di frasi in una lingua è un lavoro di traduzione, mentre un elenco di frasi in una lingua che il team non è in grado di valutare è un asset inutilizzabile.
La terza decisione riguarda la build. Il brand chiede al fornitore di congelare un identificativo della build per la valutazione e di confermare che sarà distribuita la stessa build. Il fornitore conferma una build e il brand la registra. Questa è la decisione che rende significativi tutti i dati successivi e costa un'e-mail.
Il quarto passaggio è il test, su un'unità diversa da quella dimostrativa. Il brand ordina un'unità standard, configura un account nuovo ed esegue otto test in due giorni con due valutatori. Il tasso di attivazione è elevato in una stanza silenziosa e più basso nell'ambiente target. Il tasso di attivazione involontaria, misurato nell'arco di una normale giornata lavorativa, è il risultato che conta: è abbastanza elevato da rendere insostenibili, dopo una settimana di utilizzo in quell'ambiente, le affermazioni di marketing del brand stesso.
La quinta decisione segue dal tasso di attivazione involontaria. Il brand non lancia l'assistente in quel mercato e mantiene invariata la linea hardware. L'alternativa sarebbe stata lanciarlo e assorbire un-cluster di reclami che il programma di campionatura aveva già previsto. La valutazione è costata un round di campionatura e una settimana; l'alternativa sarebbe costata un lancio.
La sesta decisione riguarda il destino del risultato. Il brand inserisce la soglia di attivazione involontaria nell'ordine di acquisto come condizione per un successivo rilascio del firmware e negozia una clausola di preavviso per le modifiche comportamentali. Conserva le registrazioni e il foglio di valutazione, perché un futuro rilascio del firmware richiederà un nuovo test e il foglio è ciò che rende confrontabili i risultati del retest.
Il risultato è una linea di prodotti lanciata con meno di quanto il brand desiderasse e una relazione con il fornitore che ora dispone di uno standard scritto per la funzionalità che il brand intende aggiungere in futuro. Il punto centrale di questa procedura è che il dato decisivo è emerso da un test su un campione anziché da una dimostrazione, al costo di un'unità e due giorni.
Ciò che il nostro assistente registra può e non può stabilire
In concreto, preferiamo che un acquirente testi una funzionalità IA anziché credere alla sua descrizione, e un piano di test è l'unico elemento che trasforma una capacità in una specifica. Indichiamo un assistente vocale IA tra le tecnologie chiave della gamma di occhiali con fotocamera AI, mentre il nostro sito indipendente descrive la traduzione IA sul K01, un modello audio: consideriamo questa un'osservazione tratta dal nostro stesso materiale di marketing, non una specifica. Non pubblichiamo tassi di attivazione, tassi di attivazione involontaria, tassi di successo dei comandi, valori di latenza, livelli di precisione del riconoscimento, livelli di precisione della traduzione né comportamento offline per alcun modello, e non stimiamo nessuno di questi valori.
Non inseriremo inoltre alcun dato numerico in un annuncio se misurato su un'unità dimostrativa, perché un valore non riproducibile è un'affermazione che non può essere difesa quando il cliente è davanti a te. Forniremo unità con una build firmware nota e lavoreremo con te a un piano di test anziché inviare una dimostrazione.
Tre aspetti da definire prima di promettere un assistente in un annuncio
Chiedi l'identificativo della build e il meccanismo di aggiornamento nel primo messaggio. Sono le uniche due risposte che indicano se la funzionalità può cambiare al di sotto del tuo programma di test, e un fornitore che risponde a entrambe dispone di un processo.
Scrivi l’elenco delle frasi prima che arrivi il campione. È l’unica parte del piano che il fornitore non può preparare per te ed è quella che rende il tasso di successo tuo anziché loro.
Inviaci le funzionalità che intendi pubblicare, il mercato di lancio e la lingua; scriveremo il piano di test con te. Il contesto è illustrato in funzionalità AI degli occhiali, il percorso di valutazione del campione è descritto in valutazione del campione, il metodo di misurazione è disponibile in come misurare le funzionalità AI, mentre le domande per il fornitore si trovano in verifica del fornitore AI.
Letture correlate
- La tecnica di misurazione — come misurare le funzionalità AI
- Le domande per il fornitore — verifica del fornitore AI
- Il percorso di valutazione del campione — valutazione del campione
Indicaci le funzionalità che intendi pubblicare e l’ambiente di utilizzo; scriveremo il piano di test con te.



