OEM/ODM-fabrikant van slimme brilmonturen · Shenzhen, China +86 19835872450 sales@cynrin.com
Technologie voor slimme brillen

AI-functies van slimme brillen en assistentkwaliteit meten

Een AI-functie wordt beoordeeld op snelheid, latency en nauwkeurigheid, niet door een demonstratie te bekijken. Een demonstratie is een best case: een…

Door het ingenieurs- en sourcingteam van CYNRIN/ May 28, 2025/ 15 min. leestijd
AI-functies van slimme brillen en assistentkwaliteit meten

AI-functies van slimme brillen: gemeten op een build, niet op een exemplaar

Een AI-functie wordt gemeten in snelheden, latenties en nauwkeurigheden, en geen van deze wordt gemeten door naar een demonstratie te kijken. Een demonstratie is een best geval: een voorbereide zin, een stille ruimte, een goed werkend netwerk en een exemplaar dat voor de gelegenheid is geconfigureerd. AI-functies van slimme brillen: slimme brillen, hoe te meten draait om het omzetten van een mogelijkheid in een reeks cijfers die een koper in een specificatie kan opnemen en een andere koper kan reproduceren. De reden om dit zorgvuldig te doen is dat AI-claims het gemakkelijkst worden overtroffen en het moeilijkst te verdedigen zijn, en claims die falen, falen doorgaans in het openbaar.

Het korte antwoord: een AI-functie bestaat uit acht metingen, waarvan er twee helemaal geen prestatiemetingen zijn — offlinegedrag en het datapad. Samen bepalen deze wat u in een vermelding mag opgeven en wat uw privacyverklaring moet beschrijven. Stel uw eigen acceptatiedrempels vast voordat u begint, voer elke snelheid uit op meerdere exemplaren en meerdere sprekers en noteer bij elk resultaat het firmwarebuildnummer, omdat een AI-functie van build tot build verandert en een meting zonder buildnummer niet kan worden gereproduceerd.

AI-functies van slimme brillen: waarmee elke AI-claim kan worden aangetoond

De koper die beslist of een assistent bij het product hoort

Een koper beslist hier doorgaans of er überhaupt een AI-spraakassistent bij het product hoort, of welke van de implementaties van twee leveranciers wordt aangeboden. Ze houden rekening met samples, een functielijst en een doelgroep — makers, medewerkers in het veld of alledaagse assistenten. Ze zullen echter geen prestatiegegevens hebben, omdat in deze categorie de gegevens worden gegenereerd door de modelaanbieder en de assistentstack in plaats van door de fabrikant, en ze veranderen met de build in plaats van met de hardware.

Dat laatste punt verandert hoe een koper over de beslissing moet denken. Een AI-functie is geen eigenschap van het product dat u eenmaal koopt; het is een verhouding tussen het product, een modelaanbieder, een netwerk en een regio. De werkelijke vraag van de koper is niet: "is dit goed?", maar: "kan ik dit meten, kan ik het aan een drempel toetsen en wat gebeurt er als de aanbieder iets verandert?"

Er wordt gelijktijdig aan drie zaken gestuurd die in verschillende richtingen trekken. De eerste is de claim: een zin op een productpagina moet een klant overleven die de functie tijdens een vergadering uitprobeert, en de overleefde zin is doorgaans Smaller dan de zin die een marketingteam wil. De tweede is de afhankelijkheid: de partij die het model beheert, kan een derde partij zijn waarmee het merk geen contract heeft. Dat is een inkooprisico en geen technisch risico. De derde is de drift: een assistent die tussen twee zendingen verandert terwijl de klant hem gebruikt, is een ondersteuningsprobleem dat zich voordoet zonder productfout en dus zonder retourreden.

De koper is doorgaans ook de persoon die maanden later een klacht over de functie moet beantwoorden, in een markt waar de klacht in een taal wordt ingediend die het ondersteuningsteam niet spreekt. Daarom moet het meetdocument zo worden opgesteld dat het een personeelswissel overleeft: een drempel, een noemer, een buildnummer en een datum, in plaats van een beschrijving van hoe het aanvoelde.

Door AI gegenereerde foto die laat zien hoe u AI-functies van slimme brillen en de kwaliteit van assistenten kunt meten — afbeelding 1 van 3

Wat het kost om een AI-functie te behouden en wie deze werkelijk beheert

De kosten van een AI-functie zijn geen hardwarekosten. Het is een doorlopende afhankelijkheid, en de onderdelen ervan die op een inkooporder verschijnen, vormen het kleinste deel.

Inferentie vindt either op het apparaat of daarbuiten plaats, en beide hebben volledig verschillende commerciële eigenschappen. Inferentie op het apparaat wordt begrensd door de hardware die u hebt gekocht en is daarom standaard stabiel en privé, en is beperkt tot wat de chip kan doen. Inferentie buiten het apparaat wordt begrensd door niets wat u bezit, en maakt een werkelijk capabele assistent mogelijk — en brengt een netwerkafhankelijkheid, een latentie, een regionale vraag en een partij met zich mee die u niet beheert.

Het AI-programma per fase, van de functies op de pagina tot de build die wordt verzonden

De beheerder van de runtime is het belangrijkste commerciële feit op het meetdocument. Een leverancier die zegt dat het model door een partner wordt geleverd, heeft u verteld dat een derde partij het gedrag van uw product in uw markt kan wijzigen zonder dat een inkooporder wordt aangepast. Dat is een ander soort risico dan de vervanging van een component, omdat vervanging van een component in een wijzigingsbeheersclausel kan worden opgenomen en een modelwijziging niet.

Het updatepad is een inkoopvraag, geen technische vraag. Een functie die via updates over-the-air verandert, verandert zonder nieuwe bestelling, zonder nieuw monster en zonder enige meldingsverplichting, tenzij die is vastgelegd. Voor een merk dat een marketingbudget aan deze functionaliteit heeft besteed, is een niet-aangekondigde wijziging geen technische gebeurtenis, maar een commerciële. De mate waarin een leverancier een buildnummer en een updatemechanisme kan noemen, moet daarom als eerste worden vastgesteld, want een leverancier die de build niet kan noemen, kan u ook niet vertellen wat u hebt gemeten.

Het datapad is een nalevingsvraag binnen een vast kader. Vanaf 1 augustus 2025 maken de cyberbeveiligingseisen van de Radio Equipment Directive verplicht deel uit van de CE-markering. Ze worden beschreven in de EN 18031-serie van geharmoniseerde normen en bestrijken veilige communicatie, encryptie, veilige opslag, toestemming van de gebruiker en het proces voor het afhandelen van vastgestelde kwetsbaarheden. Een spraakfunctie valt volledig binnen die reikwijdte, en het bewijs dat een merk uiteindelijk zal worden gevraagd, betreft niet de nauwkeurigheid van de functie, maar het datapad erachter.

Niets hiervan kost extra geld op de factuur, en juist daarom wordt het overgeslagen. De onderhandelingsruimte zit niet in de prijs, maar in de structuur van de verplichtingen: de meldingsplicht bij een firmwarewijziging, de definitie van de verslechterde toestand offline, het recht om een wijziging te eisen, de periode waarin de gemeten build gelijk is aan de geleverde build en het aantal eenheden in de evaluatiebatch.

Door AI gegenereerde foto ter illustratie van het meten van AI-functies van slimme brillen en de kwaliteit van de assistent — afbeelding 2 van 3

De acht metingen, hun drempelwaarden en de noemersregel

Vraag vóór de monsters worden getest om de onderstaande rijen schriftelijk. De rechterkolom maakt onderscheid tussen een leverancier die de geleverde build heeft gemeten en een leverancier die een functionaliteit beschrijft.

Ontwaakpercentage, met de testomstandigheden. Een percentage over een vastgesteld aantal pogingen, in een vastgestelde omgeving. "Zeer responsief" is een vage reactie, en het is de reactie die het vaakst wordt gegeven.

Percentage onterechte activering. Een percentage over een vastgesteld aantal pogingen, in een vastgestelde omgeving. Dit is de meting die bepaalt of de functie openbaar bruikbaar is, en het is degene die vrijwel nooit wordt gerapporteerd. Een apparaat dat een gesprek onderbreekt, is een product dat wordt afgezet, ongeacht hoe goed het werkt wanneer het daadwerkelijk wordt geactiveerd.

Succespercentage van opdrachten, op basis van een vaste lijst. Een percentage ten opzichte van een lijst die de koper aanlevert. "Begrijpt natuurlijke spraak" is een vage reactie, en de fraselijst moet de lijst zijn die uw klant gebruikt, niet degene die de demo gebruikt.

Latentie, met de netwerkstatus. Een waarde met een vaste drempel en de genoemde netwerkconditie. "Zeer snel" is een vage reactie. Latentie is het verschil tussen een functie die responsief aanvoelt en een functie die defect aanvoelt, en ze varieert met de netwerkomstandigheden. Daarom moet de netwerkstatus deel uitmaken van de meting.

Erkenningsnauwkeurigheid per omstandigheid. Een waarde voor een stille ruimte en voor de werkelijke omgeving. "Hoge nauwkeurigheid" is een vage reactie. Accenten, achtergrondgeluid, een ongebruikelijke woordenschat en een zachte stem veranderen allemaal de uitkomst, en alleen de omstandigheid die uw klant heeft, is van belang.

Vertaalnauwkeurigheid, beoordeeld door een moedertaalspreker. Een beoordeling van de zinnen die de klant nodig heeft. "Nauwkeurige vertaling" is een vage reactie, en een vertaling die begroetingen verwerkt maar faalt bij een productbeschrijving, faalt voor een koper.

Gedrag offline. Een schriftelijke verklaring van wat er gebeurt wanneer de netwerkverbinding wordt verbroken. Zwijgen over dit onderwerp is de reactie die het vaakst wordt gegeven, en zo wordt het meest voorkomende geschil in deze categorie beslist: of het product doet wat de documentatie zegt wanneer er geen netwerkverbinding is.

Datapad en toestemmingsmechanisme. Een beschrijving van wat het apparaat verlaat en hoe toestemming wordt behandeld. "Gegevens worden veilig verwerkt" is een vage reactie en betekent niets.

Firmwarebuild en updatemechanisme. De build-ID en de manier waarop een geleverd exemplaar wordt bijgewerkt. "Updates via de app" is een vage reactie.

Modelaanduiding. Een gepubliceerde aanduiding voor de exacte configuratie. Alleen een serienaam is een vage reactie, en betekent dat twee configuraties kunnen worden vergeleken zonder dat een van beide identificeerbaar is.

Een percentage zonder aantal pogingen is geen percentage. Elk percentage in deze lijst vereist een noemer, een lijst met pogingen en een omgeving. Een "98% ontwaakpercentage", gemeten over tien pogingen in een stille kantoorruimte, is een slechter resultaat dan een "85% ontwaakpercentage", gemeten over driehonderd pogingen op straat, en slechts één van beide voorspelt iets. Dit is de meest voorkomende fout in deze categorie en is zonder noemer onzichtbaar.

Het percentage onjuiste activeringen is de gebruikbaarheidsdrempel, geen technische voetnoot. De drempel die een inkoper daarvoor hanteert, is een productbeslissing over waar het product kan worden verkocht — een vergaderruimte en een straat zijn verschillende markten voor hetzelfde apparaat.

Het buildnummer is de kolom waardoor de resultaten de moeite waard zijn om te bewaren. Een AI-functie verandert tussen builds, en een meting zonder buildnummer kan niet worden gereproduceerd of verdedigd. Als een leverancier de build niet kan noemen, kan deze u niet vertellen wat u hebt gemeten.

Één waarschuwing geldt voor elke rij: deze cijfers zijn niet rechtstreeks vergelijkbaar tussen leveranciers. Twee implementaties gebruiken verschillende fraselijsten, verschillende netwerken, verschillende pogingsaantallen en verschillende definities van een geslaagde activering. Beslis vóór u een tabel maakt welke kolom uw eigen meting is en welke een cijfer van de leverancier, en vermeng de twee nooit in dezelfde rij zonder toelichting.

Door AI gegenereerde foto ter illustratie van het meten van AI-functies van slimme brillen en assistentkwaliteit — afbeelding 3 van 3

De sheet twee keer uitvoeren, op meerdere exemplaren, in twee omgevingen

Het meetsheet, van opstelling tot verdedigbaar resultaat

1. Stel het meetsheet op vóór de eerste test. Vijf kolommen en niet meer: de test, de omstandigheid, het aantal pogingen, het resultaat en de datum met het firmware-buildnummer. Een sheet met meer kolommen wordt niet ingevuld, en een sheet die niet wordt ingevuld levert een demonstratie op.

2. Test twee of drie exemplaren van dezelfde build als de functie bepalend is voor de werking. Een functie die bij één exemplaar werkt en bij een ander uitvalt, heeft een opbrengstprobleem, en een opbrengstprobleem blijft onzichtbaar in een test met één exemplaar.

3. Test een exemplaar direct uit de doos met een nieuwe telefoon, niet het demonstratie-exemplaar. Bij een demonstratie-exemplaar zijn de accounts gekoppeld, de taal ingesteld, de regio geconfigureerd en is het netwerk bekend als functionerend. Het exemplaar direct uit de doos is het product dat de klant ontvangt, en het verschil tussen beide is de meest voorkomende oorzaak van een functie die in een vergaderruimte werkt, maar niet in de keuken van een klant.

4. Test in twee omgevingen en rapporteer beide. Elk percentage heeft een waarde in een stille ruimte en een waarde op een straat, en alleen de tweede voorspelt de klantbeleving. Het rapporteren van slechts één van beide zonder de andere is een keuze voor welke klant u wilt bereiken.

5. Gebruik de frases die een klant zou gebruiken, niet de frases die u gebruikt. Als u het script tussen de uitvoeringen wijzigt, zijn de twee rondes niet vergelijkbaar, en dit is de meest voorkomende vorm van de fout. Bewaar de fraselijst bij de resultaten.

6. Voer het volledige sheet twee keer uit, op verschillende dagen. Beschouw een groot verschil tussen de twee uitvoeringen als een bevinding, niet als ruis. Een functie waarvan het slaagpercentage tussen uitvoeringen met twintig procentpunt schommelt, is niet stabiel, en een product dat daarop is gebouwd, biedt klanten een loterijervaring.

7. Controleer het datapad in plaats van het te meten. Observeer het netwerkgedrag, vergelijk dit met wat de documentatie beweert en leg de vergelijking vast. Dit hoort in het due-diligence-dossier, niet in het laboratorium, omdat het een vergelijking met een document is en niet met een getal.

8. Herhaal het sheet op de build die daadwerkelijk wordt uitgebracht. De commercieel relevante meting is de meting op de build die de klant in handen heeft, en als die build pas na uw monster arriveert, moet het sheet opnieuw worden uitgevoerd.

Specificatierijen die zijn gepubliceerd voor het camerabereik en het audiobereik

Vier manieren waarop een AI-functieprogramma mislukt, en de voorwaarden die veranderen

De functie wordt in een productvermelding aangekondigd en valt uit tijdens een vergadering van een klant. Grondoorzaak: het percentage onjuiste activeringen is nooit gemeten, alleen het activeringspercentage bij een activeringswoord. Preventie: meet beide en stel de drempel voor onjuiste activering vast voordat de productpagina wordt geschreven.

De klant meldt dat de assistent na een update niet meer werkt. Grondoorzaak: de meting was gekoppeld aan een build, en de build is gewijzigd zonder opnieuw te testen. Preventie: leg het buildnummer bij elk resultaat vast en voer het sheet opnieuw uit op de build die daadwerkelijk wordt uitgebracht.

Er wordt een claim over vertaalkwaliteit gedaan, maar de beoordelaar in de doeltaal keurt deze af. Grondoorzaak: de nauwkeurigheid is beoordeeld door iemand die geen moedertaalspreker van de doeltaal is, aan de hand van begroetingen in plaats van werkzame frases. Preventie: laat een moedertaalspreker van de doeltaal de frases scoren die de klant nodig heeft en leg de fraselijst vast.

Het product werkt in het demonstratieland en valt uit op de lanceringsmarkt. Grondoorzaak: de meting is uitgevoerd in één regio op één netwerk. Preventie: voer het sheet uit op de lanceringsmarkt, op de netwerken die de klant zal gebruiken, en rapporteer beide sets resultaten.

Een AI-functieprogramma besteedt relatief meer aan evaluatie-exemplaren dan een hardwareprogramma, omdat de functie het product is en het aantal monsters de betrouwbaarheidsinterval vormt. De voorwaarden waarvoor het de moeite waard is om tijd te reserveren:

  • De minimale bestelhoeveelheid en het aantal evaluatie-eenheden, dat hier groter moet zijn dan bij een hardwarecategorie, omdat het aantal monsters de betrouwbaarheidsinterval bepaalt.
  • Het ontwerp van verpakking en insert, met inbegrip van marktlabels, de taal van het documentatiepakket en de formulering van toestemming, dat in deze categorie een nalevingsartefact is en geen insert.
  • De levering opsplitsen rond een goedkeuringsmoment voor het monster, dat doorgaans gemakkelijker wordt verleend dan een prijsconcessie.
  • De betaalgrenzen: een aanbetaling bij ondertekening, een saldo dat verschuldigd is wanneer de inspectie is goedgekeurd, en een retentie op het documentenpakket.
  • De garantieperiode met een vermelde reactietijd en het retourbeleid, dat rekening moet houden met een functie die zonder aankondiging kan wijzigen.

Twee kosten binnen een functieprogramma worden opgegeven maar niet onderhandeld. De certificeringskosten en de doorlooptijd voor certificering volgen het proces en de testorganisatie, niet uw bestelgrootte, en voor een verbonden product zijn ze inclusief de cyberveiligheidseisen van de Radio Equipment Directive. Gereedschapskosten worden vaak over de eerste bestelling afgeschreven. Daaruit volgen twee punten: het volume waaraan de kosten worden toegerekend en de locatie van het gereedschap als het programma wordt beëindigd. Onder beide zaken ligt het updatepad: een leverancier die geen buildnummer en updatemechanisme kan noemen, laat weten dat de functie zonder contractuele aankondiging aan u kan wijzigen, en dat vormt een groter commercieel risico dan de eenheidsprijs.

Het bestand dat u vóór de aanbetaling moet aanvragen is: de firmwarebuildidentifier en het updatemechanisme; de certificaatnummers met de uitgevende instantie en geldigheidsdata; de conformiteitsverklaring voor de exacte modelaanduiding; een schriftelijke beschrijving van het datapad en het toestemmingsmechanisme; en de modelaanduiding zoals vermeld op de offerte.

De contractbepalingen die een claim voor een AI-functie beschermen zijn: de modelaanduiding als afzonderlijk post, met de bijbehorende certificaatnummers; de acceptatiecriteria voor het monster, met verwijzing naar het meetformulier en de vaste drempelwaarden; een bepaling die aankondiging vereist vóór een firmwarewijziging die het gedrag van de assistent beïnvloedt, zodat de koper opnieuw kan testen, en een vastgestelde periode waarin de gemeten build gelijk is aan de geleverde build; en een bepaling over wie de kosten draagt wanneer het monster niet aan de acceptatiecriteria voldoet.

Een assistent voor veldwerk, gemeten, en de grens van wat we kunnen publiceren

Beschouw een hypothetisch scenario in plaats van een echt klantenproject. Neem aan dat een inkoper aan merkzijde een assistent toevoegt aan een bestaande cameraproductlijn voor een kanaal voor veldservice, waarbij de eindgebruiker in een lawaaiige omgeving werkt, handschoenen kan dragen en het product samen met een partner gebruikt die eveneens praat.

Stap één: de eis. De assistent is gewenst voor het vastleggen van spraaknotities tijdens een rondgang door de locatie, op een lawaaiige plek, met een partner die in de buurt praat. Die ene zin bepaalt de drempelwaarden: het aantal onterechte activeringen moet laag genoeg zijn dat het gesprek van de partner het apparaat niet activeert, de activeringsfrequentie moet worden gemeten met de fraselijst die een medewerker op locatie daadwerkelijk zou gebruiken, en de herkenningsnauwkeurigheid moet worden gerapporteerd onder lawaaiige omstandigheden en niet in een stille omgeving.

Stap twee: het formulier. De inkoper stelt het formulier op met vijf kolommen, bepaalt de drempelwaarden vóórdat de monsters binnenkomen en vraagt de leverancier in hetzelfde bericht om het buildnummer en het updatemechanisme. De leverancier retourneert een activeringsfrequentie zonder noemer en zonder build, en een beschrijving van het onterechte activeringsgedrag als "zeer responsief". Beide antwoorden komen als bevindingen in het bestand terecht, niet als resultaten.

Stap drie: de eenheden. Drie eenheden van dezelfde build worden getest: een exemplaar rechtstreeks uit de verpakking met een nieuwe telefoon, in een stille ruimte en op straat. De activeringsfrequentie is op straat aanzienlijk lager dan het opgegeven cijfer van de leverancier, dat in een stille ruimte was gemeten, en een van de drie eenheden produceert een onterechte activering die de andere twee niet hebben. Het verschil tussen de eenheden is de belangrijkste bevinding, omdat het een opbrengstprobleem is en geen productprobleem, en daardoor verandert de vraag van "is dit goed" in "is dit consistent genoeg om op een productpagina te plaatsen".

Stap vier: de herhaling. Het volledige formulier wordt twee dagen later opnieuw uitgevoerd, met dezelfde eenheden, en de activeringsfrequentie verschuift aanzienlijk. Dat is de bevinding waarmee de discussie over het publiceren van een activeringsfrequentie eindigt, en ze heroriënteert de inkoper naar een claim die het product daadwerkelijk kan waarmaken: de assistent bestaat, reageert op de fraselijst en is gemeten op een genoemde build.

Stap vijf: de commerciële structuur. De koper neemt de meldingsplicht voor firmwarewijzigingen die de assistent beïnvloeden op in de bestelbon, definieert de verzwakte toestand offline als geaccepteerd gedrag in plaats van een defect, koppelt de tekst aan de build die wordt geleverd en splitst de eerste levering op in een eerste levering en een goedkeuringsmoment voor het monster. Zo ontstaat een functie die wordt geclaimd op het niveau waarop het bewijs dit ondersteunt, in plaats van op het niveau dat een demonstratie suggereert maar in het openbaar faalt.

Onze eigen positie is dat we de AI-capabilities publiceren die onze documentatie ondersteunt en de rest als openstaand markeren. We laten een koper liever zelf deze metingen uitvoeren dan dat hij een beschrijving ervan gelooft. Onze catalogus noemt een AI-stemassistent als een van de sleuteltechnologieën voor de AI-camerabrillefamilie, en onze onafhankelijke site beschrijft AI-vertaling op de K01, een audiomodel. We behandelen dit daarom als een waarneming uit ons eigen marketingmateriaal en niet als een specificatie. We publiceren geen activeringspercentage, geen percentage onterechte activeringen, geen commandosuccespercentage, geen latencycijfer, geen herkenningsnauwkeurigheid, geen vertaalnauwkeurigheid en geen offlinegedrag voor enig model, en we schatten er ook geen van. We zullen evenmin een getal in een productvermelding plaatsen dat is gemeten op een demonstratie-exemplaar, omdat een getal dat niet kan worden gereproduceerd een claim is die niet kan worden verdedigd wanneer de klant voor je staat.

Wat we wel doen, is exemplaren leveren met een bekende firmwarebuild en samen met jou het meetprotocol doorlopen in plaats van een demonstratie te sturen. Het protocol staat beschreven in AI-functies testen vóór bestellen, de leveranciersvragen in verificatie van AI-leveranciers, de claimfouten die je moet vermijden in veelvoorkomende AI-fouten en de achtergrondinformatie in AI-functies.

Wat je nu moet doen. Noteer de functies die je wilt publiceren, de omgeving waarin ze worden gebruikt en de zinnen die de klant daadwerkelijk zal uitspreken. Leg de drempelwaarden vast voordat de monsters arriveren. Voer het meetprotocol drie keer uit op drie exemplaren, in de fabrieksconfiguratie, in twee omgevingen en tweemaal, en noteer bij elk resultaat het buildnummer. Beslis vervolgens met de cijfers voor je neer welke functie de pagina waard is en welke niet.


Gerelateerd leesmateriaal

Vertel ons welke functies je wilt publiceren en in welke omgeving, dan schrijven we samen met jou het meetprotocol.

Chatten op WhatsApp
Uw ervaring op deze site wordt verbeterd door cookies toe te staan.