OEM/ODM-fabrikant van slimme brilmonturen · Shenzhen, China +86 19835872450 sales@cynrin.com
Technologie voor slimme brillen

AI-functies van slimme brillen: kwaliteitscontrole in de praktijk

De kwaliteitscontrole van AI-functies is op een bijzondere manier uniek en verdient een toelichting vóór de details, omdat die verklaart waarom de discipline in deze categorie…

Door het ingenieurs- en sourcingteam van CYNRIN/ Mar 28, 2023/ 14 min. leestijd
AI-functies van slimme brillen: kwaliteitscontrole in de praktijk

Kwaliteitscontrole van AI-functies is op een bijzondere manier uniek en dat is de moeite waard om vóór de specifieke onderwerpen te benoemen, omdat zo duidelijk wordt waarom deze discipline in deze categorie anders is dan elke andere kwaliteitscontrolediscipline binnen ons assortiment.

Elke andere kwaliteitscontrolediscipline bij een hardwareproduct controleert iets dat fysiek aanwezig is. De cel heeft wel lading of niet. De camera stelt wel scherp of niet. Een AI-functie werkt anders: het is een gedrag dat afhankelijk is van een model, een netwerk, een dienst, een taalcombinatie, een invoer en een moment. Het apparaat kan correct zijn samengesteld en de functie kan toch defect zijn. De storing is in de fabriek vaak onzichtbaar, omdat het netwerk, de account en de taalconfiguratie van de fabriek niet die van de klant zijn. Kwaliteitscontrole van AI-functies van slimme brillen is daarom een kwestie van het gedrag testen op de plek waar het wordt gebruikt, in plaats van op de plek waar het wordt gemaakt.

AI-functies van slimme brillen: vier testlagen en het acceptatiescript

AI-functies van slimme brillen: waarom tests op de werkbank falen

De inkoper die dit regime moet ontwerpen

De lezer is een kwaliteitsengineer of sourcingmanager bij een merk die moet vastleggen waaraan de leverancier moet voldoen, en die heeft ontdekt dat het gebruikelijke regime voor inkomende inspectie hier niet van toepassing is. Dat regime geldt voor hardware. Het kan niet gelden voor gedrag dat afhankelijk is van een dienst.

Dit artikel lost dat praktische probleem op. De inkoper kan om drie dingen vragen: een fabriekstestregime dat de fabriek uitvoert, een acceptatieregiem voor de inkoper dat de inkoper uitvoert en een gezamenlijk regime dat beide partijen uitvoeren. De meeste verwarring in deze categorie ontstaat doordat niet vooraf is bepaald tot welke van de drie een bepaalde controle behoort. Halverwege een productieronde blijkt dan dat een controle waarvoor niemand verantwoordelijk was, werd uitgevoerd door iemand die geen toegang had tot de account of de netwerkstatus die daarvoor nodig was.

Drie redenen waarom een fabriekstest onvoldoende is, en wat elke reden oplevert

1. De account en het abonnement. Een functie waarvoor een account, een aanmelding of een abonnement nodig is, kan in de fabriek volledig goed werken en voor een klant die niet is aangemeld, waarvan de proefperiode is verlopen of die het verkeerde abonnement heeft, volledig onbruikbaar zijn. Het symptoom is een klant die zegt dat de functie niet werkt, terwijl het bewijs van de fabriek dat deze wel werkt geen waarde heeft. De controles die dit aan het licht brengen, zijn een test met een nieuw account en een test met een verlopen abonnement. Voor beide zijn inloggegevens nodig die de fabriek niet heeft.

2. Het netwerk en de regio. Een functie die in een clouddienst draait, is afhankelijk van de beschikbaarheid van die dienst, de regio van de klant en het lokale netwerk. Een fabriekstest in één netwerk in één land bewijst niets over een klant in een ander land. Het symptoom is een concentratie van retourzendingen in één markt, wat op een marktprobleem lijkt, maar meestal een probleem met de netwerk- of regioconfiguratie is.

3. De taal en de invoer. Een vertaal- of spraakfunctie die werkt in de configuratie van de fabriek, kan de taal, het accent, de geluidsomgeving of een zinssconstructie van de klant buiten de testset niet goed verwerken. Dit is geen defect; het is een grens van het toepassingsgebied en die moet worden vastgelegd. De controle die dit aan het licht brengt, is de eigen frasenset van de inkoper, uitgevoerd in de eigen omgeving van de inkoper.

Elk van de drie levert een andere storing op die een fabriekstest niet kan zien. Dat is het volledige argument voor de onderstaande vierlaagse structuur.

Door AI gegenereerde foto ter illustratie van AI-functies van slimme brillen: kwaliteitscontrole in de praktijk — afbeelding 1 van 3

De vier testlagen en wat elke laag kan aantonen

Laag één: de hardware

Legt de microfoon geluid vast, draait de processor, functioneert de netwerkradio en gedraagt het energiebeheer zich correct? Dit is een fabriekstest en dit is de laag die de meeste kwaliteitscontrolesystemen al dekken. Het is de moeite waard om deze goed uit te voeren, omdat een storing op deze laag de enige storing in de hele stack is die met een vervangend apparaat kan worden verholpen.

Laag twee: de dienst

Reageert het eindpunt, verleent de account toegang, staat de abonnementsstatus de aanroep toe en wordt de regio ondersteund? Voor deze laag zijn actieve inloggegevens nodig in een configuratie die vergelijkbaar is met die van de klant. Deze test kan niet als fabriekstest met de eigen account van de fabriek worden uitgevoerd, omdat de account van de fabriek recht heeft op de dienst en die van de klant niet — en precies dat verschil ervaart de klant.

Laag drie: het gedrag

De opdrachtenset, de latentie, de nauwkeurigheid, de afhandeling van verzoeken buiten het toepassingsgebied en de prestaties bij ruis. Deze laag moet aan de hand van een script worden getest in plaats van gedemonstreerd, omdat een demonstratie één gunstig geval is en gedrag een verdeling. Het script is van de inkoper, om de reden die later in dit artikel wordt gegeven.

Laag vier: de ervaring

Koppelen, de eerste installatie, de afhandeling van een mislukte aanvraag door de applicatie, en wat de klant ziet wanneer de verbinding wegvalt. Dit is de laag die returns veroorzaakt, en het is de laag die niemand test, omdat daarvoor iemand nodig is die het product nog nooit heeft gezien.

Het acceptatiescript en wie eigenaar is van elke regel

Wat elke laag wel en niet kan aantonen

Het voordeel van het scheiden van de lagen is dat elke laag een ander soort bewijs oplevert en een andere eigenaar heeft.

Laag één levert een testrapport op basis van een specificatie, en dat kan de fabriek produceren. Laag twee levert een endpoint- en accountlogboek, en daarvoor is eeninkoopaccount nodig. Laag drie levert een resultatenblad per exemplaar, en het script moet van de inkoper zijn. Laag vier levert observatenotities over een sessie, en de gebruiker moet van de inkoper zijn.

Dit geeft een helder antwoord op de vraag die inkopers in deze categorie het vaakst stellen: hoeveel van het regime kan aan de fabriek worden gedelegeerd? Het eerlijke antwoord is de onderste laag, plus de onderdelen van de servicelaag die kunnen worden getest met een testaccount dat het merk aanbiedt en waarvoor de fabriek is geautoriseerd.

Het acceptatiescript en wie het moet beheren

De acht onderdelen

  1. Een commandseth van twintig, geschreven door de inkoper, niet geleverd door de leverancier. Elk item is iets wat de functie in uw toepassing moet kunnen, en het script wordt bij elk exemplaar uitgevoerd, niet één keer.
  2. Gemeten latentie. De tijd vanaf het einde van de spraak tot de start van het antwoord, in de omgeving waarin het wordt gebruikt. Een functie die in een stille kantoor direct werkt, werkt niet hetzelfde op straat.
  3. Het resultaat van de netwerkafhankelijkheid. Met de verbinding uitgeschakeld: wat blijft werken? Deze ene test geeft meer inzicht in de architectuur dan enige specificatie.
  4. Foutgedrag, in vier gevallen. Onduidelijke invoer, een verzoek dat buiten het bereik valt, een verzoek in een tweede taal en een verzoek in een lawaaiige omgeving. Wat de gebruiker in elk geval ziet, is het verschil tussen een functie en een foutgenerator.
  5. Account- en abonnementsstatus. Minstens twee keer getest: één keer met een nieuw account en één keer met een account waarvan het abonnement is vervallen.
  6. Regio- en netwerkverschillen. Minstens één test vanaf een ander netwerk en, als het product in meerdere markten wordt verkocht, één test op een netwerk in elk van die markten.
  7. Het upgradepad. Van de meegeleverde firmwareversie naar de huidige versie, en wat een klant met de oudere versie ervaart. Dit is de test die wordt overgeslagen en waar men later spijt van heeft.
  8. De positie ten aanzien van gegevens. Waar de audio en de resulterende gegevens worden verwerkt en opgeslagen, en wat een klant in de applicatie ziet. Dit is een juridische vraag die kwaliteitscontrole niet kan beantwoorden, en die moet zijn beantwoord voordat de test betekenisvol is.

De volgorde van de kwaliteitscontrolepoorten

Waarom de inkoper het script moet schrijven

Dit is het enige bespannen punt in het hele regime, en het verdient een goede onderbouwing in plaats van een assertie.

De leverancier weet welke routes werken. Dat is echte expertise en daarom moet de leverancier worden gevraagd advies te geven over het script. Maar de inkoper is de enige partij die weet waarom de klant werkelijk zal vragen, en de twintig commands moeten de twintig dingen zijn die de klant werkelijk zal doen. Een script dat de leverancier schrijft, meet het product van de leverancier tegen de aannames van de leverancier, en slaagt dus altijd.

De manier om beide te krijgen, is dat de inkoper eerst de twintig commands schrijft en de leverancier daarop reageert voordat de test wordt uitgevoerd. De inkoper blijft eigenaar van de lijst; de leverancier krijgt het recht om te zeggen dat drie commands in deze configuratie niet haalbaar zijn. Dat is op zichzelf waardevolle informatie, omdat het een vroege waarschuwing is over wat de productvermelding mag claimen.

Het script een acceptatiestandaard maken

Een script dat in een spreadsheet staat en niet in de bestelbon, is een test en geen standaard. De drempel moet vooraf worden vastgelegd, en het moet een getal zijn waarvoor de inkoper veel wil laten mislukken. De realistische drempels zijn eenvoudig: het aantal van de twintig commands dat slaagt in de gespecificeerde omgeving, de offlinefuncties die behouden blijven, de maximale latentie en de vier foutgevallen die het afgesproken gedrag vertonen.

De gevolgen van mislukken moeten eveneens worden afgesproken. In deze categorie is de gebruikelijke afspraak dat een mislukte proefserie niet wordt verzonden en dat de leverancier een tweede beoordelingsronde financiert. Die tweede bepaling is de moeite waard om te onderhandelen, omdat een AI-functie het onderdeel van het product is dat tijdens een eerste acceptatietest het meest waarschijnlijk mislukt. Een leverancier die de tweede ronde niet financiert, laat de inkoper indirect weten hoeveel vertrouwen hij in de eerste ronde stelt.

Door AI gegenereerde foto ter illustratie van AI-functies van brillen: kwaliteitscontrole in de praktijk — afbeelding 2 van 3

Waar de inkomende inspectie eindigt en gedragstests beginnen

De grens en waarom die commercieel van belang is

De inkomende inspectie is een poort per partij tegen een specificatie. Deze werkt wanneer de specificatie iets beschrijft dat fysiek aanwezig is, maar werkt niet voor gedrag. De grens is daarom geen fase in het proces. De grens wordt gevormd door de vraag of de controle kan worden uitgevoerd door iemand die een exemplaar naast een schriftelijke specificatie houdt, zonder netwerk, account of service.

Alles links van die grens valt onder de inkomende inspectie en hoort thuis in de leveringsovereenkomst als een vrijgavecriterium. Alles rechts ervan valt onder acceptatietests en hoort thuis in het programmaplan, met de toegezegde middelen van de inkoper en het testscript van de inkoper als bijlage.

Testlaag, vereiste omgeving en het artefact dat deze oplevert

Wat het vrijgeven van een partij daadwerkelijk vereist

Het vrijgeven van een partij voor een cameramodel uit ons assortiment is eenvoudig: het exemplaar voldoet aan de gepubliceerde specificatie voor het model — resolutieniveau, celcapaciteit, laadgedrag, bedrijfstijdbereik, laadmethode — en het certificatenregister per model bij de certificeringschecklist en de vervoersdocumentatie voor batterijen bij batterijvervoer zijn voor die configuratie beschikbaar.

Voor een partij met een AI-functie moet bij dezelfde vrijgave een artefact worden toegevoegd dat geen precedent heeft in hardware: het resultatenblad van het acceptatiescript, gekoppeld aan een specifieke firmwarebuild en een specifieke accountconfiguratie. Zonder dat artefact wordt de partij vrijgegeven op basis van de hardwareprestaties en blijft de status van de functie onbekend. Dat is precies de situatie die dit hele artikel moet voorkomen.

Er is nog een tweede praktisch punt over de grens. De scripts zijn goedkoop in exemplaren, maar duur qua coördinatie — twintig opdrachten met twee exemplaren van de te verzenden build, inclusief de test zonder netwerk, in de omgeving van de inkoper. De coördinatiekosten zijn de reden om de acceptatietests vroeg in te plannen, op pilotniveau in plaats van na de productierun, en ze zijn ook de reden dat een inkoper de testexemplaren moet reserveren in plaats van te krijgen wat er overblijft.

Wie de acceptatietests betaalt en wat er moet worden onderhandeld

De kostensplitsing in dit regime is ongebruikelijk, en inkopers die hardwareprogramma's hebben uitgevoerd, ramen deze doorgaans verkeerd. De hardwarelaag is al opgenomen in de eenheidsprijs. De servicelaag kost het merk een testaccount, een kleine hoeveelheid dataverkeer en de tijd van degene die het account beheert. De gedragslaag kost het merk de twintig opdrachten, de omgeving en de mensen die het observatieblad opstellen. De ervaringslaag kost het merk een middag van een vreemde.

Met andere woorden: het grootste deel van de acceptatiekosten komt voor rekening van de inkoper, niet van de fabriek, en het komt ten laste van de mensen van de inkoper in plaats van zijn budget. Daarom zijn er drie commerciële punten die vóór de bestelling moeten worden afgesproken in plaats van tijdens de eerste campagne.

Het eerste punt is of de leverancier een tweede beoordelingsronde financiert als de eerste mislukt. Een AI-functie is het onderdeel van het product dat tijdens een eerste acceptatietest het meest waarschijnlijk mislukt. Een leverancier die de tweede ronde niet financiert, laat de inkoper indirect weten hoeveel vertrouwen hij in de eerste ronde stelt.

Het tweede punt is of de leverancier het script überhaupt kan uitvoeren, wat afhangt van de lagen die hij is geautoriseerd om uit te voeren. Een leverancier met de accountconfiguratie kan de gedragslaag uitvoeren; een leverancier zonder die configuratie kan dat niet. Het hele regime hangt dan af van de inkoper die naar de fabriek reist of van de fabriek die naar de omgeving van de inkoper reist.

Het derde punt is het artefactformaat. Als de fabrieksmedewerkers na elke test het resultatenblad opnieuw in een opgemaakt formaat van de inkoper moeten overtypen, is de administratie binnen een kwartaal niet langer betrouwbaar. Een resultatenblad in een vastgestelde indeling, met de build-ID erop, maakt het bewijs bruikbaar voor een volledige productierun in plaats van voor één campagne.

Door AI gegenereerde foto ter illustratie van AI-functies van brillen: kwaliteitscontrole in de praktijk — afbeelding 3 van 3

Vier manieren waarop een AI-kwaliteitscontroleregime verkeerd vertrouwen kan scheppen

De demonstratieroute testen. Een gescriptste demonstratie volgt de gewenste route, in de configuratie van de fabriek, met het account van de fabriek. Elk daarvan is een gecontroleerde variabele, terwijl de interessante fouten juist bij de ongecontroleerde variabelen optreden. Dit is de meest voorkomende fout en tegelijk de minst ernstige, omdat deze doorgaans pas in de praktijk aan het licht komt en niet tijdens de audit.

Een cloudafhankelijke functie als hardwarefunctie behandelen. Zodra een functie van een dienst afhankelijk is, ontstaat er een afhankelijkheid die de fabriek niet beheert, en moet het testregime daarop zijn afgestemd. Dit is de meest voorkomende structurele fout en de fout die een storing van een dienst omzet in een garantieclaim.

De firmwareversie die daadwerkelijk is geleverd niet testen. De versie op het monster en de versie op het productie-exemplaar kunnen verschillen, en juist dat verschil zorgt voor verrassingen. De controle is goedkoop — leg de buildidentifier op elk resultaatblad vast — en het weglaten ervan is duur, omdat een gedragswijziging tussen builds bij de klant niet te onderscheiden is van een defect.

De leverancier de acceptatiecriteria laten opstellen. Dit is de fout die leidt tot veelgebeurtenispublicaties zonder gedragsbewijs, omdat de criteria zijn opgesteld door de partij die wordt gemeten.

Wie een defect bezit zodra het de fabriek verlaat

Het escalatieprobleem dat hieronder ligt

Alle vier deze fouten hebben één gevolg gemeen, en dat is het gevolg dat commercieel van belang is. Een defect waarvan de eigenaar onduidelijk is, kan niet worden gerouteerd. Een storing van een dienst, een verlopen abonnement en een verkeerd ingestelde taal zijn voor de klant allemaal hetzelfde — de functie werkt niet — en slechts twee daarvan worden opgelost door een exemplaar te vervangen. De eigendomsmatrix is dus geen technisch diagram. Het is de regel die bepaalt of het garantiebudget wordt besteed aan exemplaren die nooit defect waren, en daarom moet de triage vóór de vervanging plaatsvinden en niet erna.

De productiepositie die we kunnen handhaven en die we niet kunnen handhaven

Wat onze gepubliceerde positie omvat

De grens die we handhaven: we publiceren de AI-functies van brillen zoals de catalogus ze beschrijft, en we zullen er geen modelnaam, taalaantal, latency, offlineclaim of abonnementspositie aan koppelen, omdat geen daarvan voor de modellen in deze reeks aan ons is gepubliceerd. We zullen een marketingformule niet herhalen alsof die een specificatie is, en de exportcertificering van onze catalogus is een bedrijfsbrede capaciteit en geen certificeringsregel per model, dus wordt die ook niet zo gepresenteerd.

Wat we wel doen, is de gepubliceerde configuratie nauwkeurig beschrijven en aangeven welke van de acht acceptatiepunten een actieve dienst en een klantachtig account vereisen in plaats van een banktest — want dat zijn de punten die een kwaliteitscontrole regime in de fabriek niet zal detecteren.

We zullen ook openlijk zijn over de commerciële vragen die achter de functie liggen: of deze op het apparaat of in een dienst draait, of een abonnement vereist is, welke taalparen in welke richting worden ondersteund en waar de gegevens naartoe gaan. Deze vier antwoorden bepalen uw winkelvoorstel en zijn geen technische vragen.

Wat we niet kunnen doen, duidelijk uitgelegd

We kunnen voor geen enkel model een nauwkeurigheidspercentage, latency, taalaantal, offlinegedrag, verwerkingslocatie of datapad publiceren, omdat we die niet hebben gemeten aan de hand van een vastgestelde omstandigheid. We kunnen ook geen slaagpercentage publiceren voor de gedragslaag van het script, omdat het script van de koper is en het resultaat afhangt van de formuleringen, de omgeving en de accountconfiguratie van de koper. Een leverancier die een algemeen slaagpercentage voor deze laag publiceert, publiceert een getal dat is produced door een script dat niemand kan zien.

Wat we wel kunnen doen, is de test samen met u uitvoeren. Stuur ons de twintig opdrachten, de omgevingen en de accountconfiguratie, dan voeren we ze uit op de exemplaren die u aanwijst, met de build die u specificeert, en leggen we de resultaten vast zoals ze naar voren komen. De meetmethode die dit soort vragen beslist, staat in AI-functies van slimme brillen meten, het testprotocol voor een monster staat in AI-functies van slimme brillen testen vóór bestelling, en de overwegingen voor upgrades waarop het zevende acceptatiepunt afhankelijk is, staan in overwegingen voor upgrades van AI-functies van slimme brillen. De leesmethode voor specificaties die de rijen in de eerste plaats oplevert, staat in leesmethode voor AI-functies-datasheets van slimme brillen.

De taak die de functie moet uitvoeren

Vertel ons wat de functie moet doen, dan vertellen wij wat u in het acceptatiescript moet opnemen, welke van de acht punten we samen met u kunnen testen en welke punten moeten worden afgerond met uw account en uw omgeving. De technische achtergrond van het platform staat bij technologie voor AI-functies en het bijbehorende toepassingsgebied bij oplossingen voor AI-contentcreatie.


Gerelateerd leesmateriaal

Vertel ons wat de functie moet doen, dan vertellen wij wat u in het acceptatiescript moet opnemen.

Chatten op WhatsApp
Uw ervaring op deze site wordt verbeterd door cookies toe te staan.