Fabricante OEM/ODM de gafas inteligentes · Shenzhen, China +86 19835872450 sales@cynrin.com
Tecnología de gafas inteligentes

Cómo probar las funciones de IA de las gafas inteligentes

La razón por la que una función de IA no se puede evaluar viendo una demostración no es que las demostraciones engañen, sino que una demostración es la única…

Por el equipo de ingeniería y abastecimiento de CYNRIN/ Dec 15, 2021/ 22 min de lectura
Cómo probar las funciones de IA de las gafas inteligentes

Funciones de IA de las gafas inteligentes: una relación, no un componente

El motivo por el que una función de IA no puede evaluarse viendo una demostración no es que las demostraciones confundan. Es que una demostración es la única configuración en la que un asistente ofrece su mejor versión: una frase preparada, una sala silenciosa, una red comprobada y un dispositivo cuyas cuentas ya estaban vinculadas por anticipado por la persona que lo configuró. Todo lo que un comprador necesita saber es una propiedad de la relación entre el dispositivo, el proveedor del modelo, la red y la región, y ninguno de esos cuatro elementos es el producto que viene en la caja.

La decisión, en tres frases. Si un asistente de voz es esencial en tu ficha de producto, pruébalo como una relación y no como una función: escribe la lista de frases y las condiciones de aprobación antes de que llegue la muestra, ejecuta el plan en un dispositivo que no sea el de la demostración y registra la versión de firmware junto con cada resultado. La métrica que determina si el producto puede enviarse suele ser la tasa de activaciones falsas, en lugar de la tasa de activación, porque un dispositivo que interrumpe la conversación de un cliente es un producto que acaba retirándose. Si no puedes obtener por escrito un identificador de versión, una descripción de la ruta de datos y un comportamiento sin conexión definido, no incluyas el asistente en el texto: la función existirá en la ficha de producto y en ningún otro sitio.

Quién ejecuta este plan y qué debe producir. El lector suele estar decidiendo si un asistente de IA debe incluirse en el producto o comparando las implementaciones de dos proveedores para la misma función anunciada. Lo que tiene son muestras, una lista de funciones, un canal de venta, un precio objetivo y un plan de marketing que ya asume que la función existe. Lo que no tiene son datos de rendimiento, y el motivo es estructural: los datos pertenecen al proveedor del modelo, no a la fábrica, y cambian según la versión, no según el hardware. Por tanto, el plan debe producir tres cosas: una cifra en lugar de una impresión, un identificador de versión asociado a esa cifra y una lista escrita de las condiciones en las que se midió.

Lo que dice nuestro propio catálogo y lo que no dice. Indicamos un asistente de voz con IA entre las tecnologías clave de la gama de gafas con cámara de IA, y nuestro sitio independiente describe la traducción con IA en el K01, que es un modelo de audio. No publicamos tasas de activación, tasas de activaciones falsas, tasas de éxito de comandos, cifras de latencia, precisión de reconocimiento, precisión de traducción ni comportamiento sin conexión para ningún modelo de la gama, y no estimaremos ninguno de ellos. Esa escasez de datos no es un problema de recogida que noFy,od.

Dónde se sitúa el coste de una función de IA. El coste en hardware de un asistente es casi cero: el micrófono y la radio ya vienen en el producto. Lo que un asistente cuesta realmente son los cuatro elementos que lo rodean: el trabajo de definir un comportamiento que pueda probarse, la localización de la lista de frases y de la documentación en cada mercado de lanzamiento, el guion de soporte para los casos de fallo y el mecanismo contractual que te permite saber cuándo el proveedor ha cambiado algo sin avisarte. Dos proveedores que ofrecen el mismo asistente diferenciarán estas cuatro partidas mucho más que cualquier precio unitario, y la diferencia no será visible hasta que la ficha de producto esté publicada.

Cinco cifras y el denominador que cada una debe incluir

Fotografía generada por IA que ilustra cómo probar antes de pedir las funciones de IA de las gafas inteligentes: imagen 1 de 3

Las cinco cifras que debes exigir y las tres que nadie publica

Envía estas cinco preguntas en un solo mensaje, con las mismas palabras exactas, a todos los candidatos y pide las respuestas en una tabla en lugar de en forma de texto. La columna del denominador es la importante, porque un porcentaje sin denominador es una frase de marketing.

Métrica Qué mide Denominador obligatorio Umbral de aprobación
Tasa de activación El inicio del asistente cuando debe iniciarse Intentos, número de hablantes, entorno Un porcentaje con los tres elementos indicados
Tasa de activaciones falsas El inicio del asistente cuando no debe iniciarse Intentos y horas de uso habitual Un porcentaje o una declaración escrita de que no se mide
Tasa de éxito de comandos Si tu lista de frases se ha comprendido La lista de frases que proporcionaste y las repeticiones por frase Un porcentaje respecto a tu propia lista
Latencia El retraso antes de que llegue la respuesta Estado de la red y versión de firmware Un umbral fijo, no una valoración
Precisión de reconocimiento Si se ha heard correctamente lo que debía oírse La escena y si el hablante está mirando hacia delante Una cifra para la sala silenciosa y para el entorno real

Los umbrales en lenguaje claro y las tres filas que suelen faltar

Una tasa sin un recuento de intentos no es una tasa. El noventa y ocho por ciento medido durante diez intentos en una oficina silenciosa predice menos del ochenta y cinco por ciento medido durante trescientos intentos en una calle, y el segundo número es el que describe el producto. El umbral de aprobación debe ser un porcentaje con un denominador, un recuento de hablantes y un entorno asociados, y un proveedor que no pueda facilitar los tres datos no ha medido el producto.

La tasa de activación falsa es una condición de usabilidad, no una nota técnica. Determina en qué canales puede venderse el producto, en lugar de si la función funciona, porque una sala de reuniones y una calle son mercados distintos para el mismo dispositivo. Un dispositivo que se activa con una tos en una oficina silenciosa es un producto para salas de reuniones; el mismo dispositivo en una calle resulta molesto. El umbral que establece aquí el comprador es una decisión de producto sobre el canal, y debe documentarse antes de redactar la página del producto.

La tasa de éxito de los comandos debe medirse con su lista, no con la del proveedor. La lista de un proveedor incluye saludos y un temporizador, porque son fáciles. Su lista incluye la frase que un supervisor de almacén dice realmente once veces al día. El umbral de aprobación es un porcentaje calculado sobre las frases que usted ha facilitado, con un número indicado de repeticiones por frase.

La latencia necesita una cifra exacta, no un adjetivo. Fije el umbral —menos de dos segundos es un punto de partida razonable— y mídala. Varía según la red, por lo que el estado de la red debe formar parte de la medición, y una cifra de latencia sin ese dato procede de la oficina del proveedor.

El número de compilación es la columna que hace que los resultados merezcan conservarse. Un asistente cambia entre compilaciones, y una medición sin un identificador de compilación no puede reproducirse, defenderse ni compararse con el resultado del siguiente proveedor. Es la columna más importante de la hoja y, al mismo tiempo, la que más a menudo se deja en blanco.

Tres filas que casi nunca se recuperan y qué hacer en cada caso. El comportamiento sin conexión —qué hace el dispositivo cuando se desconecta físicamente la red— es la fila que resuelve la disputa más habitual en esta categoría: si el producto hace lo que indica su documentación cuando no hay red. solicítelo como una declaración escrita y, si la respuesta es el silencio, considere que el comportamiento sin conexión no está definido en el texto. La ruta de datos —qué sale del dispositivo, adónde va y cómo se gestiona el consentimiento— es la fila que pide un revisor de cumplimiento; verifíquela mediante observación, no mediante lectura, y haga que la declaración de privacidad de su ficha describa lo que ha observado. Y el mecanismo de actualización —cómo recibe una nueva compilación una unidad ya distribuida y quién lo decide— es la fila que le indica si la función puede cambiar sin previo aviso contractual.

El orden en el que se ejecuta el plan del asistente y por qué el plan va primero

Ejecución del plan: identificadores de compilación, entornos y un segundo día

Paso uno, antes de que llegue la muestra. Escriba la lista de frases. Debe contener los comandos que el cliente realmente emite, en el idioma del mercado de lanzamiento, incluidos los dos o tres que resultan difíciles de pronunciar. Fije las condiciones de aprobación como cifras. Decida qué pruebas requieren qué entorno. Determine el teléfono, la red y las condiciones de audio. Identifique la compilación de firmware que espera que incluya la muestra, de modo que lo primero que haga al recibirla sea confirmarlo.

Paso dos, el día de la prueba, antes de medir nada. Confirme el identificador de compilación de la unidad y regístrelo. Confirme el idioma, la región y el estado de la cuenta. Compruebe que la unidad tiene una configuración estándar recién sacada de la caja y que no es la unidad de demostración, lo que suele implicar una cuenta nueva, sin servicios vinculados y con la configuración de procesamiento predeterminada. Un resultado obtenido de una unidad de demostración vinculada no es un resultado sobre el producto que recibe el cliente, y es el error más habitual que hace que una evaluación del asistente favorezca indebidamente a un proveedor.

Paso tres, la tasa de activación, durante un elevado número de intentos. Utilice varios hablantes diferentes, porque los asistentes de voz varían más según el hablante que según el hardware. Registre el recuento de intentos, el número de hablantes y el entorno, y calcule usted mismo la tasa a partir del registro en lugar de confiar en una cifra redondeada.

Paso cuatro, la tasa de activación falsa, en el entorno que importa. Esta es la prueba más larga del plan y la que más a menudo se omite. Consiste en dejar el asistente activado durante la actividad habitual —un escritorio, una reunión, una calle— y registrar cada activación no solicitada. La cifra que obtenga es la que determina el canal.

Paso cinco: la tasa de éxito de los comandos, en su lista de frases. Cada solicitud se ejecuta un número fijo de veces y los fallos se registran con un motivo, porque «no se ha entendido» y «se ha entendido, pero se ha hecho otra cosa» son dos fallos distintos con dos soluciones distintas.

Paso seis: la latencia, frente al umbral fijo. Mide el intervalo desde el final de la intervención hasta el inicio de la respuesta, dejando registrado el estado de la red, y repítelo suficientes veces para observar la cola de la distribución en lugar de la media.

Paso siete: el funcionamiento sin conexión, con la red desconectada físicamente. No basta con el modo avión si hay un resultado en caché: la red debe estar realmente inaccesible y el resultado debe registrarse. Un proveedor que nunca ha probado esto tiene un producto cuyo comportamiento en un ascensor se desconoce.

Paso ocho: el flujo de datos, verificado mediante observación. Observa qué hace el dispositivo en la red, compáralo con lo que afirma la documentación y guarda la comparación en el archivo. Una declaración de privacidad redactada a partir de una frase de marketing supone un riesgo legal, mientras que una redactada a partir de observaciones es defendible.

Cada tasa tiene dos valores y solo uno predice el comportamiento del cliente

Prueba dos o tres unidades de la misma compilación en cualquier entorno en el que la función sea determinante. Una función que funciona en una unidad de muestra y falla en otra plantea un problema de rendimiento, y este tipo de problema no se detecta en una prueba de una sola unidad. Cuando la función es el motivo por el que el cliente compró el producto, una sola unidad no constituye prueba de nada.

Ejecuta todo el plan dos veces, en días diferentes, y considera la dispersión un hallazgo. El comportamiento de un asistente varía según el día, la red y el ruido ambiental, y una diferencia considerable entre dos ejecuciones indica que la función no es lo bastante estable para sustentar una afirmación. Si la dispersión es pequeña, el resultado merece conservarse; si es grande, el hallazgo tiene más valor que la cifra.

Registra el identificador de compilación, el entorno y la hora junto con cada resultado. Conserva las grabaciones allí donde la plataforma lo permita. Una medición que no se puede reproducir no constituye prueba, y en esta categoría lo que cambia es la compilación.

Funciones de IA de las gafas inteligentes: un plan que puede repetirse después de un cambio de compilación

Qué registrar junto con cada resultado. La designación y la configuración del modelo, el identificador de compilación del firmware, la versión de la aplicación, el idioma y la región, el estado de la cuenta, el teléfono móvil y la red, el entorno y su nivel de ruido, la frase o prueba realizada, el resultado, la hora y el evaluador. La hoja es extensa, y ese es justamente el objetivo: el número de filas es lo que permite defender el resultado seis meses después.

Lo que este plan no puede determinar. No determina cómo se comporta la función en toda tu base de clientes, ni cómo funciona en un mercado o idioma que no hayas probado, ni cómo se comporta después del próximo cambio del proveedor, ni determina la situación de cumplimiento, que se basa en documentos. Esto último es importante: la Directiva de Equipos de Radio establece requisitos de ciberseguridad que forman parte del marcado CE, descritos en la serie de normas armonizadas EN 18031 y relativos a la comunicación segura, el cifrado, el almacenamiento seguro, el consentimiento del usuario y el proceso de gestión de las vulnerabilidades identificadas. Un asistente de voz se sitúa plenamente dentro de ese ámbito, y un comportamiento sin conexión medido es la prueba de que el producto hace lo que afirma su documentación cuando no hay red.

Fotografía generada por IA que ilustra cómo probar antes de pedir gafas inteligentes con funciones de IA: imagen 2 de 3

Dónde falla un programa de IA y la alerta temprana de cada fallo

La función se anuncia en la ficha del producto y falla durante una reunión con un cliente. El síntoma es una queja que describe una conversación interrumpida. La causa raíz es que solo se midió la tasa de activación por voz. La prevención consiste en medir ambas tasas y establecer el umbral de activación falsa antes de redactar la página del producto.

El cliente informa de que el asistente dejó de funcionar después de una actualización. El síntoma es un grupo de quejas que comienza en una fecha que nadie puede explicar. La causa raíz es que la medición estaba vinculada a una compilación que cambió sin volver a realizar las pruebas. La prevención consiste en registrar la compilación junto con cada resultado, volver a ejecutar el plan con la compilación que realmente se comercializará y solicitar aviso previo de cualquier cambio que afecte al comportamiento del asistente.

Se hace una afirmación sobre la traducción y el revisor del idioma de destino la rechaza. El síntoma es una ficha que promete interpretación y un revisor que no puede reproducirla. La causa raíz es que la precisión fue evaluada por alguien que no es hablante nativo y mediante saludos, en lugar de frases operativas. La prevención consiste en que un hablante nativo del idioma de destino evalúe las frases que necesita el cliente, adjuntando la lista de frases a la evaluación.

Una pregunta sobre privacidad recibe respuesta con una frase de marketing. El síntoma es que la revisión de seguridad de un cliente corporativo pide información sobre la ruta de los datos y la marca solo tiene una URL de política. La causa raíz es que nunca se verificó la ruta de los datos. La prevención consiste en verificarla mediante observaciones y en hacer que la declaración de privacidad describa lo observado.

El producto funciona en el país de la demostración y falla en el mercado de lanzamiento. El síntoma es una concentración de devoluciones procedente de un solo mercado. La causa raíz es que el plan se ejecutó en una única región y con una única red. La prevención consiste en ejecutar el plan en el mercado de lanzamiento, con las redes que utilizará el cliente, y presentar ambos conjuntos de resultados en paralelo.

Dos evaluadores llegan a conclusiones opuestas el mismo día. El síntoma es una lista de preseleccionados que cambia entre la reunión del martes y la del viernes. La causa raíz es que las condiciones de aprobación eran adjetivos. La prevención consiste en fijar las condiciones de aprobación como números antes de pedir las muestras, de modo que una discrepancia señale un criterio ambiguo y no el producto.

Fotografía generada por IA que ilustra cómo probar las funciones de IA de las gafas inteligentes antes de pedirla — imagen 3 de 3

Lo que puede contratar cuando el proveedor modifica algo

El identificador de la versión y el mecanismo de actualización son las dos líneas que deben incluirse en la solicitud de cotización. Un proveedor que no pueda nombrar ambas está comunicándole que el asistente puede cambiarse sin previo aviso contractual, lo que supone una exposición comercial mayor que el precio unitario. Pedirlas no tiene coste y son las únicas que le proporcionan un punto de apoyo.

La lista de frases y las condiciones de aprobación deben incluirse en la orden de compra, como criterios de aceptación referenciados. El asistente es la única parte del producto que un cliente puede atribuir a un tercero, por lo que los criterios deben existir por escrito antes de la muestra y no después de la primera reclamación. Una muestra que cumple los criterios en la versión que se enviará es una muestra que puede aceptar.

Una cláusula de preaviso sobre los cambios de comportamiento es la más valiosa de esta categoría. Cualquier cambio en el micrófono, el ajuste del DSP, el estado predeterminado del procesamiento o el modelo del asistente puede alterar el comportamiento observable sin modificar el hardware, por lo que la cláusula debe cubrir el comportamiento y no las piezas.

El trabajo de localización es negociable y merece negociación. La lista de frases, el idioma de la documentación y el guion de soporte por mercado representan cada uno una ronda de trabajo, y cada ronda es una semana. La negociación que merece la pena es el número de rondas incluidas y si un segundo mercado se cotiza como una copia del primero o como un nuevo trabajo de traducción.

La cantidad mínima de pedido y el trabajo de embalaje son líneas comerciales habituales. Una retención sobre el paquete de documentación protege al comprador ante el fallo más costoso: una unidad que llega con una documentación que no la ampara. Una señal con el saldo pendiente tras la inspección antes del envío es la estructura habitual.

Las líneas de calendario de un programa de asistente son el cierre de la versión y el calendario de certificación, y ninguno de los dos avanza porque el comprador insista. El cierre de la versión debe situarse antes del pedido y no después, porque una versión que cambia tras el pedido invalida todas las mediciones en las que se basaron los criterios de aceptación. El coste de la certificación y su plazo dependen del proceso y del organismo de pruebas; presionar en cualquiera de ellos alarga el calendario en lugar de acortarlo. El coste de las herramientas es un concepto único que normalmente se amortiza en el primer pedido, y las preguntas que merece la pena hacer son sobre qué volumen se amortizará y qué ocurre con él si se cancela el programa.

Los documentos que debe solicitar antes de la señal. El identificador de la versión del firmware y el mecanismo de actualización. Los números de certificado con el organismo emisor y las fechas de validez. La declaración de conformidad para la designations exacta del modelo. Una descripción escrita de la ruta de los datos y del mecanismo de consentimiento. Una declaración escrita sobre el comportamiento sin conexión. La designation del modelo escrita en la cotización.

Las cláusulas que debe incluir en la orden de compra. La designation del modelo como línea, con los números de certificado adjuntos. Los criterios de aceptación de las ocho pruebas, con la lista de frases adjunta. Una cláusula que exija un aviso previo a cualquier cambio de firmware o de modelo que afecte al comportamiento del asistente, con la obligación de volver a probar. Una cláusula sobre quién asume el coste cuando la muestra no cumple los criterios de aceptación.

Un plan detallado para una marca que se lanza en un mercado

Este es un caso ilustrativo y no un caso de cliente. Precisamente ese es el objetivo.

Supongamos que una marca de electrónica de consumo tiene una línea de cámaras de once modelos, una plataforma de cámaras ya existente y el plan de añadir un asistente de voz a dos configuraciones como característica principal de un lanzamiento en un único mercado. El propio responsable de producto de la marca ha redactado el texto de la ficha de producto y afirma que el asistente «entiende de forma natural» y «está siempre disponible cuando lo necesitas», y el revisor de cumplimiento de la marca ya ha solicitado conocer el flujo de datos.

La primera decisión es retirar el asistente del texto hasta poder medirlo. El responsable de producto elimina ambos adjetivos y no los sustituye por nada, porque una función que no puede describirse con precisión todavía no debe describirse. Ese único cambio elimina la mayor exposición de la marca sin coste alguno.

La segunda decisión es el mercado de lanzamiento, y se toma antes de redactar el plan. La marca elige un mercado, un idioma y las dos redes que sus clientes utilizan realmente, y acepta que el asistente no se lanzará en el segundo mercado hasta que se haya medido allí. El motivo es el coste: una lista de frases en un idioma es un ejercicio de traducción, mientras que una lista de frases en un idioma que el equipo no sabe evaluar es un recurso inservible.

La tercera decisión es el desarrollo. La marca pide al proveedor que fije un identificador de compilación para la evaluación y que confirme que se comercializará la misma compilación. El proveedor confirma una compilación y la marca la registra. Esta es la decisión que da sentido a todas las cifras posteriores y el coste es un correo electrónico.

El cuarto paso es la prueba, con una unidad que no es la unidad de demostración. La marca pide una unidad estándar, configura una cuenta nueva y realiza las ocho pruebas a lo largo de dos días con dos evaluadores. La tasa de activación por voz es alta en una sala silenciosa y menor en el entorno objetivo. La tasa de activaciones falsas, medida a lo largo de una jornada laboral normal, es el hallazgo decisivo: es lo bastante alta como para que las afirmaciones de marketing de la propia marca no sobrevivieran ni una semana de uso en ese entorno.

La quinta decisión se deriva de la tasa de activaciones falsas. La marca no lanza el asistente en ese mercado y mantiene la línea de hardware tal como está. La alternativa habría sido lanzarlo y asumir un grupo de reclamaciones que el programa de muestras ya había anticipado. La evaluación costó una ronda de muestras y una semana; la alternativa habría costado un lanzamiento.

La sexta decisión es qué hacer con el resultado. La marca incluye el umbral de activaciones falsas en la orden de compra como condición para una posterior actualización de firmware y negocia una cláusula de notificación sobre cambios de comportamiento. Conserva las grabaciones y la hoja de evaluación, porque una futura actualización de firmware requerirá una nueva prueba y la hoja es lo que permite comparar ambas pruebas.

El resultado es una línea de productos que se lanzó con menos de lo que la marca deseaba y una relación con el proveedor que ahora cuenta con un estándar documentado para la función que la marca quiere incorporar finalmente. El objetivo de este recorrido es que la cifra decisiva procedió de una prueba con una muestra, no de una demostración, y costó una unidad y dos días.

Qué pueden y qué no pueden determinar los registros de nuestro asistente

En concreto, preferimos que un comprador pruebe una función de IA antes que se crea una descripción de ella, y un plan de pruebas es lo único que convierte una capacidad en una especificación. Citamos un asistente de voz de IA entre las tecnologías clave de la gama de gafas con cámara de IA, y nuestro sitio independiente describe la traducción por IA en el K01, que es un modelo de audio: lo consideramos una observación gleaned de nuestro propio material de marketing, no una especificación. No publicamos ninguna tasa de activación por voz, tasa de activaciones falsas, tasa de éxito de los comandos, cifra de latencia, precisión del reconocimiento, precisión de la traducción ni comportamiento sin conexión para ningún modelo, y no estimaremos ninguna de ellas.

Tampoco incluiremos en una ficha de producto una cifra medida en una unidad de demostración, porque una cifra que no puede reproducirse es una afirmación que no puede defenderse cuando el cliente está ante ti. Y entregaremos unidades con una compilación de firmware conocida y trabajaremos contigo mediante un plan, en lugar de enviar una demostración.

Tres aspectos que deben determinarse antes de prometer un asistente en una ficha de producto

Pide el identificador de compilación y el mecanismo de actualización en el primer mensaje. Son las dos únicas respuestas que te indicarán si la función puede cambiar bajo tu programa, y un proveedor que responde a ambas tiene un proceso.

Escriba la lista de frases antes de que llegue la muestra. Es la única parte del plan que el proveedor no puede elaborar por usted, y es la que hace que la tasa de éxito dependa de usted y no de ellos.

Envíenos las funciones que/publicar, el mercado de lanzamiento y el idioma, y elaboraremos con usted el plan de pruebas. La información de contexto está en funciones de IA de las gafas, la ruta de la muestra está en evaluación de muestras, el método de medición se explica en cómo medir las funciones de IA, y las preguntas para el proveedor están en verificación del proveedor de IA.


Lecturas relacionadas

Indíquenos las funciones que va a publicar y el entorno, y elaboraremos con usted el plan de pruebas.

Chatea por WhatsApp
Su experiencia en este sitio mejorará al permitir cookies.