El control de calidad de las funciones de IA tiene una característica inusual que conviene nombrar antes de entrar en detalles, porque explica por qué la disciplina en esta categoría es diferente de cualquier otra disciplina de control de calidad de la gama.
Todas las demás disciplinas de control de calidad de un producto de hardware comprueban algo presente físicamente. La batería retiene la carga o no. La cámara enfoca o no. Una función de IA es diferente: es un comportamiento que depende de un modelo, una red, un servicio, un par de idiomas, una entrada y un momento concreto. La unidad puede montarse correctamente y la función seguir fallando; además, el fallo pasarás desapercibido con frecuencia en la fábrica porque la red, la cuenta y la configuración lingüística de la fábrica no son las del cliente. Por tanto, el control de calidad de las funciones de IA de las gafas inteligentes consiste en probar el comportamiento en el punto de uso, no en el punto de fabricación.
Funciones de IA de las gafas inteligentes: por qué fallan las pruebas de banco
El comprador que debe diseñar este régimen
El lector es un ingeniero de calidad de marca o un responsable de compras que debe especificar los requisitos que se exigirán al proveedor y ha descubierto que el régimen habitual de inspección de entradas no es aplicable. Ese régimen se aplica al hardware. No puede aplicarse a un comportamiento que depende de un servicio.
Este es el problema práctico que resuelve este artículo. El comprador puede solicitar tres cosas: un régimen de pruebas de fábrica que ejecute la fábrica, un régimen de aceptación del comprador que ejecute el comprador y un régimen compartido que ejecuten ambos. La mayor parte de la confusión en esta categoría surge de no decidir a cuál de los tres pertenece cada comprobación y descubrir, a mitad de una serie de producción, que alguien estaba realizando una comprobación de la que nadie era responsable, sin acceso a la cuenta ni al estado de la red que necesitaba.
Tres razones por las que las pruebas de fábrica no bastan y qué produce cada una
1. La cuenta y la suscripción. Una función que requiere una cuenta, un inicio de sesión o una suscripción puede funcionar perfectamente en la fábrica y ser completamente inoperante para un cliente que no ha iniciado sesión, cuya prueba ha caducado o que tiene un plan incorrecto. El síntoma es un cliente que dice que la función no funciona, mientras que las pruebas de fábrica que demuestran lo contrario carecen de valor. La comprobación que detecta este problema es una prueba con una cuenta nueva y otra con un plan caducado; ambas requieren credenciales que la fábrica no posee.
2. La red y la región. Una función que se ejecuta en un servicio en la nube está sujeta a la disponibilidad del servicio, la región del cliente y la red local. Una prueba de fábrica en una red de un país no demuestra nada sobre un cliente de otro. El síntoma es una concentración de devoluciones en un mercado, lo que parece un problema del mercado, pero suele ser un problema de configuración de la red o de la región.
3. El idioma y la entrada. Una función de traducción o de voz que funciona con la configuración de la fábrica puede no ser capaz de gestionar el idioma, el acento, el entorno ruidoso del cliente o una frase ajena al conjunto de pruebas. No se trata de un defecto, sino de un límite del alcance que debe documentarse. La comprobación que detecta este problema utiliza el conjunto de frases del comprador, ejecutado en el entorno del propio comprador.
Cada una de las tres produce un fallo distinto, y ninguno resulta visible en una prueba de fábrica. Este es el argumento completo de la estructura de cuatro capas que se presenta a continuación.

Las cuatro capas de prueba y lo que puede demostrar cada una
Capa uno: el hardware
¿El micrófono captura correctamente?, ¿el procesador funciona?, ¿la radio de red está operativa?, ¿la gestión de energía se comporta como se espera? Esta es una prueba de fábrica y es la capa que ya cubren la mayoría de los sistemas de control de calidad. Conviene ejecutarla bien, porque un fallo en este nivel es el único de toda la pila que puede resolver una unidad de sustitución.
Capa dos: el servicio
¿El punto de conexión responde?, ¿la cuenta autoriza la operación?, ¿el estado de la suscripción permite la llamada?, ¿la región es compatible? Esta capa requiere credenciales activas en una configuración similar a la del cliente. No puede ejecutarse como prueba de fábrica con la cuenta de la fábrica, porque la cuenta de la fábrica tiene derecho de acceso y la del cliente no; la diferencia entre una cuenta con derecho de acceso y otra sin él es exactamente lo que experimentan los clientes.
Capa tres: el comportamiento
El conjunto de órdenes, la latencia, la precisión, la gestión de solicitudes fuera del alcance y la degradación del rendimiento con ruido. Esta capa debe probarse mediante un script, no demostrarse, porque una demostración es un único caso favorable y un comportamiento es una distribución. El script es del comprador, por el motivo que se explica más adelante en este artículo.
Cuarta capa: la experiencia
Emparejamiento, configuración inicial, gestión de la aplicación cuando una solicitud falla, lo que ve el cliente cuando se interrumpe la red. Esta es la capa que genera devoluciones y la que nadie prueba, porque requiere a una persona que nunca haya visto el producto.
Lo que cada capa puede y no puede demostrar
La ventaja de separar las capas es que cada una genera un tipo diferente de evidencia y tiene un responsable diferente.
La primera capa genera un registro de pruebas frente a una especificación, y la fábrica puede producirlo. La segunda genera un registro de un punto de acceso y de la cuenta, y requiere una cuenta de comprador. La tercera genera una hoja de resultados por unidad, y el guion debe ser del comprador. La cuarta genera notas de observación de las sesiones, y el usuario debe ser del comprador.
Esto ofrece una respuesta clara a la pregunta que los compradores hacen con más frecuencia sobre esta categoría: ¿qué parte del régimen puede delegarse en la fábrica? La respuesta honesta es la capa inferior, más las partes de la capa de servicio que se pueden probar con una cuenta de prueba que la marca proporcione y cuya utilization esté autorizada a la fábrica.
El guion de aceptación y quién debe ser su responsable
Los ocho elementos
- Un conjunto de veinte órdenes, redactado por el comprador, no proporcionado por el proveedor. Cada una representa algo que la función debe hacer en tu caso de uso, y el guion se ejecuta en cada muestra, no una sola vez.
- Latencia, medida. Tiempo desde el final del discurso hasta el inicio de la respuesta, en el entorno donde se utilizará. Una función instantánea en una oficina silenciosa no se comporta igual en una calle.
- El resultado de la dependencia de la red. Con la conectividad desactivada, qué sigue funcionando. Esta prueba revela la arquitectura mejor que cualquier especificación.
- El comportamiento ante fallos, en cuatro casos. Entrada poco clara, solicitud fuera del alcance, solicitud en un segundo idioma y solicitud formulada en un entorno ruidoso. Lo que ve el usuario en cada caso distingue una función de un generador de defectos.
- Estado de la cuenta y la suscripción. Se prueba al menos dos veces: una vez en una cuenta nueva y otra en una cuenta con la suscripción vencida.
- Variación según la región y la red. Al menos una prueba desde una red diferente y, si el producto se vende en varios mercados, una prueba en una red de cada uno de ellos.
- La ruta de actualización. Desde la versión de firmware estrenada hasta la actual, y lo que experimenta un cliente que utiliza la versión anterior. Esta es la prueba que se omite y luego se echa de menos.
- La situación de los datos.Dónde se procesan y almacenan el audio y los datos resultantes, y qué ve el cliente en la aplicación. Esta es una cuestión legal que el control de calidad no puede responder, y debe responderse antes de que la prueba tenga sentido.
Por qué el comprador debe escribir el guion
Este es el único punto más discutido de todo el régimen, y merece defenderse correctamente en lugar de solo afirmarse.
El proveedor sabe qué rutas funcionan. Esa es experiencia genuina y, por eso, debe pedirse al proveedor que asesore sobre el guion. Sin embargo, el comprador es la única parte que sabe qué pedirá realmente el cliente, y las veinte órdenes deben ser las veinte cosas que el cliente hará realmente. Un guion escrito por el proveedor mide el producto del proveedor frente a las suposiciones del proveedor, y pasará siempre.
La forma de conseguir ambas cosas es que el comprador escriba primero las veinte órdenes y el proveedor las comente antes de ejecutar las pruebas. El comprador mantiene la responsabilidad de la lista; el proveedor obtiene el derecho a señalar que tres de ellas no son alcanzables en esta configuración, lo cual constituye información valiosa en sí misma, porque es una alerta temprana sobre lo que puede afirmar la ficha del producto.
Convertir el guion en un estándar de aceptación
Un guion que reside en una hoja de cálculo y no en la orden de compra es una prueba, no un estándar. El umbral debe redactarse de antemano y ser una cifra por la que el comprador esté dispuesto a suspender muchos lotes. Los umbrales realistas son sencillos: un número de las veinte órdenes que deben completarse correctamente en el entorno especificado, las funciones sin conexión enumeradas que deben seguir funcionando, el límite máximo de latencia y los cuatro casos de fallo que deben producir el comportamiento acordado.
La consecuencia del fracaso también debe acordarse. En esta categoría, la disposición habitual es que un lote piloto fallido no se envía y que la segunda ronda de evaluación la financia el proveedor. Esta segunda cláusula merece negociarse, porque una función de IA es la parte del producto con más probabilidades de fracasar en una primera ronda de aceptación, y un proveedor que no financia la segunda ronda está indicando al comprador cuánta confianza deposita en la primera.

Dónde termina la inspección de entrada y comienza las pruebas de comportamiento
La línea divisoria y su importancia comercial
La inspección de entrada es una puerta de control por lote frente a una especificación. Funciona cuando la especificación describe algo presente físicamente, pero no sirve para el comportamiento. Por tanto, la línea divisoria no es una etapa del proceso. Es si la comprobación puede realizar una persona que sostiene una unidad frente a una especificación escrita, sin red, sin cuenta y sin intervención de ningún servicio.
Todo lo que queda a la izquierda de esa línea corresponde a la inspección de entrada y debe figurar en el acuerdo de suministro como criterio de liberación. Todo lo que queda a la derecha corresponde a las pruebas de aceptación y debe incluirse en el plan del programa, con los recursos del comprador comprometidos y su guion adjunto.
Lo que exige realmente la liberación de un lote
La liberación de un lote de un modelo de cámara de nuestra gama es sencilla: la unidad coincide con la especificación publicada para el modelo —nivel de resolución, capacidad de la celda, comportamiento de carga, intervalo de autonomía y método de carga— y el registro de certificados por modelo, disponible en la lista de comprobación de certificación, junto con la documentación de transporte de baterías, disponible en transporte de baterías, están archivados para esa configuración.
Para un lote que incorpora una función de IA, la misma liberación debe añadir un artefacto sin precedente en el hardware: la hoja de resultados del guion de aceptación, vinculada a una compilación de firmware específica y a una configuración de cuenta concreta. Sin ese artefacto, el lote se libera por sus méritos de hardware y se desconoce el estado de la función, precisamente la situación que este artículo pretende evitar.
Hay un segundo aspecto práctico sobre esta línea. Los guiones son baratos en unidades, pero caros de coordinar: veinte comandos en dos unidades de la compilación enviada, con la ejecución sin conexión, en el entorno del comprador. El coste de coordinación es la razón para programar las pruebas de aceptación pronto, en la fase piloto y no después de la fase de producción, y también es la razón por la que el comprador debería reservar las unidades de prueba en lugar de recibir las que queden disponibles.
Quién paga las pruebas de aceptación y qué debe negociarse
El reparto de costes en este régimen es inusual, y los compradores que han gestionado programas de hardware tienden a subestimarlo. La capa de hardware ya está incluida en el precio de la unidad. La capa de servicio le cuesta a la marca una cuenta de prueba, una cantidad pequeña de tráfico y el tiempo de quien mantiene la cuenta. La capa de comportamiento le cuesta a la marca los veinte comandos, el entorno y las personas que redactan la hoja de observaciones. La capa de experiencia le cuesta a la marca la tarde de un desconocido.
En otras palabras, la mayor parte del coste de aceptación recae en el comprador, no en la fábrica, y recae en el personal del comprador más que en su presupuesto. Por eso conviene resolver tres cuestiones comerciales antes del pedido y no durante la primera campaña.
La primera es si el proveedor financiará una segunda ronda de evaluación en caso de que fracase la primera. Una función de IA es la parte del producto con más probabilidades de fracasar en una primera ronda de aceptación, y un proveedor que no financia la segunda ronda está indicando al comprador cuánta confianza deposita en la primera.
La segunda es si el proveedor puede ejecutar el guion, lo que depende de las capas que esté autorizado a ejecutar. Un proveedor con la configuración de cuenta puede ejecutar la capa de comportamiento; uno que no la tenga no puede, y todo el régimen depende entonces de que el comprador viaje a la fábrica o de que la fábrica viaje al entorno del comprador.
La tercera es el formato del artefacto. Si la hoja de resultados debe volver a teclearse en el formato del comprador por el personal de la fábrica después de cada ejecución, el registro dejará de ser fiable en un trimestre. Una hoja de resultados con una estructura definida e identificador de compilación es lo que hace que las pruebas sean utilizables a lo largo de una producción y no solo de una campaña.

Cuatro formas en que un régimen de control de calidad de IA genera falsa confianza
Probar la ruta de demostración. Una demostración guionizada ejecuta el recorrido correcto, con la configuración y la cuenta de la fábrica. Todos esos elementos son variables controladas, mientras que los fallos interesantes se dan precisamente en las variables no controladas. Este es el error más común y menos grave, porque suele manifestarse en el terreno y no durante la auditoría.
Considerar una función dependiente de la nube como una función del hardware. En el momento en que una función depende de un servicio, adquiere una dependencia que la fábrica no controla, y el régimen de pruebas debe reflejarlo. Este es el error estructural más común y el que convierte una interrupción del servicio en una reclamación de garantía.
No probar la versión de firmware del producto. La versión de la muestra y la de la unidad de producción pueden ser distintas, y en esa diferencia es donde se esconde la sorpresa. La comprobación es barata: registrar el identificador de compilación en cada hoja de resultados. La omisión es cara, porque un cambio de comportamiento entre compilaciones resulta indistinguible de un defecto cuando llega al cliente.
Dejar que el proveedor defina los criterios de aceptación. Este es el que permite liberar un lote sin pruebas de comportamiento que lo respalden, porque los criterios fueron redactados por la parte que se está evaluando.
El problema de escalado subyacente
Los cuatro errores comparten una consecuencia, que es la importante desde el punto de vista comercial. Un defecto cuyo responsable no está claro no se puede escalar. Una interrupción del servicio, un plan caducado y una mala configuración del idioma se presentan al cliente de la misma manera: la función no funciona. Y solo dos de ellos se resuelven sustituyendo la unidad. Por eso, la matriz de responsabilidades no es un diagrama técnico, sino la regla que decide si el presupuesto de garantía se gasta en unidades que nunca un defecto. Por eso, la clasificación debe hacerse antes de la sustitución, no después.
La posición de producción que podemos mantener y la que no podemos mantener
Lo que cubre nuestra posición publicada
El límite que mantenemos: publicamos las funciones de IA de las gafas inteligentes tal como las presenta el catálogo, y no asociaremos a ellas un nombre de modelo, un número de idiomas, una latencia, una declaración de funcionamiento sin conexión ni una condición de suscripción, porque ninguno de estos datos se nos ha publicado para los modelos de esta gama. No repetiremos una frase de marketing como si fuera una especificación. Además, la certificación de exportación de nuestro catálogo es una capacidad de la empresa, no una fila de certificación por modelo, por lo que no se presenta como tal.
Lo que sí podemos hacer es comunicarte con precisión la configuración publicada e indicarte cuáles de los ocho elementos de aceptación requieren un servicio activo y una cuenta similar a la del cliente, en lugar de una prueba de banco, porque esos son precisamente los que un régimen de control de calidad de fábrica no detectará.
También seremos directos sobre las cuestiones comerciales detrás de la función: si se ejecuta en el dispositivo o en un servicio, si requiere suscripción, qué pares de idiomas en qué direcciones admite y dónde acaban los datos. Esas cuatro respuestas determinan tu propuesta de venta al público y no son cuestiones de ingeniería.
Lo que no podemos hacer, dicho con claridad
No podemos publicar una cifra de precisión, una latencia, un número de idiomas, un comportamiento sin conexión, una ubicación de procesamiento ni una ruta de datos para ningún modelo, porque no los hemos medido frente a una condición definida. Tampoco podemos proporcionar una tasa de aprobación de la capa de comportamiento del guion, porque el guion pertenece al comprador y el resultado depende de sus frases, su entorno y la configuración de su cuenta. Un proveedor que publica una tasa de aprobación genérica para esta capa está publicando una cifra producida por un guion que nadie puede ver.
Lo que sí podemos hacer es realizar la prueba contigo. Envíanos los veinte comandos, los entornos y la configuración de la cuenta, y los ejecutaremos en las unidades que indiques, con la compilación que especifiques, y registraremos los resultados a medida que se obtengan. La hoja de mediciones que resuelve este tipo de cuestión está en medir funciones de IA, el protocolo de pruebas de una muestra está en probar funciones de IA antes de pedir, y las consideraciones de actualización de las que depende el séptimo elemento de aceptación se tratan en consideraciones para actualizar funciones de IA. El método de lectura de especificaciones que genera las filas anteriores está en método de lectura de hojas de datos de funciones de IA.
La tarea que debe cumplir la función
Dinos qué se espera que haga la función y te diremos qué incluir en el guion de aceptación, cuáles de los ocho elementos podemos probar contigo y cuáles necesitan tu cuenta y tu entorno para completarse. La información de contexto de la plataforma está en tecnología de funciones de IA, y el área de aplicación relacionada está en soluciones de creación de contenido con IA.
Lecturas relacionadas
- tecnología de funciones de IA
- método de lectura de hojas de datos de funciones de IA
- consideraciones para actualizar funciones de IA
- soluciones de creación de contenido con IA
- lista de comprobación de certificación · transporte de baterías
Dinos qué se espera que haga la función y te diremos qué incluir en el guion de aceptación.



