스마트 글라스 AI 기능: 제품이 아닌 빌드로 측정하기
AI 기능은 속도, 지연 시간, 정확도로 측정합니다. 이 지표들은 시연 측정할 수 없습니다. 시연은 최선의 경우입니다. 즉, 미리 준비한 문장, 조용한 실내, 정상 작동이 확인된 네트워크, 그 자리에 맞게 설정된 제품이 전제됩니다. 스마트 글라스 AI 기능 측정 방법은 기능을 구매자가 사양서에 입력할 수 있는 수치 세트로 전환하고, 다른 구매자가 재현할 수 있도록 하는 것이 핵심입니다. 이를 제대로 수행해야 하는 이유는 AI 주장이 과장되기 가장 쉬우면서 방어하기도 가장 어렵기 때문입니다. 또한 실패한 기능은 대체로 공개된 환경에서 실패합니다.
요약하자면, AI 기능은 8가지 측정 항목으로 구성되며, 그중 2가지는 성능 측정이 아닙니다. 바로 오프라인 동작과 데이터 경로이며, 이 둘은 함께 상품 설명에 어떤 내용을 기재할 수 있는지, 개인정보 보호 안내서에 무엇을 설명해야 하는지를 결정합니다. 측정을 시작하기 전에 자체 승인 기준을 정하고, 모든 속도를 여러 제품과 여러 화자로 측정한 뒤, 각 결과에 펌웨어 빌드 번호를 기록하십시오. AI 기능은 빌드마다 달라지므로 빌드 번호가 없는 측정 결과는 재현할 수 없습니다.
어시스턴트를 제품에 포함할지 결정하는 구매자
여기서 구매자는 일반적으로 AI 음성 어시스턴트를 제품에 포함할지, 아니면 두 공급자의 구현 중 어느 것을 채택할지 결정합니다. 구매자는 샘플, 기능 목록, 그리고 크리에이터, 현장 근무자 또는 일상 생활의 조력자와 같은 사용 채널을 고려합니다. 그러나 성능 데이터는 고려하지 않습니다. 이 카테고리의 데이터는 공장이 아니라 모델 제공자와 어시스턴트 스택에서 생성되며, 하드웨어가 아니라 빌드에 따라 달라지기 때문입니다.
마지막 요점은 구매자의 의사 결정 방식에 영향을 줍니다. AI 기능은 한 번 구매하는 제품의 속성이 아니라, 제품, 모델 제공자, 네트워크 및 지역 간의 관계입니다. 구매자가 실제로 묻는 질문은 "좋은가"가 아니라 "측정할 수 있는가, 기준을 적용할 수 있는가, 제공자가 무언가를 변경하면 어떻게 되는가"입니다.
동시에 관리해야 하는 세 가지 요소가 있으며, 각각 서로 다른 방향으로 작용합니다. 첫째는 주장입니다. 상품 상세 페이지의 문장은 고객이 회의 중 사용해 보더라도 견딜 수 있어야 합니다. 실제 견딜 수 있는 문제는 보통 마케팅 팀이 바라는 것보다 더 좁습니다. 둘째는 의존성입니다. 모델을 운영하는 주체가 브랜드와 계약 관계가 없는 제3자일 수 있으며, 이는 기술이 아닌 조달 리스크입니다. 셋째는 변화입니다. 어시스턴트가 두 출하 사이에 고객의 환경에서 변경된다면 제품 하자 없이 발생하는 지원 문제이므로, 반품 사유로 삼을 수도 없습니다.
구매자는 대개 몇 개월 뒤 해당 기능에 대한 불평에 대응해야 할 사람이기도 합니다. 이때 시장과 고객의 불평 언어는 지원팀이 구사하지 못하는 언어일 수 있습니다. 그래서 측정 시트는 인력 변동에도 훼손되지 않는 형식으로 작성해야 합니다. 느낌을 설명하는 대신 기준값, 분모, 빌드 번호 및 날짜를 기록해야 합니다.

AI 기능 유지 비용과 실제 통제권
AI 기능의 비용은 하드웨어 비용이 아닙니다. 이는 지속적으로 유지되는 의존성이며, 구매 주문서에 표시되는 부분은 그중 가장 작은 일부일 뿐입니다.
추론은 기기에서 실행되거나 기기 밖에서 실행되며, 두 방식은 상업적으로 완전히 다른 구조를 가집니다. 온디바이스 추론은 구매한 하드웨어의 성능에 제한되므로 안정적이고 기본적으로 프라이빗하며, 칩이 처리할 수 있는 범위로 제한됩니다. 오프디바이스 추론은 사용자가 보유한 어떤 자에도 제한되지 않으며, 실제로 성능 뛰어난 어시스턴트를 가능하게 합니다. 대신 네트워크 의존성, 지연 시간, 지역에 관한 문제, 그리고 통제할 수 없는 주체가 발생합니다.
런타임 운영자는 측정표에서 가장 중요한 상업적 사실입니다. 모델을 파트너가 제공한다고 말한 공급자는 구매 주문서를 수정하지 않고도 제3자가 해당 시장에서 제품의 동작을 변경할 수 있음을 알려준 것입니다. 이는 부품 교체와는 다른 유형의 리스크입니다. 부품 교체는 변경 관리 조항에 명시할 수 있지만, 모델 변경은 불가능하기 때문입니다.
업데이트 경로는 기술 문제가 아니라 조달 문제입니다. OTA 업데이트를 통해 변경되는 기능은 신규 주문 없이, 새로운 샘플 없이, 약정된 고지가 없는 한 변경될 수 있습니다. 해당 기능에 마케팅 예산을 투입한 브랜드의 관점에서 예고 없는 변경은 기술적 사건이 아니라 상업적 사건입니다. 따라서 공급사가 빌드 번호와 업데이트 방식을 명확히 제시할 수 있는지 먼저 확인해야 합니다. 빌드를 식별하지 못하는 공급사는 어떤 빌드를 측정했는지 설명할 수 없기 때문입니다.
데이터 경로는 고정된 프레임워크를 적용받는 규정 준수 문제입니다. 2025년 8월 1일부터 무선 장비 지침의 사이버보안 요구사항은 EN 18031 조화 표준 시리즈에 기술된 CE 마킹의 필수 구성 요소가 됩니다. 이 표준은 안전한 통신, 암호화, 안전한 저장, 사용자 동의, 식별된 취약점 처리 절차를 다룹니다. 음성 기능은 명백히 이 범위에 포함되며, 브랜드에 요구하게 될 근거는 기능의 정확성이 아니라 그 뒤에 있는 데이터 경로입니다.
이 모든 요소는 청구서에 비용으로 반영되지 않습니다. 바로이기 때문에 형식은 대개 간과됩니다. 협상 여지는 가격이 아니라 약속 구조에 있습니다. 펌웨어 변경 시 고지 의무, 오프라인 상태에서 성능이 저하되는 상태의 정의, 수정 계약서를 요구할 권리, 측정된 빌드와 출하 빌드가 동일한 기간, 그리고 평가 배치의 제품 수입니다.

8가지 측정 지표, 임계값 및 분모 규칙
샘플을 테스트하기 전에 아래 항목을 서면으로 요청하십시오. 오른쪽 열을 통해 출하 빌드를 실제로 측정한 공급사와 기능 설명만 제시한 공급사를 구분할 수 있습니다.
깨움률과 테스트 조건. 특정 환경에서 특정 횟수의 시도에 대한 성공률입니다. "매우 민감하다"는 모호한 답변이며, 가장 자주 나오는 답변이기도 합니다.
오작동률. 특정 환경에서 특정 횟수의 시도에 대한 비율입니다. 이 기능이 외부에서 사용할 수 있는지를 결정하는 측정 지표이며, 거의 보고되지 않습니다. 대화 도중에 말을 끊는 기기는 제대로 활성화될 때 얼마나 잘 작동하는지와 관계없이 착용자가 벗게 되는 제품입니다.
고정된 목록 기준 명령 성공률. 구매자가 제공한 목록을 기준으로 산출한 성공률입니다. "자연스러운 음성을 이해한다"는 모호한 답변이며, 구문 목록은 데모에서 사용하는 것이 아니라 고객이 사용하는 것이어야 합니다.
지연 시간과 네트워크 상태. 고정된 임계값과 명시된 네트워크 조건을 포함한 수치입니다. "매우 빠르다"는 모호한 답변입니다. 지연 시간은 기능이 민감하게 느껴지는지 고장 난 것처럼 느껴지는지를 가릅니다. 네트워크 조건에 따라 달라지므로 네트워크 상태를 측정 항목에 포함해야 합니다.
환경별 인식 정확도. 조용한 실내와 실제 환경 각각에 대한 수치입니다. "높은 정확도"는 모호한 답변입니다. 억양, 배경 소음, 특이한 어휘, 작은 목소리 모두가 정확도에 영향을 주며, 중요한 것은 고객이 사용하는 조건에 해당하는 수치입니다.
모국어 사용자가 평가한 번역 정확도. 고객에게 필요한 구문을 대상으로 한 평가입니다. "정확하게 번역한다"는 모호한 답변이며, 인사말은 잘 처리하지만 제품 설명을 제대로 번역하지 못하면 구매자에게 실패한 것입니다.
오프라인 동작. 네트워크를 끊었을 때 어떤 일이 발생하는지에 대한 서면 설명입니다. 이 주제에 대해 침묵하는 경우가 가장 흔하며, 이 분야에서 가장 빈번한 분쟁인 네트워크가 없는 상황에서 제품이 문서화된 대로 작동하는지 여부를 판단해 줍니다.
데이터 경로 및 동의 메커니즘. 기기에서 어떤 데이터가 외부로 나가는지, 어떻게 동의를 받는지에 대한 설명입니다. "데이터는 안전하게 처리됩니다"는 모호한 답변이며 아무 의미가 없습니다.
펌웨어 빌드 및 업데이트 방식. 빌드 식별자와 출하된 제품의 업데이트 방법입니다. "앱을 통해 업데이트한다"는 모호한 답변입니다.
모델 지정. 정확한 구성에 대한 공개된 지정 명칭입니다. 시리즈명만 제시하는 것은 모호한 답변이며, 두 구성을 서로 비교하더라도 어느 것도 식별할 수 없다는 뜻입니다.
시도 횟수가 없는 비율은 비율이 아닙니다. 이 목록의 모든 비율에는 분모, 시도 목록, 환경이 필요합니다. 조용한 사무실에서 10회 시도하여 측정한 "98% 깨움률"은 거리에서 300회 시도하여 측정한 "85% 깨움률"보다 나쁜 수치이며, 둘 중 어느 것도 아무것도 예측하지 못하는 수치입니다. 이 분야에서 가장 흔한 오류이며, 분모가 없이는 드러나지 않습니다.
오탐률은 기술적 비고가 아니라 사용성 관건입니다. 구매자가 이를 어느 수준으로 설정하느냐는 해당 제품이 어디에서 판매될 수 있는지를 결정하는 제품 선택입니다. 같은 기기라도 회의실과 거리는 서로 다른 시장입니다.
빌드 번호는 측정 결과를 보존할 가치가 있는 컬럼입니다. AI 기능은 빌드마다 달라지며, 빌드 번호가 없는 측정값은 재현하거나 근거를 제시할 수 없습니다. 공급업체가 빌드명을 밝히지 못한다면 어떤 것을 측정했는지 알려줄 수 없습니다.
모든 행에 적용되는 경고 하나가 있습니다. 이 수치들은 공급업체 간에 직접 비교할 수 없습니다. 서로 다른 구현은 서로 다른 구문 목록, 네트워크, 시도 횟수, 성공적인 활성화의 정의를 사용합니다. 표를 작성하기 전에 자체 측정값과 공급업체 수치를 구분할 컬럼을 정하고, 메모 없이 한 행에 두 값을 섞어 넣지 마십시오.

여러 기기에서, 두 환경에서 시트를 두 번 실행하기
1. 첫 테스트 전에 측정 시트를 만드십시오. 5개 컬럼만 사용하십시오. 테스트, 조건, 시도 횟수, 결과, 펌웨어 빌드 번호와 날짜입니다. 컬럼이 더 많은 시트는 채워지지 않으며, 채워지지 않은 시트는 시연에 불과합니다.
2. 기능이 핵심적인 경우 같은 빌드의 기기 2~3대를 테스트하십시오. 한 샘플에서는 작동하고 다른 샘플에서는 실패하는 기능은 수율 문제이며, 수율 문제는 단일 기기 테스트에서는 드러나지 않습니다.
3. 시연용 기기가 아니라 새 휴대폰과 함께 출고 상태의 기기를 테스트하십시오. 시연용 기기에는 계정이 연결되어 있고, 언어와 지역이 설정되어 있으며, 작동이 확인된 네트워크가 연결되어 있습니다. 출고 상태의 기기는 고객이 받는 제품이며, 두 기기의 차이는 회의실에서는 작동하지만 고객의 부엌에서는 작동하지 않는 기능의 가장 흔한 원인입니다.
4. 두 환경에서 테스트하고 두 결과를 모두 보고하십시오. 모든 비율에는 조용한 실내에서의 값과 거리에서의 값이 있으며, 둘 중 후자만 고객 경험을 예측할 수 있습니다. 둘 중 하나만 보고하는 것은 어떤 고객을 대상으로 판매할지 선택하는 것과 같습니다.
5. 자신이 사용하는 구문이 아니라 고객이 사용할 구문을 사용하십시오. 실행할 때마다 스크립트를 바꾸면 두 회차의 결과를 비교할 수 없습니다. 이는 가장 흔한 오류 형태입니다. 구문 목록을 결과와 함께 보관하십시오.
6. 전체 시트를 서로 다른 이틀에 두 번 실행하십시오. 두 실행 결과의 큰 차이는 잡음이 아니라 조사할 사항으로 다루십시오. 실행 사이에 성공률이 20%포인트 변동하는 기능은 불안정하며, 그 기능을 기반으로 만든 제품은 고객 경험이 복권에 달려 있는 셈입니다.
7. 측정하지 말고 데이터 경로를 확인하십시오. 네트워크 동작을 관찰하고, 문서에 명시된 내용과 비교한 뒤 그 비교를 기록하십시오. 이는 수치가 아니라 문서와의 비교이므로 실험실이 아니라 실사 Due Diligence 파일에 넣어야 합니다.
8. 실제로 출시될 빌드로 시트를 반복하십시오. 상업적으로 중요한 측정값은 고객이에 들고 있을 빌드로 측정한 값입니다. 해당 빌드가 샘플보다 늦게 도착한다면 그 빌드로 시트를 다시 실행해야 합니다.
AI 기능 프로그램이 실패하는 네 가지 방식과 협상할 가치가 있는 조건
기능을 상품 목록에서 알렸지만 고객의 회의에서는 실패합니다. 근본 원인: 오탐률을 측정하지 않고 웨이크율만 측정했습니다. 예방책: 두 지표를 모두 측정하고, 제품 페이지를 작성하기 전에 오탐 임계값을 설정하십시오.
업데이트 후 어시스턴트가 작동하지 않는다고 고객이 보고합니다. 근본 원인: 측정값을 특정 빌드에 연결했지만 재테스트 없이 빌드가 변경되었습니다. 예방책: 모든 결과에 빌드 번호를 기록하고, 실제로 출시될 빌드를 대상으로 시트를 다시 실행하십시오.
번역 성능을 주장했지만 대상 언어 검토자가 승인하지 않습니다. 근본 원인: 대상 언어의 모범 화자가 아닌 사람이 인사말이 아닌 실제 업무 구문을 대상으로 정확성을 평가했습니다. 예방책: 대상 언어의 모범 화자가 고객에게 필요한 구문을 채점하게 하고, 구문 목록을 기록하십시오.
제품이 시연 국가에서는 작동하지만 출시 시장에서는 실패합니다. 근본 원인: 한 지역에서 하나의 네트워크를 사용해 측정했습니다. 예방책: 출시 시장에서 고객이 사용할 네트워크를 통해 시트를 실행하고, 두 결과 세트를 모두 보고하십시오.
AI 기능 프로그램은 기능 자체가 제품이고 샘플 수가 신뢰 구간을 결정하므로, 하드웨어 프로그램보다 평가용 기기에 상대적으로 더 많은 예산을 사용합니다. 시간을 들여 협상할 가치가 있는 조건은 다음과 같습니다.
- 최소 주문 수량 및 평가 장치 수입니다. 이 수량은 하드웨어 카테고리보다 높아야 합니다. 표본 수가 곧 신뢰구간이기 때문입니다.
- 포장 및 인서트 디자인입니다. 시장 라벨, 문서 패키지의 언어, 동의 문구를 포함하며, 이 카테고리에서는 인서트가 아니라 규정 준수를 위한 문서입니다.
- 표본 승인 이정표에 맞춘 배송 분할입니다. 표본 승인은 가격 할인보다 훨씬 쉽게 허가되는 경우가 많습니다.
- 지급 기준점입니다. 계약서 서명 시- 보증금, 검수 승인을 받을 때 지급할 잔금, 문서 패키지에 대한 유보금이 이에 해당합니다.
- 대응 시간을 명시한 보증 기간과 반품 정책입니다. 사전 통지 없이 변경될 수 있는 기능을 고려해야 합니다.
기능 프로그램에서 견적은 하지만 협상하지 않는 두 가지 비용이 있습니다. 인증 비용과 인증 리드타임은 주문 규모가 아니라 절차와 시험 기관에 따라 결정되며, 연결 제품의 경우 Radio Equipment Directive의 사이버보안 요건까지 포함합니다. 금형 비용은 통상 퍼스트 오더에 걸쳐 상각됩니다. 여기서 두 가지를 도출할 수 있습니다. 비용을 분산시킬 대상 물량과, 프로그램을 중단할 경우 금형이 남는 위치입니다. 그 아래에는 업데이트 경로가 있습니다. 빌드 번호와 업데이트 방식을 명시할 수 없는 공급업체는 사전 계약 통지 없이 기능이 변경될 수 있다고 알려주는 것이며, 이는 단위 가격보다 큰 상업적 위험을 의미합니다.
보증금 지급 전에 요청해야 할 파일은 다음과 같습니다. 펌웨어 빌드 식별자 및 업데이트 방식, 발행 기관과 유효기간이 포함된 인증서 번호, 정확한 모델 명칭에 대한 적합성 선언, 데이터 경로와 동의 방식에 대한 서면 설명, 그리고 견적서에 기재된 모델 명칭입니다.
AI 기능 보장을 보호하는 계약 조항은 다음과 같습니다. 인증서 번호를 첨부한 모델 명칭을 별도 항목으로 기재하는 조항, 측정 시트와 고정 임계값을 참조하는 표본 승인 기준, 어시스턴트 동작에 영향을 미치는 펌웨어 변경 전에 통지하여 구매자가 다시 시험할 수 있도록 하는 조항, 측정된 빌드가 출하 빌드로 유지되는 것으로 정한 기간, 그리고 표본이 승인 기준을 충족하지 못할 때 어느 당사자가 비용을 부담하는지에 관한 조항입니다.
측정한 현장 서비스 어시스턴트와 공개할 수 있는 한계
실제 고객 프로젝트가 아니라 가상 시나리오를 생각해 보겠습니다. 현장 서비스 채널을 위해 기존 카메라 제품 라인에 어시스턴트를 추가하는 브랜드 측 구매자를 가정합니다. 최종 사용자는 시끄러운 환경에서 작업하며, 장갑을 착용할 수 있고, 함께 대화하는 파트너와 제품을 사용할 것입니다.
첫 번째 단계: 요구사항. 현장 순회 중 소리가 시끄러운 장소에서, 근처에서 파트너가 대화하는 상황에서 음성 메모를 기록하기 위해 어시스턴트가 필요합니다. 이 한 문장이 임계값을 정합니다. 오작동 비율은 파트너의 대화가 기기를 작동시키지 않을 만큼 낮아야 하고, 웨이크 속도는 현장 근무자가 실제로 사용할 문구 목록으로 측정해야 하며, 인식 정확도는 조용한 환경이 아니라 시끄러운 조건에서 보고해야 합니다.
두 번째 단계: 시트. 구매자는 5개 열로 시트를 작성하고, 표본이 도착하기 전에 임계값을 확정하며, 같은 메시지에서 공급업체에 빌드 번호와 업데이트 방식을 요청합니다. 그런데 공급업체는 분모와 빌드 정보가 없는 웨이크 속도와, 오작동 동작에 대한 "매우 민감하다"는 설명만 반환합니다. 두 답변 모두 결과가 아니라 조사 사항으로 파일에 기록됩니다.
세 번째 단계: 장치. 동일한 빌드의 장치 3대를 시험합니다. 새 휴대폰을 연결한 개봉 직후 장치로, 조용한 실내와 거리에서 각각 시험합니다. 웨이크 속도는 거리에서 공급업체가 제시한 수치보다 현저히 낮습니다. 공급업체 수치는 조용한 실내에서 측정된 값이었습니다. 또한 3대 중 1대에서 다른 2대에서는 나타나지 않은 오작동이 발생합니다. 장치 간 차이는 더 중요한 조사 사항입니다. 제품 문제가 아니라 수율 문제이기 때문입니다. 이로 인해 질문은 "좋은가"에서 "제품 페이지에하기에 일관성이 충분한가"로 바뀝니다.
네 번째 단계: 재시험. 2일 후 동일한 장치로 전체 시트를 다시 실행했을 때 웨이크 속도가 크게 변합니다. 이것은 웨이크 속도를 아예 공개하는 논의에 종지표를 찍는 조사 사항이며, 구매자를 제품이 실제로 유지할 수 있는 주장으로 방향을 바꿉니다. 어시스턴트가 존재하고, 문구 목록에 반응하며, 명시된 빌드에서 측정되었다는 것입니다.
다섯 번째 단계: 상업적 구조. 구매자는 어시스턴트에 영향을 미치는 펌웨어 변경에 대한 고지 의무를 구매서에 명시하고, 저하된 상태를 결함이 아니라 허용되는 동작으로 정의하며, 설명을 실제로 출하되는 빌드에 연결하고, 첫 배송을 샘플 승인 이정표와 연계해 나눕니다. 그 결과 데모가 시사하는 수준이 아니라 증거로 뒷받침되는 수준에서만 기능을 주장하게 됩니다.
우리의 입장 자체는 문서로 뒷받침되는 AI 기능만 공개하고 나머지는 미완성으로 표시하며, 그 설명을 믿기보다 구매자가 직접 측정하도록 하는 것입니다. 우리 카탈로그는 AI 카메라 안경 제품군의 주요 기술로 AI 음성 어시스턴트를 명시하고, 독립 사이트에서는 오디오 모델인 K01의 AI 번역을 소개합니다. 따라서 이를 사양이 아니라 우리 마케팅 자료에서 관찰한 사항으로 봅니다. 어떤 모델에 대해서도 웨이크업률, 오작동률, 명령 성공률, 지연 시간, 인식 정확도, 번역 정확도 또는 오프라인 동작을 공개하지 않으며, 그 어떤 수치도 추정하지 않겠습니다. 또한 데모 기기에서 측정한 수치를 상품 목록에 넣지 않습니다. 재현할 수 없는 수치는 고객이 앞에 있을 때할 수 없는 주장이기 때문입니다.
우리가 할 일은 알려진 펌웨어 빌드가 적용된 기기를 제공하고, 데모를 보내는 대신 측정표와 함께 작업하는 것입니다. 이 절차는 주문 전 스마트 글라스 AI 기능 테스트, 공급업체 질문은 AI 공급업체 검증, 피해야 할 주장 실수는 AI 공통 실수, 배경 정보는 AI 기능에서 확인할 수 있습니다.
다음 단계. 공개할 의도인 기능, 사용할 환경, 고객이 실제로 말할 문구를 목록으로 작성하세요. 샘플이 도착하기 전에 기준값을 확정하세요. 출고 상태의 기기 3대를 두 가지 환경에서 각각 두 번 측정하고, 모든 결과에 빌드 번호를 기록하세요. 이후 수치를 검토하며 어떤 기능을 페이지에 올릴 가치가 있고 어떤 기능은 그렇지 않은지 결정하세요.
관련 읽기
- 샘플 테스트 절차 — 주문 전 스마트 글라스 AI 기능 테스트
- 공급업체에게 먼저 물어볼 질문 — AI 공급업체 검증
- 피해야 할 주장 실수 — AI 공통 실수
공개할 의도인 기능과 환경을 알려주시면 측정표를 함께 작성해 드리겠습니다.



