스마트 안경 OEM/ODM 제조업체 · 중국 선전 +86 19835872450 sales@cynrin.com
스마트 안경 기술

스마트 글라스 AI 기능: 실제 품질 관리

AI 기능 품질 관리는 그 자체가 독특하기 때문에 구체적인 내용을 살펴보기 전에 짚어둘 가치가 있습니다. 이것이 이 분야의 엄격한 기준이 설명되는 이유입니다…

CYNRIN 엔지니어링 및 소싱 팀 제공/ Mar 28, 2023/ 3 분 읽기
스마트 글라스 AI 기능: 실제 품질 관리

AI 기능 품질 관리는 구체적인 내용을 다루기 전에 짚어둘 만한 독특한 점이 있습니다. 이 점이 이 범주의 모든 다른 품질 관리와-discipline이 다른 이유를 설명하기 때문입니다.

하드웨어 제품의 다른 모든 품질 관리 항목은 물리적으로 존재하는 요소를 검사합니다. 배터리가 전력을 보관하거나 보관하지 않는 것으로 드러납니다. 카메라가 초점을 맞추거나 맞추지 못하는 것으로 드러납니다. AI 기능은 다릅니다. 모델, 네트워크, 서비스, 언어 쌍, 입력 및 특정 시점에 따라 달라지는 동작입니다. 제품이 올바르게 조립되었더라도 기능이 고장 날 수 있으며, 이러한 고장은 공장에서 자주 간과됩니다. 공장의 네트워크, 공장의 계정 및 공장의 언어 설정이 고객의 환경과 다르기 때문입니다. 따라서 스마트 안경 AI 기능 스마트 글라스 품질 관리는 제작 단계가 아니라 실제 사용 지점에서 동작을 테스트하는 문제입니다.

스마트 안경 AI 기능: 네 가지 테스트 계층과 인수 승인 스크립트

스마트 안경 AI 기능: 벤치 테스트가 실패하는 이유

이 관리 체계를 설계해야 하는 구매 담당자

독자는 공급업체에 요구할 기준을 지정해야 하는 브랜드 품질 엔지니어 또는 소싱 관리자이며, 일반적인 입고 검수 체계가 적용되지 않는다는 것을 파악한 상태입니다. 이 체계는 하드웨어에는 적용되지만 서비스에 의존하는 동작에는 적용할 수 없습니다.

이 문서가 해결하는 것은 바로 이 실무적인 문제입니다. 구매 담당자가 요구할 수 있는 것은 세 가지입니다. 공장에서 수행하는 공장 테스트 체계, 구매 측에서 수행하는 인수 승인 체계, 그리고 양측이 함께 수행하는 공동 체계입니다. 이 범주에서 발생하는 혼란의 대부분은 특정 검사가 세 가지 중 어디에 속하는지 결정하지 않아서이며, 생산이 절반쯤 진행된 뒤에 필요한 계정이나 네트워크 상태에 접근할 수 없는 담당자가 아무도 책임지지 않는 검사를 수행하고 있는 사정을 발견하게 됩니다.

공장 테스트만으로 부족한 세 가지 이유와 각각의 결과

1. 계정과 구독. 계정, 로그인 또는 구독이 필요한 기능은 공장에서 완벽하게 작동하더라도 로그인하지 않은 고객, 체험 기간이 만료된 고객 또는 잘못된 요금제를 이용하는 고객에게는 전혀 작동하지 않을 수 있습니다. 증상은 기능이 작동하지 않는다고 말하는 고객이며, 공장이 제시하는 정상 작동 증거는 아무런 가치가 없습니다. 이를 확인하려면 신규 계정 테스트와 만료된 요금제 테스트가 필요하며, 두 테스트 모두 공장이 보유하고 있지 않은 자격 증명이 필요합니다.

2. 네트워크와 지역. 클라우드 서비스에서 실행되는 기능은 서비스의 가용성, 고객의 지역 및 현지 네트워크에 따라 달라집니다. 한 국가의 한 네트워크에서 수행한 공장 테스트로 다른 국가에 있는 고객에 대해서는 아무것도 증명할 수 없습니다. 증상은 특정 시장에 집중되는 반환 제품군이며, 이는 시장 문제처럼 보이지만 실제로는 네트워크 또는 지역 설정 문제인 경우가 많습니다.

3. 언어와 입력. 번역 또는 음성 기능이 공장 환경에서는 작동하더라도 고객의 언어, 억양, 소음 환경 또는 테스트 세트에 포함되지 않은 표현을 처리하지 못할 수 있습니다. 이는 결함이 아니라 범위 경계이며, 반드시 문서로 남겨야 합니다. 이를 확인하려면 구매 측의 자체 문구 세트를 구매 측 환경에서 실행해야 합니다.

세 가지 요인은 각각 서로 다른 고장을 만들어 내며, 어느 것도 공장 테스트로는 확인할 수 없습니다. 이것이 아래에 제시하는 4개 계층 구조의 전체 근거입니다.

스마트 안경 AI 기능을 보여주는 AI 생성 사진: 실무 환경의 품질 관리 — 이미지 1/3

네 가지 테스트 계층과 각 계층이 증명할 수 있는 범위

1단계: 하드웨어

마이크가 음성을 캡처하는지, 프로세서가 정상적으로 실행되는지, 네트워크 라디오가 작동하는지, 전원 관리가 적절하게 동작하는지를 확인합니다. 이는 공장 테스트이며, 대부분의 품질 관리 시스템이 이미 다루고 있는 계층입니다. 이 계층은 잘 관리할 필요가 있습니다. 전체 스택에서 교체로 해결할 수 있는 고장이 이 계층에서 발생하는 고장뿐이기 때문입니다.

2단계: 서비스

엔드포인트가 응답하는지, 계정이 사용을 승인하는지, 구독 상태가 호출을 허용하는지, 지원되는 지역인지 확인합니다. 이 계층은 고객과 유사한 구성에서 유효한 자격 증명을 필요로 합니다. 공장의 자체 계정으로 공장 테스트를 수행할 수 없는 이유는 공장 계정에는 권한이 있지만 고객 계정에는 권한이 없기 때문입니다. 권한이 있는 계정과 권한이 없는 계정의 차이는 바로 고객이 경험하는 차이입니다.

3단계: 동작

명령어 세트, 지연 시간, 정확도, 범위 밖 요청 처리, 소음 환경에서의 성능 저하를 확인합니다. 데모는 유리한 단일 사례에 불과하고 동작은 분포를 가리므로, 이 계층은 시연하는 대신 스크립트로 실행해야 합니다. 이 문서에서 설명하는 이유로 이 스크립트는 구매 측에서 제공해야 합니다.

네 번째 계층: 경험

페어링, 최초 실행 설정, 애플리케이션의 요청 실패 처리 방식, 네트워크가 끊겼을 때 고객이 보는 화면입니다. 반품이 발생하는 계층이며, 제품을 한 번도 사용해 본 적 없는 사람이 있어야 테스트할 수 있기 때문에 아무도 테스트하지 않는 계층이기도 합니다.

수용 테스트 스크립트와 각 항목의 책임자

각 계층이 증명할 수 있는 것과 없는 것

계층을 분리하는 이유는 각 계층이 서로 다른 유형의 증거를 만들고, 책임자도 다르기 때문입니다.

첫 번째 계층은 명세에 대한 테스트 기록을 만들며, 공장에서 작성할 수 있습니다. 두 번째 계층은 엔드포인트와 계정 로그를 만들며, 구매자 계정이 필요합니다. 세 번째 계층은 제품 단위별 결과표를 만들며, 스크립트는 구매자가 작성해야 합니다. 네 번째 계층은 세션 관찰 기록을 만들며, 사용자는 구매자여야 합니다.

이렇게 하면 이 카테고리에 대해 구매자가 가장 Frequently ask하는 질문에 명확하게 답할 수 있습니다. 이 제도를 어느 정도까지 공장에 위임할 수 있는가입니다. 정직한 답은 최하위 계층과, 브랜드가 제공하는 테스트 계정으로 공장이 사용할 권한을 받아 실행할 수 있는 서비스 계층의 일부입니다.

수용 테스트 스크립트와 그 책임자

8개 항목

  1. 20개 명령 세트를 공급업체가 아닌 구매자가 작성해야 합니다. 각 항목은 사용 사례에서 해당 기능이 반드시 수행해야 하는 작업입니다. 이 스크립트는 한 번이 아니라 모든 샘플에서 실행해야 합니다.
  2. 측정되는 지연 시간. 실제로 사용할 환경에서 음성 종료 시점부터 응답 시작 시점까지의 시간입니다. 조용한 사무실에서 즉각적으로 작동하는 기능이 거리에서 동일하게 작동하는 것은 아닙니다.
  3. 네트워크 의존성 결과. 연결을 끊은 상태에서 여전히 작동하는 기능은 무엇인지 확인합니다. 어떤 명세보다도 이 단일 테스트가 아키텍처를 잘 보여 줍니다.
  4. 4가지 실패 시나리오의 동작. 모호한 입력, 범위를 벗어난 요청, 다른 언어로 입력한 요청, 시끄러운 환경에서 입력한 요청입니다. 각 시나리오에서 사용자가 보는 화면이야말로 정상적인 기능과 결함을 만들어 내는 장치의 차이입니다.
  5. 계정 및 구독 상태. 최소 두 번 테스트해야 합니다. 한 번은 신규 계정에서, 다른 한 번은 구독이 만료된 계정에서 테스트합니다.
  6. 지역 및 네트워크 차이. 서로 다른 네트워크에서 최소 한 번 테스트하고, 제품을 여러 국가에 판매한다면 각 국가의 네트워크에서도 한 번씩 테스트해야 합니다.
  7. 업그레이드 경로. 출하된 펌웨어 버전에서 현재 버전까지의 경로와, 이전 버전을 사용하는 고객이 겪는 경험을 확인해야 합니다. 이 테스트는 건너뛴 뒤 나중에 후회하게 되는 테스트입니다.
  8. 데이터 처리 방식. 오디오와 결과 데이터가 어디에서 처리·저장되는지, 그리고 고객이 애플리케이션에서 무엇을 보게 되는지 확인해야 합니다. 이는 품질 관리에서 답할 수 없는 법적 문제이며, 테스트가 의미 있으려면 먼저 답해야 합니다.

품질 관리 게이트 순서

구매자가 스크립트를 작성해야 하는 이유

이것은 전체 제도에서 가장 논쟁적인 부분이며, 단정하기보다 제대로 검토할 가치가 있습니다.

공급업체는 어떤 경로가 작동하는지 알고 있습니다. 이는 실제 전문성이며, 그래서 스크립트에 대한 조언을 공급업체에 요청해야 합니다. 그러나 고객이 실제로 무엇을 요청할 수 있는지 아는 유일한 당사자는 구매자이며, 20개의 명령은 고객이 실제로 수행할 20가지 행동을 나타내야 합니다. 공급업체가 작성한 스크립트는 공급업체의 가정을 기준으로 공급업체의 제품을 평가하므로, 매번 통과할 수밖에 없습니다.

두 가지 요구 사항을 모두 충족하려면 구매자가 먼저 20개의 명령을 작성하고, 테스트를 실행하기 전에 공급업체가 이에 의견과 수정 제안을 제출하게 해야 합니다. 목록에 대한 책임은 구매자에게 유지하고, 공급업체에는 이 구성에서 달성할 수 없는 항목이 세 개 있다는 지적할 권리를 줍니다. 이는 listings에 어떤 내용을 기재할 수 있는지 예고하는 조기 경보가 될 수 있으므로 그 자체로도 유용한 정보입니다.

스크립트를 인수 기준으로 만들기

스프레드시트에 두는 것이 아니라 구매서에 포함된 스크립트는 기준이 아니라 테스트에 불과합니다. 기준값은 미리 문서화해야 하며, 구매자가 실패를 감수할 만큼 엄격한 수치여야 합니다. 현실적인 기준은 다음과 같이 단순합니다. 지정된 환경에서 성공해야 하는 20개 명령의 개수, 오프라인 상태에서도 유지되는 기능 목록, 지연 시간의 상한, 그리고 4가지 실패 시나리오에서 합의된 동작이 나타나야 한다는 조건입니다.

실패에 대한 합의는 실패의 결과에 대해서도 이루어져야 합니다. 이 범주에서 통상적인 합의 방식은 시험 생산 로트가 실패하면 출하하지 않고, 두 번째 평가 라운드 비용을 공급업체가 부담한다는 것입니다. 두 번째 조항이 바로 협상할 가치가 있는 부분입니다. AI 기능은 최초 인수 검사에서 실패할 가능성이 가장 높은 제품 요소이며, 두 번째 라운드의 비용을 부담하지 않으려는 공급업체는 첫 번째 라운드에 얼마나 확신을 두고 있는지 구매자에게 보여 주는 셈입니다.

스마트 안경 AI 기능을 설명하는 AI 생성 사진: 실제 품질 관리 — 이미지 2/3

입고 검사와 동작 테스트의 경계

구분 기준과 상업적 의미

입고 검사는 규격에 따라 로트별로 통과 여부를 판단하는 절차입니다. 규격이 물리적으로 존재하는 요소를 기술하고 있을 때는 잘 작동하지만, 동작을 검사할 때는 효과가 없습니다. 따라서 이 구분선은 공정 단계가 아닙니다. 네트워크나 계정, 서비스에 의존하지 않고, 담당자가 단말기를 들고 서면 규격과 대조하여 검사를 수행할 수 있는지가 기준입니다.

이 경계선 왼쪽의 모든 항목은 입고 검사이며, 출하 승인 기준으로 공급 계약에 포함해야 합니다. 오른쪽의 모든 항목은 인수 테스트이며, 구매자의 자원과 구매자의 테스트 스크립트를 첨부한 프로그램 계획에 포함해야 합니다.

테스트 계층, 필요한 환경 및 산출물

로트 출하 승인의 실제 요구 사항

당사 제품군에 포함된 카메라 모델의 로트 출하 승인은 비교적 간단합니다. 해당 모델의 공개 규격과 단말기가 일치해야 합니다. 해상도 등급, 셀 용량, 충전 동작, 작동 시간 범위, 충전 방식이 모두 맞아야 하며, 인증 체크리스트에 있는 모델별 인증서 등록와 배터리 운송 관련 문서가 해당 구성에 대해 보관되어 있어야 합니다.

AI 기능을 포함한 로트의 경우 동일한 출하 승인을 위해 하드웨어에는 선례가 없는 산출물을 하나 추가해야 합니다. 특정 펌웨어 빌드와 특정 계정 구성에 연결된 인수 스크립트 결과표입니다. 이 산출물이 없으면 로트는 하드웨어 성능만 기준으로 승인되고 기능 상태는 알 수 없게 됩니다. 바로 이 상황을 방지하기 위해 전체 문서가 작성되었습니다.

이 경계선에 관해 실무적으로 짚어야 할 점이 하나 더 있습니다. 테스트 스크립트 자체는 수량 기준으로는 저렴하지만 조율은 비쌉니다. 출하 대상 빌드의 두 대에서 20개의 명령을 수행하고 네트워크를 끈 상태로 구매자 환경에서 테스트해야 하기 때문입니다. 이러한 조달 비용 때문에 인수 테스트를 앞선 시점에, 양산 단계가 아니라 파일럿 단계에서 진행해야 하며, 구매자는 남은 단말기를 받는 대신 시험용 단말기를 미리 확보해야 합니다.

인수 테스트 비용 부담과 협상 사항

이러한 체계의 비용 분담은 일반적이지 않으며, 하드웨어 프로그램을 진행해 온 구매자들은 tend to 잘못 산정합니다. 하드웨어 계층 비용은 이미 단일 가격에 포함되어 있습니다. 서비스 계층 비용으로 브랜드는 테스트 계정, 소량의 데이터 트래픽, 계정 관리 담당자의 시간을 부담합니다. 동작 계층 비용으로 브랜드는 20개의 명령, 테스트 환경, 관찰표를 작성하는 인력을 부담합니다. 경험 계층 비용으로 브랜드는 외부인의 오후 시간을 부담합니다.

즉, 인수 비용의 가장 큰 부분은 공장이 아니라 구매자가 부담하며, 예산이 아니라 구매자 담당자의 시간과 노동에서 발생합니다. 따라서 주문 이후가 아니라 주문 이전에 세 가지 상업적 사항을 정리할 필요가 있습니다.

첫째, 첫 번째 평가가 실패할 경우 공급업체가 두 번째 평가 라운드 비용을 부담하는지입니다. AI 기능은 최초 인수 검사에서 실패할 가능성이 가장 높은 제품 요소이며, 두 번째 라운드의 비용을 부담하지 않으려는 공급업체는 첫 번째 라운드에 얼마나 확신을 두고 있는지 보여 줍니다.

둘째, 공급업체가 스크립트를 실행할 수 있는지입니다. 이는 어느 계층의 실행 권한이 주어져 있는지에 따라 달라집니다. 계정 구성을 보유한 공급업체는 동작 계층 테스트를 실행할 수 있지만, 보유하지 않은 공급업체는 실행할 수 없습니다. 그러면 전체 체계가 구매자가 공장으로 이동하거나 공장이 구매자 환경으로 이동하는 방식에 달려 있게 됩니다.

셋째, 산출물 형식입니다. 매번 테스트를 마칠 때마다 공장 담당자가 결과를 구매자 양식에 다시 입력해야 한다면, 기록의 신뢰성은 한분기 안에 무너집니다. 정해진 레이아웃에 빌드 식별자가 표시된 결과표가 있어야 생산 전 구간에서 활용할 수 있는 증거가 되며, 단일 캠페인에 국한된 자료에 그치지 않습니다.

스마트 안경 AI 기능을 설명하는 AI 생성 사진: 실제 품질 관리 — 이미지 3/3

AI 품질 관리 체계가 거짓 확신을 만드는 네 가지 방식

데모 경로만 테스트하는 것. 스크립트화된 데모는 공장 구성과 공장 계정으로 정상 동작 경로를 실행합니다. 이 요소들은 모두 통제된 변수이며, 주목할 만한 실패는 통제되지 않은 변수에서 발생합니다. 이는 가장 흔하고 가장 무해한 실수입니다. 감사에서 발견되는 경우가 아니라 일반적으로 현장에서 드러나기 때문입니다.

클라우드에 의존하는 기능을 하드웨어 기능처럼 취급하는 것. 어떤 기능이 서비스에 의존하는 순간, 공장이 통제할 수 없는 의존성이 생기며 시험 환경에도 이를 반영해야 합니다. 이는 가장 흔히 발생하는 구조적 오류이며, 서비스 장애를 보증금 청구 문제로 바꾸는 원인이 됩니다.

출하된 펌웨어 버전으로 시험하지 않는 것. 샘플에 설치된 버전과 생산 단위에 설치된 버전은 서로 다를 수 있으며, 문제는 바로 그 차이에 숨어 있습니다. 확인 방법은 간단합니다. 모든 결과 기록지에 빌드 식별자를 기록하면 됩니다. 하지만 누락의 대가는 큽니다. 빌드 간 동작 변화는 고객에게 전달될 때 결함과 구분할 수 없기 때문입니다.

공급업체에게 인수 기준의 책임을 넘기는 것. 평가 대상 당사자가 기준을 직접 작성했기 때문에, 동작을 입증할 근거 없이 대량 출하가 이루어지는 원인이 됩니다.

공장을 떠난 결함의 책임은 누구에게 있는가

이 문제들 에스컬레이션 문제

이 네 가지 오류에는 모두 하나의 공통 결과가 있으며, 상업적으로 가장 중요한 문제입니다. 책임 주체가 명확하지 않은 결함은 담당 부서에 배정할 수 없습니다. 서비스 장애, 만료된 요금제, 언어 설정 오류는 모두 고객에게 동일한 형태로 나타납니다. 기능이 작동하지 않는다는 것입니다. 그중 단위 교체로 해결되는 것은 두 가지뿐입니다. 따라서 책임 배분표는 기술 도표가 아닙니다. 한 번도 문제가 없었던 단위에 보증 예산을 쓸지 결정하는 규칙이며, 문제 분류와 대응은 교체 후가 아니라 교체 전에 이루어져야 합니다.

취할 수 있는 생산 관련 범위와 취할 수 없는 범위

공개 범위에 포함되는 내용

우리가 정하는 범위는 다음과 같습니다. AI 기능을 카탈로그에 기재된 그대로 공개하며, 이 제품군 모델에 대한 관련 정보가 공개되지 않았으므로 모델명, 지원 언어 수, 지연 시간, 오프라인 지원 여부 또는 구독 조건을 기능에 연결하지 않습니다. 마케팅 문구를 명세인 것처럼 반복하지 않으며, 카탈로그의 수출 인증은 개별 모델별 인증 항목이 아니라 회사 수준의 역량이므로 그 방식으로 제시하지 않습니다.

대신 공개된 구성을 정확히 알려 드리고, 여덟 가지 인수 검사 항목 중 어느 항목이 벤치 시험이 아니라 실시간 서비스와 고객과 유사한 계정을 필요로 하는지도 명확히 알려 드리겠습니다. 공장 품질 관리 체계로는 이러한 항목을 발견할 수 없기 때문입니다.

또한 기능에 관한 다음과 같은 상업적 질문을 명확히 답해 드립니다. 기기에서 실행되는지 서비스에서 실행되는지, 구독이 필요한지, 어떤 언어 쌍을 어느 방향으로 지원하는지, 데이터가 어디로 이동하는지입니다. 이 네 가지 답이 소매 상품 제안에 영향을 주며, 엔지니어링 문제가 아닙니다.

할 수 없는 일을 명확히 밝히기

어떤 모델에 대해서도 정확도, 지연 시간, 지원 언어 수, 오프라인 동작, 처리 위치 또는 데이터 경로를 공개할 수 없습니다. 명시된 조건에 따라 측정한 결과가 없기 때문입니다. 또한 스크립트의 동작 계층에 대한 통과율도 제공할 수 없습니다. 스크립트는 구매자의 것이며, 결과는 구매자가 사용하는 구문과 환경, 구매자의 계정 설정에 따라 달라집니다. 이 계층에 대해 일반적인 통과율을 공개하는 공급업체는 아무도 확인할 수 없는 스크립트로 산출한 수치를 공개하는 셈입니다.

대신 함께 시험을 진행할 수 있습니다. 스무 개의 명령, 실행 환경과 계정 설정을 보내 주시면, 지정하신 빌드와 지정하신 단위에서 실행하고 결과를 그대로 기록해 드리겠습니다. 이러한 문제를 정리하는 측정 기록지에는 AI 기능 측정을, 샘플 시험 프로토콜에는 주문 전 AI 기능 시험을 참고하실 수 있습니다. 일곱 번째 인수 검사 항목의 전제인 업그레이드 관련 considerations은 AI 기능 업그레이드 고려 사항에 있으며, 첫 번째 항목의 행을 만드는 명세서 읽기 방법은 AI 기능 데이터시트 읽기 방법에서 확인할 수 있습니다.

기능이 수행해야 하는 역할

기능이 무엇을 하기 위한 것인지 알려 주시면, 인수 스크립트에 무엇을 포함해야 하는지, 여덟 가지 항목 중 어떤 항목을 함께 실행할 수 있는지, 어떤 항목에 고객 계정과 환경이 필요한지 알려 드리겠습니다. 플랫폼에 관한 배경 정보는 AI 기능 기술에서, 관련 애플리케이션 영역은 AI 콘텐츠 제작 솔루션에서 확인하실 수 있습니다.


관련 글 읽기

기능이 무엇을 하기 위한 것인지 알려 주시면, 인수 스크립트에 무엇을 포함해야 하는지 알려 드리겠습니다.

WhatsApp에서 채팅
쿠키를 허용하면 이 사이트에서 더 나은 경험을 하실 수 있습니다.