이 사례는 실제 고객 프로젝트가 아니라 가상의 사례이며, 이 예시의 가치는 추론의 순서에 있으므로 사고실험 형식으로 작성되었습니다. 고객에 대한 설명, 수행한 프로젝트, 자체적으로 제시한 수치는 없습니다. 각 단계를 따라가거나 재사용할 수 있도록 시나리오, 모델 수, 시장을 가정했습니다.
이 사례에서 읽어볼 만한 이유는 원인이 불량 제품이 아니었고, 해결책도 교체 배치 생산이 아니었으며, 명세서에 공개된 모든 항목이 두 생산 실행에서 동일했다는 점입니다. 구매자가 일반적으로 비교하는 요소는 하나도 바뀌지 않았습니다. 그럼에도 프로그램은 실패했고, 6개월 동안 아무도 원인을 찾지 못했습니다.
이 사례에서 가장 유용한 부분은 마지막 조사 결과이며, 그래서 이 사례를 이야기가 아닌 이 순서로 제시했습니다.
스마트 글라스 품질 일관성: 고정된 명세서만으로 충분하지 않을 때
시나리오를 간결하게 설명하면
한 채널 브랜드가 오디오 안경 모델 2개에 대해 첫 번째 주문을 넣고, 6개월 후 같은 2개 모델을 다시 주문했습니다. 첫 번째 주문의 반품률은 낮고 특별할 것이 없었습니다. 두 번째 주문에서는 한 모델의 반품률이 증가했고 다른 모델은 그대로였으며, 모든 티켓에 기재된 이유는 동일했습니다. 제품이 케이스에서 하루 동안 나온 뒤 재연결되지 않습니다.
제품 명세에서 변경된 항목은 없었습니다. 펌웨어 버전은 출고 당시와 같았습니다. 포장 디자인도 같은 리비전였습니다. 배터리 용량, 충전 시간, 정격 사용 시간, Bluetooth 버전, 충전 방식, 케이스 용량은 두 생산 실행 모두 동일했고, 해당 모델들의 공개 명세 행과도 같았습니다.
구매자의 첫 반응은 한 모델의 반품률 증가가 결함처럼 보였기 때문에 공급업체 품질 문제라고 판단하는 것이었습니다. 하지만 그렇지 않았습니다.
첫 번째 주문이 단서가 되지 않은 이유
첫 번째 주문 덕분에 문제가 오랫동안 지속되었습니다. 왜 신호로 간주되지 않았는지 이해해 볼 필요가 있습니다.
첫 번째 주문은 규모가 작으므로 반품률을 산출할 제품 수가 적습니다. 더 중요한 것은 첫 번째 주문의 반품 데이터가 절대적인 수치로 낮았기 때문에 비교할 기준선이 없고, 넘어야 할 임계값도 없었다는 점입니다. 따라서 프로그램은 반품률이 바뀌었다는 것을 알지 못했고, 두 번째 주문이 더 나빠 보인다는 사실만 알았습니다. 처음부터 배치별 반품률을 기록했다면 두 번째 생산 실행의 첫 주에 변화를 확인했을 것입니다. 분기별 반품률을 추적했다면 늦게 발견했을 것이고, 같은 기간의 정상 모델 때문에 분기 수치가 희석되었을 것입니다.
이는 공급업체가 아니라 측정 설계와 관련된 첫 번째 재사용 가능한 교훈입니다. 측정하지 않은 비율은 에게 경고를 줄 수 없으며, 잘못된 분모를 기준으로 측정한 비율은 쓸모가 있기엔 너무 늦게 도착합니다.
첫 번째 조사가 무엇을 가정했고, 왜 막혔는가
첫 조사 방향은 뻔한 것이었습니다. 반품이 한 모델에 집중되어 있어 조사팀도 해당 모델에 초점을 맞췄습니다. 팀은 영향받은 모델의 제품을 가져와 실험실에서 시험했지만 아무것도 발견하지 못했습니다. 증상은 테스트베드에서 재현되지 않았습니다.
이 상황은 실제로 난처하며, 잘못된 대응은 반품이 고객 취급 문제라고 결론 내리는 것입니다. 올바른 대응은 시험하지 않은 것이 무엇인지 주목하는 것입니다. 증상은 한 모델에서 제품이 케이스 밖에 하루 동안 나온 뒤 재연결되지 않는 것이었지만, 원인이 반드시 그 모델에 있는 것은 아니었습니다. 프로그램에 포함된 두 모델은 공급망, 부품 목록, 공장을 공유했으므로, 공유 부분에 원인이 있었다면 한 모델에는 나타나고 다른 모델에는 나타나지 않을 수 있습니다.
팀의 실수는 영향받은 모델에 초점을 맞춘 데 있지 않았습니다. 정상 모델과 비교하지 않았고, 이전 생산 실행과 비교하지도 않았다는 데 있었습니다.

두 생산 실행을 비교한 결과
는 더 나은 시험이 아니라 더 나은 비교였습니다.
모델이 아니라 생산 실행을 비교하세요
각 생산 실행의 재고에서 제품 2개씩을 가져왔습니다. 신선하게 생산한 제품이 아니라 이전 생산분의 완성품이었습니다. 동일한 방식으로 시험한 결과, 두 번째 생산 실행의 4개 중 2개는 하루 이내에 증상을 재현했습니다. 첫 번째 생산 실행에서는 아무 제품도 재현하지 않았습니다.
중요한 점은 선별 방식에 있습니다. 공장은 사용자가 설정한 구성으로 중인 라인과 오늘 중인 라인을 보여줄 것입니다. 오늘 중인 라인은 현재 상태의 데모일 뿐, 이전 생산에 대한 증거는 아닙니다. 이전 생산에서 빼낸 완제품은 실제로 고객에게 배송된 제품이므로 증거가 됩니다.
규격은 바뀌지 않았지만 공급은 바뀌었습니다
이어 두 생산를 비교하자 구성품 목록에 주목했습니다. 두 생산 사이에 셀 공급업체가 명목상 동일한 용량으로 교체되었습니다.
구매자가 확인할 수 있는 모든 항목은 그대로였습니다. 대체 셀은 공개된 용량과 일치하도록 선정되었기 때문에, 셀 용량 수치는 전후가 같았습니다. 충전 시간, 정격 사용 시간, 충전 방식과 케이스 용량도 변하지 않았습니다. 구매자가 일반적으로 카탈로그와 대조해 확인하는 모든 행은 여전히 정확했고, 제품도 공개된 규격에 따른 검수 절차를 통과했습니다.
이 메커니즘을 정확히 명명할 필요가 있습니다. 명목상 동일한 값으로 이루어진 교체는 공개된 행을 바탕으로 하는 어떤 검사에서도 드러나지 않습니다. 공개된 행은 값을 설명할 뿐이며, 그 값은 바뀌지 않았기 때문입니다. 달라진 것은 그 값에 대응하는 품목 번호뿐이고, 품목 번호는 공개된 행에 포함되지 않습니다.
바뀐 동작
대체 셀이 전력 경로에서 무엇을 바꾸었든, 심한 방전 이후 재연결에 영향을 주는 방식으로 바뀌었습니다. 첫 번째 생산의 제품 두 개와 두 번째 생산의 제품 두 개는 공개된 행이 같았지만, 동일한 시험에서 서로 다른 동작을 보였습니다.
해당 동작에 대한 측정 데이터는 확보하지 못했으며, 업계 수치를 제시하지도 않겠습니다. 이 사례가 확립하는 것은 고장의 형태입니다. 공개된 어떤 행으로도 표현할 수 없는 동작 차이가, 서로 다른 두 생산의 제품에 동일한 방법을 적용해야만 발견되었습니다.
이미 수행된 두 가지 시험과 배제된 범위
생산 비교 이전에 팀은 광범위하게 시험했으며, 그 시험들이 무엇을 배제했는지 정확히 밝혀 둘 필요가 있습니다. 그 배제 범위 덕분에 이 사례는 6주 동안 불가능해 보였습니다.
실내 시험에서는 제품을 충전한 뒤 바로 작동시켰고, 시험을 통과했습니다. 따라서 충전 후 곧바로 사용하는 제품에서 나타나는 결함은 배제되었습니다. 이는 의미 있고 중요한 배제입니다. 그러나 제품을 장시간 사용하지 않은 후에만 나타나는 결함이나, 특정 생산의 제품에서만 나타나는 결함은 배제하지 못했습니다.
두 번째 시험은 영향을 받는 모델을 현재 생산된 제품에서 한 대씩 검사한 것으로, 이 역시 통과했습니다. 따라서 표본으로 확인된 해당 모델의 현재 생산에 있는 결함은 배제되었습니다. 그러나 이전 생산에만 특정한 결함은 배제하지 못했습니다. 비교할 이전 생산 자체가 없었기 때문입니다. 이는 보관 제품 대조가 다루는 핵심입니다.
두 시험 모두 잘못된 것이 아니며, 어느 것도 시간이 낭비된 것이 아닙니다. 실수는 두 가지 배제 범위를 일반적인 무죄 확정에 취급한 것이었습니다. 통과한 시험은 해당 시험에서 검증한 조건만 배제하며, 그 밖의 조건은 배제하지 않습니다. 시험이 검증한 조건을 기록하는 원칙은 이후 수용 기준 검사표가 재연결 검사에 적용한 원칙과 같습니다. 이 프로그램에는 벤치 시험에 대한 방법이 있었지만 수용 기준에 대한 방법은 없었습니다. 그래서 벤치 시험은 정밀했지만, 수용 기준은 작동하는 모든 제품을 통과시킬 수 있었습니다.
위의 표는 이 사례의 핵심입니다. 다섯 개의 공개된 행은 두 생산 모두에서 일치했지만, 문제는 결국 발생했습니다. 여섯 번째 행인 셀 품목 번호만 변경되었으며, 이 행은 카탈로그에 공개되지 않습니다.
공급업체가 이 사실에 이의를 제기하지 않은 이유
두 배치가 제시된 뒤에도 공급업체는 이 조사 결과에 이의를 제기하지 않았습니다. 그 이유는 품질 실패와 관리 실패를 구분하는 핵심이므로 짚어 둘 필요가 있습니다.
공급업체는 교체를 숨기지 않았습니다. 자료에 허위 내용은 없었습니다. 부족했던 것은 메커니즘입니다. 핵심 구성품을 변경하기 전에 승인을 받도록 공급업체에 요구한 사람이 없었습니다. 따라서 변경은 일반적인 구매 결정으로 이루어졌고, 이 변경이 중요한지에anyone이 알아차릴 수 있는 위치에 있는 사람은 없었습니다. 이는 부실함이 아니었습니다. 양쪽 모두 한 번도 문서로 정립되지 않았던 관리 절차를 부재한 것이었습니다.
이 타임라인은 6개월이 어떻게 흘러갔는지를 보여줍니다. 교체는 두 생산 사이의 공백 시기, 어떤 생산도 진행 중이지 않아 기록이 작성되지 않는 시점에 발생했습니다. 증상이 나타났을 때, 그 원인을 판단하는 데 필요한 증거는 이미 3개월 전의 것이었으며 재고에서 재구성해야 했습니다.

문제를 종결한 세 가지 관리 장치
세 가지가 바뀌었으며, 그 순서는 다음과 같습니다. 어느 것도 다른 공급업체를 요구하지 않았습니다.
구매 주문서에 첨부한 부품 목록
핵심 부품 — 그중에는 배터리도 포함 — 은 부품 번호로 구매 주문서에 기재했으며, 대체품을 사용하기 전에는 서면 승인이 필요하다는 규칙을 두었습니다. 중요한 것은 바로 이 규칙입니다. 승인 규칙이 없는 부품 목록은 설명에 불과하지만, 규칙이 있으면 대체품 변경은 구매자가 참여하는 협상이 됩니다.
세 가지 통제 방법 중 가장 저렴하면서도 전체 실패를 막았을 방법입니다. 구매 주문서에 한 줄을 추가하고 서명을 받는 것으로 충분합니다.
설명이 아닌 방법을 담은 검수 기준표
재연결 점검은 작동하는 제품에 대한 설명이 아니라, 연결, 분리, 재연결을 두 번 수행하는 방법으로 정의했습니다. 두 번째 주문의 모든 기준은 서류상 충족되었지만, 어느 것도 이 문제를 잡지 못했을 것입니다. 완전히 충전한 직후 시험대에서 재연결되는 제품도 ‘제품이 재연결된다’는 기준을 충족하기 때문입니다.
이 방법은 설명으로는 담아낼 수 없는 두 가지를 추가했습니다. 하나는 완전 방전이라는 실패를 유발하는 조건이고, 다른 하나는 일시적인 현상과 우연한 일치를 구분하는 반복 횟수입니다. 시험한 제품 수는 많지 않지만, 제품별 시도 횟수 덕분에 결과를 반복할 수 있었습니다.
모든 생산)에서 보관한 제품 한 대
각 생산)에서 나온 제품 한 대를 보관하고 해당 생산) 표시하여, 향후 비교할 때 비교 기준을 확보합니다. 이 통제 방법이 있었다면 조사를 6개월에서 6주로 단축할 수 있었을 것입니다. 첫 번째 생산)의 제품을 두 번째 생산)의 제품과 비교해 볼 수 있었기 때문입니다. 지금처럼 사용할 수 없다는 사실이 나중에야 발견되지 않았을 것입니다.
생산)마다 제품 한 대를 보관하는 비용은 제품 한 대입니다. 세 가지 방법 중 비용이 가장 적으면서도 가장 자주 누락되는 방법입니다.
세 가지 통제 방법의 비용과 승인된 이유
이 방법들이 유용한 이유는 세 가지 모두 저렴했기 때문입니다. 구매자가 통제 방법을 추가할 때 만나는 저항은 거의 항상 돈 때문이 아닙니다. 노력에 관한 문제이며, 한 번도 문제를 발견하지 못한 통제 방법은 서류 작업에 들 worthy할 가치가 없다는 믿음에 관한 문제입니다.
부품 목록의 비용은 구매 주문서에 한 줄을 추가하고 대체품마다 서명을 받는 것입니다. 검수 기준표의 비용은 첫 생산) 전에 초안 작성 세션을 한 번 진행하는 것이며, 이후의 논쟁을 없애 줍니다. 보관 제품의 비용은 생산)마다 제품 한 대입니다. 총비용으로 보면 세 가지 통제 방법 모두 반품 한 건의 배송비보다 저렴합니다. 이들을 승인한 근거는 품질 때문이 아니었습니다. 해당 프로젝트가 6개월과 대액 공제 메모를 들여을 얻는 대신, 세 가지 작은 통제 방법으로 처리할 수 있었다는 이유였습니다.
이들이 승인된 이유는 권고할 가치가 있는 이유와도 같습니다. 각각 프로젝트에 이미 존재했던 시점에 연결되어 있었습니다. 부품 목록은 구매 주문서에, 검수 기준표는 최초 제품에, 보관 제품은 생산)의 종료에 연결되어 있었습니다. 새로운 회의, 새로운 시스템 또는 새로운 습관이 필요한 통제 방법은 방치되기 쉽지만, 기존 단계에 연결된 통제 방법은 실제로 사용됩니다.

사양서로는 전달할 수 없지만 이 사례가 알려 주는 것
모델이 아니라 생산)을 비교하세요
증상은 한 모델에서 나타났지만 원인은 두 모델 모두에 있었습니다. 영향을 받은 모델만 조사한 구매자는 아무것도 발견하지 못했을 것이며, 실제로 처음 6주 동안 그렇게 진행되었습니다.
이 교훈의 일반적인 형태는 기억해 둘 가치가 있습니다. 프로젝트의 한 제품에서 나타난 증상은 그 제품에 관한 정보이며, 원인은 공통 부분에 있는 경우가 많습니다. 설명되지 않는 편차를 발견했을 때 가장 먼저 해야 할 질문은, 영향을 받은 제품이 정상 제품과 무엇을 공유하고 있는지입니다.
라인이 아니라 재고에서 샘플을 확보하세요
공장은 고객 사양에 맞춰 라인이 돌아가는 모습을 보여 주지만, 오늘 돌아가는 라인은 오늘의 상태만 알려 줍니다. 이전 생산)에서 인출한 완제품이야말로 증거이며, 확보하기는 더 어려워 요청이 자주 이루어지지 않는 이유이기도 합니다.
실질적으로 필요한 요청은 간단합니다. 이전 생산)에서 두 대, 현재 생산)에서 두 대를 동일한 방식으로 시험하는 것입니다. 이 요청을 계약서에 명시할 권리를 갖는 것이 중요합니다. 이미 납품된 생산)의 재고를 공급업체가 보관하고 있어야 하기 때문입니다.
형용사가 아닌 방법을 기록하세요
두 번째 오더의 모든 기준은 문서상 충족되었지만, 그중 어느 것도 이 문제를 잡아내지 못했을 것이다. 재연결 확인에는 방법과 반복 횟수가 필요했으며, 실패가 발생하는 조건이 지침서에 명시되어야 했다.
이는 이 사례의 일반적인 교훈이며, 구매자가 지정하는 모든 특성에 적용된다. 좋은 제품을 설명하는 것만으로 충족할 수 있는 기준은 기준이 아니다. 논쟁을 비용이 더 많이 드는 시점까지 미루는 방법일 뿐이다.
공개된 행은 상한이 아니라 최소 기준이다
카탈로그가 공개하는 모든 정보는 가치를 설명한다. 그러나 가치 뒤에 있는 부품은 설명하지 않으며, 동일한 명목 수치가 여러 제품에 등장하는 범주에서는 공개된 행만으로 숫자가 같은 두 제품이 같은 제품인지 알 수 없다.
이는 카탈로그를 비판하는 말이 아니다. 이 점을 정확히 구분할 필요가 있다. 공개된 사양 세트는 훌륭한 좁히기 도구이지만 최종 판단 도구는 아니다. 어떤 모델을 고려해야 하는지, 어떤 제품이 도착했을 때 어떤 모습이어야 하는지는 알려 주지만, 제품 내부의 부품이 해당 프로그램을 설계할 때 전제로 삼았던 부품인지는 알려 주지 않는다.
필요하기 전에 비교 체계를 구축한다
이 사례를 해결한 비교, 즉 이전 생산분에서 나온 두 제품과 현재 생산분에서 나온 두 제품을 동일한 방식으로 시험한 것은 조사 기법이 아니다. 일상적인 절차이며, 아무 문제가 없는 동안 이 절차를 구축할 가치가 있다.
프로그램 안의 세 가지 항목이 이를 일상적인 절차로 만든다. 모든 생산분에서 제품을 하나씩 보관하고, 생산분·날짜·구성 정보를 표시한다. 두 번째 생산분의 제품을 배송하거나 폐기하지 않고 보관하여 비교할 수 있게 한다. 또한 승인 방법을 한 번만 기록하여, 시간 압박 속에서도 다시 작성할 필요 없이 서로 다른 생산분의 제품에 동일한 방법을 적용할 수 있게 한다.
이에 대한 상업적 이유는 간단하며, 앞의 사례가 일반적이라는 가정에 의존하지 않는다. 특정 생산분에 귀속할 수 없는 반품률은 한계를 정할 수 없는 비용이고, 한계를 정할 수 없는 비용은 결국 프로그램의 이익률보다 커진다. 고장을 특정 생산분에 귀속할 수 있는 프로그램은 해당 생산분을 중단하고, 영향을 받은 배치에 크레딧을 제공한 뒤 나머지 배송을 계속할 수 있다. 반대로 그것이 불가능한 프로그램은 모든 제품에 크레딧을 제공하거나 아무것에도 제공하지 못하며, 두 답변 모두 데이터가 뒷받침했을 답보다 나쁘다.
이 실패가 상업적으로 부담한 비용
이 사례의 비용은 양심적으로 생산해서는 안 되는 제품과 같은 의미의 결함품에 것이 아니었다. 문제는 사후에 다시협상해야 했던 상업 조건에 있었다.
첫 번째 비용은 반품 준비금이었다. 첫 번째 생산분을 바탕으로 반품률을 예산으로 잡은 프로그램은, 한 모델에서 실제와 맞지 않는 수치를 확보해 놓았다. 확보한 반품률과 실제 반품률의 차이는 영향을 받은 제품에 대한 크레딧이 아니라 두 번째 오더 전체에 대한 이익의 직접적인 감소로 나타났다.
두 번째 비용은 구매 주문서와 승인 기준의 재작업 비용이었다. 공급자가 어떤 약정도 위반하지 않았기 때문에 공급자가 부담하지 않았다. 문서를 다시 작성하는 데 투입된 모든 시간은 구매자의 부담이었고, 문제는 일정에 여유가 전혀 없던 프로그램 진행 중 시점에 발생했다.
세 번째 비용은 아무도 가격을 매기지 않았던 것, 즉 관계였다. 조사 결과에 이의를 제기하는 공급자는 상업적인 문제이며, 6개월 뒤에 자신이 옳았다는 사실이 밝혀져 크레딧과 사과를 감당해야 하는 공급자도 상업적인 문제이다. 이 사례에서 어느 당사자도 잘못을 한 것은 아니었지만, 양쪽 모두 이전보다 나쁜 프로그램을 갖게 되었다.
상업적인 교훈은 이 범주에서 확실성을 구매하는 가장 저렴한 지점이 합의라는 점이다. 그 확실성을 만들어 내는 관리 절제는 추측으로 설정한 반품 준비금의 일부 비용에 불과하다. 대안, 즉 고장이 발생한 뒤 불량률을협상하는 것은 수치를 확정하는 가장 비싼 방법이며, 가장 비싼 방식으로 잘못된 배치에 대한 수치를 확정하게 된다.
우리가 이에 대해 문서화할 것과 문서화하지 않을 것
분모와 검사 방법이 없는 수치는 모두 마케팅용 수치이므로, 우리는 불량률이나 일관성 지표를 공개하지 않습니다. 이러한 수치는 당사의 문서에서 모두 공개되지 않음으로 기재되어 있습니다. 특성 분석을 수행하지 않은 셀의 재연결 측정값은 공개하지 않으며, 위 사례는 당사 생산 제품의 측정값으로 제시하지 않습니다. 이는 논리적 사고 순서를 보여주기 위해 작성한 가상의 재구성일 뿐입니다.
우리가 실행할 것은 통계가 아니라 약속에 해당하는 부분입니다. 품목 번호와 서면 승인 규칙을 통해 핵심 부품을 고정합니다. 생산 시작 전이 아니라 생산 전에 검사 방법과 함께 승인 기준을 합의합니다. 각 생산 배치에서 한 대를 보관합니다. 그리고 부품이나 펌웨어 버전이 변경될 때는 변경 사항을 적용하기 전에 서면으로 구매자에게 알립니다. 이를 통해 비용 부담이 가장 작을 때 대화가 이루어지도록 합니다.
대화 없이 이루어진 대체품 투입은 이 사례가 드러낸 유일한 실패 모드이며, 예방 비용도 가장 저렴합니다. 구매 주문서에 한 줄을 추가하면 됩니다.
품질 일관성 섹션에서 이 사례가 속한 프레임워크를 다루고 있습니다.
관련 자료
- 주문 전에 확인해야 할 사항 — 7가지 질문
- 일관성 관련 실수 — 문제가 발생하는 지점
- 공장 감사 사례 — 동일한 지적 사항, 다른 접근 방식
두 번의 생산 배치와 부품 목록을 보내주시면, 공개된 항목 중 어떤 항목이 일치하는지, 어떤 항목이 변동했는지, 그리고 스마트 글라스 품질 일관성 관점에서 아직 서면으로 마무리해야 하는 사항이 무엇인지 알려드리겠습니다.



