ODM 개발 사례 검토는 이미 진행된 프로그램을 되짚어 보는 작업이며, 그 가치는 검토 결과가 다음 프로그램에 반영되는지에 전적으로 달려 있습니다. 일어난 일을 기록만 하고 다음 진행 방식에는 변화를 만들지 않는 검토는 사후 기록일 뿐, 검토가 아닙니다.
이 범주에서 까다로운 점은 프로그램의 결과를 원인별로 구분하기 어렵다는 것입니다. 공개된 행 중 상당수가 불충분하고, 중요한 의사결정 중 상당수가 문서화되지 않았기 때문입니다. 이 검토가 출발점으로 삼는 것은 범위 전체에 걸쳐 공개된 현재 상태입니다. 즉, 가능한 구성, 두 모델에 공개된 색상 옵션, 보고서 번호가 없는 V06 및 S7의 IP54 표시, 인증서 번호의 확인을 기다리는 것으로 주장된 인증, 그리고 모든 항목이 공개되지 않은 행들입니다.
따라서 ODM 개발 사례 검토는 마지막 프로그램을 평가하기 위한 것이 아니라 다음 프로그램을 개선하도록 설계된 검토 구조로 이해하는 것이 가장 적절합니다. 이 차이는 단순한 표현상의 차이가 아닙니다. 평가 구조는 숫자를 산출하며, 그 숫자는 서로 비교할 수 없는 프로그램 간에 비교됩니다. 개선 구조는 실행 항목을 산출하며, 실행 항목에는 책임자가 있습니다.
구조만큼 중요한 것은 시점입니다. 의사결정한 사람들이 여전히 확보된 상태에서 검토를 진행하면 해당 의사결정의 근거를 되살릴 수 있습니다. 동일한 검토를 1년 후 진행하면 의사결정 자체만 되살릴 수 있을 뿐, 검토가 추구하는 진짜 대상인 의사결정 근거는 되살릴 수 없습니다.
여기서 따라오는 현실적인 결과가 있으며, 이를 미리 계획에 반영할 필요가 있습니다. 어떤 의사결정의 이유를 아는 사람들은 다음 프로그램으로 이동하는 사람들과 동일합니다. 검토 일정은 거의 항상 이들의 업무 인수인계와 겹칩니다. 누군가 퇴사 2주 전에 예약한 검토는 사실을 산출할 뿐입니다. 그 사람이 떠난 뒤 2개월 뒤에 예약한 검토는 동일한 확신으로 제시된 추측을 산출할 뿐입니다. 의사결정 근거가 중요하다면 — 이 범주에서는 대개 중요합니다 — 인원이 그대로 남아 있을 때 검토를 진행해야 합니다.
이 제약은 검토에 누가 참여해야 하는지도 결정합니다. 프로그램의 스폰서만 참석한 검토는 요약문을 만들 뿐입니다. 실제 업무를 수행한 사람들이 참여하고 스폰서가 실행 항목의 책임자로서 참석하면 검토 결과가 만들어집니다. 스폰서의 역할은 내용을 제공하는 것이 아니라 검토 결과에 필요한 자원을 약속하는 것이므로, 스폰서가 빠져 있다면 검토는 문서 지합니다.
ODM 개발: 사례 검토의 진짜 목적
사례 검토에는 세 가지 목적이 있으며, 이들을 섞는 것이 검토가 실용적이지 못하게 되는 가장 흔한 원인입니다.
프로그램 종결. 행정적 목적이며, 인도된 항목의 확인, 미해결 사안의 정리, 참여 인력의 해동을 포함합니다. 정당한 목적이지만 다음 프로그램에 가치를 만드는 것은 아닙니다.
특정 질문의 해결. 특정 의사결정이 옳았는지 또는 어떤 실패를 피할 수 있었는지를 알아야 하는 경우입니다. 질문이 논의 과정에서 임의로 떠오른 것이 아니라 처음부터 문서로 작성된 경우에만 좁지만 분명한 결과를 얻을 수 있습니다.
다음 프로그램의 개선. 투입한 노력의 근거가 되는 목적이며, 처음부터 다음 프로그램을 지정해야 합니다. 검토 결과가 반영될 곳이 없다면 아무도 실행에 나서지 않았을 때 검토가 만들어내는 것은 바로 문서이기 때문입니다.
세 가지 중 실제로 무엇을 바꾸는 것은 세 번째뿐이며, 가장 자주 명시적으로 다루어지지 않는 것도 바로 이 세 번째입니다. 처음부터 다음 프로그램을 지정한다는 결정은 검토와 사후 부검을 구분하는 단 하나의 구조적 요소이며, 추가 비용은 없습니다.
다음 프로그램을 지정하는 것이 실제로 무엇을 바꾸는지 구체적으로 살펴볼 필요가 있습니다. 이를 지정하지 않으면 검토 결과는 문서에 남은 메모가 됩니다. 지정하면 검토 결과는 누군가의 명세에 반영되어 다음 설계 확정 시점에 검증됩니다. 이 방식은 화려하지 않지만 가장 신뢰할 수 있는 방법입니다. 이미 일정이 잡힌 프로그램의 요구사항 목록에 검토 결과를 입력하며, 입력되지 않은 요구사항은 아무도 수용하지 않은 것입니다.
따라서 검토는 권고 목록이 아니라 책임자가 지정된 실행 항목을 만들어야 합니다. 권고는 누구에게 향하지 않으며 회의가 끝나면 사라집니다. 실행 항목에는 담당자 이름과 완료 기한이 지정되며, 그 기한까지 완료하거나 명시적으로 거절해야 합니다. 이는 아주 적은 추가 노력으로 훨씬 다른 수준의 책임감을 부여합니다.
일부 조직에서만 나타나지만 그럴 가치가 있는 네 번째 목적이 있습니다. 바로 어떤 요구사항을 맞춤 Ordering 방식이 아니라 표준으로 정해야 할지 파악하는 것입니다. 두 프로그램이 연속해서 동일한 인수 기준을 각각 명시한 것을 검토했다면, 일정 설명보다 더 가치 있는 사실을 발견한 것입니다. 이제 해당 기준은 다음 협상 대상이 아니라 카탈로그에 후보로 등록할 수 있기 때문입니다.

검토에 반드시 포함해야 하는 다섯 개 섹션
1. 실제로 이해되었던 요구사항 세트. 서명된 명세서가 아니라, 프로그램이 시작될 당시의 요구사항 목록이며, 아무도 기록하지 않은 항목도 포함해야 합니다. 두 자료의 차이가 바로 프로그램의 실제 범위이며, 검토가 파악할 수 있는 가장 유용한 내용입니다.
2. 각 결정과 그 결정이 이루어진 이유를 순서대로. 프로그램은 일련의 결정 과정입니다. 사후에 보기에 중요했던 결정은 당시에는 중요해 보이지 않았던 경우가 많습니다. 관련 사람들이 모두 현장에 있는 동안 검토한다면 사후에 기록하는 것도 가능합니다.
3. 무엇이 지연되었는지와 그 제약 요인은 무엇이었는지. 이 범주에서 일반적인 제약 요인은 실험실 대기, 금형 제작 리드타임, 디자인 승인 절차, 부품 대체입니다. 지연 사항을 단순히 나열하는 검토보다 각 지연의 제약 요인을 명확히 밝히는 검토가 더 가치 있습니다. 제약 요인은 일반화할 수 있지만 지연 사항은 그렇지 않기 때문입니다.
4. 다음 프로그램을 달라야 할 발견 사항. 디자인 변경 사항,는 필수였어야 할 명세서 항목, 존재했어야 할 인수 기준이 여기에 해당합니다. 바로 이 섹션 덕분에 검토가 단순한 일지에 그치지 않고 진정한 검토가 됩니다.
5. 무엇을 다르게 실행할지와 각 조치의 담당자. 담당자와 일정이 함께 기록된 조치 목록이 필요합니다. 그렇지 않으면 검토는 결과물이 아니라 문서만 남기게 됩니다.
이 섹션들의 순서는 의도적으로 정해진 것으로 시간순이 아닙니다. 1번과 2번 섹션은 프로그램이 무엇이었는지를 복원하고, 3번 섹션은 무슨 일이 발생했는지를 설명하며, 4번 섹션은 그 설명을 요구사항으로 전환하고, 5번 섹션은 요구사항을 업무로 전환합니다. 프로그램을 기준으로 섹션을 진행하면 검토는 결국 무슨 일이 발생했는지에 대한 설명으로 끝납니다. 이는 이 구조 전체가 피하려고 한 결과입니다.
3번 섹션은 원칙을 가장 엄격히 지켜야 하는 곳입니다. 제약 요인을 명시하려면 누군가의 일정이 잘못 정해졌다는 사실을 인정해야 하기 때문입니다. 효과적인 기법은 그 당시 팀이 무엇을 믿었는지 묻고, 그 믿음과 사실을 함께 기록하는 것입니다. 일정이 확정이었고 실제로 틀렸던 팀에는 의사소통 문제가 있습니다. 일정이 유연하다는 것을 알면서도 아무 말 하지 않은 팀에는 또 다른 문제가 있습니다. 둘 다 조치할 수 있지만, 이 차이를 구분하지 않으면 어느 쪽도 조치할 수 없습니다.
3번 섹션에는 더욱 유용하지만 훨씬 만들기 어려운 버전도 있습니다. 바로 처음부터 아무도 보지 못한 제약 요인을 다루는 부분입니다. 대부분의 검토는 팀이 이미 알고 있던 제약 요인을 기록합니다. 예를 들어 추적하던 실험실 대기 시간이나 전달받은 금형 제작 리드타임이 그렇습니다. 더 가치 있는 발견은 누구도 제약 요인으로 식별하지 않았던 것이면서 실제로 작업을 제한하게 된 선행 조건입니다. 이를 파악하려면 보통 알고 있던 사실이 아니라 무엇을 가정했는지 Someone가 말해야 합니다.
따라서 검토는 세션 중이 아니라 전에 질문해야 합니다. 참가자에게 지연 사항 목록을 미리 보내고, 각자 그 당시 believes졌던 제약 요인을 하나씩 밝히도록 요청합니다. 개별 답변과 팀의 공통 기억 사이의 차이는 전체 검토에서 가장 가치 있는 내용인 경우가 많으며, 모두가 하나의 공통 설명에 동의하기 전인 서면으로 수집하면 훨씬 쉽게 얻을 수 있습니다.
4번 섹션은 검토가 자신의 비용만큼의 가치를 얻는지 여부를 결정합니다. 기준은 간단합니다. 모든 발견 사항은 명세서나 체크리스트의 항목으로 전환할 수 있어야 합니다. 전환할 수 없는 발견 사항은 Probably homes가 없는 진실한 관찰일 가능성이 높습니다. 이러한 내용은 발견 사항과 별도로 기록하는 편이 낫습니다. 맞지 않는 요구사항으로 억지로 끼워 넣지 말고요.
준비할 자료와 각 자료가 입증하는 내용
1. 당시의 요구사항 목록과 이후 변화된 요구사항 목록. 두 자료의 차이는 프로그램의 실제 범위입니다. 두 문서가 모두 존재한다면 차이는 쉽게 확인할 수 있습니다. 반면 요구사항 목록이 처음부터 문서화되지 않았다면 그 부재 자체가 발견 사항이며, 사후에 기억으로 재구성하지 말고 그대로 기록해야 합니다.
2. 초도품 검사 계획과 실제 결과. 기준과 결과 사이의 차이가 바로 인수 기준이 너무 느슨했던 지점입니다. 이는 검토에 가장 유용한 단일 문서 쌍입니다. 품질에 대한 일반적인 설명을 어떤 기준이 제 역할을 하지 못했는지에 대한 구체적인 설명으로 전환해 주기 때문입니다.
3. 변경 이력. 모든 변경 사항과 그 사유입니다. 사유가 없는 변경은 반드시 다시 발생하는 변경입니다. 변경 이력에 사유가 없으면 단순한 날짜 목록일 뿐이며, 변경 통제가 제대로 작동했는지에 대한 어떤 결론도 뒷받침할 수 없습니다.
4. 프로그램 운영 기간 동안 등록된 제품 정보에 기재된 주장과 각 주장의 뒷받침 문서입니다. 이 섹션은 가장 불편한 내용과 가장 큰 가치를 함께 담고 있습니다. 등록된 제품 정보는 이를 승인한 사람보다 더 오래 남으므로, 4개월째 기재된 주장은 프로그램이 종료되고 근거 자료의 유효기간이 지난 뒤에도 계속 노출될 수 있습니다.
5. 반품 및 현장 데이터를 일화적 서술이 아닌 구조화된 형태로 정리해야 합니다. 이는 실제 환경에서의 성능에 관한 유일한 정보원입니다. 이 범주에 공개된 자료는 부족하며, 진실은 현장에 있기 때문입니다.
여섯 번째 문서가 이 자료 구성을 완성하며, 자주 누락됩니다. 바로 인용서와 실제 구매 주문서입니다. 인용된 구성과 실제로 인도된 구성을 비교하면 비공식적으로 변경된 요구사항을 가장 빠르게 찾아낼 수 있으며, 누구에게 기억을 더듬어 물어보지 않아도 됩니다.
이러한 비교는 한 번 훑어보는 데 그치지 않고 자세히 수행할 가치가 있습니다. 비공식 변경 사항이 바로 가장 흥미로운 부분이기 때문입니다. 변경된 셀 구성, 대체된 케이스 용량, 설명된 버전보다 늦게 출하된 펌웨어 빌드 — 이러한 작은 불일치는 변경 이력 어디에도 나타나지 않지만, 후속 프로그램에서는 애초에 발생하지 않은 일로 가정합니다. 인용서와 구매 주문서는 특정 시점에 작성된 두 문서이므로, 의도에 관한 특히 신뢰할 만한 근거가 됩니다.
현장 데이터가 있는 경우 일곱 번째 항목을 추가할 가치가 있습니다. 원인이 기록되지 않은 채 종결된 지원 티켓 또는 반품 사례의 표본입니다. 이러한 사례는 애초에 검토에 도달하지 못한 실패 사례이며, 대개 검토에 도달한 사례보다 훨씬 많습니다. 그 가치는 개별 티켓에 있는 것이 아니라 패턴에 있습니다. 한 구성에서 보고되지 않은 실패 사례가 집중되어 있다는 사실은 사후 분석 보고서 몇 쪽보다 더 많은 것을 알려줍니다.

검토가 해서는 안 되는 일
1. 프로그램에 등급을 매기는 것. 점수를 매기면 서로 비교할 수 없는 프로그램 간 비교가 촉발되고, 조사 결과가 감춰집니다.
2. 공급업체나 구매자를 비난하는 것. 조사 결과는 대개 명시되지 않은 요구사항에 관한 것이며, 비난할 사람을 찾은 검토는 그 원인을 추적하는 일을 멈춥니다.
3. 제품군 차원의 문서를 포괄적인 자료로 인정하는 것. 자체 카탈로그에는 철자 표기에 관한 메모가 붙은 "L2 Utral"이라는 항목과, 의미가 공개되지 않은 추가 "Utral Pro Max" 지정이 있으며, 광응답 및 골전도 항목에는 아무 지정도 없습니다. 검토에서 발견된 명명 모호성 자체가 조사 결과입니다.
4. 카탈로그 표시를 시험 성적서로 취급하는 것. 스포츠 등급 제품의 IP54 표시에는 공개된 시험 성적서 번호가 없으며, 이를 성적서라고 부르면 다음 프로그램의 문서에 허위 주장이 남게 됩니다.
5. 요약만으로 마무리하는 것. 조치가 없는 검토는 무슨 일이 있었는지에 대한 기술일 뿐입니다.
여섯 번째 금지 사항은 덜 눈에 띄지만 가장 큰 피해를 줄 수 있습니다. 검토 결과가 나중에 증거로 사용될 문서를 만들게 해서는 안 됩니다. 검토에는 어떤 수치를 가정했는지, 어떤 표시를 검증하지 않았는지, 어떤 주장을 문서 없이 기재했는지와 같은 인정 사항이 자주 포함됩니다. 이러한 내용은 검토에서는 적당하지만, 향후 누군가 의존할 문서에서는 전혀 부적절합니다. 검토는 내부 문서입니다. 이를 공식 기록으로 취급하면 사람들이 검토서에 적을 willing한 내용이 달라지며, 검토의 유용성을 가능하게 하는 솔직함이 비용 부담으로 인해 사라집니다. 그 결과 검토의 품질이 떨어집니다.

초반에 던져야 할 올바른 다섯 가지 질문
- 이 검토의 목적은 무엇인가요? 프로그램을 종료하기 위해서인가요, 다음 프로그램을 개선하기 위해서인가요, 아니면 특정 질문에 답하기 위해서인가요? 나머지 모든 요소는 이 답에 따라 달라지며, 검토가 아무런 산출물을 내지 못하는 가장 흔한 이유는 목전에 대해 아무도 합의하지 않았기 때문입니다.
- 참석자는 누구인가요, 의사결정자들이 포함되어 있나요? 의사결정자가 없는 검토는 사건의 경위는 재구성할 수 있지만, 판단 근거는 재구성할 수 없습니다.
- 어떤 데이터를 사용할 수 있나요? — 요구사항 목록, 초동 제품 기록, 변경 이력, 반품 내역, 인용서입니다. 이 질문에 솔직히 답하다 보면 검토를 유용하게 수행할 수 없다는 사실이 드러나기도 하며, 어떤 경우에도 억지로 검토를 진행하는 것보다 나은 결과입니다.
- 다음 프로그램은 무엇인가요, 이번 조사 결과가 해당 프로그램에 전달될까요? 프로그램을 명시하는 것이 조사 결과를 요구사항으로 전환합니다.
- 누군가 실행에 옮길 수 있는 산출물을 무엇을 만들 것인가요? 책임자와 기한이 지정된 문서, 또는 쓸모 있는 결과가 아무것도 없는 상태입니다.
다섯 번째 질문은 리뷰가 할 가치가 있는지를 드러내는 질문입니다. 답이 보고서라면 그 리뷰는 서류 작업이므로 그렇게 일정 잡아야 합니다. 답이 변경된 사양이라면 리뷰는 제대로 진행할 가치가 있습니다.
프로그램이 잘못 진행되었을 때 도움이 되는 여섯 번째 질문도 있습니다. 팀이 동일한 정보를 가지고 처음부터 다시 시작한다면 무엇을 다르게 할 것인지 물어보세요. 팀은 같은 정보를 가지고 있었으므로 비난 요인을 제거하면서도, 리뷰가 만들어 낼 구체적인 실행 항목을 도출하기 때문에 생산적인 질문입니다.
일곱 번째 질문은 리뷰 결과를 어떻게 기록할지 결정합니다. 이 질문은 진행 중이 아니라 세션 전에 물어야 합니다. 누가 결과를 읽을 수 있으며 이후 어디로 보낼 것인가입니다. 위에서 설명한 것처럼 리뷰에는 사내에서는 적절하지만 기술 문서에는 부적절한 고백이 포함될 수 있으며, 그 답에 따라 사람들이 솔직하게 말할 수 있는지 결정됩니다. 결과물이 사내 작업 문서임을 기록하고 수신자를 명시하는 것은 2분짜리 단계지만, 실제로 말되는 내용의 질을 크게 바꿉니다.
대부분의 조직이 결정을 내리기보다 기본값으로 정하는 빈도 관련 질문도 있습니다. 모든 프로그램마다 리뷰를 하면 자료가 지나치게 많아지고 효과는 줄어듭니다. 같은 범주의 프로그램은 같은 교훈을 반복하기 때문입니다. 3개 프로그램마다 리뷰하면 자료는 줄어들고 일반화는 늘어납니다. 적절한 답은 다음 프로그램이 직전 프로그램과 얼마나 유사한지에 따라 달라지며, 물어야 할 질문은 결과가 2개 프로그램 늦게 도착해도 달라지는가입니다.
공개된 미보완 사항을 리뷰 입력으로 솔직하게 다루기
사례 리뷰는 점수표가 아니라 담당자가 있는 실행 항목 목록을 내야 하며, 이 범주에서 정직한 출발점은 공개된 미보완 사항이라는 점을 분명히 말하겠습니다. 158 g인 한 모델을 제외한 프레임 무게, 센서, 시야각, 비디오 사양, 마이크 수치, 렌즈 성능, 실리콘 재질, 시험 보고서 번호, 인증서 번호입니다.
이러한 미보완 사항을 일반적인 값으로 채우거나 카탈로그 표기를 시험 보고서로 제시하지 않겠습니다. 리뷰 맥락에서 이는 구체적인 결과를 낳습니다. 가정한 수치에 근거한 조사 항목은 그 수치를 요청해서는 해결할 수 없으므로, 기준을 작성하고 측정해야 해결할 수 있습니다. 전화 한 통보다 더 많은 작업이지만, 다음 해에도 기술 문서에서 여전히 사실로 남을 수 있는 유일한 방법입니다.
이 규칙은 현재 카탈로그뿐 아니라 저희의 과거 결정에도 똑같이 적용됩니다. 저희가 공급한 프로그램 중 당시 보유하지 않았고 그 이후에도 공개하지 않은 수치를 근거로 삼았다면, 이는 양측 모두에 관한 리뷰 조사 항목입니다. 두 경우 모두 유용한 실행 항목은 같습니다. 기준을 작성하고 방법을 정의한 다음, 정의된 샘플로 측정해야 합니다. 수치가 합의된 것이 아니라 가정된 것임을 기록할 수 있을 때 리뷰는 이러한 실행 항목을 훨씬 잘 도출합니다.
리뷰의 목적이 무엇이며 그 다음에 어떤 프로그램이 진행되는지 알려주시면, 리뷰가 어떤 가치를 가지려면 어떤 데이터를 수집해야 하는지와 그 데이터 중 어느 부분을 당사자가 아닌 현장에서 확보해야 하는지 알려드리겠습니다.
리뷰가 검토하는 단계 구조는 ODM 개발에 설명되어 있으며, 리뷰가 읽을 수 있었어야 하는 문서는 개발 프로세스 문서에 있고, 대부분의 리뷰가 설명하려는 생산 단계는 개발 프로세스 대량 생산에서 다룹니다.
아무것도 낼 수 없는 리뷰에 관해 마지막으로 한 가지 말씀드리겠습니다. 실패의 원인은 거의 리뷰를 잘못 진행해서가 아니라, 후속 프로그램 없이, 실행 항목 담당자 없이, 솔직하게 말할 권한 없이 진행했기 때문입니다. 세 가지 중 어느 하나만 빠져도 실패할 수 있으며, 이 세 가지는 리뷰가 끝날 때가 아니라 일정을 잡을 때 모두 확인할 수 있습니다. 후속 프로그램을 명시하고 솔직한gresory를 사전에 동의한 상태로 리뷰를 일정 잡는 것이 핵심 작업입니다.
효과적으로 진행되는 리뷰와 그렇지 않은 리뷰를 가르는 질문이 하나 더 있습니다. 이 질문은 시작이 아니라 마지막에 합니다. 다음 프로그램에서는 각각 한 문장으로 무엇을 다르게 하겠습니까? 한 문장을 요구하면 우선순위가 강제됩니다. 동일한 비중의 조사 항목 5개로 끝난 리뷰는 목록을 만든 것이고, 참여자마다 한 문장으로 끝난 리뷰는 결정을 내린 것입니다. 다음 프로그램에 필요한 것은 바로 그 결정입니다.
관련 글
이 검토의 목적과 후속 프로그램을 알려주세요.



