Это гипотетический пример, а не клиентский проект. Он представлен как упражнение для проверки хода рассуждений, поскольку ценность примера заключается именно в последовательности рассуждений. Ни один заказчик не описан, проект не заявляется, а цифры не выдаются за наши собственные. Сценарий, количество моделей и рынок предполагаются, чтобы шаги можно было проследить и использовать в дальнейшем.
Этот пример стоит прочитать, поскольку причиной была не дефектная продукция, решением — не замена партии, а каждая опубликованная строка спецификации была идентична в обоих производственных циклах. Ничто из того, что заказчик обычно сравнивает, не изменилось. Тем не менее программа не была выполнена и оставалась невыполненной в течение шести месяцев, прежде чем проблему обнаружили.
Самое полезное в этом примере — последний вывод. Именно поэтому пример изложен в таком порядке, а не в виде последовательного рассказа.
Стабильность качества смарт-очков: когда фиксированной спецификации недостаточно
Сценарий без лишних сложностей
Бренд канала продаж разместил первый заказ на две модели аудио-очков, а затем разместил второй заказ на те же две модели спустя шесть месяцев. Возвраты по первому заказу были незначительными и ничем не примечательными. Во втором заказе число возвратов по одной модели выросло, а по другой осталось прежним. Причина, указанная в каждой заявке, была одинаковой: после того как устройство провело день вне футляра, оно не подключается заново.
Ничто в спецификации продукта не изменилось. Версия прошивки соответствовала той, которая была отгружена. Ревизия упаковки осталась прежней. Емкость аккумулятора, время зарядки, расчетный срок работы, версия Bluetooth, способ зарядки и емкость футляра были одинаковыми в обоих циклах и соответствовали опубликованным данным по этим моделям.
Первая реакция заказчика заключалась в том, что это сбой качества на стороне поставщика, поскольку рост доли возвратов по одной модели воспринимается как дефект. Но это было не так.
Почему первый заказ не стал подсказкой
Именно из-за первого заказа проблема сохранялась так долго, и поэтому важно понять, почему его не восприняли как сигнал.
Первый заказ небольшой, а небольшой объем не дает достаточной выборки для расчета доли. Более того, абсолютное число возвратов по первому заказу было низким, поэтому не с чем было провести сравнение и не был достигнут пороговый показатель. Следовательно, у программы не было данных об изменении доли возвратов — только ощущение, что второй заказ оказался хуже. Если бы программа с самого начала фиксировала долю возвратов по каждой партии, изменение было бы заметно на первой неделе второго цикла. Программа, отслеживавшая возвраты ежеквартально, увидела бы его позже, а квартальный показатель был бы сглажен результатами по исправной модели за тот же период.
Это первый переносимый вывод, и он касается не поставщиков, а проектирования измерений: показатель, который вы не измеряете, не может предупредить вас об отклонении, а показатель, рассчитанный с неверным знаменателем, выявляет проблему слишком поздно, чтобы быть полезным.
Что предположило первое расследование и почему оно зашло в тупик
Первым направлением проверки стало очевидное: возвраты были по одной модели, поэтому расследование сосредоточилось на ней. Команда извлекла устройства затронутой модели, провела испытания в лаборатории и ничего не обнаружила. Симптом не воспроизвелся на испытательном стенде.
Это действительно неудобная ситуация, и неверная реакция — сделать вывод, что возвраты вызваны неправильной эксплуатацией со стороны заказчика. Правильная реакция — обратить внимание на то, что не было проверено. Симптомом была потеря возможности повторного подключения после того, как устройство провело день вне футляра, и наблюдался он по одной модели, но причина не обязательно находилась в этой модели. Обе модели в программе использовали одну цепочку поставок, общий перечень компонентов и одну фабрику, поэтому причина на общей стороне проявилась бы на одной модели, но не на другой.
Ошибка команды заключалась не в сосредоточенности на затронутой модели, а в отсутствии сравнения с исправной моделью и с предыдущим производственным циклом.

Что показало сравнение двух производственных циклов
Переломным моментом стал не более точный тест, а более корректное сравнение.
Сравнивайте производственные циклы, а не модели
Из запасов каждого цикла извлекли по два устройства — готовую продукцию предыдущего выпуска, а не свежую партию, — и испытали их одинаковым способом. Два из четырех устройств второго цикла воспроизвели симптом в течение дня. Ни одно устройство из первого цикла этого не показало.
Значение кроется в методе отбора. Завод покажет вам производственную линию, работающую по вашей конфигурации, а текущая линия демонстрирует нынешнее состояние, но не служит доказательством относительно предыдущей партии. Готовая продукция, взятая с предыдущего производственного цикла, является доказательством, поскольку именно эти изделия были отправлены клиентам.
Спецификация не изменилась; изменились поставки
Затем сравнение двух производственных циклов перешло к перечню компонентов. Между этими циклами поставщик аккумуляторных элементов был заменен на другого поставщика при той же номинальной емкости.
Все, что видит покупатель, осталось неизменным. Показатель емкости аккумуляторного элемента до и после был одинаковым, поскольку заменяющий компонент выбирался в соответствии с опубликованной емкостью. Время зарядки, заявленный ресурс работы, способ зарядки и емкость кейса не изменились. Каждая строка, которую покупатель обычно сверяет с каталогом, по-прежнему содержала корректные данные, а товар по-прежнему проходил входной контроль на соответствие опубликованной спецификации.
Именно этот механизм следует назвать точно: замена, выполненная при сохранении того же номинального значения, незаметна для любой проверки, основанной на опубликованных данных, поскольку эти данные описывают значение, а значение не изменилось. Изменился только номер детали, стоящий за этим значением, а номер детали в опубликованных данных не указывается.
Изменившееся поведение
Какую бы сторону работы устройства ни затронула замена аккумуляторного элемента, это изменение повлияло на повторное подключение после глубокого разряда. Два устройства из первого производственного цикла и два из второго, одинаковые опубликованные данные, но разное поведение в одном и том же испытании.
У нас нет результатов измерения этого поведения, и мы не будем приводить отраслевой показатель для него. Материалы дела подтверждают форму отказа: различие в поведении, которое невозможно отразить ни в одной опубликованной строке и которое можно выявить только путем применения одного и того же метода к устройствам из двух разных партий.
Два уже проведенных испытания и то, что они исключили
До сравнения производственных циклов команда провела обширные испытания. Следует точно указать, что эти испытания исключили, поскольку именно эти исключения на протяжении шести недель делали случай неправдоподобным.
Лабораторное испытание предусматривало зарядку устройства с немедленным включением, и устройство его прошло. Это исключило неисправность, проявляющуюся у заряженного устройства при немедленном использовании, — важное и ценное исключение. Оно не исключило неисправность, проявляющуюся только после простоя устройства, и не исключило неисправность, характерную только для устройств из определенной партии.
Второе испытание представляло собой проверку одного устройства затронутой модели из текущего производства, и оно также было пройдено. Это исключило неисправность в исследованном образце текущей партии данной модели. Оно не исключило неисправность, характерную для предыдущего производственного цикла, поскольку предыдущего цикла, с которым можно было бы провести сравнение, не существовало. Именно этот момент устраняет сохраненный образец из контрольной группы.
Ни одно из испытаний не было ошибочным, и ни одно не было проведено впустую. Ошибка заключалась в том, что два исключения были приняты за общее подтверждение исправности. Успешное испытание исключает только те условия, которые оно охватывает, и ничего больше. Дисциплина документирования условий, охваченных испытанием, та же, что и впоследствии применялась листом критериев приемки к проверке повторного подключения. Для настольных испытаний программа располагала методикой, но не располагала методикой для критериев приемки. Поэтому настольные испытания были точными, а критерии приемки могли быть выполнены любым работающим устройством.
Приведенная выше таблица — основа этого случая. Пять опубликованных строк совпадали в обоих производственных циклах, а проблема все равно возникла. Изменилась шестая строка — номер детали аккумуляторного элемента, которая не публикуется в каталоге.
Почему поставщик не оспорил результат
После того как две партии были представлены для сопоставления, поставщик не оспорил вывод. Следует объяснить почему, поскольку это различие между отказом качества и отказом контроля.
Поставщик не скрывал замену. Ничто в представленных материалах не было ложным. Отсутствовал механизм: никто не потребовал от поставщика получить одобрение до замены критически важного компонента, поэтому изменение было внесено как обычное решение о закупке, и никто не находился в позиции, чтобы заметить его значимость. Это было не проявлением недобросовестности. Речь шла о контроле, который никогда не был документирован ни одной из сторон.
Хронология показывает, куда делись шесть месяцев. Замена произошла в промежутке между двумя производственными циклами, когда записи не велись, поскольку ни один цикл не продолжался. К моменту появления симптомов доказательства, необходимые для его, относились к трехмесячной давности, и их пришлось восстанавливать по остаткам продукции на складе.

Три меры контроля, закрывшие проблему
Три вещи изменились именно в таком порядке, и ни одна из них не потребовала смены поставщика.
Перечень компонентов, приложенный к заказу на поставку
Критически важные компоненты — включая аккумулятор — были указаны в заказе на поставку по номерам деталей, причем было установлено правило: любая замена требует письменного согласования до ее использования. Именно это правило имеет ключевое значение. Перечень компонентов без правила согласования является описанием; с ним замена превращается в обсуждение, в котором участвует закупщик.
Это самый дешевый из трех методов контроля, и именно он предотвратил бы весь сбой. Он требует всего одной строки в заказе на поставку и одной подписи.
Лист критериев приемки с методом проверки вместо описания
Проверка повторного подключения была описана как метод — подключить, отключить, подключить повторно, дважды, — а не как описание работоспособного изделия. Каждый критерий второго заказа был формально выполнен, но ни один из них не выявил бы этот дефект, поскольку требование «устройство повторно подключается» выполняется даже устройством, которое повторно подключается на испытательном стенде сразу после полной зарядки.
Метод добавил два элемента, которые не может обеспечить описание: условие, провоцирующее отказ, то есть полный разряд, и число повторений, позволяющее отличить устойчивое поведение от случайного совпадения. Количество испытанных устройств невелико, но именно число попыток на каждое устройство обеспечивает повторяемость результата.
Сохранение одного устройства из каждого запуска
Из каждого производственного запуска сохраняется одно устройство с соответствующей маркировкой, чтобы в будущем было с чем сравнивать. Именно этот метод контроля сократил бы расследование с шести месяцев до шести недель, поскольку устройства из первого запуска были бы доступны для сравнения с устройствами из второго, а не выяснилось бы, что их нет.
Сохранение одного устройства из каждого запуска означает затраты в размере одного устройства на запуск. Это самый недорогой метод контроля в наборе и одновременно тот, который чаще всего опускают.
Сколько стоили эти три метода контроля и почему они были приняты
Полезная особенность этого набора состоит в том, что все три метода были недорогими, поскольку сопротивление закупщика при внедрении дополнительного контроля почти никогда не связано с деньгами. Оно связано с трудозатратами и с убеждением, что контроль, который ни разу не выявил проблем, не стоит оформляющих документов.
Перечень компонентов требует одной строки в заказе на поставку и подписи при любой замене. Лист критериев приемки требует одной сессии по составлению документов перед первым производственным запуском, но избавляет от споров в дальнейшем. Сохранение одного устройства требует одного устройства на запуск. В целом три метода контроля обходятся дешевле одной обратной поставки, и аргумент в их пользу был выдвинут не на основании качества, а в связи с тем, что программа только что потратила шесть месяцев и оформила кредит-нот, чтобы получить урок, который обеспечили бы три простых метода контроля.
Причина их принятия одновременно является причиной рекомендовать их. Каждый метод был привязан к моменту, который уже существовал в программе. Перечень компонентов — к заказу на поставку, лист приемки — к первому образцу, сохраненное устройство — к завершению запуска. Методы контроля, требующие нового совещания, новой системы или новой привычки, прекращают применяться; методы, привязанные к существующему этапу, используются.

Что этот случай teaches, чего не может спецификация
Сравнивайте запуски, а не модели
Симптом проявился на одной модели, а причина была свойственна обеим. Закупщик, расследовавший только затронутую модель, не обнаружил бы ничего, что и происходило в течение первых шести недель.
Общий смысл этого урока стоит сохранить: симптом, проявившийся на одном изделии в рамках программы, характеризует именно это изделие, тогда как причина часто находится на общей стороне. Первый вопрос о любом необъяснимом отклонении звучит так: с чем еще затронутое изделие имеет общее с исправным?
Берите образцы со склада, а не с линии
Завод покажет вам работающую линию с вашей конфигурацией, а работающая сегодня линия свидетельствует только о сегодняшнем дне. Доказательством служат готовые изделия, отобранные из предыдущего запуска; их также сложнее организовать, что частично объясняет, почему их запрашивают недостаточно часто.
Практическое требование невелико: два устройства из предыдущего запуска и два из текущего, испытанные одним и тем же способом. Стоит закрепить право потребовать это в договоре, поскольку выполнение зависит от того, сохраняет ли поставщик складские остатки уже поставленного запуска.
Описывайте метод, а не качество
Каждый критерий второго порядка был формально соблюдён, и ни один из них не выявил бы эту проблему. Для проверки повторного подключения требовались метод и количество повторений, а также условие, при котором возникает сбой, должно было быть включено в инструкцию.
Это общий вывод данного случая, и он применим к любой характеристике, которую указывает покупатель. Критерий, который можно выполнить, описав хороший продукт, не является критерием; это способ отложить спор до момента, когда его разрешение станет дороже.
Опубликованные строки задают минимум, а не максимум
Всё, что публикует каталог, описывает ценность. Он не описывает часть, лежащую за этой ценностью, и в категории, где один и тот же номинальный показатель встречается у нескольких продуктов, опубликованная строка не позволяет определить, являются ли два изделия с одинаковым числом одним и тем же продуктом.
Это не критика каталога, и здесь важно проводить точное разграничение: опубликованный набор спецификаций — отличный инструмент сужения выбора, но неподходящий инструмент для окончательного решения. Он показывает, какие модели следует рассмотреть, и позволяет понять, каким должно быть изделие по прибытии. Но он не сообщает, является ли компонент внутри изделия тем, для которого была разработана программа.
Создание сравнения до того, как оно понадобится
Сравнение, решившее этот случай, — два изделия из предыдущего запуска и два из текущего, проверенные одинаковым способом, — не является специальной методикой расследования. Это рутинная процедура, которую стоит внедрить, пока всё в порядке.
Процедуру делают регулярной три пункта программы. Сохранять одно изделие из каждого запуска и маркировать его с указанием запуска, даты и конфигурации. Сохранять изделия из второго запуска, а не отправлять их или списывать, чтобы иметь возможность провести сравнение. А метод приёмки зафиксировать один раз, чтобы его можно было применять к изделиям разных сборок без переписывания под давлением сроков.
Коммерческое обоснование этого решения просто и не зависит от того, насколько типичен приведённый выше случай. Доля возвратов, которую невозможно связать с конкретной сборкой, представляет собой неограниченную стоимость, а неограниченная стоимость рано или поздно превысит маржу программы. Программа, способная связать дефект с определённым запуском, может остановить его, зачесть стоимость затронутой партии и продолжить доставку остальных изделий. Программа, не способная этого сделать, будет либо зачитывать стоимость всего, либо ничего, и оба варианта хуже решения, которое можно было бы обосновать данными.
Сколько обошёлся этот сбой в коммерческом отношении
Стоимость данного случая заключалась не в дефектных изделиях, поскольку дефекта в смысле изделия, которое вообще не следовало производить, не было. Она заключалась в коммерческих условиях, которые пришлось пересматривать задним числом.
Первая стоимость была связана с резервом на возвраты. Программа, заложившая долю возвратов на основе первого запуска, предусмотрела резерв, который впоследствии оказался неверным для одной модели, а разница между расчётной и фактической долями возвратов стала прямым уменьшением маржи по всему второму заказу, а не кредитом на затронутые изделия.
Вторая стоимость — переработка заказа на закупку и критериев приёмки — не была покрыта поставщиком, поскольку поставщик не нарушил ни одного условия. Каждый час, потраченный на восстановление документации, ложился на покупателя, и это произошло на том этапе программы, когда график не допускал никакого запаса времени.
Третья стоимость не была оценена никем: репутационные отношения. Поставщик, оспаривающий вывод, создаёт коммерческую проблему, и поставщик, который через шесть месяцев оказывается прав и должен принять кредит и принести извинения, — тоже. Ни одна из сторон в этом случае не совершила ничего неправильного, но после него у обеих сторон программа стала хуже.
Коммерческий вывод заключается в том, что самый дешёвый способ купить определённость в этой категории — это договор, а средства контроля, обеспечивающие эту определённость, стоят лишь долю резерва на возвраты, рассчитанного на основе догадок. Альтернатива — согласовать показатель дефектности после того, как сбой уже произошёл, — является самым дорогим способом установить число и при этом позволяет получить число для неверной партии.
Что мы зафиксируем в письменном виде, а что — нет
Мы не публикуем показатель дефектности или коэффициент стабильности, поскольку любое число без знаменателя и метода проверки является маркетинговым показателем — в нашей документации все такие данные не публикуются. Мы не будем публиковать результаты проверки переподключения для ячейки, которую не характеризовали, и не станем выдавать приведенный выше пример за измерение собственного производства, поскольку это гипотетическая реконструкция, показывающая порядок рассуждений.
Вместо этого мы сделаем то, что является обязательством, а не статистикой. Мы согласовываем критические компоненты по номерам деталей в рамках письменного правила утверждения. Критерии приемки и методы их проверки мы согласовываем до начала производства, а не после первой отгрузки. Мы сохраняем один образец из каждого производственного цикла. И письменно сообщаем покупателю о замене компонента или версии прошивки до ее применения, чтобы обсуждение состоялось, пока это еще не слишком дорого.
Замена без предварительного обсуждения — единственный режим отказа, выявленный в этом примере, и предотвратить его проще всего. Для этого достаточно одной строки в заказе на закупку.
Раздел о стабильности качества описывает систему, частью которой является этот пример.
Связанные материалы
- Что следует уточнить перед заказом — семь вопросов
- Ошибки, связанные со стабильностью — где возникают проблемы
- Пример аудита завода — то же заключение, но другой подход
Пришлите нам результаты двух циклов и список компонентов, и мы сообщим, какие опубликованные показатели совпадают, какой изменился и что еще необходимо письменно закрыть с точки зрения стабильности качества смарт-очков.



