Это гипотетическая реконструкция пилотного проекта в классе, составленная по повторяющемуся сценарию, а не на основе проекта конкретного учреждения или клиента. Мы приводим её, потому что пилотный проект завершился неудачей, которую можно было устранить, и потому что решение проблемы оказалось не тем, на которое первоначально указывали данные. Он не был неудачным из-за неподходящего оборудования и не из-за поставщика. Покупатель, который воспримет его как оценку продукта, придёт к неверному выводу — поэтому мы излагаем этот опыт поэтапно, а не в виде краткого резюме.
Очки для образования: что перестаёт работать, когда успешный пилотный проект лишь выглядит успешным
Сначала вывод. Пилотный проект в этой реконструкции завершился неудачей, потому что модель развёртывания оказалась несовместима с характером зарядки устройств этой категории, а также потому что метрику оценки выбрали до того, как стало известно, что она будет вознаграждать. Он не был неудачным из-за неподходящего оборудования и не из-за поставщика. Покупатель, который воспримет его как оценку продукта, придёт к неверному выводу — поэтому мы излагаем этот опыт поэтапно, а не в виде краткого резюме.
Для кого написана эта статья. Этот материал предназначен для покупателя, руководителя программы или канального партнёра, который собирается провести пилотный проект и должен будет определить критерии оценки до поставки устройств. Вопрос, который стоит перед ними, редко звучит как «хорош ли продукт». Чаще это «что я буду измерять, кто будет отвечать за результаты и как к концу учебного периода я пойму, следует ли продолжать программу». Скрытое опасение заключается в том, что пилотный проект оценят по показателю, который создаёт ему преимущество, а программу продлят на основе данных, которые на самом деле не относились к её результатам.
Почему образовательный сегмент делает ситуацию сложнее, чем кажется. Опубликованные характеристики детской линейки ограничены: для A05 и A06 указаны аккумулятор ёмкостью 40 mAh, время зарядки не более двух часов, примерно двадцать часов номинального использования и магнитная зарядка, а для A07 — Bluetooth V5.4, аккумулятор ёмкостью 70 mAh и тот же номинальный период использования. В двух одинаковых записях присутствует неподтверждённое различие. Номинальные показатели использования приведены без опубликованных условий тестирования. Для линейки нет данных о соответствии каждой модели, о маршруте передачи данных и о спецификации индикатора записи. Иными словами, опубликованных данных достаточно, чтобы составить план зарядки, но недостаточно, чтобы определить, был ли развёртывание успешным. Следовательно, методику измерения необходимо проектировать, а не перенимать из готовых материалов.
Как использовать эту реконструкцию в закупочной документации. Покупатель не может сослаться на гипотетический пилотный проект, и ничто из изложенного не должно попасть в коммерческое предложение как подтверждение эксплуатационных характеристик. Однако эта реконструкция может служить обзором рисков, а такой документ будет более полезным и обоснованным. До оформления заказа на пилотный проект покупатель может сопоставить её с четырьмя вопросами и внести ответы в заказ на закупку: кто отвечает за зарядку и откуда поступает оборудование; какие критерии оценки применяются и кто их утверждает; что происходит с устройством, вышедшим из эксплуатации; каковы условия завершения пилотного проекта, если он не позволит получить подтверждающие данные. Каждый из этих пунктов представляет собой коммерческое условие, которое должны согласовать поставщик и учреждение, и каждый из них защищает покупателя, если пилотный проект повторит описанный выше сценарий. Пилотный этап, оплачиваемый отдельно от этапа масштабного развёртывания, и пробный заказ для проверки процедуры зарядки до принятия решения о закупке парка устройств — именно такая структура позволяет недорого получить ответы на эти вопросы.

Что показатели использования скрывали в первые три недели
Одно учебное заведение предоставило общие устройства одному классу на учебный период. Данные об использовании выглядели обнадёживающе: ежедневные сеансы росли на протяжении всего периода, а преподаватели не сообщали о жалобах. При любом разумном подходе можно было заключить, что пилотный проект удался, и проверка на третьей неделе письменно подтвердила этот вывод.
Однако данные об использовании не могли показать, кто именно пользовался устройствами. При проверке записей сеансов выяснилось, что на большинство из них пришлась активность одного уверенного пользователя, тогда как весь класс в значительной степени прекратил использование после периода новизны. Измерение было реальным, но оно измеряло не то и делало это таким образом, что создавало пилотному проекту преимущество.
Три показателя, которые создавали это преимущество. Число сеансов в день устойчиво росло — именно такую динамику обеспечивает один целеустремлённый пользователь. Жалоб не фиксировали — именно так ведёт себя парк устройств, которые никто не открывает. Кроме того, устройства использовались в начале учебной недели, что ничего не говорит о том, использовались ли они к её концу. Каждый из этих показателей был точным. При этом каждый вознаграждал поведение, никак не связанное с тем, принял ли класс продукт.
То, о чём никто не спрашивал. До начала пилотного проекта никто не записал, что будет означать «работать». Не было согласованного показателя внедрения, количества устройств, момента проведения оценки или ответственного за неё. Критерии оценки определили на четвёртой неделе, когда данные уже начали складываться в определённую картину, причём их определял тот, кто первым ознакомился с цифрами. В этом и заключается системный сбой — именно его покупатель может устранить, не меняя ни одной строки спецификации продукта.
Причина заключалась в зарядке и ответственности, а не в оборудовании
Когда занятия закончились, естественным образом сделали вывод, что оборудование не подходит для этих условий. Этот вывод был ошибочным, и подтверждавшие его данные уже были собраны.
При использовании 20 устройств общим доступом в классе проблема с зарядкой возникает раньше проблемы с использованием. Двадцать устройств, несколько розеток и расписание занятий, не оставляющее ни-кому времени на зарядку. К четвёртому уроку устройства разряжались, а разряженное устройство на столе невозможно отличить от отклонённого: ученик не может понять разницу, поэтому перестаёт спрашивать, а учитель фиксирует занятие как неиспользованное.
Как это превращается в проблему ответственности. У задачи по зарядке не было ответственного. Неявно её поручали тому, кто находился ближе к полке в конце дня, а на практике — никому, поскольку ни одному взрослому в помещении не была поручена ни сама задача, ни полномочия для её выполнения. Опубликованные данные делают проблему лишь сложнее: примерно 20 часов usage звучат как целый учебный год, но этот показатель приведён без указания условий тестирования. При этом устройство, активно используемое в течение учебного дня, находится под другой нагрузкой, чем при тестировании в пассивном режиме ожидания. Магнитная зарядка означает, что каждому устройству нужен отдельный кабель или док-станция, поэтому школе требовались 20 точек зарядки, тогда как, как это часто бывает, розеток было немного.
Что на самом деле подтверждали данные. В опубликованной конфигурации указано, что A05 и A06 питаются от аккумулятора ёмкостью 40 mAh, заряжаются не более чем за два часа и рассчитаны примерно на 20 часов использования, а A07 отличается ёмкостью аккумулятора и радиомодулем, но не временем работы. Эти данные согласуются с парком устройств, каждому из которых требуется одна ночная зарядка, а также с полкой, до которой можно без труда добраться. Они не согласуются с парком устройств совместного использования, которые заряжаются по мере необходимости. Поэтому диагноз касался операционной модели, а не самого устройства, и на любом этапе проблема заключалась не в оборудовании.
Что этот диагноз означает для договора поставки. Операционная модель — это прежде всего решение о закупках, и именно к ней привязываются коммерческие условия. Работу выполняют четыре положения, и все четыре следует согласовать до размещения пилотного заказа, а не выяснять в ходе его выполнения.
- Позиция по зарядному оборудованию. Магнитная зарядка означает, что каждому устройству нужен отдельный кабель или док-станция, поэтому количество определяется числом устройств и должно быть указано отдельной позицией со своим сроком изготовления. Пилотный проект, в котором котируются только устройства, а зарядное оборудование подразумевается, не сможет начаться уже в первый понедельник.
- Критерии оценки как отдельный пункт плана. Критерии, ведомость и еженедельный обзор необходимо согласовать с учреждением до поставки, а дату обзора включить в график поставки, а не оставлять на уровне чьих-то намерений.
- Порядок замены и устранения дефектов. Для устройства, вышедшего из строя в течение учебной недели, нужен порядок действий, срок реагирования и распределение транспортных расходов. Ничто из этого не публикуется в виде стандартной таблицы, поэтому условия необходимо согласовать для пилотного заказа и сохранить в дальнейшем.
- Условия выхода из проекта. Если пилотный проект не даст результатов, что произойдёт с остатком заказа, уже согласованными оснасткой и макетами, а также с упаковкой, напечатанной для программы, которая не началась? Согласованные вначале условия выхода отличают поставщика, который решает проблему вместе с покупателем, от поставщика, который решает её вопреки покупателю.

Что изменилось между первым и вторым учебным годом
Изменились три вещи, и все они затронули операционную модель. Ни одна из них не предполагала смены модели, поставщика или каких-либо изменений оборудования.
Зарядка переместилась домой. Каждый ученик держал у себя один комплект на протяжении учебного периода и заряжал его дома. Это полностью снимало проблему логистики с двадцатью комплектами в одном классе и переносило требование школы к инфраструктуре с двадцати зарядных устройств на небольшое количество запасных комплектов для тех устройств, которые возвращались разряженными. Это также означало, что школе больше не приходилось предоставлять инфраструктуру, расходы на которую она никогда не закладывала в бюджет, — именно эти расходы и стали скрытой стоимостью первого учебного периода.
Хранение переместилось в персональное место для каждого ученика. Ящик или коробка для каждого ученика вместо общего лотка превращали задачу подсчёта из коллективной в персональную, а также позволяли сразу заметить пропущенный комплект, а не только в конце учебного периода.
Показатель оценки изменился: вместо сеансов применяется число уникальных пользователей. Сеансы оказались способными создавать благоприятное впечатление о неудачном пилотном проекте, поэтому показатель изменили на то, что пилотный проект изначально должен был оценивать. Данные уже собирались; их просто читали не по той колонке. Тот же урок встречается в других проектах этой же категории: рабочая схема описана в материале о реальном применении в офисе, а ограничение, связанное с зарядкой, проявляется в более сложных условиях в материале о зарядке при создании контента.
Пилотный проект как коммерческий инструмент, а не только как тест. Пилотный проект, приобретённый по цене развёртывания, с минимальным объёмом заказа и условиями оплаты, действующими при развёртывании, лишает покупателя единственного рычага влияния. Эффективная структура предполагает отдельный тариф для пилотного проекта с собственным объёмом, ценой за единицу и условиями оплаты, согласованный как отдельный уровень в рамках того же договора, что и развёртывание. Тогда результаты пилотного проекта превращаются в обязательство, а не в начало новых переговоров. Этому помогают три коммерческих условия.
- Ценовой уровень и минимальный объём заказа. Пилотный проект с объёмом выше минимального объёма заказа поставщика — это развёртывание под другим названием, и поставщик соответствующим образом установит цену. Запрос действительно меньшего количества для пилотного проекта ценнее запроса скидки на объём, который пока никому не нужен.
- Условия оплаты в привязке к результатам. Депозит, остаток после проведения оценки пилотного проекта, а затем оплата развёртывания по итогам данных за первый учебный период — такая структура согласует коммерческий риск с уровнем неопределённости. Она также предоставляет покупателю естественную возможность отказаться от дальнейшего, не оплачивая весь парк устройств.
- Обязательства по упаковке и макетам. Макет для образовательной программы содержит фирменный стиль школы или бренда, и его печать до получения результатов пилотного проекта создаёт невозвратные расходы для покупателя. Пилотный проект с нейтральной упаковкой либо с переносом печатной карточки и лотка на момент оценки сохраняет эти средства там, где им и место, — у покупателя.
Всё это не меняет саму методику измерения. Коммерческая структура определяет, кто несёт риск; критерии определяют, узнает ли кто-либо что-либо полезное.

Методика оценки, которая позволила бы выявить проблему уже на второй неделе
Полезная часть неудачного пилотного проекта заключается в том, что он показывает, как выглядела бы успешная версия этого процесса. Вот четыре пункта, и все они доступны до начала первого сеанса.
Сформулируйте критерии до первого сеанса. Не после первого обзора и не после окончания учебного периода. Критерии должны определять, что считается внедрением, какое число уникальных пользователей и в какой доле класса означает успешный результат, что будет считаться неудачей и кто ознакомится с результатами в конце учебного периода. Пилотный проект без письменных критериев завершается субъективным впечатлением — тем самым восторженным отзывом, который пользователь оставил на третьей неделе.
Зафиксируйте исходные показатели по таблице подсчёта и времени зарядки на первой неделе. Два показателя: сколько комплектов заряжено и находится на полке в начале дня, а также сколько времени каждому комплекту требуется для достижения пригодного уровня заряда из состояния на конец предыдущего дня. Именно эти показатели позволяют распознать сбой зарядки именно как сбой зарядки и превращают фразу «ученики перестали ими пользоваться» в фразу «к четвёртому уроку устройства полностью разряжены». Сбор этих данных занимает пять минут в день, и это единственные показатели, связанные с аппаратным обеспечением, во всей оценке.
Измеряйте число уникальных пользователей с самого начала, а не со второго учебного периода. Показатель должен быть зафиксирован до поступления данных, иначе его выбор станет зависеть от того, что случайно покажут данные. Число уникальных пользователей в день — показатель, сохранивший актуальность после диагностики в рамках этого разбора, и его можно получить уже на второй неделе.
Определите модель владения до поставки первого устройства. Кто владеет устройством во время занятия, кто заряжает его, где оно хранится ночью и кто ведет его учет. Ответы на эти четыре вопроса определяют разницу между двумя вариантами, представленными в этой реконструкции, и требуют лишь принятия решения. Пилотный проект, в котором ответы получены до поставки, также можно оценить в части необходимого комплекта, поскольку количество зарядного оборудования определяется моделью владения, а не только количеством устройств.
Чего эта реконструкция не может вам сообщить
Она не может показать результаты реального пилотного проекта. Этот пример представляет собой гипотетическую реконструкцию, построенную на повторяющейся в данной категории схеме. За ним не стоят ни учреждение, ни класс, ни поставщик и ни заказ, а приведенные в нем числа не являются результатами измерений. Его следует читать как структуру для планирования пилотного проекта, а не как свидетельство о том, каким будет его результат.
Она не может дать прогнозируемый уровень внедрения. Мы публикуем емкость аккумуляторов, время зарядки, вместимость футляров, интерфейсы зарядки и расчетные показатели использования, если таковые имеются, и готовы указать их, чтобы вы могли построить на их основе модель зарядки. Мы не будем публиковать прогнозируемый уровень использования в классе, поскольку не располагаем основаниями для такого показателя, а подобное число было бы заимствовано из другой среды. Вместимость футляров указана не для каждой модели, и если модель совместного использования устройств предусматривает футляры, этот пробел необходимо устранить до начала пилотного проекта, а не во время него.
Она не может определить, подходит ли оборудование для вашего класса. Опубликованная конфигурация показывает, как устройства работают в условиях, которые никто не описал. На вопрос о том, подходят ли они для конкретного помещения, возрастной группы и расписания, ответит пилотный проект. Этот ответ определяется критериями, которые вы сформулировали до начала проекта, а не спецификацией.
Что следует из этого. Первый вопрос пилотного проекта — не о том, какую конфигурацию купить, а о том, как будут заряжать устройства, кто и за чей счет. Этот ответ влияет на результат больше, чем выбор модели. Второй вопрос — что, кем и когда будет измеряться. Пилотный проект, в котором есть ответы на оба вопроса, способен предоставить фактические данные; проект без ответов на них даст лишь красивую историю. Избегаемые вариантов тех же ошибок собраны в разделе ошибки новичков, а схема развертывания приведена в материале об умных очках для образования.
Что нам отправить и что спросить у поставщика. Сообщите количество учащихся в классе, количество устройств, рынок назначения, даты учебного периода и срок поставки, и мы укажем, какие опубликованные позиции относятся к выбранной вами конфигурации, какие позиции необходимо закрыть документами до оформления заказа и по чему мы не сможем предоставить подтверждающие данные для этого ассортимента. Вопросы, которые стоит задать любому поставщику в этой категории, следующие: какие требования применяются к данной конфигурации на рынке назначения и у кого находятся подтверждающие документы; какая позиция каталога поставляется, учитывая, что для двух детских моделей опубликованы одинаковые параметры; каковы количество зарядного оборудования и срок его изготовления для указанного количества устройств; каким образом заменяется устройство, вышедшее из строя в течение учебной недели; каковы условия по дефектным устройствам и возврату для пилотной партии. Поставщик, ответивший на все пять вопросов, предоставил вам канал взаимодействия, который можно представить учреждению. Поставщик, ответивший общими словами, этого не сделал, и никакое количество данных пилотного проекта не исправит ситуацию.
Связанные материалы
- Ошибки новичков — наиболее распространенные и предотвратимые ошибки
- Офис в реальных условиях — рабочая схема для сравнения
- Зарядка для создания контента — то же ограничение в другом контексте
Определите критерии, ведомость количества и модель владения до первого занятия, и пилотный проект даст фактические данные, а не красивую историю.



