Đây là một dựng lại giả định về thí điểm tại lớp học, được viết theo một khuôn mẫu lặp lại chứ không dựa trên bất kỳ cơ sở giáo dục hay dự án khách hàng nào có tên cụ thể. Nội dung này được đưa vào vì thí điểm thất bại theo cách có thể khắc phục, và cách khắc phục không phải là điều mà bằng chứng ban đầu chỉ ra.
Kính thông minh cho giáo dục: điều gì ngừng hoạt động khi một thí điểm trông có vẻ thành công
Kết luận trước. Thí điểm trong phần dựng lại này thất bại vì mô hình triển khai không tương thích với hành vi sạc của danh mục sản phẩm, đồng thời vì tiêu chí đánh giá được chọn trước khi ai hiểu rõ tiêu chí đó sẽ đền đòi điều gì. Thí điểm không thất bại vì phần cứng không phù hợp, cũng không thất bại vì nhà cung cấp. Người mua nếu hiểu đây là kết luận về sản phẩm sẽ rút ra kết luận sai, và đó là lý do phần tài liệu này được trình bày theo từng bước thay vì tóm tắt.
Đối tượng của bài viết này. Bài viết dành cho người mua, quản lý chương trình hoặc đối tác kênh phân phối sắp tổ chức thí điểm và phải soạn tiêu chí đánh giá trước khi thiết bị được giao. Câu hỏi mà họ phải cân nhắc hiếm khi là “sản phẩm này có tốt không”. Đó là “tôi sẽ đo lường điều gì, ai sẽ chịu trách nhiệm và làm thế nào để biết vào cuối học kỳ chương trình có nên tiếp tục hay không”. Nỗi lo nền sâu bên trong câu hỏi là thí điểm sẽ bị đánh giá dựa trên một tín hiệu có tính đến dương, và chương trình sẽ được gia hạn dựa trên bằng chứng vốn không liên quan đến chương trình.
Vì sao phân khúc giáo dục khiến vấn đề nghiêm trọng hơn vẻ ngoài. Cấu hình được công bố cho dòng sản phẩm trẻ em khá hạn chế: A05 và A06 công bố viên pin 40 mAh, thời gian sạc không quá hai giờ, thời gian sử dụng định mức khoảng hai mươi giờ và cơ chế sạc từ tính; còn A07 công bố Bluetooth V5.4, viên pin 70 mAh và thời gian sử dụng định mức tương tự. Hai mục giống hệt nhau vẫn có một khác biệt chưa được xác nhận. Các con số thời gian sử dụng định mức được đưa ra mà không kèm điều kiện kiểm thử công bố. Trong toàn bộ dòng sản phẩm không có hàng dữ liệu xác nhận sự phù hợp theo từng mô hình, không có thông số về luồng dữ liệu và cũng không có thông số về chỉ báo ghi hình. Nói cách khác, dữ liệu được công bố đủ để xây dựng kế hoạch sạc nhưng chưa đủ để xác định một lần triển khai có thành công hay không; do đó, cách đo lường phải được thiết kế chứ không thể thừa hưởng sẵn.
Cách sử dụng phần dựng lại này trong hồ sơ mua sắm. Người mua không thể trích dẫn một thí điểm giả định, và không nội dung nào trong tài liệu này nên được đưa vào đề xuất dưới dạng tuyên bố về hiệu năng. Điều tài liệu này có thể làm là dùng như một bài đánh giá rủi ro, vốn hữu ích hơn và dễ bảo chứng hơn. Trước khi đặt đơn hàng thí điểm, người mua có thể đối chiếu tài liệu với bốn câu hỏi và ghi câu trả lời vào đơn mua hàng: ai chịu trách nhiệm sạc và thiết bị đến từ đâu; tiêu chí đánh giá là gì và ai phê duyệt; điều gì sẽ xảy ra với một thiết bị được trả lại sau khi ngừng sử dụng; và các điều khoản chấm dứt là gì nếu thí điểm không tạo ra bằng chứng. Mỗi câu hỏi trong số đó đều là một điều khoản thương mại mà nhà cung cấp và cơ sở giáo dục phải thống nhất, và mỗi điều khoản đều là một ranh giới bảo vệ người mua nếu thí điểm lặp lại khuôn mẫu được mô tả ở đây. Một gói thí điểm được định giá riêng biệt so với gói triển khai diện rộng, kèm đơn hàng mẫu để kiểm tra quy trình sạc trước khi cam kết triển khai toàn bộ thiết bị, chính là cấu trúc giúp thu thập các câu trả lời đó với chi phí thấp.

Những con số sử dụng đã che giấu điều gì trong ba tuần đầu
Một cơ sở giáo dục đưa một lớp sử dụng thiết bị dùng chung trong một học kỳ. Dữ liệu sử dụng trông đầy khích quan — các phiên hoạt động hằng ngày tăng đều trong suốt giai đoạn, không có phản hồi tiêu cực nào được giáo viên ghi nhận. Theo bất kỳ cách diễn giải hợp lý nào, thí điểm đã thành công, và bài đánh giá vào tuần thứ ba cũng xác nhận điều đó bằng văn bản.
Điều dữ liệu sử dụng không thể cho thấy là ai đã sử dụng thiết bị. Việc rà soát hồ sơ các phiên hoạt động phát hiện rằng một người dùng tự tin duy nhất chiếm phần lớn các phiên, còn cả lớp nhìn chung phần lớn đã ngừng sử dụng sau giai đoạn mới lạ. Phép đo là có thật; nó chỉ đang đo sai thứ, và cách nó tạo lợi thế cho kết quả thí điểm khiến vấn đề càng trở nên đáng chú ý.
Ba tín hiệu đã tạo lợi thế cho kết quả thí điểm. Số phiên hoạt động mỗi ngày tăng đều, đúng như những gì một người dùng kiên quyết tạo ra. Không có phản hồi tiêu cực nào được ghi nhận, đúng như những gì một nhóm thiết bị không ai mở lên sẽ tạo ra. Và các thiết bị đều được sử dụng vào đầu tuần học, điều này không nói gì về việc chúng có còn được sử dụng vào cuối tuần hay không. Mỗi tín hiệu đều chính xác. Mỗi tín hiệu đều tạo điều kiện thuận lợi cho một hành vi không liên quan gì đến việc cả lớp đã tiếp nhận sản phẩm hay chưa.
Điều không ai hỏi. Trước khi thí điểm bắt đầu, chưa ai ghi lại điều gì được coi là “hoạt động”. Không có con số sử dụng được thống nhất, không có số lượng được thống nhất, không có mốc thời gian được thống nhất để đánh giá và cũng không có chủ sở hữu được chỉ định. Tiêu chí đánh giá được chốt vào tuần thứ tư, khi dữ liệu đã bắt đầu cho thấy một câu chuyện, và người chốt là người đọc số liệu trước tiên. Đó là lỗi về mặt cấu trúc, và đây cũng là phần người mua có thể khắc phục mà không cần thay đổi một dòng nào trong đặc tả sản phẩm.
Nguyên nhân là quyền sở hữu và việc sạc, không phải phần cứng
Ngay khi lớp học kết thúc, kết luận tự nhiên là phần cứng không phù hợp với bối cảnh sử dụng. Kết luận này sai, và bằng chứng cho thấy điều đó nằm trong những số liệu đã được thu thập.
Việc dùng chung thiết bị trong một lớp hai mươi học sinh tạo ra vấn đề sạc trước khi tạo ra vấn đề sử dụng. Hai mươi thiết bị, chỉ vài ổ cắm và một lịch học không dành cho ai một khoảng thời gian sạc. Đến tiết thứ tư, thiết bị đã cạn pin, và một thiết bị hết pin nằm trên bàn không thể phân biệt với một thiết bị bị từ chối — học sinh không nhận ra sự khác biệt nên thôi hỏi, còn giáo viên ghi buổi học là không sử dụng.
Cách vấn đề này trở thành vấn đề về quyền sở hữu. Không ai được giao nhiệm vụ sạc. Nhiệm vụ này ngầm được gán cho người ở gần kệ thiết bị nhất vào cuối ngày, nhưng trên thực tế là không ai, bởi không người lớn nào trong phòng được giao nhiệm vụ hoặc thẩm quyền thực hiện. Các số liệu được công bố càng khiến vấn đề khó giải quyết hơn chứ không dễ hơn: khoảng hai mươi giờ sử dụng theo công suất định mức nghe có vẻ như đủ dùng cả học kỳ, nhưng con số này không đi kèm điều kiện kiểm thử, và thiết bị được sử dụng liên tục trong một ngày giảng dạy sẽ chịu tải khác với thiết bị trong phép thử ở chế độ chờ thụ động. Sạc từ tính đòi hỏi một cáp hoặc một đế sạc cho mỗi thiết bị, vì vậy trường học cần hai mươi điểm sạc, trong khi — như thường thấy — trường chỉ có rất ít ổ cắm.
Điều bằng chứng thực sự chứng minh. Cấu hình được công bố cho biết A05 và A06 dùng pin 40 mAh, sạc trong hai giờ hoặc ít hơn, được định mức khoảng hai mươi giờ sử dụng, còn A07 khác biệt ở dung lượng pin và radio nhưng không khác về thời lượng sử dụng. Dữ liệu này phù hợp với một đội thiết bị cần sạc một lần mỗi đêm và một kệ để mọi thiết bị đều có thể lấy để sạc. Nó không phù hợp với một đội thiết bị dùng chung được sạc tùy ý. Vì vậy, chẩn đoán phải nằm ở mô hình vận hành chứ không phải thiết bị, và thiết bị chưa bao giờ là vấn đề.
Điều chẩn đoán đó có ý nghĩa gì đối với thỏa thuận cung ứng. Mô hình vận hành là một quyết định mua sắm trước khi là quyết định vận hành, và đây chính là nơi các điều khoản thương mại được gắn vào. Bốn điều khoản đảm nhiệm vai trò trọng tâm, và cả bốn đều nên được chốt trước khi đặt hàng thí điểm thay vì được phát hiện trong quá trình thí điểm.
- Mục thiết bị sạc. Sạc từ tính đòi hỏi một cáp hoặc một đế sạc cho mỗi thiết bị, vì vậy số lượng phụ thuộc vào số thiết bị và phải được báo giá thành một mục riêng với thời gian giao hàng riêng. Một thí điểm chỉ được báo giá thiết bị và mặc định đã bao gồm thiết bị sạc là một thí điểm sẽ bị đình trệ ngay vào thứ Hai đầu tiên.
- Tiêu chí đánh giá như một hạng mục trong lịch trình. Tiêu chí, bảng theo dõi số lượng và đợt rà soát hằng tuần phải được thống nhất với cơ sở trước khi giao hàng, còn ngày rà soát phải nằm trong lịch giao hàng thay vì chỉ nằm trong ý định của ai đó.
- Quy trình thay thế và xử lý lỗi. Một thiết bị phải rút khỏi vận hành trong tuần giảng dạy cần có quy trình, thời gian phản hồi và phương thức phân bổ chi phí vận chuyển. Không có điều nào trong số đó được công bố trong một bảng tiêu chuẩn, vì vậy cần thống nhất cho đơn hàng thí điểm và tiếp tục áp dụng về sau.
- Điều khoản thoát ra. Nếu thí điểm không tạo ra bằng chứng, điều gì sẽ xảy ra với phần đơn hàng còn lại, khuôn và hình ảnh nhãn hiệu đã được cam kết, cũng như bao bì đã in cho một chương trình không thể bắt đầu? Các điều khoản thoát ra được thống nhất ngay từ đầu là sự khác biệt giữa một nhà cung cấp giải quyết vấn đề cùng người mua và một nhà cung cấp giải quyết vấn đề chống lại người mua.

Điều gì đã thay đổi giữa học kỳ đầu tiên và học kỳ thứ hai
Ba yếu tố đã thay đổi, và cả ba đều là thay đổi về mô hình vận hành. Không yếu tố nào liên quan đến việc đổi mẫu, đổi nhà cung cấp hay thay đổi phần cứu theo bất kỳ cách nào.
Sạc đã chuyển về nhà. Mỗi học sinh giữ một thiết bị trong suốt học kỳ và sạc tại nhà. Điều này loại bỏ hoàn toàn vấn đề hậu cần khi có hai mươi thiết bị trong một lớp học, đồng thời chuyển yêu cầu hạ tầng của trường từ hai mươi điểm sạc sang một số thiết bị dự phòng nhỏ dành cho các thiết bị trả về hết pin. Điều đó cũng có nghĩa là trường không còn phải cung cấp hạ tầng mà trước đây chưa từng ngân sách cho — đây chính là chi phí ẩn trong học kỳ đầu tiên.
Bảo quản đã chuyển về một vị trí được gán cho từng học sinh. Một ngăn kéo hoặc một hộp cho mỗi học sinh, thay vì dùng chung một khay, đã biến việc kiểm đếm từ một nhiệm vụ chung thành nhiệm vụ cá nhân. Nhờ đó, một thiết bị bị thiếu sẽ được phát hiện ngay lập tức thay vì vào cuối học kỳ.
Chỉ số đánh giá đã chuyển từ số phiên sử dụng sang số người dùng duy nhất. Số phiên sử dụng đã chứng minh khả năng tạo ra ấn tượng quá mức cho một thử nghiệm không hiệu quả, vì vậy chỉ số đã được thay đổi thành yếu tố mà thử nghiệm lẽ ra cần đánh giá. Dữ liệu vốn đã được thu thập; điểm cần thay đổi chỉ là cách đọc dữ liệu qua cột khác. Bài học tương tự cũng xuất hiện ở một hình thức triển khai khác trong cùng nhóm, nơi cách sử dụng hiệu quả được mô tả trong bài trải nghiệm thực tế tại văn phòng, còn ràng buộc sạc xuất hiện trong bối cảnh khắc nghiệt hơn tại bài sạc pin cho hoạt động sáng tạo nội dung.
Thử nghiệm như một công cụ thương mại, không chỉ để kiểm tra. Một thử nghiệm được mua theo giá triển khai, số lượng đặt hàng tối thiểu khi triển khai và điều khoản thanh toán khi triển khai sẽ trao đi đòn bẩy duy nhất mà bên mua có thể có. Cấu trúc hiệu quả là một bậc giá thử nghiệm riêng, với số lượng, đơn giá và điều khoản thanh toán riêng, được thống nhất như một bậc riê biệt trong cùng thỏa thuận với giai đoạn triển khai. Nhờ vậy, bằng chứng từ thử nghiệm sẽ chuyển thành cam kết thay vì một cuộc đàm phán mới. Ba chi tiết thương mại giúp điều này trở thành hiện thực.
- Bậc giá và số lượng đặt hàng tối thiểu. Một thử nghiệm có số lượng lớn hơn số lượng đặt hàng tối thiểu của nhà cung cấp thực chất chỉ là giai đoạn triển khai dưới một cái tên khác, và nhà cung cấp sẽ tính giá phù hợp với điều đó. Yêu cầu một số lượng thử nghiệm thực sự nhỏ hơn có giá trị hơn nhiều so với yêu cầu giảm giá cho một số lượng mà hiện chưa ai cần.
- Điều khoản thanh toán gắn với bằng chứng. Khoản đặt trước, số dư còn lại sau khi thử nghiệm đạt điểm đánh giá, rồi triển khai dựa trên dữ liệu học kỳ đầu tiên là cấu trúc giữ cho rủi ro thương mại phù hợp với mức độ bất định. Cách này cũng tạo cho bên mua một điểm tự nhiên để dừng lại mà không phải thanh toán cho toàn bộ đội thiết bị.
- Cam kết về bao bì và thiết kế ấn phẩm. Thiết kế ấn phẩm cho một chương trình giáo dục mang nhận diện của trường hoặc thương hiệu. Việc in ấn trước khi thử nghiệm tạo ra bằng chứng là chi phí chìm mà bên mua không thể thu hồi. Một thử nghiệm được giao trong bao bì trung tính, hoặc hoãn thẻ in và khay đựng đến thời điểm đánh giá, giúp bên mua giữ lại khoản tiền đó ở đúng nơi nó thuộc về.
Những điều trên không thay đổi việc đo lường. Cấu trúc thương mại quyết định ai gánh rủi ro; các tiêu chí quyết định liệu có ai thực sự rút ra được bài học hay không.

Thiết kế đánh giá có thể phát hiện vấn đề ngay trong tuần thứ hai
Phần hữu ích nhất của một thử nghiệm thất bại là chỉ ra quy trình thành công sẽ trông như thế nào. Có bốn yếu tố, và cả bốn đều có sẵn trước phiên sử dụng đầu tiên.
Xác định tiêu chí trước phiên sử dụng đầu tiên. Không phải sau lần đánh giá đầu tiên, cũng không phải sau học kỳ. Các tiêu chí là: điều gì được tính là mức độ áp dụng, bao nhiêu người dùng duy nhất trong tỷ lệ lớp học nào tạo thành kết quả đạt, điều gì sẽ được tính là thất bại, và ai sẽ đọc kết quả vào cuối học kỳ. Một thử nghiệm không có tiêu chí bằng văn bản sẽ kết thúc bằng một ấn tượng định tính, và ấn tượng định tính ấy chính là điều người dùng hào hứng tạo ra vào tuần thứ ba.
Lập dữ liệu nền tảng về bảng đếm thiết bị và thời gian sạc trong tuần đầu tiên. Có hai con số: có bao nhiêu thiết bị đã được sạc và nằm trên kệ vào đầu ngày, và mỗi thiết bị cần bao lâu để sạc đủ để sử dụng kể từ trạng thái hết pin vào cuối ngày hôm trước. Đây là những con số giúp phát hiện sự cố sạc pin đúng như một sự cố sạc pin, đồng thời biến câu “lớp học ngừng sử dụng chúng” thành “các thiết bị đã hết pin vào tiết thứ tư”. Chúng chỉ tốn năm phút mỗi ngày và là phép đo liên quan đến phần cứng duy nhất trong toàn bộ quá trình đánh giá.
Đo lường số người dùng duy nhất ngay từ đầu, không phải từ học kỳ thứ hai. Chỉ số phải được cố định trước khi dữ liệu xuất hiện, nếu không việc lựa chọn chỉ số sẽ phụ thuộc vào điều dữ liệu tình cờ thể hiện. Số người dùng duy nhất mỗi ngày là phép đo vẫn giữ được sau khi chẩn đoán trong trường hợp này, và có thể thu thập vào tuần thứ hai.
Hãy quyết định mô hình sở hữu trước khi thiết bị đầu tiên được giao. Ai giữ thiết bị trong suốt buổi học, ai sạc pin, thiết bị được cất giữ ở đâu qua đêm và ai kiểm kê. Bốn câu hỏi đó là điểm khác biệt giữa hai phương án trong kịch bản này, và chúng chỉ đòi hỏi một quyết định mà không tốn kém. Một thử nghiệm trả lời được những câu hỏi này trước khi giao thiết bị cũng có thể được báo giá cho bộ thiết bị phù hợp, bởi số lượng thiết bị sạc phụ thuộc vào mô hình sở hữu chứ không chỉ phụ thuộc vào số lượng thiết bị.
Điều mà kịch bản này không thể cho bạn biết
Nó không thể cho bạn biết một thử nghiệm thực tế sẽ cho kết quả ra sao. Nội dung này là một kịch bản giả định được xây dựng theo một mô hình thường xuyên lặp lại trong lĩnh vực này. Nó không gắn với bất kỳ cơ sở giáo dục, lớp học, nhà cung cấp hay đơn hàng cụ thể nào, và các con số trong đó không phải là số đo. Nó nên được đọc như một khung để suy nghĩ về thử nghiệm, chứ không phải bằng chứng cho biết một thử nghiệm sẽ diễn ra như thế nào.
Nó không thể cung cấp tỷ lệ sử dụng dự kiến. Chúng tôi công bố dung lượng pin, thời gian sạc, số lượng thiết bị có thể chứa trong hộp, giao diện sạc và thời gian sử dụng định mức khi có dữ liệu, đồng thời nêu rõ những thông tin này để bạn có thể xây dựng mô hình sạc dựa trên đó. Chúng tôi sẽ không công bố tỷ lệ sử dụng dự kiến trong lớp học, vì không có cơ sở để đưa ra con số đó, và một con số như vậy sẽ được mượn từ một bối cảnh không phù hợp với bạn. Sức chứa hộp không được công bố cho mọi mô hình, và khi mô hình dùng chung phụ thuộc vào hộp, cần bổ sung thông tin này trước khi bắt đầu thử nghiệm chứ không phải trong khi thử nghiệm.
Nó không thể cho bạn biết liệu phần cứng có phù hợp với lớp học của bạn hay không. Cấu hình được công bố cho biết thiết bị hoạt động như thế nào trong những điều kiện chưa được ai mô tả. Việc chúng có phù hợp với một phòng học cụ thể, một nhóm tuổi cụ thể và một thời khóa biểu cụ thể hay không chính là câu hỏi mà thử nghiệm sẽ giải đáp, và câu trả lời nằm ở các tiêu chí bạn đã viết trước khi bắt đầu thử nghiệm chứ không phải ở bảng thông số kỹ thuật.
Điều cần rút ra từ đó. Câu hỏi đầu tiên cho một thử nghiệm không phải là nên mua cấu hình nào. Câu hỏi đó là thiết bị sẽ được sạc như thế nào, bởi ai và từ ngân sách của ai. Câu trả lời quyết định nhiều khía cạnh của kết quả hơn việc lựa chọn mô hình. Câu hỏi thứ hai là sẽ đo lường điều gì, bởi ai và khi nào. Một thử nghiệm có cả hai câu trả lời là một thử nghiệm có thể tạo ra bằng chứng; một thử nghiệm không có câu trả lời nào chỉ tạo ra một câu chuyện. Những phiên bản có thể tránh của cùng vấn đề được tổng hợp trong những sai lầm thường gặp, và khung triển khai nằm tại trang kính thông minh cho giáo dục.
Những gì cần gửi cho chúng tôi và những điều cần hỏi nhà cung cấp. Hãy gửi số lượng học sinh, số lượng thiết bị, thị trường đích, thời gian học kỳ và khung thời gian giao hàng. Chúng tôi sẽ cho bạn biết những hàng dữ liệu đã công bố nào áp dụng cho cấu hình bạn đang cân nhắc, những hạng mục nào phải được hoàn tất bằng tài liệu trước khi đặt hàng và những điều chúng tôi sẽ không thể cung cấp bằng chứng cho dòng sản phẩm này. Những câu hỏi đáng đặt cho bất kỳ nhà cung cấp nào trong lĩnh vực này là: những yêu cầu nào áp dụng cho cấu hình này tại thị trường đích và ai nắm giữ bằng chứng; mục trong danh mục nào đang được cung cấp, trong khi hai mô hình dành cho trẻ em có các thông số giống hệt nhau; số lượng thiết bị sạc và thời gian chuẩn bị cho số lượng thiết bị này là bao nhiêu; quy trình thay thế cho thiết bị hỏng trong tuần giảng dạy ra sao; và các điều khoản về lỗi sản phẩm và đổi trả cho số lượng thử nghiệm là gì. Một nhà cung cấp trả lời đầy đủ cả năm câu hỏi đã cung cấp cho bạn một kênh có thể giới thiệu đến một cơ sở giáo dục. Một nhà cung cấp chỉ trả lời bằng những tính từ thì chưa làm được điều đó, và không lượng dữ liệu thử nghiệm nào khắc phục được vấn đề này.
Bài liên quan
- Những sai lầm thường gặp — những phiên bản có thể tránh
- Thực tế trong văn phòng — một mô hình đang hoạt động để đối chiếu
- Sạc pin cho nội dung — cùng một ràng buộc trong bối cảnh khác
Hãy viết tiêu chí, bảng kiểm kê và mô hình sở hữu trước buổi học đầu tiên, và thử nghiệm sẽ tạo ra bằng chứng thay vì một câu chuyện.



