Detta är en hypotetisk rekonstruktion av en pilot i undervisningsmiljö, skriven utifrån ett återkommande mönster snarare än utifrån någon namngiven institution eller klientprojekt. Den ingår eftersom piloten misslyckades på ett sätt som hade kunnat åtgärdas, och eftersom den åtgärden inte var den som evidensen från början pekade mot.
glasögon för utbildning: vad som slutar fungera när en pilot ser framgångsrik ut
Slutsatsen först. Piloten i den här rekonstruktionen misslyckades eftersom driftsmodellen och kategorins laddningsbeteende inte var kompatibla, och eftersom utvärderingsmåttet valdes innan någon visste vad det skulle belöna. Den misslyckades inte för att hårdvaran var olämplig, och inte heller på grund av någon leverantör. En köpare som läser den som en produktbedömning drar fel slutsats, vilket är anledningen till att detta resonemang redovisas steg för steg i stället för att sammanfattas.
Vem detta är skrivet för. Läsaren är en köpare, programansvarig eller kanalpartner som snart ska genomföra en pilot och som måste skriva utvärderingskriterierna innan enheterna levereras. Frågan de har framför sig är sällan "är produkten bra". Det är "vad ska jag mäta, vem ska äga det och hur vet jag i slutet av perioden om programmet ska fortsätta". Underliggande oro är att piloten kommer att bedömas utifrån en signal som smickrar den, och att programmet förlängs baserat på evidens som aldrig handlat om programmet.
Varför utbildningssegmentet gör detta svårare än det verkar. Den publicerade konfigurationen för barnserien är begränsad: A05 och A06 uppger ett batteri på 40 mAh, en laddningstid på två timmar eller mindre, cirka tjugo timmars märkt användning och magnetisk laddning, medan A07 uppger Bluetooth V5.4, ett batteri på 70 mAh och samma märkta användning. De två identiska posterna innehåller en obekräftad skillnad mellan sig. Siffrorna för märkt användning anges utan publicerade testvillkor. Det finns ingen dokumenterad överensstämmelsere rad per modell, ingen datavägsspecifikation och ingen publicerad specifikation för indikator för inspelning för serien. Med andra ord räcker den publicerade informationen för att upprätta en laddningsplan, men inte för att avgöra om en driftsättning fungerade. Mätningen måste därför utformas, inte ärvas.
Hur den här rekonstruktionen kan användas i en upphandlingsdokumentation. En köpare kan inte citera en hypotetisk pilot, och ingenting i denna redovisning bör tas med i ett anbud som ett prestandapåstående. Den kan i stället fungera som en riskgranskning, vilket är ett mer användbart och försvarbart dokument. Före pilotbeställningen kan köparen jämföra texten med fyra frågor och skriva svaren i beställningen: vem ansvarar för laddningen och varifrån utrustningen kommer, vilka utvärderingskriterierna är och vem godkänner dem, vad som händer med en enhet som kommer tillbaka ur tjänst, och vilka villkor för avslut som gäller om piloten inte ger fram evidens. Varje punkt är ett kommersiellt villkor som leverantören och institutionen måste komma överens om, och varje punkt skyddar köparen om piloten upprepar det mönster som beskrivs här. En pilotnivå som prissätts separat från driftsättningsnivån, med en provbeställning för att testa laddningsrutinen innan hela enhetsbeståndet åtas, är den struktur som gör det enkelt och billigt att få fram dessa svar.

Vad användningssiffrorna dolde under de första tre veckorna
En institution lät en klass använda delade enheter under en period. Användningsdata såg lovande ut — dagliga sessioner som ökade under hela perioden och inga klagomål registrerades av lärpersonal. Enligt alla rimliga tolkningar hade piloten fungerat, och granskningen i vecka tre bekräftade det skriftligen.
Det användningsdata inte kunde visa var vem som använde glasögonen. En granskning av sessionsregistret visade att en enda säker användare stod för de flesta sessionerna, och att hela klassen i stor utsträckning hade slutat använda dem efter den första nyhetsperioden. Mätningen var verklig; den mätte fel sak, och den gjorde det på ett sätt som smickrade piloten.
De tre signalerna som smickrade resultatet. Sessioner per dag ökade stadigt, vilket är något en enda motiverad användare kan skapa. Inga klagomål registrerades, vilket är något en grupp enheter som ingen öppnar kan skapa. Och enheterna användes i början av undervisningsveckan, vilket inte säger något om de användes i slutet av veckan. Varje signal var korrekt. Varje signal belönade ett beteende som inte hade något att göra med om klassen hade adopterat produkten.
Det ingenbad om. Innan pilotprojektet startade hade ingen skrivit ner vad "fungerande" skulle betyda. Det fanns ingen överenskommen användningssiffra, inget överenskommet antal, ingen överenskommen tidpunkt under läsåret då utvärderingen skulle ske och ingen överenskommen ansvarig för den. Utvärderingskriterierna fastställdes i vecka fyra, efter att data redan börjat berätta en historia, och de fastställdes av den som läste siffrorna först. Det är den strukturella bristen, och det är den del en köpare kan åtgärda utan att ändra en enda rad i produktspecifikationen.
Orsaken var ansvar och laddning, inte hårdvaran
När lektionen var slut drog man den naturliga slutsatsen att hårdvaran var olämplig för miljön. Den slutsatsen var fel, och stödet för den fanns i de siffror som redan hade samlats in.
Delade enheter i en klass med tjugo elever skapar ett laddningsproblem innan de skapar ett användningsproblem. Tjugo enheter, några få uttag och ett lektionsschema som inte ger någon något laddningsfönster. Enheterna var tomma efter den fjärje lektionen, och en tom enhet på ett skrivbord går inte att skilja från en som har avvisats — eleven kan inte se skillnaden, så eleven slutar fråga, och läraren registrerar lektionen som oanvänd.
Så här blir det ett ansvarsproblem. Ingen hade ansvar för laddningsuppgiften. Den tillsades implicit till den som råkar vara närmast hyllan vid dagens slut, vilket i praktiken var ingen, eftersom ingen vuxen i rummet hade fått uppgiften eller befogenheten att utföra den. De publicerade siffrorna gör detta svårare, inte enklare: ungefär tjugo timmars uppmätt användningstid låter som en hel termin, men siffran anges utan testförhållanden, och en enhet som används aktivt under en undervisningsdag belastas på ett annat sätt än vid ett passivt standbytest. Magnetisk laddning innebär en kabel eller docka per enhet, så skolan behövde tjugo laddningsställen och hade, som är vanligt, ett litet antal uttag.
Vad underlaget faktiskt stödde. Den publicerade konfigurationen anger att A05 och A06 drivs av ett batteri på 40 mAh, laddas på två timmar eller mindre och är klassade för omkring tjugo timmars användning, samt att A07 skiljer sig åt i batterikapacitet och radio men inte i den angivna användningstiden. Uppgifterna är förenliga med en enhetsflotta som behöver laddas en gång per natt och en hylla där enheterna är åtkomliga. De är inte förenliga med en flotta av delade enheter som laddas när tillfället finns. Diagnosen gällde därför driftsmodellen, inte enheten, och enheterna hade aldrig varit problemet.
Vad diagnosen innebär för leveransavtalet. Driftsmodellen är ett upphandlingsbeslut innan den är ett driftsbeslut, och det är dit de kommersiella villkoren hör. Fyra bestämmelser gör jobbet, och alla fyra bör fastställas före pilotbeställningen i stället för att upptäckas under den.
- Posten för laddningsutrustning. Magnetisk laddning innebär en kabel eller docka per enhet, så antalet följer av enhetsantalet och måste offereras som en separat post med egen leveranstid. En pilot där endast enheter prissätts och dockningsutrustningen förutsätts är en pilot som kommer att stanna redan den första måndagen.
- Utvärderingskriterierna som schemalagd punkt. Kriterierna, räkneblanketten och den veckovisa granskningen måste avtalas med institutionen före leveransen, och granskningsdatumet måste finnas i leveransschemat, inte bara i någons avsikt.
- Processen för ersättning och defekter. En enhet som återgår ur tjänst under en undervisningsvecka behöver en process, en svarstid och en fraktfördelning, och inget av detta publiceras i en standardtabell. Det måste därför avtalas för pilotbeställningen och föras vidare.
- Villkoren för avslut. Om pilotprojektet inte resulterar i underlag, vad händer då med återstående del av beställningen, med de redan beställda formgivnings- och tryckmaterialen och med förpackningen som trycktes för ett program som aldrig startade? Avtalsvillkor om avslut som bestäms från början är skillnaden mellan en leverantör som löser ett problem tillsammans med köparen och en leverantör som löser det emot köparen.

Vad som ändrades mellan den första och den andra terminen
Tre saker förändrades, och alla tre var förändringar av driftsmodellen. Ingen av dem innebar en annan modell, en annan leverantör eller någon form av ändring av hårdvaran.
Laddningen flyttades in i hemmet. Varje elev höll i en enhet under en termin och laddade den hemma. Det eliminerade logistiksproblemet med tjugo enheter i ett klassrum och flyttade skolans infrastrukturkrav från tjugo laddningsställen till ett litet antal reservenheter för de som kom tillbaka urladdade. Det innebar också att skolan inte längre behövde tillhandahålla infrastruktur som den aldrig budgeterat för, vilket var de dolda kostnaderna under den första terminen.
Förvaringen flyttades till en namngiven plats per elev. En låda eller en box per elev, i stället för en gemensam bricka, ändrade räkningen från en gemensam uppgift till en personlig sådan. Det gjorde en saknad enhet synlig direkt i stället för vid terminens slut.
Utvärderingsmåttet ändrades från sessioner till unika användare. Sessioner hade visat sig kunna ge en misslyckad pilotstudie en skenbart positiv bild, så måttet ändrades till det pilotstudien egentligen skulle handla om. Uppgifterna samlades redan in; de lästes bara i fel kolumn. Samma lärdom återfinns i samma kategori av införande, där det fungerande arbetssättet beskrivs i kontorsvärlden i praktiken, och laddningsbegränsningen syns i en mer krävande miljö i laddning för innehållsskapande.
Pilotstudien som ett kommersiellt instrument, inte bara ett test. En pilotstudie som köps till införandepriset, med införandets minimibeställningskvantitet och med införandets betalningsvillkor har gett bort köparens enda förhandlingsmöjlighet. Den struktur som fungerar är en pilotnivå med egen kvantitet, egen enhetspris och egna betalningsvillkor, som avtalas som en separat nivå i samma avtal som införandet. Då omvandlas resultaten från pilotstudien till ett åtagande i stället för till en ny förhandling. Tre kommersiella detaljer gör att detta fungerar.
- Prisnivån och minimibeställningskvantiteten. En pilotstudie som ligger över leverantörens minimibeställningskvantitet är ett införande i annons namn, och leverantören prissätter den därefter. Att begära en pilotkvantitet som är på riktigt mindre är värt mer än att begära rabatt på en kvantitet som ingen behöver ännu.
- Betalningsvillkoren i förhållande till underlaget. En deposition, en slutfaktura vid pilotstudiens utvärderingspunkt och sedan införandet baserat på den första terminens data är den struktur som håller den kommersiella risken i linje med osäkerheten. Den ger också köparen en naturlig punkt där det är möjligt att avsluta utan att ha betalat för hela enhetsbeståndet.
- Åtagandet kring förpackning och tryckmaterial. Tryckmaterial för ett utbildningsprogram innehåller skolans eller varumärkets identitet, och att trycka det innan pilotstudien har gett resultat är en förlorad kostnad som köparen inte kan återfå. En pilotstudie som levereras i neutral förpackning, eller som skjuter upp det tryckta informationskortet och brickorna till utvärderingspunkten, håller de pengarna hos köparen där de hör hemma.
Ingenting av detta förändrar själva mätningen. Den kommersiella strukturen avgör vem som bär risken; kriterierna avgör om någon lär sig något.

Utvärderingsdesignen som hade upptäckt problemet under den andra veckan
Den användbara delen av en misslyckad pilotstudie är att den visar hur den lyckade versionen av processen hade sett ut. Fyra punkter, och alla fyra finns tillgängliga före den första sessionen.
Skriv kriterierna före den första sessionen. Inte efter den första granskningen, inte efter terminen. Kriterierna är: vad som räknas som införande, vilket antal unika användare i vilken andel av klassen som utgör ett godkänt resultat, vad som räknas som ett misslyckande och vem som läser resultatet vid terminens slut. En pilotstudie utan skrivna kriterier slutar med ett kvalitativt intryck, och ett kvalitativt intryck är vad den engagerade användaren producerade under den tredje veckan.
Fastställ utgångsvärden för antalslistan och laddtiderna under den första veckan. Två siffror: hur många enheter som är laddade och finns på hyllan vid dagens början, och hur länge varje enhet behöver för att nå en användbar laddning utifrån sitt tillstånd från föregående dags slut. Det är dessa siffror som avslöjar ett laddningsfel som ett laddningsfel, och det är dessa siffror som förvandlar ”eleverna slutade använda dem” till ”enheterna är urladdade vid fjärje lektionen”. De tar fem minuter per dag och är den enda hårdvarurelaterade mätningen i hela utvärderingen.
Mät unika användare från början, inte från den andra terminen. Måttet måste fastställas innan uppgifterna kommer in, annars blir valet av mått en funktion av vad uppgifterna råkar visa. Unika användare per dag är det mått som bestod efter diagnosen i den här rekonstruktionen, och det finns tillgängligt under den andra veckan.
Bestäm ägandemodellen innan den första enheten levereras. Vem har enheten under lektionen, vem laddar den, var förvaras den över natten och vem räknar den. De fyra frågorna är skillnaden mellan de två alternativen i denna rekonstruktion, och de kostar ingenting annat än ett beslut. En pilot som besvarar dem före leveransen kan också få rätt utrustning offererad, eftersom antalet laddningsutrustningar följer av ägandemodellen och inte enbart av antalet enheter.
Vad denna rekonstruktion inte kan berätta
Den kan inte visa vad en verklig pilot hade gett. Beskrivningen är en hypotetisk rekonstruktion byggd utifrån ett mönster som återkommer i denna kategori. Den har ingen institution, ingen klass, ingen leverantör och ingen beställning bakom sig, och siffrorna är inte mätvärden. Den bör läsas som en struktur för att tänka kring en pilot, inte som bevis för hur en pilot går ut.
Den kan inte ge dig en förväntad användningsgrad. Vi publicerar kapaciteterna per laddningsstation, laddtiderna, kapaciteterna per fodral, laddningsgränssnitten och de angivna användningssiffrorna när sådana finns, och vi anger dem så att en laddningsmodell kan byggas utifrån dem. Vi publicerar inte en förväntad användningsgrad i klassrummet, eftersom vi saknar underlag för det, och ett sådant tal skulle hämtas från en miljö som inte är din. Fodralens kapacitet publiceras inte för varje modell, och om en modell med delade enheter är beroende av fodral måste den luckan fyllas före piloten, inte under den.
Den kan inte avgöra om hårdvaran passar ditt klassrum. Den publicerade konfigurationen visar vad enheterna gör under förhållanden som ingen har beskrivit. Om de passar ett visst rum, en viss åldersgrupp och ett visst schema är det piloten som besvarar, och svaret ges av de kriterier du formulerade innan piloten startade, inte av specifikationsbladet.
Vad du ska ta med dig. Den första frågan inför en pilot är inte vilken konfiguration som ska köpas. Det är hur enheterna laddas, av vem och ur vars budget. Svaret avgör mer om resultatet än modellvalet gör. Den andra frågan är vad som ska mätas, av vem och när. En pilot som har svar på båda frågorna kan producera bevis; en pilot som saknar båda producerar bara en berättelse. De undvikbara varianterna av samma problem samlas i nybörjarens misstag, och införanderamverket finns på glasögon för utbildning.
Vad du ska skicka till oss och vad du ska fråga leverantören. Skicka klassens storlek, antalet enheter, destinationmarknaden, terminens datum och leveransfönstret, så berättar vi vilka publicerade rader som gäller för den konfiguration du har i åtanke, vilka punkter som måste avslutas med ett dokument före beställningen och vad vi inte kommer att kunna belägga för detta sortiment. De frågor som är värda att ställa till alla leverantörer i denna kategori är dessa: vilka krav som gäller för konfigurationen på destinationmarknaden och vem som innehar underlaget; vilken katalogpost som levereras, med tanke på att två modeller för barn publicerar identiska parametrar; vad laddningsutrustningens antal och leveranstid är för detta antal enheter; hur ersättningsvägen ser ut för en enhet som går sönder under en undervisningsvecka; och vilka villkor för reklamation och retur som gäller för en pilotmängd. En leverantör som besvarar alla fem har gett dig en kanal som du kan presentera för en institution. En leverantör som svarar med adjektiv har inte gjort det, och mängden pilotdata kommer inte att lösa problemet.
Relaterad läsning
- Nybörjarens misstag — de undvikbara varianterna
- Kontorsvärlden i praktiken — ett fungerande mönster att jämföra med
- Laddning för innehåll — samma begränsning i ett annat sammanhang
Skriv kriterierna, antalslistan och ägandemodellen före den första sessionen, så ger piloten bevis i stället för en berättelse.



