Een ODM-ontwikkelingscasusreview is een evaluatie van een reeds uitgevoerd programma, en de waarde ervan ligt volledig in de vraag of de bevindingen het volgende programma bereiken. Een review die vastlegt wat er is gebeurd zonder te veranderen wat er als volgende gebeurt, is een verslag, geen review.
De complicatie bij deze categorie is dat de uitkomst van een programma moeilijk aan een oorzaak kan worden toegeschreven, omdat zoveel gepubliceerde rijen summier zijn en zoveel belangrijke beslissingen niet zijn gedocumenteerd. Onze gepubliceerde positie binnen het spectrum vormt het uitgangspunt van een review: de configuratiemogelijkheden, de gepubliceerde kleuropties voor twee modellen, de IP54-markeringen op de V06 en de S7 zonder rapportnummer, de geclaimde certificeringen waarvan de certificaatnummers nog worden bevestigd, en de rijen die overal als Niet gepubliceerd staan vermeld.
ODM-ontwikkelingscasusreview wordt daarom het best begrepen als een reviewstructuur die is ontworpen om het volgende programma te verbeteren, niet om het vorige te beoordelen — en dat verschil is niet semantisch. Een structuur die beoordeelt levert een getal op, en dat getal wordt vergeleken tussen programma's die niet vergelijkbaar zijn. Een structuur die verbetert levert acties op, en bij acties staan eigenaars.
De timing is net zo belangrijk als de structuur. Een review die wordt uitgevoerd terwijl de betrokkenen die de beslissingen namen nog beschikbaar zijn, kan de onderbouwing van die beslissingen achterhalen. Dezelfde review een jaar later levert alleen de beslissingen zelf op, terwijl juist de onderbouwing hetgeen is waar een review werkelijk naar zoekt.
Hieruit volgt een praktisch gevolg waarvoor het de moeite waard is om een plan te maken. De mensen die weten waarom een beslissing is genomen, zijn dezelfde mensen die doorgaan met het volgende programma, en de planning van een review botst vrijwel altijd met hun overdracht. Een review die twee weken vóór het vertrek van iemand is ingepland levert feiten op; een review die twee maanden na diens vertrek is ingepland levert gissingen op die met dezelfde zekerheid worden gepresenteerd. Als de onderbouwing van belang is — en bij deze categorie is dat meestal zo — moet de review plaatsvinden zolang de groep intact is.
Die beperking bepaalt ook wie eraan zou moeten deelnemen. Een review waaraan alleen de sponsor van het programma deelneemt, levert een samenvatting op. Een review waaraan de mensen die het werk hebben uitgevoerd deelnemen, met de sponsor aanwezig om verantwoordelijkheid te nemen voor de acties, levert bevindingen op. De rol van de sponsor is niet om inhoud bij te dragen, maar om middelen toe te zeggen aan wat de bevindingen vereisen. Daarom verandert afwezigheid van de sponsor een review in een document.
ODM-ontwikkeling: waarvoor een casusreview werkelijk dient
Een casusreview kan drie doelen hebben, en het door elkaar halen ervan is de meest voorkomende reden waarom een review niet nuttig blijkt.
Het programma afronden. Dit is het administratieve doel: bevestigen wat er is opgeleverd, vaststellen wat nog openstaat en de betrokkenen vrijgeven. Dit is legitiem, maar levert geen waarde op voor het volgende programma.
Een specifieke vraag beantwoorden. Iemand moet weten of een bepaalde beslissing juist was, of of een mislukking had kunnen worden voorkomen. Dit levert een smal maar reëel resultaat op, mits de vraag aan het begin is vastgelegd in plaats van tijdens de discussie naar voren te komen.
Het volgende programma verbeteren. Dit is het doel dat de inspanning rechtvaardigt, en hiervoor moet aan het begin het volgende programma worden benoemd. Een review waarvan de bevindingen nergens heen gaan, levert een document op, want een document is wat een review oplevert wanneer niemand zich ertoe heeft gecommitteerd erop te handelen.
Van de drie is alleen de derde in staat om iets te veranderen, en deze wordt het vaakst impliciet gelaten. De beslissing om aan het begin het volgende programma te benoemen, is het enige structurele element dat een review onderscheidt van een post-mortem, en het kost niets om eraan toe te voegen.
Het is de moeite waard om concreet te worden over wat het benoemen van het volgende programma in de praktijk verandert. Zonder benoeming wordt een bevinding een aantekening in een document. Met benoeming wordt een bevinding een regel in de specificatie van iemand, die bij de volgende bevriezing van het ontwerp wordt gecontroleerd. Het mechanisme is niet spectaculair, maar wel het enige betrouwbare: de bevindingen worden opgenomen in de eisenlijst van een programma dat al is ingepland, en een eis die niet is opgenomen, is door niemand geaccepteerd.
Om dezelfde reden moet een review acties met eigenaars opleveren in plaats van een lijst met aanbevelingen. Een aanbeveling is aan niemand gericht en verloopt zodra de vergadering eindigt. Bij een actie staat een naam vermeld en is er een datum waarop deze moet zijn uitgevoerd of uitdrukkelijk moet worden afgewezen. Dat is een aanzienlijk andere mate van verantwoordelijkheid voor een zeer kleine hoeveelheid extra werk.
Er is een vierde doel dat alleen in sommige organisaties voorkomt en het waard is om te benoemen, omdat het het beste materiaal oplevert: bepalen welke eisen standaard moeten worden in plaats van op maat. Als een review twee programma's op rij laat zien dat dezelfde acceptatiecriteria afzonderlijk waren gespecificeerd, heeft die review iets waardevollers gevonden dan een toelichting op de planning, want het criterium is nu een kandidaat voor de catalogus in plaats van voor de volgende onderhandeling.

De vijf onderdelen die een review moet bevatten
1. De eisenset zoals die daadwerkelijk werd begrepen. Niet de ondertekende specificatie, maar de eisenlijst zoals die er stond toen het programma begon, inclusief de punten die niemand had vastgelegd. Het verschil tussen de twee vormt de werkelijke reikwijdte van het programma en is het nuttigste dat een review kan vaststellen.
2. De beslissingen, in volgorde, met de reden voor elke beslissing. Een programma is een reeks beslissingen, en de beslissingen die uiteindelijk van belang bleken, waren zelden die welke op dat moment belangrijk leken. Achteraf vastleggen is mogelijk als de review plaatsvindt terwijl de betrokkenen er nog zijn.
3. Wat is vertraagd en wat de beperking was. De gebruikelijke beperkingen in deze categorie zijn een wachtrij bij een laboratorium, een doorlooptijd voor gereedschap, een afrondingscyclus voor artwork en een vervanging van een component. Een review die voor elke vertraging de beperking benoemt, is meer waard dan een review die alleen de vertragingen opsomt, omdat de beperking het deel is dat kan worden gegeneraliseerd en de vertraging niet.
4. De bevindingen die het volgende programma moeten veranderen. De ontwerpwijzigingen, de specificatieregels die vereist hadden moeten worden en de acceptatiecriteria die er hadden moeten bestaan. Dit is het onderdeel dat een review tot een echte review maakt.
5. Wat we anders zouden doen en wie verantwoordelijk is voor elke actie. Acties met verantwoordelijke personen en datums, anders levert de review een document op in plaats van een resultaat.
De volgorde van deze onderdelen is bewust gekozen en is niet chronologisch. De eerste twee onderdelen reconstrueren wat het programma was; het derde verklaart wat er is gebeurd; het vierde zet die verklaring om in eisen; het vijfde zet eisen om in werk. Een review die de onderdelen in de volgorde van het programma doorloopt, eindigt met een beschrijving van wat er is gebeurd. Dat is precies de uitkomst die de hele structuur moet voorkomen.
Het derde onderdeel is het lastigst, omdat het benoemen van een beperking vereist dat wordt toegegeven datiemands datum onjuist was. De techniek die werkt, is vragen wat het team destijds dacht en die overtuiging naast het feit vast te leggen. Een team dat dacht dat een datum vaststond en het bij het verkeerde had, heeft een bevinding over communicatie; een team dat wist dat de datum flexibel was en daar niets over zei, heeft een andere bevinding. Beide zijn bruikbaar, maar geen van beide is bruikbaar zonder dit onderscheid.
Er bestaat een variant van het derde onderdeel die nog nuttiger en aanzienlijk moeilijker te produceren is: de beperking die volledig onzichtbaar was. De meeste reviews leggen de beperkingen vast die het team al kende, zoals de wachtrij bij het laboratorium die het volgde of de opgegeven doorlooptijd voor gereedschap. De waardvollere bevinding is de afhankelijkheid die niemand had geïdentificeerd totdat die blokkeerde. Het identificeren daarvan vereist doorgaans dat iemand vertelt waarvan hij uitging, in plaats van wat hij wist.
Daarom moet de review de vraag vóór de sessie stellen en niet tijdens de sessie: stuur de deelnemers vooraf de lijst met vertragingen en vraag ieder om de beperking te noemen waarvan hij destijds uitging. Het verschil tussen de antwoorden en de gezamenlijke herinnering van het team is vaak de waardevolste inhoud van de hele review. Bovendien is die veel eenvoudiger op schrift te verkrijgen voordat iedereen overeenstemming heeft bereikt over een gezamenlijke versie.
Het vierde onderdeel bepaalt of de review zijn kosten rechtvaardigt, en de toets is eenvoudig: elke bevinding moet kunnen worden omgezet in een regel in een specificatie of checklist. Een bevinding die niet kan worden omgezet, is waarschijnlijk een ware waarneming zonder bestemming. Leg die apart vast, in plaats van ze in een eis te dwingen waar ze niet bij past.
Wat u moet meebrengen en wat elk onderdeel aantoont
1. De eisenlijst zoals die was en zoals die werd. De afwijking vormt de werkelijke reikwijdte van het programma. Waar beide documenten bestaan, is de afwijking eenvoudig te zien. Waar de eisenlijst nooit is vastgelegd, is het ontbreken zelf de bevinding. Leg dit vast als bevinding en reconstrueer het niet achteraf uit het geheugen.
2. Het plan voor de eerste-keurinspectie en de werkelijke resultaten. Het verschil tussen de criteria en de uitkomsten laat zien waar de acceptatiecriteria te ruim waren. Dit is het nuttigste afzonderlijke documentpaar in een review, omdat het een algemene uitspraak over kwaliteit omzet in een concrete uitspraak over welke criteria hun taak niet goed hebben vervuld.
3. Het wijzigingslogboek. Elke wijziging en de aanleiding ervoor, want een wijziging zonder aanleiding is een wijziging die zal terugkeren. Een wijzigingslogboek zonder aanleidingen is in feite slechts een lijst met datums en biedt geen basis voor enige conclusie over de doeltreffendheid van de wijzigingsbeheersing.
4. De claims die tijdens de looptijd van het programma in de vermeldingen zijn gedaan, en de documentatie achter elke claim. Dit is het gedeelte met de ongemakkelijkste inhoud en de grootste waarde. Vermeldingen overleven de mensen die ze hebben goedgekeurd, dus een claim uit de vierde maand kan nog steeds live staan lang nadat het programma is afgesloten en het bewijs ervan is vervallen.
5. De retourzendingen en de veldgegevens, gestructureerd in plaats van anekdotisch. Dit is de enige bron van informatie over de prestaties in de praktijk, omdat de gepubliceerde rijen in deze reeks beperkt zijn en de praktijk de waarheid biedt.
Een zesde document completert de reeks en komt vaak ontbreken: de offerte en de inkooporder zoals ze daadwerkelijk waren. De geoffereerde configuratie vergelijken met de geleverde configuratie is de snelste manier om vereisten te vinden die informeel zijn gewijzigd, en dat kan zonder iemand te vragen zich iets te herinneren.
Die vergelijking is de moeite waard om in detail uit te voeren in plaats van in één oogopslag, omdat de informele wijzigingen de interessante zijn. Een gewijzigde celconfiguratie, een vervangen casuscapaciteit, een firmwarebuild die later is verzonden dan beschreven — elk hiervan is een kleine afwijking die nergens in het wijzigingslogboek voorkomt en waarvan een volgend programma zal aannemen dat die nooit heeft plaatsgevonden. De offerte en de inkooporder zijn de twee documenten die op een specifiek moment zijn opgesteld, waardoor ze een uitzonderlijk betrouwbaar bewijs van de intentie zijn.
Een zevend item is de moeite waard om toe te voegen waar veldgegevens beschikbaar zijn: een steekproef van supporttickets of retourzendingen die zonder vastgelegde oorzaak zijn afgesloten. Dit zijn de storingen die de review sowieso nooit hebben bereikt en die doorgaans talrijker zijn dan de storingen die dat wel hebben gedaan. De waarde zit niet in de afzonderlijke tickets, maar in het patroon — een groep niet-gemelde storingen in één configuratie vertelt meer dan een pagina met een post-mortem.

Wat een review niet mag doen
1. Het programma beoordelen. Een score nodigt uit tot vergelijking tussen programma's die niet vergelijkbaar zijn en verbergt de bevindingen.
2. De leverancier of de inkoper de schuld geven. De bevindingen gaan meestal over een vereiste die nooit is gespecificeerd, en een review die een persoon aanwijst om de schuld te geven, houdt op te vragen wat de oorzaak was.
3. Een document op familieniveau beschouwen als dekking. Onze eigen catalogus bevat één vermelding met de aanduiding "L2 Utral", met een opmerking over de spelling, en een verdere aanduiding "Utral Pro Max" waarvan de betekenis niet is gepubliceerd. De vermeldingen voor lichtresponsieve en botgeleiding hebben helemaal geen aanduiding — de naamgeversduidelijkheid in een review is zelf een bevinding.
4. Een catalogusaanduiding beschouwen als testrapport. Bij de sportclassificatie is er geen rapportnummer gepubliceerd voor de IP54-aanduiding, en het als rapport benoemen zou een onjuiste claim in het dossier van het volgende programma opnemen.
5. Afsluiten met een samenvatting. Een review zonder acties is slechts een beschrijving van wat er is gebeurd.
Er is een zesde verbod dat minder voor de hand ligt en wellicht het schadelijkste is: laat de review geen document opleveren dat later als bewijs zal worden gebruikt. Een review bevat vaak erkenningen — dat een cijfer was aangenomen, dat een aanduiding niet was geverifieerd, dat er een claim zonder document was gedaan — die volstrekt passen in een review, maar volstrekt ongeschikt zijn voor een dossier waarop iemand later zal steunen. Reviews zijn interne documenten. Als ze als dossiers worden behandeld, verandert wat mensen bereid zijn erin te zeggen, en wordt de review slechter omdat de openhartigheid die hem nuttig maakt, eruit is geprijsd.

De juiste vijf vragen aan het begin stellen
- Wat is het doel van deze review? Het programma afsluiten, het volgende verbeteren of een specifieke vraag beantwoorden. Al het andere hangt af van het antwoord, en de meest voorkomende reden dat een review niets oplevert, is dat niemand het doel heeft afgesproken.
- Wie neemt deel, en zitten de beslissers erbij? Een review zonder de beslissers kan de gebeurtenissen reconstrueren, maar niet de redenering.
- Welke gegevens zijn beschikbaar — de vereistenlijst, het first-article-record, het wijzigingslogboek, de retourzendingen, de offerte. Een eerlijk antwoord onthult soms dat de review niet zinvol kan worden uitgevoerd, wat een betere uitkomst is dan hem toch uit te voeren.
- Welk programma komt hierna, en zullen deze bevindingen het bereiken? Door het programma te benoemen, worden bevindingen omgezet in vereisten.
- Wat zal de review opleveren waarop iemand handelt? Een document met een genoemde eigenaar en een datum, of niets bruikbaars.
De vijfde vraag is degene die onthult of een review de moeite waard is. Is het antwoord een rapport, dan is de review een administratieve bezigheid en moet die ook zo worden ingepland. Is het antwoord een gewijzigde specificatie, dan is de review de moeite waard om goed uit te voeren.
Er is een zesde vraag die nuttig is wanneer een programma slecht is gelopen: vraag wat het team anders zou doen als het opnieuw zou beginnen met dezelfde informatie. Het is een productieve vraag omdat ze de schuldvraag uit de weg neemt — het team had dezelfde informatie — en tegelijkertijd de specifieke acties oplevert waarvoor de review bestaat.
Er is ook een zevende vraag die bepaalt hoe de review wordt vastgelegd en die vóór de sessie moet worden gesteld, niet tijdens: wie mag de uitkomst lezen en waar gaat die daarna heen? Een review bevat erkenningen die intern passend zijn, maar ongeschikt voor een technisch dossier, zoals hierboven vermeld, en het antwoord bepaalt of mensen openhartig zullen zijn. Vastleggen dat de uitkomst een intern werkdocument is en benoemen wie die ontvangt, is een stap van twee minuten die de kwaliteit van wat wordt gezegd wezenlijk verandert.
Er is daarnaast een vraag over frequentie die de meeste organisaties standaard beantwoorden in plaats van op basis van een beslissing. Een review na elk programma levert veel materiaal op en afnemende meeropbrengst, omdat programma's in dezelfde categorie dezelfde lessen herhalen. Een review na elk derde programma levert minder materiaal en meer generalisatie op. Het juiste antwoord hangt af van hoeveel het volgende programma lijkt op het vorige, en de vraag die je moet stellen is of de bevindingen iets zouden veranderen als ze twee programma's te laat arriveerden.
Openlijk zijn over onze gepubliceerde tekortkomingen als reviewinput
We zullen ronduit zeggen dat een casusreview een actielijst met verantwoordelijken moet opleveren, en niet een score, en dat het eerlijke startpunt in deze categorie de gepubliceerde tekortkomingen zijn — het framegewicht, behalve bij één model met 158 g, de sensor, het gezichtsveld, de videospecificatie, de microfoongegevens, de lensprestaties, het materiaal van de afdichting, de nummers van de testrapporten en de certificaten.
We zullen die tekortkomingen niet invullen met gangbare waarden en een catalogusaanduiding niet als testrapport presenteren. In een reviewcontext heeft dit een specifiek gevolg: een bevinding die op een aangenomen waarde berust, kan niet worden opgelost door ons te vragen die waarde te verstrekken en moet worden opgelost door het criterium vast te leggen en de meting uit te voeren. Dat kost meer werk dan een telefoontje, en het is de enige versie van het antwoord die volgend jaar nog waar is in een technisch dossier.
Dezelfde regel geldt voor onze eigen eerdere beslissingen, niet alleen voor de huidige catalogus. Als een door ons geleverd programma leunde op een waarde die we toen niet hadden en sindsdien ook niet hebben gepubliceerd, is dat een reviewbevinding over beide partijen, en de nuttige actie is in beide gevallen dezelfde: het criterium vastleggen, de methode bepalen en de meting uitvoeren op een duidelijk omschreven steekproef. Reviews zijn veel beter in staat die actie voort te brengen wanneer ze mogen vastleggen dat de waarde een aanname was en niet was afgesproken.
Als u ons vertelt waarvoor de review dient en welk programma erop volgt, vertellen wij u welke gegevens er moeten zijn vastgelegd om de review zinvol te maken — en welke onderdelen van die gegevens uit de praktijk moeten komen en niet van ons.
De fasenstructuur die de review onderzoekt, is uiteengezet in ODM-ontwikkeling, de documentatie die de review had moeten kunnen raadplegen staat in documentatie over het ontwikkelingsproces, en de productiefase die de meeste reviews proberen te verklaren wordt behandeld in ontwikkelingsproces: massaproductie.
Een slotopmerking over reviews die niets opleveren. De oorzaak is zelden dat de review slecht is uitgevoerd; het is dat ze is uitgevoerd zonder opvolgend programma, zonder verantwoordelijke voor de acties of zonder toestemming om openhartig te zijn. Elk van deze drie weglatingen is voldoende, en alle drie zijn zichtbaar op het moment dat de review wordt ingepland, niet op het moment dat deze wordt afgerond. Het inplannen van een review met de opvolger vooraf benoemd en de openhartigheid vooraf afgesproken, vergt het meeste werk.
Er is nog één vraag die een werkende review scheidt van een review die niet werkt, en die aan het einde wordt gesteld in plaats van aan het begin: wat zullen we bij het volgende programma anders doen, elk in één zin? Het vragen om één zin dwingt tot een prioriteit. Een review die eindigt met vijf even belangrijke bevindingen heeft een lijst opgeleverd; een review die eindigt met één zin per deelnemer heeft een besluit opgeleverd, en dat besluit is wat het volgende programma nodig heeft.
Gerelateerd leesvoerwerk
- ODM-ontwikkeling
- Casusreview van engineeringaanpassingen
- Documentatie van het ontwikkelingsproces
- Massaproductiefase
Vertel ons waar de review voor dient en welk programma eraan volgt.



