Η αξιολόγηση περιπτώσεων ανάπτυξης ODM είναι αξιολόγηση ενός προγράμματος που έχει ήδη εκτελεστεί και η αξία της έγκειται αποκλειστικά στο αν τα ευρήματά της μεταφέρονται στο επόμενο πρόγραμμα. Μια αξιολόγηση που καταγράφει τι συνέβη χωρίς να αλλάζει τι θα συμβεί στη συνέχεια είναι απλώς ένα αρχείο καταγραφής, όχι αξιολόγηση.
Η πολυπλοκότητα σε αυτήν την κατηγορία έγκειται στο ότι είναι δύσκολο να αποδοθεί το αποτέλεσμα ενός προγράμματος σε συγκεκριμένους παράγοντες, επειδή πολλές από τις δημοσιευμένες σειρές δεν περιέχουν επαρκή στοιχεία και πολλές από τις αποφάσεις που είχαν σημασία δεν τεκμηριώθηκαν. Η δημοσιευμένη θέση μας σε όλο το φάσμα αποτελεί το σημείο αναφοράς για κάθε αξιολόγηση: ο χώρος διαμόρφωσης, οι δημοσιευμένες διαθέσιμες χρώματα σε δύο μοντέλα, οι ενδείξεις IP54 στα V06 και S7 χωρίς αριθμό έκθεσης, οι επικαλούπτες πιστοποιήσεις με αριθμούς πιστοποιητικών που αναμένουν επιβεβαίωση και οι σειρές που εμφανίζονται ως «Μη δημοσιευμένες» παντού.
Επομένως, η αξιολόγηση περιπτώσεων ανάπτυξης ODM γίνεται καλύτερα αντιληπτή ως μια δομή αξιολόγησης που έχει σχεδιαστεί για να βελτιώνει το επόμενο πρόγραμμα και όχι για να βαθμολογεί το προηγούμενο — και η διαφορά δεν είναι απλώς σημαντική. Μια δομή που βαθμολογεί παράγει έναν αριθμό, και οι αριθμοί συγκρίνονται μεταξύ προγραμμάτων που δεν είναι συγκρίσιμα. Μια δομή που βελτιώνει παράγει ενέργειες, και οι ενέργειες έχουν υπεύθυνους.
Ο χρόνος έχει τόσηη σημασία όσο και η δομή. Μια αξιολόγηση που διενεργείται όσο είναι ακόμη διαθέσιμοι οι άνθρωποι που έλαβαν τις αποφάσεις μπορεί να ανακτήσει τη συλλογιστική πίσω από αυτές. Η ίδια αξιολόγηση, όταν διενεργείται ένα χρόνο αργότερα, ανακτά μόνο τις ίδιες τις αποφάσεις, ενώ η συλλογιστική είναι το πραγματικό ζητούμενο κάθε αξιολόγησης.
Από αυτό προκύπτει μια πρακτική συνέπεια, την οποία αξίζει να λάβουμε υπόψη κατά τον σχεδιασμό. Οι άνθρωποι που γνωρίζουν γιατί λήφθηκε μια απόφαση είναι οι ίδιοι που προχωρούν στο επόμενο πρόγραμμα, και το χρονοδιάγραμμα μιας αξιολόγησης συνήθως συγκρούεται με την παράδοσή τους. Μια αξιολόγηση που έχει προγραμματιστεί δύο εβδομάδες πριν από την αποχώρηση κάποιου θα παράγει γεγονότα· μια αξιολόγηση που έχει προγραμματιστεί δύο μήνες μετά την αποχώρησή του θα παράγει εικασίες, οι οποίες παρουσιάζονται με την ίδια βεβαιότητα. Αν η συλλογιστική έχει σημασία — και σε αυτήν την κατηγορία συνήθως έχει — η αξιολόγηση πρέπει να πραγματοποιηθεί όσο η ομάδα παραμένει ακέραιη.
Ο περιορισμός αυτός καθορίζει επίσης ποιοι πρέπει να συμμετέχουν. Μια αξιολόγηση στην οποία παρευρίσκεται μόνο ο χορηγός του προγράμματος παράγει μια σύνοψη. Μια αξιολόγηση στην οποία παρευρίσκονται οι άνθρωποι που εκτέλεσαν τη δουλειά, με τον χορηγό παρόντα για να αναλάβει την ευθύνη των ενεργειών, παράγει ευρήματα. Ο ρόλος του χορηγού δεν είναι να συμβάλει με περιεχόμενο, αλλά να δεσμεύει πόρους για ό,τι απαιτούν τα ευρήματα, γι' αυτό και η απουσία του μετατρέπει μια αξιολόγηση σε ένα έγγραφο.
Ανάπτυξη ODM: για πραγματικά χρησιμεύει μια αξιολόγηση περιπτώσεων
Μια αξιολόγηση περιπτώσεων έχει τρεις πιθανούς σκοπούς, και η ανάμιξή τους αποτελεί τον πιο συχνό λόγο για τον οποίο μια αξιολόγηση αποτυγχάνει να αποδώσει χρήσιμο αποτέλεσμα.
Ολοκλήρωση του προγράμματος. Πρόκειται για τον διοικητικό σκοπό: την επιβεβαίωση του τι παραδόθηκε, τον διακανονισμό των εκκρεμοτήτων και την απελευθέρωση των ανθρώπων που συμμετείχαν. Είναι θεμιτός, αλλά δεν είναι αυτός που παράγει αξία για το επόμενο πρόγραμμα.
Διευθέτηση ενός συγκεκριμένου ζητήματος. Κάποιος πρέπει να μάθει αν μια συγκεκριμένη απόφαση ήταν σωστή ή αν μια αποτυχία θα μπορούσε να είχε αποφευχθεί. Αυτό παράγει ένα στενό αλλά πραγματικό αποτέλεσμα, εφόσον το ζήτημα καταγράφεται εξαρχής και δεν προκύπτει από τη συζήτηση.
Βελτίωση του επόμενου προγράμματος. Αυτός είναι ο σκοπός που δικαιολογεί την προσπάθεια και απαιτεί να αναγραφεί εξαρχής το επόμενο πρόγραμμα. Μια αξιολόγηση της οποίας τα ευρήματα δεν έχουν που να μεταφερθούν θα παράγει ένα έγγραφο, επειδή το έγγραφο είναι αυτό που παράγει μια αξιολόγηση όταν κανείς δεν έχει δεσμευτεί να ενεργήσει βάσει των ευρημάτων.
Από τις τρεις, μόνο η τρίτη αλλάζει κάτι, και είναι αυτή που συχνότερα μένει υπόρρητη. Η απόφαση να αναγραφεί εξαρχής το επόμενο πρόγραμμα είναι το μοναδικό δομικό στοιχείο που ξεχωρίζει μια αξιολόγηση από μια ανασκόπηση μετά το τέλος του έργου, και δεν κοστίζει τίποτα για να προστεθεί.
Αξίζει να γίνουμε συγκεκριμένοι σχετικά με το τι αλλάζει πρακτικά η αναγραφή του επόμενου προγράμματος. Χωρίς αυτήν, ένα εύρημα γίνεται μια σημείωση σε ένα έγγραφο. Με αυτήν, ένα εύρημα γίνεται μια γραμμή στην προδιαγραφή κάποιου, η οποία ελέγχεται κατά τον επόμενο παγώματο σχεδιασμού. Ο μηχανισμός δεν είναι εντυπωσιακός και είναι ο μόνος αξιόπιστος: τα ευρήματα καταχωρούνται στον κατάλογο απαιτήσεων ενός προγράμματος που έχει ήδη προγραμματιστεί, και μια απαίτηση που δεν καταχωρείται δεν έχει γίνει δεκτή από κανέναν.
Γι' αυτό άλλωστε, μια αξιολόγηση πρέπει να παράγει ενέργειες με υπεύθυνους και όχι μια λίστα συστάσεων. Μια σύσταση απευθύνεται σε κανέναν και λήγει μαζί με τη συνάντηση. Μια ενέργεια έχει ένα όνομα απέναντι και μια ημερομηνία έως την οποία πρέπει να εκτελεστεί ή να απορριφθεί ρητά, κάτι που συνιστά πολύ μεγαλύτερη λογοδοσία για ελάχιστη πρόσθετη εργασία.
Υπάρχει ένας τέταρτος σκοπός που εμφανίζεται μόνο σε ορισμένους οργανισμούς και αξίζει να αναφερθεί, επειδή παράγει το καλύτερο υλικό: τον εντοπισμό των απαιτήσεων που θα πρέπει να καταστούν τυποποιημένες και όχι ειδικές για κάθε περίπτωση. Μια ανασκόπηση που διαπιστώνει ότι δύο διαδοχικά προγράμματα προσδιόρισαν ξεχωριστά το ίδιο κριτήριο αποδοχής έχει εντοπίσει κάτι πολύτιμο για την εξήγηση ενός χρονοδιαγράμματος, επειδή το κριτήριο είναι πλέον υποψήφιο για τον κατάλογο και όχι για την επόμενη διαπραγμάτευση.

Τα πέντε τμήματα που πρέπει να περιέχει μια ανασκόπηση
1. Το σύνολο απαιτήσεων όπως είχε γίνει κατανοητό στην πράξη. Όχι η υπογεγραμμένη προδιαγραφή — ο κατάλογος απαιτήσεων όπως υπήρχε όταν ξεκίνησε το πρόγραμμα, συμπεριλαμβανομένων των στοιχείων που κανείς δεν κατέγραψε. Η απόκλιση ανάμεσα στα δύο αποτελεί το πραγματικό πεδίο εφαρμογής του προγράμματος και είναι το πιο χρήσιμο στοιχείο που μπορεί να διαπιστώσει μια ανασκόπηση.
2. Οι αποφάσεις, κατά σειρά, με τον λόγο που λήφθηκε η καθεμία. Ένα πρόγραμμα είναι μια αλληλουχία αποφάσεων, και αυτές που αποδείχθηκαν σημαντικές σπάνια ήταν αυτές που φάνταζαν σημαντικές εκείνη τη στιγμή. Η καταγραφή τους εκ των υστέρων είναι εφικτή, εάν η ανασκόπηση γίνει όσο οι άνθρωποι είναι ακόμη διαθέσιμοι.
3. Τι καθυστέρησε και ποιος ήταν ο περιορισμός. Σε αυτή την κατηγορία, οι συνηθισμένοι περιορισμοί είναι η ουρά στο εργαστήριο, ο χρόνος παράδοσης εργαλείων, ο κύκλος έγκρισης των καλλιτεχνικών και η αντικατάσταση εξαρτήματος. Μια ανασκόπηση που αναφέρει τον περιορισμό για κάθε καθυστέρηση αξίζει περισσότερο από μια που απλώς παραθέτει τις καθυστέρησεις, επειδή ο περιορισμός είναι το στοιχείο που γενικεύεται, ενώ η καθυστέρηση δεν είναι.
4. Τα ευρήματα που θα πρέπει να αλλάξουν το επόμενο πρόγραμμα. Οι αλλαγές σχεδιασμού, οι γραμμές προδιαγραφής που θα έπρεπε να απαιτούνται, τα κριτήρια αποδοχής που θα έπρεπε να υπάρχουν. Αυτό είναι το τμήμα που μετατρέπει την ανασκόπηση σε ανασκόπηση.
5. Τι θα κάναμε διαφορετικά και ποιος είναι υπεύθυνος για κάθε ενέργεια. Ενέργειες με υπεύθυνους και ημερομηνίες, διαφορετικά η ανασκόπηση παράγει ένα έγγραφο αντί για ένα αποτέλεσμα.
Η σειρά αυτών των τμημάτων είναι σκόπιμη και δεν είναι χρονολογική. Τα τμήματα ένα και δύο ανακατασκευάζουν το πώς ήταν το πρόγραμμα· το τρίτο εξηγεί τι συνέβη· το τέταρτο μετατρέπει αυτή την εξήγηση σε απαιτήσεις· το πέμπτο μετατρέπει τις απαιτήσεις σε εργασία. Μια ανασκόπηση που τα εκτελεί με τη σειρά του προγράμματος καταλήγει σε μια περιγραφή του τι συνέβη, κάτι που αποτελεί το αποτέλεσμα το οποίο υπάρχει ολόκληρη η δομή για να αποφύγει.
Το τρίτο τμήμα είναι εκεί όπου η πειθαρχία είναι πιο δύσκολη, επειδή η αναφορά ενός περιορισμού απαιτεί την παραδοχή ότι κάποιο ημερομηνία ήταν λανθασμένο. Η τεχνική που λειτουργεί είναι να ζητηθεί τι πίστευε η ομάδα εκείνη τη στιγμή και να καταγραφεί η πεποίθηση μαζί με το γεγονός. Μια ομάδα που πίστευε ότι ένα ημερομηνία ήταν σταθερό και ήταν λανθασμένη έχει ένα εύρημα σχετικό με την επικοινωνία· μια ομάδα που γνώριζε ότι το ημερομηνία ήταν ευέλικτο και δεν είπε τίποτα έχει διαφορετικό εύρημα. Και τα δύο είναι ενεργοποιήσιμα, αλλά κανένα από τα δύο δεν είναι ενεργοποιήσιμο χωρίς αυτή τη διάκριση.
Υπάρχει μια εκδοχή του τρίτου τμήματος που είναι ακόμη πιο χρήσιμη και σημαντικά πιο δύσκολη να παραχθεί: ο περιορισμός που δεν ήταν ποτέ ορατός. Οι περισσότερες ανασκοπήσεις καταγράφουν τους περιορισμούς που η ομάδα γνώριζε ήδη — την ουρά του εργαστηρίου που παρακολουθούσε, τον χρόνο παράδοσης εργαλείων για τον οποίο είχε δοθεί προσφορά. Το πιο πολύτιμο εύρημα είναι η εξάρτηση που κανείς δεν είχε εντοπίσει μέχρις ότου περιόρισε τη διαδικασία, και ο εντοπισμός της συνήθως απαιτεί να αναφέρει κάποιος τι υπέθεσε, αντί για το τι γνώριζε.
Γι’ αυτό η ανασκόπηση θα πρέπει να θέτει το ερώτημα πριν από τη συνεδρία και όχι κατά τη διάρκειά της: στείλτε εκ των προτέρων στους συμμετέχοντες τον κατάλογο των καθυστερήσεων και ζητήστε από τον καθένα να αναφέρει τον περιορισμό που πίστευε ότι υπήρχε εκείνη τη στιγμή. Η διαφορά ανάμεσα στις απαντήσεις και στην κοινή ανάμνηση της ομάδας αποτελεί συχνά το πιο πολύτιμο περιεχόμενο ολόκληρης της ανασκόπησης, και συλλέγεται πολύ εύκολα γραπτώς πριν οποιονδήποτε συμφωνήσει σε μια κοινή εκδοχή.
Το τέταρτο τμήμα είναι εκεί όπου η ανασκόπηση είτε δικαιολογεί το κόστος της είτε όχι, και το κριτήριο είναι απλό: κάθε εύρημα θα πρέπει να μετατρέπεται σε μια γραμμή σε μια προδιαγραφή ή σε έναν κατάλογο ελέγχου. Ένα εύρημα που δεν μπορεί να μετατραπεί είναι πιθανότατα μια αληθινή παρατήρηση χωρίς θέση, και αξίζει να καταγράφεται ξεχωριστά από τα ευρήματα, αντί να παραβιάζεται για να χωρέσει σε μια απαίτηση στην οποία δεν ταιριάζει.
Τι να φέρετε και τι αποδεικνύει κάθε στοιχείο
1. Τον κατάλογο απαιτήσεων όπως ήταν και όπως κατέληξε. Η απόκλιση αποτελεί το πραγματικό πεδίο εφαρμογής του προγράμματος. Όπου υπάρχουν και τα δύο έγγραφα, η απόκλιση είναι εύκολα ορατή. Όπου ο κατάλογος απαιτήσεων δεν γράφτηκε ποτέ, η απουσία του αποτελεί από μόνη της το εύρημα και θα πρέπει να καταγραφεί ως τέτοιο, αντί να ανακατασκευαστεί εκ των υστέρων βάσει μνήμης.
2. Το σχέδιο επιθεώρησης πρώτου δείγματος και τα πραγματικά αποτελέσματά του. Η απόκλιση ανάμεσα στα κριτήρια και στα αποτελέσματα δείχνει πού ήταν πολύ χαλαρά τα κριτήρια αποδοχής. Πρόκειται για το πιο χρήσιμο ζεύγος εγγράφων σε μια ανασκόπηση, επειδή μετατρέπει μια γενική δήλωση για την ποιότητα σε μια συγκεκριμένη δήλωση για το ποια κριτήρια δεν απέδωσαν.
3. Το αρχείο αλλαγών. Κάθε αλλαγή και ο λόγος που την προκάλεσε, επειδή μια αλλαγή χωρίς λόγο είναι μια αλλαγή που θα επαναληφθεί. Ένα αρχείο αλλαγών χωρίς λόγους είναι στην ουσία απλώς μια λίστα ημερομηνιών και δεν υποστηρίζει οποιοδήποτε συμπέρασμα για το αν ο έλεγχος αλλαγών απέδωσε.
4. Οι ισχυρισμοί που διατυπώθηκαν στις καταχωρίσεις κατά τη διάρκεια του προγράμματος, καθώς και τα έγγραφα που στηρίζουν τον καθένα. Αυτή είναι η ενότητα με το πιο δυσχάριστο περιεχόμενο και τη μεγαλύτερη αξία. Οι καταχωρίσεις αντέχουν περισσότερο από τα άτομα που τις ενέκριναν, οπότε ένας ισχυρισμός που διατυπώθηκε τον τέταρτο μήνα μπορεί να παραμένει ενεργός πολύ μετά το κλείσιμο του προγράμματος και την παρέλευση των αποδεικτικών στοιχείων του.
5. Οι επιστροφές και τα δεδομένα από το πεδίο, δομημένα και όχι ανεκδοχικά. Αυτή είναι η μοναδική πηγή πληροφοριών για την απόδοση στον πραγματικό κόσμο, επειδή οι δημοσιευμένες σειρές σε αυτό το εύρος είναι περιορισμένες και η αλήθεια βρίσκεται στο πεδίο.
Ένα έκτο έγγραφο ολοκληρώνει την σειρά και λείπει συχνά: η προσφορά και η εντολή αγοράς όπως ήταν πραγματικά. Η σύγκριση της προσφερθείσας διαμόρφωσης με την παραδοθείσα είναι ο ταχύτερος τρόπος εντοπισμού απαιτήσεων που άλλαξαν ανεπίσημα, χωρίς να χρειαστεί να ζητηθεί από κανέναν να θυμηθεί τίποτα.
Η σύγκριση αξίζει να γίνει λεπτομερώς και όχι με μια μόνη ματιά, επειδή οι ανεπίσημες αλλαγές είναι οι ενδιαφέρουσες. Μια διαμόρφωση θήκης που μετακινήθηκε, μια χωρητικότητα θήκης που αντικαταστάθηκε, μια έκδοση υλικολογισμού που παραδόθηκε αργότερα από αυτήν που περιεγραφόταν — καθεμία από αυτές είναι μια μικρή απόκλιση που δεν εμφανίζεται πουθενά στο αρχείο αλλαγών και την οποία ένα μεταγενέστερο πρόγραμμα θα θεωρήσει ότι δεν συνέβη ποτέ. Η προσφορά και η εντολή αγοράς είναι τα δύο έγγραφα που γράφτηκαν σε μια συγκεκριμένη στιγμή, γεγονός που τα καθιστά ιδιαίτερα αξιόπιστα αποδεικτικά στοιχεία πρόθεσης.
Αξίζει να προστεθεί ένα έβδομο στοιχείο όπου υπάρχουν δεδομένα από το πεδίο: ένα δείγμα από τα αιτήματα υποστήριξης ή τις επιστροφές που έκλεισαν χωρίς καταγεγραμμένη αιτία. Πρόκειται για τις αποτυχίες που δεν έφτασαν καθόλου στην αξιολόγηση και συνήθως είναι περισσότερες από αυτές που έφτασαν. Η αξία τους δεν βρίσκεται στα επιμέρους αιτήματα αλλά στο μοτίβο — μια συγκέντρωση αναφερόμενων αποτυχιών σε μία διαμόρφωση σας λέει περισσότερα από μια σελίδα post-mortem.

Τι δεν πρέπει να κάνει μια αξιολόγηση
1. Να βαθμολογεί το πρόγραμμα. Μια βαθμολογία προσκαλεί συγκρίσεις μεταξύ μη συγκρίσιμων προγραμμάτων και κρύβει τα ευρήματα.
2. Να κατηγορεί τον προμηθευτή ή τον αγοραστή. Τα ευρήματα αφορούν συνήθως μια απαίτηση που δεν προδιορίστηκε ποτέ, και μια αξιολόγηση που βρίσκει έναν υπεύθυνο σταματά να ρωτά τι την προκάλεσε.
3. Να δέχεται ένα έγγραφο επιπέδου οικογένειας ως κάλυψη. Ο δικός μας κατάλογος περιλαμβάνει μια καταχώριση με την ένδειξη «L2 Utral», με σημείωση σχετικά με την ορθογραφία, καθώς και μια επιπλέον ονομασία «Utral Pro Max» το νόημα της οποίας δεν δημοσιεύεται. Οι καταχωρίσεις για φωτοευαίσθηση και οστική αγωγιμότητα δεν έχουν καμία ονομασία — η αμφισημία στην ονοματολογία μιας αξιολόγησης αποτελεί εύρημα.
4. Να αντιμετωπίζει μια ένδειξη καταλόγου ως έκθεση δοκιμών. Η ένδειξη IP54 της κατηγορίας sport δεν έχει δημοσιευμένο αριθμό έκθεσης δοκιμών και ο χαρακτηρισμός της ως έκθεση θα εισήγαγε ψευδή ισχυρισμό στο αρχείο του επόμενου προγράμματος.
5. Να κλείνει με μια περίληψη. Μια αξιολόγηση χωρίς ενέργειες αποτελεί απλώς περιγραφή του τι συνέβη.
Υπάρχει μια έκτη απαγόρευση που είναι λιγότερο εμφανής και ενδεχομένως η πιο καταστροφική: μην επιτρέπετε στην αξιολόγηση να παράγει έγγραφο που θα χρησιμοποιηθεί αργότερα ως αποδεικτικό στοιχείο. Μια αξιολόγηση συχνά περιέχει ομολογίες — ότι ένας αριθμός υποτέθηκε, ότι μια ένδειξη δεν επαληθεύτηκε, ότι ένας ισχυρισμός διατυπώθηκε χωρίς έγγραφο — οι οποίες είναι απολύτως κατάλληλες σε μια αξιολόγηση και απολύτως ακατάλληλες σε ένα αρχείο στο οποίο κάποιος θα βασιστεί αργότερα. Οι αξιολογήσεις είναι εσωτερικά έγγραφα. Η αντιμετώπισή τους ως αρχεία αλλάζει το τι είναι πρόθυμοι να πουν οι άνθρωποι μέσα τους, και η αξιολόγηση χειροτερεύει, επειδή η ειλικρίνεια που την κάνει χρήσιμη έχει αποκλειστεί.

Οι σωστές πέντε ερωτήσεις στην αρχή
- Ποιος είναι ο σκοπός αυτής της αξιολόγησης; Να κλείσει το πρόγραμμα, να βελτιώσει το επόμενο ή να επιλύσει ένα συγκεκριμένο ζήτημα. Όλα τα υπόλοιπα εξαρτώνται από την απάντηση, και ο πιο συνηθισμένος λόγος για τον οποίο μια αξιολόγηση δεν παράγει τίποτα είναι ότι κανείς δεν συμφώνησε ως προς τον σκοπό.
- Ποιοι βρίσκονται στην αίθουσα, και αν περιλαμβάνονται τα άτομα που έλαβαν τις αποφάσεις. Μια αξιολόγηση χωρίς τους υπεύθυνους λήψης αποφάσεων μπορεί να ανακατασκευάσει τα γεγονότα, αλλά όχι τη συλλογιστική τους.
- Ποια δεδομένα είναι διαθέσιμα — ο κατάλογος απαιτήσεων, το αρχείο πρώτου δείγματος, το αρχείο αλλαγών, οι επιστροφές, η προσφορά. Η ειλικρινής απάντηση αποκαλύπτει ορισμένες φορές ότι η αξιολόγηση δεν μπορεί να γίνει χρήσιμα, κάτι που αποτελεί καλύτερο αποτέλεσμα από την πραγματοποίησή της ούτως ή άλλως.
- Ποιο είναι το επόμενο πρόγραμμα, και αν τα ευρήματα θα φτάσουν σε αυτό. Η ονομασία του προγράμματος είναι αυτή που μετατρέπει τα ευρήματα σε απαιτήσεις.
- Τι θα παράγει η αξιολόγηση στο οποίο κάποιος θα ενεργήσει; Ένα έγγραφο με ορισμένο υπεύθυνο και ημερομηνία ή τίποτα χρήσιμο.
Η πέμπτη ερώτηση είναι αυτή που αποκαλύπτει αν μια αξιολόγηση αξίζει τον χρόνο της. Εάν η απάντηση είναι μια αναφορά, η αξιολόγηση αποτελεί γραφειοκρατική διαδικασία και πρέπει να προγραμματιστεί ως τέτοια. Εάν η απάντηση είναι αλλαγή προδιαγραφών, η αξιολόγηση αξίζει να διεξαχθεί σωστά.
Υπάρχει μια έκτη ερώτηση που είναι χρήσιμη όταν ένα πρόγραμμα έχει πάει άσχημα: ζητήστε τι θα έκανε διαφορετικά η ομάδα αν ξεκινούσε ξανά με τις ίδιες πληροφορίες. Πρόκειται για μια παραγωγική ερώτηση, επειδή αφαιρεί την ευθύνη — η ομάδα είχε τις ίδιες πληροφορίες — ενώ παράλληλα παράγει τις συγκεκριμένες ενέργειες για τις οποίες υπάρχει η αξιολόγηση.
Μια έβδομη ερώτηση καθορίζει τον τρόπο καταγραφής της αξιολόγησης και πρέπει να τεθεί πριν από τη συνεδρία, όχι κατά τη διάρκειά της: ποιοι επιτρέπεται να διαβάσουν το αποτέλεσμα και πού καταλήγει στη συνέχεια. Μια αξιολόγηση περιέχει ομολογίες που είναι κατάλληλες για εσωτερική χρήση αλλά ακατάλληλες για τεχνικό φάκελο, όπως σημειώθηκε παραπάνω, και η απάντηση καθορίζει αν οι άνθρωποι θα είναι ειλικρινείς. Η καταγραφή ότι το αποτέλεσμα αποτελεί εσωτερικό έγγραφο εργασίας, καθώς και ο καθορισμός των παραληπτών του, είναι ένα βήμα δύο λεπτών που αλλάζει ουσιαστικά την ποιότητα όσων λέγονται.
Υπάρχει επίσης μια ερώτηση σχετικά με τη συχνότητα, την οποία οι περισσότεροι οργανισμοί καθιερώνουν βάσει προκαθορισμένης επιλογής αντί για συνειδητή απόφαση. Μια αξιολόγηση μετά από κάθε πρόγραμμα παράγει πολύ υλικό και φθίνουσα απόδοση, επειδή τα προγράμματα της ίδιας κατηγορίας επαναλαμβάνουν τα ίδια μαθήματα. Μια αξιολόγηση μετά από κάθε τρία προγράμματα παράγει λιγότερο υλικό και περισσότερη γενίκευση. Η σωστή απάντηση εξαρτάται από το πόσο μοιάζει το επόμενο πρόγραμμα με το προηγούμενο, και η ερώτηση που πρέπει να τεθεί είναι αν τα ευρήματα θα άλλαζαν κάτι, αν έφταναν με καθυστέρηση δύο προγραμμάτων.
Θα αναφέρουμε με σαφήνεια τις δημοσιευμένες ελλείψεις ως εισεργόμενα στοιχεία της αξιολόγησης
Θα πούμε καθαρά ότι η αξιολόγηση μιας υπόθεσης πρέπει να παράγει μια λίστα ενεργειών με υπεύθυνους και όχι βαθμολογία, και ότι η ειλικρινής αφετηρία σε αυτή την κατηγορία είναι οι δημοσιευμένες ελλείψεις — το βάρος του πλαισίου, εκτός από ένα μοντέλο στα 158 g, ο αισθητήρας, το οπτικό πεδίο, οι προδιαγραφές βίντεο, τα στοιχεία του μικροφώνου, η απόδοση του φακού, το υλικό σφράγισης, οι αριθμοί των εκθέσεων δοκιμών και οι αριθμοί πιστοποιητικών.
Δεν θα καλύψουμε αυτές τις ελλείψεις με συνηθισμένες τιμές και δεν θα παρουσιάσουμε τη σήμανση ενός καταλόγου ως έκθεση δοκιμών. Σε πλαίσιο αξιολόγησης, αυτό έχει μια συγκεκριμένη συνέπεια: ένα εύρημα που βασίζεται σε μια υποθετική τιμή δεν μπορεί να επιλυθεί ζητώντας από εμάς την τιμή, οπότε πρέπει να επιλυθεί με τη σύνταξη του κριτηρίου και τη διενέργεια της μέτρησης. Αυτό απαιτεί περισσότερη δουλειά από μια τηλεφωνική κλήση και αποτελεί τη μόνη εκδοχή της απάντησης που θα εξακολουθεί να ισχύει σε έναν τεχνικό φάκελο τον επόμενο χρόνο.
Ο ίδιος κανόνας ισχύει και για τις δικές μας παλαιότερες αποφάσεις, όχι μόνο για τον τρέχοντα κατάλογο. Όπου ένα πρόγραμμα που παραδώσαμε βασιζόταν σε μια τιμή την οποία δεν είχαμε στη διάθεσή μας τότε και δεν έχουμε δημοσιεύσει έκτοτε, πρόκειται για εύρημα αξιολόγησης που αφορά και τα δύο μέρη, και η χρήσιμη ενέργεια είναι η ίδια και στις δύο περιπτώσεις: σύνταξη του κριτηρίου, καθορισμός της μεθόδου και διενέργεια της μέτρησης σε καθορισμένο δείγμα. Οι αξιολογήσεις παράγουν πολύ καλύτερα μια τέτοια ενέργεια όταν επιτρέπεται να καταγράψουν ότι η τιμή υποτέθηκε και δεν συμφωνήθηκε.
Εάν μας πείτε ποιος είναι ο σκοπός της αξιολόγησης και ποιο πρόγραμμα ακολουθεί, θα σας πούμε ποια δεδομένα θα πρέπει να έχουν καταγραφεί για να έχει κάποια αξία η αξιολόγηση — και ποια μέρη αυτών των δεδομένων θα πρέπει να προέρχονται από το πεδίο και όχι από εμάς.
Η δομή των φάσεων που εξετάζει η αξιολόγηση παρουσιάζεται στην ανάπτυξη ODM, η τεκμηρίωση που θα έπρεπε να μπορεί να διαβάσει η αξιολόγηση βρίσκεται στην τεκμηρίωση διαδικασίας ανάπτυξης, και η φάση παραγωγής την οποία προσπαθούν να εξηγήσουν οι περισσότερες αξιολογήσεις καλύπτεται στην μαζική παραγωγή διαδικασίας ανάπτυξης.
Μια τελευταία παρατήρηση σχετικά με τις αξιολογήσεις που δεν παράγουν τίποτα. Η αποτυχία σπάνια οφείλεται σε κακή διεξαγωγή της αξιολόγησης· οφείλεται στο ότι διεξήχθη χωρίς επακόλουθο πρόγραμμα, χωρίς υπεύθυνο για τις ενέργειες ή χωρίς άδεια για ειλικρίνεια. Οποιαδήποτε μία από αυτές τις τρεις παραλείψεις αρκεί, και οι τρεις είναι ορατές τη στιγμή που προγραμματίζεται η αξιολόγηση, όχι τη στιγμή που ολοκληρώνεται. Ο προγραμματισμός μιας αξιολόγησης με καθορισμένο το επόμενο πρόγραμμα και με συμφωνημένη εκ των προτέρων ειλικρίνεια αποτελεί το μεγαλύτερο μέρος της δουλειάς.
Υπάρχει άλλη μια ερώτηση που ξεχωρίζει μια αξιολόγηση που λειτουργεί από μια που δεν λειτουργεί, και τίθεται στο τέλος, όχι στην αρχή: τι θα κάνουμε διαφορετικά στο επόμενο πρόγραμμα, με μία πρόταση για κάθε άτομο; Το αίτημα για μία πρόταση επιβάλλει μια προτεραιότητα. Μια αξιολόγηση που καταλήγει σε πέντε ισότιμα ευρήματα έχει παράγει μια λίστα· μια αξιολόγηση που καταλήγει σε μία πρόταση για κάθε συμμετέχοντα έχει παράγει μια απόφαση, και η απόφαση είναι αυτή που χρειάζεται το επόμενο πρόγραμμα.
Σχετικός διαβασμός
- Ανάπτυξη ODM
- Παρουσίαση περιπτώσεων μηχανικής προσαρμογής
- Τεκμηρίωση διαδικασίας ανάπτυξης
- Στάδιο μαζικής παραγωγής
Πείτε μας για ποιο πρόγραμμα αφορά η παρουσίαση και ποιο πρόγραμμα ακολουθεί.



