Die Validierung ist die Phase, in der ein Projekt entweder zu einem Produktionsauftrag wird oder zu einer teuren Lektion. Sie wird zugleich am häufigsten verkürzt, denn unmittelbar vor dem Auftrag ist der Druck zur Auslieferung am größten, und die Tests selbst beginnen sich wie eine Formalität anzufühlen, sobald ein Muster seemt zu funktionieren. Bei ordnungsgemäßer Durchführung ist eine ODM-Entwicklungsvalidierungsphase keineswegs eine Formalität. Sie ist der letzte Zeitpunkt, zu dem sich noch etwas günstig ändern lässt, denn nach der Validierung kostet jede Feststellung einen Produktionszyklus statt eines Gesprächs.
Das Prinzip dahinter lässt sich kurz an die Wand schreiben: Validieren Sie anhand Ihrer eigenen Spezifikation, nicht anhand der Bewertung des Werks. Dieser Unterschied klingt pedantisch, ist jedoch viel Geld wert, denn ein Werk, das ein Gerät anhand seiner eigenen Kriterien getestet hat, hat lediglich nachgewiesen, dass das Gerät die vom Werk gewählten Kriterien erfüllt. Das ist etwas anderes als die Grundlage, auf der der Käufer einen Bestellauftrag unterzeichnen wird.
ODM-Entwicklungsvalidierungsphase: Prinzip und Reihenfolge
Die Validierung sollte in einer festen Reihenfolge erfolgen, denn die Reihenfolge bestimmt, was jede Feststellung kostet. Zunächst kommen günstige, dokumentarische Prüfungen, weil ihre Ergebnisse die Interpretation aller nachfolgenden Schritte verändern. Als Nächstes folgen physische Messungen an Geräten aus mehreren Positionen der Fertigung. Verhaltens- und Umweltprüfungen kommen zuletzt, da sie am langsamsten sind und am ehesten wiederholt werden müssen, sobald zuvor etwas korrigiert wurde.
Die folgende Reihenfolge würden wir für ein erstes Programm vorschlagen; sie ist bewusst unspektakulär:
- Dokumentenübergreifende Konsistenz, denn eine Abweichung hier verändert die Bedeutung jedes anderen Ergebnisses.
- Spezifikationskonformität, Zeile für Zeile anhand schriftlicher Kriterien.
- Ladeverhalten, Laufzeit und thermisches Verhalten, gemessen in der Konfiguration, die bestellt wird.
- Konnektivitätsverhalten, einschließlich der Fehlerpfade und nicht nur des erfolgreichen Pfads.
- Umgebungs- und Transportbeanspruchung unter den Bedingungen, denen das Produkt tatsächlich ausgesetzt sein wird.
- Zubehör, Verpackung und Kennzeichnung, geprüft anhand dessen, was physisch ausgeliefert wird.
- Regulatorische Dokumentation, geprüft anhand des Marktes und des genauen Modells.
Der Grund für die dokumentenbasierte Reihenfolge sollte explizit genannt werden, denn sie widerspricht der Intuition aller, die unter Validierung Testing verstehen. Eine Abweichung in der Benennung, die am letzten Tag entdeckt wird, lässt nicht einfach die Prüfung scheitern; sie entwertet stillschweigend die Interpretation aller übrigen Ergebnisse. Ein Bericht über das falsche Modell ist ein Bericht über ein Produkt, das es nicht gibt. Die Behebung dieser Abweichung zuerst kostet einen Nachmittag und macht die übrigen Ergebnisse aussagekräftig. Wird sie später entdeckt, muss das gesamte Programm erneut durchlaufen werden, nicht lediglich erneut gelesen.
Zudem stellt sich die Frage der Stichprobe, die darüber entscheidet, ob all dies überhaupt sinnvoll ist. Ein einzelnes Gerät belegt, dass das Produkt funktionieren kann. Eine Verteilung über mehrere Geräte belegt, was behauptet werden darf. Wo eine Kennzahl in einem Produkteintrag, einem Datenblatt oder einer Angebotsantwort erscheinen wird, muss sie den Prüfung durch einen Kunden überstehen, der selbst misst. Der einzige Weg, dies vorab zu wissen, besteht darin, eine Stichprobe zu messen und die Verteilung statt des Durchschnitts zu betrachten. In unserem eigenen Katalog ist dies wichtiger als der Durchschnitt, weil bei mehreren zentral beworbenen Kennzahlen keine Testbedingungen angegeben sind: Die veröffentlichten Ladezeiten liegen für die gesamte Baureihe unter zwei Stunden, beim D17 und ZH12 bei etwa einer Stunde, und für keine der beiden Modelle ist eine Bedingung angegeben. Ein Käufer hat somit keinen veröffentlichten Referenzwert, mit dem er eine Messung vergleichen könnte, und muss einen eigenen ermitteln.
Jede dieser Prüfungen ergibt ein Ergebnis, das entweder bestanden, nicht bestanden oder nicht ermittelbar lautet. Mit der dritten Kategorie gehen Programme am schlechtesten um; sie verdient eine eigene Regel: Eine nicht ermittelbare Zeile gilt nicht als bestanden. Die Erfassung als unbekannt, zusammen mit dem Grund, ist der Unterschied zwischen einem Validierungsbericht, auf den man sich später verlassen kann, und einem Bericht, der stillschweigend zu einer Reihe von Annahmen wird.

Konformität und dokumentenübergreifende Konsistenz
Die Spezifikationskonformität beginnt mit den Zeilen, nicht mit den Funktionen. Nehmen Sie die schriftliche Spezifikation und prüfen Sie jede Zeile: Akkukapazität, Ladezeit, Bluetooth-Version, Nennlaufzeit, Ladeschnittstelle, Kamerauflösung sowie jedes individualisierte Element – Logo-Position, Farbe anhand des freigegebenen Musters, Verpackungsgrafik, Firmware-Version und Bluetooth-Gerätename. Das Bestehenskriterium sollte genau so formuliert werden, wie es angewendet werden soll: vollständige Konformität, ohne Ausnahmen und ohne Mittelwertbildung. Eine teilweise Konformitätsrate klingt vernünftig, führt jedoch zu einem Produkt, das nicht dem freigegebenen Produkt entspricht.
Darin gibt es einen Unterschied, der Käufern regelmäßig entgeht: Eine Zeile kann entweder anhand eines Kriteriums oder anhand einer Erwartung geprüft werden. Akkukapazität, Ladezeit und Kamerauflösung sind in unserem Katalog durch veröffentlichte Werte hinterlegt und lassen sich daher messen und vergleichen. Rahmengewicht, Rahmenmaterial, Audio-Performance und Optik-Performance werden für diese Serie nicht veröffentlicht, abgesehen vom einzigen veröffentlichten Rahmenwert von 158 g für das MT6. Bei diesen Zeilen gibt es somit nichts, womit verglichen werden kann – der eigene Maßstab des Käufers wird zum Referenzpunkt, statt einen übergreifenden Abgleich zu ermöglichen. Beides ist zulässig; unzulässig ist es hingegen, eine nicht belegte Zeile als bestanden zu werten, weil das Werk nichts beanstandet hat. So überlebt eine Spezifikationslücke bis zum Kunden.
Der zweite Unterschied besteht zwischen einem richtigen Wert und einem richtig platzierten Wert. Ein Logo in der korrekten Grafik und Größe, aber an der falschen Position am Gehäuse, stellt eine Abweichung von der Spezifikation dar, auch wenn alle gemessenen Werte bestanden werden. Deshalb werden die individuell angepassten Positionen in der vorstehenden Liste nicht auf ihr Vorhandensein, sondern auf Position und Erscheinungsbild geprüft.
Der dokumentenübergreifende Abgleich ist hier wichtiger als an anderer Stelle. Der Bluetooth-Gerätename, die Modellbezeichnung auf der Verpackung, die Modellbezeichnung in der Konformitätserklärung und die Modellbezeichnung, nach der das Werk produziert, müssen jeweils exakt übereinstimmen. Solche Abweichungen lassen sich während der Validierung mühelos vermeiden, werden später jedoch überproportional teuer, weil jede an einem anderen Ort auftaucht – die eine bei einer Zollprüfung, die andere in einer Rücksendungsuntersuchung, die dritte in einer Konformitätsfrage einer Marktaufsicht – und keine davon im selben Gespräch auftaucht.
Drei dokumentenübergreifende Angaben sollten jedes Mal geprüft werden, weil sie sich unabhängig voneinander ändern können: die Modellbezeichnung, die Firmware-Version und die regionale Konfiguration. Eine nach der Validierung geänderte Firmware-Version macht eine Messung nicht zwangsläufig ungültig, ändert jedoch die Software, die durch diese Messung beschrieben wird. Eine Abweichung in der regionalen Konfiguration kann sowohl das Funkverhalten als auch die Kennzeichnung in einer Weise verändern, die durch keinerlei Messungen an anderer Stelle erkennbar wäre.
Es gibt einen vierten Punkt, der leicht übersehen wird, weil er außerhalb des Produkts liegt: die Version der Spezifikation selbst. Ein Validierungsbericht, der nicht angibt, gegen welche Revision der Spezifikation gemessen wurde, kann später nicht mehr verwendet werden, da dann üblicherweise angenommen wird, dass er sich auf die aktuelle Revision bezieht. Die Angabe einer Revisionsnummer im Bericht kostet nichts und entscheidet darüber, ob ein Dokument eine Frage klärt oder erst aufwirft.
Zwei weitere Prüfungen gehören in dieselbe Kategorie, weil sie dokumentarisch und daher nahezu kostenlos sind. Ob die Mustergeräte mit Produktionswerkzeugen oder mit einem separaten Musterwerkzeug hergestellt wurden, beeinflusst, wie belastbar die Ergebnisse sind. Diese Frage muss gestellt werden, bevor die Ergebnisse eintreffen, da sie afterwards zur Annahme wird. Außerdem muss geklärt werden, ob die Abnahmekriterien vor der Existenz der Muster oder erst nach deren Eingang in einwandfreiem Zustand formuliert wurden. Das ist eine Frage der Integrität des Verfahrens und nicht des Produkts und bestimmt, wie ein sauber bestandenes Prüfergebnis zu bewerten ist.

Ausdauer, Konnektivität, Laden und Laufzeit
Ausdauer im Betriebszustand ist kein Prüfstandtest. Das Produkt ist über den Zeitraum zu testen, den der Kunde tatsächlich nutzen wird – bei einem Kameraprodukt also durch Aufnahmen, bei einem Audioprodukt durch Gespräche mit dazwischenliegender Wiedergabe – und zwar für die Dauer, die die jeweilige Angabe abdeckt. Die in unserem Katalog veröffentlichten Werte enthalten keine Testbedingungen. Das bedeutet, dass der einzige aussagekräftige Ausdauerwert für einen Käufer ein selbst gemessener Wert ist. Erfassen Sie, wann das Gerät aussetzte, ob das Aussetzen plötzlich oder allmählich erfolgte, und wiederholen Sie den Test mit mehreren Geräten. Unterschiede zwischen Geräten derselben Charge sind normal und sollten bekannt sein, da sie bestimmen, was in der Vermarktung behauptet werden kann und was eingeschränkt werden muss.
Auch das thermische Verhalten gehört in diese Gruppe. Die Oberflächentemperatur an der Hautkontaktstelle unter voller Last ist die Messgröße, die erkennen lässt, ob eine Designentscheidung realistisch war. Eine im Ruhezustand gemessene Temperatur sagt dagegen kaum etwas aus. Zudem gehört dieser Wert zu den Angaben, die in veröffentlichten Materialien am häufigsten fehlen, was ihn zu einer besonders wertvollen Zeile macht, die Käufer selbst ermitteln sollten. Wenn das Ergebnis nicht überzeugt, ist es sinnvoll, noch während der Änderbarkeit des Werkzeugs das Design zu besprechen, statt später eine Marketingaussage daraus zu machen.
Die Konnektivität sollte über den gesamten Zyklus validiert werden, nicht nur über den erfolgreichen Pfad. Erstverbindung, Verbindung mit einem zweiten Gerät, Reichweitenüberschreitung, Wiederverbindungszeit, Verhalten nach einem Zurücksetzen und die Frage, ob ein benutzerdefinierter Gerätename ein Reset übersteht. Der Wiederverbindungstest sagt die Zufriedenheit im Alltag besser vorher als jede andere einzelne Messung in dieser Liste, denn dies ist das Verhalten, mit dem die Person, die das Produkt trägt, am häufigsten konfrontiert wird. Ein Gerät, das eine halbe Minute braucht, um sich nach dem Ablegen des Telefons wieder zu verbinden, erzeugt einen stetigen Strom von Supportanfragen, den keine noch so große Spezifikationskonformität ausgleichen kann.
Ladezeit und Laufzeit sollten in der Konfiguration gemessen werden, die tatsächlich gekauft wird. Die veröffentlichten Ladezeiten in unserem Sortiment liegen unter zwei Stunden, bei etwa einer Stunde beim D17 und beim ZH12, ohne dass für einen dieser beiden Werte eine Bedingung angegeben ist. Messen Sie aus dem maßgeblichen Zustand, in der Konfiguration der Bestellung, an mehr als einem Gerät und notieren Sie die Umgebungsbedingungen. Bei Modellen mit Ladecase prüfen Sie den Case gesondert – ob er eine volle Nutzungsdauer wiederherstellt und ob er beim faltbaren Case des MT6 seine Ladung während der Lagerung rather than nur unmittelbar nach dem Laden hält.
Es gibt noch einen weiteren Punkt zu den Messbedingungen, dessen Behebung fast nichts kostet und den es sich lohnt, ausdrücklich zu nennen, denn hier widersprechen sich zwei ehrliche Messungen desselben Geräts. Die Ladezeit hängt vom Ausgangszustand, der Umgebungstemperatur und davon ab, ob der Case angebracht ist. Die Laufzeit hängt von der Auslastung, dem Funkzustand und davon ab, ob das Gerät warm ist. Ein Wert, der an einem warmen Gerät nach einem Vormittag voller Tests gemessen wurde, ist nicht falsch; er ist lediglich nicht mit einem Wert vergleichbar, der an einem kalten Gerät gemessen wurde. Ein Bericht, der nicht angibt, unter welchen Bedingungen gemessen wurde, lässt sich mit keinem anderen Wert vergleichen. Die Angabe der Bedingungen im Bericht ist die vollständige Lösung.
Wenn eine Angabe öffentlich gemacht werden soll, sollten die Messbedingungen und die Messstreuung die Grundlage dieser Angabe bilden und nicht der beste einzelne Messwert. Wer aus einer Stichprobe von zehn Geräten das beste Gerät meldet, erzeugt eine Zahl, die beim ersten Kunden, der seine Ergebnisse vergleicht, nicht standhält. Die Kosten dieser Korrektur sind erheblich höher als die Kosten, die entstehen, wenn die Streuung von Anfang an ehrlich angegeben wird.

Umgebungs-, Zubehör- und Dokumentationsprüfungen
Die Herkunft der Muster sollte geklärt werden, bevor irgendetwas anderes gemessen wird. Woher jedes Gerät stammt, an welcher Position in der Fertigung es stand und in welcher Konfiguration. Ein Ergebnis ohne nachvollziehbare Herkunft lässt sich nicht extrapolieren, sondern nur wiederholen, und Wiederholungen sind der teure Weg zu Vertrauen. Die Herkunft ist kostenlos, und ein Bericht, der sie enthält, lässt sich normalerweise für eine zweite Prüfung wiederverwenden, ohne dass die Nachweise neu erstellt werden müssen.
Die Umgebungsbeanspruchung sollte am Zielort getestet und nicht im Werk getestet werden. Extreme Temperaturen, wenn das Produkt in Märkte geliefert wird, in denen sie vorkommen. Fall- und Stoßverhalten, weil dies der häufigste Transportschaden ist und weil die Verpackung Teil des Ergebnisses ist. Staub- und Feuchtigkeitsbeanspruchung, die für den jeweiligen Vertriebskanal relevant ist – wobei ausdrücklich darauf hinzuweisen ist, dass das V06 und das S7 eine IP54-Kennzeichnung tragen, hinter der keine Berichtsnummer eines Drittanbieters steht. Die Kennzeichnung ist somit eine veröffentlichte Spezifikation und kein belegtes Testergebnis. Wer tatsächliche Anforderungen an die Beanspruchung hat, benötigt eigene Nachweise.
Zubehör und Verpackung sollten gegen das geprüft werden, was tatsächlich ausgeliefert wird. Anzahl der Zubehörteile, Gestaltung, die aufgedruckte Anzahl im Karton und die Kennzeichnung des Versandkartons. In dieser Phase wird ein fehlender Case erkannt, statt ihn erst bei Rücksendungen festzustellen. Ein mit Case ausgestattetes Produkt ohne den zugehörigen Case stellt nicht lediglich eine unvollständige Bestellung dar, sondern ist nicht funktionsfähig.
Der Verpackung wird üblicherweise mehr Aufmerksamkeit gewidmet, als sie verdient, denn sie ist die einzige Komponente, die zuletzt validiert, nach dem Druck am schwierigsten zu ändern ist und jedes einzelne Gerät statt nur eines betrifft. Drei konkrete Prüfungen lohnen sich. Erstens: Entspricht die Kennzeichnung des Versandkartons der Beschreibung in der Dokumentation und auf der Bestellung, denn eine Abweichung wird vom Spediteur entdeckt und nicht von jemandem im Projekt. Zweitens: Entspricht die im Karton aufgedruckte Zubehörliste dem physischen Inhalt, denn eine auf dem Papier richtige, im Karton aber falsche Anzahl führt zu Kunden, die glauben, es fehle etwas. Drittens: Wurde die Verpackung mit dem tatsächlichen Gerät getestet und nicht mit einer maßstäblichen Attrappe, denn ein Karton, der zu einer Zeichnung passt, passt nicht zwangsläufig zu einem Gerät mit montiertem Zubehör.
Ob die Dokumentation für dieses Programm erstellt oder aus einem vorherigen übernommen wurde, ist eine andere Frage als ihre Gültigkeit. Ein Dokument, das das Produkt abdeckt, weil das Produkt unverändert geblieben ist, ist in Ordnung und das effiziente Ergebnis. Ein Dokument, das das Produkt abdeckt, weil jemand angenommen hat, dass die frühere Bewertung weiterhin gelte, ist nicht in Ordnung. Dieser Unterschied ist nur erkennbar, wenn jemand fragt, aus welcher Bewertung das Dokument stammt, für welches Modell und mit welchem Datum. Der Katalog enthält eine unternehmensbezogene Exportseite, jedoch keine Angaben auf Modellebene. Die Frage muss daher gestellt statt abgeleitet werden, weil die Antwort bestimmt, ob der Käufer überhaupt ein Laborlabor benötigt oder nur eine schriftliche Bestätigung des Herstellers.
Die regulatorische Dokumentation sollte gegen den Markt und das genaue Modell geprüft werden. Berichtsnummer, Labor, Datum und Modellliste im Kopf. Declaration of Conformity für die EU. Funkgenehmigung je Region. Zusammenfassung zum Batterietransport. Im Katalog ist keinem Modell ein Dokument zugeordnet. Daher muss die Konformitätslage für einen bestimmten Markt schriftlich geklärt und nicht aus einer allgemeinen Unternehmensaussage abgeleitet werden. Ein Käufer, der ein bestimmtes Dokument für einen bestimmten Markt benötigt, sollte daher den Weg zur Beschaffung klären, statt ihn aus einer allgemeinen Behauptung abzuleiten.
Was das Ergebnis der Validierung enthalten muss
Das Ergebnis der Validierungsphase der ODM-Entwicklung ist ein unterzeichneter Bericht, und seine Struktur ist wichtiger als seine Länge. Fünf Bestandteile in dieser Reihenfolge:
- Jede Zeile der Spezifikation im Wortlaut, ohne dass etwas zusammengefasst oder weggelassen wird.
- Das Kriterium für jede Zeile, so formuliert, dass es andere anwenden könnten.
- Das Messergebnis, bei abweichenden Werten mit Messungen für jedes einzelne Gerät statt nur mit einem Durchschnitt.
- Ein bestandenes, nicht bestandenes oder unbestimmtes Ergebnis, wobei für jede unbestimmte Bewertung der Grund dokumentiert wird.
- Die Konfigurationskennung, die die Ergebnisse beschreiben, damit der Bericht einem bestimmten Produkt zugeordnet bleibt.
Im Bericht selbst lohnt sich außerdem die Beantwortung einer weiteren Frage, die darüber entscheidet, ob ihn überhaupt noch jemand liest: Was wurde nicht geprüft? Eine Validierung, die ihre eigenen Grenzen angibt, kann ein Einkaufsteam auch nach sechs Monaten noch nutzen, wenn eine Komponente ausgetauscht wurde und geklärt werden muss, welche Ergebnisse das Produkt weiterhin beschreiben. Eine Validierung, die eine vollständige Abdeckung behauptet, ist dagegen nicht nutzbar, denn das erste ausgetauschte Bauteil macht sie unrichtig, und der Leser kann nicht erkennen, welche Teile betroffen waren. Die Dokumentation der Grenzen kostet einen Absatz und bewahrt den Wert des gesamten Berichts.
Fehlschläge sind mindestens so wertvoll wie bestandene Prüfungen. Eine Validierung, bei der nichts gefunden wurde, bedeutet in der Regel, dass die Kriterien zu lax waren und nicht, dass das Produkt ausgezeichnet ist. Beide Fälle lassen sich nur unterscheiden, indem gefragt wird, ob jedes Kriterium überhaupt hätte fehlschlagen können.
Für die Muster selbst gilt dasselbe. Dokumentieren Sie, woher jedes einzelne Gerät stammte, an welcher Position der Fertigungsreihe es stand und in welcher Konfiguration es sich befand. Denn ein Ergebnis ohne diese Herkunftsnachweise kann nicht übertragen, sondern nur wiederholt werden. Wiederholungen sind der teure Weg zu Vertrauen; Herkunftsnachweise sind kostenlos. Ein Bericht, der sie enthält, kann meist für die Sorgfaltspflichtprüfung eines zweiten Käufer wiederverwendet werden, ohne dass die Nachweise neu erstellt werden müssen. Fixieren Sie die Konfiguration, sobald die Validierung bestanden ist, und behandeln Sie jede spätere Änderung als erneute Öffnung des davon berührten Teils. Denn ein Bericht, der ein Produkt beschreibt, das niemand kauft, ist lediglich ein Nachweis über ein Produkt und nichts weiter.
Hinter der gesamten Phase liegt ein kaufmännischer Punkt, den einmal klarzustellen sich lohnt. Eine Validierungsfeststellung kostet eine Woche, wenn sie frühzeitig gemeldet wird, und einen Produktionszyklus, wenn sie spät eingeht. Dieselbe Feststellung kostet jedoch meist mehr als beides, wenn sie vom Kunden statt vom Programm entdeckt wird. Ein Programm, das die Validierung als Formsache behandelt, spart keine Zeit. Es verlagert die Arbeit lediglich auf einen Zeitpunkt, zu dem sie ein Vielfaches kostet und der Imageschaden beim Marken statt beim Hersteller liegt.
Eine Validierung, die wegen einer konkreten, behebbaren Feststellung nicht besteht, ist mehr wert als eine, die mit vagen Kriterien besteht, denn die erste bedeutet ungefähr eine Woche Arbeit, die zweite ein Jahr Rückgaben. Wenn Sie uns Ihre Spezifikation und Ihre Annahmekriterien senden, teilen wir Ihnen mit, welche Zeilen wir gegen Ihren Standard validieren können und welche von noch nicht veröffentlichten Informationen abhängen. Die wichtigsten davon sind Material des Rahmens, Gewicht über der einzelnen veröffentlichten Angabe hinaus, akustische Leistung, Leistung der Linsen und Zertifikatsnummern.
Weiterführende Lektüre
- ODM-Entwicklung und Validierung
- Dokumentation des Entwicklungsprozesses
- Was bei eingehenden Mustern zu prüfen ist
- Pilotläufe und ihre Spezifikation
Senden Sie uns Ihre Spezifikation und Ihre Annahmekriterien, und wir teilen Ihnen mit, welche Zeilen wir validieren können.



