Ontwerpvalidatie vs. verificatie: 6 Tips voor de ontwikkeling van medische hulpmiddelen

maar u wilt natuurlijk meer details en voorbeelden. We beginnen met bevestiging.

Wat Is Ontwerpvalidatie precies?

Ontwerpvalidatie is een testproces waarmee u bewijst (“valideren”) dat het apparaat dat u hebt gebouwd voor de eindgebruiker werkt zoals bedoeld.

officieel woord van de FDA(21 CFR 820.3) stelt dat ontwerpvalidatie “door middel van objectief bewijs tot stand brengt dat de specificaties van het apparaat in overeenstemming zijn met de behoeften van de gebruiker en het beoogde gebruik (en).”

Design Validation Example

stel je voor dat we een ventilator bouwen die een patiënt laat ademen, en dat de gebruiker wil dat het werkt tijdens het transport van de patiënt.

eerst moeten we onze gebruikersbehoeften definiëren. De gebruiker wil patiënten verplaatsen terwijl ze aan de beademing liggen. Maar wat proberen ze eigenlijk te doen? “Vervoer” kan het verplaatsen van de patiënt binnen het ziekenhuis. Of kan vervoer via ambulance of door de lucht omvatten. Een gebruiker nodig, bijvoorbeeld, kan er als volgt uitzien.

behoefte van de gebruiker

Deze gebruiker moet worden opgesplitst in productvereisten en ontwerpspecificaties om het product te ontwerpen en te bouwen. (We zullen kijken naar die in een moment onder ontwerp verificatie.)

daarvoor, laten we onze gebruikersbehoefte onderzoeken en zien welke gevallen van ontwerpvalidatie nodig kunnen zijn. Validatie testen van onze gebruikersbehoefte kan er zo uitzien.

validatietests omvatten testcases, testsuites of zelfs klinische proeven die zijn ontworpen om aan te tonen dat het product, zoals het is gebouwd, volgens de verwachtingen van de gebruiker werkt onder de omstandigheden waarin de gebruiker van plan is het te gebruiken. Aangezien deze tests op productie-of productie-equivalente eenheden moeten worden uitgevoerd, zijn ontwerpvalidatietests vaak de laatste tests die worden uitgevoerd.

in principe moeten we bij ontwerpvalidatie aantonen dat het product voldoet aan de behoeften van de gebruiker.

de bovenstaande tabel toont overigens ook de traceerbaarheid tussen gebruikersbehoeften en testgevallen. Deze trace matrix levert een deel van het V&V bewijs dat de FDA vereist.

Wat is ontwerpverificatie voor FDA?

ontwerpverificatie is waar u test (“verify”) dat uw ontwerp-uitgangen overeenkomen met uw ontwerp-ingangen.

volgens de FDA is de controle van het ontwerp een bevestiging door onderzoek en het verschaffen van objectief bewijs dat aan bepaalde eisen is voldaan.”

houd er rekening mee dat er weliswaar tests nodig zijn, maar dat er andere aanvaardbare verificatieactiviteiten zijn.

zij kunnen tests, inspecties en analyses omvatten (voor meer hierover, zie FDA Design Control Guidance).

ontwerpverificatie voorbeeld

laten we terugkeren naar ons ventilator voorbeeld. We hebben onze gebruikersbehoeften geïdentificeerd. laten we nu bepalen wat het apparaat moet doen en hoe het dat moet doen.

om dat te bereiken, moeten we specifieke productvereisten definiëren. Bijvoorbeeld:

• Wat is de maximale belasting voor een patiënt? (Hoeveel lucht heeft de ventilator nodig om te bewegen?)
• Hoe lang moet de batterij mee? (Hoe lang duurt het transport?)
• aan welke omstandigheden zullen zij tijdens het vervoer worden blootgesteld? (Deur loopt vast? Liften?)
• zijn er wettelijke normen waaraan moet worden voldaan? (Veiligheidsnormen?)

“duidelijke, volledige, ondubbelzinnige, testbare vereisten zijn een belangrijk onderdeel van een succesvol ontwikkelingsproject. Ontoereikende eisen leiden tot verspilde tijd, ontwerpfouten, uitgebreide herwerking en breekbare of foutgevoelige producten.”- Megan Martin, V&V Consultant

Dit is het” wat ” deel van het definiëren van apparaatkenmerken. Wat moet het apparaat precies doen? Productvereisten (vaak opgenomen in een document met productvereisten) voor onze gebruikersbehoeften kunnen er hieronder uitzien.

productvereisten

PrRq-0001

ten slotte hebben we ontwerpspecificatie nodig. “We hebben al gedefinieerd wat we gaan bereiken, en nu moeten we definiëren hoe we het gaan doen,” zegt Megan. Dit kan worden bereikt in een verscheidenheid van manieren, met inbegrip van schriftelijke specificaties, elektrische of mechanische tekeningen, component inkoop specificaties, of andere methoden.

de ontwerpspecificaties en tekeningen kunnen bijvoorbeeld het volgende laten zien.

ontwerpspecificaties

DSpec-0001

ontwerpverificatie levert bewijs (testresultaten) dat de ontwerpoutputs (feitelijk product) voldoen aan de ontwerpinputs (productvereisten en ontwerpspecificaties). Afhankelijk van het item dat wordt geverifieerd, een testcase of test suite zou worden uitgevoerd, of een inspectie of analyse gedaan om het vereiste bewijs te leveren.

De tabellen hieronder illustreren hoe dat eruit zou kunnen zien. Ze tonen ook de traceerbaarheid die de FDA verwacht.

controle van de productvereisten, zoals hierboven, toont aan dat het product doet wat we zeiden dat het zou doen.

verificatie van de ontwerpspecificaties, die we hierna zullen laten zien, toont aan dat het product het doet zoals we zeiden dat het het zou doen.

in wezen moeten we bij ontwerpverificatie aantonen dat het product dat we hebben gebouwd het product is dat we zouden bouwen.

wanneer samen verzameld in een V&V rapport, levert de combinatie van verificatie-en validatietestresultaten, samen met traceerbaarheid naar gebruikersbehoeften, productvereisten en ontwerpspecificaties, een deel van het bewijs dat de FDA vereist wanneer een medisch hulpmiddel ter goedkeuring wordt ingediend.

validatie vs verificatiesamenvatting

Hier is een korte, zij het iets te simplistische, samenvatting van de belangrijkste verschillen.

basis van het proces voor Ontwerpvalidatie

het proces voor ontwerpvalidatie bestaat grotendeels uit het testen van het apparaat. U kunt dit op een paar manieren uitvoeren, afhankelijk van de omstandigheden. De activiteiten kunnen bestaan uit:

• vergelijking met soortgelijke apparatuur die voor soortgelijke doeleinden werkt.
• simuleren van functionaliteit door wiskundige modellering.
• testen van het uiteindelijke ontwerp om aan te tonen dat het systeem werkt zoals gedefinieerd in de gebruikersbehoeften.

het testplan, de testgevallen, de uitvoeringsverslagen voor de tests en de testresultaten moeten als onderdeel van de ontwerprecords worden gedocumenteerd en bijgehouden. Validatie is in zijn geheel niet het resultaat van één enkele activiteit, maar het verzamelen van resultaten van alle validatieactiviteiten.

basis van het Ontwerpverificatieproces

verificatie kan worden teruggebracht tot een eenvoudig proces in vijf stappen.

identificeren en voorbereiden

bepalen wat de beste methode is voor het uitvoeren van verificatie. Definieer wat je gaat meten en hoe je het gaat meten. U zult ook willen overwegen de benodigde middelen, mankracht, en tools voor een succesvolle verificatie.

Planning

planning voor verificatie vindt plaats gedurende de gehele levenscyclus van het project. Je ontwikkelt het testplan, dat kritische mijlpalen vastlegt. Het plan moet worden bijgewerkt wanneer wijzigingen worden aangebracht in de ontwerpinputs.

ontwikkeling

productontwikkeling begint! Het wordt uitgevoerd met behulp van de methodologie van keuze (Scrum, waterval, hybride, enz.). Dit deel van het proces omvat ook het schrijven, test rijden, en de goedkeuring van de testgevallen die zullen worden gebruikt voor verificatie.

het uitvoeren van

testprocedures worden volgens plan uitgevoerd. Ongeldige resultaten worden gedocumenteerd en beoordeeld, en worden geaccepteerd of geregistreerd als defecten. Defecten in het product worden opgelost en vrijgegeven, en regressie testen wordt uitgevoerd. Er wordt een traceerbaarheidsmatrix gecreëerd om te controleren of de in het verificatietestplan geïdentificeerde ontwerpinputs zijn getest en geslaagd.

rapportage

rapportage vindt plaats aan het einde van elke verificatiefase. Gedetailleerde rapporten omvatten Configuratiebeheer-en release-rapporten, testresultaten per Testtype of productversie en problemen die tijdens de verificatieactiviteit zijn gevonden. Een traceerbaarheidsrapport van de ontwerpverificatie toont testresultaten en dekking voor de vereisten. Ten slotte worden de beoordelingen voltooid en goedgekeurd na elke ontwerpverificatieactiviteit.

6 Tips voor een betere validatie & verificatie

Hier zijn tips om ervoor te zorgen dat u het meeste uit uw validatie haalt & verificatieactiviteiten.

Plan vooruit (en Test vroeg)

heb een solide plan vooraf en loop iedereen binnen. Neem testingenieurs in het begin van de ontwikkelingsplanning op om ervoor te zorgen dat de vereisten en het ontwerp duidelijk, compleet en testbaar zijn. Megan: “vroege ontwikkeling van testmethoden kan licht werpen op technologische problemen voordat ze grote obstakels worden.”Vroege testontwikkeling kan ook testtools bieden. Deze kunnen dan worden gebruikt om het productontwikkelingsproces te versnellen en testgegevens tijdens het formele testen te verstrekken.

gebruik gedeelde nomenclatuur

uw team op dezelfde pagina krijgen is cruciaal voor een succesvolle ontwerpvalidatie & verificatie. Een deel van het krijgen op dezelfde pagina betekent het gebruik van een gedeelde terminologie. Het gebruik van dezelfde termen elimineert verwarring voor teamleden (niet alleen nieuwe leden — ook veteranen). Zie de Woordenlijst van termen en algemene acroniemen hieronder om te helpen bij het ontwikkelen van uw basis van terminologie.

gebruik Tools met End-to-End traceerbaarheid

op zijn eenvoudigste manier kan traceerbaarheid worden bereikt met word-documenten en spreadsheets, maar ze genereren zoveel handmatig werk (en zijn zo foutgevoelig) dat u wenst dat u met een speciaal gereedschap bent begonnen.

” een nauwkeurige spoormatrix is van onschatbare waarde bij het uitvoeren van regressieanalyse om te bepalen wat na een productwijziging of een bugfix opnieuw moet worden getest.”- Megan Martin, V&V Consultant

met behulp van een tool met sterke requirements-to-test-to-results trace-mogelijkheden kunt u gaten in de dekking identificeren en vroegtijdige waarschuwingen geven op kwetsbare of niet-geteste gebieden in het product.

Get end-to-end traceer nu

Build Your Trace Matrix As You Go

“Het kan verleidelijk zijn om het uit te stellen, maar wacht niet om uw trace matrix te bouwen!”zegt Megan. Het bouwen van uw traceerbaarheid als je gaat zorgt ervoor dat gaten zich niet onopgemerkt ontwikkelen. Er zijn maar weinig dingen die moeilijker te herstellen zijn dan te ontdekken dat je kritieke vereisten, risicobeperkende functies of essentiële tests hebt gemist net wanneer je denkt dat je ontwikkelingswerk voltooid is.

het kost veel minder onderhoudsinspanning om de traceerbaarheid te behouden naarmate uw vereisten, ontwerpen en tests evolueren dan het doet om kritieke gaten in ontwerp en ontwikkeling op het 11e uur te dichten. Deze inspanning kan u ook helpen bij het identificeren hoeveel werk er nog over is, waar u mogelijk ontwikkelings-of testpersoneel moet toevoegen, of wanneer u de leveringsschema ‘ s opnieuw moet evalueren.

integreer Requirements Traceability & testen met Anomaly Tracking

in staat zijn om anomalies direct aan een eis te koppelen verbetert de communicatie tussen testers en ontwikkelaars. Het is zeer nuttig. Het genereren van anomalieën rechtstreeks uit een testprotocolfout betekent dat meer details over het probleem worden vastgelegd. Hierdoor kunnen problemen gemakkelijker worden gedocumenteerd, gereproduceerd, opgelost en opnieuw getest.

kies Hulpmiddelen die u kunt aanpassen aan uw methode

“welk ontwikkelingsmodel u ook hebt geselecteerd — Agile, iteratieve, gewijzigde waterval — u wilt kiezen V&V gereedschappen die u dienen door zich aan te passen aan uw proces, in plaats van u te dwingen uw proces aan te passen aan het gereedschap, ” adviseert Megan.

de hulpmiddelen voor de ontwikkeling van medische hulpmiddelen die u kiest, moeten bijdragen aan de nauwkeurigheid en effectiviteit van het werk dat uw team doet, en geen onnodige overhead toevoegen aan hun dagelijkse taken. Een goede tool biedt guard rails om ervoor te zorgen dat de belangrijke dingen altijd worden gedaan. Het geeft uw team de flexibiliteit om ad hoc weergaven en rapporten te produceren om de gegevens die u hebt vastgelegd beter te gebruiken (en te verkennen). Het biedt V&V gerichte gegevensregistratie en rapportage om de productie van rapporten eenvoudig en herhaalbaar te maken.

neem de tijd om te bepalen hoe u gereedschappen wilt om uw team te ondersteunen voordat u kiest. Zorg dan dat uw tools worden geconfigureerd naar de behoeften van uw team.

alles samenbrengen

Ontwerpvalidatie en-verificatie zijn essentiële onderdelen van succesvolle apparaatontwikkeling. Met gedeeld begrip tussen het team, evenals de juiste tools, heb je solide kader voor het krijgen van uw apparaat op de markt.
bekijk nu de hele DEMO >>

Simplify V&V With Helix ALM

zie hoe helix Alm de ontwikkeling van medische hulpmiddelen kan versnellen.

Explore Helix ALM

* nogmaals, dankzij V & V Expert Megan Martin die onschatbare inzichten aan deze blog gaf!

V&V: verklarende woordenlijst

feitelijk resultaat – wat een systeem eigenlijk doet wanneer een actie wordt uitgevoerd.

anomalie-wanneer een systeem niet werkt zoals verwacht. Bijvoorbeeld een bug, fout of testfout.

Deliverable-een verplicht object geproduceerd als resultaat van de uitvoering van het project, meestal documenten in validatie inspanningen.

afwijking-wanneer een proces of procedure niet kan worden uitgevoerd zoals gedefinieerd, en een alternatieve methode of materiaal wordt gebruikt.

verwacht resultaat-wat een systeem moet doen wanneer een actie wordt uitgevoerd.

integratietest: tests uitgevoerd met twee of meer subsystemen om de interactie en onderlinge afhankelijkheid van de subsystemen te verifiëren.

Protocol-een verzameling testgevallen die worden gebruikt om systeemtests te documenteren.

Kwalificatie-een testprotocol dat aangeeft dat een systeem aan een bepaalde verzameling eisen voldoet.

kwaliteitsborging-teamleden die belast zijn met het waarborgen van productkwaliteit of procesintegriteit.

eis-iets wat een systeem moet kunnen doen.

retrospectieve validatie-validatie van een reeds bestaand systeem.

Specificatie-een document met de vereisten voor een systeem of onderdeel.

Subsysteemtest: tests uitgevoerd op een belangrijk subsysteem of groep van onderdelen.

systeem – het ding dat wordt gevalideerd.

systeemeigenaar – de persoon die uiteindelijk verantwoordelijk is voor een systeem.

systeemtest: tests uitgevoerd met gebruikmaking van het systeem als geheel.

testcase-een gedocumenteerde procedure die wordt gebruikt om te testen of een systeem aan een eis of verzameling van eisen voldoet.

testplan-een testmethode die is vastgesteld om ervoor te zorgen dat een systeem aan de eisen voldoet.

Teststap-een afzonderlijke regel van een testgeval. Het moet instructies bevatten, verwacht resultaat, en het werkelijke resultaat.

traceerbaarheid – het vermogen om ervoor te zorgen dat de in de specificaties uiteengezette eisen zijn getest. Vaak vastgelegd in een requirements traceability matrix.

Eenheidstest: testen uitgevoerd op een software – of hardwareeenheid of een low-level module.

validatie-vaststelling door middel van objectief bewijs dat de specificaties van het hulpmiddel in overeenstemming zijn met de behoeften van de gebruiker en het beoogde gebruik(en).

validatiepakket-een verzameling documenten die tijdens een validatieproject zijn geproduceerd.

verificatie-bevestiging door onderzoek en verstrekking van objectief bewijs dat aan bepaalde eisen is voldaan.

V&V Plan – een plan dat de te verifiëren en valideren eisen en de mankracht, verantwoordelijke personen, instrumenten, methoden, middelen, en schema voor de V&V inspanning definieert.

Common Design Validation acroniemen

CC – Change Control

CCB – Change Control Board (een groep personen die bepalen welke wijzigingen worden aangebracht en wanneer)

DS – Design Specification

FAT – Factory Acceptance Testing

FS – Functional Specification

FRS – Functional Requirement Specification (See Functional Specification)

GCP – Good Clinical Practice (quality guidelines for clinical operations))

GLP – good laboratory practice (quality guidelines for pharmaceutical Laboratory Operations)

GMP – Good Manufacturing De praktijk (kwaliteit van richtlijnen voor het vervaardigen van apparaten of farmaceutische producten)

RTM – Eis van Traceerbaarheid Matrix

ED – Software Architectuur Document of de Systeem Architectuur Document

SAT – Site Acceptance Testen

SCCB – Software Change Control Board (dezelfde als CCB, maar voor de software)

SDD – Software Detail Ontwerp Document

SDS – Software Design Specification

Specificatie – Specificaties

SRS – Software Requirements Specification

TM – Traceability Matrix

UAT – User Acceptance Testing

URS – eisen Specification

UUT – Unit Under Test

VMP – Validation Master Plan

VP – Validation Plan

V&V – Verification and Validation