Meten en onzekerheid/Onderzoeksproces

2. Het onderzoeksproces

In het vorige hoofdstuk stonden we met name stil bij de vragen wat is onderzoek? en waarom doe je onderzoek? Dit hoofdstuk sluit hierop aan door in te gaan op de vraag hoe gaat een onderzoeker te werk?

De werkwijze van de onderzoeker verschilt van onderzoek tot onderzoek. Dat geldt zowel voor de volgorde van de verschillende stappen als de uitvoering daarvan. Toch is het mogelijk om een ideaaltypisch stappenschema te beschrijven, waarbij we de in de natuurwetenschappen gebruikelijke werkwijze als leidraad hebben genomen:

• Verkenningsfase
• Keuze onderzoeksmethode
• Uitwerking van het onderzoeksdesign
• Uitvoering
• Analyse
• Rapportage

Verkenningsfase

Het onderzoeksproces start met het verkennen van de aanleiding, doel en randvoorwaarden voor het onderzoek. Onderdeel hiervan is het verkennen van de reeds beschikbare literatuur en andere informatie over het onderwerp.

Aanleiding en startpunt voor het onderzoek

De eerste stap van het onderzoekproces is het bepalen van de aanleiding van het onderzoek. Bij toegepast onderzoek is er altijd een (maatschappelijk) probleem, wens of vraag dat ten grondslag ligt aan het onderzoek. Daarbij is het van belang om je te realiseren wat het uitgangspunt is van het onderzoek. Heb je een idee over een mogelijke oplossing van het probleem en wil je dat idee verder uitwerken en toetsen? Of wil je juist weten in hoeverre het veronderstelde probleem echt een probleem is, hoe ernstig het is, wat de oorzaken zijn, ...?

Bij toegepast onderzoek ben je als onderzoeker zelden zelf ook 'probleemeigenaar'. Het is dus van belang om er achter te komen wat het probleem van de probleemeigenaar - vaak ook de opdrachtgever van het onderzoek - nu precies is. Bij relatief concrete vraagstukken zal de opdrachtgever het te onderzoeken probleem en het startpunt van het onderzoek goed kunnen omschrijven. Een gemeente moet bijvoorbeeld een 'watertoets' doen voor een nieuw ontworpen woonwijk, waarbij aangetoond moet worden dat de waterberging voldoende is. Als de gemeente deze toets laat uitvoeren door een gespecialiseerd ingenieursbureau, dan zal snel duidelijk zijn wat er onderzocht moet worden. Het komt echter ook voor dat de opdrachtgever met een relatief vage probleemstelling komt. In dat geval is het de taak van de onderzoeker om helder te krijgen wat nu precies het te onderzoeken probleem is.

Op basis van je analyse van de aanleiding en het startpunt van het onderzoek stel je de probleemstelling vast. Het formuleren van de probleemstelling betekent het onder woorden brengen van het te bestuderen praktijkprobleem en wat je op basis van het onderzoek hierover te weten wilt komen. De probleemstelling is het uitgangspunt voor de formulering van de doel- en vraagstelling van het onderzoek. De probleemstelling is over het algemeen beschrijvend en niet in een nader omschreven vorm (zoals de vraagvorm). Dit in tegenstelling tot de doel- en vraagstelling, welke beduidend compacter en qua omschrijving preciezer geformuleerd horen te zijn.

Doel- en vraagstelling van het onderzoek

Als je weet wat de context van je onderzoek is, is de volgende stap om het doel van het onderzoek goed te formuleren en vervolgens vast te stellen wat de vraag is waarop jouw onderzoek een antwoord moet gaan geven.

De manier waarop je de onderzoeksvraag formuleert is van belang om te bepalen wat voor soort onderzoek je gaan doen. Enkele voorbeelden van onderzoeksvragen zijn:

1. Wat is de te verwachte economische schade in het Westland als gevolg van wateroverlast bij exceptionele regenval met een kans van één keer in de 100 jaar in het jaar 2015?
2. In welke mate wordt de Jan Luykenstraat gebruikt als sluiproute voor doorgaand verkeer?
3. Wat is het rendement van herbestemming van verouderde kantoorpanden met relatief veel leegstand in Amsterdam Zuidoost?

Deze vragen zijn allemaal te relateren aan een praktijkprobleem. Wat opvalt is dat er verschillende begrippen in worden gebruikt die wellicht nog verdere toelichting of afkadering nodig hebben, zoals 'exceptionele regenval', 'doorgaand verkeer' en 'relatief veel leegstand'. Deze begrippen hoeven nog niet in de vraagstelling zelf te worden aangescherpt, maar het zal wel nodig zijn om de gebruikte begrippen nader toe te lichten.

Het aanscherpen kan ook bestaan uit het formuleren van sub-vragen, waarop eerst antwoord moet worden gevonden om de hoofdvraag te kunnen beantwoorden. Bij het onderzoek naar economische schade in het Westland bij wateroverlast zijn mogelijke deelvragen:

• Wat voor bui (qua neerslagintensiteit en duur) komt overeen met een kans van één keer in de 100 jaar?
• Welke gebieden binnen het Westland lopen onder water bij een derglijke bui?
• Welke ruimtelijke en economische ontwikkelingen verwachten we in het Westland tot 2015?
• etc.

Wees bij het opstellen van de onderzoeksvraag wel realistisch in hoeverre het haalbaar is om binnen het gegeven (tijd)budget deze onderzoeksvraag te beantwoorden. In de casus van de oversteekplaats kan één van de subvragen zijn wat de oorzaken zijn van roodlichtnegatie bij de betreffende oversteekplaats. Het achterhalen van oorzaken vraagt echter over het algemeen een veel uitgebreider onderzoek dan een onderzoek dat enkel de omvang van het probleem in kaart brengt.

Een goede onderzoeksvraag voor (toegepast) wetenschappelijk onderzoek moet aan een aantal voorwaarden voldoen (zie Brinkman, 2006):

• heeft altijd een vraagvorm
• is concreet, scherp en ondubbelzinnig
• is objectief, vraagt geen oordelen of voorschriften
• is specifiek, vermijd daarom vragen met waarom en waardoor

Ter controle of je onderzoeksvraag goed gekozen is, kun je je de volgende vragen stellen:

• Wat verwacht ik voor informatie te halen uit mijn onderzoek?
• Komt de onderzoeksvraag overeen met wat ik (of mijn opdrachtgevers) eigenlijk wil weten?

Verkenning van de relevante literatuur en beschikbare informatie

Soms zal het mogelijk zijn om de onderzoeksvraag te beantwoorden op basis van publicaties van eerder gedaan onderzoek (literatuurstudie) of door een nieuwe analyse van primaire bronnen, zoals reeds bestaande meetgegevens (bronnenonderzoek). Maar ook als je van plan bent eigen gegevens te verzamelen van het onderzoek, is het van belang om voldoende kennis te hebben van de bestaande wetenschappelijke literatuur en vakliteratuur op het betreffende gebied. Probeer te achterhalen wat de huidige stand van kennis is op het betreffende gebied. Als bijvoorbeeld het te onderzoeken probleem is hoe een nieuwe weg in een gebied met slappe (veen)bodems zo snel mogelijk kan worden aangelegd, dan zul je moeten nagaan in hoeverre er recent nieuwe aanlegmethoden zijn ontwikkeld waarvan je wellicht nog niet had gehoord, of dat onderzoeksresultaten bekend zijn geworden over nieuwe snellere aanlegmethoden. Het is overigens niet ongebruikelijk dat op basis van de verkenning het doel van het onderzoek en de onderzoeksvraag moet worden bijgesteld.

Keuze van de onderzoeksmethode

Een belangrijke beslissing is hoe het onderzoek aangepakt gaat worden. Een belangrijk aspect hierbij is wat de gegevensbasis wordt van het onderzoek. Wordt het onderzoek gebaseerd op bestaande meetgegevens of op zelf te verzamelen gegevens? Worden gegevens verkregen door mensen te ondervragen, door zelf te observeren, door metingen van meetapparatuur of door metingen aan een model? Daarbij kan een combinatie van onderzoeksmethoden ook interessant zijn.

Een onderzoek naar de potentiële vervoerwaarde van een nieuwe veerverbinding, om maar eens een voorbeeld te noemen, kan bijvoorbeeld op verschillende manieren worden verricht. Zo kan gekozen worden om gebruik te maken van een bestaand verkeersmodel, potentiële gebruikers te enquêteren, etc. Meestal wordt als voorbereiding op dergelijk onderzoek een uitgebreid onderzoeksvoorstel of meetplan geschreven.

Globaal kunnen we de volgende typen onderzoeksmethoden onderscheiden:

• literatuurstudie, bronnenonderzoek
• observatie, veldonderzoek
• (laboratorium)experimenten
• enquêtes, interviews
• modelstudie, simulatie

In het onderstaande kader staan twee voorbeelden van typen onderzoek die kunnen worden gebruikt om de casus m.b.t. de oversteekplaats aan een onderzoek te onderwerpen.

Uitwerking van de onderzoeksmethode voor de casus voetgangersoversteekplaats Stel dat je de opdracht hebt gekeken om de verkeersveiligheid van deze oversteekplaats nader te onderzoeken. Over het algemeen geldt dat voor dergelijk toegepast onderzoek maar weinig budget beschikbaar is. Je zult je dus allereerst moeten afvragen hoe je met een beperkt budget qua tijd en geld toch zinvolle - en wetenschappelijk verantwoorde - uitspraken kunt doen over de verkeersveiligheid van de betreffende oversteekplaats. Zowel wat betreft de te onderzoeken variabelen als het soort onderzoek zijn er verschillende aanpakken mogelijk. Bronnenonderzoek: statistieken over verkeersveiligheid De kern van het probleem is de vermeende verkeersonveiligheid van de kruising. Hoewel er dus geen recente dodelijke ongevallen zijn gebeurd, zouden er wel andere ongevallen kunnen hebben plaatsgevonden, met verschillende mate van ernst. Met name de ernstiger soorten ongevallen vinden echter weinig plaats, waardoor de aantallen vaak te klein zijn om uitspraken te kunnen doen over één enkele kruising. Het onderzoeken van bestaande ongevallenregegistraties is een vorm van bronnenonderzoek. 'Observatie-onderzoek: roodlichtnegatie Een alternatief is om je te focussen op de vermeende problemen met roodlichtnegatie. Daarbij kun je je beperken tot het meten van het vóórkomen van roodlichtnegatie alleen, maar zou je ook kunnen proberen uit te vinden in hoeverre dit probleem samenhangt met de afstelling van de verkeerslichten, snelheid van het gemotoriseerd verkeer, etc. Op basis van dat onderzoek zou je vervolgens aanbevelingen kunnen doen om de veiligheid van de oversteekvoorziening te verbeteren. Onderzoek waarin eigen waarnemingen centraal staan wordt ook wel aangeduid als observatieonderzoek.

Literatuurstudie en bronnenonderzoek

Bij de keuze van de onderzoeksmethode moet de onderzoeker zich allereerst afvragen of het nodig is om zelf metingen te verrichten, of dat de benodigde gegevens al ergens voorhanden zijn. Wellicht kan op basis van de bestaande wetenschappelijke literatuur (gepubliceerde onderzoeksresultaten), databanken e.d. de benodigde informatie verkregen worden. In de literatuur wordt dergelijk onderzoek ook wel onderzoek op basis van secundaire gegevens genoemd, dit in tegenstelling tot primaire gegevens die door de onderzoeker zelf verzameld zijn (zie Saunders et al., 2008).

Bij onderzoek op basis van bestaande gegevens en rapportages maken we onderscheid tussen bronnenonderzoek en literatuuronderzoek.

Bronnenonderzoek

Bronnenonderzoek omvat al het onderzoek dat wordt gebaseerd op reeds verzamelde (ruwe) data, zoals meetgegevens, archiefstukken, etc. Het zijn dus secundaire gegevens, maar idealiter gaat hierbij om primaire bronnen. Het begrip primaire bron komt uit de historische wetenschappen en wordt gebruikt om bronnen aan te duiden met gegevens uit 'eerste hand', zonder verdere bewerking of interpretatie door anderen. Hierbij kun je denken aan oude registers (zoals doopregisters) en officiële akten, maar ook aan pamfletten, memoires en zelfs niet-schriftelijke bronnen.

Het begrip primaire bron kunnen we ook toepassen op onderzoek naar hedendaagse problemen. Zo kan een onderzoek naar hedendaagse problemen gebruik maken van bijvoorbeeld de volgende soorten primaire bronnen:

• ruwe data van enquêtes;
• registers, inclusief archieven daarvan (politieregisters, bevolkingsregisters, etc.);
• metingen en tellingen in situ.

Ruwe data van enquêtes kunnen soms verkregen worden van de onderzoeksinstituten die deze hebben uitgevoerd. Onder voorwaarden kunnen bijvoorbeeld onderzoekers gebruik maken van de ruwe (maar wel geanonimiseerde) data van het door het CBS uitgevoerde Mobiliteitsonderzoek Nederland.

Er zijn allerlei openbare registers waarvan gegevens gebruikt kunnen worden voor onderzoeksdoeleinden, mits gewaarborgd is dat de privacy van de betrokkenen niet wordt geschaad. Een voorbeeld is dat voor onderzoek naar verkeersveiligheid vaak politiegegevens worden gebruikt, aangezien uit de registraties van de politie de omstandigheden en toedracht van (ernstige) ongevallen is op te maken. Zie bijvoorbeeld het onderzoek van de SWOV naar de ongunstige ongevallencijfers van motorrijders (SWOV, 1996).

Allerlei verschijnselen worden continu in situ gemonitord. Zo houden weerstations vrijwel continu meteorologische gegevens bij, zijn er permanente telpunten en snelheidsmetingen op rijkswegen die de verkeersdrukte bijhouden, etc. Dit soort metingen kunnen een schat aan informatie bevatten voor onderzoekers.

Literatuuronderzoek

Naar heel veel problemen en fenomenen is reeds wetenschappelijk onderzoek gedaan. Kennis van eerder onderzoeken kan kosten en moeite besparen - bijvoorbeeld door het verrichten van een literatuurstudie waarbij je gebruik maakt van bestaande publicaties kun je wellicht een duur en tijdrovend eigen onderzoek uitsparen. Een belangrijk aspect van wetenschap is dat het probeert voort te bouwen op eerder verworven kennis (waarbij deze kennis wel kritisch ter discussie gesteld moet kunnen blijven worden). Daarnaast kan het helpen bij het preciezer formuleren van de probleemstelling, het bepalen van de beste onderzoeksopzet, etc. Kennis van de vakliteratuur is dus een vereiste voor iedere onderzoeker. Aangezien het in de praktijk lastig (onmogelijk) is om al het mogelijk relevante onderzoek te kennen, zal het dus vaak nodig zijn om een literatuuronderzoek te doen om er achter te komen wat de huidige stand van kennis is omtrent het te onderzoeken probleem.

Stel bijvoorbeeld dat je voor een grote gemeente moet uitzoeken in hoeverre het zinvol is om de hygiëneregels voor het gebruik van de zwembaden aan te scherpen en welke maatregelen wel of niet zinvol zijn (verplicht dragen van badmutsen, verbod op lange zwembroeken, etc.). Je zou de maatregelen kunnen laten uitproberen om door middel van eigen metingen uiteindelijk de effectiviteit te bepalen, maar het is waarschijnlijk zinvoller om eerst uit te zoeken in hoeverren anderen al onderzoek hebben gepubliceerd hierover.

Observatie en veldonderzoek

Observatie-onderzoek is een verzamelbegrip voor soorten onderzoek die zijn gebaseerd op waarnemingen. Observatie-onderzoek is sterk empirisch van karakter: centraal staat de werkelijkheid zoals deze zich voordoet. In tegenstelling tot experimenten is er geen sprake van kunstmatig gecontroleerde omstandigheden, maar wordt gedrag waargenomen zoals het zich voordoet in de praktijk. Gedrag bedoelen we hier in de breedste zin des woords: het kan gaan om menselijk gedrag, maar ook bijvoorbeeld om het mechanisch gedrag van een constructie (vervormingen e.d.).

Bij veel observatieonderzoek wordt tenminste voor een deel van de waarneming gebruik gemaakt van de eigen zintuigelijke waarnemingen van de onderzoeker (en zijn/haar assistenten). Meestal gaat het hierbij om visuele waarneming: hetgeen je ziet. Varianten hierbij zijn het gebruik van andere zintuigen, zoals het gehoor, tast en smaak. Voorbeeld hiervan is de klassieke determinatiewijze van grondsoorten, waarbij onder andere de eigen tastzin en het gehoor (knisperen) wordt gebruikt om een indicatie te krijgen van het zand- en siltgehalte van kleiige gronden.

Observatieonderzoek dat buiten plaatsvindt wordt ook wel aangeduid als veldonderzoek of veldwerk. Een voorbeeld hiervan is Geologisch veldwerk dat wordt verricht om de geologische geschiedenis en de structuur van een gebied te begrijpen. De resultaten van dit veldwerk worden vervolgens 'binnen' verwerkt, bijvoorbeeld tot eengeologische kaart. Soms wordt het begrip veldondezoek ook echter ruimer gehanteerd dan alleen directe observatie en wordt ook enquête-onderzoek op straat tot veldwerk gerekend.

Experimenten

Op de Nationale Wetenschap Olympiade in Houston (VS) in 2004 tonen scholieren hun kennis met enige experimenten

Het hierboven beschreven observatie-onderzoek heeft tot doel fenomenen waar te nemen zoals ze zich 'buiten' voordoen, zonder ingrijpen door de onderzoeker. Om hypothesen aangaande het verband tussen variabelen te testen, of om twee oplossingsstrategieën te vergelijken op effectiviteit, is het juist wenselijk om zo veel mogelijk storende invloeden uit te sluiten, om zo zo zuiver mogelijke conclusies te kunnen trekken. Dit is vooral van belang voor fundamenteel wetenschappelijk onderzoek, maar kan ook van belang zijn in toepassingsgericht onderzoek, bijvoorbeeld naar de duurzaamheid van een materiaal onder invloed van bepaalde vormen van slijtage.

Observaties onder nauwkeurig omschreven omstandigheden worden vaak aangeduid als experiment of ook wel als proef. Om de omstandigheden zo goed mogelijk te kunnen controleren en gebruik te kunnen maken van de best beschikbare meetaparatuur worden veel experimenten 'binnen' verricht in speciaal daarvoor ingerichte laboratoria. Denk hierbij bijvoorbeeld aan een materiaalkundig laboratorium met diverse proefopstellingen (zoals een buigproef. Maar er zijn ook voorbeelden bekend van onderzoek naar het gedrag van voetgangers dat in een laboratoriumhal werd uitgevoerd om zo de mogelijkheden voor controle en observatie te maximaliseren.

Experimenten worden gebruikt in zowel de natuurwetenschappen als ook in de sociale wetenschappen. Met hulp van experimenten onderzoeken bijvoorbeeld psychologen theorieën over (verschillen in) het gedrag van mensen en medici theorieën over gezondheid en geneeskunde.

Experimenteel design

Het ontwerp (design) van een experiment moet aan een aantal kwaliteitscriteria voldoen. Sommige ervan zijn ook gewenst of zelfs vereist voor andere soorten onderzoek. Experimenteel design kenmerkt zich echter door relatief strenge eisen aan het onderzoeksdesign. Zo moet het onderzoek reproduceerbaar zijn, dat wil zeggen elders met andere objecten kunnen worden herhaald om de resultaten te verifiëren. Dat betekent tevens dat alle waarnemingen systematisch moeten gebeuren en het meetresultaat kwantificeerbaar moet zijn. Bovendien vraagt dit om nauwgezette rapportage van de opzet en uitvoering van het experiment, bijvoorbeeld door alle stappen en bijzonderheden te registreren in een logboek.

In een experimentele design manipuleert de onderzoeker de onafhankelijke variabelen door mogelijke invloedsfactoren (zoals bijvoorbeeld temperatuur bij onderzoek naar materiaalgedrag of menselijk gedrag) constant te houden op een vooraf vastgestelde waarde. Invloedsfactoren die niet te beïnvloeden zijn, zoals persoonskenmerken, onzuiverheden in het materiaal, etc., kunnen worden gecontroleerd door de proefpersonen of proefstukken via randomisering (toevallige toekenning) te verdelen over experimentele en controlegroepen.

Later in dit hoofdstuk wordt nog iets verder ingegaan op het onderzoeksdesign. Voor meer diepgaande informatie over het ontwerp van onderzoek kan de lezer echter beter terecht bij specifieke literatuur over onderzoeksmethodologie.

Enquêtes en interviews

Enquêtes en interviews zijn beide methoden van indirect onderzoek, waarbij niet direct wordt geoberveerd, maar via het stellen van vragen aan personen (respondenten) wordt geprobeerd informatie te krijgen over zaken waarover deze personen kennis hebben. Meestal gaat het hierbij ome het onderzoeken van het gedrag of de voorkeuren van de betreffende persoon.

In de onderzoeksliteratuur worden de termen enquête en interview soms door elkaar gebruikt. Het onderscheid tussen interviewen en enquêteren is gradueel en hangt samen met de mate van gestructureerdheid van de vragenlijst en de noodzaak dat er een interviewer aanwezig moet zijn.

Interview

Een interview is vooral geschikt voor kwalitatief onderzoek en valt daarmee eigenlijk buiten het kader van dit boek. Een interview is min of meer systematisch, afhankelijk van de mate van voorstructurering door de interviewer (bijvoorbeeld in de vorm van een vooraf vaststaande lijst vragen waarvan niet wordt afgeweken). Een interview is vooral geschikt om (diepgaand) informatie te krijgen over de kennis, inzichten, motieven e.d. van een beperkt aantal personen.

Enquête

Bij kwantitatief onderzoek is het echter meestal gewenst om informatie te krijgen over een vooraf bepaald deel van de bevolking middels een (representatieve) steekproef. Een enquête of bevraging is een manier van onderzoek doen, waarbij gebruik wordt gemaakt van een vragenlijst, die aan meerdere personen wordt voorgelegd. Deze personen kunnen de hele doelgroep vormen, of zijn gehaald uit een representatieve steekproef. Het onderzoek kan gaan om zowel feiten als meningen (zoals bij een opiniepeiling). De uitslag van een enquête kan op zichzelf gehouden worden, maar dient meestal ter ondersteuning van andere gegevens.

Wijze van enquêteren

Een enquête kan bestaan uit open vragen, meerkeuzevragen of een combinatie van beiden. Bij kwantitatief onderzoek wordt met name van meerkeuzevragen gebruikgemaakt, terwijl in kwalitatief onderzoek open vragen zullen worden gebruikt. De klassieke manieren om een enquête te houden zijn met de komst van de Informatie- en Communicatie technologie aanzienlijk uitgebreid. Men onderscheidt onder meer:

• mondeling 'op straat'
• telefonisch
• schriftelijk (per post)
• via internet
• via SMS

Modelstudie en simulatie

Met name in praktijkonderzoek komen veel wat-als-vragen voor: wat zal er gebeuren als ik een bepaalde ingreep pleeg. Bij het evalueren van alternatieve ingrepen kan het wenselijk te zijn om via een modelstudie te komen tot een inschatting van de effecten. Stel dat de voorgestelde ingreep de bouw van een nieuwe verkeersbrug is. Er zouden dan verschillende modellen kunnen worden gebruikt om verschillende aspecten te onderzoeken:

• het onderzoeken van de visuele en esthetische aspecten van de brug op basis van een maquette.
• het onderzoeken van het effect van de plaatsing van de brugpijlers met behulp van een analytisch computermodel;
• het onderzoeken van de draagkracht van een brug met behulp van een 'schematisatie': een vereenvoudigd fysisch model;
• het onderzoeken van mogelijke knelpunten in de verkeersstroom met behulp van een computersimulatie.

Meer algemeen gesproken kunnen we onderscheid maken tussen:

• iconische modellen;
• analoge modellen en
• symbolische modellen.

Iconische modellen lijken op de werkelijkheid, maar maken gebruik van andere materialen of een andere schaal – ze worden bijvoorbeeld gebruikt om ontwerpideeën vast te leggen. Een voorbeeld is de maquette van de brug. Analoge modellen beschrijven specifieke eigenschappen van een idee of systeem door details te verwijderen en zich te concentreren op de kernelementen (door middel van analogieën). Een voorbeeld is de schematisatie voor de constructieve berekening. Deze modellen pretenderen niet precies op de werkelijkheid te lijken maar zijn bedoeld om bepaalde functies te onderzoeken.

• Symbolische modellen representeren ideeën met behulp van code (bijvoorbeeld cijfers, wiskundige formules en logische verbanden. Symbolische modellen zijn een abstractie van de werkelijkheid. Alle computermodellen, zowel analytische als simulaties, maken hiervan gebruik. Maar ook de constructieve berekeningen die worden gedaan na schematisatie maken in feite gebruik van symbolische modellen in de vorm van in een wiskundige relatie gegogen natuurkundige wetmatigheden.

Computersimulatie

In de praktijk wordt er bij modelstudie en simulatie voornamelijk gedoeld op computermodellen. Strikt gesproken is er een onderscheid tussen computermodellen die exacte analytische oplossingen geven en simulatiemodellen die vaak slechts één van meerdere mogelijke oplossingen of een benaderende oplossing geven. Dit onderscheid is echter hier niet zo van belang, wat hier staat over computersimulatie geldt in feite ook voor analytische computermodellen.

Een computersimulatie is een nabootsing van de werkelijkheid met behulp van een (symbolisch)model dat is geïmplementeerd in een computer. Er zijn ook andere mogelijkheden voor simulatie (zoals het eerdergenoemde schaalmodel van een waterloop en berekeningen op papier), maar de meeste vakgebieden kennen modellen die zo uitgebreid of complex zijn dat simulaties zonder een krachtige computer eenvoudig niet mogelijk zouden zijn. Zo gebruikt de verkeerskunde computers voor modellen om de verkeersafwikkeling mee na te bootsen.

Simulatie wordt met name gebruikt om, vanuit een gegeven uitgangssituatie, te analysen hoe deze situatie verandert en zich ontwikkelt in de loop van de tijd. Hierbij is het mogelijk om verschillende alternatieven (bijvoorbeeld met en zonder ingreep) te vergelijken.

Voordelen van een simulatie zijn dat deze plaatsvindt in een gecontroleerde, welomschreven omgeving, en dat deze kan worden uitgevoerd zonder de werkelijkheid te beïnvloeden. De lessen die uit een simulatie worden geleerd kunnen vervolgens worden gebruikt om in de werkelijkheid verstandige beslissingen te nemen en fouten te vermijden.

Uitwerking van het onderzoeksdesign

Het onderzoeksdesign is - de naam zegt het al - het ontwerp van het onderzoek. Het onderzoeksdesign geeft onder andere antwoord op de vragen wat er wordt gemeten, waar er wordt gemeten en waaraan er wordt gemeten. Dit wordt ook wel de operationalisatie van het onderzoek genoemd.

Routinematig onderzoek of nieuw onderzoeksdesign?

Land- en bouwmetingen worden meestal verricht volgens een gestandaardiseerde werkwijze.

Het uitwerken van een onderzoeksdesign is een complexe zaak. In hoeverre er voor een onderzoek ook een nieuw onderzoeksdesign moet worden gemaakt, hangt echter af van de vraag in hoeverre er standaardisatie mogelijk is, gegeven het soort onderzoek. Hierbij geldt dat hoe minder 'standaard' het te onderzoeken probleem is, hoe meer werk er gaat zitten in het onderzoeksontwerp.

Voorbeelden van routinematig onderzoek zijn verschillende vormen van metingen 'buiten', zoals landmetingen, sonderingen e.d. en veel vormen van medische onderzoeken, zoals bloedonderzoek. In geval van geotechnisch onderzoek naar de opbouw van de bodem op een bouwlocatie, dat o.a. tot doel heeft te bepalen hoe diep er moet worden geheid, is het bijvoorbeeld standaard om sonderingen te laten verrichten. Dit soort onderzoek wordt routinematig verricht door gespecialiseerde ingenieursbureaus en het zou onzinnig zijn om voor ieder project de werkwijze opnieuw ter discussie te stellen. In feite wordt er bij dergelijk onderzoek gebruik gemaakt van een gestandaardiseerd onderzoeksdesign.

Bij niet-routinematig onderzoek zul je als onderzoeker zelf in meer- of mindere mate moeten vaststellen hoe je het onderzoek gaat uitvoeren. Wel is het mogelijk - en vaak verstandig - om in dergelijke gevallen eerst uit te zoeken of er vergelijkbare onderzoeken eerder gedaan zijn en hoe die onderzoeken zijn opgezet.

Onderzoeksdesign voor de casus voetgangersoversteekplaats Voor het onderzoek naar de de vermeende onveiligheid van een voetgangersoversteekplaats geldt niet dat een standaard onderzoeksdesign uit de kast kan worden getrokken. Het zal dus nodig zijn om een eigen onderzoeksontwerp te maken. De uitwerking van het onderzoeksdesign zal in dit geval resulteren in een gedetailleerd plan van aanpak van het onderzoek. Bij (technisch) observatie-onderzoek noemt met dit plan van aanpak meestal het meetplan.

Omvang van het onderzoek

Een eerste vraag bij de uitwerking van het onderzoeksdesign is de vraag over welke onderzoeksobjecten je uitspraken wilt kunnen doen. De onderzoeksobjecten waarop het onderzoek betrekking heeft, wordt in de statistiek aangeduid als de populatie. Stel bijvoorbeeld dat je uitspraken wilt doen over de problematiek van foutaansluitingen in een gemeente met een gescheiden rioleringsstelsel. Je kunt ervoor kiezen om het onderzoek betrekking te laten hebben op de hele gemeente of zelfs een groter gebied, maar je kunt er ook voor kiezen om het onderzoek te beperken tot één enkele wijk, bijvoorbeeld omdat daar de grootste problemen worden verwacht, of omdat de gemeente pas op basis van de uitkomsten van één enkele wijk wil beslissen of een grootschaliger onderzoek nodig is.

Operationalisatie van het onderzoek

Een belangrijk product van de verkenningsfase is het formuleren van de onderzoeksvraag. Deze onderzoeksvraag moet vervolgens worden geoperationaliseerd in het onderzoeksdesign. Allereerst moet het onderzoeksobject en de onderzoeksvariabelen worden vastgelegd. Dit gebeurt op basis van de onderzoeksvragen. Vervolgens worden de onderzoeksvariabelen zodanig geoperationaliseerd, dat de onderzoeksvariabele ook echt meetbaar wordt. Hoe een variabele wordt geoperationaliseerd hangt echter samen met de gekozen onderzoeksmethodiek.

Een goede onderzoeksvraag maakt al direct duidelijk op wat voor ’’objecten’’ het onderzoek moet worden uitgevoerd. Het object van onderzoek is hetgeen of diegene waarop het onderzoek betrekking heeft.

Laten we nog eens kijken naar de eerder gegeven voorbeelden van onderzoeksvragen (niet-routinematig onderzoek):

1. Wat is de te verwachte economische schade in het Westland als gevolg van wateroverlast bij exceptionele regenval met een kans van één keer in de 100 jaar in het jaar 2015?
2. In welke mate wordt de Jan Luykenstraat gebruikt als sluiproute voor doorgaand verkeer?
3. Wat is het rendement van herbestemming van verouderde kantoorpanden met relatief veel leegstand in Amsterdam Zuidoost.

Het onderzoeksobject van de eerste onderzoeksvraag is het Westland. Impliciet heeft het onderzoek daarbij betrekking op twee systemen, namelijk het watersysteem in het Westland en het economische systeem. Van de tweede onderzoek is het object de Jan Luykenstraat; meer specifiek het verkeer dat gebruik maakt van de Van Luykstraat. En tenslotte zijn verouderde kantoorpanden in Amsterdam Zuidoost het object van het derde onderzoek.

Ook de primair te onderzoeken onderzoeksvariabelen zullen meestal min of meer direct volgen uit de onderzoeksvragen. In het voorbeeld van de eerste onderzoeksvraag gaat het met name om economische schade en mate van wateroverlast. Bij de tweede vraag zijn de onderzoeksvariabelen iets minder expliciet, maar zal het gaan om het verkeersvolume en het soort verkeer (doorgaand verkeer of bestemmingsverkeer). Bij de derde onderzoeksvraag zijn rendement en leegstand de twee kernvariabelen uit de onderzoeksvraag.

De operationalisatie van deze variabelen hangt nu af van de gekozen onderzoeksmethodiek. Stel bijvoorbeeld dat het onderzoek naar mogelijke wateroverlast in het Westland wordt gedaan met behulp van een modelstudie. De mate van wateroverlast zou dan geoperationaliseerd kunnen worden als het oppervlakte gebied, te onderscheiden naar functie, waar volgens het model bij de maatgevende bui een bepaalde minimum waterhoogte wordt bereikt die als overlastgevend wordt beschouwd. Ook het vaststelen van de te onderscheiden functies en de overlastgevende minimum waterhoogte hoort bij het operationaliseren van het onderzoek.

Hoe groot het verschil is tussen de algemene definitie van de variabele (het begrip zoals bedoeld) en de operationele definitie van de variabele (het begrip zoals gemeten) hangt sterk samen met het type onderzoeksvraag. Indien de vraagstelling betrekking heeft over concrete, direct meetbare fenomenen (zoals de mate van zettingen van een gebouw tijdens de bouw van een metrolijn, de grootte van het huishouden van een respondent, etc.), dan zal de operationalisatie relatief eenvoudig zijn. Soms bevat de vraagstelling echter complexe begrippen als de tevredenheid van werknemers, het gebruiksgemak van een apparaat e.d. - dergelijke variabelen zijn lastiger te operationaliseren.

Er is een duidelijke samenhang tussen de manier van operationaliseren van een variabelen en het gekozen type onderzoek. Stel bijvoorbeeld dat je onderzoek wilt doen naar het bedieningsgemak van een apparaat, bijvoorbeeld een navigatiesysteem. Je zou het bedieningsgemak kunnen bepalen aan de hand van een enquête onder gebruikers van het apparaat. In dat geval kun je 'bedieningsgemak' operationaliseren als een score (helemaal eens, meer eens dan oneens, meer oneens dan eens, geheel oneens) op één of meerdere stellingen met betrekking tot het bedieningsgemak van het betreffende apparaat. Bij een observatie-onderzoek of een zou je bijvoorbeeld kunnen kijken per deeltaak naar de tijd die geobserveerde proefpersonen hiervoor nodig hebben.

Uitwerking van het onderzoeksdesign

De uitwerking van het onderzoeksdesign zal meestal voor uitvoering ervan worden overlegd met de opdrachtgever van het onderzoek - of tenminste intern met collegae c.q. begeleiders. Daarom is het wenselijk om de operationalisatie van het onderzoek altijd schriftelijk vast te leggen, dus ook onderzoek dat je doet in het kader van een (afstudeer)project op school of universiteit. Er worden verschillende namen gebruikt voor rapporten waarin het onderzoek is uitgewerkt tot op operationeel niveau - dat wil zeggen zodanig dat het plan voldoende detail heeft om op basis daarvan het onderzoek ook te kunnen uitvoeren. Met name voor observatie-onderzoek en experimenten met een meer natuurwetenschappelijk karakter wordt het begrip meetplan gebruikt. Aangezien dit begrip ook duidelijker dan bijvoorbeeld het alternatief onderzoeksopzet aangeeft dat het hier gaat op de uitwerking van het onderzoek tot operationeel niveau, wordt het eerste begrip hier gebruikt.

Controle in het onderzoeksdesign

Toegepast onderzoek kan in meer of mindere mate beschrijvend en toetsend van aard zijn. Bij beschrijvend onderzoek staat de verwerving van (nieuwe) kennis centraal. Dit kan kennis zijn over de toestand van het object van onderzoek in het verleden, in het heden of in de toekomst. Beschrijvend onderzoek maakt hiertoe gebruik van zowel empirische gegevens ('metingen') als theoretische verbanden. Toetsend onderzoek heeft tot doel om uitspraken over de werkelijkheid (hypothesen) te toetsen aan de werkelijkheid. Deze hypothesen zullen meestal betrekking hebben op het verband tussen twee of meer variabelen. Hoe een onderzoeker aan zo'n hypothese komt maakt eigenlijk niet zoveel uit: op basis van eerder onderzoek, intuïtie, modelstudie, etc.: het gaat er om dat de hypothese kritisch tegen het licht wordt gehouden.

Bij toetsend onderzoek is het van belang dat goed wordt nagedacht over de controle in het onderzoeksdesign. Wat controle inhoudt, kan wellicht het beste worden uitgelegd aan de hand van een voorbeeld. Een docent vermoedt op basis van positieve ervaringen van een collega dat het instellen van een aanwezigheidsplicht bij zijn colleges zal leiden tot betere toetsresultaten. De opleiding denkt erover om aanwezigheidsplicht te gaan invoeren, maar wil voordat dat definitief wordt mogelijk gemaakt, eerst kritisch toetsen of aanwezigheidsplicht inderdaad positief zal werken op de resultaten. Een mogelijkheid is om de toetsresultaten van een cursus met aanwezigheidsplicht te vergelijken met die van een cursus zonder aanwezigheidsplicht. De vraag is echter dan in hoeverre de gemeten verschillen zijn toe te schrijven aan de aanwezigheidsplicht, of aan verschillen in de moeilijkheid van het vak, de kwaliteit van het onderwijs, de achtergrond van de studenten, de moeilijkheidsgraad van de toets, etc. Het kunnen uitsluiten van andere verklarende problemen is het probleem van controle in het onderzoeksontwerp.

Toetsing van het onderzoeksdesign

Voordat het definitief wordt uitgevoerd, is een toetsing wenselijk op de volgende kernaspecten:

• Is je onderzoeksmethode wel valide?
• Is je onderzoeksopzet wel ethisch verantwoord?

Maar ook op meer praktisch niveau is het verstandig om voor aanvang van het onderzoek het meetplan nog eens kritisch te bekijken. Het meetplan kun je aan de hand van de volgende vragen controleren:

• Is mijn meetopstelling relevant genoeg in het licht van mijn onderzoeksvragen?
• Heb ik de juiste meetinstrumenten gekozen om mijn onderzoeksvragen te kunnen beantwoorden? Zijn deze nauwkeurig, betrouwbaar, etc. genoeg?
• Zijn mijn meetinstrumenten valide en zijn ze gekalibreerd?
• Is mijn meetplan realistisch qua tijdsplan? Is de volgorde van de activiteiten juist?
• Is mijn meetopstelling veilig? Heb ik de risico's voor de onderzoeker en de omgeving voldoende uitgesloten?

De eerste vier vragen hebben een relatie met het aspect validiteit, terwijl de vijfde vraag mede te maken heeft met de ethiek van het onderzoek.

Validiteit van het onderzoek

Het onderzoeksontwerp is valide, wanneer het je in staat stelt op basis van je bevindingen juiste conclusies te trekken. Er zijn een aantal redenen waarom een onderzoeksontwerp niet-valide zou kunnen zijn. De onderzoeker kan bijvoorbeeld een meetinstrument kiezen dat iets anders meet dan bedoeld. Stel dat de meetapparatuur die je wilt gebruiken om zettingen aan belendende gebouwen naast een bouwkuip te monitoren niet gevoelig genoeg is, dan kan het gebeuren dat optredende zettingen niet of te laat pas worden gesignaleerd. Is de meetapparatuur te gevoelig ingesteld, dan geeft dat vals alarm. Lastiger is het nog om validiteit te waarborgen in de sociale wetenschappen. Hoe toon je bijvoorbeeld aan dat de score op een bepaalde IQ-test inderdaad een betrouwbare afspiegeling is van de intelligentie van de onderzochte personen? Ook bij het gebruik van modellen (in plaats van metingen aan de werkelijkheid) is het uiteraard van belang of het gebruikte model wel een voldoende correcte afspiegeling van de werkelijkheid is. Bedenk hierbij dat iedere model een versimpeling is van de werkelijkheid. Een versimpeling die voor de ene vraagstelling prima is, kan voor de andere vraagstelling onverantwoord zijn.

Onderzoeksethiek

Onderzoek kan nuttige kennis opleveren, maar ondoordacht onderzoek kan ook schade berokkenen. Bij de opzet van het onderzoek moet je je derhalve goed afvragen of het wel ethisch verantwoord is. Het leidende principe hierbij is dat je mensen geen schade mag berokkenen; dus kinderen in een schoolklas doelbewust langere tijd blootstellen aan bepaalde stressfactoren om te bekijken of dat hun schoolprestaties nadelig beïnvloedt kan wellicht interessante gegevens opleveren, maar is uit ethisch oogpunt slecht verdedigbaar. Maar sommige vraagstukken zijn lastiger. Mag je bijvoorbeeld nieuwe medicijnen, die reeds op volwassen proefpersonen zijn uitgeprobeerd, testen op (zieke) kinderen om de juiste dosering en de mate van optreden van bijwerkingen te bepalen? Mag je bij dit onderzoek een controlegroep instellen die een placebo (nepmedicijn) krijgt, om zo uit te kunnen sluiten dat gemeten werkzaamheid of bijwerkingen aan placebo-effecten zijn toe te schijven?

Uitwerking van het meetplan

Als de onderzoeksopzet is uitgewerkt, zal meestal meten één van de activiteiten zijn die onderdeel is van het onderzoek. Kenmerkend voor de wetenschappelijke methode, ook bij praktijkonderzoek, is een goede voorbereiding van de metingen. Voordat je daadwerkelijk kunt beginnen met meten, moeten een aantal vragen worden beantwoord:

• Wat is het doel van de metingen? (onderzoeksdoel)
• Waaraan ga je meten? (onderzoeksobject)
• Wat ga je meten? (onderzoeksvariabelen)
• Waarmee ga je meten? (meetinstrumentarium)
• Wat is je meetopstelling?
• Hoeveel metingen ga je verrichten? (steekproefomvang)
• Wanneer kun je wel/niet meten? (randvoorwaarden)

Deze keuzes worden vastgelegd in een meetplan.

Het vastleggen van de aanleiding en doel van de metingen is reeds eerder aan bod gekomen in dit hoofdstuk. Ook het onderzoeksobject en de (operationalisatie van) onderzoeksvariabelen zijn daar reeds genoemd. In deze paragraaf gaan we verder met de vraag waarmee rekening moet worden gehouden bij de verdere uitwerking van de meetopzet (keuze meetinstrumenten, meetopstelling, steekproefomvang en randvoorwaarden) om te kunnen beantwoorden aan het doel van het onderzoek.

Verstandig omgaan met het beschikbare (tijds)budget voor onderzoek betekent dat:

• Het meetinstrument nauwkeurig en betrouwbaar genoeg is voor het gegeven doel.
• Het aantal metingen en het aantal meetpunten voldoende is voor een betrouwbaar beeld.
• De omvang van het onderzoek niet onnodig groot is gegeven het doel.
• Er een verstandige afweging wordt gemaakt tussen enerzijds kosten van inzet en anderzijds de kwaliteit van meetinstrumenten.

Met andere woorden: niemand is gebaat bij het moeten overdoen of aanvullen van metingen vanwege onvoldoende betrouwbare resultaten, maar ook is niemand gebaat bij het doen van een overdreven omvangrijk onderzoek, als dezelfde onderzoeksvraag met beduidend minder inzet van middelen ook prima beantwoord had kunnen worden.

Uitvoering van het onderzoek

Als het onderzoek goed is doordacht en voorbereid kan het ook daadwerkelijk worden uitgevoerd op basis van het onderzoeksvoorstel of meetplan. Er kunnen zich echter tussentijds omstandigheden voordoen, waardoor het onderzoek moet worden stopgezet. Denk hierbij aan weersomstandigheden die buitenmetingen belemmeren, of tussentijdse resultaten in een medisch onderzoek die vragen om tussentijds stoppen van het experiment. In een goed onderzoeksvoorstel of meetplan wordt echter ook vastgelegd onder welke omstandigheden het onderzoek kan plaatsvinden, wanneer onderzoeksresultaten tussentijds worden geëvalueerd en in wat voor situaties het onderzoek tussentijds moet worden gestopt.

Tijdens het onderzoek moeten de gegevens zorgvuldig worden gedocumenteerd. Observaties (aflezingen van meetinstrumenten, maar ook visuele registratie van gebeurtenissen) moeten zodanig worden opgeschreven dat er bij het verwerken van de gegevens er geen onduidelijkheden kunnen ontstaan. Onvolledige registraties, bijvoorbeeld wanneer wel het instrument is afgelezen, maar het tijdstip van aflezen onbekend, of wanneer enquêtes niet volledig zijn afgenomen door de telefonische enquêteur, maken de onderzoeksresultaten minder bruikbaar of zelfs onbruikbaar.

Aan het eind van het uitvoeren van het onderzoek evalueer je kort of het onderzoek volgens plan is verlopen. Op basis daarvan beslis je of de resultaten bruikbaar zijn, of dat er metingen moeten worden overgedaan.

Analyse van de gegevens

Een volgende stap is de verder analyse van de ruwe gegevens. De analyse en interpretatie van de gegevens kan qua tijdsbeslag de uitvoeringsfase van het onderzoek met een veelvoud overtreffen. Bij een goed gepland onderzoek zijn de toe te passen analysetechnieken reeds in het onderzoeksvoorstel vastgelegd. De uiteindelijke interpretatie van de onderzoeksresultaten, inclusief de uitkomsten van de (statistische) analyses, blijft echter mensenwerk. Het is raadzaam om in deze fase te overleggen met vakgenoten, om zo interpretatiefouten te voorkomen. Ook een goede kennis van de literatuur is hier van groot belang: zowel wat betreft de achterliggende theorie, als mogelijke tekortkomingen van de onderzoeksopzet en het juist gebruik van de analysetools vragen om een grondige kennis van bestaande theoretische en praktische inzichten.

Bij de analyse van kwantitatieve gegevens wordt meestal gebruik gemaakt van technieken uit de statistiek. Hierbij wordt onderscheid gemaakt tussen beschrijvende statistiek en verklarende statistiek.

Een voorbeeld van het gebruik van beschrijvende statistiek (histogram) voor het representeren van meetgegevens

De beschrijvende statistiek houdt zich in principe bezig met de beschrijving van bepaalde gegevens van een populatie. Als voorbeeld kan men denken aan een volkstelling. De gegevens worden geordend en gereduceerd, indien gewenst tot relevante kengetallen. Voorbeelden hiervan zijn het gemiddelde en de mediaan als maten voor centrale tendentie en de standaarddeviatie als maat voor spreiding. In overzichtelijke tabellen, grafieken en figuren worden ten slotte de gegevens gepresenteerd. Een belangrijk deel van het werk van het Centraal Bureau voor de Statistiek betreft dit deelgebied.

Verklarende statistiek (ook wel inductieve statistiek of mathematische statistiek genoemd) tracht aan de hand van een steekproef informatie omtrent de gehele populatie te verkrijgen. Om allerlei redenen kan het ongewenst of onmogelijk zijn de hele populatie te onderzoeken. In plaats daarvan onderzoekt men een deel van de populatie: de steekproef. Men verkrijgt zo echter slechts beperkte informatie over de populatie. De inductieve statistiek geeft geschikte methoden en onderzoekt de kwaliteit daarvan. Bekende methoden zijn toetsen, schattingsmethoden en als combinatie van beide: betrouwbaarheidsintervallen.

Bij de afronding van de analyse kun je de volgende evaluerende vragen stellen:

• Zijn alle gegevens verwerkt en zijn de toegepaste analyses op de data goed gedocumenteerd, zodat analyses eventueel overgedaan kunnen worden ter controle?
• Zijn alle verzamelde gegevens gearchiveerd?
• Is de interpretatie van de gegevens coherent en voldoende doordacht (en bediscussieerd met collega's)?

Rapportage van de onderzoeksresultaten

De rapportage van de onderzoeksresultaten is een essentieel onderdeel van het onderzoeksproces. Deze rapportage kan hele verschillende vormen aannemen: van een korte rapportage van de meetresultaten voor intern gebruik tot een paper in een vakblad of wetenschappelijk tijdschrift of een proefschrift. Deze verschillende typen publicaties hebben echter een verschillend publiek.

Bij de keuze hoe je gaat rapporteren, zul je je dus allereerst moeten afvragen voor wie je schrijft. Denk hierbij o.a. aan:

• de opdrachtgever: intern of extern
• vakgenoten: collega-onderzoekers of gebruikers van je onderzoeksresultaten
• beleidsmakers
• algemeen geïnteresseerden
• etc.

Meestal zul je het onderzoek eerst intern rapporteren voor bespreking met collegae en de opdrachtgever. Soms zal echter ook een openbare publicatie worden overwogen. Dit is zeker gebruikelijk met universitair onderzoek, maar ook praktijkonderzoek wordt vaak gerapporteerd in vaktijdschriften en in congresbijdragen.

Een openbare publicatie, zoals een artikel in een vaktijdschrift, is alleen zinvol al aan een aantal voorwaarden is voldaan:

• Het onderzoek moet zodanig succesvol zijn dat er zinvolle conclusies uit zijn getrokken
• De inzichten uit het onderzoek moeten iets toevoegen aan de bestaande kennis. In de rapportage moet dus ook verwezen worden naar bestaande inzichten.
• Er mogen geen legale of contractuele bezwaren zijn tegen een openbare publicatie. De opdrachtgever van het onderzoek zal in ieder geval moeten instemmen.

---

Voetnoten: