Stap 5: Interpreteren

Stap 5

Inleiding

Deze stap gaat over de fase die komt na het uitvoeren van een onderzoek: het interpreteren van de onderzoeksresultaten. Er zijn verschillende aandachtspunten die een onderzoeker en beleidsmaker in het achterhoofd moeten houden wanneer de resultaten of uitkomsten van een onderzoek worden geïnterpreteerd.

Proces van betekenisgeving

Interpreteren is het proces waarin betekenis wordt gegeven aan de resultaten van een onderzoek. Het is de laatste stap in het onderzoeksproces, waarin een vertaling wordt gemaakt van ‘ruwe onderzoeksdata’ naar een ‘duiding van de resultaten’ en naar ‘beantwoording van de onderzoeksvragen’.

Interpreteren is ook selecteren. Bijvoorbeeld als de ‘interpreteerder’ een rode draad haalt uit een veelheid aan open antwoorden en toelichtingen, of uit een veelheid aan signalen over risicopercepties. Immers, wat doet de interpreteerder met opvattingen die niet heel breed worden gedeeld, maar die wel aanwezig zijn? Worden die wel of niet benoemd en hoe prominent? En wat is de ‘interpretatie’ als bijvoorbeeld respondenten op een schaal van 1-5 aangeven dat de mate waarin zij zich zorgen maken over aardbevingsgevaar gemiddeld een 3,8 is?

Een eerste interessante vraag is dan ook wie er betrokken zijn bij het proces van betekenisgeving. Daar zijn twee uiterste varianten in te onderscheiden (en natuurlijk tal van tussenvarianten):

Interpretatie door de (onafhankelijke) onderzoeker, die analyseert en zelf tot interpretatie komt.
Interpretatie in een gezamenlijk proces met stakeholders, waarin samen wordt gekeken naar het onderzoeksmateriaal en waarin samen inzichten eruit worden gehaald.

In alle gevallen, maar zeker ook in de eerste situatie (interpretatie door de onderzoeker), is het van belang om een goede terugkoppeling te geven aan respondenten, inwoners of andere betrokkenen op twee punten:

Terugkoppeling over de uitkomsten;
Terugkoppeling over wat er met de uitkomsten van het onderzoek gebeurt (waar landen ze?), welk vervolg eraan wordt gegeven (welke acties volgen eruit?) en wat daarin eventueel de rol is van respondenten, inwoners of andere betrokkenen.

Aandachtspunten bij de betekenisgeving

De situatie kan zich voordoen dat onderzoekers of (belanghebbende) betrokkenen bewust of onbewust onjuiste conclusies trekken uit het onderzoeksmateriaal. Een niet onbekend verschijnsel is bijvoorbeeld dat belanghebbenden in een onderzoek bewust zoeken naar die informatie, die hun mening kan onderbouwen. Dan wordt er bijvoorbeeld selectief ‘geshopt’ in de onderzoeksuitkomsten en worden in de eigen analyse die zaken naar voren gebracht die het eigen standpunt versterken.

Hierna geven we een aantal aandachtspunten en tips mee, die zowel bruikbaar zijn voor degene die ruw onderzoeksmateriaal moet analyseren en interpreteren, als wel voor degene die een rapport onder ogen krijgt waarin een analyse en interpretatie van uitkomsten is opgenomen.

Ga terug naar de vraagstelling en steekproef van het onderzoek.

Kijk bijvoorbeeld altijd naar de precieze vragen die zijn gesteld (wat is de letterlijke vraag?), aan wie de vragen zijn gesteld (aan alle respondenten of aan een deelverzameling ervan, bijvoorbeeld alleen aan mensen die dichtbij of juist veraf van een energievoorziening wonen?) en wat de antwoordcategorieën waren waaruit respondenten konden kiezen. Met name dat laatste is ook van belang omdat betrokkenen of belanghebbenden soms antwoordcategorieën samennemen bij het weergeven van de uitkomsten, en dat het nogal wat uitmaakt welke categorieën worden samengenomen. Een voorbeeld: ‘Stoort u zich wel eens aan windmolens?’ met als antwoordcategorieën: nooit, af en toe, vaak, heel vaak. De volgende twee uitspraken kunnen over dezelfde uitkomsten gaan, maar leggen de nadruk heel anders: (1) 40% stoort zich nooit aan windmolens en slechts 5% stoort zich vaak of heel vaak aan windmolens, (2) 60% stoort zich af en toe, vaak of heel vaak aan windmolens. Daarom is het van belang altijd terug te gaan naar de vraag en de antwoordcategorieën en ook altijd goed te bedenken wat de waarde is van de steekproef (is die representatief of zou er sprake kunnen zijn van selectieve non respons?).
Houd bij de interpretatie goed rekening met de wijze waarop respondenten zijn bevraagd.
Het verschijnsel van subjectieve vraagstelling (leading the witness) is soms goed herkenbaar, maar soms is de invloed van de vraagstelling op de antwoorden die worden gegeven subtieler in de zin dat het minder goed te herkennen is. Een voorbeeld: let bij interpretaties van antwoorden op enquêtevragen altijd op factoren als: welke tijd is gebruikt, voor wie is het risico geformuleerd en hoe specifiek is het risico is beschreven. Dat komt omdat deze factoren invloed hebben op de beantwoording:
- Tijd: het gebruik van tegenwoordige tijd of verleden tijd kan verschillende antwoorden opleveren. Risico’s in het verleden worden vaak minder sterk ervaren dan risico’s voor de toekomst.
- Voor wie: Als u respondenten vraagt een risico voor zichzelf te beoordelen dan schatten zij het risico vaak lager in dan wanneer zij een risico voor een ander moeten beoordelen.
- Hoe specifiek: Risico’s die heel specifiek worden beschreven, worden door respondenten vaak hoger ingeschat dan risico’s die in meer algemene termen worden beschreven.
Doe de bias-check.
Onder bias verstaan we een fout in uitkomsten van onderzoek door vooringenomenheid, door vooroordelen of door het bewust of onbewust sturen in een bepaalde richting. Er zijn in de literatuur vele vormen van bias beschreven. Hierna worden er zes ter illustratie beschreven die in ieder geval relevant zijn in het kader van het uitvoeren van onderzoek naar risicopercepties. We nodigen zowel uitvoerders als personen die kennisnemen van onderzoek uit om kritisch te reflecteren op de vraag: kan sprake zijn van een of meer van de vormen van bias in een onderhavig onderzoek? Idealiter is het voorkomen van bias onderwerp van gesprek voorafgaand aan het onderzoek (bij het opzetten van het onderzoek), tijdens het onderzoek (bij het uitvoeren van het onderzoek) en na afloop van het onderzoek (bij het interpreteren van de onderzoeksuitkomsten).
1. Respons bias. Dit is de bias waarbij respondenten sociaal wenselijke antwoorden hebben gegeven.
2. Non respons bias. Dat is een bias die ontstaat als er een specifieke groep niet deelneemt aan het onderzoek, en er daardoor een verkeerd beeld ontstaat van er in de totale populatie speelt (waar die specifieke groep wel deel van uitmaakt).
3. Confirmation bias. Horen en zien wat je wilt horen en zien. Bij het analyseren van het onderzoeksmateriaal zoekt de onderzoeker naar bevestiging van de eigen aannames, in plaats van open en onbevooroordeeld naar de data te kijken.
4. Anchoring. Dit is een cognitieve denkfout waarbij de onderzoeker onbewust meer waarde hecht aan de informatie die eerder is ontvangen, verzameld en/of gezien dan de informatie die later is ontvangen, verzameld en/of gezien.
5. Groupthink. Dit verschijnsel kan ontstaan als leden van de groep (bijvoorbeeld onderzoekers en/of opdrachtgevers van onderzoek) vooral gefocust zijn op het bereiken of behouden van overeenstemming en eensgezindheid, in plaats van kritisch te reflecteren op elkaars aannames en conclusies.
6. Framing. Deze vorm van bias betreft een bewuste actie van de belanghebbende. Kijk daarom altijd kritisch naar interpretaties en verklaringen die belanghebbende betrokkenen geven aan de uitkomsten van onderzoek, en check of die rechtstreeks uit het onderzoek blijken of dat er sprake is van een vorm van framing.
Besef: risicoperceptie is altijd een momentopname.

Een betrouwbaar en representatief beeld over de risicoperceptie zal altijd een momentopname zijn, want risicopercepties zijn dynamisch (zoals eerder toegelicht in stap 1). Dat maakt het niet minder belangrijk om de risicopercepties van burgers te kunnen en in beeld te brengen, want het beeld kan bepalend zijn voor hoe het participatieproces verder wordt ingezet.
Waak voor overinterpretatie.

De neiging kan ontstaan bij onderzoekers (of bij belanghebbenden) om de uitkomsten te ‘overinterpreteren’. Bijvoorbeeld als er geen duidelijke verklaring is voor de onderzoeksuitkomsten, maar er toch naarstig wordt gezocht naar verklaringen die vervolgens eerder hypothetisch zijn dan dat ze hun basis vinden in het onderzoeksmateriaal. Met andere woorden: er moet niet méér betekenis aan de resultaten worden gegeven dan recht doet aan wat ze daadwerkelijk wel en niet betekenen.