Deze stap geeft informatie over het interpreteren van de onderzoeksresultaten. Er worden verschillende aandachtspunten benoemd die van belang zijn bij de interpretatie van resultaten of uitkomsten van een onderzoek.
Stap 5
Deze stap gaat over de fase die komt na het uitvoeren van een onderzoek: het interpreteren van de onderzoeksresultaten. Er zijn verschillende aandachtspunten die een onderzoeker en beleidsmaker in het achterhoofd moeten houden wanneer de resultaten of uitkomsten van een onderzoek worden geïnterpreteerd.
Interpreteren is het proces waarin betekenis wordt gegeven aan de resultaten van een onderzoek. Het is de laatste stap in het onderzoeksproces, waarin een vertaling wordt gemaakt van ‘ruwe onderzoeksdata’ naar een ‘duiding van de resultaten’ en naar ‘beantwoording van de onderzoeksvragen’.
Interpreteren is ook selecteren. Bijvoorbeeld als de ‘interpreteerder’ een rode draad haalt uit een veelheid aan open antwoorden en toelichtingen, of uit een veelheid aan signalen over risicopercepties. Immers, wat doet de interpreteerder met opvattingen die niet heel breed worden gedeeld, maar die wel aanwezig zijn? Worden die wel of niet benoemd en hoe prominent? En wat is de ‘interpretatie’ als bijvoorbeeld respondenten op een schaal van 1-5 aangeven dat de mate waarin zij zich zorgen maken over aardbevingsgevaar gemiddeld een 3,8 is?
Een eerste interessante vraag is dan ook wie er betrokken zijn bij het proces van betekenisgeving. Daar zijn twee uiterste varianten in te onderscheiden (en natuurlijk tal van tussenvarianten):
In alle gevallen, maar zeker ook in de eerste situatie (interpretatie door de onderzoeker), is het van belang om een goede terugkoppeling te geven aan respondenten, inwoners of andere betrokkenen op twee punten:
De situatie kan zich voordoen dat onderzoekers of (belanghebbende) betrokkenen bewust of onbewust onjuiste conclusies trekken uit het onderzoeksmateriaal. Een niet onbekend verschijnsel is bijvoorbeeld dat belanghebbenden in een onderzoek bewust zoeken naar die informatie, die hun mening kan onderbouwen. Dan wordt er bijvoorbeeld selectief ‘geshopt’ in de onderzoeksuitkomsten en worden in de eigen analyse die zaken naar voren gebracht die het eigen standpunt versterken.
Hierna geven we een aantal aandachtspunten en tips mee, die zowel bruikbaar zijn voor degene die ruw onderzoeksmateriaal moet analyseren en interpreteren, als wel voor degene die een rapport onder ogen krijgt waarin een analyse en interpretatie van uitkomsten is opgenomen.
Kijk bijvoorbeeld altijd naar de precieze vragen die zijn gesteld (wat is de letterlijke vraag?), aan wie de vragen zijn gesteld (aan alle respondenten of aan een deelverzameling ervan, bijvoorbeeld alleen aan mensen die dichtbij of juist veraf van een energievoorziening wonen?) en wat de antwoordcategorieën waren waaruit respondenten konden kiezen. Met name dat laatste is ook van belang omdat betrokkenen of belanghebbenden soms antwoordcategorieën samennemen bij het weergeven van de uitkomsten, en dat het nogal wat uitmaakt welke categorieën worden samengenomen. Een voorbeeld: ‘Stoort u zich wel eens aan windmolens?’ met als antwoordcategorieën: nooit, af en toe, vaak, heel vaak. De volgende twee uitspraken kunnen over dezelfde uitkomsten gaan, maar leggen de nadruk heel anders: (1) 40% stoort zich nooit aan windmolens en slechts 5% stoort zich vaak of heel vaak aan windmolens, (2) 60% stoort zich af en toe, vaak of heel vaak aan windmolens. Daarom is het van belang altijd terug te gaan naar de vraag en de antwoordcategorieën en ook altijd goed te bedenken wat de waarde is van de steekproef (is die representatief of zou er sprake kunnen zijn van selectieve non respons?).
Het verschijnsel van subjectieve vraagstelling (leading the witness) is soms goed herkenbaar, maar soms is de invloed van de vraagstelling op de antwoorden die worden gegeven subtieler in de zin dat het minder goed te herkennen is. Een voorbeeld: let bij interpretaties van antwoorden op enquêtevragen altijd op factoren als: welke tijd is gebruikt, voor wie is het risico geformuleerd en hoe specifiek is het risico is beschreven. Dat komt omdat deze factoren invloed hebben op de beantwoording:
Onder bias verstaan we een fout in uitkomsten van onderzoek door vooringenomenheid, door vooroordelen of door het bewust of onbewust sturen in een bepaalde richting. Er zijn in de literatuur vele vormen van bias beschreven. Hierna worden er zes ter illustratie beschreven die in ieder geval relevant zijn in het kader van het uitvoeren van onderzoek naar risicopercepties. We nodigen zowel uitvoerders als personen die kennisnemen van onderzoek uit om kritisch te reflecteren op de vraag: kan sprake zijn van een of meer van de vormen van bias in een onderhavig onderzoek? Idealiter is het voorkomen van bias onderwerp van gesprek voorafgaand aan het onderzoek (bij het opzetten van het onderzoek), tijdens het onderzoek (bij het uitvoeren van het onderzoek) en na afloop van het onderzoek (bij het interpreteren van de onderzoeksuitkomsten).
Een betrouwbaar en representatief beeld over de risicoperceptie zal altijd een momentopname zijn, want risicopercepties zijn dynamisch (zoals eerder toegelicht in stap 1). Dat maakt het niet minder belangrijk om de risicopercepties van burgers te kunnen en in beeld te brengen, want het beeld kan bepalend zijn voor hoe het participatieproces verder wordt ingezet.
De neiging kan ontstaan bij onderzoekers (of bij belanghebbenden) om de uitkomsten te ‘overinterpreteren’. Bijvoorbeeld als er geen duidelijke verklaring is voor de onderzoeksuitkomsten, maar er toch naarstig wordt gezocht naar verklaringen die vervolgens eerder hypothetisch zijn dan dat ze hun basis vinden in het onderzoeksmateriaal. Met andere woorden: er moet niet méér betekenis aan de resultaten worden gegeven dan recht doet aan wat ze daadwerkelijk wel en niet betekenen.