De toekomst van vragenlijstonderzoek

11 trends vanuit de praktijk

Op de VSO-discussiemiddag ‘Toekomst van vragenlijstonderzoek’ op dinsdag 31 mei hebben I&O-onderzoekers Gerben Huijgen en Robbert Zandvliet elf trends vanuit de praktijk gepresenteerd als het gaat om vragenlijstonderzoek.

Het doel van de presentatie was niet alleen om toehoorders – circa 30 (vooral) gemeentelijke (beleids)onderzoekers – bij te praten over deze trends, maar ook om inzichtelijk te maken wat ze betekenen voor onderzoekers en het vak dat zij uitoefenen.
De Vereniging voor Statistiek en Onderzoek (VSO) is een vereniging van gemeentelijke en provinciale organisaties die zich bezighouden met lokaal en regionaal onderzoek op de uiteenlopende beleidsvelden waarop gemeenten en provincies actief zijn.
In de onderstaande tekst zijn de elf trends terug te vinden. Ze worden kort beschreven en tevens wordt per trend aangegeven wat de (mogelijke) implicaties zijn.

1. Toenemend belang van onderzoek

Decentralisaties hebben ertoe geleid dat er meer verantwoording is komen te liggen bij gemeenten en uitvoeringsinstanties. Ook wordt er steeds meer gevraagd om transparantie: processen en keuzes die gemaakt worden door deze organisaties moeten inzichtelijk zijn voor de (controlerende) Rijksoverheid aan de ene kant en de burger aan de andere kant. Onderzoek is een belangrijk middel om hierin te voorzien. De cliëntervaringsonderzoeken (CEO’s) die gemeenten uitvoeren in het kader van WMO zijn hier een goed voorbeeld van. Op rijksniveau kan het sturen op klantwaardering, zoals Rijkswaterstaat dat doet, als voorbeeld aangehaald worden.
Voor onderzoekers betekent deze ontwikkeling dat er meer vraag is naar onderzoek. Vaak met een heel specifieke focus (qua doelgroep en beleid).

2. Meer landelijke onderzoeken in plaats van gemeentelijk maatwerk 

De tweede ontwikkeling lijkt loodrecht te staan op hetgeen bij de eerste trend is beschreven. Ze gaan echter samen. De toenemende behoefte aan lokaal onderzoek op het gebied van verantwoording en evaluatie van beleid gaat namelijk gepaard met de ontwikkeling van meer gestandaardiseerd onderzoek. Waar mogelijk wordt aangesloten bij een standaardproduct (vragenlijst, rapportageformat) en ‘meegelift’ op een onderzoek dat op landelijk niveau wordt vormgegeven. Vooral kleinere gemeenten zonder of met beperkte onderzoekscapaciteit maken hier gebruik van. Voorbeelden hiervan zijn de Veiligheidsmonitor, WSJG/KING, CEO en de benchmarks Publiekszaken en Ondernemersklimaat.
Dit leidt tot minder ‘couleur locale’. Benchmarken lijkt belangrijker te worden dan het monitoren van trends in de tijd. Er wordt meer ‘aangehaakt bij…’ dan zelf ontwikkeld. Vaak worden denkwerk en rapportage elders gedaan. Voor onderzoekers bij gemeenten betekent dit minder mogelijkheden voor creativiteit en maatwerk gericht op de lokale situatie.

3. Meer onderzoek via (burger)panels

Er wordt in toenemende mate gebruik gemaakt van (burger)panels bij het uitvoeren van onderzoek, en minder van verse steekproeven. Veel gemeenten beschikken inmiddels over een eigen gemeentelijk panel met burgers en/of ondernemers, vaak gevuld met respondenten die op de een of andere manier contact hebben gehad met de gemeente. Hierin schuilt ook een gevaar: in hoeverre zijn dergelijke panels representatief voor de populatie van de gemeente?
Hierin ligt een belangrijke uitdaging voor onderzoekers: het borgen van een panel dat van voldoende kwaliteit is om betrouwbare resultaten te genereren voor de beoogde doelgroep. Belangrijk aandachtspunt daarin vormt de werving van panelleden. Een goed opgezet en beheerd panel biedt veel voordelen: er kan sneller geschakeld worden en er zijn meer mogelijkheden voor ad-hoc onderzoek (naar actuele thema’s). Er kan meer, sneller en goedkoper onderzoek worden uitgevoerd.

4. Meer aandacht voor privacy

Het belang van de privacy (de borging daarvan) van respondenten in onderzoek neemt toe, zich mede uitend in de per 1 januari 2016 gewijzigde Wet bescherming persoonsgegevens. Zo zijn onderzoeksbureaus verplicht om datalekken te melden.
Voor onderzoeksbureaus vraagt dit om het technisch en organisatorisch borgen van privacy ‘in de keten’: van steekproef, via veldwerk, tot aan databestand en rapportage. Bewerkersovereenkomsten bij het gebruik van bestanden met persoonsgegevens komen steeds meer voor en het beveiligd uitwisselen van bestanden is gemeengoed geworden. Het ISO 27001 certificaat (het certificaat voor informatiebeveiliging) wordt steeds meer als aanwezig vereist in aanbestedingen.

5. Afnemende respons/representativiteitsuitdaging

De respons op surveyonderzoek loopt al jaren terug, hoewel de sterke ‘generieke’ daling van circa 10 jaar geleden eruit is. De problematiek uit zich tegenwoordig vooral in specifieke groepen, zoals allochtonen, laagopgeleiden en jongeren. Deze ‘moeilijke doelgroepen’ krijgen veel aandacht in de opzet en uitvoering van onderzoek teneinde een zo goed mogelijk samengestelde respons te realiseren.
Hoewel de problematiek urgent is, maakt het de uitoefening van het vak als (beleids)onderzoeker erg interessant. Er wordt gevraagd om creatieve oplossingen. Zo moet er worden nagedacht over methoden om specifieke doelgroepen te bereiken én motiveren. Mixed-mode methoden, mobiel onderzoek, het bereiken van jongeren via andere kanalen (social media) en het gericht aanschrijven van bepaalde doelgroepen zijn elementen die hierin passen. Onze ervaring laat zien dat met een uitgekookte doelgroepgerichte aanpak nog steeds heel mooie resultaten op het gebied van respons te realiseren zijn.

6. Surveydata koppelen aan registerdata/surveydata als alternatief voor registerdata

Hoewel niet helemaal terecht, scharen we hier voor het gemak registerdata en big data even onder één noemer. Kort door de bocht zijn er drie ontwikkelingen zichtbaar:

• Het koppelen van registerdata aan de uitkomsten van vragenlijstonderzoek, zodat vragenlijsten korter worden en verzamelde data nauwkeuriger. Het CBS bedient zich hier regelmatig van en besteedt daaraan aandacht in hun disclaimer.
• Big data als alternatief voor surveydata. Door het systematisch analyseren van grote databronnen, bestanden en registraties zou ‘klassiek’ surveyonderzoek overbodig worden. Over big data – wat is het, wat doet het – zijn talloze publicaties volgeschreven, maar een finaal oordeel over de toepasbaarheid is er (nog) niet. Hype of niet, het is nog steeds een veel gestelde vraag.
• Surveydata als alternatief voor registers. Registers zijn niet de ‘heilige graal’; foutieve, onvolledige en/of niet toegankelijke registraties of registers die niet op elkaar aansluiten komen in de praktijk veel voor. Uniform uitgevoerd surveyonderzoek kan dan een betrouwbaarder beeld opleveren. Voorbeelden zijn de Veiligheidsmonitor versus politieregistraties of de LISA-bedrijvenenquête versus gegevens van het UWV.

Voor onderzoeksbureaus is het werken met registerdata lastig. Ze zijn moeilijk toegankelijk en hoe zorg je voor een goede koppeling met surveydata? Ook hier spelen privacy issues een rol. Met informed consent worden respondenten op de hoogte gebracht van koppelingen met registraties en de voorzichtigheid die daarin betracht wordt.

7. Nieuwe manieren van meten gedrag/benutten technische mogelijkheden

De techniek biedt steeds meer mogelijkheden om het gedrag van burgers, consumenten, reizigers, etc. beter (lees: nauwkeuriger) te meten dan met een ‘klassieke’ vragenlijst. Bijvoorbeeld door gebruik te maken van GPS en het daarop gestoelde geo-fencing, maar bijvoorbeeld ook door middel van eye-tracking of zelfs het meten van hersenactiviteit. Maar ook met mobiel (survey)onderzoek kan er dichter op het feitelijke gedrag worden gemeten. Onderzoekers zullen hierin moeten meegaan door de nieuwe technieken te omarmen en te innoveren waar dat kan. Tegen de stroom inroeien heeft weinig zin. De uitdaging daarbij is echter wel om vooraf (in de ontwerpfase) scherp na te denken over de best passende onderzoeksopzet. Een methode moet nooit leidend zijn, omdat het toevallig innovatief en actueel is. Anno 2016 zijn er meer mogelijkheden dan ooit om een survey in te richten en te optimaliseren. Aan ons de schone taak hierin de juiste keuzes te maken.

8. Aandacht van de respondent

Er wordt heel veel onderzoek gedaan en respondenten zijn steeds drukker en multimedialer. Het wordt daarmee steeds lastiger om een onderzoek top-of-mind te krijgen en niet verloren te gaan in dagelijkse stroom aan informatie die iemand op zich afgestuurd krijgt.
Voor ons als onderzoekers betekent dit dat het zaak is om op te vallen en vooraf goed na te denken over geschikte benaderstrategieën. Voorbeelden hiervan zijn het werken met aantrekkelijk vormgegeven kaarten in plaats van formele brieven, het gebruik maken van social media of door telefonisch of face-to-face te motiveren. Schriftelijk onderzoek scharen we hier ook onder: mensen krijgen tegenwoordig zoveel digitale post en enquêteverzoeken dat het gaat opvallen als er een keer een schriftelijke vragenlijst op de mat valt. Een belangrijk uitgangspunt bij het opvallen is wel dat het nooit mag gaan leiden tot irritatie. Teveel opvallen is ook weer niet goed.

9. Incentives: vaker, meer en diverser

Respondenten zijn steeds minder bereid om voor ‘niets’ aan onderzoek mee te doen en daarmee valt nauwelijks meer aan de inzet van incentives te ontkomen. Wetenschappelijk onderzoek heeft aangetoond dat vooraf (onconditioneel) belonen een positief effect heeft op de respons. Beter nog dan achteraf belonen. Met deze aanpak wordt dan ook steeds meer geëxperimenteerd. Andere incentives die we tegenkomen zijn verloting (bijvoorbeeld van iPads), VVV-bonnen, bol.com codes, en zelfs cash. Maar ook niet-monetaire incentives, zoals de terugkoppeling van resultaten, tips, etc. worden regelmatig ingezet. Een voorbeeld hiervan is het ‘Advies op Maat’ (advies ten aanzien van de leefstijl) dat in GGD-onderzoek wordt aangeboden aan respondenten.
Om een fatsoenlijke respons te halen, kunnen we dus niet meer om incentives heen. Van onderzoekers vraagt dit om het goed nadenken over incentives die passen bij de doelgroep. Het CBS voert momenteel enkele interessante incentive-experimenten uit.

10. Faciliteren van de respondent

De tijdsbesteding en het gebruik van techniek en media door mensen zijn veranderd. Potentiële respondenten – laten we ze zo maar even noemen – zijn steeds mondiger, veeleisender en minder volgzaam. Methoden van onderzoek moeten hierop inspelen.
Als we eenmaal de aandacht van een respondent hebben (trend 8), dan moeten we die vasthouden. Dit vraagt om respondentvriendelijke vragenlijsten, goed nadenken over het moment en tijdstip van veldwerk, de inzet van helpdesks en respondentenwebsites met FAQ, etc. Kortom: het de respondent zo makkelijk en aantrekkelijk mogelijk maken om mee te doen aan onderzoek.

11. Output: alternatieven voor rapportages

Het klassieke rapport (lees: de dikke wordrapportage) is aan het verdwijnen, zelfs bij opdrachtgevers die ooit verzot waren op tot in detail beschreven uitkomsten met heel veel uitsplitsingen. Klassieke rapportages kosten teveel tijd (en geld) en leveren te weinig op. Opdrachtgevers zijn steeds meer op zoek naar output die ze eenvoudig en snel in de organisatie kunnen brengen, waaruit ze snel relevante informatie kunnen trekken en die ze liefst ook zelf nog kunnen (na)bewerken.
En dus worden nieuwe manieren van rapporteren en ontsluiten ontwikkeld: geautomatiseerd rapporteren, dashboards en het online beschikbaar maken van uitkomsten. Relevante vraag die hierbij gesteld moet worden is of deze nieuwe manier van rapporteren voldoende ruimte laat voor duiding. Daar ligt een taak voor ons als onderzoekers: wij moeten opdrachtgevers helpen – bijvoorbeeld in een duidingssessie – om de resultaten op de juiste manier te interpreteren en in de organisatie te ‘verwerken’. Nieuwe manieren van rapporteren vragen om meer begeleiding.