Middagseminar over survey-onderzoek leidt tot reflectie

Op donderdag 22 november organiseerde I&O Research het middagseminar ‘de tien uitdagingen van survey-onderzoek’. De bijeenkomst bood veel ruimte voor inhoudelijke discussie tussen de deelnemers, waaronder vertegenwoordigers van kennisinstituten en planbureaus. Daarnaast werd er gereflecteerd op het werk als surveyonderzoeker. De middag werd geleid door I&O-onderzoekers Gerben Huijgen en Robbert Zandvliet. Zij brachten in totaal tien uitdagingen in, lieten praktijkervaringen zien, en vroegen de deelnemers hierop te reageren. In dit artikel behandelen we de tien uitdagingen die aan bod kwamen.  

1. Hoe kunnen we respondenten beter bereiken?

Bij deze uitdaging stond de zoektocht naar effectieve contactstrategieën centraal. De samenleving is vluchtiger en meer gefragmenteerd dan voorheen, waardoor het lastig is om respondenten (fysiek) te bereiken. De praktijkvoorbeelden gingen in op de invloed van het aantal face-to-face contactpogingen op de samenstelling van de respons (figuur 1), en op de beste dagen en tijdstippen om respondenten telefonisch te motiveren om een vragenlijst in te vullen. 

Figuur 1. European Values Study: effect van het aantal face-to-face contactpogingen (horizontaal) op het aandeel 18-34 jarigen in de netto respons (26,6% betreft het aandeel in de steekproef)

2. Hoe motiveren we jongeren om aan onderzoek mee te doen?

Jongeren responderen (meestal) minder goed dan ouderen en stellen vaker de vraag ‘wat levert het mij op?’. Het maatschappelijk verantwoordelijkheidsgevoel is bij jongeren minder groot dan bij ouderen. Het per brief benaderen van jongeren om mee te doen aan onderzoek is zelden de beste aanpak. Social media, incentives, taalgebruik en vormgeving vormen belangrijke ingrediënten om in de benadering van jongeren mee te spelen. Enkele voorbeelden van hoe I&O Research jongeren betrekt bij onderzoek kwamen aan bod, waaronder de inzet van doelgroepgerichte kaarten (een voorbeeld is te zien in figuur 2). 

Figuur 2. Voorzijde van een op jongeren gerichte kaart

3. Hoe gaan we om met taalproblemen?

Niet alle respondenten zijn het Nederlands voldoende machtig, niet alle Nederlands sprekende respondenten hebben hetzelfde taalniveau. Duidelijk werd dat het werken met vertalingen (van brieven, vragenlijsten, etc.) vooral effectief is bij de ‘nieuwe’ migrantengroepen, zoals Poolse migranten. Het effect bij ‘oude’ migrantengroepen (zoals Turkse respondenten) wordt steeds minder groot. Daarnaast gebruiken anderstalige respondenten vaker een vertaalde schriftelijke vragenlijst dan een vertaalde online vragenlijst. Het aanbieden van een schriftelijke vragenlijst is dus belangrijk voor het realiseren van respons onder deze doelgroep. Het tweede praktijkvoorbeeld had betrekking op de samenwerking tussen Stichting ABC en I&O Research. De adviezen van deze stichting helpen om brieven, folders en vragenlijsten begrijpelijker te maken, zodat ook laaggeletterden (2,5 miljoen mensen in Nederland!) aan onderzoek kunnen meedoen. 

4. Hoe borgen we de datakwaliteit?

De datakwaliteit komt onder druk te staan als respondenten vragenlijsten niet geconcentreerd en serieus invullen. De toenemende enquêtedruk kan hier een oorzaak voor zijn. Gerben en Robbert vertelden over de aanpak van I&O Research om in het dataverzamelingsproces – vooraf, tijdens en achteraf – tot valide vragenlijsten én respons te komen. Een cognitieve pre-test van de vragenlijst en kwaliteitscontroles tijdens en na de dataverzameling zijn hier voorbeelden van. 

5. Hoe krijgen we aandacht van respondenten?

Respondenten krijgen talloze mails, berichten en uitnodigingen, dus hoe krijgen we aandacht van respondenten zonder dat het irriteert? Bij I&O Research hebben we goede ervaringen met het inzetten van rappelkaarten, motiveerkaarten, telefoonnummerkaarten en niet-thuiskaarten. Voor jongeren, voor anderstaligen, en voor allerlei andere doelgroepen. Een paar inspirerende voorbeelden van deze kaarten passeerden de revue. Ook werd er aandacht besteed aan experimenten met de formulering en lay-out van brieven, en het effect daarvan op de respons. Een bondig geformuleerde brief – met icoontjes, kopjes en ruim opgemaakt (figuur 3) – genereert een iets hogere respons onder moeilijke doelgroepen, zo leert een experiment. 

Figuur 3. Een uitnodigingsbrief vóór en na aanpassing

6. Hoe gaan we om met privacy en het beschermen van verzamelde gegevens?

Met het in werking treden van de AVG is de bewustwording rondom privacy flink gestegen. Hoe borgen we de privacy en nemen we zorgen hierover bij de respondent weg? Dit stelt eisen aan de informatie die we respondenten geven, aan de informatie die we bij respondenten (mogen) ophalen, en hetgeen we vervolgens met die informatie doen. Afspraken met opdrachtgevers leggen we vast in verwerkersovereenkomsten en een ISO 27001-certificering is steeds vaker vereist. 

7. Incentives: waar houdt het op?

Bij survey-onderzoek zijn incentives eerder regel dan uitzondering. De discussie legde zich hier toe op de aard en hoogte van incentives, de inzet van incentives in verschillende fases van het onderzoek en over hoe we omgaan met incentives voor doelgroepen. Ook kwam ter sprake dat een incentive kan bestaan uit advies (waar een respondent iets mee kan) of inzicht in wat er met de resultaten wordt gedaan. Het hoeft niet altijd geld of een cadeaubon te zijn. 

8. Hoe creëren/behouden we vertrouwen in onderzoek?

Teruglopend vertrouwen (van burgers) in onderzoek wordt veroorzaakt door negatieve media-aandacht, onduidelijkheid over het doel van onderzoek (wat gebeurt ermee?), en het gebrek aan terugkoppeling van de resultaten (effecten laten zien). Deze drieledige uitdaging vereist van onderzoeksbureaus dat zij hun processen op orde hebben, foutloos te werk gaan en aan respondentmanagement doen. Van opdrachtgevers vraagt het duidelijkheid over doelen, liefst zo concreet en ‘tastbaar’ mogelijk voor respondenten. Hier schort het nog wel eens aan. We krijgen van respondenten regelmatig terug dat het doel van het onderzoek hen niet goed duidelijk is en dat ze niets terugzien van wat er met de resultaten gebeurt. 

9. Hoe voeren we surveys efficiënt uit?

Opdrachtgevers hechten onverminderd aan een hoogwaardig eindresultaat, maar er is minder geld beschikbaar voor survey-onderzoek. In de praktijk betekent dit dat onderzoek steeds vaker mixed-mode plaatsvindt (bijvoorbeeld een combinatie van online en face-to-face onderzoek), en dat er ook naar creatieve nieuwe oplossingen wordt gezocht. Een voorbeeld van dit laatste is de combinatie van survey-onderzoek en big data (big survey). Tijdens de middag werd ingegaan op het effect van het telefonisch en face-to-face motiveren van respondenten. Ervaringscijfers van I&O Research werden gepresenteerd; hoeveel non-respondenten doen alsnog mee na motivatie? Deze ‘kengetallen’ blijken vrij consistent over verschillende projecten heen. 

10. Hoe borgen we toegang tot kwalitatief hoogwaardige steekproefbronnen?

De kwaliteit van een onderzoek begint bij een goede en betrouwbare steekproefbron. In de praktijk is dat niet altijd even makkelijk, zeker als de opdrachtgever zo’n steekproef niet kan leveren. Panelonderzoek kent haken en ogen, en de BRP (Basisregistratie Personen) is voor bureaus niet vrij toegankelijk. Er zijn alternatieven, maar ook die zijn niet zaligmakend. Onze ervaring is dat het vaak eenvoudiger is om een goede bedrijvensteekproef te organiseren, dan een personensteekproef. Voor bedrijvensteekproeven zijn goede steekproefbronnen toegankelijker. Deze tien uitdagingen zetten aan tot nadenken en zijn niet eenvoudig ‘op te lossen’. Wat is de waarde van face-to-face en telefonisch onderzoek in de toekomst? Moeten we met elkaar afspraken maken over hoe we omgaan met incentives? Hoe maken we onderzoeksdoelen voor respondenten beter duidelijk, aantrekkelijk en relevant? Er zijn voldoende vragen waar onderzoekers over moeten nadenken; met elkaar, maar vooral ook met niet-onderzoekers. Ook daar zullen ideeën en oplossingen moeten worden opgehaald. Met I&O Research kijken we terug op een zeer geslaagde middag, die werd afgesloten met een gezellige borrel.