Respondent als verbindende factor bij middagseminar I&O

In de eerste bijdrage, verzorgd door I&O-onderzoeker Robbert Zandvliet, kwam de respondent zelf aan bod. Wat werkt volgens respondenten wel en niet als het gaat om meedoen aan onderzoek? Wat vinden ze de optimale invulduur van een vragenlijst en welk device heeft hun voorkeur? Hoe kijken ze aan tegen incentives? En wat vinden ze er eigenlijk van als ze opnieuw benaderd worden, terwijl ze eerder deelname geweigerd hebben? Om dit te onderzoeken heeft I&O Research in aanloop naar dit seminar onderzoek uitgevoerd onder ruim 1.000 respondenten, representatief voor de Nederlandse bevolking.

Leg ‘het waarom’ uit

De uitkomsten lieten onder meer zien dat interesses van respondenten sterk verschillen, maar dat een minder interessant onderwerp relevant kan worden gemaakt door het ‘waarom’ goed uit te leggen. Specifiek bij jongeren is het daarbij van belang om te letten op de factoren tijd, geld en moeite. Een andere uitkomst was dat een grote groep respondenten afhaakt bij een vragenlijst die langer is dan 15 minuten. En ook dat het ‘voorkeursdevice’ (smartphone, tablet of laptop/desktop) samenhangt met de invulduur.

‘Nee’ is niet altijd ‘nee’

Bemoedigend voor surveyonderzoekers was de bevinding dat ‘nee’ niet altijd ‘nee’ is; bij vier op de tien respondenten die in eerste instantie weigeren mee te doen zijn er mogelijkheden om hen bij herbenadering (refusal conversion) op andere gedachten te brengen.

Donatie als incentive

Ook incentives kwamen aan bod. Zo werkt het met name voor oudere respondenten goed om een donatie (aan een goed doel) als incentiveoptie mee te nemen, en blijkt verloting geen vervanger voor een vaste incentive. Tot slot is voor een lange vragenlijst al gauw 10 euro nodig om mensen over de streep te trekken om de vragenlijst in te vullen.

Mixed-mode verbetert samenstelling

In het daarop volgende vierluik kwamen diverse onderzoeken aan bod waarvoor I&O Research het afgelopen jaar de dataverzameling verzorgde. Onderzoekers van I&O Research vertelden over de aanpak die gehanteerd werd om de doelgroep te benaderen en over de streep te trekken om mee te doen. Michael Brandt vertelde over het onderzoek Wijkprofiel Rotterdam, waarbij een mixed-mode strategie en vertalingen worden ingezet om alle inwoners van de gemeente Rotterdam in het onderzoek te betrekken. Uit de presentatie werd duidelijk dat een online, schriftelijke en telefonische benadering elk een bepaald ‘type’ respondent aanspreekt als bijvoorbeeld gekeken wordt naar sociaal economische status (SES) en kwetsbaarheid in de samenleving. De (aanvullende) inzet van schriftelijk en telefonisch enquêteren helpt bij het verkrijgen van een betere afspiegeling van de populatie.

Social media: zoeken naar de beste strategie

I&O-onderzoeker Anne van Bebber vertelde over de Gezondheidsmonitor Jongvolwassenen 2022, waarbij een social mediastrategie werd gehanteerd om 16 tot en met 25 jarigen te bereiken en te bewegen tot het invullen van een vragenlijst. Hiervoor werd een campagne ontwikkeld met een influencer en een groot prijzenpakket. Vervolgens werd op gemeenteniveau geadverteerd op Facebook, Instagram, Snapchat en TikTok. Anne maakte duidelijk dat dit een proces was waarin het zoeken naar de beste social mediamix en boodschap centraal stond. Uiteindelijk lukte het om het aandeel ‘klikkers’ (op een social media-uiting) dat ook de vragenlijst invulde te vergroten, en vulden liefst 60.000 jongeren de vragenlijst in. Hiervoor moest gaandeweg wel het streven worden losgelaten om voor elke gemeente een representatieve respons te behalen.

Onconditionele incentive verhoogt respons

In de bijdrage van Kimberly Farzan ging het vervolgens over de ‘Generations and Gender Survey’ (GGS), een groot internationaal onderzoek waarbij dezelfde vragenlijst in verschillende landen wordt uitgezet. Een pilot moest in Nederland uitwijzen welke aanpak een optimale respons opleverde. Hierbij werd met name gekeken naar de rol van een onconditionele incentive (een incentive vooraf voor iedereen in de steekproef) en het telefonisch motiveren van non-respondenten. De pilotuitkomsten laten zien dat het toevoegen van een onconditionele incentive tot een hogere respons leidt, met name onder mannen en in het westen van het land. Een kosten-batenafweging zorgt ervoor dat voor het vervolg gebruik wordt gemaakt van een combinatie van conditionele en onconditionele incentives, gebaseerd op een regionale component.

Smartphone en QR code belangrijk

Tot slot vertelde Gerben Huijgen over de dataverzameling voor de Gezondheidsmonitor Volwassenen en Ouderen, een grootschalig onderzoek onder de volwassen Nederlandse bevolking. De steekproef bij dit onderzoek bestond uit maar liefst 1,1 miljoen personen. De presentatie liet zien dat de respons naar leeftijd en migratieachtergrond sterk uiteen liep; van 15 procent onder 16-24 jarigen tot 48 procent onder 65-74 jarigen, en van 7 procent onder Marokkaanse Nederlanders tot 35 procent onder Nederlanders zonder migratieachtergrond. Verder bleek dat de smartphone en een QR code om in te loggen een grote rol speelden in de online dataverzameling, met name bij respondenten tot 45 jaar.

CBS: doelgroepgerichte benadering

Na een korte pauze met koffie en thee kwamen twee opdrachtgevers van I&O Research aan het woord.

Wieneke Groot van het Centraal Bureau voor de Statistiek (CBS) vertelde over de doelgroepgerichte benadering die het CBS hanteert bij de uitvoering van de Leefstijlmonitor (LSM). Deze monitor richt zich op thema’s als rookgedrag, alcohol- en drugsgebruik, voeding, bewegen/sport, ongevallen en letsels en seksuele gezondheid. Bij de doelgroepgerichte benadering worden mensen die niet reageren op de uitnodiging om de vragenlijst online in te vullen gericht herbenaderd; telefonisch (CATI) of face-to-face (CAPI). Hierbij worden groepen met goede online respons minder vaak herbenaderd, en groepen met een slechtere online respons juist vaker. Op deze manier wordt efficiënt met de relatief dure CATI en CAPI benadering van respondenten omgegaan. In het tweede deel van haar presentatie belichtte Wieneke enkele experimenten met responsverhogende maatregelen, zoals het CAPI herbenaderen van personen met een afgesloten telefoonnummer, een derde rappel voor online non-respondenten en het respondenten de mogelijkheid bieden de vragenlijst in het Engels in te vullen.

O&S Amsterdam: inclusie en representativiteit

Namens O&S Amsterdam verzorgden Nina Vos en Harry Smeets de laatste presentatie van de middag. Zij vertelden over verschillende (wervings)methoden en proeven rondom de thema’s inclusie en representativiteit. Zo kwam het stadspaspanel aan bod, dat met een afwijkende samenstelling (relatief veel personen met een laag inkomen) een goede aanvulling vormt op het reguliere stadspanel. Ook de inzet van face-to-face enquêtes in buurthuizen (meer diversiteit in respons), QR codes (relatief vaak gebruikt door jongeren) en het belang van taal (inclusiever enquêteren op B1 taalniveau en de inzet van vertalingen) passeerden de revue.

Vervolgens kwam een analyse van de respons op de Veiligheidsmonitor Amsterdam aan bod waarbij gebruik werd gemaakt van weegfactoren om respondenten in groepen te clusteren. Een hoog gewicht is dan een proxy van groepen respondenten die ‘net wel’ meedoen, een laag gewicht een proxy van de groepen die relatief vaak responderen. Onveiligheidsgevoelens van respondenten uit groepen die minder vaak meedoen aan de Veiligheidsmonitor zijn zo vergeleken met de onveiligheidsgevoelens van groepen die vaker responderen. De analyse laat zien dat het erop lijkt dat de Veiligheidsmonitor ook in gebieden met een lagere respons een tamelijk representatief veiligheidsbeeld laat zien.

Borrel en gereedschapskist met ‘tools’

Na deze laatste bijdrage volgde een gezellige borrel waarin werd na- en bijgepraat. De middag heeft laten zien dat er bij het uitvoeren van surveyonderzoek een uitgebreide gereedschapskist beschikbaar is met ‘tools’ die bijdragen aan inclusieve dataverzameling. Vanuit I&O Research kijken we terug op een geslaagde middag met ongeveer 50 deelnemers, veel interactie, en inzichten om in de praktijk mee aan de slag te gaan.

Mocht u meer willen weten over de middag en presentaties, dan kunt u uiteraard contact met ons opnemen.