Autoforward bij vragenlijst op de smartphone maakt efficiëntie mogelijk

Universiteit Utrecht en I&O Research brachten met een experiment in kaart of het lukt om moeilijk bereikbare doelgroepen (beter) aan onderzoek te laten meedoen door deelname via de smartphone te stimuleren. Het experiment is uitgevoerd met een aselecte steekproef uit de Basisregistratie Adressen en Gebouwen (BAG).

Over de resultaten is begin 2019 gepubliceerd in het (online) wetenschappelijke tijdschrift Methods, data, analyses (mda).

In het onderzoek is geëxperimenteerd met verschillende uitnodigingsbrieven, de lay-out van de vragenlijst en autoforwarding (automatisch doorsturen). Dit is een functionaliteit waarbij een respondent automatisch doorgaat naar de volgende vraag (na een antwoord te hebben gegeven), zonder dat het nodig is op de ‘volgende’-knop te klikken. De onderzoekers hebben gekeken naar de invloed van deze factoren op (onder andere) de hoogte en samenstelling van de respons. Ook is inzichtelijk gemaakt wat de invloed van deze factoren is op de invulduur en de tevredenheid van respondenten over het invullen van de vragenlijst.

Autoforward leidt tot 20 procent kortere invulduur zonder verlies van datakwaliteit

Het experiment laat zien dat een brief waarin de smartphone als invulmogelijkheid wordt benadrukt, ervoor zorgt dat deelnemers de vragenlijst vaker op een smartphone invullen (in vergelijking met een pc/tablet). De overall respons is echter niet hoger. Ook moeilijk bereikbare doelgroepen (zoals jongeren) doen niet vaker mee.

Een andere uitkomst is dat een voor de smartphone geschikt gemaakte lay-out van de vragenlijst in combinatie met autoforwarding de invulduur op de smartphone met 20 procent reduceert. De tevredenheid over het invullen van de vragenlijst wordt niet significant beïnvloed. Tot slot valt op dat de kortere invulduur (als gevolg van lay-out en autoforwarding) niet leidt tot verminderde datakwaliteit.

Efficiënter onderzoek zonder verlies van datakwaliteit

Het lukt dus niet om moeilijk bereikbare groepen vaker te laten deelnemen door het invullen van een vragenlijst via de smartphone te promoten. Het lukt echter wel om in combinatie met autoforwarding de invulduur op de smartphone te verkorten zonder verlies van datakwaliteit. Bij het zoeken naar methoden om vragenlijsten korter te maken is dit een interessante bevinding, bijvoorbeeld voor onderzoeksbureaus. De kosten voor onderzoek doen hangen vaak samen met invultijden, omdat incentives hieraan gekoppeld zijn. Er zijn dus mogelijkheden om onderzoek goedkoper uit te voeren door smartphonegebruik te stimuleren, inclusief aangepaste lay-out en autoforwarding. Zorgen over datakwaliteit blijken – in dit experiment – ongegrond.

Uiteindelijk ook meer tevredenheid onder respondenten?

Het verbeteren van de lay-out van vragenlijsten op de smartphone kan de tevredenheid over deze lay-out in combinatie met autoforward verder vergroten. In een conditie met autoforwarding geven respondenten gemiddeld een 7,7 voor het invullen van de vragenlijst, tegenover een 7,5 in een conditie zonder autoforward. Dit verschil is nu indicatief (niet-significant), maar verdere verbeteringen kunnen ertoe leiden dat respondenten een autoforwardfunctionaliteit op de smartphone daadwerkelijk als prettiger gaan ervaren.

De complete publicatie in het tijdschrift Methods, data, analyses is hier te vinden (open access).