Uitdagingen en meerwaarde CAPI staan centraal bij middagseminar

In de eerste bijdrage, verzorgd door Joost Kappelhof van het Sociaal en Cultureel Planbureau (SCP), kwamen de rol en toekomst van CAPI-dataverzameling aan bod. Welke maatschappelijke ontwikkelingen hebben effect op CAPI-dataverzameling in de toekomst? En welk effect is dat dan? Zo kan face-to-face dataverzameling met een interviewer voor bepaalde doelgroepen in de toekomst van groot belang zijn als het gaat om het realiseren van respons. Dit geldt ook voor het verzamelen van data middels (fysieke) tests; interviewers kunnen dergelijke tests uitleggen en helpen met het correct afnemen ervan. Ook voor complex vragenlijstonderzoek kan een interviewer toegevoegde waarde hebben.

De algehele tendens lijkt echter dat surveyonderzoek waarin alleen CAPI wordt ingezet minder voor gaat komen. CAPI zal steeds vaker in aanvulling op andere methoden worden ingezet.

CAPI staat voor Computer-Assisted Personal Interviewing. Computerondersteund persoonlijk interviewen is een interviewtechniek waarbij een interviewer een elektronisch apparaat, zoals een laptop of tablet, gebruikt om een vragenlijst bij een respondent af te nemen. In de meeste gevallen vinden deze interviews of vraaggesprekken bij de respondent thuis plaats.

Marika de Bruijne (Centerdata) vertelde vervolgens over SHARE (Survey of Health, Ageing, and Retirement in Europe), een tweejaarlijks panelonderzoek onder personen van 50 jaar en ouder, en hun partners. Het SHARE-onderzoek richt zich op het in kaart brengen van de leefsituatie van deze doelgroep. CAPI heeft hier een meerwaarde vanwege de oudere doelgroep die door de tijd heen gevolgd wordt, en het gebruik van cognitieve en fysieke tests tijdens het interview. Zo wordt van respondenten bijvoorbeeld de handknijpkracht gemeten (met een handkrachtmeter).

Tijdens de discussie met de zaal werd stilgestaan bij de stelling ‘testen en fysieke metingen kunnen niet zonder face-to-face’. Hoewel sommige testen ook via bijvoorbeeld een webcam kunnen worden begeleid, roept dit vragen op over privacy en de (ongecontroleerde) omstandigheden waarin een respondent de test bij zichzelf afneemt. Conclusie: testen en fysieke metingen zijn mogelijk zonder interviewer, maar zijn lastiger te organiseren dan met een interviewer.

De derde bijdrage van de middag ging over PIAAC (Programme for the International Assessment of Adult Competencies) en werd verzorgd door Marieke Buisman (Kohnstamm Instituut). PIAAC meet het gebruik van kernvaardigheden (taal, rekenen, probleemoplossend vermogen) in het dagelijks leven en wordt elke tien jaar uitgevoerd. In de maanden mei-oktober 2021 zijn de data voor de Field Test (pilotfase) verzameld. Bijzonder is hier de rol van het ‘doorstep interview’: het aan de deur afnemen van een verkorte vragenlijst (beschikbaar in tien talen) onder respondenten die helemaal geen Nederlands spreken en waarvoor geen tolk beschikbaar is. Circa vijf procent van de respondenten voldeed aan deze omschrijving, en ruim de helft (55%) van hen deed mee aan dit korte interview. Een ander punt wat aan bod kwam was het gebruik van incentives. Een experiment dat rondom de Field Test werd gehouden liet zien dat het vooraf (onconditioneel) belonen van respondenten de respons ten goede komt. Bij 5 euro vooraf en 30 euro achteraf kwam de respons uit op 41 procent; alleen 30 euro achteraf gaf 32 procent respons.

Na een korte pauze kwam NEMESIS aan bod, met een presentatie verzorgd door Margreet ten Have en Saskia van Dorsselaer (Trimbos-instituut). NEMESIS (Netherlands Mental Health Survey and Incidence Study) is een grootschalige studie naar psychisch welzijn, gezondheid en levenservaringen van Nederlandse volwassenen. Daarmee levert de studie basisinformatie over de status van de psychische gezondheid van de bevolking en over risicogroepen waarop preventie zich zou moeten richten. Tijdens de presentatie kwamen zaken aan bod die goed werken (bijvoorbeeld een personensteekproef in plaats van een adressensteekproef), maar ook zaken die de uitvoering lastig maken (bijvoorbeeld het gebruik van een complex klinisch instrument waarvoor nieuwe interviewers niet snel getraind kunnen worden). De discussie met de zaal ging over het bereiken van een hoge respons. Hoe hangen bijvoorbeeld de kenmerken van interviewers, zoals leeftijd, samen met de gerealiseerde respons? En kan hier in het veld op gestuurd worden? Welke veronderstellingen zijn er nog meer – ten aanzien van aanpak en interviewers – die getoetst kunnen worden op hun responsverhogend effect? Kunnen we daarvan profijt hebben in de uitvoering?

Veel interactie tussen de deelnemers bij het CAPI middagseminar

De European Social Survey (ESS) was het laatste survey dat tijdens de middag aan bod kwam. Aat Liefbroer (NIDI) vertelde over de doelen en kenmerken van dit tweejaarlijkse onderzoek naar opvattingen, waarden en gedrag van de bevolking in Europa. Nederland heeft aan alle ESS-rondes meegedaan. Het veldwerk voor ronde 10 loopt sinds oktober 2021, nadat de start twee keer was uitgesteld als gevolg van de coronapandemie. Dit was ook meteen de uitdaging voor de korte termijn: het veldwerk voor ESS gedaan krijgen in tijden van de Covid. Van directe responseffecten van corona (een lagere deelnamebereidheid in verband met respondenten die bang zijn ziek te worden) is weinig te merken, mede door de inzet van coronaprotocollen (zoals het gebruik van beschermende middelen) en de mogelijkheid tot video-interviewing. Wel merken interviewers op dat er een zekere matheid en desinteresse onder respondenten lijkt te zijn ontstaan (als indirect effect van corona?). Ook bij SHARE lijkt hier sprake van te zijn. Voor de langere termijn richt de discussie rondom ESS zich vooral op het combineren van CAPI en CAWI (online) data.

De laatste spreker van de middag was Frans van der Storm, werkzaam als interviewer bij I&O Research. Vanuit zijn ruime praktijkervaring gaf hij tips aan de onderzoekers in de zaal om CAPI-surveys nog beter uit de verf te laten komen. Eén van die tips was het inschakelen van interviewers voordat teksten en routering van vragenlijsten definitief zijn. Zij zouden hierin kunnen adviseren. Frans gaf enkele levendige voorbeelden van situaties die hij in het veld tegenkwam.

Het inhoudelijke deel van de middag kwam iets na 17 uur ten einde. Daarna volgde nog een gezellige borrel waarin werd nagepraat en vooruitgekeken. Al met al een geslaagde en interactieve bijeenkomst over een dataverzamelingsmethode die haar waarde in het verleden bewezen heeft en in de toekomst zal blijven bewijzen.