Respons bij online veldwerk

Expertise > Onderzoekspublicaties > Respons bij online veldwerk

Chris Snijders en Uwe Matzat (Technische Universiteit Eindhoven) Bart Pluis (PanelClix) en Wiggert de Haan (Isiz)



Bij markt en beleidsonderzoek wordt in toenemende mate gebruik gemaakt van online datacollectie. In deze studie is de respons bij online veldwerk bepaald voor verschillende uitnodigingen die mensen (per e-mail) hebben ontvangen. Zijn mensen eerder bereid mee te doen als ze de belangrijkste resultaten van het onderzoek later krijgen toegestuurd? Of schrikt dit juist af? Is de hoogte van een vergoeding voor deelname doorslaggevend voor een hoge respons? Zal een uitleg over het onderzoek vooraf - zoals de reden van het onderzoek, wie het uitvoert en waarom deelname belangrijk is - ook een hogere respons opleveren? De uitkomsten van deze studie zijn op zijn minst verrassend te noemen. De respons is statisch significant lager als vooraf uitleg wordt gegeven over de achtergronden van het onderzoek. De mogelijkheid om de resultaten achteraf te ontvangen heeft geen effect op de hoogte van de respons. En een variatie van de beloning voor deelname heeft slechts een beperkte invloed op de respons.


1 - Inleiding



Een hoge respons bij (online) onderzoek is belangrijk. Is de respons te laag, dan levert deze minder of selectieve informatie over de populatie en daarmee kan de representativiteit en kwaliteit van de het onderzoek in gevaar komen. Een hoge respons daarentegen kan duiden op een grote betrokkenheid waardoor de data integriteit en representativiteit wordt verbeterd. Maar waarom doen mensen mee aan (online) onderzoek? In eerder onderzoek geven deelnemers zelf aan mee te doen uit interesse in het onderwerp, voor de beloning, om invloed uit te willen uitoefenen, omdat ze het leuk vinden of uit plichtsbesef. Maar is er een verschil tussen wat mensen zeggen en wat ze doen?

In dit document worden de resultaten gepresenteerd van een studie uitgevoerd door de Technische Universiteit Eindhoven. De mensen die zijn benaderd voor dit onderzoek komen uit het panel van PanelClix. De webenquête is geprogrammeerd door Isiz. Onderzocht is of de respons bij online veldwerk afhangt van de uitnodiging die men ontvangt. In de uitnodiging zijn de volgende aspecten gevarieerd:

  • Aankondiging dat resultaten achteraf worden teruggekoppeld;
  • Het geven van een verantwoording over waarom en wie het onderzoek uitvoert en waarom het belangrijk is om deel te nemen;
  • De hoogte van de beloning bij deelname.

De resultaten laten zien dat het aantal ontvangen completes in het PanelClix panel significant hoger is (ongeveer 6 procentpunten) als in de uitnodiging geen informatie wordt gegeven over de achtergronden van het onderzoek zoals wie het onderzoek uitvoert en Pagina 2 van 27 waarom het onderzoek wordt gehouden. De hoogte van een beloning werkt tot op zekere hoogte. Bij een lage beloning leidt verhoging van de beloning tot een statistisch significante toename van de respons van zo’n 7 procentpunten. Maar een verdere verhoging van de beloning heeft daarna geen effect meer op de respons en laat zelfs een lichte (statistisch niet significante) daling zien. Ook de terugkoppeling van de resultaten achteraf stimuleert mensen niet om deel te nemen aan het onderzoek. We kunnen concluderen dat er verschillen zijn tussen wat mensen zelf aangegeven waarom ze deelnemen en het vertoonde gedrag van mensen bij deelname aan online veldwerk.


2 - Het onderzoek



2.1 De uitnodigingen

Er zijn 12 verschillende uitnodigingen gestuurd naar aselect getrokken mensen uit het PanelClix panel. Het panel fungeert daarmee als steekproefkader. De volgende elementen in de uitnodiging zijn gevarieerd:

  • neutrale (kort en simpel) of uitgebreide (met verantwoording) uitnodiging
  • wel of geen terugkoppeling van de resultaten
  • Hoogte van de beloning bij deelname: 50, 100 of 150 punten. De punten maken deel uit van het EuroClix spaarprogramma. De waarde van 50, 100 en 150 punten corresponderen met respectievelijk 0,50 euro, 1,00 euro en 1,50 euro.

De belangrijkste verschillen in de uitnodigingen zijn weergegeven in bijlage 1. In totaal zijn er 12 varianten (2 soorten tekst x 2 soorten terugkoppeling x 3 soorten beloning) waarvan alle afbeeldingen zijn weergegeven in bijlage 2. De oplage van de verschillende uitnodigingen met schematische omschrijvingen van de verschillende variaties zijn vermeld in onderstaande tabel:

CodeOplageNeutraal of uitgebreidTerugkoppelingBeloning (in Clix)
A1603NeutraalZonder50
A2598NeutraalZonder100
A3603NeutraalZonder150
A4601NeutraalMet50
A5601NeutraalMet100
A6601NeutraalMet150
B1602UitgebreidZonder50
B2604UitgebreidZonder100
B3 602UitgebreidZonder150
B4 604UitgebreidMet50
B5601UitgebreidMet100
B6602UitgebreidMet150

Het veldwerk is uitgevoerd in de periode van 7 juli 2005 t/m 14 juli 2005 en van 4 t/m 11 augustus 2005. Op 7 juli is er een eerste batch van circa 1200 uitnodigingen verstuurd Pagina 3 van 27 (evenredig verspreid over de 12 groepen). Op 4 augustus is er een tweede batch van circa 7.000 uitnodigingen verstuurd. Alle uitnodigingen zijn gelijktijdig op 7 juli en 4 augustus naar de 12 aselect getrokken groepen verstuurd. Daarna zijn er geen herinneringen (reminders) gestuurd. Na 14 juli en 11 augustus konden mensen die reageerden op de uitnodiging niet meer deelnemen aan het onderzoek en werden ook niet langer meegenomen in de respons.

De personen in de 12 getrokken groepen zijn aselect getrokken uit het populatiebestand van PanelClix, zodat de groepen (nagenoeg) identiek zijn wat betreft de verdeling naar geslacht, leeftijd, regio en opleiding.

De webenquête (duur van circa 20 minuten) die mensen vervolgens moesten invullen was eveneens identiek voor de verschillende groepen, op een paar in de vragenlijst gevarieerde condities na. Deze condities waren echter wederom aselect aan personen toegekend. Alle waargenomen verschillen in respons kunnen dan ook alleen maar een direct gevolg zijn van de variaties die zijn doorgevoerd in de uitnodigingen.


2.2 Verschillende niveaus van respons

Als mensen willen deelnemen aan het online veldwerk, dienen ze eerst te klikken op de link in de uitnodigingsemail. Vervolgens, nadat ze geklikt hebben op de link, moet de webenquête helemaal worden ingevuld.

Een respons analyse is uitgevoerd voor de verschillende uitnodigingen op de volgende niveaus:

  • Doorklikken of niet? Het percentage van de mensen die klikken op de link in de uitnodiging.
  • Invullen of niet? Het percentage van de mensen die, gegeven dat ze al geklikt hebben op de link, de webenquête helemaal invullen.

Op basis van de combinatie van deze respons analyses kan per type uitnodiging worden bepaald hoe hoog het percentage mensen is dat de webenquête helemaal invult.

Voor alle gevonden verschillen in respons percentages per uitnodiging is vervolgens bepaald of ze statistisch significant van nul verschillen. Bij de directe vergelijking van responspercentages is gebruik gemaakt van Fisher´s exact toets waarbij we toetsen op 5%-niveau. Daarnaast is multivariaat getoetst (dwz: rekening houdend met dat verschillende eigenschappen van de uitnodiging ieder een apart effect op de respons kunnen hebben, en elkaar daarbij kunnen beïnvloeden) aan de hand van logistische regressie-analyse. Ook hier toetsen we weer op 5%-niveau. De resultaten van deze multivariate analyse levert echter – op één uitzondering na, die we vermelden in de tekst – geen andere inzichten op dan de eenvoudige vergelijking van de percentages zodat we met deze vergelijking van percentages kunnen volstaan.


3 Resultaten



De verschillende niveaus van respons voor de diverse variaties in uitnodigingen in weergegeven in onderstaande tabel.

Type uitnodigingDoorklikken of nietInvullen of nietVan uitnodiging naar complete
Neutraal (kort en simpel)53%80%42%
Uitgebreid met verantwoording42%85%36%
Geen terugkoppeling resultaten46%83%38%
Wel terugkoppeling resultaten47%83%39%
Beloning van 50 punten44%80%35%
Beloning van 100 punten50%83%42%
Beloning van 150 punten47%84%40%

In de volgende paragrafen worden deze resultaten verder besproken.


3.1 Neutrale (kort en simpel) of uitgebreide (met verantwoording) uitnodiging

Doorklikken of niet?
Op de neutrale uitnodiging zonder gedetailleerde uitleg over het onderzoek (uitnodigingen A1 t/m A6) klikt 53% van de mensen. Op de uitgebreide uitnodiging inclusief het logo van de TU Eindhoven (uitnodigingen B1 t/m B6) klikt 42% van de mensen. Dit verschil is statistisch significant.

Invullen of niet?
Van de groep mensen die de neutrale uitnodiging zonder uitleg (uitnodigingen A1 t/m A6) hebben ontvangen vult 80% van degenen die aan de webenquête zijn begonnen, deze ook helemaal in. Van de groep mensen die op de link hebben geklikt van de uitnodiging met uitleg en het logo van de TU Eindhoven (uitnodigingen B1 t/m B6), vult 85% de webenquête helemaal in. Dit verschil is significant. Er zijn dus meer mensen die de webenquête helemaal invullen als ze een uitgebreide uitnodiging hebben ontvangen met daarin een uitleg over waarom en door wie het onderzoek wordt uitgevoerd en waarom het belangrijk is om deel te nemen.

Van uitnodiging naar ingevulde webenquête?
Combinatie van de twee respons analyses levert dat van de uitgestuurde uitnodigingen met een neutrale simpele tekst de respons statisch significant hoger is (42%) dan van de uitgebreide uitnodigingen (36%). De hogere respons bij de simpele uitnodiging wordt voornamelijk veroorzaakt doordat er relatief meer mensen klikken op de link in deze uitnodiging. De veronderstelling dat door het geven van meer achtergrondinformatie over het onderzoek daardoor de relevantie van het onderzoek voor de respondent zal toenemen en dat daardoor de respons toeneemt is niet juist. Het tegenovergestelde effect wordt echter waargenomen.

Een nadere analyse is uitgevoerd waarin de ervarenheid van de respondenten is meegenomen. In onderstaande figuur is de verdeling weergegeven van het aantal keren dat respondenten eerder een vragenlijst voor PanelClix in de afgelopen 12 maanden heeft ingevuld. Deze verdeling heeft betrekking op de circa 7.000 panelleden die voor dit onderzoek zijn uitgenodigd en is representatief voor het hele PanelClix bestand. Iets meer dan de helft (circa 55%) van de leden heeft minder dan 3 keer deelgenomen aan een online veldwerk in de afgelopen 12 maanden.

Degenen die vaker dan 2 keer eerder meededen in de afgelopen 12 maanden, hebben een kans om een complete te genereren van 62%, terwijl degenen die minder dan 2 keer meededen slechts in 13% van de gevallen tot een complete komen. We zien tevens dat voor de meer ervaren respondenten een uitgebreide verantwoording nadelig werkt: het percentage gegenereerde completes is 5 procentpunten lager als een uitgebreide verantwoording wordt gegeven. Voor de minder ervaren respondenten is het precies andersom. Zij zijn meer geneigd om een complete op te leveren (een verschil van 3 procentpunten). Omdat het responspercentage onder de meer ervaren respondenten zo veel hoger is, leidt dit “netto” tot een negatief effect van het sturen van een uitgebreide uitnodiging.


3.2 Wel of geen terugkoppeling van de resultaten

Doorklikken of niet?
Op de uitnodiging waarin de mogelijkheid tot terugkoppeling van resultaten niet wordt vermeld (uitnodigingen A1 t/m A3 en B1 t/m B3), klikt 46% van de mensen. Op de Pagina 6 van 27 uitnodiging met vermelding dat resultaten worden teruggekoppeld (uitnodigingen A4 t/m A6 en B4 t/m B6) klikt 47% van de mensen. Dit verschil is statistisch niet significant.

Invullen of niet?
Onafhankelijk van of de mogelijkheid tot terugkoppeling van de resultaten wordt aangeboden, vult 83% van de personen die aan de vragenlijst beginnen, deze ook tot het eind in.

Van uitnodiging naar ingevulde webenquête?
Combinatie van de twee respons niveaus leert dat 38% van alle uitgestuurde uitnodigingen zonder terugkoppeling resultaten wordt omgezet naar volledig ingevulde webenquêtes. Van alle uitgestuurde uitnodigingen mét vermelding dat resultaten kunnen worden teruggeleverd wordt 39% omgezet in een ingevulde webenquête. Dit verschil is niet statistisch significant. Daaruit kan worden geconcludeerd dat het niet uitmaakt of vooraf aan mensen de mogelijkheid wordt gegeven om achteraf de resultaten van het onderzoek te ontvangen.

Ook hier geldt dat bij nadere beschouwing we wel enig verschil vinden naar de mate van ervaring van de respondent. De ervarener respondenten (3 of meer eerdere vragenlijsten ingevuld in de afgelopen 12 maanden) zijn hier wél gevoelig voor (een effect ter grootte van 4 procentpunten), Voor de onervaren respondenten doet het echter niets.


3.3 Hoogte van de beloning

Doorklikken of niet?
Op de uitnodiging (uitnodigingen A1 en A4; B1 en B4) met een beloning van 50 Clix (equivalent aan 0,50 euro) voor het invullen van de webenquête (van circa 20 minuten) klikt 44% van de mensen. Op de uitnodiging (uitnodigingen A2 en A5; B2 en B5) met de beloning van 100 Clix (equivalent aan 1,00 euro) voor deelname klikt 50% van de mensen. Op de uitnodiging (uitnodigingen A3 en A6; B3 en B6) met het hoogste aantal van 150 Clix (equivalent aan 1,50 euro) als beloning klikt 47% van de mensen. Er is een significant statistisch verschil in respons tussen de 0,50 euro en 1,00 euro beloning maar weer niet tussen de 0,50 euro en 1,50 euro. Het verschil tussen de 1,00 euro en 1,50 euro, waarbij een hogere beloning het percentage klikkers zelfs wat afneemt, is nog net statistisch significant.

Invullen of niet?
Van de mensen die een beloning van 50 Clix (0,50 euro) ontvangen voor deelname en ook op de link in de uitnodiging hebben geklikt, vullen 80% de webenquête helemaal in. Van de mensen die een beloning van 100 Clix (1,00 euro) ontvangen, en reeds op de link hebben geklikt, vult 83% de webenquête volledig in. Bij de hoogste beloning van 150 Clix (1,50 euro) voor deelname, vult 84% van de mensen die op de link hebben geklikt de webenquête helemaal in. Dit is een significant verschil tussen enerzijds de groep die 0,50 euro kreeg en de groep die 1,00 of 1,50 euro kreeg.

Van uitnodiging naar ingevulde webenquête?
Worden de klik en invulpercentages gecombineerd dan is er een statistisch significant verschil in respons tussen enerzijds de 50 punten beloning en anderzijds de 100 en 150 punten beloning. Bij de laagste beloning van 50 punten (0,50 euro voor 20 minuten Pagina 7 van 27 webenquête) is de conversie van oplage naar ingevulde webenquête 35%. Bij de twee hogere beloningen van 1,00 euro en 1,50 euro, is de conversie respectievelijk 42% en 40%. Dus de respons neemt toe van 35% naar 42% als de beloning voor deelname toeneemt van 50 punten (0,50 euro) naar 100 punten (1,00 euro). Echter, deze samenhang zet niet door als de beloning nog hoger wordt (1,50 euro). Dan zakt juist de respons weer van 42% naar 40%, hoewel dit verschil niet statistisch significant is. Het geeft wel aan dat de assumptie dat respons kan worden gekocht niet correct is. Mensen worden initieel wel gestimuleerd bij een relatief bescheiden beloning – dit levert in ons geval ongeveer 6 procentpunten op – maar het percentage gegenereerde completes stijgt niet verder meer als de beloning hoger wordt.
Ook hier loont het de moeite om de respondenten uit te splitsen naar ervaring met het invullen van (PanelClix) vragenlijsten. De minder ervaren respondenten zijn het minst gevoelig voor het aantal aangeboden Clix (12, 15 en 13% gegenereerde completes bij 50, 100 en 150 Clix). De ervarener respondenten laten met 53, 67 en 68% een veel sterkere gevoeligheid zien voor het aantal aangeboden Clix, al is het ook hier zo dat verhoging naar 150 Clix weinig extra effect oplevert.


4 Conclusies en discussie



Er zijn een aantal verrassende conclusies die kunnen worden getrokken op basis van de resultaten van deze studie.

  • Het achteraf toesturen van de resultaten van het onderzoek aan deelnemers heeft geen effect op de hoogte van de respons. De hypothese dat respondenten meer betrokken raken als ze achteraf de resultaten krijgen toegestuurd of dat respondenten uit interesse voor de resultaten meedoen aan het onderzoek wordt door deze resultaten verworpen als we het volledige PanelClix panel als steekproefkader nemen. Voor de ervarener respondenten is er echter wel een positief effect van het aanbieden van deze mogelijkheid.
  • De hoogte van de beloning voor deelname aan het onderzoek heeft slechts een beperkte invloed op de respons. De bescheiden beloning (1,00 euro voor 20 minuten Pagina 8 van 27 invullen van een webenquête) levert de hoogste respons van 40% op. Echter, de respons neemt niet verder toe als deze beloning nog verder wordt verhoogd. Ook dit resultaat is voor verschillende interpretaties vatbaar. De meest directe verklaring kan erin liggen dat belonen voor deelname aan online veldwerk niet de dominante drijfveer voor mensen is om deel te nemen aan online veldwerk. Een tweede verklaring zou kunnen zijn dat het aanbieden van zeer veel clix kan worden opgevat dat het een lange vragenlijst gaat worden. Dit is dan een mogelijke rem op de bereidheid om deel te nemen.

Tot slot moeten we benadrukken dat de resultaten en conclusies gepresenteerd in dit document niet zonder meer kunnen worden toegepast op elk willekeurig online veldwerk. Zo kunnen er verschillen optreden per panel, zoals al in de conclusies bij sommige mogelijke verklaringen kon worden teruggezien. Zo kunnen er verschillen optreden per panel afhankelijk van de frequentie waarin leden meewerken aan een online veldwerk. PanelClix beschikt over een panel van meer dan 200.000 leden waardoor meer dan de helft van alle panelleden minder dan 3 keer per jaar meewerken aan een online veldwerk. In andere panels kan deze verdeling heel anders liggen.

Ook valt niet uit te sluiten dat bij een ander soort onderzoek (bijvoorbeeld regionaal onderzoek of onderzoek over gevoelige onderwerpen) de effecten van een uitgebreide verantwoording over waarom het onderzoek wordt uitgevoerd anders zijn dan voor meer algemeen onderzoek zoals in deze studie is gebruikt.

Deze white paper maakt deel uit van een reeks van white papers, welke ook online te vinden zijn op www.panelclix.nl.


5 Bijlagen



Bijlage 1: toelichting verschillen in de uitnodigingen

Neutrale (kort en simpel) of uitgebreide (met verantwoording) uitnodiging.

Verschil tussen neutrale (kort en simpele) uitnodiging (links) en de uitgebreide uitnodiging (rechts) met uitleg over wie het onderzoek uitvoert (met logo), waarom het onderzoek wordt gedaan en waarom het belangrijk is hieraan deel te nemen. In beide uitnodigingen ontvangen respondenten 50 punten (0,50 euro) voor deelname aan het onderzoek.

Wel of geen terugkoppeling van de resultaten.

Verschil tussen een neutrale uitnodiging zonder vermelding (links) en met vermelding (rechts) van terugkoppeling van de resultaten. In beide uitnodigingen ontvangen respondenten 50 punten (0,50 euro) voor deelname aan het onderzoek.

Hoogte van de beloning bij deelname.

Verschil tussen een neutrale uitnodiging met beloning voor deelname van 50 punten (links) en beloning voor deelname van 100 punten (rechts.). De punten maken deel uit van een spaarprogramma. De waarde van 50 en 100 punten corresponderen met respectievelijk 0,50 euro en 1,00 euro.


Bijlage 2: afbeeldingen van alle 12 verschillende uitnodigingen