Respons verhogend effect van aantrekkelijke vragenlijsten

Expertise > Onderzoekspublicaties > Respons verhogend effect van aantrekkelijke vragenlijsten

Talitha Zwagers, Chris Snijders, Wiggert de Haan



Voorwoord



Online datacollectie is inmiddels een veelvuldig gebruikte methode in de wereld van markt- en beleidsonderzoek. Maar hoe hangt de mate waarin een respondent een vragenlijst als leuk ervaart samen met toekomstige respons? In deze white paper staat daarom de volgende vraag centraal: Doet een respondent die een vragenlijst als aantrekkelijk ervaart eerder weer mee aan een volgend onderzoek?

De uitkomsten van deze studie laten zien dat er een significante samenhang bestaat tussen een positieve beoordeling van de aantrekkelijkheid van een vragenlijst en toekomstige respons. Wanneer een respondent daarnaast een eerdere vragenlijst helemaal heeft ingevuld zal hij/zij veel sneller geneigd zijn te reageren op de volgende oproep om deel te nemen aan een nieuw onderzoek. Hiernaast is de lengte van een vragenlijst een belangrijke factor voor de beoordeling van de aantrekkelijkheid van een onderzoek. Hoe korter de vragenlijst; des te meer een respondent gemotiveerd is om de vragenlijst helemaal af te maken. Bovendien ligt de completion rate voor completes uit een vorige vragenlijst significant hoger ten opzichte van afhakers in een voorgaande vragenlijst. Zelfs wanneer de tijdspanne tussen twee vragenlijsten langer is blijft dit effect duidelijk herkenbaar.


1 - Inleiding



In toenemende mate worden online panels ingezet voor het uitvoeren van markt- en beleidsonderzoek. Hierbij wordt geleidelijk meer aandacht besteed aan de waarde van de respondent; hoe houden we respondenten gemotiveerd om in de toekomst deel te blijven nemen aan online veldwerk? Immers, een gebrek aan gemotiveerde respondenten is funest voor de onderzoekswereld. De aandacht van de onderzoeker ligt vaak vooral bij het onderzoekstraject. Aan de ene kant wordt de vragenlijst geconstrueerd en gecontroleerd op basis van de informatiebehoefte van de eindklant. Aan de andere kant beoogt de onderzoeker een vragenlijst op te stellen waarbij op een efficiënte manier alle data verzameld kan worden. Dit kan ten koste gaan van de gebruiksvriendelijkheid van de vragenlijst en het plezier dat de respondent ondervindt aan het invullen van de vragenlijst. Voor de groei en toekomst van online veldwerk is het echter cruciaal dat de respondent een centrale rol toebedeeld krijgt in het onderzoekstraject. Het is namelijk in het belang van zowel de onderzoeker, eindklant én panelbeheerder dat respondenten gemotiveerd blijven om op een continue basis deel te nemen aan online veldwerken.

Het belang van hoge respons bij online veldwerk komt voornamelijk voort uit de wens tot het vergroten van de nauwkeurigheid van gedane uitspraken (Snijders et al., 2005). Maar hoe valt deze respons te verhogen? Een literatuurstudie naar de responsverhogende effecten voor online vragenlijsten leert ons dat hier slechts op beperkte schaal onderzoek naar is gedaan. online veldwerksaspecten gerelateerd aan het maximaliseren van de respons, kwaliteit van de respons (Deutskens et al., 2004; Riva et al., 2003) en het bereiken en belonen van respondenten (van Selm & Jankowski, 2006) zijn inmiddels wel extensief onderzocht. De correlatie tussen de ervaring van het invullen van een online vragenlijst op de toekomstige respons is tot op heden nog buiten beschouwing gelaten. Eén van de verklaringen hiervoor wordt gegeven door Kaplowitz et al (2004) die aangeven dat er simpelweg nog nauwelijks tijd en aandacht is besteed aan het ontwikkelen en testen van motiverende aspecten in online vragenlijsten. De focus heeft tot nog toe voornamelijk gelegen op het aantrekkelijk maken van telefonisch en schriftelijk uitgevoerde onderzoeken. Echter, de motiverende theorieën voor telefonisch en schriftelijk onderzoek kunnen niet zonder meer worden overgenomen voor online vragenlijsten. Zo hebben online respondenten enerzijds te maken met veiligheidsaspecten op het internet waardoor het bereiken van de respondenten moeilijker is ten opzichte van schriftelijk enquêteren. Anderzijds heeft een respondent zelf de vrijheid op welk moment de vragenlijst wordt ingevuld. Telefonisch enquêteren daarentegen zorgt ervoor dat een respondent zich op een door de onderzoeker te bepalen tijd in het onderzoekstraject bevindt. Kijkend naar de toekomst is het van groot belang dat een basis wordt gecreëerd waarbij niet langer voorbij gegaan wordt aan het belang van aantrekkelijkheid van online vragenlijsten. Want gezien de hoge kosten die gepaard gaan met telefonisch en schriftelijk onderzoek zal online veldwerk logischerwijs steeds verder en sneller groeien (Cook et al., 2000).

Om deze redenen worden in dit document de resultaten gepresenteerd van een studie uitgevoerd door de Technische Universiteit Eindhoven. Onderzocht is of respondenten een online vragenlijst prettig en goed hebben gevonden en of deze beoordeling effect heeft op de bereidheid van de respondent om ook medewerking te verlenen aan de volgende online vragenlijst en deze van begin tot eind in te vullen. De respondenten die zijn benaderd voor dit onderzoek komen uit het panel van PanelClix. De webenquêtes zijn geprogrammeerd door Isiz.

Aan de hand van de beoordelingen van zes vragenlijsten, voorzien van verschillende variaties (o.a. multimedia en spellen) om de aantrekkelijkheid te vergroten, is het effect van de aantrekkelijkheid van de vragenlijsten op de toekomstige respons onderzocht. Tegelijkertijd is er gekeken of socio-demografische factoren (leeftijd en geslacht) invloed hebben op de beoordeling van vragenlijsten. Naast het benaderen van respondenten voor het invullen van alle zes vragenlijsten is tevens steekproefsgewijs een sample respondenten benaderd voor slechts enkele vragenlijsten.

Onze belangrijkste conclusie is dat de toekomstige respons van respondenten mede afhankelijk is van het plezier en de ervaring van het invullen van een eerdere vragenlijst. Hoe prettiger een respondent een vragenlijst heeft ervaren des te waarschijnlijker het is dat aan de volgende enquête wordt meegedaan. Het heeft dus zeker nut om te investeren in het op een aantrekkelijke wijze aanbieden van de vragenlijst. Zelfs wanneer de tijd tussen twee vragenlijsten langer is, heeft het positieve effect van het voorgaande onderzoek invloed op de respons. Het effect van een leuke vragenlijst verdwijnt echter grotendeels na het invullen van de volgende vragenlijst. Hiernaast kunnen wij concluderen dat vrouwen en ouderen de aantrekkelijkheid van een vragenlijst over het algemeen hoger waarderen. Een prettige vragenlijst verlaagt de drempel om aan een volgend onderzoek opnieuw deel te nemen en hierbij een complete af te leveren. Daarnaast is er een lineair verband te onderscheiden wanneer we kijken naar de lengte van een vragenlijst: hoe langer de vragenlijst hoe hoger het drop-out percentage. Ook wanneer drop-outs nader worden beschouwd kan worden geconcludeerd dat er een sterk negatief verband is met betrekking tot toekomstige respons.


2 - Het onderzoek



Voor het onderzoek zijn zes verschillende vragenlijsten ontwikkeld die van elkaar verschillen door het toevoegen en weglaten van multimedia in de vorm van korte films, quizvragen en speltechnieken gericht op behoud van anonimiteit. Voor deze studie geldt het PanelClix panel als steekproefkader. Er zijn maximaal zes verschillende vragenlijsten over uiteenlopende onderwerpen gestuurd naar deze panelleden. Het veldwerk heeft plaatsgevonden in de periode 7 september 2007 tot en met 26 oktober 2007. In tabel 1 wordt weergegeven hoeveel uitnodigingen er per vragenlijst zijn verstuurd, over hoeveel batches dit is verspreid en hoeveel completes er per vragenlijst er zijn gegenereerd.

Voor de eerste vragenlijst is een aselecte groep respondenten geselecteerd uit het populatiebestand van PanelClix om een goede spreiding naar leeftijd, geslacht en regio te kunnen waarborgen. Voor de hierop volgende vragenlijsten is steeds gebruik gemaakt van respondenten die een voorgaande vragenlijst hebben ingevuld, aangevuld met aselect gekozen panelleden. De volgende verdeling naar geslacht en leeftijd is per vragenlijst gerealiseerd.

Voor dit onderzoek is geen gebruik gemaakt van herinneringmails. Hiernaast zijn er geen indicaties gegeven dat het een vervolgonderzoek betrof. Aan het eind van iedere vragenlijst zijn de respondenten gevraagd om aan de hand van zeven vragen aan te geven hoe aantrekkelijk zij de vragenlijst hebben ervaren. Voor iedere beoordelingsvraag is de respondent gevraagd zijn/haar mening te geven middels een 5-punts Likert schaal. De zeven beoordelingsvragen zijn opgenomen in Bijlage A.


3 - Resultaten & Analyse



3.1 Mate van aantrekkelijkheid

Na het invullen van iedere vragenlijst is aan alle respondenten een set van zeven beoordelingsvragen voorgelegd (Bijlage A). Hierbij is aan de respondenten gevraagd een waarde van 1 tot 5 aan de vragenlijst toe te kennen voor elk van de zeven uitgevraagde aspecten. Voor het berekenen van de gemiddelde score van aantrekkelijkheid van iedere vragenlijst is het gemiddelde berekend over de zeven beoordelingsvragen. Aan alle zeven beoordelingsvragen is hierbij dezelfde weging toegekend. Als we de beoordelingen schalen naar rapportcijfers dan zien we het volgende beeld:

Behalve verschillen tussen de vragenlijsten, zijn er vanzelfsprekend ook verschillen tussen personen binnen een zelfde vragenlijst.


3.2 Invloed van aantrekkelijkheid op de volgende vragenlijst

We bekijken nu of het zo is dat een positieve waardering van een vragenlijst samenhangt met een grotere kans op het afleveren van een complete in de volgende vragenlijst. Dit kan worden berekend voor de vragenlijsten 2 tot en met 6.

In alle gevallen met uitzondering van de laatste vragenlijst is een significant verschil te zien. Hieruit kan worden opgemaakt dat: hoe prettiger een respondent de vragenlijst heeft ervaren, des te waarschijnlijker is het dat aan de volgende vragenlijst wordt meegedaan en hierbij een complete wordt afgeleverd. Deze conclusie houdt tevens stand wanneer rekening wordt gehouden met demografische variabelen zoals leeftijd en geslacht.

Vervolgens kijken we naar de grootte van het effect van de mate van aantrekkelijkheid van een vragenlijst. Hierbij bestuderen we het effect van de vergroting van aantrekkelijkheid van 1 punt op de 5-punts Likert-schaal. Gezien in rapportcijfers is dit bijvoorbeeld een verschil in beoordeling tussen een 6 (matig) en een 8 (goed). Om de grootte van het effect van aantrekkelijkheid te kunnen uitlichten zijn de percentages completes vergeleken voor respondenten die een voorgaande vragenlijst ‘slecht’ ten opzichte van ‘goed’ beoordeeld hebben. Hierbij is gekeken naar het percentage completes voor vragenlijst t + 1 gegeven de voorwaarde dat de respondent ook een complete heeft afgeleverd voor vragenlijst t. Vervolgens is onderscheid gemaakt tussen de respondenten die in vragenlijst t(x) behoren tot de 33% van de groep ondervraagden die de laagste beoordeling hebben toegekend aan de vragenlijst ten opzichte van de 33% respondenten die vragenlijst t(x) het hoogst hebben gewaardeerd. De resultaten van deze analyse voor de vragenlijsten 2 tot en met 6 geven het volgende weer:

Het effect van de mate van aantrekkelijkheid van de vragenlijst geeft aan dat het verschil tussen de beoordeling ‘matig’ en ‘goed’ voor vragenlijst 1 ertoe leidt dat de kans op een complete van eenzelfde respondent ongeveer zes procentpunten hoger ligt voor vragenlijst 2. De winst in procentpunten verschilt sterk per vragenlijst. Het positieve effect is echter zichtbaar voor alle vragenlijsten en kan oplopen tot meer dan twintig procentpunten. Het verschil in de kans dat een respondent voor een volgende vragenlijst opnieuw respondeert afgezet tegen de hoogte van de beoordeling van de vorige vragenlijst wordt verklaard doordat respondenten enerzijds eerder geneigd zijn om aan een volgende vragenlijst te beginnen. Anderzijds zullen respondenten minder snel afhaken nadat zij een vragenlijst zijn begonnen wanneer zij de vorige vragenlijst hoog hebben gewaardeerd.


3.2.1 Invloed van aantrekkelijkheid op de langere termijn

Het is opvallend dat het positieve effect van een prettige vragenlijst zelfs effect heeft als de tijd tussen de opeenvolgende vragenlijsten langer is. We kunnen dit zien aan de respondenten die bijvoorbeeld aan vragenlijst 1 meededen en pas weer voor vragenlijst 4 zijn uitgenodigd; ook hier is het effect positief. Ook neemt het effect gedurende de looptijd van onze zes vragenlijsten nauwelijks af. Wel is het zo dat het effect van een leuke vragenlijst grotendeels verdwijnt ná de volgende vragenlijst. We zien dit door steeds in een regressie-analyse de kans op een complete voor vragenlijst t te voorspellen op basis van de waardering voor vragenlijst t-1 en t-2. Er blijkt dan dat de waardering op tijdstip t-1 wél en de waardering op tijdstip t-2 géén statistische samenhang vertoont met de kans op een complete. Met andere woorden: als een leuke vragenlijst 1 wordt gevolgd door een minder geslaagde vragenlijst 2, dan is het positieve effect van vragenlijst 1 op het completeren van vragenlijst 3 verdwenen.


3.3 Leeftijd en geslacht

Na het analyseren van het effect van de aantrekkelijkheid van de vragenlijst op de toekomstige respons is het belangrijk om te kijken naar eventuele verschillen tussen soorten respondenten. Allereerst is hierbij gekeken naar hoe mannen en vrouwen de vragenlijsten hebben beoordeeld naar aantrekkelijkheid. De resultaten op basis van rapportcijfers, uitgesplitst naar mannen en vrouwen laten het volgende beeld zien:

Op het eerste gezicht lijken er weinig tot geen verschillen te zitten tussen de beoordelingen van mannen en vrouwen ten aanzien van de zes vragenlijsten. Wanneer we gebruik maken van een multivariate analyse waarbij rekening wordt gehouden met niet alleen geslacht maar ook leeftijd en opleiding (gemeten in acht categorieën), dan zien we echter toch verschillen.

We kunnen uit deze multivariate analyse concluderen dat mannen over het algemeen de vragenlijsten lager waarderen dan vrouwen. Daarnaast zal een deelnemer, man of vrouw, voor iedere 10 jaar ouder de aantrekkelijkheid van een vragenlijst met een half rapportpunt hoger waarderen. Verder kan worden geconcludeerd dat de opleiding van een respondent niet sterk van invloed is op de beoordeling van een vragenlijst. De verklaring hiervoor is waarschijnlijk zelfselectie; vrouwen en ouderen vinden deelname aan online veldwerk gewoon leuker.

Onderzocht is tevens of behendigheid met de computer en internet invloed hebben op de beoordeling. Hieruit komt naar voren dat hoewel beide vaardigheden een positieve invloed hebben op de rating - behendigere respondenten vinden het leuker - het effect van leeftijd en geslacht hierdoor niet wordt beïnvloed.


3.4 Nadere Analyses

Wanneer de mediane tijdsduur van de vragenlijsten wordt afgezet tegen de completion rates van de vragenlijsten is een sterk verband zichtbaar.

Als we op basis van bovenstaande tabel het verband schatten tussen de (mediane) gebruikte tijd per vragenlijst en de completion rate, dan zien we dat de formule.

Completion rate = 106 – 0.04 * Median time

een zeer goede benadering geeft (R2=0.9). Deze formule laat zien dat als de vragenlijst 5 minuten langer wordt, dit naar verwachting een daling van 60 * 5 * 0.04 = 12 procentpunten in de completion rates op zal leveren.

Dit roept logischerwijs de belangrijke vraag op of er een significant verband bestaat tussen drop-outs in vragenlijst t en de toekomstige respons op vragenlijst t + 1. Om dit te kunnen achterhalen is aanvullend onderzoek verricht. Uit een drietal projecten met grote sample sizes zijn steeds twee groepen respondenten geselecteerd. Enerzijds zijn dit respondenten die een abort hebben afgeleverd (drop-out); na het beantwoorden van minimaal 1 vraag zijn deze respondenten afgehaakt in de betreffende vragenlijst. Anderzijds is een even grote groep respondenten uitgenodigd die een complete hebben gegenereerd in één van de drie vragenlijsten. Deze leden zijn uitgenodigd voor dezelfde tevredenheidsenquête die in het hoofdonderzoek is gebruikt. De responspercentages uitgesplitst naar drop-outs en completes voor vragenlijst t-1 zijn als volgt weer te geven:

Deze nadere analyse laat zien dat de kans op een complete toeneemt met ruim 24 procentpunten wanneer de respondent de vorige vragenlijst helemaal heeft ingevuld. Hiernaast kan uit deze resultaten afgeleid worden wanneer een respondent afhaakt in een voorgaande vragenlijst, dit ertoe leidt dat hij/zij minder snel op de volgende uitnodiging van een nieuwe vragenlijst reageert. Tevens is de kans groter dat een respondent in een volgende vragenlijst wederom afhaakt wanneer we dit vergelijken met respondenten die voor de vorige vragenlijst een complete hebben afgeleverd. Anders gezegd wordt de kans dat een respondent een vragenlijst in zijn geheel afmaakt vergroot door de lengte van de vragenlijst te beperken. Dit heeft niet alleen zijn invloed op het huidige project maar is ook een positieve stimulans voor de toekomstige respons.


4 - Discussie en Conclusie



Op basis van het onderzoek kunnen een aantal conclusies worden getrokken.

  • Een hoger waardeoordeel van een respondent over een vragenlijst gaat samen met een hogere kans op een toekomstige complete. Met andere woorden: hoe leuker een respondent een vragenlijst heeft gevonden; des te meer de respondent geneigd is om ook deel te nemen aan het volgende onderzoek en hierbij ook daadwerkelijk een complete af te leveren. Deze conclusie houdt tevens stand indien rekening wordt gehouden met socio-demografische gegevens zoals leeftijd en geslacht. De orde van grootte van het positieve effect varieert per vragenlijst, tussen de 6 en 23 procentpunten. Dat wil zeggen: voor een vragenlijst die in plaats van “matig” juist “goed” scoort op aantrekkelijkheid van design en onderwerp, je tussen de 6 en 23 procentpunten meer completes mag verwachten bij de volgende vragenlijst. Het positieve effect van een vragenlijst die door een respondent als leuk en/of prettig is ervaren houdt stand indien de tijd tussen de opeenvolgende vragenlijsten langer is. Dit is onderzocht door niet alle respondenten voor alle zes vragenlijsten uit te nodigen. Echter, wanneer een ‘leuke’ eerste vragenlijst wordt gevolgd door een tweede vragenlijst die de respondent als minder prettig beoordeelt, dan is het positieve effect van vragenlijst 1 op vragenlijst 3 grotendeels verdwenen. Hierbij moet de kanttekening worden geplaatst dat niet gegarandeerd kan worden dat de aselect geselecteerde respondenten voor dit onderzoek niet ook zijn uitgenodigd voor andere onderzoeken van PanelClix. De kans hierop is door de relatief korte doorlooptijd van de zes vragenlijsten echter zeer gering.
  • Een verdere opsplitsing van de resultaten naar socio-demografische kenmerken laat zien dat ouderen en vrouwen de vragenlijsten over het algemeen hoger waarderen. Met andere woorden; mannen en jongeren zijn kritischer ten opzichte van vragenlijsten. Deze effecten worden teruggevonden over bijna de gehele reeks van de zes vragenlijsten. Het opleidingsniveau van een respondent heeft daarentegen nauwelijks invloed op de waardering van een vragenlijst.
  • Tot slot zien we dat de mediane tijdsduur van een vragenlijst een grote invloed heeft op de completion rate. Gemiddeld genomen leidt een verlenging van een vragenlijst met 5 minuten tot een verlies van 12 procentpunten in de completion rates. Naast het feit dat ondervraagden lange vragenlijsten niet aantrekkelijk vinden is het simpelweg zo dat: hoe langer de vragenlijst; des te groter de kans dat een respondent afhaakt. Uit aanvullend onderzoek 15 blijkt daarnaast dat er een groot significant verschil zit tussen de completion rates van respondenten die drop-outs en completes hebben afgeleverd in een voorgaande vragenlijst. Gezien het feit dat drop-outs minder snel responderen op een volgende uitnodiging en minder snel een complete zullen afleveren bij een volgend onderzoek kan ook gesteld worden dat een dropout een impliciete negatieve beoordeling van een vragenlijst is. Met andere woorden: korte en leuke onderzoeken hebben niet alleen een duidelijke voorkeur van respondenten wanneer we kijken naar het huidige onderzoek. Korte en leuke vragenlijsten zijn ook een constructief instrument wanneer het gaat om het waarborgen en vergroten van de toekomstige respons.
  • Markt- en beleidsonderzoekers én panelbeheerders wordt daarom aangeraden goed na te denken over de manier waarop vragenlijsten geconstrueerd moeten worden. Bij het ontwerp van een nieuwe vragenlijst is het niet alleen verstandig onze aanbevelingen wat betreft het aantrekkelijk maken van een vragenlijst een hoge prioriteit te geven om de toekomst en groei van online onderzoek te stimuleren. Aantrekkelijke vragenlijsten hebben ook direct een positieve uitwerking op lopende projecten omdat zij minder drop-outs genereren. Een belangrijk voordeel voor de onderzoeker en eindklant is dat respondenten in een kortere vragenlijst minder snel zullen afhaken waardoor de doorlooptijd van een project aanzienlijk wordt verkort. Nader onderzoek verdient nog of de aantrekkelijkheid van een vragenlijst ook direct van invloed is op de kwaliteit van de respons in de vragenlijst zelf.
  • Panelbeheerders wordt hiernaast aangeraden om actief de aantrekkelijkheid van vragenlijsten te benchmarken. Het continu meten van de aantrekkelijkheid van vragenlijsten zal ervoor zorgen dat marktonderzoekers zich meer bewust worden van de kwaliteit van de geconstrueerde vragenlijsten ten opzichte van de respondent. Door actief te benchmarken en de resultaten van de vragenlijsten terug te koppelen aan de marktonderzoeksbureaus zal de kwaliteit van de vragenlijsten naar een hoger niveau getrokken kunnen worden.
  • Om in de toekomst gebruik te kunnen blijven maken van online veldwerk is de tijd aangebroken om niet slechts de aandacht te richten op de waarde van de eindresultaten van het huidige onderzoek; maak een onderzoek leuk, zo kort mogelijk, en leg daarmee de basis voor hoge respons in de toekomst!

Referenties



Deutskens, E.R., de Ruyter K., Wetzels M. & Oosterveld P. (2004) Response Rate and Response Quality of Internet-Based Surveys: An experimental Study. Marketing Letters 15 (1), 21-36.

Riva G., Tiziana T. & Anolli L. (2003) The Use of the Internet in Psychological Research: Comparison of Online and Offline Questionnaires. Cyber Psychology & Behavior 6 (1), 73-80.

Selm, van M. & Jankowsko N.W. (2006) Conducting Online Surveys. Quality & Quantity 40, 435-456.

Snijders, C., Matzat U., Pluis B.&Haan, de W. (2005) Respons bij online veldwerk. White Paper 1-26.