Kwaliteit van online veldwerk

Expertise > Onderzoekpublicaties > Kwaliteit van online veldwerk

Alexander Kleijngeld en Jeroen Samuels (Research International); Bart Pluis (PanelClix).



Door de opkomst van online datacollectie is markt, consumenten en beleidsonderzoek een stuk sneller en goedkoper geworden. Maar hoe staat het met de kwaliteit van online veldwerk? In dit document staan drie vragen centraal. Wat is de hoogte en verdeling van de respons en nonrespons van verschillende dataverzameling methoden en geeft dat een vertekening in de data? Hoe is de betrouwbaarheid en validiteit van de data verkregen via online veldwerk? Ten slotte, levert online veldwerk wel voldoende representatieve gegevens op? De kwaliteit van online veldwerk is op deze drie aspecten direct vergeleken met telefonisch en CAPI (Computer Aided Personal Interviewing) onderzoek. Één van de belangrijkste conclusies is dat de data verkregen met online veldwerk op een groot aantal punten van hogere kwaliteit is dan data die is verkregen via telefonisch (CATI) en CAPI onderzoek. Wel is de data representativiteit van online veldwerk over het specifiek onderwerp Internet gebruik twijfelachtig.


1 - Inleiding



De kwaliteit van onderzoek waar data verkregen wordt via online collectie staat ter discussie. Deze kritiek spitst zich toe op een aantal punten. Allereerst wordt bij online veldwerk vaak gebruik gemaakt van een online panel waar respondenten beloond worden voor deelname. Critici beweren dat deze voornamelijk meewerken voor de beloning en niet voldoende betrokken zijn bij het onderzoek. De kwaliteit van de data zal daardoor slechter zijn dan data verkregen uit bijvoorbeeld telefonisch onderzoek. Ten tweede plaatsen critici vraagtekens bij de data representativiteit van online onderzoek. Zo kan worden gesteld dat gebruik van specifieke panels een vertekening geeft omdat respondenten die zich bij deze panels hebben aangemeld niet representatief zijn voor de Nederlandse bevolking. Zo kunnen alleen maar respondenten deelnemen die de beschikking hebben over een internetverbinding.

Ondanks de vraagtekens die critici plaatsen bij de kwaliteit, is de praktijk dat online datacollectie steeds vaker wordt toegepast ten koste van telefonisch en CAPI onderzoek. Deze ontwikkeling lijkt onomkeerbaar en wordt gedreven door de grote voordelen van online datacollectie. Het telefonisch interviewen leidt steeds vaker tot irritatie bij de consument omdat ongevraagd en vaak op slechte momenten de mensen thuis of op het werk worden lastig gevallen. Bij online datacollectie daarentegen zijn het de mensen zelf die zich hebben aangemeld bij zogenaamde access panels en daarmee expliciet hebben aangegeven graag te willen meewerken Pagina 3 van 22 aan onderzoek. Er is dan ook weinig tot geen irritatie bij de deelnemers. Andere belangrijke voordelen van online datacollectie t.o.v. het telefonisch interviewen zijn onder meer de relatief snelle doorlooptijden, de lage kosten en de mogelijkheid om foto’s, logo’s en filmpjes aan de vragenlijst toe te voegen.

In dit document presenteren we een parallel studie van Research International waarin de kwaliteit van online veldwerk is vergeleken met telefonisch en CAPI (Computer Aided Personal Interviewing) onderzoek. Daarin zijn diverse kwaliteitsaspecten bepaald zoals data representativiteit, integriteit en (non)response voor de drie verschillende dataverzameling methoden. Het onderzoek laat zien dat de response bij online veldwerk veel hoger is dan bij telefonisch en CAPI onderzoek. Tevens zijn de gegeven antwoorden bij online en CAPI onderzoek eerlijker en betrouwbaarder dan die bij telefonisch onderzoek. De data integriteit en betrouwbaarheid bij online en CAPI onderzoek is ook op andere punten beter dan bij telefonisch onderzoek. Met betrekking tot de data representativiteit kan geconcludeerd worden dat deze goed is voor al de drie dataverzameling methoden. De antwoorden wijzen allemaal in dezelfde richting, met uitzondering van specifieke vragen over internet gebruik. Nader onderzoek zal nog moeten uitwijzen welke dataverzameling methode op dit specifieke onderwerp de meest representatieve resultaten geeft.


2 - Het onderzoek



2.1 Algemeen

Om de verschillen tussen de drie toegepaste dataverzameling methoden te bepalen, zijn identieke vragenlijsten aan verschillende groepen voorgelegd. Het veldwerk heeft plaatsgevonden in de periode 27 mei 2004 t/m 20 augustus 2004. Voor het telefonisch onderzoek zijn ad random mensen telefonisch benaderd. Voor het CAPI onderzoek zijn mensen op locatie of op werk benaderd. Het telefonisch en CAPI onderzoek is uitgevoerd door Research International. Voor de online dataverzameling heeft Research International gebruik gemaakt van het online panel van PanelClix.

Het aantal respondenten dat heeft meegewerkt aan dit onderzoek bedraagt:

  • Internet
  • Telefonisch
  • CAPI:
  • N=323
  • N=291
  • N=262

Er is nog een segmentatie toegepast op de groep van telefonische respondenten. In deze groep van 291 respondenten zijn er 149 die hebben aangegeven de beschikking te hebben over een internet aansluiting. De overige 142 respondenten gaven aan geen internetaansluiting te hebben. Deze twee segmenten worden hiernavolgend aangeduid met respectievelijk “telefonisch online” en “telefonisch offline”.


2.2 Opzet van de vragenlijst

De vragenlijst is opgebouwd uit de volgende onderdelen:

  • Algemeen deel (13 vragen) over:
    • Geslacht, leeftijd, Nielsen regio met controle vraag
    • Gezinssamenstelling, baan, beroep, inkomen
    • Alcoholconsumptie
  • Concept test van nieuw product (6 vragen) over:
    • Statements (6x) op een 5 puntenschaal
    • Opinie vraag
    • Koopintentie
    • Gebruiksmomenten
  • Publieke opinie vragen (3 vragen) over:
    • Oorlog in Irak
    • Statements (5x) over veiligheid op een 5 punten schaal
  • Internetgebruik (5 vragen) over:
    • Gebruik van internet
    • Snelheid van internet verbinding
    • Tijdsbesteding op internet
    • Koopgedrag op internet
  • Statements (12x) over wat mensen motiveert op een 5 punten schaal.
  • Statements (9x) over zaken die wel/niet belangrijk zijn voor mensen op een 4 punten schaal.

In de online vragenlijst zijn nog variaties aangebracht in de wijze waarop de statement en meerkeuzevragen werden gepresenteerd. De 323 respondenten in het online veldwerk kregen de volgende variaties:

    Variaties in statementvragen:
  • 103 respondenten zagen de statementvragen in een rooster
  • 110 respondenten zagen de statementvragen via een drop down menu
  • 110 respondenten zagen de statementvragen één voor één op het scherm
    Variaties in meerkeuzevragen:
  • 164 respondenten zagen de meerkeuzevragen via een ja/nee methode
  • 159 respondenten zagen de meerkeuzevragen onder elkaar via de Standaard methode (radio buttons met onder elkaar de mogelijke antwoorden)

2.3 Samenstelling steekproef

Om de data representativiteit te toetsen, is de samenstelling van de diverse groepen respondenten (internet, telefonisch en CAPI) zoveel mogelijk gelijk gehouden en representatief voor de Nederlandse bevolking op basis van socio-demografische kenmerken. De volgende verdeling naar geslacht, leeftijd en regio is gerealiseerd.

De verdeling van de groep in het CAPI en telefonisch onderzoek (zonder internetaansluiting) wijkt af van representatief Nederland. Dit komt omdat CAPI onderzoek op locatie is gehouden met een oververtegenwoordiging in de Randstad. Tijdens het veldwerk is gebleken dat de penetratie van telefonische respondenten zonder internetaansluiting zeer laag was en het niet mogelijk was om de gewenste verdeling naar geslacht, leeftijd en regio te realiseren. Een herweging achteraf van de data waardoor alle groepen identiek werden gemaakt liet vrijwel geen verschillen zien. Om die reden is bij het presenteren van de resultaten niet gewogen data gebruikt.


3 - Resultaten



3.1 Belang van (non)respons

Non-respons is altijd een belangrijk aandachtspunt geweest in de verantwoording van het uitgevoerde onderzoek. Als de non-respons toeneemt, is de kans groter dat de data kwaliteit afneemt. Zo kan er een vertekening optreden in de data als slechts een klein percentage mensen meewerken aan een onderzoek. Zo zal bij onderzoek op bijvoorbeeld beleidsterreinen de onderzoeker vaak vooraf zelfs een hoge respons moeten garanderen.

In dit onderzoek is de hoogte van de (non)respons bepaald. Tevens is de verdeling van de (non)respons over een aantal willekeurige socio-demografische variabelen gemeten.


3.1.1 Hoogte van de non-response

De hoogte van respons en non-respons is gemeten bij zowel het online als telefonische onderzoek. Onderstaande figuur geeft aan dat bij het online veldwerk (linker balk) 909 mensen zijn benaderd. Daarvan heeft circa 36% op tijd gereageerd en de vragenlijst volledig ingevuld (dit waren 323 respondenten). Circa 20% van de benaderde mensen hebben wel gereageerd maar te laat. De quota’s, zoals vermeld in paragraaf 2.3, waren al gevuld waardoor deze respondenten wel wilden maar niet meer konden deelnemen. In feite responderen deze mensen ook maar waren ze te laat. Het zal altijd onduidelijk blijven of deze te late respondenten allemaal de vragenlijst volledig hadden ingevuld. Uiteindelijk heeft 44% van de totale oplage niet gereageerd.

Groot is het contrast met het telefonisch onderzoek. Er moesten veel meer mensen worden benaderd, totaal 6.069 (zie rechterbalk in de figuur). Slechts een klein percentage daarvan (5%) was bereid om mee te werken aan het onderzoek (dit waren 291 respondenten). Zo’n 36% heeft geweigerd en 60% was niet bereikbaar.

Het grote verschil in de hoogte van de respons tussen online en telefonisch onderzoek kan worden verklaard door het feit dat online veldwerk gebruik maakt van een online panel waarin leden zich al eerder bereid hebben verklaard mee te willen werken aan onderzoek. Maar ook het feit dat de online respondent zelf kan bepalen waar en wanneer hij of zij de vragenlijst invult, draagt in belangrijke mate bij aan een hogere respons. Complexe stratificaties met meerdere segmenten en quota’s binnen de groep van respondenten kan dan ook veel beter worden toegepast bij online veldwerk. Tevens zal bij specifiek onderzoek waar een hoge response vereist is online veldwerk vaak de voorkeur krijgen.


3.1.2 Verdeling van de (non)response

Voor het online veldwerk is er een analyse uitgevoerd naar de verdeling van de (non)response over leeftijd, geslacht en opleiding. Een uniforme verdeling van de (non)respons is wenselijk. Enerzijds omdat de samenstelling van de groep respondenten dan nagenoeg gelijk is aan de samenstelling van de totale steekproef (uitgenodigde groep van mensen welke vooraf goed kan worden geselecteerd). Anderzijds betekent een uniforme verdeling van de (non)respons dat de kans groot is dat dezelfde uniforme verdeling zal plaatsvinden op elke willekeurige variabele. De kans op vertekening of verkleuring van de data ten gevolge van een scheef verdeelde (non)respons is daardoor minder.

De volgende drie figuren laten de verdelingen van de (non)respons zien. Daarbij de opmerking dat respons is onderverdeeld in respondenten die te laat hebben gereageerd (semi-respons: direct rechts van de verticale nullijn) en respondenten die de vragenlijst volledig hebben ingevuld (respons: uiterst rechts van de verticale nullijn).

De verdeling van de (non)respons over de leeftijd (figuur onder ) laat zien dat de non-respons in de categorie 18-34 jaar hoger is (20% van totale oplage) dan in de twee “oudere” categorieën (13% en 10% van de totale oplage). Terwijl de respons percentages daarentegen voor elke leeftijdscategorie nagenoeg gelijk is.

De volgende figuur geeft schematisch weer de verdeling van de (non)respons voor mannen en vrouwen. Zowel mannen als vrouwen responderen even goed (respectievelijk 27% en 28% van de totale oplage). Er is alleen sprake van een iets hogere non-respons bij de mannen.

De figuur hieronder geeft schematisch weer de verdeling van de (non)respons voor mannen en vrouwen. Zowel mannen als vrouwen responderen even goed (respectievelijk 27% en 28% van de totale oplage). Er is alleen sprake van een iets hogere non-respons bij de mannen.


3.1.3 Discussie

We kunnen stellen dat de respons bij het uitgevoerde online veldwerk veel hoger is dan bij het telefonisch onderzoek. Tevens is de verdeling bij het online veldwerk redelijk tot goed uniform verdeeld over de drie variabelen leeftijd, geslacht en opleiding. Alleen de jongeren (18-34 jaar) laten een iets hogere non-respons zien dan de oudere deelnemers.

Voor telefonisch en CAPI onderzoek is het niet mogelijk om de verdeling van de nonrespons over socio-demografische parameters te meten. Op basis van de samenstelling van de respons is achteraf vastgesteld dat de (non)respons minder uniform is. De eerste indicatie daarvoor is de scheve verdeling van de respons naar geslacht en leeftijd voor het telefonisch en CAPI onderzoek (zie de tabel in paragraaf 2.3). Non-uniformiteit wordt tevens bevestigd in onderstaande verdeling naar sociale klasse (A, B+, B-, C, D) van de respondenten, zoals dat achteraf is vastgesteld voor de drie onderzoeken.

Daarin is het opvallend dat in de verdeling voor het telefonisch onderzoek respondenten met sociale klasse B- zijn oververtegenwoordigd, terwijl de verdeling in het online en CAPI onderzoek meer representatief is. De onderzoeker is gebaat bij een uniforme verdeling van de (non)respons binnen de oorspronkelijke steekproef. In deze studie zijn aanwijzigen gevonden dat in het online veldwerk de (non)respons meer uniform is verdeeld dan in het telefonisch en CAPI onderzoek.


3.2 Data integriteit en betrouwbaarheid


3.2.1 De gebruikte toetsingscriteria

De integriteit en betrouwbaarheid van de verkregen data kan op basis van objectieve criteria worden bepaald. Daarbij direct al de opmerking dat bij online veldwerk meer toetsingen kunnen worden toegepast dan bij telefonisch en CAPI onderzoek. De volgende toetsingscriteria zijn in dit onderzoek gehanteerd:

    Consistentie binnen de dataset
  • In de vragenlijst zijn controle vragen opgenomen. Bij telefonisch onderzoek werd gevraagd naar de postcode en later naar de regio waar men woont. Bij online onderzoek werd de respondent ook nog gevraagd naar leeftijd, zodat deze kon worden vergeleken met de geboortedatum die was opgegeven bij registratie bij het online panel. Vanzelfsprekend dienen de antwoorden op de controle vragen consistent met elkaar te zijn.
  • Consistentie tussen dataset en profielgegevens respondent
  • Deze toetsing kan alleen worden toegepast bij online veldwerk. Achteraf is op anoniem niveau de profielgegevens van de respondent (waaronder leeftijd, postcode en geslacht) vergeleken met de gegevens die de respondent heeft ingevuld in de webenquête. Zo kan worden bepaald of er een goede match is. Is er geen match dan kan dat betekenen dat de respondent de webenquête niet naar waarheid heeft ingevuld of dat iemand anders dan de beoogde respondent de webenquête heeft ingevuld. In het eerste geval is de data onbetrouwbaar. In het tweede geval kan de data nog steeds valide zijn.
  • Vast patroon van antwoorden
  • Bij statementvragen kan er vrij gemakkelijk een patroon worden herkend als respondenten op de automatische piloot identieke antwoorden geven (bijvoorbeeld eens – eens – eens – eens). Of dat bij meerkeuzevragen altijd de eerste antwoordmogelijkheid wordt gegeven (ook al rouleren de antwoorden van plaats).
  • Kwaliteit van de antwoorden op open vragen en over gevoelige onderwerpen
  • Onzin antwoorden op open vragen duiden op een lage kwaliteit. Tevens kan worden geanalyseerd wat de kwaliteit is in termen van lengte (aantal karakters) van de antwoorden. Hoe langer een antwoord, zo kan beredeneerd worden, hoe beter de betrokkenheid is van de respondent met het onderzoek en dus hoe hoger de kwaliteit van de antwoorden zijn. Tevens kan eenvoudig worden bepaald wat de bereidheid is om te antwoorden op gevoelige vragen zoals bijvoorbeeld het eigen inkomen.
  • Het aantal antwoorden bij meerkeuzevragen
  • Een direct verband tussen het aantal antwoorden en de betrouwbaarheid hoeft er niet te zijn. Dit hangt ook mede af van de soort vragen en of de verschillende antwoorden complementair zijn of juist elkaar uitsluiten. Desalniettemin is ook dit aspect nader onderzocht
  • De tijdsduur nodig voor het invullen van de vragenlijst.
  • Dit criterium is alleen van toepassing bij online en CAPI onderzoek. In deze studie duurde het gemiddeld 13 minuten om de vragenlijst volledig en naar waarheid in te vullen. Respondenten echter die minder dan 4 minuten nodig hadden voor het invullen worden geacht onbetrouwbare antwoorden te hebben ingevuld. De antwoorden van respondenten die minder dan 7 minuten nodig hadden, zijn aan nader onderzoek onderworpen.

3.2.2 Consistentie van de dataset

Bij het online veldwerk zijn de socio-demografische gegevens van de respondenten, die zijn afgegeven tijdens registratie in het PanelClix online panel, vergeleken met de antwoorden in dit onderzoek. In totaal is er bij 6 respondenten vastgesteld dat zij iemand anders zijn dan de beoogde respondent. Op een totaal van 323 respondenten betekent dat 2% van alle respondenten. Bij nader onderzoek van de antwoorden kan niet anders worden geconcludeerd dat deze respondenten de webenquête wel naar waarheid hebben ingevuld.

Bij het online veldwerk laat de postcode versus regio check zien dat bij 17 respondenten sprake is van inconsistente antwoorden. Dit komt overeen met het aantal inconsistente antwoorden bij telefonisch onderzoek. Deze antwoorden kunnen worden verklaard uit het feit dat de Nielsen regio’s niet voor iedere respondent duidelijk zijn of dat een aantal mensen hun postcode niet kent. Op een totaal van respectievelijk 291 en 323 respondenten mogen we concluderen dat op basis van deze controle de betrouwbaarheid zeer goed is voor beide vormen van dataverzameling.


3.2.3 Vast patroon van antwoorden bij statementvragen

Bij de drie dataverzameling methoden is het patroon van antwoorden bij statementvragen nader geanalyseerd. In de volgende tabel wordt een overzicht van de resultaten gegeven, waarin zowel het aantal als het percentage respondenten is vermeld dat identieke antwoorden heeft gegeven op deze statementvragen. Er kan gesteld worden dat hoe groter het percentage respondenten dat identieke antwoorden geeft, hoe slechter de data kwaliteit.

Bij het online veldwerk zijn bovendien drie variaties toegepast in de presentatie van de statementvragen. Deze zijn respectievelijk de rooster presentatie, drop down menu en de zogenaamde één voor één presentatie.

De variaties die in het online veldwerk gebruikt worden hebben hun invloed op de variaties van de antwoorden die gegeven worden. De één voor één methode geeft de meest gevarieerde antwoorden (slechts 5,7% van de respondenten geven identieke antwoorden). Ook de dropdown variant laat een verrassend lage variatie zien van 6,8%. Bij de rooster presentatie geven 11,8% van de respondenten identieke antwoorden. Het telefonisch onderzoek levert aanzienlijk meer respondenten op (10,4% en 13,4% voor de online en offline groep) met identieke antwoorden. Een mogelijke reden zou kunnen zijn dat telefonische respondenten minder interesse in het onderzoek hebben en daardoor minder vaak willen nadenken over het antwoord op een statement. In een aantal gevallen vergeten telefonische respondenten de antwoordmogelijkheden die zijn opgelezen en kiezen die mogelijkheden die ze hebben onthouden. Het gevolg is dat ze ook vaker hetzelfde antwoord geven.


3.2.4 Kwaliteit van de antwoorden op open vragen en over gevoelige onderwerpen

Bij het online veldwerk waren twee respondenten die onzin antwoorden hebben ingevuld op open vragen. Mede door de aanwezigheid van de interviewer komen onzin antwoorden bij telefonisch onderzoek minder vaak voor.

De kwaliteit van de antwoorden op open vragen is eveneens bepaald aan de hand van de lengte van de antwoorden en de bereidheid om een mening of verklaring te geven. Respondenten bij online veldwerk geven significant langere antwoorden op open vragen en ook veel vaker hun mening of verklaring dan de respondenten bij telefonisch onderzoek. De volgende tabel geeft een overzicht van de lengte van de antwoorden op de twee open vragen (C1 en C2) die zijn gesteld in de vragenlijst voor zowel het online als telefonisch onderzoek. Van alle antwoorden die zijn gegeven op deze twee open vragen zijn alleen de “echte” antwoorden meegenomen in de analyse. De respondenten in het online veldwerk geven uitgebreider antwoord op open vragen (gemiddeld 81% langere antwoorden dan bij telefonisch onderzoek). Daarnaast geven zij ook vaker hun mening dan telefonische respondenten (gemiddeld 14% meer dan bij telefonisch onderzoek).

Tenslotte is de bereidheid gemeten van respondenten om op gevoelige vragen te antwoorden. Zo is in de vragenlijst een vraag over inkomen opgenomen. De volgende figuur schets de bereidheid van respondenten om op deze specifieke vraag te antwoorden.

Het percentage respondenten dat hun inkomen niet wil prijsgeven is significant hoger bij telefonisch (24 en 28% bij de online en offline groep) dan bij het online en CAPI onderzoek (respectievelijk 10% en 12%). Voornaamste verklaring is de betere privacy die respondenten ervaren bij online en CAPI onderzoek. Met name bij onderzoeken over gevoelige onderwerpen (bijvoorbeeld ziekte, inkomen, huiselijk geweld, drugsgebruik) zullen online en CAPI onderzoek het op dit aspect beter doen dan telefonisch onderzoek.


3.2.5 Het aantal antwoorden op meerkeuzevragen

De respondenten in zowel het telefonisch als in het online veldwerk geven ongeveer evenveel antwoorden bij de meerkeuzevragen. De volgende tabel geeft het gemiddeld aantal antwoorden per respondent voor de verschillende meerkeuzevragen (A12, C6, O2 en O6). Bij het online veldwerk is tevens onderzocht wat de effecten zijn van verschillende presentaties van de meerkeuzevragen (ja/nee per antwoord mogelijkheid versus de standaard methode met onder elkaar de mogelijke antwoorden). De ja/nee methode (rechter kolom in de tabel) levert zo’n 50% meer antwoorden op en wijkt hierdoor substantieel af van de rest. De vraag O6 gaat over welke producten men zoal koopt op internet. Respondenten in het online veldwerk kopen meer via internet en zullen dus ook meer verschillende antwoorden geven.


3.2.6 De tijdsduur nodig voor het invullen van de vragenlijst

In deze studie duurde het gemiddeld 13 minuten om de vragenlijst volledig en naar waarheid in te vullen. Respondenten die minder dan 7 minuten nodig hadden voor het invullen dienen nader te worden bekeken en kunnen mogelijk de vragenlijst onbetrouwbaar hebben ingevuld. Van de 323 respondenten in het online veldwerk hebben uiteindelijk 18 respondenten de webenquête in minder dan 7 minuten ingevuld. Daaronder bevonden zich de twee eerder gemelde respondenten die onzin antwoorden op open vragen hebben ingevuld. Van de overige 16 respondenten kon niet worden geconstateerd dat deze zomaar wat hebben ingevuld. Deze bevindingen zijn vergelijkbaar met de resultaten van het CAPI onderzoek, waar 15 respondenten de vragenlijst in minder dan 7 minuten hebben ingevuld.


3.2.7 Samenvattend

We kunnen stellen dat de consistentie en betrouwbaarheid van de data verkregen bij zowel het online als het telefonisch enquêteren zeer goed is. Het telefonisch onderzoek levert aanzienlijk meer respondenten op die identieke antwoorden geven. Ook geven deze respondenten significant kortere antwoorden op open vragen en minder hun mening of verklaring dan de respondenten bij het online veldwerk. Op gevoelige vragen geven online en CAPI respondenten eerder antwoord dan telefonische respondenten. Het gevoel van privacy en anonimiteit is daarin een bepalende factor.


3.3 Data representativiteit

De representativiteit van de data verkregen via de drie dataverzameling methoden is bestudeerd aan de hand van de onderstaande aspecten.

  • Hoe antwoorden de respondenten. Onderzoek is verricht naar specifieke patronen in de antwoorden bij statementvragen.
  • Wat antwoorden de respondenten. Belangrijk daarin is om te weten of mensen die zich hebben aangemeld bij een online panel anders denkende mensen zijn of een ander gedrag vertonen dan telefonische respondenten.

3.3.1 Hoe antwoorden de respondenten

In de vragenlijst zijn 12 statements over motivatie opgenomen met een 5 puntenschaal (1 = helemaal mee oneens, 2 = mee oneens, 3 = eens noch oneens, 4 = mee eens, 5 = helemaal mee eens). Tevens is als antwoordmogelijkheid “niet van toepassing” opgenomen. Enkele statements waren: U neemt graag risico’s; U wilt de hoogst mogelijke positie bereiken in uw carrière; U gaat graag mee met de nieuwe mode; et cetera.

Vervolgens is gemeten hoe de respondenten hebben geantwoord op deze 5 puntenschaal. Onderstaande figuur geeft schematisch de antwoordpatronen voor het online (zowel voor de rooster als voor de één op één presentatie variant), telefonisch en CAPI onderzoek weer.

Uit de literatuur is bekend dat telefonische respondenten meer richting het einde van de antwoordschaal antwoorden. De telefonische groepen kiezen inderdaad meer voor de eindpunten (4 en 5) in de schaal. Ze kiezen echter hoofdzakelijk niet voor het echte eindpunt maar één optie er voor. Hierdoor ontstaat er een identiek karakteristiek golfpatroon dat bij elke groep van statementvragen (met een 5 puntenschaal) terugkomt. De respondenten in online veldwerk kiezen vaker voor optie 3 (eens noch oneens) en hierdoor ontstaat een patroon dat lijkt op een meer normale verdeling. In de grafieken zijn antwoordmogelijkheden in negatieve statements omgedraaid om het patroon te verduidelijken. De beide telefonische groepen (online en offline) zijn precies gelijk en vertonen zeer duidelijk het zogenaamde golfpatroon (met een piek bij het antwoord “4 = mee eens”). Ook de beide groepen in het online veldwerk (rooster en één op één) wijken slechts beperkt van elkaar af en vertonen de redelijk normale verdeling (met weliswaar een kleinere piek bij het antwoord “4 = mee eens”). De resultaten voor het CAPI onderzoek liggen tussen het online en telefonisch onderzoek in.

De vertoonde antwoordpatronen zijn in het onderzoek meerdere malen bij andere statementvragen (met een 5 puntenschaal) gereproduceerd. Zo geeft onderstaande figuur de patronen van 6 statements over een concept test met eenzelfde 5 puntenschaal. Hetzelfde golfpatroon met de dominante piek bij 4 = “mee eens” is waarneembaar voor het telefonisch onderzoek, terwijl het online veldwerk een vlakker patroon laat zien. De CAPI resultaten liggen daar weer tussenin.

Ook zijn antwoordpatronen geanalyseerd op statementvragen met een 4 punten schaal (1 = helemaal niet belangrijk voor mij, 2 = redelijk belangrijk voor mij, 3 = erg belangrijk voor mij, 4 = heel erg belangrijk voor mij).

De volgende figuur geeft de resultaten van 9 statementvragen waarin respondenten konden aangeven wat belangrijk voor ze is. De gestelde statements waren onder meer: Mezelf veilig voelen; liefde te geven en te krijgen; plezier hebben in het leven; et cetera.

De verschillen tussen web en telefonisch zijn niet zo extreem als bij de 5 puntsschaal, maar de telefonische groepen kiezen wel aanzienlijk vaker voor het einde van de schaal (4). Opvallend is het patroon voor de telefonische offline groep, dat erg afwijkt van de online groep, zonder dat hier een duidelijk aantoonbare reden voor is. Een mogelijke verklaring kan zijn dat deze groep op socio-demografische gegevens (o.a. inkomen en leeftijd) afwijkt van de andere telefonische groep en mogelijk daardoor anders antwoordt.


3.3.2 Hoe antwoorden de respondenten

Vaak wordt, al dan niet terecht, gesteld dat gebruik van specifieke panels bij online onderzoek een vertekening geeft omdat niet duidelijk is of respondenten die zich bij deze panels hebben aangemeld wel representatief zijn voor de Nederlandse bevolking. Belangrijk is dan ook om te weten of respondenten die meedoen aan online veldwerk anders denkende mensen zijn of een ander gedrag vertonen dan telefonische respondenten.

We zullen in dit document slechts een beperkt aantal vragen weergeven die gesteld zijn. Op de vraag “welke van onderstaande dranken drinkt u wel eens?”, waar meerdere antwoorden mogelijk zijn, geven de verschillende dataverzameling methoden de volgende resultaten.

Er zijn weliswaar kleine verschillen in antwoorden tussen online, telefonisch en CAPI onderzoek, maar de antwoorden op vragen over diverse uiteenlopende onderwerpen wijzen allemaal dezelfde richting uit. Daaruit kan geconcludeerd worden dat respondenten die meedoen aan online veldwerk geen anders denkende mensen met een afwijkend gedrag zijn dan telefonische of CAPI respondenten.

Een belangrijke uitzondering op deze stelling betreft het gebruik van internet, het verbindingstype en het koopgedrag op internet. Op de vraag “waar maakt u gebruik van het internet of worldwide web? (meerdere antwoorden mogelijk) geven de meeste respondenten aan dat ze internet thuis gebruiken (zie de volgende figuur). De respondenten in het CAPI onderzoek geven vaak antwoorden die liggen tussen die van het online en telefonisch onderzoek (online groep).

Op de vraag “binnen welk van de volgende categorieën valt uw internetaansluiting thuis? (slechts één antwoord mogelijk) is duidelijk te zien in de volgende figuur dat respondenten in het online veldwerk snellere internetverbindingen hebben (kabel en xDSL) dan telefonische respondenten. Ook liggen de antwoorden van de CAPI respondenten tussen die van de online en telefonische respondenten in.

Ook zijn respondenten in het online veldwerk vaker online. Onderstaande figuur geeft dat aan. De CAPI respondenten lijken veel op die van de telefonische groep (die de beschikking hebben over een internet verbinding).

Het koopgedrag op internet van online respondenten is eveneens significant anders dan de telefonische en CAPI respondenten. De koopfrequentie is hoger (zie onderstaand figuur) maar de type producten die worden aangeschaft verschilt niet veel.


3.3.3 Samenvattend

De golfpatronen zoals besproken in paragraaf 3.3.1. zien er natuurlijk leuk uit, maar wat zeggen ze over de manier waarop respondenten antwoorden. Wat deze patronen laten zien is dat respondenten bij online veldwerk (en in mindere mate bij CAPI onderzoek) het gehele spectrum aan antwoordmogelijkheden benutten op de schaal. Min of meer volgens een normale verdeling. Een reden daarvoor kan zijn dat mensen zich bij online veldwerk vrijer voeler en daardoor eerlijker antwoord geven. Ook kan sprake zijn van het zogenaamde interviewer effect, waarbij een telefonische respondent eerder een antwoord zal geven waarmee hij denkt dat de interviewer tevreden is. We hebben al geconstateerd dat respondenten bij online veldwerk vaker persoonlijke gevoelige informatie geven en uitgebreider en vaker hun mening geven op de vragen en stellingen. We kunnen dan ook voorzichtig concluderen dat de antwoorden van respondenten op statementvragen bij online veldwerk representatiever zijn dan bij telefonisch onderzoek.

Het gebruik van specifieke panels bij online veldwerk kan een vertekening geven van de werkelijkheid. Dit onderzoek heeft echter aangetoond dat er geen sprake van vertekening is. Op vragen over uiteenlopende onderwerpen zoals attitude, gedrag, koopintenties, gebruiksmomenten, publieke opinie en motivatie aspecten wijzen de antwoorden van de respondenten dezelfde richting uit. Respondenten die zich hebben aangemeld bij het in dit onderzoek gebruikte panel zijn geen anders denkende mensen of vertonen een ander gedrag dan telefonische respondenten. Wel is geconstateerd dat respondenten die meedoen aan online veldwerk anders met internet omgaan dan telefonische en CAPI respondenten.


4 Conclusies



Eén van de belangrijkste conclusie die kan worden getrokken is dat de data verkregen met online datacollectie op een aantal belangrijke aspecten van hogere kwaliteit is dan de reeds gevestigde methoden van telefonisch (CATI) en CAPI onderzoek. We kunnen de volgende conclusies trekken naar aanleiding van deze studie die is uitgevoerd.

  • Het online veldwerk levert een veel hogere respons dan het telefonisch (en CAPI) onderzoek.
  • De (non)respons bij online veldwerk is meer uniform verdeeld over willekeurige socio-demografische variabelen zoals leeftijd, geslacht, opleiding en sociale klasse. Telefonisch onderzoek laat een scheve verdeling zien (voor zover kon worden vastgesteld).
  • De integriteit en betrouwbaarheid van de data kan bij online veldwerk tegen meer objectieve criteria worden getoetst dan bij telefonisch of CAPI onderzoek.
  • De interne consistentie van de dataset is van zeer hoge kwaliteit bij zowel online als telefonisch onderzoek.
  • Bij ongeveer 2% van alle respondenten die hebben meegedaan aan online onderzoek is de respondent een andere persoon dan de persoon die zich oorspronkelijk bij het online panel heeft aangemeld.
  • Het telefonisch onderzoek levert in vergelijking met het online veldwerk aanzienlijk meer respondenten op die identieke antwoorden geven op statementvragen. Een mogelijke reden is dat telefonische respondenten minder interesse in het onderzoek hebben en daardoor minder vaak willen nadenken over het antwoord op een statement.
  • Respondenten bij online veldwerk geven significant langere antwoorden op open vragen (gemiddeld 81% langere antwoorden dan bij telefonisch onderzoek) en ook veel vaker hun mening of verklaring (gemiddeld 14% meer dan bij telefonisch onderzoek).
  • Het percentage respondenten dat gevoelige vragen (bijvoorbeeld over inkomen) niet wil prijsgeven is significant hoger bij telefonisch (26%) dan bij het online en CAPI onderzoek (respectievelijk 10% en 12%). Voornaamste verklaring is meer privacy die respondenten ervaren bij online en CAPI onderzoek. Met name bij onderzoeken over gevoelige onderwerpen (bijvoorbeeld ziekte, inkomen, huiselijk geweld, drugsgebruik) zullen online en CAPI onderzoek het op dit aspect beter doen.
  • De respondenten in zowel het telefonisch als het online veldwerk geven ongeveer evenveel antwoorden bij de meerkeuzevragen.
  • Op basis van patroonanalyse van antwoorden op statementvragen (met 5 puntenschaal) kan worden geconcludeerd dat de antwoorden van respondenten op deze statementvragen bij online en CAPI onderzoek representatiever zijn dan bij telefonisch onderzoek.
  • De patroonanalyse van antwoorden op statementvragen met een 4 puntenschaal laten zien dat de telefonische respondenten aanzienlijk vaker voor het einde van de schaal kiezen dan de respondenten in het online en CAPI onderzoek.
  • Mensen die zich hebben aangemeld bij een online panel zijn geen anders denkende mensen of vertonen geen ander gedrag dan telefonische respondenten. Aangetoond is dat op vragen over uiteenlopende onderwerpen de antwoorden in zowel het online, telefonisch als CAPI onderzoek allemaal dezelfde richting uitwijzen. Op basis daarvan kan een onderzoeker niet anders doen dan dezelfde conclusies trekken en aanbevelingen doen.
  • Respondenten die meedoen aan online veldwerk geven op een aantal vragen met betrekking tot het gebruik van internet, type verbinding en koopgedrag op internet significant andere vragen dan telefonische en CAPI respondenten.

Tot slot moeten we benadrukken dat de resultaten en conclusies gepresenteerd in dit document niet zonder meer kunnen worden toegepast op elk willekeurig telefonisch of online veldwerk. Zo zal de wijze van interviewen bij telefonisch onderzoek de resultaten kunnen beïnvloeden. En bij het online veldwerk is een essentieel aspect de kwaliteit van het gebruikte bestand en in het bijzonder de betrokkenheid van de leden bij het online panel waar ze zich in het verleden bij hebben ingeschreven.