Online veldwerk als alternatief voor gecontroleerde sociaal-wetenschappelijke laboratoriumexperimenten

Expertise > Onderzoekspublicaties > Online veldwerk als alternatief voor gecontroleerde sociaal-wetenschappelijke laboratoriumexperimenten

Chris Snijders en Uwe Matzat (Technische Universiteit Eindhoven) Bart Pluis (PanelClix) en Wiggert de Haan (Isiz)



Bij markt en beleidsonderzoek wordt in toenemende mate gebruik gemaakt van online panels voor de verzameling van onderzoeksgegevens. Voor strikt (sociaal) wetenschappelijke doeleinden is het gebruik van online panels echter in veel mindere mate aanvaard. In deze studie vergelijken we de resultaten van experimenteel sociaal-wetenschappelijk onderzoek in het laboratorium met soortgelijk onderzoek online. We bekijken daarbij de resultaten naar de keuzes van mensen in zogenaamde vertrouwensspelen. Onze conclusie is dat de online resultaten in grote lijnen dezelfde zijn als de resultaten in het laboratorium. Wel is het zo dat de online resultaten steeds wat minder sterk zijn dan de resultaten in het lab.


1 - Inleiding



Bij markt- en beleidsonderzoek wordt in toenemende mate gebruik gemaakt van online panels voor de verzameling van onderzoeksgegevens. Voor strikt (sociaal) wetenschappelijke doeleinden is het gebruik van online panels in veel mindere mate aanvaard. Bij een standaard sociaal wetenschappelijk experiment worden “proefpersonen” uitgenodigd in het laboratorium en vervolgens blootgesteld aan gecontroleerde omstandigheden, terwijl de experimentator de geschreven of gesproken reacties bijhoudt. Een online panel heeft potentiële nadelen ten opzichte van deze standaard opzet. Ten eerste heeft de experimentator bij het gebruik van een online panel geen invloed op en zelfs geen weet van mogelijke andere prikkels waaraan de proefpersoon is blootgesteld. Ten tweede is er geen mogelijkheid van interactie tijdens het experiment. In het laboratorium is het meestal mogelijk de experimentator om toelichting of hulp te vragen bij onduidelijkheden, terwijl online veldwerk hiervoor geen ruimte biedt. Een derde punt is dat veel onderzoekers het van belang vinden een homogene populatie van proefpersonen te onderzoeken (bijvoorbeeld: alleen mannen tussen de 18 en 25) en dit is in het laboratorium beter te controleren dan online.

Om deze redenen is het gebruik van online panels nog niet iets wat met grote regelmaat in artikelen in wetenschappelijke tijdschriften zoals Journal of Personality and Social Psychology of Management Science wordt teruggezien. In welke mate de verminderde controle over de onderzochte groep bij online panels een rol speelt, is echter een open vraag. De bovengenoemde bezwaren zouden kunnen leiden tot een vertekening van de resultaten bij online veldwerk, maar is dat wel zo? Om hier gefundeerde uitspraken over te doen, is het nodig om de resultaten van gangbaar experimenteel onderzoek te vergelijken met hetzelfde onderzoek maar dan online uitgevoerd.

In dit document vergelijken we daarom de resultaten van een serie van experimenten naar gedrag in zogenaamde vertrouwensspelen (“Trust Games”), met een zelfde onderzoeksopzet die online is uitgevoerd.


2 - Vertrouwensspelen



Voordat we deze vergelijking tussen online en standaard onderzoek verder bespreken, gaan we eerst kort in op het onderzoek naar vertrouwensspelen. De basis van dat onderzoek is de zogenaamde Trust Game, een spelletje dat wordt gespeeld met twee personen, waarvan we de opzet uitleggen aan de hand van onderstaande figuur.

Speler A maakt eerst een keuze. Hij mag kiezen tussen rechts of beneden. Als hij rechts kiest, is het spel direct afgelopen. Zowel speler A als speler B krijgt dan 35 Euro. Als speler A echter beneden kiest, komt speler B aan de beurt. Speler B kan dan ook kiezen tussen rechts en beneden. Als hij beneden kiest, krijgen hij en speler A ieder 75 Euro. Kiest speler B echter rechts, dan krijgt hij zelf 95 Euro terwijl speler A maar 5 Euro krijgt.

Om voor de hand liggende redenen wordt dit spel een vertrouwensspel genoemd. Speler A moet beslissen of hij erop vertrouwt dat speler B voor beneden gaat kiezen. In algemene zin wordt dit spel als één van de meest basale vormen van samenwerkingsproblemen gezien: er is een mogelijkheid om samen meerwaarde te creëren (namelijk als A eerst beneden kiest en B vervolgens ook beneden), maar om deze uitkomst tot stand te laten komen moet één van beide partijen (hier speler B) een prikkel om strikt zijn eigen belang te volgen, voorbij willen laten gaan.

Dit spel is op talloze wijzen in het laboratorium door proefpersonen gespeeld: onder andere met en zonder echte uitbetalingen, met en zonder dat de spelers elkaar kunnen zien, met en zonder dat spelers eerst met elkaar mogen overleggen en eventueel beloftes aan elkaar doen, en met verschillende groottes van uitbetalingen. Bij de vergelijking tussen laboratoriumonderzoek en online veldwerk kijken we in dit document uitsluitend naar de effecten die de grootte van de uitbetalingen heeft op de keuzes van de spelers.


3 - Het onderzoek



De hier gepresenteerde resultaten zijn gebaseerd op een studie uitgevoerd door de Technische Universiteit Eindhoven. Als basis voor de vergelijking dienen de resultaten zoals die in eerder sociaal-wetenschappelijk laboratoriumonderzoek naar gedrag in vertrouwensspelen zijn gevonden (zie Snijders, 1996; Snijders & Keren, 2001). Deze labresultaten worden hier vergeleken met de resultaten die zijn gevonden bij personen uit het online panel van PanelClix.

De vragen over gedrag in Trust Games maakten deel uit van een grotere vragenlijst over verschillende onderwerpen (een niet ongebruikelijke methode ook bij sociaal-wetenschappelijk onderzoek in het laboratorium). De online vragenlijst is geprogrammeerd door Isiz. Omdat bij de Trust Games enige uitleg nodig is over hoe het spel werkt, is eerst aan deelnemers aan de online vragenlijst gevraagd of ze bereid zijn vragen te beantwoorden waarbij een wat langere uitleg vooraf noodzakelijk is. Aan degenen die aangaven bereid te zijn dit te doen (48%), werd eerst het Trust Game zoals dat ook in Figuur 1 is te zien, uitgelegd. De volledige uitleg van het Trust Game spel voor de deelnemers vindt u in de bijlage. Daarna werd aan hen gevraagd of ze rechts of beneden zouden kiezen in de rol van speler A én in de rol van speler B. Deze zelfde twee vragen werden vervolgens aan alle deelnemers nogmaals gesteld voor vijf andere Trust Games. Het enige verschil bij deze Trust Games was de grootte van de uitbetalingen. Op deze wijze kreeg iedere deelnemer aan de online vragenlijst in totaal zes Trust Games ter beoordeling: die in Figuur 1 en vijf met een andere uitbetaling.

In de vragenlijst werd gebruik gemaakt van vier willekeurig toegekende condities: vier sets van ieder vijf Trust Games. Een Trust Game wordt volledig gekarakteriseerd door de uitbetalingen. In het voorbeeld van Figuur 1 is dat het viertal uitbetalingen (5, 35, 75, 95). Hieronder ziet u de vier sets Trust Games die in het online veldwerk zijn gebruikt. Een set werd aangeboden in de volgorde zoals hieronder aangegeven.

Het online veldwerk is uitgevoerd in twee waves; een pilot tussen 7 en 14 juli (1419 uitnodigingen) en een grotere wave (6259 uitnodigingen) tussen 4 en 11 augustus 2005. Per wave zijn alle uitnodigingen gelijktijdig aan het begin van de periode naar de aselect uit het populatiebestand van PanelClix getrokken personen verstuurd. Daarna zijn er geen herinneringen (reminders) gestuurd. Personen die niet binnen een week reageerden op de uitnodiging konden niet meer deelnemen aan het onderzoek en werden ook niet meegenomen in de respons. Dit leverde 2830 personen op die de vragenlijst tenminste tot aan de Trust Game vragen hebben beantwoord. Van deze 2830 personen was 47% (1342 personen) bereid de Trust Game vragen te beantwoorden.


4 - Resultaten uit eerder onderzoek



Om een adequate vergelijking tussen laboratorium en online veldwerk mogelijk te maken, vatten we eerst een aantal bevindingen uit de literatuur samen. Allereerst ligt het voor de hand te denken dat of iemand rechts of beneden kiest in een Trust Game, nagenoeg volledig kan worden verklaard uit eigenschappen van deze persoon, zoals zijn of haar karakter of inkomen. Bijvoorbeeld: personen die in het algemeen goed van vertrouwen zijn, kiezen eerder beneden in de rol van speler A. Of: personen met een hoog inkomen kiezen eerder beneden in de rol van speler B. Dergelijke verklaringen blijken echter maar in beperkte mate op te gaan. Er zijn vanzelfsprekend wel verschillen tussen mensen, maar de verschillen in gedrag als gevolg van de grootte van de uitbetalingen in het spel zijn in het algemeen groter dan uit de (karakter)eigenschappen van personen (Snijders & Keren, 2001). Om die reden is er hier voor gekozen juist deze effecten van uitbetalingen te onderzoeken. Een tweede opmerkelijke bevinding is dat men zou kunnen denken dat het van groot belang is of de in het spel gegeven uitbetalingen daadwerkelijk worden uitbetaald. Immers, als er eigenlijk niets op het spel staat, is het voor deelnemers gemakkelijk om zich coöperatiever voor te doen dan ze zijn. Dit blijkt echter niet of nauwelijks zo te zijn.

Om de effecten van de uitbetalingen te omschrijven, blijkt het nuttig om twee constructen aan te maken: risico en verleiding. Om dit toe te lichten, bekijken we opnieuw de uitbetalingen in het spel uit Figuur 1:

waarbij steeds het getal voor de komma aangeeft wat speler A krijgt en na de komma wat speler B krijgt. Laten we deze uitbetalingen eens bekijken vanuit het gezichtspunt van speler A. Deze haalt uit het spel minimaal een opbrengst van 5 en maximaal een opbrengst van 75. Hij heeft als het ware 70 Euro (=75-5) te winnen. Als speler A speler B niet vertrouwt en rechts kiest, krijgt hij 35 en heeft daarmee al 30 (=35-5) van de maximaal te winnen 70 binnen. Als speler A voor beneden kiest, zet hij daarmee dus 43% (30/70) van de totaal voor hem te behalen winst op het spel. Dit percentage noemen we het risico voor speler A. Het is gelijk aan (35 – 5) / (75 – 5). Op soortgelijke wijze kunnen we voor ieder Trust Game de mate van risico voor speler A berekenen.

Nu speler B. Als speler B de beurt krijgt, kan hij een verschil tussen hemzelf en speler A laten ontstaan van maximaal 90 (=95–5). De meeste personen vinden het laten ontstaan van een verschil tussen henzelf en de ander vervelend. Aan de andere kant: als speler B rechts kiest dan krijgt hij 20 (=95-75) meer dan hij gekregen zou hebben als hij beneden had gekozen, en dat vinden de meeste personen begrijpelijkerwijs prettig. De verhouding tussen het bedrag dat speler B extra krijgt als hij rechts kiest en het verschil dat hij daarmee tussen hemzelf en speler A doet ontstaan, noemen we de verleiding voor speler B. Het is gelijk aan (95 – 75)/(95 – 5). Op soortgelijke wijze kunnen we voor iedere Trust Game de mate van risico voor speler B berekenen.

Eén van de resultaten uit eerder onderzoek is dat de variatie in keuzes die proefpersonen maken in sterke mate kan worden verklaard uit de variatie in de waardes van risico en verleiding (Snijders, 1996; Snijders & Keren, 2001). In dit onderzoek werd gekeken naar de keuzes van personen in 36 verschillende Trust Games met variërende waardes van risico en verleiding.


5 - De vergelijking laboratorium versus internetpanel



Eerst wat algemene resultaten uit het online veldwerk. Gemiddeld werd in 43% van de gevallen door spelers A gekozen voor het geven van vertrouwen (beneden), en in 44% van de gevallen door spelers B voor het honoreren van vertrouwen (beneden). Bij de verschillen tussen personen zien we bijvoorbeeld dat er verschillen zijn naar leeftijd. Ouderen geven en honoreren wat vaker vertrouwen dan jongeren. Tien jaar ouder komt gemiddeld genomen overeen met een netto toename in het geven en honoreren van vertrouwen van zo’n 4 à 5 procentpunten. Iets soortgelijks zien we als we kijken naar het opleidingsniveau. Hoger opgeleiden zijn geneigd minder vertrouwen te geven en te honoreren dan lager opgeleiden. Het verschil tussen een persoon met alleen lagere school en iemand met een academische opleiding is zo’n 3 à 4 procentpunten. Vergeleken met de effecten van de uitbetalingen zijn beide effecten klein, zoals we zullen zien.

De uitbetalingen in de sets Trust Games zijn zo gekozen dat er variatie ontstaat binnen sets in de waardes die risico en verleiding aannemen. We bekijken achtereenvolgens [1] de keuzes van spelers B afhankelijk van de waarde van verleiding, [2] de keuzes van spelers A afhankelijk van de waardes van risico en [3] de keuzes van spelers A afhankelijk van de waardes van verleiding voor speler B.


5.1 Het honoreren van vertrouwen als functie van de uitbetalingen

We bekijken eerst de keuze van spelers B afhankelijk van de waarde van verleiding in het Trust Game. Als de online resultaten overeen komen met de in de literatuur gevonden resultaten, zouden we hier moeten zien dat er een verband bestaat tussen de waarde van verleiding voor speler B en het percentage personen dat besluit om het gegeven vertrouwen niet te honoreren (= het percentage dat rechts kiest). Figuur 2 laat deze resultaten zien voor zowel de in de literatuur onderzochte Trust Games als de bij het online veldwerk onderzochte Trust Games.

We zien dat de mate waarin men geneigd is vertrouwen te honoreren inderdaad sterk afhankelijk is van de waarde van verleiding. Voor de online data (de onderste lijn in de grafiek) zien we dat het percentage misbruik van vertrouwen in zijn geheel iets lager ligt, en ook iets minder sterk stijgt met stijgende waardes van verleiding. Een regressieanalyse op het percentage misbruik van vertrouwen laat zien dat gemiddeld genomen de online gegevens 13 procentpunten minder misbruik van vertrouwen opleveren (statistisch significant p < 0.01, 95% betrouwbaarheidsinterval van 9 tot 18 procentpunten). Het effect van de verleidingswaarde verschilt significant tussen de online groep en de groep in het lab (p= 0.001). Het effect is in de online groep ongeveer half zo groot als in de labgroep.

Deels zijn de gevonden verschillen te verklaren uit de verschillen tussen de populaties. De labgroep bestond grotendeels uit studenten en dus uit jongere hoger opgeleiden. Als we de vergelijking opnieuw maken en ons beperken tot degenen in het online panel die jonger dan 25 en hoger opgeleid zijn, dan zien we dat de geneigdheid tot het misbruiken van vertrouwen tussen de beide groepen niet meer statistisch significant verschilt (p=0.32). Het effect van verleiding in de online groep is net niet meer statistisch significant (p=0.053) maar qua grootte nog steeds de helft van het effect van verleiding in de labgroep.


5.2 De mate waarin het geven van vertrouwen afhangt van het risico voor speler A

Een soortgelijke analyse maken we nu voor de keuzes van speler A. De keuzes van speler A om al dan niet speler B te vertrouwen worden in de labgroep voornamelijk (maar niet alleen) door de waarde van het risico voor speler A bepaald. In Figuur 3 op pagina 9 zien we het risico voor speler A afgezet tegen het percentage door spelers A gegeven vertrouwen voor zowel de labgroep als de PanelClix groep.

We zien hier opnieuw dat de grote lijn van de online resultaten overeen komt met die uit het lab. We verwachten een negatief verband: hoe groter het risico, des te lager het percentage spelers A dat het aandurft te vertrouwen.1 Deze analyse laat zien dat het geven van vertrouwen in de online groep gemiddeld ongeveer 12 procentpunten vaker voorkomt (een 95% betrouwbaarheidsinterval van 7 tot 18 procentpunten). Net zoals bij het honoreren van vertrouwen zien we dat het effect van risico op de geneigdheid vertrouwen te geven wat minder sterk is in de online groep dan in de labgroep (iedere 10 procentpunten extra risico doet de kans op het geven van vertrouwen dalen met ongeveer 8 procentpunten in de labgroep, en met 5 procentpunten in de online groep).

1 Figuur 3 is gebaseerd op een regressie-analyse met ook de verleiding voor speler B en interacties met een dummy-variabele ‘PanelClix’ als voorspeller (zie Bijlage 2). De figuur geeft de weergave van het risico voor speler A op de x-as, uitgezet tegen het percentage personen dat vertrouwen geeft, gecorrigeerd voor verschillen in de overige onafhankelijke variabelen.

Als we in de online groep de resultaten alleen berekenen voor de groep hoger opgeleide jongeren, dan verandert dit beeld slechts gedeeltelijk.We zien dan dat de geneigdheid om vertrouwen te geven tussen de online groep en de labgroep niet meer statistisch significant verschilt (p=0.48). Wat echter blijft is dat het effect van risico op de geneigdheid tot het geven van vertrouwen nog steeds sterker is in de labgroep dan in de online groep (p=0.007), al is het verschil tussen de groepen wat dit betreft wel kleiner dan als we de hele online groep ter vergelijking gebruiken.


5.3 De mate waarin het geven van vertrouwen afhangt van de verleiding voor speler B

Het laatste onderzoeksresultaat dat we in dit document bekijken is de mate waarin het geven van vertrouwen afhangt van de verleiding voor speler B. Immers, we mogen verwachten dat op het moment dat speler A zich afvraagt of hij speler B zal vertrouwen, hierbij ook de verleiding voor speler B een rol zal spelen. Een verrassend resultaat bij de in Snijders (1996) gerapporteerde experimenten was echter dat het effect van de verleiding voor speler B klein is ten opzichte van het effect van risico. Enigszins gechargeerd zou je kunnen zeggen dat in die experimenten bij de beslissing om vertrouwen te geven spelers A eigenlijk vooral kijken naar hun eigen uitbetalingen in het spel, en veel minder naar de verleiding waaraan speler B bloot staat. Om de orde van grootte van het verschil aan te geven: in de labgroep wordt gevonden dat een stijging in risico van 10 procentpunten leidt tot een gemiddelde afname in de geneigdheid tot het geven van vertrouwen van 8 procentpunten, terwijl een zelfde stijging in de verleiding voor speler B slechts leidt tot een gemiddelde afname van de geneigdheid tot het geven van vertrouwen van 2 procentpunten.

Figuur 4 laat zien hoe dit verband ligt in de labgroep en in de online groep.

Ook in deze derde analyse zien we dat het effect van de grootte van de uitbetalingen minder sterk is in de online groep. Het effect van de verleiding voor speler B op de geneigdheid tot het geven van vertrouwen door speler A is statistisch significant verschillend van nul (p=0.017) in de labgroep. In de online groep is het effect echter niet meer statistisch significant verschillend van nul.


6 - Conclusies en discussie



De voornaamste redenen waarom sommige sociale wetenschappers terughoudend zijn bij het gebruik van internetpanels bij hun onderzoek is dat in algemene zin de controle die de experimentator over de deelnemers heeft, afneemt. Wie precies de vragen invult, is niet helemaal zeker, en wat deze persoon behalve het invullen van de vragenlijst tegelijkertijd nog aan het doen is, is niet te controleren (één mogelijkheid om hiervoor ten minste enigszins te controleren is het de respondent gewoon te vragen en hiermee in de analyses rekening te houden).

De vergelijking van de resultaten van Trust Game experimenten in gecontroleerde laboratoriumomstandigheden versus deelnemers uit het PanelClix internetpanel levert de volgende conclusies op:2

  • Bij alle drie de vergelijkingen die we maakten, blijft de grote lijn van de resultaten behouden. Substantiële en statistisch significante effecten die werden gevonden in het laboratorium bleven bestaan indien de resultaten werden vergaard aan de hand van het internetpanel.
  • De grootte van alle drie de vergeleken effecten was minder uitgesproken in het online panel. Het in het laboratorium toch al kleine effect van de verleiding van speler B op het gedrag van speler A verdwijnt in de paneldata volledig. Voor een beperkt deel kan dit worden verklaard uit verschillen in de samenstelling van de populatie.

Tot slot moeten we benadrukken dat de resultaten en conclusies gepresenteerd in dit document niet zonder meer kunnen worden toegepast op elk willekeurig online veldwerk. Zo kunnen er verschillen optreden per panel en vanzelfsprekend ook per experiment. In dit onderzoek vinden we echter resultaten die overeen komen met de intuïtief aansprekende gedachte dat het uitvoeren van experimenten in het lab leidt tot min of meer dezelfde resultaten indien gebruik wordt gemaakt van internetpanels. Het gebrek aan controle over de proefpersonen bij online veldwerk lijkt zich te vertalen in iets minder sterke effecten. Dit suggereert dat voor al te subtiele effecten een internetpanel wellicht een minder gunstige keuze is. Anderzijds zou men kunnen beargumenteren dat om deze reden het gebruik van een internetpanel juist een sterke test van het onderzochte fenomeen oplevert. Indien de effecten worden gevonden in deze omgeving met minder controle is dat een sterk argument voor het bestaan ervan. In die zin kan wellicht het doen van experimenten via vragenlijsten aan een internetpanel worden gezien als een logische stap tussen strikt gecontroleerd experimenteel onderzoek en puur empirische toetsing via veldstudies.

2Hierbij moeten we ons realiseren dat we in het algemeen voornamelijk geïnteresseerd zijn in de mate waarin de binnen een experiment of vragenlijst gevarieerde factoren van invloed zijn op het gedrag van de respondent (en dus niet of in veel mindere mate in een vergelijking van bijvoorbeeld de absolute hoogte van het percentage personen dat vertrouwen geeft). De verschillen van zo’n 12 procentpunten tussen het lab onderzoek en het panel zijn in dezelfde orde van grootte als worden gevonden bij verschillende implementaties van een zelfde labonderzoek in twee laboratoria.


Referenties



Snijders, C. (1996) Trust and commitments. Amsterdam: Thela Thesis.

Snijders, C. en G. Keren (2001) Do you trust? Whom do you trust? When do you trust? In: S.R. Thye, E.J. Lawler, M.W. Macy and H.A. Walker (eds.), Advances in Group Processes 18. Amsterdam: JAI, Elsevier Science, 129-160.


Bijlagen



Bijlage 1: uitleg bij de Trust Games

De volgende vragen gaan over uw beslissingen in strategische situaties. Ze vereisen enige uitleg en het duurt daarom wat langer om ze te beantwoorden. Beantwoord de volgende vragen alleen als u bereid bent de korte introductietekst volledig en met aandacht te lezen.

Bekijk het volgende spel. Het spel is fictief, maar we vragen u om u zo goed mogelijk in te leven. We leggen het spel uit aan de hand van onderstaande figuur.

Dit is een spel met 2 spelers, speler A en speler B. Speler A mag beginnen. Speler A kan kiezen tussen twee richtingen, rechts en beneden. Als speler A rechts kiest, dan is het spel direct afgelopen; speler A en B krijgen dan allebei 35 Euro. Als speler A voor beneden kiest, dan is speler B aan de beurt. Als speler B vervolgens rechts kiest, dan krijgen speler A en speler B ieder 75 Euro. Maar, als speler B beneden kiest, dan krijgt speler A 5 euro, en speler B krijgt 95 Euro. We zullen u zodadelijk een aantal vragen stellen over wat u zou doen als u speler A of B zou zijn. Bekijk de situatie dus goed.

Stelt u zich voor: u bent speler A, en speler B is een willekeurig ander lid van PanelClix. Wat doet u? Kiest u voor rechts of beneden?

En: stelt u zich voor: u bent speler B, speler A is een willekeurig lid van PanelClix, en speler A heeft beneden gekozen. U bent dan aan de beurt. Wat kiest u? Kiest u voor rechts of voor beneden?

Precies dezelfde twee vragen: “Wat zou u doen als u speler A was?” en “Wat zou u doen als u speler B was?” zullen we u nu stellen voor nog 5 andere spelen met dezelfde structuur. Denk steeds goed na, en verplaats u steeds in de schoenen van beide spelers.


Bijlage 2: de belangrijkste analyseresultaten

Analyse 1: voorspelling van het percentage misbruik van vertrouwen, uitgesplitst naar online (PanelClix) gegevens en labgegevens

Analyse 2: voorspelling van het percentage geven van vertrouwen, uitgesplitst naar online (PanelClix) gegevens en labgegevens