Het verschil tussen online access panels en online burger panels

Expertise > Onderzoekspublicaties > Respons verhogend effect van aantrekkelijke vragenlijsten

Maaike Retra, Gerben Huijgen, Paulien Giesbertz



1 - Inleiding



Het zal niemand ontgaan zijn dat het aantal onderzoeken op het internet snel groeiend is en er wordt zelfs al verondersteld dat het de traditionele methodes van data verzameling geheel zal vervangen (Couper, 2000). Volgens NOPVO (2006) verloopt het merendeel van de dataverzameling online (meer dan 50%). Het meeste online veldwerk wordt tegenwoordig uitgevoerd met behulp van online veldwerkspanels (Göritz, 2004). In 2006 telde Nederland zelfs al meer dan 25 online research panels. Naast deze research panels ontdekken steeds meer grote organisaties en gemeenten de mogelijkheden van online veldwerk en richten hun eigen burger panel op om zo de mening van de burger te peilen.

Bij een burger panel draait het bij respondenten voornamelijk om de maatschappelijke betrokkenheid en omdat zij graag hun mening willen geven. De belangrijkste redenen voor respondenten om zich op te geven voor een access panel daarentegen is omdat zij het leuk vinden, om geld te verdienen en ook om hun mening over bepaalde onderwerpen te geven.

Verschillende studies hebben al aangetoond dat online veldwerk tot waardevolle resultaten kan leiden (Göritz & schumacher 2000, Göritz 2002). Deze studie onderzoekt de verschillen en overeenkomsten in resultaten tussen het burger panel en het access panel. Ontstaat er bijvoorbeeld door ‘zelfselectieonzuiverheid’ ongewenste paneleffecten, doordat respondenten vanuit een specifieke motivatie zich aanmelden bij het burger panel of het access panel?

In dit document worden de resultaten gepresenteerd van een studie uitgevoerd door I&O Research. De mensen die benaderd zijn voor dit onderzoek zijn afkomstig uit het panel van PanelClix en voor het burger panel uit het Enschedepanel. Via het Enschedepanel kunnen inwoners van Enschede gedurende één jaar tien keer hun mening geven over lokale kwesties.


2 - Het Onderzoek



2.1 Samenstelling steekproef

Om de verschillen tussen het online access panel en het burger panel te toetsen, is een identieke vragenlijst aan beide panels voorgelegd. Het aantal respondenten dat heeft meegewerkt binnen het Enschedepanel bedraagt 692 leden (356 mannen en 336 vrouwen). Binnen PanelClix hebben 444 respondenten (231 mannen en 213 vrouwen) aan het onderzoek meegewerkt. Om de resultaten te kunnen vergelijken heeft PanelClix alleen leden uitgenodigd die woonachtig zijn in Enschede.

Er zijn enkele verschillen waar te nemen in de samenstelling van de steekproef van beide panels. Zo heeft het burger panel in deze steekproef meer hoger opgeleiden (HBO+) die aan het onderzoek hebben meegedaan (42% van de steekproef; bij het access panel heeft 26% van de respondenten HBO+). De samenstelling van het huishouden van het Enschedepanel is m.b.t. deze steekproef ook verschillend van PanelClix. Het Enschedepanel bestaat voor meer dan 72,5% uit samenwonende mensen (hiervan heeft ongeveer 50% kinderen). Bij PanelClix vormen deze twee groepen bijna 60% van de steekproef, een andere grote groep zijn de alleenstaanden (23%). Het percentage mannen en vrouwen dat heeft meegewerkt aan het onderzoek is evenredig in beide panels (52% mannen tegenover 48% vrouwen). Verder ligt de gemiddelde leeftijd van de respondenten uit het Enschedepanel met een gemiddelde van 44,5 jaar hoger dan de gemiddelde leeftijd van PanelClix met 39,5 jaar. PanelClix heeft meer jongeren in de steekproef vertegenwoordigd dan het Enschedepanel (31% in de leeftijdscategorie 16 – 30 jaar tegenover 20%). De leeftijdsgroep 31 – 50 jaar is ongeveer gelijk (PanelClix: 43%, Enschedepanel: 46%). Tenslotte heeft het Enschedepanel meer ouderen in de leeftijd van 51+ in de steekproef vertegenwoordigd (34% tegenover 26% in het PanelClix panel).

Het veldwerk heeft in twee weken plaatsgevonden in de periode van 30 mei 2008 tot en met 9 juni 2008.


2.2 Opzet van de vragenlijst

    De online vragenlijst bestaat uit 46 vragen, waarin de volgende drie onderwerpen aan bod komen;
  • het gebruik en de voorkeur van veertien digitale participatiemiddelen (30 vragen). Hierbij wordt gemeten of respondenten bepaalde nieuwe media zouden gebruiken in de communicatie tussen overheid en burgers. Deze participatiemiddelen zouden nieuwe mogelijkheden kunnen bieden om politieke onderwerpen te bespreken, waardoor de kloof tussen kiezers en politiek kan worden verkleind. De respondent kreeg per participatiemiddel twee vragen gesteld (bij twee participatiemiddelen kreeg de respondent een extra vraag. (1. Zou u wanneer die mogelijkheid er is, gebruik maken van een…, 2. Indien zeker wel of waarschijnlijk wel geantwoord: ik zou … vooral gebruiken voor: *informatie ontvangen *informatie geven *mening geven *advies geven *meewerken aan het ontwikkelen van beleid *meebeslissen over beleid *anders)
  • correspondentie van burgers met overheidsinstellingen (afhankelijk of de respondent contact heeft gehad met een instelling kreeg de respondent acht vragen).
  • Als controlevariabele zijn er vragen gesteld over een generiek niet politiek gerelateerd onderwerp. Als onderwerp is gekozen om de respondenten enkele vragen over het Europees Kampioenschap Voetbal voor te leggen (dit zijn de laatste acht vragen, indien de respondent de EK wedstrijden niet zou volgen werden er zeven vragen gesteld).

2.3 Hypothesen

Aan de hand van de drie bovenstaande onderwerpen zullen de volgende hypothesen in deze studie worden getoetst:

H0: Er is geen verschil in voorkeur voor participatiemiddelen tussen leden uit het burger panel en leden uit het access panel.

H0: Er is geen verschil in correspondentie met overheidsinstellingen tussen leden uit het burger panel en leden uit het access panel

H0: Er is geen verschil in interesse in het EK tussen leden uit het burger panel en leden uit het access panel


3 - Resultaten



De vragen die deel uitmaken van de drie onderwerpen zijn getoetst met behulp van de T-toets en met de Chi-kwadraat toets. Uit de toetsen is naar voren gekomen dat er wel significante verschillen zijn op enkele vragen onderling, maar dat over het algemeen gesproken er meer overeenkomsten zijn tussen de twee panels dan verschillen. Van de 44 vragen zijn er tien significante verschillen gevonden in de resultaten tussen de panels en er zijn 34 vragen waar de resultaten met elkaar overeenkomen. In de volgende paragrafen wordt er verder ingegaan op de overeenkomsten en de significante verschillen.


3.1 Digitale participatiemiddelen

Het gebruik en de voorkeur van de veertien nieuwe digitale participatiemiddelen is aan de hand van 30 vragen gemeten. Deze vragen hebben getoetst of leden uit het access panel en leden uit het burger panel afwijkende antwoorden van elkaar hebben gegeven in relatie tot het gebruik van digitale participatiemiddelen. De respondenten is gevraagd of zij gebruik zouden maken van veertien verschillende participatiemiddel (getoetst aan de hand van de T-toets). En indien zij interesse toonden, kregen zij de vervolgvraag waarvoor ze het nieuwe participatiemiddel zouden gebruiken (getoetst door middel van de Chi-kwadraat toets). Verwacht kan worden dat leden uit het Enschedepanel meer belangstelling hebben voor het gebruik van deze nieuwe media dan leden uit het panel van PanelClix. Immers zij hebben zich specifiek voor dit panel opgegeven om meer betrokken te zijn met de stad Enschede en kunnen daardoor eerder gebruik willen maken van deze nieuwe participatiemiddelen om zo hun betrokkenheid te vergroten. Door het gebruik van de nieuwe digitale middelen kunnen zij eerder schakelen met de overheid om politieke onderwerpen te bespreken die betrekking hebben op hun stad. Leden uit een access panel hebben zich niet met deze specifieke belangstelling voor het panel opgegeven, waardoor deze nieuwe digitale middelen van ondergeschikt belang voor hun kunnen zijn.


3.1.1 Significante verschillen naar het gebruik van bepaalde digitale middelen

Aan de hand van de T-toets voor twee onafhankelijke steekproeven is er getoetst of de panels significante verschillen vertonen op het gebruik en de voorkeur van de diverse participatiemiddelen. Van vijf digitale middelen blijkt dat respondenten uit het burger panel de mogelijkheid om deze middelen te gebruiken anders beoordelen dan respondenten uit het access panel.

Er is een significant verschil gevonden in de resultaten die beide panels hebben gegeven met betrekking tot het gebruik van een GIS systeem (0,000 < 0,05). Door middel van het GIS systeem kunnen respondenten problemen in de wijk doorgeven. Op een kaart valt vervolgens te zien welke problemen gemeld zijn en wat de status daarvan is. Uit de resultaten komt naar voren dat 86,4% leden uit het burger panel hebben geantwoord dat zij gebruik zouden maken van een GIS systeem tegenover 69,8% leden uit het access panel (waarschijnlijk wel of zeker wel van deze dienst te gaan gebruiken).
De F-waarde van de Levene’s test is 1,548 en de significantie 0,214, wat inhoudt dat de significantie groter is dan α=0,05 oftewel dat de varianties niet van elkaar verschillen. De waarde van de T-toets voor equal variances assumed is -6,064. De tweezijdige overschrijdingskans bedraagt 0,000; dit betekent dat de nulhypothese met een zekerheid van 95% wordt verworpen en dat er dus een verschil is in beide panels wat betreft het gebruik van een GIS systeem.

Ook bij het gebruik maken van Wat stemt mijn raad is er een significant verschil in resultaten gevonden tussen beide panels (0,027 < 0,05). Op Wat stemt mijn raad vallen korte samenvattingen van raadsbesluiten te lezen, inclusief het stemgedrag van raadsleden. Hier is gebleken dat 50,7% van de leden uit het burger panel tegenover 40,6% van het access panel gebruik zouden maken van deze nieuwe media. Uit de Levene’s test komt naar voren dat de varianties niet significant van elkaar verschillen (0,644>0,05). De tweezijdige significantie bedraagt 0,027 ( < 0,05) wat inhoudt dat er een verschil is in beide panels wat betreft het gebruik van Wat stemt mijn raad.

Er is een significante afwijking gevonden in de resultaten met betrekking tot het gebruik van elektronisch stemmen (0,003). Bij elektronisch stemmen kan er via internet een stem worden uitgebracht, bijvoorbeeld bij de gemeenteraadsverkiezingen. Uit het burger panel geeft 87,9% van de respondenten aan dat zij gebruik zouden maken van elektronisch stemmen tegenover 82,4% respondenten van het access panel. De variantie tussen beide panels is niet aan elkaar gelijk (0,042 < 0,05). De tweezijdige significantie is 0,003 ( < 0,05) wat impliceert dat er een verschil is tussen de panels wat betreft het gebruik van elektronisch stemmen.

Tenslotte zijn er nog significante verschillen in de resultaten gevonden wat betreft het chatten en het uploaden van filmpjes. In de chatroom kan er gepraat worden met andere inwoners en raadsleden. 15,6% van de respondenten uit het burger panel geeft aan dat zij gebruik zullen maken van chatten tegenover 25,7% respondenten van het access panel. Het uploaden van filmpjes kan worden vergeleken met YouTube waar de mening over bepaalde onderwerpen via een filmpje kan worden gegeven. Hiervan geeft 13,8% van de respondenten uit het burger panel aan dat zij hiervan gebruik zullen maken tegenover 22,3% van het access panel.
Een verklaring dat respondenten uit het panel van PanelClix meer open staan voor chatten en het uploaden van filmpjes kan zijn doordat de respondenten relatief een stuk jonger zijn dan de respondenten uit het Enschedepanel. Jongeren zijn nu eenmaal meer van het chatten en het uploaden van filmpjes dan de ouderen en zullen hier eerder gebruik van maken.

Met de chi-kwadraat toets is vervolgens getoetst of er een statistisch verband is tussen beide panels en waarvoor de digitale middelen gebruikt gaan worden. De nulhypothese bij een dergelijke toets is altijd dat er geen verband is tussen de variabelen en dat beide variabelen (gebruik van media en beide panels) onafhankelijk van elkaar zijn. Bij twee van de veertien variabelen blijkt dat met een zekerheid van 95% er sprake is van een statistisch verband tussen de variabelen “gebruik digitale middelen” en “panels”. Deze verbanden zijn terug te vinden bij waarvoor leden de “e-petitie” (0,013 < 0,05) en “wat stemt mijn raad” (0,027 < 0,05) zouden gebruiken.

Bij het gebruik van de e-petitie zijn er bij twee antwoordcategorieën (“informatie ontvangen” en “advies geven”) significante verschillen tussen de panels gevonden. Respondenten hebben bij Wat stemt mijn raad afwijkende antwoorden gegeven op de antwoordcategorieën “informatie ontvangen” en “informatie geven”. Belangrijk is nu om te achterhalen hoe sterk deze vier significante verschillen zijn. De sterkte van de samenhang is gemeten aan de hand van de associatiemaat Cramér’s V. Uit de associatiemaat komt voor alle significante verschillen naar voren dat er sprake is van zeer zwak verband. (resp. “informatie ontvangen”: V=0,068; “advies geven”: V=0,079; “informatie ontvangen”: V=0,125 en “informatie geven”: V=0,076. Hieruit valt af te leiden dat er een zeer zwak verband is tussen het soort panel en waarvoor zij het digitale middel zouden gebruiken (met betrekking tot de vier antwoordcategorieën die significant verschillend zijn). Met andere woorden leden uit het panel van PanelClix en leden uit het Enschedepanel hebben deze twee vragen nagenoeg op dezelfde manier beantwoord en er valt dan ook weinig tot geen verschil in resultaten te ontdekken.


3.1.2 Overeenkomsten tussen de panels

Van het gebruik van de overige negen digitale middelen is gebleken dat er geen verschil is gevonden in de resultaten wat betreft het gebruik van deze nieuwe media. Zowel leden uit het access panel als leden uit het burger panel hebben hierop geen afwijkende antwoorden van elkaar gegeven. Daarnaast blijkt dat leden van het access panel ook openstaan voor het gebruik van de nieuwe media. Zij hebben aangegeven eerder gebruik te maken van het chatten en eerder filmpjes te zullen uploaden dan leden van het burger panel. Dit kan impliceren dat leden van het access panel net zo betrokken zijn als het gaat om het gebruik van nieuwe digitale media als leden van het burger panel. Daarnaast zullen leden van beide panels twaalf van de veertien nieuwe digitale media voor hetzelfde doel gaan gebruiken.

Aangezien van de 30 vragen er zeven vragen significante verschillen vertonen (hiervan tonen twee significante verschillen aan dat er nauwelijks een verband bestaat tussen het gegeven antwoord en het panel) kunnen wij de nulhypothese gedeeltelijk aannemen: Er is geen verschil in voorkeur voor participatiemiddelen tussen leden uit het burger panel en leden uit het access panel.


3.2 Correspondentie met overheidsinstellingen

Van de acht vragen die betrekking hebben op de correspondentie met overheidsinstellingen is gebleken dat bij één vraag een significant verband is gevonden. Bij de overige zeven vragen zijn er geen verschillen gevonden in de resultaten tussen leden uit het burger panel of leden uit het access panel. Drie van de acht vragen zijn getoetst met de chi-kwadraat toets en de andere vijf vragen zijn getoetst met de T-toets.


3.2.1 Significante verschillen in correspondentie met overheidsinstellingen

Met de chi-kwadraat toets is er getoetst of er een verband is tussen de correspondentie met de overheid en beide panels. Aan de respondenten van beide panels is gevraagd of zij de laatste zes maanden gecorrespondeerd hebben met de overheid. De waarde van de Chi-kwadraat (Pearson Chi-Square) bedraagt 4,077 en de overschrijdingskans is 0,043. Hieruit kan worden afgeleid dat met een betrouwbaarheid van 95% er een statistisch significant verband blijkt te zijn tussen de variabelen “correspondentie met de overheidsinstelling” en “het soort panel”. Belangrijk is nu om te achterhalen hoe sterk dit verband is. De sterkte van de samenhang is gemeten aan de hand van de associatiemaat Cramér’s V. Uit de associatiemaat komt naar voren dat er sprake is van een zeer zwak verband: V=0,060. Kortom er is nauwelijks een verband te vinden tussen beide panels met betrekking tot de mate waarin zij corresponderen met de overheid.


3.2.2 Overeenkomsten tussen de panels

De Chi-kwadraat en de T-toets tonen bij de overige zeven vragen geen verschillen in resultaten. Zo blijkt dat er geen verschil is tussen leden uit het burger panel en het access panel met welke overheidsinstelling zij gecommuniceerd hebben, of de correspondentie via e-mail of brief verliep, op de snelheid van de overheidsinstelling op de brief / e-mail, of er een ontvangstbevestiging werd verstuurd, op de wijze waarop het verzoek/de vraag werd afgehandeld, het rapportcijfer dat leden geven en het taalgebruik dat in de brieven/mails was gebruikt.

Aangezien het significante verschil dat er gevonden is, een zeer zwak verband vertoont kan de nulhypothese. Er is geen verschil in correspondentie met overheidsinstellingen tussen leden uit het burger panel en leden uit het access panel worden aangenomen.


3.3 Het EK

Als controlevariabele is ervoor gekozen om de respondenten ook enkele vragen voor te leggen over het EK. Dit is een onafhankelijke variabele waar geen maatschappelijke betrokkenheid aan te pas komt. Deze variabele zou dan ook geen verschil in resultaten moeten opleveren voor leden van het Enschedepanel en van PanelClix.

Van de acht vragen blijken er toch wel twee vragen significant verschillend te zijn. De overige zes vragen tonen geen verschillen. Er zal nu verder onderzocht worden hoe sterk deze significante verschillen zijn.


3.3.1 Significante verschillen in het EK

De Chi-kwadraat toets toont een significant verschil in de locatie waar respondenten het EK gaan volgen. In deze vraag blijkt de antwoordcategorie “thuis” en “elders” significant verschillend te zijn. De waarde van Chi-kwadraat bedraagt voor “thuis” 6,699 en de overschrijdingskans is 0,010. Uit de associatiemaat komt verder naar voren dat er sprake is van een zeer zwak verband: V=0,092. Voor elders bedraagt de overschrijdingskans 0,000 en de Cramér’s V is 0,155 wat impliceert dat ook hier sprake is van een zeer zwak verband.

Daarnaast is er ook een significant verband gevonden bij respondenten die denken dat Nederland door de voorronde heen komt. De waarde van de Chikwadraat is 4,774 en de overschrijdingskans is 0,029. Cramér’s V toont aan dat er ook hier sprake is van een zeer zwak verband (V:0,065). Geconcludeerd kan worden dat er door het nihile verband er geen verschil is in de resultaten die respondenten uit PanelClix of het Enschedepanel hebben gegeven op de vragen waar zij het EK gaan volgen of dat zij denken dat Nederland door de voorronde komt tussen.


3.3.2 Overeenkomsten tussen de panels

In de resultaten van zowel respondenten van het Enschedepanel als van Panel- Clix is gebleken dat er geen verschil is als het gaat om het wel of niet volgen van de wedstrijden van het EK, de mate van het volgen van het EK, hoe ver Nederland in het EK komt, of Boschker ten onrechte is afgevallen en of het terecht is dat Engelaar naar het EK mag.

Aangezien de significante verschillen die er gevonden zijn een zeer zwak verband vertonen kan de nulhypothese worden aangenomen; Er is geen verschil in interesse in het EK tussen leden uit het burger panel en leden uit het access panel.


4 - Conclusies en aanbevelingen



Voorafgaand aan dit onderzoek was de verwachting dat er grote verschillen zouden zijn in de resultaten van het access panel en het burger panel. De reden hiervoor is dat leden uit het burger panel door hun deelname aan dit panel meer maatschappelijk betrokken kunnen zijn dan leden van het access panel. Immers zij doen mee aan onderzoeken die specifiek van toepassing zijn op de stad Enschede en de onderzoeken van PanelClix zijn meer divers en betrekken meerdere soorten onderzoeken.

In tegenstelling tot onze verwachting is uit dit onderzoek gebleken dat er op een beperkt aantal vragen significante verschillen tussen beide panels te vinden is. Het merendeel van de vragen wordt door respondenten uit beide panels hetzelfde beantwoord. De verschillen die gevonden zijn bij bepaalde vragen onderschrijven daarnaast ook niet onze verwachting. Zo is bijvoorbeeld gebleken dat leden uit het PanelClix panel eerder gebruik zullen maken van de digitale middelen “chatten” en “het uploaden van filmpjes” dan leden uit het Enschedepanel. Een reden kan zijn dat de respondenten uit PanelClix in de steekproef jonger waren dan de respondenten uit het Enschedepanel. Jongeren zullen eerder media als chatten en uploaden positief benaderen aangezien zij hiermee meer bekend zijn dan de ouderen. Een conclusie die hieruit kan worden getrokken is dat leden uit het access panel even betrokken zijn als het gaat om het gebruik van nieuwe media om te communiceren met de overheid als leden uit het burger panel.

Dat er zo weinig verschillen zijn waar te nemen tussen de panels en dat de resultaten voornamelijk overeenkomsten vertonen verklaart dus dat de leden uit het access panel zich net zo verbonden voelen met de stad Enschede als leden die zich speciaal bij het burger panel hebben aangesloten. Uit dit onderzoek is gebleken dat leden uit het access panel over het algemeen dezelfde antwoorden hebben gegeven als leden die zich hebben aangesloten bij het burger panel.

Evenzo kan gesteld worden dat onderzoek uitgevoerd op burgerpanels dezelfde resultaten zullen opleveren als onderzoek uitgevoerd op generieke access panels. Paneleffecten ten gevolge van zelfselectie onzuiverheid zijn minimaal of afwezig.


Aanbeveling

In deze steekproef was het aantal jongeren en ouderen niet evenredig verdeeld onder het panel van PanelClix en het Enschedepanel. Hierdoor kan het zijn dat respondenten eerder of juist minder snel gebruik zouden maken van bepaalde digitale middelen. Immers digitale middelen als chatten en uploaden van foto’s zijn eerder voorbehouden aan jongeren en zij zullen deze media dan ook eerder positief beoordelen en gebruiken dan ouderen. Een aanbeveling voor toekomstig onderzoek is dan ook om de steekproef (grootte) van groepen die met elkaar vergeleken dienen te worden grotendeels gelijk aan elkaar te houden.


Referenties



Couper, Mick P. (2000) “Web-based surveys: A Review of Issues and Approaches.” Public Opinion Quarterly 64, 464-494

Göritz, A (2004) “Recruitment for online panels”. International Journal of Market Research Vol 46 Quarter 4

R. van Ossenbruggen, T. Vonk, P.Willems, Uitkomsten Nederlands Onlinepanel, Vergelijkingsonderzoek (NOVPO). 2006 www.nopvo.nl