Item gefilterd op datum: december 2012

We spreken van testeffecten als de waargenomen verandering op de afhankelijke variabele niet door de interventie is veroorzaakt, maar door de voormeting zelf.

We spreken van rijping als het waargenomen effect niet veroorzaakt is door de interventie, maar door een (ander, autonoom) ontwikkelingsproces binnen de respondenten.

We spreken van een history-effect als gelijktijdig met de interventie iets heeft plaatsgevonden waardoor de respondenten beïnvloed zijn. Wat het waargenomen effect mede heeft veroorzaakt.

Deze betreft de vraag of de gevonden samenhang statistisch significant is. In z’n algemeenheid kunnen we hierbij 2 typen fouten maken. Als de nulhypothese waar is en we beslissen deze aan te nemen is dit goed, dit geldt ook andersom. Maar;

• Als de nulhypothese waar is, en we beslissen de alternatieve hypothese aan te nemen, nemen wij de verkeerde beslissing. D1e kans op deze fout bepalen we als onderzoeker zelf; dit wordt de α of type-I-fout genoemd. Deze hebben we zelf bepaald door te beslissen welk risico we durven te lopen op een foute uitspraak. De juiste beslissing is gelijk aan 1 – α
• Als de alternatieve hypothese waar is en we besluiten H0 te handhaven dan is de kans daarop β en een type-II-fout. Hoe groot β is, hangt af van allerlei factoren, zoals α, de grootte van de steekproef en het werkelijke verschil tussen de grootheden.
• We doen telkens conditionele uitspraken: als H0 waar is, dan is de kans een fout te maken… We zeggen nooit dat de kans om een juiste beslissing te nemen x% is. Omdat we niet weten of H0 of H1 waar is, elke uitspraak is conditioneel. De kans … op een juiste uitspraak is dus onzin.
• Het kan verder zijn dat we een te kleine steekproef hebben om aan te tonen dat er een verband bestaat tussen X en Y.
• Te groot kan ook. Als de steekproef fors genoeg is, wordt ieder verband significant.
• Ruis in de data kan zorgen dat een bestaande samenhang verdwijnt.

Assumpties van de toetsingsprocedure kunnen zijn geschonden, gegevens zijn dan bijv. niet normaal verdeeld terwijl dit wel is aangenomen.

Validiteitskwesties hebben verband met de onderzoeksopzet. Dat wil zeggen dat het ene soort onderzoeksopzet een betere validiteit van het ene type garandeert dan het andere soort onderzoeksopzet.

• Dit is de “ideale situatie”, er is sprake van door de onderzoeker toegediende interventie, een experimentele en controlegroep, tevens door de onderzoeker ingedeeld. Er is een voor en nameting -> klassiek experiment.
  
  
• Doorgaans worden de groepen op grond van toeval ingedeeld.
• Omdat we willen dat er geen systematische verschillen tussen de experimentele en controlegroep zijn is er sprake van een indeling at random of aselecte indeling.

• Om het effect van interventie te isoleren, het alleen verschillen op interventie – randomiseren we de indeling van groepen. Deze aselecte indeling geeft de garantie dat de groepen niet-systematisch verschillen  ze zijn statistisch equivalent – verschillen zijn op grond van toeval tot stand gekomen, de enige systematische verschillen zijn er vanwege de interventie.
• We hebben hier dus een situatie bereikt waar de verandering in de experimentele groep mag worden afgezet tegen de verandering in de controlegroep. Doordat we observatie-eenheden aselect aan de onderzoeksgroepen toewijzen, de zogenaamde randomisatie, zijn groepen vergelijkbaar.
• Het schematische ontwerp van een experiment:
• E1… X … E2 met controlegroep: C1 …. ….. C2
• Aangezien de verandering in de controlegroep (C2 – C1) de verandering is die in de experimentele groep zou zijn opgetreden als daar de interventie niet had plaatsgevonden, is de verandering in de experimentele groep min die van de controlegroep het netto-effect van de interventie:
• Netto-effect X = (E2 – E1) – (C2 – C1)
• De verandering in de experimentele groep is de bruto-verandering (de verandering die men sowieso ondergaan zou hebben plus de verandering ten gevolge van de interventie).
• De verandering in de controlegroep is de verandering die men sowieso ondergaat, en het verschil tussen die twee is de netto-verandering.
• Bij conclusies trekken geldt: Humility is a virtue, te snelle klakkeloze acceptatie van onderzoeksbevindingen kan leiden tot niet snel terug te draaien gevolgen.

• Bij dit experiment doet een vergelijkingsgroep zijn intrede, die we nodig hebben om een causaal verband te kunnen leggen tussen interventie en de afhankelijke variabele. o Experimentele groep = groep die interventie krijgt o Controlegroep = groep zonder interventie, ter vergelijking.-> Onderzoeker kan niet zelf de groepen indelen, maar moet het doen met bestaande groepen (schoolklassen, buurten etc.). Alle verschil tussen de eerste en tweede groep kunnen we in beginsel toeschrijven aan interventie, mits experimentele en controlegroep alleen verschillen op het wel/niet krijgen van interventie.

• Omdat een deel van het onderzoek zich buiten de controle van de onderzoeker afspeelt zou men kunnen zeggen dat het bijna-experimenteel onderzoek is.
• Aan het lidmaatschap van de experimentele of controlegroep kunnen nog allerlei andere kenmerken ‘kleven’ die de uitkomst op afhankelijke variabelen mede bepalen.
• Deze aspecten zijn daarmee confounded met interventie. Er zijn twee manieren om met dit probleem om te gaan:
• Het achteraf verrekenen van verschillen – het succes van deze methode hangt af van een voldoende grote steekproef en van identificatie van de juiste verstorende variabele.
• Het zo vergelijkbaar mogelijk maken van de groepen door bijv. respondenten te ‘matchen’. Per experimentele respondent met bepaalde kenmerken plaats men zo’n zelfde respondent in de controlegroep. Problemen hier zijn:
• We matchen misschien op kenmerken A, B, C, D maar het interventie kenmerk is H.
• Als er teveel kenmerken zijn om op te matchen, dan wordt dit een ondoenlijke aangelegenheid.
• Matchen leidt tot selectie van extreme groepen respondenten, hetgeen gevaar voor regressie naar het gemiddelde oplevert.
• De experimentele of controlegroep kunnen we ook i.p.v. op persoon, op groepsniveau te matchen. Als de match niet op individuen maar per groep gaat noemt men de methode blocking.

• Bij dit onderzoek zijn we niet in staat de interventie te manipuleren. We kunnen niet bepalen aan wie interventie wordt uitgedeeld en we kunnen ook de groepen voor wel/geen interventie niet samen stellen.
  
  
• Problemen om eventuele veranderingen aan interventie toe te schrijven. Een teveel aan rivaliserende verklaringen kan een interventie (oorzaak) doen stranden.
  
  
• Met behulp van additionele metingen verzameld in een zogenaamd tijdreeksdesign kunnen we in ieder geval een aantal rivaliserende verklaringen uitsluiten.
  
  
• Een unieke gebeurtenis, die normaliter om ethische of praktische redenen niet in onderzoek te creëren zou zijn, wordt natuurlijk experiment genoemd (nucleaire ramp, vuurwerkramp, orkaan etc.).

Aan kwantitatieve opzetten voor causale samenhang liggen een aantal veronderstellingen ten grondslag:

• Observatie-eenheden zijn replicaties van dezelfde structuur
• Dit maakt het mogelijk om onze bevindingen over een steekproef uit de populatie over de gehele populatie van toepassing te verklaren.
• Observatie-eenheden vertonen onafhankelijk van elkaar het te onderzoeken gedrag
• Mocht het zo zijn dat respondenten onder invloed van elkaar bepaald gedrag vertonen, dan kunnen we niet meer zuiver bij de respondenten de scores op de afhankelijke variabele meten en hebben ze geen functie meer als replicatie van een bepaalde structuur.

• De groep observatie-eenheden is representatief voor een populatie
• Observatie-eenheden werken mee, en vertonen hun natuurlijk gedrag
• Mocht het zo zijn dat de metingen obtrusive zijn, dan zijn we niet goed meer in staat de eigenschap te meten die we willen meten.

• In een onderzoeksontwerp worden variabelen onderscheiden naar de rol die zij spelen. Een bepaalde variabele neemt dus niet altijd dezelfde rol aan.
  
  
• De afhankelijke variabele kan nooit gemanipuleerd worden door de onderzoeker; scores op de afhankelijke variabele zijn het resultaat van, de respons op, de onafhankelijke variabele.
• Het is niet zo dat de onafhankelijke variabele altijd gemanipuleerd kan worden door de onderzoeker (bij observationeel onderzoek kan dit bijv. niet). Een onafhankelijke variabele is in dat geval de variabele waarvan verondersteld wordt dat die leidt tot een verandering in de scores op de afhankelijke variabele.

• De onafhankelijke variabele wordt gemanipuleerd door verandering in de afhankelijke variabele, deze veranderingen komen al dan niet van de onderzoeker.
• Interventie wordt gebruikt voor een stimulus die gegeven wordt aan personen, organisaties etc. die tot doel heeft iets te veranderen bij de analyse eenheden (afhankelijke variabelen). Interventie is in die zin gelijk te stellen aan een onafhankelijke variabele, die als categorieën heeft: wel de interventie gekregen, niet de interventie gekregen. -> Interventies kunnen in verschillende doseringen gegeven worden.
• Om effecten van interventies te vinden moeten we vrijwel altijd twee metingen verrichten. Een vóór het intreden van de toediening, en een na de interventie.
• De verandering tussen voor- en nameting kan verdwijnen in de ‘ruis’: de gevolgen van interventie kunnen zo niet meer zijn dan de variatie die de scores al vertoonden.
• Het verbinden van conclusies aan een kale voor- en nameting zonder nadere inspectie van de scores is een moeilijke zaak. Het gaat er namelijk niet om vast te stellen of er een verandering intreedt op de scores van afhankelijke variabele, maar dat het erom gaat vast te stellen dat die verandering is toe te schrijven aan de onafhankelijke variabele, i.c. de interventie.
• De oplopende controle van onderzoeksopzetten vertaald zich in oplopende hardheid van uitspraken die over het causaal verband tussen de interventie en afhankelijke variabelen kunnen worden gedaan. De opzetten zijn:
• Observationeel design
• Quasi experimenteel design
• Experimenteel design