Validiteitskwesties hebben verband met de onderzoeksopzet. Dat wil zeggen dat het ene soort onderzoeksopzet een betere validiteit van het ene type garandeert dan het andere soort onderzoeksopzet.

• Dit is de “ideale situatie”, er is sprake van door de onderzoeker toegediende interventie, een experimentele en controlegroep, tevens door de onderzoeker ingedeeld. Er is een voor en nameting -> klassiek experiment.
  
  
• Doorgaans worden de groepen op grond van toeval ingedeeld.
• Omdat we willen dat er geen systematische verschillen tussen de experimentele en controlegroep zijn is er sprake van een indeling at random of aselecte indeling.

• Om het effect van interventie te isoleren, het alleen verschillen op interventie – randomiseren we de indeling van groepen. Deze aselecte indeling geeft de garantie dat de groepen niet-systematisch verschillen  ze zijn statistisch equivalent – verschillen zijn op grond van toeval tot stand gekomen, de enige systematische verschillen zijn er vanwege de interventie.
• We hebben hier dus een situatie bereikt waar de verandering in de experimentele groep mag worden afgezet tegen de verandering in de controlegroep. Doordat we observatie-eenheden aselect aan de onderzoeksgroepen toewijzen, de zogenaamde randomisatie, zijn groepen vergelijkbaar.
• Het schematische ontwerp van een experiment:
• E1… X … E2 met controlegroep: C1 …. ….. C2
• Aangezien de verandering in de controlegroep (C2 – C1) de verandering is die in de experimentele groep zou zijn opgetreden als daar de interventie niet had plaatsgevonden, is de verandering in de experimentele groep min die van de controlegroep het netto-effect van de interventie:
• Netto-effect X = (E2 – E1) – (C2 – C1)
• De verandering in de experimentele groep is de bruto-verandering (de verandering die men sowieso ondergaan zou hebben plus de verandering ten gevolge van de interventie).
• De verandering in de controlegroep is de verandering die men sowieso ondergaat, en het verschil tussen die twee is de netto-verandering.
• Bij conclusies trekken geldt: Humility is a virtue, te snelle klakkeloze acceptatie van onderzoeksbevindingen kan leiden tot niet snel terug te draaien gevolgen.

• Bij dit experiment doet een vergelijkingsgroep zijn intrede, die we nodig hebben om een causaal verband te kunnen leggen tussen interventie en de afhankelijke variabele. o Experimentele groep = groep die interventie krijgt o Controlegroep = groep zonder interventie, ter vergelijking.-> Onderzoeker kan niet zelf de groepen indelen, maar moet het doen met bestaande groepen (schoolklassen, buurten etc.). Alle verschil tussen de eerste en tweede groep kunnen we in beginsel toeschrijven aan interventie, mits experimentele en controlegroep alleen verschillen op het wel/niet krijgen van interventie.

• Omdat een deel van het onderzoek zich buiten de controle van de onderzoeker afspeelt zou men kunnen zeggen dat het bijna-experimenteel onderzoek is.
• Aan het lidmaatschap van de experimentele of controlegroep kunnen nog allerlei andere kenmerken ‘kleven’ die de uitkomst op afhankelijke variabelen mede bepalen.
• Deze aspecten zijn daarmee confounded met interventie. Er zijn twee manieren om met dit probleem om te gaan:
• Het achteraf verrekenen van verschillen – het succes van deze methode hangt af van een voldoende grote steekproef en van identificatie van de juiste verstorende variabele.
• Het zo vergelijkbaar mogelijk maken van de groepen door bijv. respondenten te ‘matchen’. Per experimentele respondent met bepaalde kenmerken plaats men zo’n zelfde respondent in de controlegroep. Problemen hier zijn:
• We matchen misschien op kenmerken A, B, C, D maar het interventie kenmerk is H.
• Als er teveel kenmerken zijn om op te matchen, dan wordt dit een ondoenlijke aangelegenheid.
• Matchen leidt tot selectie van extreme groepen respondenten, hetgeen gevaar voor regressie naar het gemiddelde oplevert.
• De experimentele of controlegroep kunnen we ook i.p.v. op persoon, op groepsniveau te matchen. Als de match niet op individuen maar per groep gaat noemt men de methode blocking.

• Bij dit onderzoek zijn we niet in staat de interventie te manipuleren. We kunnen niet bepalen aan wie interventie wordt uitgedeeld en we kunnen ook de groepen voor wel/geen interventie niet samen stellen.
  
  
• Problemen om eventuele veranderingen aan interventie toe te schrijven. Een teveel aan rivaliserende verklaringen kan een interventie (oorzaak) doen stranden.
  
  
• Met behulp van additionele metingen verzameld in een zogenaamd tijdreeksdesign kunnen we in ieder geval een aantal rivaliserende verklaringen uitsluiten.
  
  
• Een unieke gebeurtenis, die normaliter om ethische of praktische redenen niet in onderzoek te creëren zou zijn, wordt natuurlijk experiment genoemd (nucleaire ramp, vuurwerkramp, orkaan etc.).