Niet duidelijk wat men wil bereiken, en dus is niet te bepalen wat de afhankelijke variabele is.

De impact assessment bekijkt strikt genomen alleen de laatste fase: welke effecten zijn bewerkstelligd met de interventie?

• In de praktijk is het dus verstandig om bij een impact assessment een procesevaluatie mee te nemen.

Bestrijkt de keten tot en met de output, hier wordt bekeken of het gelukt is losjes geformuleerd de plannen uit te voeren zoals voorzien.

• Modellen voor overleving hebben gebeurtenissen die maar 1 keer kunnen voorkomen (zoals overlijden) dit zijn non-repeatable events.
  
  
• Er bestaan ook technieken om niet alleen de duur tot een eerste recidive te analyseren, maar om ook volgende relevante gebeurtenissen mee te analyseren. – Dit wordt een repeated events overlevingsduuranalyse genoemd. – Modellen di het mogelijk maken om door de tijd variërende predictoren mee te nemen worden aangeduid als Cox-regressie met tijdafhankelijke covariaten.

• Het is mogelijk om diverse soorten gebeurtenissen mee te nemen in één multivariate analyse. Dit kan bijvoorbeeld als afzonderlijke studies regelmatig niet-significante effecten rapporteren. Men kan proberen om voor een bepaald terrein de resultaten uit verschillende studies te integreren en tot een overkoepelende conclusie te komen  narrative review, diverse complicaties kunnen echter optreden:
• De procedure waarmee de studies worden geselecteerd zijn niet helder.
• Reviews zijn te sterk gericht op de vraag of het effect significant is of niet, beter zou het zijn om te kijken naar de grootte van het gevonden effect.
• Reviews leiden tot vote-casting. Dergelijke simpele optelsommen van voors en tegens laten inferieure resultaten zien, in statistische termen: de statistische power is te laag.
• Het is een flinke opgaaf alle releavante studies te selecteren en te lezen.
• De techniek die dit soort bezwaren probeert te ondervangen is de meta-analyse. De systematische analyse van een groot aantal analyses.
• Via een systematische zoekmethode wordt geprobeerd alle resultaten boven tafel te krijgen.
• Uit elke studie wordt een centrale effectmaat gedestilleerd.
• Hieruit wordt één gecombineerde effectmaat gedestilleerd. – De weging van de effectmaat is meestal aan de hand van de precisie waarmee de studie het resultaat rapporteert. Grote opgezette methodologisch sterke studies krijgen een zwaardere stem.
• Voor een meta analyse zoekt men het volledige reservoir aan studies dat aan minimale kwaliteitsvereisten voldoet. Men integreert de bevindingen tot één getal, rekening houdend met de verschillende gewichten van de studies.
• Haken en ogen aan de meta-analyse zijn:
• Hoe weten we zeker dat we alle studies te pakken hebben (en de juiste gegevens gebruiken).
• Studies met de conclusie ‘geen effect’ worden minder gepubliceerd -> publication bias
• Studies worden in het grijze circuit gepubliceerd -> file drawer problem
• Funnel Plot -> om dit effect tegen te gaan. Een grafiek waarin de sample size op de Y-as is gezet en de effect size op de X as.
• Fail-safe number -> De berekening van het hypothetische aantal studies dat niet gepubliceerd is en het tegendeel bewijst dat nodig is om de conclusie van de meta-analyse te verwerpen. Een kritieke waarde wordt gebruikt voor het fail-safe number, ligt het hierboven dan mogen we aannemen dat de ongepubliceerde studies niet in staat waren geweest de conclusie anders te laten luiden. De formule voor het fail-safe number: 5k + 10, met k als het aantal in meta analyse geanalyseerde studies.
• Kwalitatieve vergelijkbaarheid studies
• Verschillende effectmaten of verschil in operationalisatie
• Een niet significant effect (geen getallen om mee te rekenen)
• Kleine studies
• Verschillende resultaten
• In 2000 is de CCJG Cambell Collaboration Crime and Justice Group opgericht. Een samenwerkingsverband van criminologen uit diverse landen van de wereld, met als doel systematische reviews te vervaardigen, updaten en verspreiden over alle onderwerpen die verband houden met het terugdringen van criminaliteit en verbetering van het strafrechtelijk proces.
• Naast de besproken methoden zijn er nog andere analysemethoden in de criminologie:
• Capture re-capture methode
• Het kan zo zijn dat de kans om een tweede keer gepakt te worden kleiner of groter wordt door de eerste keer gepakt te zijn. Dit wordt besmetting genoemd.
• Multilevel modellen (houdt rekening met gelaagdheid door per laag een regressiemodel te specificeren
• Tot nu toe zijn we er van uit gegaan dat gegevens die geanalyseerd zijn onafhankelijke waarnemingen uit de populatie zijn. Bij longitudinaal onderzoek wordt deze assumptie geschonden. Aparte toetsen zijn nodig.
• Eenzelfde kwestie kan zich voordoen als de gegevens niet tijds- maar ruimtelijk afhankelijk zijn.