Effectgrootte

Cohen's 'd'

De bekendste index voor effectgrootte is Cohens 'd'. Deze maat kan zowel een negatieve als een positieve waarde hebben. Bij een positieve waarde wijst de index op een gunstig effect van de interventie, bij een negatieve waarde is het effect averechts. In theorie kan het indexcijfer elke waarde aannemen, maar meestal schommelt 'd' tussen -2.0 en +2.0. 

De index leidt geregeld tot misverstanden. Zo is het de vraag hoe een effectgrootte van bijvoorbeeld .40 geïnterpreteerd moet worden. Is dat wel of geen goed resultaat? Onderstaand schema, gebaseerd op een publicatie van Cohen, biedt vuistregels om het indexcijfer te interpreteren.

Interpretatie Cohen's 'd'

De vraag wat een effectgrootte van .40 betekent, is nu eenvoudig te beantwoorden: het is een klein effect.

Beter of slechter af

Onderzoekers vertalen de effectgrootte 'd' nogal eens in het percentage behandelde cliënten dat beter of slechter af is dan de niet-behandelde cliënten. De Ierse psycholoog Alan Carr (2000) en de Amerikaanse psychologen Kathleen McCartney en Robert Rosenthal (2000) hebben daarvoor een omzettingstabel voorgesteld die makkelijk te hanteren is.

Vuistregels Cohen's 'd'

Bij een effectgrootte van .40 mogen we dus volgens hen verwachten dat ongeveer 20 procent van de cliënten met de interventie beter af is dan de cliënten in de vergelijkingsgroep. Er zijn ook andere omzettingsmethoden.

Groot is goed?

Een middelgrote tot zeer grote 'd' kan veel indruk maken. Maar dat wil nog niet zeggen dat de interventie bij veel cliënten tot 'genezing' leidt. Een mooi voorbeeld daarvan zijn enkele vormen van intensieve pedagogische thuishulp. Onderzoek laat zien dat het effect op de gedragsproblemen bij kinderen uitkomt boven d = .50. 

Bij nadere beschouwing blijkt dat de gedragsproblemen bij veel kinderen bij het begin van de hulpverlening extreem ernstig waren en bij afsluiting van de hulp nog 'slechts' ernstig. De hulp levert dus wel resultaat op, maar nog niet genoeg om volledig 'genezen' te zijn of alleen maar milde klachten te hebben.

Klein maar fijn?

Daar staat tegenover dat kleine effecten niet per definitie waardeloos zijn. Zo kan een klein resultaat waardevol zijn bij risico's of problemen die zich moeilijk laten aanpakken. Ook de mate waarin een interventie leed of ellende kan voorkomen, kan een reden zijn dat een klein effect toch belangrijk is. Een effectgrootte van .40 voor een interventie ter voorkoming van kindermishandeling betekent dat een aantal kinderen ernstig leed is bespaard.

De ene effectgrootte is de andere niet

De Cohen's d is niet de enige index die wordt gebruikt. Er bestaan verschillende formules voor de berekening van de effectgrootte. Die kunnen sterk verschillende uitkomsten laten zien. Er is dus voorzichtigheid geboden bij de vergelijking van effectsizes die in verschillende onderzoeken worden genoemd. Dat geldt vooral als de effectsize is berekend op alleen een voor- en nameting zonder controlegroep. 

Onderzoek laat zien dat de hoogte van de effectsize dan sterk afhankelijk is van de score op de voormeting: wijst deze op weinig problematiek, dan zal de effectsize laag zijn, wijst deze op veel problematiek, dan is over het algemeen de effectsize een stuk hoger. Dit is vergelijkbaar met de groei in rapportcijfers: als een leerling start met een zeven op tien is de groei beperkter dan wanneer de leerling start met een drie op tien.

Cohen's d wordt gebruikt wanneer we de verandering op een (interval) meetschaal kunnen uitdrukken. Wanneer het gaat om veranderingen in frequenties wordt de Odds Ratio gehanteerd. De Odds betreft het aantal keren dat er verbetering optreedt in de interventiegroep ten opzichte van het aantal keren dat er geen of nauwelijks verbetering optreedt. In de Odds Ratio wordt dan deze verhouding gedeeld door diezelfde verhouding in de controle- of vergelijkingsgroep. Het gaat hier dan om een verhouding van de kans op verbetering door de interventie ten opzichte van de kans op verbetering zonder interventie.