Statistisk signifikans – det kan man designe sig til

Med små justeringer kan man få næsten et hvilket som helst eksperiment til at se signifikant ud. Psykologiske faldgruber og metodiske mangler ligger bag.


Forskningslitteraturen er spækket med eksempler på, hvordan vores forståelse af os selv og omverdenen næres af falske tanker og forudindtagede ideer. Psykologer og logikere har givet dem specifikke navne – f.eks. comfirmation bias, stråmandsfejlslutninger, eskalationseffekter, overlegenhedsillusioner, følgesætningsfejlslutninger, cirkelslutninger, rækkefølgebias og mange flere. Confirmation bias er f.eks. vores tendens til kun at opdage, acceptere og huske de data, som bekræfter det, vi allerede troede på fra start og omvendt ignorere, glemme og bortforklare de data, som modsiger vores oprindelige antagelser.

Den bedste måde at modgå de psykologiske faldgruber på er den videnskabelige metode, hvor man laver hypoteser, designer eksperimenter, analyserer data og be- eller afkræfter hypoteserne. Men det er stadig svært. Nogle gange resulterer et forsøg på at undgå én faldgrube blot i, at man havner i en anden.

Et af de steder, hvor det står værst til med den slags forblændelser, er i de discipliner, hvor man stadig bruger det statistiske signifikansbegreb. At et resultat er ‘statistisk signifikant’ betyder, at hypotesen understøttes af en test, der viser, at der er mindre end f.eks. 5 procents risiko for, at data er tilfældige. I lægemiddelforskningen arbejder mange nu om dage med et signifikansniveau på p #< 0,01 eller mindre, altså med 1 eller mindre end 1 procents risiko for at resultatet er tilfældigt, mens man i økonomien ofte er tilfreds med et signifikansniveau på p < 0,1 – altså 10 procent.

Al den talbehandling baserer sig på en antagelse om, at et eksperiment er relativt entydigt, og at de data, man får ud af en test, er objektive udsagn om en hypoteses styrke. Men det er langt fra tilfældet. Entydighed er nemlig en sjælden gæst i et laboratorieforsøg. Værst af alle fejl er de falsk positive resultater, som viser en effekt, når der i virkeligheden ikke er nogen. Disse fejl slipper ofte igennem til fagtidsskrifterne, fordi forskningssystemet er skruet sådan sammen, at det belønner resultater frem for ikke-resultater, og når resultaterne først har fundet vej til et publikum, er de svære at afkræfte igen. Det fører ofte til enormt ressourcespild, håbløse forskningsprojekter - og ikke mindst til forkerte politiske prioriteringer.

Læs hele artiklen med kommentarer på ing.dk

0 comments:

There was an error in this gadget