Erkendelsesteori og den videnskabelige metode

P-værdier har deres udspring i erkendelsesteori, og for at forstå kritikken af p-værdierne er det værd at starte med at genopfriske erkendelsesteorien og den videnskabelige metode.

Den videnskabelige proces til at erhverve ny viden er skitseret i figuren nedenfor. Udgangspunktet er typisk en problemstilling, hypotese eller en forestilling omkring verdenen, som man ønsker at undersøge nærmere. Næste skridt er at planlægge, hvordan man vil undersøge hypotesen. Derefter indsamles data, der efterfølgende analyseres, og resultaterne sammenfattes. På dette tidspunkt er man (forhåbentlig) blevet lidt klogere på verden, og opfattelsen af problemstillingen er blevet ændret af de resultater, der er hevet ud af data. Den nye opfattelse giver anledning til nye spørgsmål/hypoteser/problemstillinger, som det er værd at undersøge i nye forsøg.

Figur 1: Den videnskabelige proces er dynamisk og dækker: 1) formulering af problemet, der ønskes belyst, 2) planlægning af forsøget og dataindsamlingen, 3) dataindsamling, -organisation og -rensning, 4) statistisk analyse og visualisering og 5) konklusion og opsummering af fund. Resultatet af processen betyder, at vi opdaterer vores viden og opfattelse af problemstillingen, hvilket giver anledning til at processen kan starte igen med afsæt i vores nye viden.

Den videnskabelige erkendelsesproces er med andre ord tænkt at være kontinuerlig og vedvarende, og som udgangspunkt forventes det ikke, at man kommer med en endelig, definitiv konklusion på baggrund af et enkelt forsøg. Først når en hypotese har vist sig at holde vand, efter at vi på bedst mulige vis har forsøgt at få den til bryde sammen, tror vi på påstanden eller hypotesen. Det er derfor, at resultaterne af et forsøg skal valideres i andre studier ved for eksempel at replicere resultaterne eller ved at sammenfatte evidensen på tværs af studier ved hjælp af metaanalyser.

Hvis den datagenererende proces, der producerer observationerne i en stikprøve, er kendt11 Sat på spidsen kunne vi sige, at hvis den datagenererende proces var kendt så behøvede vi slet ikke at undersøge noget. Så kendte vi jo allerede mekanismen, der er årsag til data i stikprøven., så betyder det, at vi kan udregne, hvor stor sandsynlighed, der er for forskellige udfald. Det er muligt at lave deduktive slutninger, fordi den datagenererende proces fuldstændig specificerer de præmisser, der måtte være for data i stikprøven, og for det system, der skal beskrives.22 Det er samme type slutninger, som benyttes indenfor matematik: hvis vi opstiller et sæt af aksiomer, hvad kan vi udlede på baggrund af logiske slutninger, som vi herefter ved gælder.

I de fleste videnskabelige forsøg benyttes imidlertid induktive slutninger eller den empirisk-induktive metode, da man netop ikke kender den datagenererende proces. Vi kan have en ide om, hvordan verden hænger sammen, men i praksis må vi tage udgangspunkt i de data vi har observeret og så se, om vi kan gætte en model, der kan tilnærme den ukendte datagenererende proces, og som kan beskrive de overordnede trends i data. Problemstillingen er vist nedenfor, og som vi skal se senere, så spiller forskellen mellem deduktive og induktive slutninger ind i debatten omkring p-værdierne.

Figur 2: Den datagenererende proces er årsag til de målinger, der observeres. Det svarer til den typiske situation indenfor matematik og sandsynlighedsregning, hvor man ud fra et sæt præmisser (den datagenererende proces) kan udtale sig om det forventede udfald. I forbindelse med de fleste videnskabelige forsøg benytter man statistisk til at gå den anden vej: vi kan se observationerne men har brug for at gætte/finde en rimelig beskrivelse af den datagenererende proces.

Hvad er det nu en p-værdi er?

Kirkwood og Sternes bog om Medical Statistics anvendes som undervisningsmateriale på flere studieretninger på KU SUND, og bogens formulering af en p-værdi kan man også læse i mange andre lærebøger:

The p value is the probability of having obtained a result at least as extreme as the one found with our sample if the null hypothesis were true. — Kirkwood & Sterne

En pointe, der sjældent bliver understreget i statistiklærebøger er, at når man siger “if the null hypothesis were true” så udtaler man sig ikke bare om en antagelse omkring eksempelvis en enkelt parameter, men om hele modellen, og dermed også som den forestilling om verden, som analytikeren i øvrigt gør sig. Dette kan understreges ved at pointere det i definitionen:

1. Hvis nulhypotesen er sand,
2. og alle andre antagelser omkring modellen også er sande,
3. så er p-værdien sandsynligheden for at observere noget, der er mindst lige så ekstremt som det, du har i din stikprøve.

Med andre ord vurderer p-værdien ikke kun selve nulhypotesen, men sammenligner data med hele modellen.33 Man kan selvfølgelig argumentere for, at når man taler om “nulhypotesen”, så er det underforstået, at man mener hele modellen inklusiv restriktioner af (nogle af) parametrene, men det er ikke min opfattelse, at der er særlig mange (hvis nogen?), der tænker på nulhypotesen på denne brede måde. De fleste tænker på nulhypotesen, som restriktioner omkring en enkelt parameter. Hvis p-værdien er lille kan det derfor enten skyldes, at man har været uheldig og har observeret noget sjældent, at nulhypotesen er forkert, at modellen er forkert eller en kombination af disse.

Hvad er så problemerne med p-værdierne?

Her er de punkter, som p-værdier ofte kritiseres for:

• De svarer på det forkerte spørgsmål. En forsker er typisk interesseret i at vurdere, hvor sikker man er på den opstillede hypotese. Dette vil man gerne svare på ud fra de observerede data, så det relevante videnskabelige spørgsmål er ofte

  \[P(\text{hypotesen er sand} | \text{data}).\]

  P-værdien giver derimod et svar på den “omvendte sandsynlighed”77 P-værdien giver et sandsynlighedsudsagn om data ud fra en deduktiv tilgang. Den fortæller ikke noget om hypotesen.

  \[P(\text{data (eller mere ekstreme data)} | \text{hypotesen er sand}).\]

  Groft sagt giver p-værdien et (matematisk korrekt og nøjagtigt) svar på et spørgsmål, som man ikke er interesseret i. Her ser tydeligt forskellen mellem den induktive tankegang (det videnskabelige spørgsmål) og den deduktive tankegang, som p-værdien giver et svar på.

• De indeholder flere typer information. P-værdien kombinerer og afspejler to facetter ved data: effektstørrelsen og stikprøvestørrelsen. Når effektstørrelsen eller stikprøvestørrelsen bliver større bliver p-værdien tilsvarende mindre.88 Når effekten er kraftig er det lettere at finde den, og tilsvarende gælder, at når man har store stikprøver er det lettere at finde selv små effekter. Dette kan eksempelvis ses i teststørrelsen for et almindeligt t-test, hvor man ønsker at teste, om middelværdien i en population er \(\mu_0\). Teststørrelsen er

  \[T = \frac{|(\bar{X} - \mu_0)| \sqrt{N}}{s},\]

  hvor \(\bar{X}\) er gennemsnittet af målingerne i stikprøven, \(s\) er stikprøvespredningen og \(N\) er stikprøvestørrelsen. Store værdier af teststørrelsen er kritiske, så når stikprøvegennemsnittet er langt fra nulhypotesen eller når \(N\) er stor, så bliver teststørrelsen automatisk stor.99 Dette viser sig at være praktisk problem i flere tilfælde, end man skulle tro. Når man arbejder med store datasæt som for eksempel udtræk fra de danske registre, så viser alle hypoteser sig at være statistisk signifikante, fordi man har så mange observationer. Konsekvensen er, at hvis man bare indsamler tilstrækkelig med data så bliver alle hypoteser signifikante.

• De bliver brugt forkert. P-værdierne anvendes meget ofte som en beslutningsregel: hvis værdien er mindre end en forudbestemt signifikansgrænse (typisk 5%) siges det, at man har fundet noget “signifikant”, mens en p-værdi større end signifikansgrænsen medfører en konklusion om at der “ikke er nogen signifikant sammenhæng”. Der er flere kritikpunkter til denne fremgangsmåde.

  For det første har man valgt at lave en dikotomisering af p-værdien på baggrund af en tilfældig valgt grænseværdi. P-værdien selv er udregnet på en kontinuert skala, og at to p-værdier på for eksempel 0.04 og 0.06 giver væsensforskellige konklusioner bare fordi den ene er lige over 5% og den anden er lige under 5% giver meget sjældent mening. Problemstillingen med at dikotomisere kontinuerte variable har vi allerede diskuteret tidligere, og i den videnskabelige proces er det yderst sjældent, at man skal komme med en endelig konklusion på baggrund af resultaterne fra et enkelt studie.

  For det andet betyder et resultat, der er statistisk signifikant ikke, at det er biologisk relevant. Vi så ovenfor, at p-værdien også afspejler stikprøvestørrelsen, så p-værdien alene kan aldrig sige noget om, hvorvidt effekten har en relevant betydning i den virkelige verden.

  Derudover ser man ofte, at studier med en p-værdi større end 0.05 konkluderer, at der ikke er nogen sammenhæng.1010 Et eksempel kan ses i Effect of a Resuscitation Strategy Targeting Peripheral Perfusion Status vs Serum Lactate Levels on 28-Day Mortality Among Patients With Septic Shock, hvor overlevelsen i to grupper er på henholdsvis 43.4% og 34.9%, men forfatterne konkluderer, at “… did not reduce all-cause 28-day mortality” ud fra en p-værdi på 0.06. Det kan godt være, at forskellen i procentpoint ikke er statistisk signifikant, men en forskel på 9 procentpoint tyder på, at der godt kunne være en reel reduktion i all-cause mortality. P-værdien er udregnet ud fra antagelsen om at nulhypotesen er korrekt, og man kan derfor ikke konkludere, at man accepterer hypotesen når p-værdien er stor. Man kan vælge at forkaste eller ikke at forkaste hypotesen, men man kan ikke få nulhypotesen verificeret.

• Nulhypoteserne er typisk urealistiske

  Nulhypoteser er ofte formuleret ved at man sætter en parameter til en bestemt værdi, fx. \(H_0: \beta = 0\) eller at man sætter parametre for forskellige grupper lig hinanden, \(H_0 : \mu_1 = \mu_2\). Hvornår tror man egentlig på, at disse meget specifikke hypoteser korrekt angiver sammenhængen i populationen?

  Hvis man eksempelvis vil undersøge, om raske mænd og kvinders blodtryk er ens, så svarer det til hypotesen

  \[H_0 : \mu_\text{mænd} = \mu_\text{kvinder},\]

  hvor \(\mu_\text{mænd}\) og \(\mu_\text{kvinder}\) er middelværdien i blodtryk i populationen for de to køn. Men tror vi på, at middelværdierne skal være helt identiske? Hvorfor skulle de være det - der er jo mange andre fysiologiske faktorer, der kunne resultere i små ændringer af blodtrykket, og som kunne adskille sig fra mænd og kvinder. Vi formulerer hypoteser, som lægger ret strikse antagelser ned over vores model, hvor vi i virkeligheden tænker på hypotesen som om at de to grupper er tilstrækkelig ens til at det ikke har nogen særlig betydning.

Alternative forslag til p værdier

Med alle de kritikpunkter, der har været af p-værdier er det ikke overraskende, at der er dukket forskellige forslag op til at fikse problemerne.

• Brug konfidensintervaller. Konfidensintervaller bliver ofte foreslået som alternativ til p-værdier. Konfidensintervaller har den fordel, at de ikke bare tester en enkelt hypotese, men giver et interval af værdier, hvor data ikke er i modstrid med hypotesen. Men konfidensintervaller er defineret ud fra p-værdier svarende til at man har foretaget uendelige mange tests, så hvis man synes, at p-værdier er problematiske så gør konfidensintervaller kun problemstillingen værre.

Figur 3: Et 95% konfidensinterval for en parameter μ er defineret som de værdier for μ, der ikke forkastes ved test med et signifikansniveau på 5%. Et konfidensinterval konstrueres derfor ved at lave uendelig mange hypotesetests, og registrere, hvornår hypotesen forkastes.

Figur 4: Mange opfatter konfidensintervaller som værdier af parameteren, som man har ‘tiltro’ til, og at der er større sandsynlighed for værdierne midt i intervallet, men det siger konfidensintervallet ikke noget om. En gammel vittighed siger, at epidemiologer fejlagtigt opfatter konfidensintervaller som kredibilitetsintervaller, mens statistikere godt ved, at konfidensintervaller ikke er kredibilitetsintervaller, selvom de alligevel fortolker dem på samme måde.

• Udregn bayesfaktorer i stedet. Et andet forslag til et alternativ til p-værdier er at udregne bayesfaktorer. En bayesfaktor sammenligner to hypoteser \(H_1\) og \(H_0\), og er defineret ved

  \[\text{BF} = \frac{P(D|H_1)}{P(D|H_0)},\]

  hvor \(P(D|H_1)\) og \(P(D|H_0)\) er sandsynligheden for data under henholdsvis \(H_1\) og \(H_0\). Hvis for eksempel \(\text{BF} = 2\) betyder det, at data er dobbelt så sandsynligt under \(H_1\) som under \(H_0\) (mere evidens for \(H_1\)). Hvis BF<1 er der mere evidens for \(H_0\). Spørgsmålet er, at hvor stor BF skal være førend at man foretrækker den ene hypotese fremfor den anden.

  For at vurdere størrelsesordenen på en bayesfaktorer har flere forfattere kommet med bud på at fortolke størrelsesordenen⊕Wikipediasiden om bayesfaktorer angiver to tabeller, der begge kan bruges til at afrapportere bayesfaktorer. Den ene er gengivet nedenfor (i tabellen svarer \(K\) til bayesfaktoren).
  
  
  Så har man bare rykket problemet fra p-værdier til BF-værdier, men bruger stadig en tabel med inddelinger til at vurdere det endelige resultat.. Det vil sige, at bayesfaktoren rykker problemstillingen fra en skala (p-værdien er sandsynlighed for data under \(H_0\)) til en anden skala (et forhold i sandsynligheder), men når man stadig inddeler skalaen i kategorier, så giver det samme problemer, som når man inddeler p-værdien i over og under 5%.

  Bayesfaktoren optræder som en del af Bayes’ formel,

  \[\frac{P(H_1|D)}{P(H_0|D)} = \underbrace{\frac{P(D|H_1)}{P(D|H_0)}}_\text{BF} \frac{P(H_1)}{P(H_0)},\]

  hvor bayesfaktoren skalerer a priori forholdet mellem de to hypoteser. Bayesfaktoren siger altså kun indirekte noget om forholdet mellem de to hypoteser, og hvis de oprindelige sandsynligheder for de to hypoteser er meget forskellige, så er det ikke sikkert, at bayesfaktoren kan opveje dette.

• Sænk signifikansgrænsen. I 2017 foreslog Benjamin og 83 andre medforfattere, at man skulle sænke signifikansgrænsen fra 0.05 til 0.005 ved test af nye fund. Argumentet for dette var, at det ville resultere i færre falsk positive fund. “Prisen” for dette vil så være, at forsøgene kræver større stikprøver for at have samme styrke som tidligere, og at man dermed nok kommer til at lave færre undersøgelser i det hele taget.

  En justering af signifikansniveauet vil sænke antallet af falske positiver, hvilket naturligvis er positivt. Men det ændrer ikke ved de fundamentale problemer ved p-værdien, for det er stadig den, der ligger til grund for vurderingen, og man benytter stadig en dikotomiseret grænse til at opnå en konklusion.

• Brug bayesianske metoder. Endelig foreslås det ofte, at man bruger bayesianske analysemetode som alternativ til frekventisternes p-værdier. Bayesiansk analyse har den fordel, at der svares på det spørgsmål, som forskerne typisk er interesseret i. Som bayesianer kan man nemlig knytte en sandsynlighed til selve hypotesen og udregne

  \[P(H|D),\]

  og kan derefter komme med udtalelser som for eksempel “jeg er 89% sikker på at parameteren er større end 0”. For at kunne dette skal man naturligvis gå ind på den bayesianske tilgang med alle de dertil hørende problemer, og denne løsning passer derfor ikke ind i en frekventistisk ramme.

Er p værdierne det store problem?

Kritikken af p-værdier er berettiget, men det er også et let mål at kritisere af den simple grund, at de er matematisk veldefinerede. For at sætte problemstillingen lidt i perspektiv, så er det værd at holde kritikken af p-værdierne op mod de mange andre aspekter af en dataanalyse.

Undervejs i en analyse foretages en lang række valg, der har enorm betydning for de resultater, man kommer frem til. For eksempel: hvilken model skal man bruge? Hvilke variable skal tages med i modellen? Hvordan skal disse variable måles? Hvilke yderligere antagelser er der omkring modellen? Hvilke variable er confoundere og hvilke er collidere? Er der collinearitet mellem de forklarende variable? Hvordan sikrer man sig mod overfitting? Hvad gør man med manglende data?

Når analysen er færdig foretages der endnu flere valg i forbindelse med præsentationen? Får man præsenteret alle de analyser, der er foretaget eller foregår der et udvalg af de bedste resultater p-hacking. Bliver studiet i det hele taget publiseret eller kommer det til at lide under, at det er sværere at publisere negative resultater?

Alle disse aspekter har enorm betydning for analysens resultater, og fordi de er sværere at beskrive, operationalisere og kvantificere bliver de også sværere at kritisere.

På trods af alle problemerne med p-værdier har de spillet en central rolle i den evidensbaserede udvikling indenfor medicin og folkesundhed i de sidste 100 år, hvor der er sket enorme fremskridt. P-værdierne har haft den effekt, at de har luget ud i de værste fejlopfattelser, og har hjulpet til med at strukturere den måde, som vi indsamler og bearbejder data på for at indsamle ny viden.

Som krølle på historien kan nævnes, at Fricker et al. i 2019 gennemgik 17 artikler, der var publiseret i Basic and Applied Social Psychology i 2016 - året efter at tidsskriftet indførte deres forbud på p-værdier - og hvor statistik blev anvendt. Fricker et al fandt flere tilfælde, hvor konklusioner i artiklerne ikke ville holde, hvis man havde brugt p-værdier og signifikanstest.

Hvad kan man gøre?

P-værdier er et af værktøjerne i statistikerens værktøjskasse, og så længe det er klart, hvad de repræsenterer, og man ikke strækker sine konklusioner længere end metoderne og data kan holde, så er p-værdier stadig nyttige.

Vigtigst er det måske nok, at p-værdierne tjener det vigtige formål, at de fungerer som en hurtig (og veldefineret) metode til at checke aspekter af data, og at de dermed forhindrer, at man laver nogle grelle fejltagelser og konklusioner.

Afrapportering af resultater bør som minimum indeholde konfidensintervaller, da de er med til at sikre, at estimatet kan forstås kontekst af den givne problemstilling.

Opfordringen om at undgå at bruge udtrykket “statistisk signifikant” (og dermed også at undgå at dikotomisere p-værdien) giver god mening, da “signifikant” af langt de fleste læsere opfattes som “relevant og vigtig”. Og det er faktisk ikke så svært at undgå at skrive det, når resultater præsenteres. Eksempelvis kan

Applying a multiple logistic regression model did not show a statistically significant difference in treatment success between treatments A and B [odds ratio (OR) = 1.22, 95% confidence interval (CI) = 0.86–1.75,P= 0.26].

omskrives til

Applying a multiple logistic regression model to examine the difference in treatment success between treatments A and B yielded an odds ratio (OR) of 1.22 [95% confidence interval (CI) = 0.86–1.75, P= 0.26].

hvor man præsenterer præcis, hvad man har fundet, og lader læseren være med til at vurdere resultaterne.

P-værdier fylder stadig meget i videnskabelig forskning, og en af grundene skyldes også den menneskelige psykologi - både blandt de videnskabelige tidsskrifter og hos dem, der laver forsøgene. Der er stor tilfredsstillelse i endegyldigt at kunne konkludere noget omkring en problemstilling, og kunne sige: “nu ved vi det”. Men for langt de fleste videnskabelige problemstillinger er det naivt at gøre sig forhåbninger om at kunne sætte to streger under et videnskabeligt fund. Derfor er det vigtigt at bruge værktøjerne - alle værktøjerne - til det, de er lavet til, og dermed bidrage til den videnskabelige proces.

The rage for wanting to conclude is one of the most deadly and most fruitless manias to befall humanity. Each religion and each philosophy has pretended to have God to itself, to measure the infinite, and to know the recipe for happiness. What arrogance and what nonsense! I see, to the contrary, that the greatest geniuses and the greatest works have never concluded. — Gustave Flaubert