Andre fortolkninger af $R^2$

Der findes mere håndgribelige fortolkninger af $R^2$: Hvis modellen stemmer godt overens med data så skal $y_i$ og $\hat y_i$ ligne hinanden, så det vil være naturligt at plotte disse mod hinanden (se nedenfor):

1. Hvis modellen er god til at beskrive data, så vil man forvente, at de observerede og fittede værdier skal være tæt på hinanden, og korrelationen mellem disse to størrelser dermed vil være tæt på $1$. Hvis modellen indeholder et konstantled ($b_1$ i regressionsmodellen ovenfor) så er kvadratet på denne korrelation netop lig med $R^2$.

2. Tilsvarende kan man - igen hvis modellen indeholder et konstantled - beregne $R^2$ som hældningen på regressionslinien, hvor $\hat y_i$ er respons og $y_i$ er forklarende variabel.

3. Endelig kan man i det tilfælde, hvor man ser på en simpel lineær regressionsmodel som ovenfor beregne $R^2$ som den kvadrerede korrelation mellem $y_i$’erne og $x_i$’erne.

$R^2$ siger ikke noget om, hvorvidt modellen er god

Ovenfor har fokus været på, om $\hat y_i$’erne ligger tæt på $y_i$’erne, men i virkeligheden siger det ikke noget om, hvorvidt den statistiske model er korrekt. Selv hvis man kender den sande model kan man godt have situationer, hvor $R^2$ er tæt på 0 ligesom at man kan have en forkert model, hvor $R^2$ er tæt på 1. Hvis vi bruger vores lineære regressionseksempel ovenfor og antager, at vi kender de sande parametre i modellen ($b_1$ og $b_2$) så vi ikke skal estimere dem, så kan vi skrive $R^2$ som

$$R^2 = \frac{b_2^2 V(X)}{b_2^2 V(X) + \sigma^2},$$

hvor $\sigma^2$ er variationen omkring regressionslinjen, og hvor $V(X)$ angiver variationen af $x$’erne. Bemærk, at selv hvis vi kender den sande model så kan vi have en værdi for $R^2$, der vil være tæt på 0, hvis $\sigma^2$ er stor. Tilsvarende kan vi opnå en større værdi for $R^2$, hvis vi kan sprede vores $x$-værdier så bredt ud som muligt. I vores eksempel med standselængder kan man se, at hvis man splitter data op i intervaller for hastighed, og udregner $R^2$ i hvert interval så får man betragtelig mindre $R^2$-værdier for hvert interval.

Figur 2: $R^2$ for alle data er 0.65, men når vi udregner $R^2$ i hvert af de mindre intervaller fra 0-10 mph, 10-20 mph, 20-30 mph så får vi $R^2$-værdier som alle er meget mindre fordi forholdet mellem spredningen af punkterne og spredningen af $x$-værdierne ændrer sig.

$R^2$ vokser med stigende modelkompleksitet

Der er et andet notorisk problem med $R^2$: $R^2$ vokser jo flere forklarende variable man tager med i modellen uanset om disse variable har en reel sammenhæng eller betydning med udfaldet. Det er ikke så svært at overbevise sig om, at det må være tilfældet, for en model med flere forklarende variable må nødvendigvis være bedre til at beskrive data end en model, hvor nogle af de forklarende variable ikke er med.

Figur 3: I figuren har vi tilpasset to modeller: en ret linje (den røde linje) og et 8.-gradspolynomium (den blå kurve). Den justerede $R^2$ for modellen med den rette linje er 0.64, mens den justerede $R^2$ for 8.-gradspolynomiet er 0.65. Til sammenligning er $R^2$ for 8.-gradspolynomiet 0.70

Hvorfor er det at et 8. grads polynomium giver en absurd model? Vi kan prøve at tænke i retning af prædiktioner af fremtidige standselængder. Den mindste (største) hastighed i datasættet er 4 mph (25 mph). Hvis vi forsøger at lave prædiktioner blot en smule udenfor dette interval går det helt galt (men også indenfor dataområdet bliver prædiktionerne gale, som det fremgår af figuren ovenfor). $R^2$ bliver som nævnt større, når man tager flere parametre med i modellen, men samtidig risikerer man at ende med modeller, der er absurde. For at reparere på dette bruger man ofte den justerede determinationskoefficient $\bar R^2$, (adjusted $R^2$) i stedet, da denne ikke nødvendigvis stiger, når flere variable tages med.

Estimation af parametre i en lineær model er baseret på at minimere residual summen af kvadrater $$RSS_1 = \sum_i (y_i - \hat \mu_i)^2$$

Lad $\bar y$ betegne gennemsnittet af alle $y_i$’erne og definer

$$RSS_{0} = \sum_i (y_i-\bar y)^2, \quad RSS_{10} = \sum_i (\hat y_i-\bar y)^2$$

Alle disse størrelser er ikke-negative, og det er ikke svært at vise at $$RSS_0=RSS_1+RSS_{10},$$ hvilket betyder at $$R^2=\frac{RSS_{10}}{RSS_{0}} = \frac{RSS_0-RSS_1}{RSS_{0}} = 1-\frac{RSS_{1}}{RSS_{0}}$$

Bemærk, at $RSS_0$ er et mål for den samlede variabilitet i data (og denne størrelse har intet at gøre med en model). Minimering af $RSS_1$ skal derfor være den samme som maksimering af $RSS_{10}$.

Residualvariansen $\sigma^2$ estimeres som $\hat\sigma^2 = RSS_1/(n-p)$ hvis der er $p$ forklarende variabler i modellen. Under den simple model hvori der kun er det konstante led estimeres residualvariansen som $\hat\sigma^2=RSS_0/(n-1)$. Disse to forskellige variansestimater indgår i den justerede $\bar R^2$

$$\bar R^2= 1-\frac{RSS_{1}/(n-p)}{RSS_{0}/(n-1)}$$

Bemærk at $\bar R^2$ vokser ikke nødvendigvis selvom man tilføjer flere parametre. $\bar R^2$ fortolkes ikke umiddelbart som “den andel af variation af data som modellen forklarer”, og selvom $\bar R^2$ forsøger at håndtere problemet med at $R^2$ vokser med antallet af parametre, så løser det stadig ikke problemet med, at vi ikke kan bruge værdien til at sige noget om, hvorvidt modellen er rimelig eller korrekt. Endelig er der intet der forhindrer, at den justerede $R^2$ bliver negativ.

Figur 4: Plot af $R^2$ (rød) og justeret $\bar R^2$ (blå) mod graden af det polynomium, der fittes til data i cars datasættet.

Modelsammenligning baseret på $R^2$

Konklusionen ovenfor er, at man skal være meget forsigtig med at sammenligne modeller alene baseret på deres $R^2$ værdi. Men man kan godt sammeligne nestede modeller baseret på deres $R^2$ værdier og antallet af parametre i modellen. Lad os fokusere på to modeller: Modellen baseret på et 2. grads polynomium og modellen baseret på et 1. grads polynomium (en ret linie). Lad os kalde dem for $M_c$ (for complex) og $M_r$ (for reduceret). $M_r$ er en delmodel af $M_c$, hvilket her bare betyder, at man kan tage en parameter i $M_c$ og sætte til at være $0$ og så får man $M_r$. Man siger også at $M_r$ er nested i $M_c$. Bemærk, at det kun gælder for nestede modeller, der sammenlignes på det samme datasæt. Der er derfor ikke muligt at bruge $R^2$ til at sammenligne to modeller, hvor man for eksempel har logaritme-transformeret responset i den ene model, eller hvis man sammenligner $R^2$ værdier fra to forskellige datasæt.

Hvilken betydning har $R^2$ så?

Hvis det primært formål med analysen er at beskrive sammenhængen mellem udfaldet og de forklarende variable så er $R^2$ ikke til megen hjælp. Hvis den statistiske model er korrekt så ændrer $R^2$ ikke på den måde man skal fortolke resultaterne (parameterestimaterne) på uanset hvilken værdi, som $R^2$ måtte have. Hvis det primære formål med analysen er at prædiktere udfaldet som funktion af en række forklarende variable, så er der noget information man kan få ud af $R^2$. I forbindelse med prædiktioner er det nemlig ikke kun interessant at prædiktere en enkelt værdi, men også at angive usikkerheden på prædiktionen. Når $R^2$ er tæt på 0 så betyder det, at modellen har større usikkerhed, og omvendt, at man laver prædiktioner med lille usikkerhedsmargin, hvis $R^2$ er tæt på 1. Men så hjælper $R^2$ heller ikke længere, for vi kan ikke bruge værdien af $R^2$ til at sige noget om, hvorvidt usikkerheden af prædiktionen er lille nok i en given situation. ⊕For eksempel root mean squared error $\sqrt{\frac1n \sum_{i=1}^n (\hat y_i - y_i)^2}$ Med andre ord vil det alligevel være nødvendigt at udregne endnu et mål for prædiktionsusikkerheden, og hvis man alligevel skal gøre det, så kunne man jo lige så godt have startet med det til at begynde med.