ANOVA: confrontare più gruppi senza moltiplicare gli errori

Hai tre gruppi da confrontare. La tentazione è fare tre test t: gruppo A contro B, B contro C, A contro C. Sembra ragionevole, ma è un errore.

Il problema si chiama inflazione dell’errore di tipo I. Ogni test t accetta un rischio del 5% di trovare una differenza che non esiste. Quando ne fai tre, quel rischio non rimane al 5%, ma si accumula. Con un numero sufficiente di confronti, trovare qualcosa di “significativo” diventa quasi inevitabile, anche se non c’è nulla da trovare.

L’ANOVA — Analysis of Variance — nasce per risolvere esattamente questo problema. Invece di confrontare i gruppi a coppie, guarda tutti insieme e fa una domanda sola: le medie di questi gruppi sono tutte uguali oppure almeno una è diversa dalle altre? Un test, un rischio controllato.

Il meccanismo si basa sul confronto tra due fonti di variabilità: quanto variano le medie dei gruppi tra loro, e quanto variano i dati all’interno di ciascun gruppo. Se la variabilità tra gruppi è grande rispetto a quella interna, qualcosa di reale probabilmente c’è.

L’ANOVA però dice solo che almeno una media è diversa, ma non indica qual è quella diversa e rispetto a quale gruppo. Per scoprirlo servono i test post-hoc, che fanno i confronti a coppie ma con correzioni apposite per tenere il rischio sotto controllo.

Eseguire più t-test quando si lavora con più di due gruppi, non è un’alternativa all’ANOVA. È il problema che l’ANOVA risolve.