Il p-value ha detto sì. Ma stai facendo le domande giuste?

Domanda da un lettore.

Ho ottenuto p < 0.05. Ho dimostrato che il mio trattamento funziona, giusto?

È una delle domande che ricevo più spesso. La risposta è: non esattamente. Questo infatti è un errore che fanno in molti.

Un p-value sotto 0.05 non dimostra che il trattamento funziona. Dice solo che, se non ci fosse nessun effetto reale, sarebbe improbabile osservare dati come i tuoi. È una misura di rarità, non di verità. Il p-value da solo non dice nulla.

Gli errori più frequenti vengono dopo che la famigerata soglia di 0.05 è stata superata. Ci si dimentica di guardare l’effect size che misura quanto è grande l’effetto, non solo se c’è. Si ignora l’intervallo di confidenza che serve per definire quanto è precisa la stima. E con campioni molto grandi, anche una differenza clinicamente irrilevante raggiunge facilmente p < 0.05, perché il test diventa così potente da rilevare qualsiasi minima fluttuazione.

Il p-value è il primo passo. Non l’unico.