Fare statistica bene: un metodo, non una perfezione

Gli errori statistici più pericolosi non nascono nell’ignoranza tecnica, ma nel momento in cui si smette di pensare e si inizia ad eseguire. Test applicati per abitudine, p-value interpretati come verdetti, assunzioni ignorate, risultati selezionati. Tutti sintomi dello stesso problema: la statistica trattata come procedura invece che come ragionamento.

Ma diagnosticare il problema non basta. La domanda che rimane aperta è: come si costruisce una pratica statistica che prevenga questi errori? E non intendo come si raggiunge la perfezione — che non esiste, in nessuno studio condotto su dati reali —, ma come si sviluppa un metodo che renda gli errori meno probabili, più visibili e più onestamente dichiarati?

La risposta non sta in un software più sofisticato né in una formazione più lunga. Sta in alcune abitudini concrete, applicabili da subito, che trasformano il modo in cui ci si relaziona con i propri dati. Le vediamo nell’ordine in cui entrano nel processo di ricerca.

Prima di tutto: guardare i dati

Il primo errore che si commette in statistica è spesso il più precoce: aprire il dataset e iniziare l’analisi senza prima guardare i dati. Non nel senso di esplorarli alla ricerca di risultati — questo è un problema diverso — ma nel senso di capire con cosa si ha a che fare prima di decidere come analizzarlo.

Come sono distribuite le variabili principali? Ci sono outlier che potrebbero distorcere le stime? Le scale di misura sono quelle attese? I dati mancanti seguono un pattern o sono dispersi casualmente? Queste non sono domande tecniche secondarie — sono le domande che determinano se il modello che si intende usare sia adatto ai dati che si hanno.

Un istogramma, un box plot, un grafico dei quantili: strumenti semplici che richiedono pochi minuti e che possono cambiare completamente le scelte analitiche successive. Un ricercatore che guarda i suoi dati prima di analizzarli non è più lento di uno che non lo fa: è uno che evita di costruire un’analisi su fondamenta che non reggono.

I dati parlano, ma solo se li si lascia parlare prima di interrogarli. L’analisi esplorativa non è una perdita di tempo: è il momento in cui si decide se si sta ponendo la domanda giusta nel modo giusto.

Scegliere il test con una ragione, non per abitudine

La scelta del test statistico dovrebbe essere una conseguenza delle caratteristiche dei dati, non un punto di partenza deciso prima di guardarli. Eppure nella pratica accade spesso il contrario: si sceglie il test di default — quello del supervisore, quello del software, quello che si è sempre usato, quello visto in un articolo simile — e poi si procede.

Il metodo corretto inverte questa sequenza. Prima si esplora la distribuzione dei dati. Si valuta la normalità — con un test come lo Shapiro-Wilk per campioni piccoli, o con un Q-Q plot per campioni più grandi. Si verifica l’omoscedasticità, l’indipendenza delle osservazioni, la scala di misura delle variabili. Poi, sulla base di queste informazioni, si sceglie il test.

Se i dati non seguono una distribuzione normale e il campione è piccolo, un test non parametrico come il Mann-Whitney o il test di Wilcoxon è più appropriato del test t. Se le osservazioni sono correlate — misurazioni ripetute sullo stesso paziente, pazienti annidati in centri diversi — un modello che ignori questa struttura produrrà inferenze distorte. Se l’esito è il tempo a un evento, il modello di Cox è lo strumento naturale — ma richiede che l’assunzione di proporzionalità degli hazard sia verificata, non assunta.

Documentare la ragione di ogni scelta nel paragrafo dei metodi non è una formalità burocratica. È la prova che la scelta è stata pensata — e la garanzia che un lettore critico possa valutarla.

Verificare le assunzioni: sempre, non a volte

Le assunzioni di un modello statistico non sono condizioni ideali che si spera siano rispettate. Sono premesse logiche senza le quali il modello non produce quello che promette. Ignorarle non le fa scomparire: le trasforma in fonti silenziose di distorsione.

Verificare le assunzioni significa costruire un passaggio obbligato nel proprio flusso di analisi — non un controllo opzionale da fare se avanza tempo. Per la regressione lineare: grafico dei residui per valutare omoscedasticità e linearità, test di normalità sui residui, verifica dell’assenza di multicollinearità tra le covariate. Per il modello di Cox: analisi dei residui di Schoenfeld per valutare la proporzionalità degli hazard, visualizzazione delle curve di sopravvivenza per individuare incroci tra i gruppi. Per i modelli misti: verifica della struttura di correlazione assunta.

Quando un’assunzione non è rispettata, ci sono tante opzioni per poter eseguire l’analisi senza distorsioni. Si può trasformare la variabile — la trasformazione logaritmica è spesso efficace per dati con distribuzione asimmetrica. Si può scegliere un modello alternativo più robusto. Si può stratificare l’analisi. L’importante è che la violazione venga riconosciuta, affrontata e dichiarata — non ignorata perché il software non lancia un errore.

Un modello che gira non è un modello che funziona. La validità di un’analisi non la certifica il software: la certifica il ricercatore che ha verificato le condizioni perché quella analisi abbia senso.

Pianificare prima di analizzare

Uno dei principi più potenti per prevenire gli errori statistici non richiede competenze tecniche avanzate: richiede di scrivere quello che si intende fare prima di farlo. È il principio della pre-specificazione — e cambia radicalmente la relazione tra ricercatore e dati.

Quando si definiscono in anticipo la domanda di ricerca, gli outcome primari e secondari, il modello statistico principale, le covariate da includere e le analisi di sensibilità pianificate, si crea un vincolo che protegge dall’errore più insidioso della ricerca osservazionale: adattare la domanda ai risultati invece di adattare i risultati alla domanda. La pre-specificazione non è una dichiarazione di onniscienza, nessuno sa in anticipo tutto quello che troverà. È una dichiarazione di onestà: questo è quello che cercavo, questo è quello che ho trovato, e la differenza tra i due è esplicitamente riconosciuta.

Per gli studi clinici randomizzati, la pre-registrazione del protocollo è ormai una pratica consolidata e spesso richiesta dalle riviste. Per gli studi osservazionali e le analisi su dati real-world, è ancora meno diffusa — ma ugualmente necessaria. Piattaforme come OSF (Open Science Framework) permettono di registrare pubblicamente il piano di analisi prima di accedere ai dati completi, con un timestamp che certifica la sequenza temporale.

La distinzione tra analisi pre-specificate ed esplorative non indebolisce uno studio: lo rende più onesto. Un’analisi esplorativa che produce un risultato interessante è un’ipotesi da testare, non una conferma. Dichiararlo esplicitamente è rigore, non debolezza.

Gestire le analisi multiple con trasparenza

Se si conduce più di un test statistico sullo stesso dataset — e in quasi tutti gli studi questo accade — bisogna tenere conto del problema della molteplicità. La probabilità di ottenere almeno un falso positivo cresce con il numero di test, e ignorare questo fatto significa presentare come scoperta ciò che potrebbe essere puro rumore.

La soluzione più nota è la correzione di Bonferroni: dividere la soglia di significatività per il numero di test condotti. Con venti test e una soglia iniziale di 0.05, la soglia corretta diventa 0.0025. È un approccio conservativo — riduce i falsi positivi ma aumenta il rischio di falsi negativi — e non sempre è la scelta più appropriata. Metodi alternativi come il controllo della False Discovery Rate (FDR) con il metodo di Benjamini-Hochberg offrono un equilibrio più flessibile, particolarmente utile nelle analisi esplorative con molte variabili.

Ma la correzione statistica è solo metà della soluzione. L’altra metà è la trasparenza: riportare tutti i test condotti, non solo quelli con p < 0.05. Un lettore che vede un risultato significativo su venti test senza sapere che altri diciannove erano non significativi non ha le informazioni per valutare il peso di quella scoperta. Riportare tutto — incluso quello che non ha funzionato — è la condizione perché la comunità scientifica possa fare il suo lavoro di valutazione critica.

Andare oltre il p-value

Il p-value è uno strumento utile — ma è uno strumento tra molti, non il metro unico di giudizio. Una pratica statistica consapevole affianca sempre al p-value almeno due informazioni aggiuntive: la dimensione dell’effetto e l’intervallo di confidenza.

La dimensione dell’effetto — Cohen’s d per variabili continue, odds ratio o risk ratio per esiti binari, hazard ratio per dati di sopravvivenza — dice quanto è grande la differenza osservata, indipendentemente dalla sua significatività statistica. Un effetto piccolo può essere statisticamente significativo con un campione grande; un effetto grande può non esserlo con un campione piccolo. Il p-value da solo non permette di distinguere i due casi.

L’intervallo di confidenza dice quanto è precisa la stima. Un hazard ratio di 0.7 con intervallo di confidenza al 95% tra 0.65 e 0.75 è una stima molto precisa. Lo stesso hazard ratio con intervallo tra 0.3 e 1.6 è una stima così imprecisa da rendere difficile qualsiasi conclusione — e attraversa il valore 1, che rappresenta l’assenza di effetto. Il p-value potrebbe essere lo stesso nei due casi; l’informazione clinica è profondamente diversa.

Riportare dimensione dell’effetto e intervalli di confidenza non è un requisito tecnico aggiuntivo: è il modo in cui i risultati diventano interpretabili, confrontabili con altri studi, utili per le decisioni cliniche.

Dichiarare i limiti: tutti

Ogni studio ha limiti. Dati mancanti che non si riescono a recuperare. Assunzioni che si è dovuto accettare pur sapendo che potrebbero non essere pienamente rispettate. Confondenti che non si riesce a misurare. Popolazioni che non sono perfettamente rappresentative. Periodi di follow-up troppo brevi per cogliere effetti tardivi.

Dichiarare questi limiti non indebolisce uno studio, lo rende più credibile. Un ricercatore che elenca onestamente i punti di fragilità del proprio lavoro dimostra di averli visti, di averci ragionato, di aver fatto del suo meglio per limitarli. Un ricercatore che non ne dichiara nessuno — o ne dichiara uno solo, quello meno imbarazzante — suscita il sospetto opposto.

I limiti non sono una sezione da compilare per adempiere alle richieste del peer review. Sono la mappa dei confini entro cui le conclusioni dello studio sono valide. Chi legge ha il diritto di conoscere quei confini per valutare quanto le conclusioni siano trasferibili al proprio contesto.

Fare statistica bene non è fare statistica senza errori.È fare statistica con un metodo che rende gli errori meno probabili, che li rende visibili quando accadono, e che li dichiara onestamente invece di nasconderli. Guardare i dati prima di analizzarli. Scegliere gli strumenti con una ragione. Verificare le assunzioni sempre. Pianificare prima di eseguire. Riportare tutto, non solo quello che conferma. Andare oltre il p-value. Dichiarare i limiti. Non sono tecniche avanzate — sono abitudini. E come tutte le abitudini, si costruiscono una decisione alla volta, ogni volta che si apre un dataset.