Eseguire non è pensare: perché in statistica fare non basta

C’è uno scenario che si ripete con una frequenza preoccupante nei laboratori, nelle università ed in generale tra i ricercatori. Un ricercatore ha i suoi dati. Sa, o crede di sapere, quale test usare. Lo applica, ottiene un p-value, interpreta il risultato, scrive le conclusioni. Il processo è stato eseguito per intero.

Ma questo processo è stato pensato?

La differenza tra eseguire e pensare in statistica non è sottile: è la differenza tra produrre un numero e produrre conoscenza. Un test statistico è uno strumento concettuale prima ancora che matematico: ha assunzioni, ha limiti, ha un perimetro di applicabilità oltre il quale il risultato che restituisce è tecnicamente corretto, ma scientificamente privo di significato. Chi esegue senza pensare non sta sbagliando il calcolo: sta facendo la domanda sbagliata ai dati.

Quello che segue non è un catalogo di errori da evitare. È una riflessione su dove nasce l’errore e su come riconoscere il momento in cui si smette di fare ricerca e si inizia a fare numeri.

Il test sbagliato: quando lo strumento non conosce il materiale

Immagina un falegname che usa una sega per avvitare una vite. Lo strumento funziona, la mano si muove, il gesto è preciso. Ma il risultato non è quello che serve. In statistica accade la stessa cosa quando si sceglie un test senza chiedersi se sia adatto ai dati che si hanno davanti.

Ogni test statistico è costruito su assunzioni, ossia su condizioni che i dati devono soddisfare perché il test abbia senso. Il test t di Student, per esempio, assume che i dati seguano una distribuzione normale e che le varianze dei gruppi siano omogenee. Se queste condizioni non sono rispettate, il p-value che produce non è semplicemente impreciso: è la risposta a una domanda diversa da quella che si voleva porre.

L’errore più frequente non è scegliere un test completamente sbagliato. È scegliere il test di default — quello che si è sempre usato, quello che ha usato il supervisore, quello che suggerisce il menu del software, quello che consiglia l’ennesimo video YouTube — senza tuttavia verificare se i propri dati lo giustifichino. Un campione piccolo con distribuzione asimmetrica e valori estremi non è un buon candidato per il test t di Student. Ma se non ci si fa la domanda, non si arriva mai alla risposta alternativa.

La scelta del test non è una formalità da sbrigare prima dell’analisi. È la prima decisione concettuale dello studio — e come tutte le decisioni concettuali, richiede ragionamento, non routine.

La soluzione non è memorizzare una tabella di test e condizioni. È sviluppare l’abitudine di guardare i dati prima di analizzarli — distribuzioni, outlier, scale di misura, struttura delle osservazioni — e chiedersi: questo test conosce i miei dati? O sto chiedendo a uno strumento di rispondere a una domanda per cui non è stato costruito?

La correlazione e la storia che racconta

C’è un esempio diventato quasi un cliché della statistica divulgativa: nei mesi estivi, le vendite di gelato aumentano e aumentano anche le morti per annegamento. La correlazione è reale. La conclusione che il gelato uccida è ovviamente assurda. Eppure, la logica che porta a quella conclusione — due cose variano insieme, quindi una causa l’altra — è esattamente la stessa logica che compare, in forme meno evidenti, in molti articoli scientifici pubblicati su riviste rispettabili.

La correlazione misura quanto due variabili varino insieme. Non dice nulla su perché lo facciano, né su quale delle due venga prima, né se ci sia un terzo fattore — un confondente — che le muove entrambe. Nel nostro esempio è l’estate: quando fa caldo si comprano più gelati e si va più spesso in acqua, e il rischio di annegamento sale. Rimuovi l’estate dall’equazione e la correlazione tra gelato e annegamento scompare. Ma per rimuoverla bisogna prima averla cercata — e per cercarla bisogna aver ragionato sul contesto, non solo calcolato il coefficiente.

L’errore non è calcolare la correlazione. L’errore è fermarsi lì. La correlazione è uno strumento esplorativo — suggerisce dove guardare, non cosa concludere. Trasformarla in un’affermazione causale senza passare attraverso un disegno che possa supportare quella causalità — uno studio randomizzato, un’analisi controfattuale, un aggiustamento per i confondenti rilevanti — è un salto logico che i dati non autorizzano. E un salto logico in un articolo scientifico non è un’imprecisione: è una conclusione sbagliata presentata come evidenza.

Il p-value e l’illusione della soglia

Pochi strumenti statistici sono stati più fraintesi del p-value. Non per colpa sua — il p-value è uno strumento preciso, con un significato ben definito. Il problema è quello che gli è stato chiesto di fare nel tempo: decidere se un risultato è vero o falso, importante o irrilevante, pubblicabile o da scartare.

Il p-value misura una cosa sola: quanto sarebbero compatibili i dati osservati con l’ipotesi nulla, assumendo che quest’ultima sia vera. Un p-value di 0.03 non dice che il trattamento funziona. Dice che, se il trattamento non avesse alcun effetto, osservare dati così estremi avrebbe una probabilità del 3%. È una misura di compatibilità, non di verità.

La soglia dello 0.05 è una convenzione — arbitraria, storica, difendibile come punto di riferimento ma non come spartiacque tra il reale e il non reale. Uno studio con p = 0.049 e uno con p = 0.051 stanno dicendo la stessa cosa sui dati. Trattarli come se stessero dicendo cose opposte — il primo significativo, il secondo no — è una distorsione concettuale che ha conseguenze reali: studi scartati, risultati pubblicati selettivamente, meta-analisi costruite su un campione distorto della letteratura.

Il p-value non è un semaforo. Non esiste un verde che autorizza la conclusione e un rosso che la vieta. È un numero che va letto insieme a molti altri — la dimensione dell’effetto, l’intervallo di confidenza, la plausibilità clinica, la qualità del disegno — e che da solo non dice niente di definitivo.

L’errore non è usare il p-value. È usarlo come se fosse l’unica risposta invece di una delle tante domande da porre ai dati.

Le assunzioni che nessuno verifica

Ogni modello statistico è costruito su assunzioni — condizioni che, se rispettate, garantiscono che le stime prodotte abbiano le proprietà desiderate. La regressione lineare assume che i residui siano distribuiti normalmente, che la varianza degli errori sia costante, che le osservazioni siano indipendenti. Il modello di Cox assume la proporzionalità degli hazard nel tempo. Il test t di Student assume la normalità e l’omoscedasticità.

Queste assunzioni non sono dettagli tecnici da dichiarare nel paragrafo dei metodi e poi dimenticare. Sono le fondamenta su cui regge l’intera analisi. Se non sono rispettate, il modello continua a girare — il software non si ferma, non lancia un avviso, non produce un messaggio di errore. Produce coefficienti, p-value, intervalli di confidenza. Ma quei numeri descrivono qualcosa che non corrisponde alla realtà dei dati.

Il problema non è che le assunzioni vengano violate — in dati reali, complessi e rumorosi, qualche violazione è quasi inevitabile. Il problema è che non vengono verificate. Che si prenda il risultato del modello come dato di fatto senza chiedersi se il modello avesse i requisiti per produrlo. È come fidarsi della mappa senza controllare se la strada esiste davvero.

Verificare le assunzioni non è un passaggio burocratico. È il momento in cui si decide se il proprio strumento è adatto al proprio problema. E se non lo è, il momento in cui si cerca quello giusto.

I test multipli e il rumore che sembra segnale

Ogni test statistico ha una probabilità di errore. Con una soglia di 0.05, accettiamo che 1 volta su 20 potremmo dichiarare significativo un risultato che è puro caso. Una probabilità contenuta, gestibile — se si fa un test solo.

Ma cosa succede quando si fanno venti test? O cinquanta? La probabilità di ottenere almeno un falso positivo cresce rapidamente. Con venti test indipendenti e una soglia di 0.05, la probabilità di trovare almeno un risultato significativo per puro caso è quasi del 64%. Con cinquanta test, supera il 92%. Non perché i dati contengano un segnale: perché il rumore statistico, interrogato abbastanza spesso, prima o poi risponde sì.

Questo è il problema delle analisi multiple non corrette — e si manifesta in molte forme. Lo studio che analizza trenta biomarcatori e riporta i tre con p < 0.05. L’analisi esplorativa che diventa conclusione quando i numeri sono favorevoli. Il ricercatore che prova modelli diversi finché uno non produce il risultato desiderato. In tutti questi casi, ciò che viene presentato come scoperta è in realtà la conseguenza statistica prevedibile di aver fatto troppe domande ai dati.

Più domande fai ai dati, più è probabile che uno risponda sì — anche se la risposta vera è no. La molteplicità dei test non è un problema tecnico: è un problema di onestà intellettuale nella relazione tra ricercatore e dati.

Il publication bias e la letteratura che non esiste

C’è una parte della conoscenza scientifica che non si trova sulle riviste. Sono gli studi con risultati nulli, i trial che non hanno trovato differenze, le ipotesi che i dati non hanno confermato. Esistono gli studi, sono stati condotti, analizzati, scritti, ma non sono stati pubblicati, o sono stati pubblicati meno frequentemente e con meno enfasi degli studi con risultati positivi.

Questo fenomeno si chiamapublication bias, e le sue conseguenze sono più gravi di quanto sembri. Una meta-analisi costruita su una letteratura distorta verso i risultati positivi sovrastima sistematicamente l’effetto di un intervento. Una linea guida clinica basata su quella meta-analisi raccomanda trattamenti più efficaci di quanto siano in realtà. I pazienti ricevono terapie sulla base di un’evidenza che è, in parte, un artefatto della selettività con cui la scienza viene comunicata.

Ilpublication biasnon nasce necessariamente dalla malafede. Nasce da un sistema che premia la novità e la significatività statistica, che trova più facile pubblicare un risultato positivo che uno negativo, che tratta ilnull resultcome un fallimento invece che come informazione. Ma un risultato nullo ben condotto è conoscenza: dice che quella direzione non porta dove si pensava, e libera risorse per cercarne un’altra.

Tutti questi errori hanno una radice comune.Non è l’incompetenza tecnica — molti di chi li commette sa usare il software, conosce i test, ha superato gli esami di statistica. La radice è il momento in cui si smette di fare domande ai propri strumenti e ci si aspetta che siano gli strumenti a fare le domande al posto nostro. La statistica non funziona così. È uno strumento concettuale che richiede un operatore che pensi — che scelga, verifichi, metta in discussione, riconosca i limiti. Chi esegue senza pensare non sta facendo ricerca: sta producendo numeri. E i numeri, da soli, non dicono niente.