Il prezzo della flessibilità: p-hacking, HARKing e la crisi di replicabilità

Nel 2011, Daryl J. Bem, professore emerito di psicologia alla Cornell University, pubblicò sul Journal of Personality and Social Psychology uno studio destinato a diventare uno dei più discussi della storia recente della psicologia. Il titolo era “Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect“. In nove esperimenti condotti su oltre mille partecipanti, Bem sosteneva di aver trovato evidenza statistica della percezione extrasensoriale, la capacità di anticipare eventi casuali futuri¹.

Lo studio passò la revisione tra pari. I p-value erano sotto 0.05. La metodologia era, almeno in apparenza, quella standard della psicologia sperimentale. La notizia fece il giro dei media: il New York Times la pubblicò in prima pagina, Bem apparve al Colbert Report (programma satirico di Stephen Colbert andato in onda su Comedy Central dal 2005 al 2014), prova che lo studio era diventato un caso mediatico prima ancora che la comunità scientifica riuscisse a valutarlo criticamente. Poi arrivarono i tentativi di replicazione e, fallirono tutti. Nel 2012, lo stessoJournal of Personality and Social Psychologypubblicò uno studio di Galak e colleghi che riportava sette esperimenti senza nessuna evidenza di precognizione². L’analisi successiva dei dati originali rivelò dimensioni dei campioni fortemente correlate con le dimensioni degli effetti (r = -.91) — un pattern consistente con l’arresto degli esperimenti nel momento in cui si raggiungeva la significatività statistica.

Bem stesso, in un’intervista del 2017 su Slate, dichiarò:“Usavo i dati come strumento di persuasione, e non mi sono mai preoccupato di ‘questo si replicherà o no?”³. Non era frode. Era qualcosa di più sottile e più sistemico — e aveva un nome: p-hacking.

Che cos’è il p-hacking

Il termine p-hacking fu reso popolare da Simmons, Nelson e Simonsohn in un articolo del 2011 su Psychological Science, intitolato “False-Positive Psychology“⁴. Gli autori dimostrarono, con 15.000 simulazioni, che alcune pratiche analitiche comuni e apparentemente innocue come raccogliere qualche dato in più, escludere qualche outlier, scegliere tra più variabili quella che funziona, erano in grado di gonfiare il tasso di falsi positivi fino al 60%, partendo dal 5% garantito dalla soglia convenzionale.

Il p-hacking non è necessariamente frode. Esso è l’insieme di tutte le scelte analitiche — consapevoli o no — che aumentano la probabilità di ottenere p < 0.05 in assenza di un effetto reale. È un problema di flessibilità non dichiarata: quando un ricercatore ha troppe libertà su come analizzare i dati e le usa guidato (anche inconsciamente) dal risultato che vuole ottenere, il p-value smette di essere una misura affidabile.

Il p-hacking non richiede cattive intenzioni. Richiede solo un sistema che premia chi trova risultati significativi e penalizza chi non li trova.

Come si fa p-hacking senza saperlo: esempi concreti

Il p-hacking inconsapevole è più comune di quanto si pensi e spesso emerge da abitudini consolidate che nessuno ha mai messo in discussione.

Il primo esempio è ilcampionamento sequenziale senza piano.Un ricercatore raccoglie dati su 30 soggetti e calcola il p-value. Ottiene 0.07 — appena sopra la soglia. Decide di raccogliere altri 10 soggetti, convinto che i dati preliminari siano promettenti. Con 40 soggetti il p-value scende a 0.04. Pubblica. Il problema è che ogni volta che si guarda il p-value durante la raccolta dati e si decide se continuare, si esegue di fatto un test multiplo e la probabilità cumulativa di ottenere un falso positivo cresce ad ogni controllo intermedio.

Il secondo esempio è laselezione post-hoc delle variabili.Uno studio misura dieci outcome diversi — pressione sistolica, diastolica, frequenza cardiaca, colesterolo totale, LDL, HDL, glicemia, e così via. Nessuno raggiunge p < 0.05 da solo. Ma l’HDL sfiora la soglia con p = 0.048. L’articolo viene scritto presentando l’HDL come variabile primaria, ossia quella che lo studio “voleva” misurare fin dall’inizio. Con dieci variabili testate simultaneamente, la probabilità che almeno una raggiunga p < 0.05 per caso supera il 40%.

Il terzo esempio è lapulizia selettiva degli outlier.I dati mostrano tre valori anomali che, se inclusi, portano p a 0.08. Il ricercatore li esclude con la giustificazione che “sembrano misurazioni errate”, ma la decisione viene presa dopo aver visto l’effetto che hanno sul risultato. Se la regola per escludere gli outlier fosse stata definita prima di vedere i dati, sarebbe un’analisi legittima. Definita dopo, è p-hacking.

Questi tre scenari hanno in comune una struttura: il ricercatore prende decisioni analitiche guardando i risultati, invece di prendere decisioni analitiche prima di raccogliere i dati. La differenza sembra sottile. Le conseguenze non lo sono.

HARKing: quando l’ipotesi arriva dopo i risultati

Il p-hacking ha un cugino stretto, altrettanto diffuso e altrettanto sottovalutato: il HARKing, acronimo di Hypothesizing After Results are Known⁵. Si tratta di presentare un’ipotesi post-hoc — formulata dopo aver visto i dati — come se fosse stata l’ipotesi originale dello studio.

Il meccanismo è semplice. Un ricercatore esplora un dataset alla ricerca di pattern interessanti. Ne trova uno: le persone che dormono più di sette ore hanno livelli di cortisolo leggermente più bassi al mattino, con p = 0.03. Scrive l’articolo come se avesse ipotizzato fin dall’inizio questa relazione, progettato lo studio per testarla e trovato conferma. La storia è coerente, il p-value è sotto la soglia, la narrazione è convincente.

Il problema è che un’ipotesi formulata guardando i dati non è la stessa cosa di un’ipotesi formulata prima di raccoglierli. Nel primo caso, si descrive qualcosa che si è già visto, non si predice qualcosa. Il test statistico è progettato per valutare previsioni, non descrizioni. Applicarlo a un’ipotesi post-hoc produce una misura di significatività che non significa quello che sembra.

HARKing trasforma l’esplorazione in conferma. È uno dei meccanismi più potenti attraverso cui risultati falsi ottengono l’aspetto di risultati veri.

La conseguenza pratica è che la letteratura scientifica si riempie di ipotesi che sembrano essere state confermate, ma che non sono mai state messe alla prova in modo genuino. Replicarle è difficile — e spesso impossibile.

Il legame con la crisi di replicabilità

Nel 2015, il Reproducibility Project pubblicò i risultati di un’iniziativa senza precedenti: 270 ricercatori avevano tentato di replicare 100 studi pubblicati su riviste di psicologia di alto profilo. Solo 39 dei 100 studi produsse risultati replicabili con lo stesso livello di significatività statistica. Meno di quattro su dieci.

La crisi di replicabilità non riguarda solo la psicologia. Studi analoghi hanno documentato tassi di replicazione preoccupanti in oncologia, medicina clinica, economia, neuroscienze. Le cause sono multiple — campioni troppo piccoli, effetti sovrastimati, pubblicazione selettiva dei risultati positivi — ma il p-hacking e il HARKing sono tra i contribuenti più sistematici.

Il meccanismo è questo: uno studio con un effetto reale ma piccolo ha bisogno di un campione grande per essere rilevato in modo affidabile. Con un campione piccolo, l’effetto viene rilevato solo se per caso i dati sono particolarmente favorevoli — e questo produce unasovrastima dell’effettonei casi in cui si raggiunge la significatività. Quando si tenta di replicare lo studio con un nuovo campione, l’effetto reale — più piccolo di quanto sembrava — spesso non raggiunge la soglia. Il p-hacking amplifica questo problema: se il ricercatore ha selezionato l’analisi che produceva il risultato migliore, l’effetto stimato è ancora più gonfiato, e la replicazione ancora meno probabile.

Riferimento: Open Science Collaboration (2015). Estimating the Reproducibility of Psychological Science. Science, 349(6251), aac4716.

Come difendersi: pre-registrazione e open science

La soluzione strutturale al p-hacking non è affidarsi alla buona volontà dei singoli ricercatori, ma è cambiare le regole del gioco in modo che le pratiche scorrette diventino visibili e le pratiche corrette diventino la norma.

Lo strumento più efficace è lapre-registrazione.Prima di raccogliere un solo dato, il ricercatore deposita su una piattaforma pubblica — come OSF (Open Science Framework), ClinicalTrials.gov o AsPredicted — una descrizione dettagliata dello studio: le ipotesi, il disegno, la dimensione del campione prevista, le variabili primarie e secondarie, i criteri di esclusione degli outlier, i metodi statistici. Una volta depositata, questa descrizione è datata e immutabile.

La pre-registrazione non impedisce l’esplorazione dei dati — che rimane preziosa e legittima. Ma impone una distinzione netta tra analisi confermatoria (quella pre-specificata, che testa ipotesi) e analisi esplorativa (quella condotta guardando i dati, che genera ipotesi). Entrambe sono utili. Solo la prima produce evidenza nel senso rigoroso del termine.

Un secondo strumento è lapubblicazione dei protocolli prima dei risultati,i cosiddetti Registered Reports. Alcune riviste accettano oggi articoli in due fasi: nella prima, valutano e approvano il protocollo dello studio prima che i dati siano raccolti. Se il protocollo è approvato, la rivista si impegna a pubblicare i risultati indipendentemente da come vengono: significativi o no. Questo elimina il bias di pubblicazione selettiva alla radice.

Infine, lacondivisione dei dati grezzi— open data — consente ad altri ricercatori di verificare le analisi e di esplorare i dataset con occhi diversi. Non è una misura di controllo, ma di collaborazione: la scienza funziona meglio quando è trasparente.

Pre-registrare uno studio non significa essere meno creativi. Significa essere onesti su quando si sta testando e quando si sta esplorando. È una distinzione che la scienza deve imparare a fare sistematicamente.

Il p-hacking non è il problema della scienza disonesta.

È il problema della scienza onesta che opera dentro un sistema mal progettato. Ricercatori in buona fede, sotto la pressione di pubblicare risultati significativi, finiscono per usare pratiche analitiche che gonfiano i falsi positivi — spesso senza rendersene conto. Cambiare questo richiede più di una presa di coscienza individuale: richiede strumenti strutturali, norme editoriali diverse e una cultura della ricerca che smetta di premiare il risultato e inizi a premiare il rigore.

Reference

1. Bem, D.J. (2011). Feeling the Future. Journal of Personality and Social Psychology, 100(3), 407–425. ↩︎
2. Galak, J. et al. (2012). Correcting the Past: Failures to Replicate Psi. JPSP, 103(6), 933–948. ↩︎
3. Engber, D. (2017). Daryl Bem Proved ESP Is Real. Slate.↩︎
4. Simmons, J.P., Nelson, L.D., Simonsohn, U. (2011). False-Positive Psychology. Psychological Science, 22(11), 1359–1366.
   ↩︎
5. Kerr, N.L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217.↩︎