La tazza di tè di Muriel e il destino della ricerca scientifica: storia della randomizzazione e dei test di significatività

Tutto cominciò con una tazza di tè. Una storia che sembra uscita da un romanzo, quasi che avremmo potuto iniziarla conc’era una volta. Eppure è una storia vera con implicazioni tutt’altro che leggére – attenzione all’accento – per la storia della ricerca scientifica, le procedure di randomizzazione e finanche i test di significatività.

Intorno al 1920, durante una pausa al Rothamsted Experimental Station nell’Hertfordshire, Ronald Fisher – sì proprio lui, sir Ronald Fisher, quello del test esatto di Fisher – offrì a Muriel Bristol, sua collega, una tazza di tè appena versata. Muriel rifiutò. Preferiva che il latte venisse versato nella tazza prima del tè, non dopo, e sosteneva di saper distinguere al primo sorso, l’ordine di versamento del latte e del tè. Fisher era scettico. William Roach, il fidanzato di Muriel che assisteva alla scena, propose di mettere alla prova quella pretesa. I due uomini prepararono otto tazze di tè — quattro con il latte versato prima, quattro con il latte versato dopo — e le offrirono a Muriel in ordine casuale. Lei le identificò tutte correttamente.

Fisher calcolò che, se Muriel non avesse avuto nessuna capacità di discriminazione reale, la probabilità di indovinare tutte e otto le tazze per puro caso era dell’1.43%. Quel calcolo elementare — fatto davanti a una teiera nell’Inghilterra degli anni Venti — conteneva in nuce due idee che avrebbero cambiato il modo in cui la scienza produce conoscenza: la randomizzazione come strumento di controllo e il test dell’ipotesi nulla come strumento di inferenza. Le due idee nacquero insieme, dallo stesso esperimento, nella stessa mente. La storia successiva le avrebbe portate in direzioni molto diverse.

Fisher e il problema del controllo

Ronald Fisher non era un medico e non lavorava su farmaci. Era uno statistico e un genetista che lavorava su campi agricoli e il problema che cercava di risolvere era concreto e pratico: come si fa a capire se una varietà di grano produce più dell’altra, quando i campi differiscono in fertilità del suolo, esposizione al sole, umidità, storia delle coltivazioni precedenti? Qualsiasi confronto tra due varietà rischiava di essere confuso da tutte queste differenze. Nessun agricoltore, per quanto attento, poteva controllare tutte le variabili simultaneamente.

La soluzione di Fisher fu elegante nella sua radicalità. Anziché cercare di controllare tutte le variabili note, egli suggerì di distribuire i trattamenti in modo casuale tra le unità sperimentali. Dunque propose di randomizzare i campi. La randomizzazione non elimina le differenze tra i campi in quanto le differenze esistono e continuano a esistere. Essa le distribuisce a caso tra i gruppi di trattamento, in modo che, in media, i gruppi siano comparabili non solo per le variabili che il ricercatore ha misurato, ma anche per tutte quelle che non ha misurato o che non conosce. Questo è il salto concettuale che distingue la randomizzazione da qualsiasi altra forma di controllo sperimentale. Non richiede di sapere cosa confonde il confronto, perché funziona su tutto ciò che esiste, noto e ignoto.

Lo strumento prima dell’evidence-based medicine

Fisher formalizò queste idee in due libri fondativi:Statistical Methods for Research Workers¹nel 1925 eThe Design of Experiments²nel 1935 — lo stesso anno in cui raccontava l’esperimento della tazza di tè come illustrazione del principio del test dell’ipotesi nulla. I due libri codificarono un’intera architettura del disegno sperimentale: la randomizzazione, la replicazione, il controllo locale attraverso la struttura a blocchi. Quella architettura sarebbe diventata il fondamento del trial randomizzato controllato in medicina, del disegno sperimentale in psicologia, dell’A/B testing nell’ingegneria del software. Settant’anni prima che qualcuno pronunciasse la parola evidence-based medicine, Fisher aveva già costruito lo strumento che la rendeva possibile.

L’ipotesi nulla e il p-value

L’esperimento della tazza di tè, oltre che dar vita all’idea di randomizzazione, conteneva però anche il germe di un’altra idea, quella che avrebbe avuto una storia più tormentata. Fisher costrui il test statistico dell’esperimento attorno a una domanda precisa. Qual è la probabilità di osservare un risultato almeno così estremo come quello osservato, se Muriel non avesse nessuna capacità di discriminazione reale? Quella probabilità — l’ 1.43% — è ciò che oggi chiamiamop-valuee l’ipotesi che Muriel non avesse capacità di discriminazione è la famosissima ipotesi nulla.

La logica del test è sottile e vale la pena nominarla con precisione: il p-value non è la probabilità che l’ipotesi nulla sia vera. Non è nemmeno la probabilità che il risultato sia dovuto al caso. È la probabilità di osservare dati almeno così estremi, assumendo che l’ipotesi nulla sia vera. La distinzione non è accademica: è la fonte di quasi tutti i fraintendimenti che hanno afflitto l’uso dei test di significatività per un secolo.

Per capire perché la distinzione conta, vale la pena restare nell’esperimento della tazza di tè. Il p-value dell’1.43% non dice che la probabilità che Muriel non abbia capacità di discriminazione è dell’1.43%. Dice che, se Muriel non avesse nessuna capacità, la probabilità di ottenere quel risultato — tutte e otto le tazze identificate correttamente — sarebbe dell’1.43%. Sono due affermazioni logicamente diverse. La prima riguarda la probabilità di un’ipotesi alla luce dei dati. È esattamente la domanda a cui i ricercatori vogliono rispondere ed è esattamente la domanda a cui il p-value non risponde. La seconda riguarda la probabilità dei dati alla luce di un’ipotesi: è quello che il p-value effettivamente calcola e non è la stessa cosa.

Critiche al p-value

Questa inversione logica — leggere il p-value come se rispondesse alla prima domanda quando risponde alla seconda — è documentata in modo sistematico tra ricercatori, revisori e docenti di statistica. Haller e Krauss, in uno studio del 2002 pubblicato su Methods of Psychological Research³, sottoposero sei affermazioni false sul significato di un risultato statisticamente significativo a tre gruppi di psicologi operanti in università tedesche: 30 metodologi che insegnavano statistica agli studenti, 39 scienziati che non insegnavano metodologia, e 44 studenti di psicologia.

I risultati furono sorprendenti. L’80% dei metodologi — coloro che avevano la responsabilità diretta di insegnare i test di significatività — accettò come vera almeno una delle sei affermazioni false. Il fraintendimento più diffuso, trasversale a tutti e tre i gruppi, riguardava la quinta affermazione: quella legata al p-value. Si riteneva erroneamente che il p-value rappresentasse la probabilità di commettere un errore nel momento in cui si decide di rifiutare l’ipotesi nulla. Un’interpretazione sbagliata che fu accettata come vera dal 73% dei metodologi, dal 67% degli altri scienziati e dal 68% degli studenti. Il problema, come conclude lo studio, non nasce nelle menti degli studenti e poi viene corretto dai docenti. Il problema nasce nei manuali, si trasmette attraverso l’insegnamento, e sopravvive intatto per generazioni.

Fisher stesso era consapevole del carattere limitato dello strumento che stava costruendo. Il p-value, nelle sue intenzioni originali, era un indicatore euristico, una misura della plausibilità dei dati sotto l’ipotesi nulla. Un indicatore da interpretare nel contesto complessivo di un esperimento, non una soglia automatica da usare per prendere decisioni. Non era lui a parlare di risultato significativo come di una prova. Era lui a dire che un singolo esperimento raramente dimostra qualcosa e che dunque la conoscenza scientifica si costruisce attraverso la replicazione e l’accumulo di evidenza. Non attraverso il superamento di una soglia numerica.

Neyman, Pearson e la svolta decisionale

La storia dei test statistici si complicò nei decenni successivi, quando Jerzy Neyman e Egon Pearson — figlio di Karl Pearson, uno dei padri fondatori della statistica moderna — proposero una riformulazione fondamentale del problema. Fisher aveva costruito il suo test attorno a una singola ipotesi nulla: i dati sono compatibili con l’assenza di effetto, sì o no? Neyman e Pearson argomentarono che questa impostazione era incompleta. Per prendere una decisione razionale, non basta sapere quanto sono improbabili i dati sotto l’ipotesi nulla, ma bisogna sapere quanto sono più probabili sotto un’ipotesi alternativa specificata.

Il framework di Neyman-Pearson introduce due concetti che Fisher aveva deliberatamente evitato: l’errore di tipo I — rifiutare l’ipotesi nulla quando è vera, il falso positivo — e l’errore di tipo II — non rifiutare l’ipotesi nulla quando è falsa, il falso negativo. I due tipi di errore sono in tensione tra loro: ridurre la probabilità di uno tende ad aumentare quella dell’altro. La scelta della soglia di significatività — il famoso 0.05 — diventa nel framework di Neyman-Pearson una decisione esplicita su quale compromesso tra i due errori si è disposti ad accettare, in funzione del contesto e delle conseguenze pratiche degli errori stessi.

Fisher vs. Neyman-Pearson

Fisher e Neyman-Pearson non si capirono mai e non per ragioni puramente intellettuali. La loro polemica, che attraversò decenni di lettere, articoli e conferenze, aveva anche una dimensione personale e istituzionale. Fisher considerava il framework di Neyman-Pearson una distorsione del suo approccio, un tentativo di trasformare uno strumento epistemico in un algoritmo decisionale. Neyman e Pearson consideravano il p-value fisheriano privo di fondamento razionale in assenza di un’ipotesi alternativa esplicita. Nessuno dei due aveva torto del tutto. Nessuno dei due aveva ragione del tutto.

La dimensione istituzionale aveva radici concrete. Nel 1933, alla pensione di Karl Pearson, la sua posizione all’University College London fu divisa tra Fisher — che divenne Galton Professor of Eugenics e capo del Galton Laboratory — ed Egon Pearson, che ereditò la direzione del Department of Applied Statistics. I due si trovarono a guidare dipartimenti adiacenti nello stesso edificio, una situazione strutturalmente conflittuale che trasformò una disputa intellettuale in una convivenza forzata e alimentò per anni la durezza dei toni.

Il risultato pratico di questa disputa irrisolta fu che la comunità scientifica adottò un ibrido incoerente. La forma del test di Neyman-Pearson — con soglia, errori di tipo I e tipo II, decisione di rifiutare o non rifiutare l’ipotesi nulla — ma l’interpretazione fisheriana del p-value come misura dell’evidenza contro l’ipotesi nulla. Questo ibrido è ancora quello che la maggior parte dei ricercatori usa oggi e le sue incoerenze interne sono la fonte di molti dei problemi che la metodologia contemporanea si trova ad affrontare.

La soglia dello 0.05: convenzione divenuta dogma

Questa la disputa. Ma da dove viene la soglia del 5%? Fisher stesso, nel 1925, scrisse che un valore di p inferiore a 0.05 poteva essere considerato sufficientemente raro da giustificare conclusioni circa l’esistenza di un effetto reale. Era una convenzione pratica, proposta per contesti sperimentali specifici, non un principio universale. Fisher era esplicito nel dire che soglie diverse potevano essere appropriate in contesti diversi, dunqu che un p-value del 4% in un contesto poteva essere meno convincente di un p-value del 6% in un altro, a seconda della plausibilità dell’ipotesi, della qualità dei dati e della coerenza con evidenze preesistenti.

Nel giro di pochi decenni, quella convenzione pratica divenne un dogma universale. Le riviste scientifiche iniziarono a richiedere p<0.05 quasi come se fosse condizione necessaria per la pubblicazione. I manuali di statistica la presentarono come soglia standard senza discutere il suo carattere arbitrario. I ricercatori impararono a costruire i loro disegni sperimentali attorno alla necessità di superare quella soglia e, quando i dati non la superavano, a cercare analisi alternative che la facessero superare. Quello che Fisher aveva pensato come uno strumento euristico da usare con giudizio divenne un criterio automatico da soddisfare indipendentemente dal contesto.

Le conseguenze di questo irrigidimento sono state analizzate e documentate da più parti. L’Open Science Collaboration, in una verifica su larga scala pubblicata su Science nel 2015, riuscì a replicare con risultati statisticamente significativi solo il 36 per cento dei risultati originariamente pubblicati in psicologia⁴. Studi simili in medicina, economia e biologia hanno mostrato pattern analoghi. Il problema non è che la scienza sia disonesta. Piuttosto è che un sistema che premia i risultati significativi e punisce i risultati nulli crea incentivi strutturali alla pubblicazione selettiva, all’analisi post hoc presentata come ipotesi a priori e alla ripetizione di analisi fino al raggiungimento della soglia desiderata.

Cosa è andato storto: limiti strutturali dei test di significatività

I test di significatività soffrono di problemi logici che i loro utenti raramente esaminano con attenzione. Il più profondo riguarda la struttura stessa del test⁵. Quando i dati sono giudicati statisticamente significativi e l’ipotesi nulla viene rifiutata, quel giudizio si basa su una probabilità calcolata assumendo che l’ipotesi nulla sia vera. Ma è proprio quella assunzione che il risultato mette in discussione. Il p-value è una misura definita sotto l’ipotesi nulla. E quando il test la rifiuta, quella misura ha fatto il suo lavoro, ma smette di essere interpretabile come evidenza nel senso pieno del termine. Era costruita su un’assunzione che il risultato stesso suggerisce essere falsa. Non è un errore di calcolo. È un problema di pertinenza: il test risponde correttamente a una domanda che, nel momento in cui ottiene risposta, rivela i propri limiti.

Per capire perché questo è un problema reale e non un gioco di parole, torniamo alla tazza di tè. Il test calcola la probabilità di osservare otto identificazioni corrette su otto, assumendo che Muriel non abbia nessuna capacità di discriminazione. Quella assunzione — l’ipotesi nulla — è il punto di partenza del calcolo. La probabilità dell’1.4% è valida in quel mondo ipotetico: nel mondo in cui Muriel indovina a caso. Nel momento in cui il test rifiuta quell’ipotesi — nel momento in cui conclude che quell’1.43% è sufficientemente basso da rendere plausibile che Muriel abbia capacità reali — il calcolo ha già esaurito ciò che può dire. Sa che il mondo dell’ipotesi nulla è improbabile. Non sa nulla del mondo alternativo. Quanto è forte la capacità di Muriel, in quali condizioni funziona, se dipende dalla temperatura della tazza o dall’ordine di presentazione. Il test apre una porta, ma non dice cosa c’è dall’altra parte.

Lo strano caso dell’ipotesi nulla

Questa asimmetria non è un difetto eliminabile con più dati o analisi più sofisticate: è strutturale. Il test funziona per ragionamento indiretto. Se il mondo fosse come dice l’ipotesi nulla, questi dati sarebbero molto improbabili. I dati esistono, quindi il mondo probabilmente non è come dice l’ipotesi nulla. È un argomento logicamente valido, ma la sua validità dipende interamente da quanto l’ipotesi nulla era plausibile in partenza. Il test, da solo, non fornisce nessuna informazione su questo. Due studi con lo stesso p-value di 0.03 possono avere forza di evidenza radicalmente diversa se uno testa un’ipotesi biologicamente plausibile e l’altro testa qualcosa che contraddiceva già la letteratura esistente. Il p-value non distingue i due casi. Per farlo, servirebbero le probabilità a priori, esattamente ciò che l’analisi bayesiana incorpora e che il test di Fisher, per scelta deliberata, esclude.

Ipotesi nulle nel contesto di ricerca

C’è poi il problema delle ipotesi nulle che contraddicono il senso comune o ignorano la ricerca precedente. Un test che ipotizza che due medie siano esattamente uguali — non approssimativamente uguali, ma identiche fino a molte cifre decimali — confronta i dati con qualcosa che non esiste nel mondo reale. In campioni grandi, anche differenze minuscole e clinicamente irrilevanti producono p-value statisticamente significativi, perché il test rileva la deviazione dall’ipotesi nulla, non la dimensione dell’effetto né la sua rilevanza pratica. Un p-value di 0.001 in un campione di centomila persone non dice nulla sull’importanza clinica di una differenza di due millimetri di mercurio nella pressione arteriosa.

I test di significatività, infine, non cumulano conoscenza. Ogni studio testa la propria ipotesi nulla in isolamento, senza incorporare formalmente ciò che studi precedenti hanno già dimostrato.

L’analisi bayesiana — proposta da Thomas Bayes nel Settecento e rimasta a lungo ai margini della statistica applicata per ragioni computazionali — offre un’alternativa strutturalmente diversa: aggiornare le probabilità alla luce dei nuovi dati, integrando le evidenze precedenti anziché ignorarle. Con l’avvento dei computer moderni, l’analisi bayesiana è diventata praticabile su larga scala. La sua adozione in epidemiologia, medicina e scienze cognitive è cresciuta significativamente nelle ultime decadi.

Un secolo dopo Muriel

Muriel Bristol aveva torto sul metodo — non era un test controllato nel senso moderno, perché lei sapeva quante tazze erano state preparate in ciascun modo — ma aveva ragione sulla sostanza: sapeva davvero distinguere i due ordini di versamento. Fisher aveva usato quell’esperimento per illustrare un principio epistemico di straordinaria potenza: la conoscenza scientifica richiede un metodo per separare il segnale dal rumore e che la randomizzazione è il fondamento di quel metodo.

Quello che Fisher non aveva previsto — o non aveva voluto prevedere — era che lo strumento inferenziale costruito intorno a quell’esperimento sarebbe diventato, nelle mani di generazioni di ricercatori, qualcosa di molto diverso da quello che aveva immaginato. Non uno strumento euristico da usare con giudizio, ma un algoritmo automatico da applicare indipendentemente dal contesto, un criterio di pubblicabilità anziché di evidenza, una soglia da superare anziché una misura da interpretare.

La randomizzazione ha mantenuto la sua promessa originale: resta il fondamento epistemico più solido disponibile per stabilire relazioni causali. I test di significatività hanno avuto una storia più complicata. E ciò non perché l’idea fosse sbagliata, ma perché la distanza tra come Fisher li aveva concepiti e come sono stati usati si è rivelata, nel tempo, più grande di quanto chiunque avesse anticipato.

La storia della scienza è piena di strumenti buoni usati male.Raramente, però, lo scarto tra intenzione e uso ha avuto conseguenze così pervasive e così difficili da correggere come nel caso dei test di significatività statistica. Riconoscerlo non significa abbandonare lo strumento. Significa tornare a usarlo nel modo in cui era stato pensato, dunque con giudizio, con contesto e con la consapevolezza che un numero, per quanto piccolo, non ha mai dimostrato niente da solo.

Reference

1. Fisher, R. A. (1925).Statistical methods for research workers. Oliver & Boyd.↩︎
2. Fisher, R. A. (1935).The design of experiments. Oliver & Boyd.↩︎
3. Haller, H., & Krauss, S. (2002).Misinterpretations of significance: A problem students share with their teachers?Methods of Psychological Research Online, 7(1), 1–20.↩︎
4. Open Science Collaboration (2015). Estimating the reproducibility of psychological science.
   Science. 349(6251): 943, aac4716.↩︎
5. Schwab, A., & Starbuck, W. H. (2024). How Muriel’s tea stained management research through statistical significance tests.Academy of Management Learning & Education.↩︎