Procedure senza ragionamento: il rischio di perdere il senso della ricerca

Statistica, matematica e metodologia di ricerca vengono trasmesse come procedure da eseguire. Il risultato è una generazione di ricercatori tecnicamente attrezzati — i più attrezzati della storia dell’umanità — ma concettualmente fragili. Mathsly Research Magazine è stato creato per rimettere il ragionamento al centro.

Il problema che nessuno nomina

Immagina un dottorando al secondo anno. Sa usare il software R. Sa quale test scegliere per i suoi dati, o almeno crede di saperlo: ha seguito la procedura che ha visto fare al suo tutor, che l’ha vista fare al suo, in una catena di imitazione che risale per decenni. Esegue un test t, ottiene un p-value inferiore a 0.05 — il valore più ricercato della ricerca — e scrive: “Il risultato è statisticamente significativo”. Non sa con precisione cosa significhi quella frase. Forse non lo sa con precisione neanche il suo tutor. Forse all’interno del suo dipartimento pochi sanno davvero cosa significa e soprattutto cosa implica.

Questo esempio potrebbe sembrare estremo, forse esagerato. Non lo è. Tante volte è la norma. E non perché i ricercatori siano superficiali, anzi la maggior parte di essi è rigorosa, motivata, attenta, pronta ad apprendere. Il problema è a monte: il modo in cui statistica, matematica e metodologia di ricerca vengono insegnate privilegia sistematicamente la procedura sul ragionamento.

Si insegna come calcolare un intervallo di confidenza. Raramente si insegna cosa significa, davvero, dire che “il 95% degli intervalli costruiti con questo metodo conterrà il parametro vero”. Si insegna come strutturare un disegno sperimentale. Raramente si discute perché certe scelte di campionamento invalidano l’inferenza — il famoso passaggio dal campione alla popolazione — anche con i dati più puliti del mondo.

Più discipline, lo stesso errore

Il problema che stiamo vivendo nell’ambito della ricerca non riguarda solo la statistica. Riguarda l’intero ecosistema del ragionamento quantitativo.

Matematica

La matematicaviene spesso trasmessa come un sistema di regole da memorizzare — equazioni, limiti, derivate, integrali — senza che emerga la struttura logica sottostante, la capacità di astrarre e generalizzare, ossia senza accendere il vero motore del pensiero matematico, la marcia in più che consente alla matematica di entrare in discipline diverse e dare a ciascuna di esse un contributo significativo. Il risultato è una diffusa “matematofobia” anche tra professionisti che usano quantità complesse ogni giorno senza rendersene conto.

Statistica

Lastatisticava ancora peggio. È diventata, in molti contesti, una lingua morta: si conoscono le forme, si ripetono le liturgie — il p-value, l’ANOVA, il coefficiente di correlazione — ma il significato si è perso per strada. I ricercatori sanno cosa applicare, molto meno spesso sanno perché. I nuovi strumenti restano appannaggio degli esperti, mentre i non esperti continuano ad affidarsi al test t anche quando le sue assunzioni crollano in modo inesorabile sotto i dati. La crisi di replicabilità che ha investito psicologia, medicina e scienze sociali negli ultimi vent’anni non è una crisi di onestà: è esattamente questa — una crisi di comprensione.

Metodologia di ricerca

Infine, lametodologia della ricercaè, a tutti gli effetti, una scienza e come tale si è evoluta nel tempo. Protocolli condivisi, standard di reporting, linee guida internazionali: strumenti nati per rendere gli studi comparabili, per consentire alla comunità scientifica di parlare la stessa lingua. Un progresso reale, che non va sottovalutato. Eppure qualcosa si è inceppato. Quella stessa standardizzazione che doveva liberare il pensiero si è trasformata in molti contesti in un rituale da eseguire. Presentare un articolo somiglia sempre più al decollo di un aereo: una checklist da spuntare voce per voce, dove l’obiettivo è non omettere nessun passaggio, non chiedersi perché quei passaggi esistano. Ma la metodologia di ricerca è prima di tutto una forma di pensiero critico. È la capacità di chiedersi cosa stai davvero misurando, cosa puoi concludere con i risultati che hai ottenuto, e quali assunzioni stai facendo senza dirlo, magari senza nemmeno saperlo. Una checklist può dirti se hai dichiarato il tuo campione. Non può dirti se il tuo campione risponde davvero alla domanda che hai posto.

Il p-value come specchio

Il più famoso emblema di questo passaggio dal ragionamento al tecnicismo è il p-value. Vale la pena fermarcisi un momento, non per demolirlo, ma perché conoscendo la sua storia si capisce meglio come usarlo senza sovraquotarlo.

Introdotto da Sir Ronald Fisher negli anni Venti del Novecento come strumento pratico — una misura dell’incompatibilità tra i dati e un’ipotesi nulla, utile per orientare il ragionamento senza essere una regola assoluta — il p-value è stato trasformato nel tempo in un oracolo binario. Gli è stato affiancato un cut-off, una soglia decisionale: sotto 0.05, scoperta; sopra 0.05, il lavoro non vale nulla. Non era questa l’intenzione originale e ciò non è statisticamente corretto. Ma è diventato la convenzione globale, difesa per inerzia da riviste, commissioni e laboratori.

Nel 2016 l’American Statistical Association ha pubblicato una dichiarazione ufficiale per chiarire cosa il p-value non è e non può essere¹. Nel 2019 ha fatto un passo ulteriore, chiedendo esplicitamente di abbandonare l’espressione “statisticamente significativo”². Eppure questo approccio continua ad accompagnare la ricerca attuale: non c’è paper o revisore che non parli di valori statisticamente significativi. E quasi nessun corso di statistica ha recepito quell’invito; molte università continuano a fondare tutto su questo indicatore dagli apparenti poteri magici.

La soluzione sembrerebbe a portata di mano: se il p-value è il problema, aboliamolo. Ma la strada non è così semplice e soprattutto non è quella giusta. Il p-value è solo uno dei tanti esempi, forse il più eclatante, di cosa succede quando uno strumento viene insegnato senza il contesto concettuale che gli dà senso. Non è da abolire. È da capire.

Il caso dell’econometria: quando la tecnica oscura la domanda

Un’area in cui questo problema si manifesta con particolare nitidezza è l’econometria. Per chi non la conoscesse: l’econometria è una disciplina che applica strumenti statistici e matematici per spiegare i fenomeni economici. Ha una tradizione metodologica raffinata, ma è anche un territorio in cui la complessità degli strumenti tende a spostare l’attenzione dalla domanda di ricerca al modello stesso.

Un ricercatore che usa una regressione OLS — la famosa regressione lineare dei minimi quadrati, che approssima i dati a una retta — sa, in genere, come interpretare i coefficienti. Sa meno spesso cosa succede quando le assunzioni del modello vengono violate — eteroschedasticità, autocorrelazione, endogeneità — e quasi mai ha riflettuto su cosa significa causalmente quello che sta stimando. La domanda “stai misurando un’associazione o stai identificando un effetto causale?” dovrebbe precedere qualsiasi scelta tecnica. Spesso non viene nemmeno posta.

La rivoluzione dell’identificazione causale — difference-in-differences, regressione discontinua, variabili strumentali — ha trasformato l’econometria empirica negli ultimi trent’anni. Ha spostato il baricentro dalla stima alla domanda: prima di scegliere il metodo, devi essere in grado di argomentare perché il tuo disegno ti permette di dire qualcosa di causale, e non solo descrittivo.

Eppure nei corsi di econometria si insegna ancora, prevalentemente, la meccanica della stima. I minimi quadrati ordinari, i test di specificazione, i modelli a effetti fissi. Strumenti importanti, assolutamente indispensabili, ma strumenti che, senza il ragionamento causale sottostante, diventano macchine per produrre numeri plausibili anziché risposte affidabili.

L’econometria è, in questo senso, un caso di scuola di quello che accade quando una disciplina cresce in potenza tecnica più velocemente di quanto cresca la consapevolezza concettuale di chi la usa. Il rimedio non è semplificare gli strumenti, ma alzare il livello del ragionamento.

La matematica per chi inizia: costruire l’intuizione prima delle regole

C’è un momento preciso in cui molti studenti perdono il contatto con la matematica. Non è quando arrivano le equazioni differenziali o l’algebra lineare. È prima, molto prima. È quando la matematica smette di sembrare un modo di capire le cose e inizia a sembrare un insieme di regole da non sbagliare.

Succede spesso intorno alle medie o al primo anno di superiori: le frazioni, le proporzioni, l’algebra elementare. Se fino a quel momento la matematica era la materia per imparare a far di conto, dalle scuole superiori in poi dovrebbe diventare qualcosa di più: un sistema per imparare a ragionare, così come fa la filosofia. Gli argomenti non sono oggettivamente difficili, ma appaiono tali perché vengono presentati come procedure — “si fa così” — senza che emerga il perché. E quando un ragazzo non capisce il perché, non ha strumenti per recuperare quando sbaglia: può solo ripetere la procedura, sperando di ricordarsi il passaggio che ha dimenticato.

Junior magazine

Per questo ho voluto includere in questo magazine una sezione dedicata ai ragazzi della scuola: il Junior Magazine. L’obiettivo non è semplificare la matematica — la matematica non ha bisogno di essere impoverita per essere accessibile. È restituirle ciò che la rende bella e potente: l’intuizione. La capacità di vedere perché una cosa funziona, prima di sapere come si calcola.

Un ragazzo che capisce perché moltiplicare due numeri negativi dà un numero positivo — non come regola da memorizzare, ma come conseguenza logica di un sistema coerente — ha qualcosa di più prezioso di chi sa applicare la regola senza capirla: ha un’intuizione trasferibile. Può usarla quando incontra qualcosa di nuovo nella sua vita.

Questo vale per gli studenti. Ma vale anche per molti adulti che si sono convinti di non essere “portati” per la matematica: una convinzione quasi sempre falsa, quasi sempre costruita su anni di procedure insegnate senza contesto. Non è mai troppo tardi per ricostruire l’intuizione che avrebbe dovuto venire prima.

Perché ho fondato Mathsly Research Magazine

Nel corso della mia esperienza ho visto che studenti, dottorandi e ricercatori già consolidati non hanno bisogno dell’ennesimo corso su come si esegua un calcolo. L’avvento dell’intelligenza artificiale ha semplificato molte procedure un tempo di appannaggio esclusivo degli esperti, rendendole accessibili a tutti. L’AI non è il problema: è una nuova opportunità per colmare le lacune nell’approccio alla scienza. Eppure rende ancora più urgente una domanda: se la macchina può eseguire la procedura, qual è il valore aggiunto del ricercatore? Non è la fine del ruolo dell’uomo nella scienza, come qualcuno sostiene. È anzi il suo rilancio, a patto che il ragionamento torni ad essere il punto di partenza, prima ancora che le macchine entrino in gioco.

Ho fondato questo magazine per restituire il ragionamento a chi usa la statistica, la matematica, la metodologia di ricerca e l’econometria come strumenti del proprio quotidiano — che si tratti di un nuovo paper da scrivere, di un esame da superare, o semplicemente della curiosità di capire meglio come funziona il mondo.

Il tono non è quello del manuale né quello della divulgazione facile. È qualcosa di diverso: preciso nei contenuti, accessibile nella forma. Credo che la complessità possa essere spiegata senza essere banalizzata e che il rigore non debba escludere chi non viene da un dottorato in matematica.

Mi rivolgo ai ricercatori che vogliono capire meglio quello che già fanno. Agli studenti che sentono che qualcosa manca nel modo in cui viene loro insegnato. Ai professionisti che usano modelli e dati e vogliono farlo con maggiore consapevolezza. E a chi è semplicemente curioso di come funziona il ragionamento quantitativo, che è, in fondo, uno dei modi più potenti che abbiamo per capire il mondo.

La ricerca non è senza significato.

Il modo in cui trasmettiamo gli strumenti per fare ricerca ha bisogno di una revisione profonda. Non una rivoluzione, non stiamo buttando via nulla. Stiamo aggiungendo quello che manca: il perché, prima del come.

Reference

1. Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s Statement on p-Values: Context, Process, and Purpose.The American Statistician, 70(2), 129–133.https://doi.org/10.1080/00031305.2016.1154108UC Berkeley Statistics↩︎
2. Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a World Beyond “p < 0.05”.The American Statistician, 73(sup1), 1–19.https://doi.org/10.1080/00031305.2019.1583913↩︎