Il piano che viene prima dei dati: cos’è il SAP e perché cambia tutto

Immagina di dover cucinare un piatto complesso per la prima volta. Potresti iniziare ad aprire il frigorifero, tirare fuori ingredienti a caso, assaggiare mentre cucini e decidere man mano cosa aggiungere. Oppure potresti leggere la ricetta prima, capire la struttura del piatto, preparare gli ingredienti con ordine e sapere già — prima di accendere il fuoco — cosa stai cercando di ottenere. Il risultato finale, in questi due scenari, raramente è lo stesso.

Nella ricerca scientifica succede qualcosa di analogo. Molti studi nascono con dati già raccolti, o peggio, con dati già esplorati, e solo in un secondo momento ci si chiede: come li analizzo? Questa sequenza — apparentemente innocua — è uno dei problemi metodologici più sottovalutati della ricerca contemporanea. E il documento che esiste proprio per invertirla si chiama SAP:Statistical Analysis Plan, piano di analisi statistica.

Cos’è il SAP

Il SAP è il documento in cui un ricercatore stabilisce, prima di guardare i risultati, come intende analizzare i dati dello studio. Non è un elenco di test statistici da applicare meccanicamente né un modulo burocratico da compilare per soddisfare un comitato etico. È qualcosa di più sostanziale: è il progetto operativo che traduce una domanda scientifica in un percorso analitico trasparente, dettagliato e riproducibile.

Un SAP ben scritto dice chi verrà incluso nell’analisi e chi no, come sono definite le variabili, quale modello statistico verrà usato e perché, come verranno gestiti i dati mancanti, quali analisi di controllo sono previste per verificare la solidità dei risultati. È, in sostanza, il piano regolatore di uno studio: non costruisce nulla da solo, ma senza di esso ogni cosa rischia di essere edificata nel posto sbagliato.

Perché il momento in cui viene scritto è parte del metodo

La tempistica non è un dettaglio. Le principali linee guida internazionali — l’ICH E9 per gli studi randomizzati controllati,STROBEper gli studi osservazionali, RECORD per quelli basati su dati routinari — concordano su un principio: il SAP deve essere definito prima di accedere ai dati completi, idealmente nella fase di progettazione dello studio.

Il motivo è più intuitivo di quanto sembri. Quando un ricercatore sa già come sono andati i dati, anche involontariamente, le sue scelte analitiche possono essere contaminate da ciò che ha visto. Magari sceglie un modello che “funziona meglio”, oppure decide di escludere un sottogruppo che abbassava la significatività statistica, oppure aggiunge una covariata che non era prevista ma che migliora il risultato. Nessuna di queste scelte è necessariamente disonesta: il problema è che sono invisibili al lettore del paper finale, che non sa distinguere le decisioni prese prima dai dati da quelle prese dopo.

Questo fenomeno ha un nome — p-hacking, o più in generale analytic flexibility — e contribuisce in modo significativo alla cosiddetta crisi della replicabilità: la difficoltà, documentata in molte discipline, di riprodurre i risultati di studi pubblicati. Scrivere il SAP prima dell’analisi non è una formalità: è l’atto con cui un ricercatore si impegna pubblicamente a non cambiare le regole del gioco una volta visti i risultati.

Cosa contiene un SAP: le sezioni essenziali

Un SAP non ha una lunghezza fissa — può essere un documento di poche pagine per uno studio semplice, o un testo articolato di decine di pagine per un trial clinico complesso. Ma la sua struttura segue uno schema relativamente stabile, che vale la pena conoscere anche solo per capire cosa cercare quando si legge uno studio altrui.

La prima sezione descrive la popolazione: chi è incluso nello studio, secondo quali criteri, e — soprattutto negli studi clinici — quali popolazioni analitiche verranno usate. Negli studi randomizzati, per esempio, è prassi distinguere tra l’analisi intention-to-treat, che considera tutti i soggetti assegnati al trattamento indipendentemente da quello che è successo dopo, e quella per-protocol, che si limita a chi ha seguito il protocollo fino in fondo. Sono due domande scientifiche diverse, e il SAP deve stabilire quale delle due è quella principale.

La seconda sezione definisce le variabili. Ogni variabile usata nell’analisi — esposizione, outcome, covariate — deve essere descritta con precisione: come è misurata, su quale scala, in quale finestra temporale, come viene gestita se mancante. Questo livello di dettaglio può sembrare eccessivo, ma è ciò che rende uno studio replicabile da un altro gruppo di ricerca, su dati diversi, in un contesto diverso.

La terza sezione descrive l’analisi statistica vera e propria: i modelli che verranno usati, le covariate incluse e il razionale della loro scelta, le strategie per gestire confondimento e bias. Negli studi osservazionali e in quelli basati su dati del mondo reale — i cosiddetti studi RWE — questa sezione è particolarmente densa, perché in assenza di randomizzazione il confondimento è una minaccia costante che richiede strumenti metodologici specifici, come il propensity score o i metodi di inferenza causale.

Infine, un SAP completo include sempre una sezione dedicata alleanalisi di sensibilità: verifiche aggiuntive che testano se le conclusioni tengono anche al variare di alcune assunzioni. Uno degli strumenti più usati in questo contesto è l’E-value, che misura quanto forte dovrebbe essere un fattore confondente non misurato per spiegare completamente l’associazione osservata. Non è un test di significatività: è una misura di robustezza, e la sua presenza in un SAP è un segnale di maturità metodologica.

Gli errori più comuni e come riconoscerli

Conoscere il SAP serve anche a leggere la ricerca altrui con occhi più critici. Alcuni segnali di debolezza metodologica sono riconoscibili anche senza essere statistici.

Il primo è l’assenza di preregistrazione. Quando un articolo non cita alcun registro pubblico dove il piano di analisi è stato depositato prima della raccolta o dell’analisi dei dati, è legittimo chiedersi quanto le scelte analitiche siano state influenzate dai risultati. Non è prova di frode, ma è motivo di cautela.

Il secondo è la vaghezza nella definizione delle variabili. Un outcome descritto come “miglioramento clinico” senza criteri operativi precisi è una definizione che lascia troppo spazio alla discrezionalità. Lo stesso vale per le covariate inserite nei modelli senza spiegazione del perché siano state incluse.

Il terzo — forse il più sottile — è la mancanza dianalisi di sensibilità. Uno studio che presenta solo il risultato principale, senza alcuna verifica di robustezza, sta implicitamente dicendo che le sue conclusioni non dipendono da nessuna assunzione discutibile. Il che è quasi sempre falso.

Perché tutto questo riguarda anche chi non fa ricerca

Potresti leggere queste righe senza fare ricerca clinica, senza scrivere paper, senza mai aver visto un SAP in vita tua. Eppure i risultati degli studi scientifici arrivano fino a te: attraverso le linee guida dei medici, le decisioni delle agenzie regolatorie, i titoli dei giornali che annunciano nuove cure o nuovi rischi.

Sapere che esiste uno strumento come il SAP — e che la sua presenza o assenza fa differenza — non è una competenza tecnica riservata agli addetti ai lavori. È alfabetizzazione scientifica: la capacità di chiedersi non solo “cosa ha trovato questo studio” ma “come lo ha trovato, e ci si può fidare del metodo”.

Un risultato è credibile nella misura in cui il metodo che lo ha prodotto era definito prima di conoscerlo.Questa frase, che potrebbe sembrare astratta, è in realtà il principio più concreto e operativo della ricerca scientifica moderna. Il SAP è lo strumento con cui quel principio prende forma su carta — prima ancora che i dati vengano guardati.