Cinque domande per un trial: come funziona il RoB2 di Cochrane

Immagina di leggere untrial clinico randomizzatocon un risultato promettente: p < 0.05, intervallo di confidenza che esclude lo zero, effetto apparentemente solido. Tutto sembra in ordine. Ma poi scopri che la randomizzazione era basata sul numero di cartella clinica — prevedibile dagli operatori, che i pazienti sapevano quale farmaco stavano assumendo. Ed ancora che il 30% del gruppo sperimentale aveva abbandonato lo studio per effetti collaterali, e questo non era stato discusso adeguatamente. Che l’outcome primario a 12 mesi non era significativo, e i ricercatori avevano deciso di pubblicare solo quello a 6 mesi.

Ilp-valueè ancora lì, più forte che mai. Ma il risultato non vale nulla.

Questo è esattamente il tipo di problema per cui il RoB2 — Revised Cochrane Risk of Bias Tool for Randomized Trials — è progettato. In questo articolo vedremo cos’è il RoB2, come funziona  e perché è uno strumento indispensabile per chiunque legga, scriva o valuti studi clinici randomizzati.

Cos’è il rischio di bias e perché conta

Il terminebiasindica gli errori sistematici che possono distorcere i risultati di uno studio in una direzione specifica. Non sono errori casuali, ma sono distorsioni strutturali che dipendono dal modo in cui lo studio è stato progettato, condotto, misurato o riportato. E a differenza degli errori casuali, non scompaiono con più dati: si amplificano.

Un trial con alto rischio di bias può produrre risultati statisticamente significativi che non corrispondono a nessun effetto reale. E viceversa: un trial ben condotto ma con campione piccolo può non raggiungere la significatività pur misurando un effetto reale. Confondere significatività statistica e assenza di bias è uno degli errori più comuni nella lettura della letteratura clinica.

Controllare il rischio di bias non è un’opzione metodologica. È una condizione necessaria per sapere se un risultato vale qualcosa.

Il RoB2 è lo strumento sviluppato dalla Cochrane Collaboration per standardizzare questa valutazione negli studi clinici randomizzati¹. È un algoritmo strutturato in cinque domini, ciascuno dedicato a una possibile fonte di distorsione. Per ogni dominio, una serie di domande — le signalling questions — guida verso una classificazione del rischio: basso, moderato (indicato come some concerns) o alto.

I cinque domini del RoB2

Ogni dominio del RoB2 esplora una fase specifica del trial in cui possono annidarsi distorsioni sistematiche.

Dominio 1 — Randomizzazione

La randomizzazione è il fondamento degli RCT: distribuisce casualmente i partecipanti tra i gruppi, garantendo che le differenze negli outcome siano attribuibili all’intervento e non a caratteristiche preesistenti. Il Dominio 1 valuta due aspetti: se la sequenza di assegnazione era genuinamente casuale e se era nascosta agli operatori fino al momento dell’assegnazione.

Il secondo punto — la concealment dell’allocazione — è spesso sottovalutato. Anche con una sequenza casuale, se i ricercatori sanno in anticipo a quale gruppo verrà assegnato il prossimo paziente, possonoselezionarei pazienti da arruolare in modo da favorire uno dei gruppi. Questo introduce un bias di selezione che nessuna analisi successiva potrà correggere.

Dominio 2 — Deviazioni dall’intervento

Una volta assegnati ai gruppi, i partecipanti dovrebbero ricevere solo l’intervento previsto. Il Dominio 2 valuta se la conoscenza dell’assegnazione — da parte dei pazienti, degli operatori o di entrambi — ha influenzato il comportamento durante lo studio. Un paziente che sa di ricevere il farmaco attivo può migliorare la compliance, modificare lo stile di vita, o riportare sintomi in modo diverso. Un clinico che conosce l’assegnazione può fornire cure aggiuntive ai pazienti trattati o interpretare i sintomi in modo diverso.

La cecità — blinding — è la principale protezione da questo bias. Ma non sempre è possibile: in chirurgia, in fisioterapia, in molti interventi comportamentali, non si può nascondere il trattamento. In questi casi il RoB2 chiede di valutare quanto le deviazioni osservate abbiano concretamente distorto i risultati — una valutazione che richiede ragionamento clinico oltre che metodologico.

Dominio 3 — Dati mancanti

Se i partecipanti abbandonano lo studio in modo asimmetrico — più in un gruppo che nell’altro, o per ragioni sistematicamente diverse — i dati mancanti non sono casuali. Sono informativi. E includerli o escluderli dall’analisi cambia il risultato. Il Dominio 3 valuta quanto l’abbandono sia stato bilanciato tra i gruppi e come i dati mancanti siano stati gestiti. Per chi ha letto il mio articolo su ITT e per-protocol, questo dominio ha una connessione diretta: l’analisiintention-to-treatè proprio lo strumento metodologico che protegge da questo tipo di bias, includendo tutti i partecipanti randomizzati indipendentemente da ciò che è successo dopo (vedi articolo dedicato).

Dominio 4 — Misurazione degli outcome

Come vengono misurati gli outcome è fondamentale quanto come vengono analizzati. Il Dominio 4 valuta se chi ha misurato gli outcome era cieco all’assegnazione dei partecipanti e se la misurazione era accurata e completa. Un valutatore che conosce l’assegnazione può — anche inconsapevolmente — misurare con diversa attenzione, interpretare in modo diverso risultati ambigui, o segnalare con diversa solerzia gli eventi avversi.

Dominio 5 — Reporting selettivo degli outcome

L’ultimo dominio riguarda la coerenza tra ciò che era stato pianificato e ciò che viene riportato. Se il protocollo pre-specificava un outcome primario e lo studio pubblica un outcome secondario perché quello primario non era significativo, siamo di fronte a unoutcome switching— una forma di p-hacking post-hoc che compromette l’interpretabilità dei risultati. Per chi ha letto il mio articolo su CONSORT 2025 (lo trovi qui), questo dominio corrisponde esattamente all’Item 10 (modifiche post-avvio) e all’Item 21d (distinzione tra analisi pre-specificate e post-hoc).

Come funzionano le signalling questions

Per ogni dominio, il RoB2 propone una serie di signalling questions con cinque possibili risposte: Sì (Y), Probabilmente sì (PY), Probabilmente no (PN), No (N), Nessuna informazione (NI).

Una distinzione importante: rispondere Sì e Probabilmente sì equivale allo stesso livello di rischio ai fini dell’algoritmo. La differenza sta nella forza dell’evidenza — Sì significa che l’informazione è esplicitamente riportata nello studio, Probabilmente sì che è ragionevolmente inferibile da ciò che è riportato. La stessa logica vale per No e Probabilmente no.

La direzione della risposta rispetto al rischio non è univoca. Rispondere Sì alla domanda sulla casualità della sequenza di randomizzazione indicabassorischio di bias. Rispondere Sì alla domanda sull’inappropriatezza della misurazione degli outcome indicaaltorischio. È l’algoritmo che trasforma le risposte in una classificazione di rischio — il valutatore deve rispondere accuratamente, non cercare di ragionare sulla direzione.

Dopo aver risposto a tutte le signalling questions di tutti i domini, l’algoritmo produce una classificazione finale per l’intero studio: basso rischio, some concerns o alto rischio. Questa classificazione riflette il dominio con il livello di rischio più elevato — uno studio con quattro domini a basso rischio e uno ad alto rischio riceve una classificazione complessiva di alto rischio.

Tre versioni per tre disegni

Il RoB2 non è uno strumento unico — esistono tre versioni, ciascuna adattata a un diverso disegno sperimentale.

IlRoB2 per trial paralleliè la versione più diffusa, progettata per gli studi a due bracci — gruppo intervento e gruppo controllo — in cui i partecipanti sono assegnati una volta sola a un gruppo e vi rimangono per tutta la durata dello studio. Il gruppo di controllo può essere un placebo, un trattamento standard, o un intervento alternativo.

IlRoB2 per cluster-randomized trialsè progettato per studi in cui l’unità di randomizzazione non è il singolo individuo ma un gruppo — ospedali, reparti, scuole, famiglie. In questi studi i bias si manifestano a due livelli: quello del cluster e quello dell’individuo al suo interno. L’algoritmo valuta entrambi, esplorando ad esempio se i cluster erano comparabili al momento della randomizzazione e se c’era rischio di contaminazione tra i gruppi.

IlRoB2 per studi crossoverè la versione per i trial in cui ogni partecipante riceve in sequenza sia il trattamento sperimentale sia il controllo. Questo disegno riduce la variabilità tra i soggetti, ma introduce rischi specifici: ilcarryover effect— l’effetto residuo del primo trattamento sul secondo — e l’order effect— il fatto che l’ordine di somministrazione influenzi i risultati. Il periodo di washout tra i trattamenti è la principale protezione, e l’algoritmo valuta se era adeguato.

Un caso concreto: dove si nascondono i bias

Il modo migliore per capire come funziona il RoB2 è applicarlo a un esempio reale. Prendiamo uno studio randomizzato controllato che valuta l’efficacia di un nuovo farmaco per il diabete di tipo 2 su 200 pazienti — 100 per gruppo.

Primo problema: la randomizzazione. L’assegnazione è stata eseguita in base al numero di cartella clinica — numeri pari nel gruppo sperimentale, dispari nel controllo. Non è randomizzazione vera. I ricercatori potevano prevedere a quale gruppo sarebbe stato assegnato il prossimo paziente, aprendo la porta alla selezione consapevole o inconsapevole di chi arruolare. Dominio 1: alto rischio.

Secondo problema: la cecità. Il farmaco aveva un sapore più piacevole dello standard of care e causava effetti collaterali riconoscibili. I pazienti sapevano cosa stavano assumendo. Il tecnico di laboratorio incaricato di misurare l’HbA1c era stato informato dell’assegnazione e aveva istruzioni di segnalare prontamente risultati anomali nel gruppo sperimentale. Doppio problema: i pazienti nel gruppo trattamento potrebbero aver modificato i comportamenti, e il tecnico misurava con diversa attenzione i due gruppi. Dominio 2 e Dominio 4: alto rischio.

Terzo problema: i dati mancanti. Il 30% dei pazienti nel gruppo sperimentale ha abbandonato lo studio per effetti collaterali, contro il 5% nel gruppo controllo. Questo abbandono asimmetrico è informativo — i pazienti che abbandonano sono probabilmente quelli che stanno peggio. Se l’analisi esclude chi ha abbandonato, il gruppo sperimentale appare artificialmente migliore. Dominio 3: alto rischio.

Quarto problema: il reporting. L’outcome primario era la riduzione dell’HbA1c a 12 mesi — non significativo. I ricercatori hanno scelto di pubblicare solo il risultato a 6 mesi, che era favorevole, minimizzando la discussione sugli effetti collaterali e sull’alto tasso di abbandono. Dominio 5: alto rischio.

Tabella riassuntiva

Cinque domini, cinque rischi alti. La classificazione complessiva dello studio è alto rischio di bias. Il p-value c’era, ma il risultato non è interpretabile.

Uno studio con alto rischio di bias non va ignorato — va letto con consapevolezza. La classificazione RoB2 non dice che i risultati sono falsi: dice che non si può escludere che lo siano.

RoB2 e CONSORT: due strumenti diversi sullo stesso percorso

Vale la pena chiarire una distinzione che genera spesso confusione. Il RoB2 e il CONSORT servono a cose diverse, anche se entrambi riguardano la qualità degli RCT.

CONSORT— di cui ho scritto un articolo dedicato su questo magazine —è uno strumento direporting: definisce cosa deve essere dichiarato nel manoscritto affinché il lettore abbia tutte le informazioni necessarie per valutare lo studio. Non valuta la qualità metodologica, esso serve per garantirne la trasparenza.

RoB2 è uno strumento divalutazione: analizza se i metodi adottati soo adeguati a produrre risultati validi. Uno studio può essere perfettamente trasparente secondo CONSORT e avere alto rischio di bias. Viceversa, uno studio metodologicamente solido può avere un reporting carente.

I due strumenti si completano: CONSORT garantisce che le informazioni ci siano, RoB2 valuta cosa quelle informazioni dicono sulla qualità metodologica. Nelle revisioni sistematiche, entrambi sono necessari.

Leggere un trial clinico senza valutarne il rischio di biasè come leggere solo la conclusione di un articolo senza guardare i metodi. Il risultato numerico è lì, ma il contesto che gli dà senso — o lo priva di senso — è altrove. Il RoB2 fornisce la struttura per guardare quel contesto in modo sistematico, dominio per dominio, senza affidarsi all’impressione generale o alla reputazione della rivista. È uno strumento tecnico. Ma risponde a una domanda fondamentale: questo risultato lo posso credere?

1. Sterne, J.A.C. et al. (2019). RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ, 366, l4898. https://doi.org/10.1136/bmj.l4898↩︎