Metodologia ricerca

Campagne, sondaggi e numeri che (a volte) non tornano

Martedì 3 novembre gli americani hanno votato per Camera e Senato. Da molte settimane sondaggi sui possibili esiti circolavano sui media nazionali americani, alimentando le aspettative — e le speranze — dei due partiti. I democratici erano avanti nel voto generico con un margine variabile tra 6 e 12 punti; l’approval rating di Trump aveva raggiunto il minimo storico al 31%. I sondaggi sembravano aver già scritto la storia prima ancora che si aprissero le urne. Eppure, chiunque abbia seguito le ultime tre campagne americane — il testa a testa del 2024 tra Trump e Harris, e prima ancora il sorpasso a sorpresa del 2016 sempre di Trump su Hillary Clinton — sa che quella storia, a volte, si riscrive nel giro di una notte.

Il fatto che questa volta i sondaggi abbiano previsto correttamente l’esito non chiude la questione, anzi, la apre. Una previsione corretta con il metodo sbagliato resta un metodo sbagliato. E capire dove e perché i sondaggi sbagliano è utile non solo per leggere i risultati elettorali, ma per chiunque lavori con dati e stime siano esse in ambito medico, economico o di ricerca sociale.

Queste elezioni ci offrono un’occasione per guardare dentro la macchina dei sondaggi: come funzionano, perché sbagliano e cosa ci possono insegnare, anche per i nostri studi di ricerca.

Come funziona un sondaggio elettorale

Per affrontare questo argomento mettiamo in chiaro un punto fondamentale: un sondaggio elettorale non misura chi vincerà. I sondaggi misurano le intenzioni di voto di un campione di persone, in un momento preciso, con una metodologia specifica. La distinzione sembra ovvia ma viene sistematicamente ignorata nel dibattito pubblico, dove un dato al 47% viene letto come una previsione invece che come una stima puntuale con un suo margine di errore.

La costruzione di un sondaggio politico ha tre momenti critici e ciascuno introduce margini di errore che raramente compaiono nei titoli. Il primo è la selezione del campione: non basta raccogliere mille risposte; affinché il sondaggio sia accurato è necessario che quelle mille persone devono essere rappresentative dell’elettorato effettivo e non della popolazione adulta in generale, non degli iscritti alle liste, ma di chi andrà effettivamente a votare. Costruire questo filtro — il cosiddetto likely voter screen — richiede assunzioni su chi si presenterà alle urne. Quelle assunzioni sono quelle che possono fare una gran differenza sul risultato finale.

Il secondo momento critico è la formulazione delle domande: l’ordine con cui vengono poste, la presenza o meno dei nomi di candidati o il modo in cui viene descritto lo scenario di voto sono tutti fattori che possono modificare le risposte in misura statisticamente significativa.

Il terzo elemento è la ponderazione del campione: i rispondenti non sono mai distribuiti esattamente come l’elettorato reale. Per questo motivo chi conduce i sondaggi applica dei pesi correttivi per età, genere, istruzione, area geografica, spesso anche per il voto dichiarato alle elezioni precedenti (recall weighting). Ogni scelta di ponderazione introduce un grado di libertà e, potenzialmente, porta con se un bias.

Gli errori sistematici: house effects, herding e non-response bias

Se gli errori dei sondaggi fossero imprevedibili — a volte a favore di un partito, a volte dell’altro, senza una direzione stabile — una buona aggregazione di molte rilevazioni dovrebbe avvicinarsi alla verità. Come sappiamo infatti l’errore causale viene “compensato”. Il problema dei sondaggi è che gli errori presenti sono per la maggior parte errori sistematici che quindi puntano tutti nella stessa direzione.

Il primo errore sistematico è noto con il nome di house effect: ogni istituto di sondaggio ha una tendenza stabile e misurabile a sovrastimare o sottostimare uno dei due partiti rispetto al risultato reale. L’aggregatore Silver Bulletin di Nate Silver tiene traccia di questi scarti e li usa per correggere i dati prima di sommarli. Ma la correzione funziona solo se il comportamento dell’istituto è rimasto coerente tra un ciclo elettorale e l’altro, assunzione tutt’altro che garantita quando cambia la metodologia.

Il secondo problema, forse il più insidioso, è l’herding. Gli istituti sanno che i loro risultati verranno confrontati con quelli degli altri: un dato molto fuori dalla media fa notizia, ma fa anche rischiare la reputazione se poi si rivela sbagliato. Il risultato è che molti sondaggisti, consapevolmente o no, fanno convergere i propri risultati verso la media: archiviano le rilevazioni che escono fuori dalla distribuzione (file-drawering) oppure aggiustano i modelli di ponderazione finché il numero non torna in linea. L’analisi dei sondaggi in Pennsylvania e Wisconsin nel 2024 ha mostrato varianze di gran lunga inferiori a quelle attese per campioni indipendenti: un segnale statistico inequivocabile. L’ironia è che l’herding può rendere i singoli sondaggi più precisi nell’apparire plausibili, ma rende la media aggregata meno accurata, perché elimina la diversità informativa che l’aggregazione dovrebbe sfruttare.

Il terzo è il non-response bias. I sondaggi telefonici o online non raggiungono tutti in modo uguale: chi risponde non è un campione casuale della popolazione, ma qualcuno con tempo disponibile, disponibilità a parlare di politica, e spesso un certo grado di coinvolgimento partitico. Dopo il 2016, le ricerche hanno mostrato che gli elettori di Trump — in particolare quelli a basso reddito e con istruzione inferiore — erano strutturalmente sottorappresentati nei campioni. Questa asimmetria è difficile da correggere perché non si può misurare direttamente: chi non risponde, per definizione, non fornisce dati su sé stesso.

Il 2026 americano: numeri certi e numeri scivolosi

Nelle settimane prima del voto del 3 novembre, il quadro dei sondaggi mostrava un’asimmetria netta. Il tasso di approvazione di Trump era sceso al 31-32% secondo Reuters/Ipsos — il valore più basso dell’intero mandato e della sua intera carriera politica secondo quella serie. Nel confronto storico Gallup, solo Truman nel 1946 (27%) e Bush nel 2006 (37%) avevano portato un approval altrettanto basso alle midterm. Il generic ballot — la domanda su quale partito si intende votare per il Congresso, indipendentemente dai candidati specifici — assegnava ai democratici un vantaggio variabile tra 6 e 12 punti a seconda del sondaggio. L’aggregatore USPollingData, basato su 22 istituti attivi, collocava il composite alla vigilia a D+6,2, con i democratici al 48,1% e i repubblicani al 41,1%. I risultati delle elezioni danno ragione ai sondaggi (più o meno in termini di punti). Nonostante ci abbiano preso, da un punto di vista metodologico i numeri vanno letti con cautela. eppure tre elementi complicano l’interpretazione.

Il primo riguarda la storia degli errori sistematici. Nel 2016 i sondaggi nazionali sottostimarono Trump di circa 1-2 punti; nel 2020 lo scarto medio fu di circa 4 punti in favore dei democratici nei sondaggi statali, il peggior errore in quarant’anni secondo l’AAPOR. Nel 2022 il bias si invertì parzialmente: i sondaggisti, nel tentativo di correggere gli errori precedenti, sovrastimarono il vantaggio repubblicano in molte gare al Senato, mentre i democratici sovraperformarono le attese — la «red wave» non arrivò. L’errore non è dunque sempre nella stessa direzione, ma è sistematico nel senso che non è mai casuale: segue logiche strutturali legate al ciclo elettorale e alle correzioni metodologiche adottate ciclo per ciclo.

Il secondo è la distinzione tra voto generico e collegi specifici. Il generic ballot misura una preferenza nazionale, ma la Camera viene assegnata collegio per collegio. La geografia del gerrymandering repubblicano — e il redistricting avvenuto tra il 2024 e il 2026 — ha costruito mappe dove un vantaggio democratico nel voto popolare non si traduce proporzionalmente in seggi. Decision Desk HQ assegnava ai democratici l’80% di probabilità di riconquistare la Camera, ma quella stima incorporava già le proiezioni sui collegi in bilico, non solo il voto generico.

Il terzo elemento è il segnale degli exit poll. A urne aperte, i primi sondaggi uscita mostravano il 60% degli elettori convinto della regolarità del voto, ma anche che il costo della vita restava la prima preoccupazione degli americani. L’economia è storicamente la variabile più difficile da catturare nei sondaggi pre-voto: chi risponde dichiara un’intenzione di partito, ma il voto effettivo spesso riflette una valutazione istantanea delle condizioni materiali.

Campione e sondaggi: il caso italiano

I sondaggi politici italiani soffrono degli stessi problemi strutturali di quelli americani. Ma il contesto in cui operano ha alcune specificità che li rendono, se possibile, ancora più scivolosi.

La prima: il sistema misto proporzionale-maggioritario (noto come Rosatellum) rende la traduzione di intenzioni di voto in seggi non lineare in modo molto più marcato che in un sistema maggioritario puro. La soglia di sbarramento per le singole liste è al 3% a livello nazionale: un partito che si ferma al 2.8% ottiene zero seggi nonostante centinaia di migliaia di voti ed i sondaggi non riescono a stimare con precisione questi effetti soglia, perché la decisione finale dell’elettore dipende da calcoli strategici che cambiano nelle ultime ore.

La seconda è relativa al voto di opinione italiano, ossia a quella decisione che elettore prende nell’ultima settimana, spesso sulla base di un singolo tema emerso nel dibattito. Il voto di opinione in Italia è proporzionalmente più grande che negli USA. I sondaggi chiudono il campo esattamente quindici giorni prima del voto — il divieto di pubblicazione è fissato dalla legge n. 28/2000, art. 8 — per rispettare il silenzio pre-elettorale ed in quel lasso di tempo la campagna elettorare può cambiare completamente.

La terza specificità, più sottile, riguarda la desiderabilità sociale. In molti contesti locali dichiarare la propria intenzione di voto a un intervistatore esterno è percepito come un atto quasi privato, se non rischioso. I tassi di risposta ai sondaggi politici in alcune regioni italiane sono storicamente tra i più bassi d’Europa e il bias di non-risposta assume qui connotazioni diverse da quelle nordeuropee o americane.

Cosa resta dopo i sondaggi

Alla luce di tutta questa complessità resta dunque una domanda: I sondaggi sono allora utili? La risposta è sì, assolutamente sì. Essi sono l’unico strumento che abbiamo per misurare l’opinione pubblica prima che si esprima. Il problema non è lo strumento in sè, ma come viene letto.

Un sondaggio è una stima con un certo livello di incertezza. Quella incertezza ha due componenti: il margine di errore campionario, che viene sempre riportato (ad esempio ±3 punti al 95% di confidenza) e il bias sistematico, che non viene mai riportato perché non è misurabile dall’interno. I bias sistematici si stimano solo ex post, confrontando i sondaggi con i risultati reali e, sfortunatamente, anche quella stima vale per il passato, non necessariamente per il futuro.

Il fatto che i democratici abbiano conquistato sia la Camera sia il Senato questa settimana — come indicavano i modelli aggregati — non valida retrospettivamente ogni singolo dato circolato nelle ultime settimane. Ricordiamoci infatti che una previsione corretta con il metodo sbagliato è ancora un metodo sbagliato. E di converso, una previsione sbagliata con il metodo giusto è ancora un metodo giusto.

Quel che i sondaggi ci insegnano, quando li leggiamo con attenzione metodologica, è qualcosa di più interessante dei loro numeri: ci insegnano la struttura dell’incertezza. Ci dicono dove siamo ignoranti (nel senso che non sappiamo) ed in quale direzione potremmo sbagliare. Per chi lavora con i dati è una lezione che vale molto al di là delle elezioni.

∴
Newsletter

Un numero al mese, senza rumore.

Un editoriale al mese, gli articoli in evidenza. Niente promozioni.