Come avrete forse visto, abbiamo appena pubblicato i risultati del nostro sondaggio sul referendum per la riforma della giustizia. Ma se andate a cercare il dato che probabilmente vi interessa di più – quanti italiani voterebbero Sì e quanti No – non lo troverete. Non è una dimenticanza: è una scelta consapevole, che nasce da una riflessione sui limiti strutturali dei sondaggi referendari.
Chiunque segua la politica italiana se ne sarà accorto: i sondaggi sui referendum sbagliano spesso, e sbagliano di più rispetto a quelli sulle intenzioni di voto. Nel referendum costituzionale del 2016 (riforma Renzi-Boschi) si arrivò a un errore di 13 punti (la media degli ultimi sondaggi mostrava un distacco No-Sì di 7 punti; il distacco nel risultato effettivo fu di quasi 20 punti!). Ma perché i sondaggi sui referendum “funzionano” peggio? Ci sono motivi tecnici precisi.
La verità amara: i margini di errore dei comuni sondaggi sono molto più ampi di quanto pensiamo
Partiamo da un fatto noto, di cui tuttavia quasi nessuno parla. Tutti i sondaggi commerciali – anche quelli di maggiore qualità, condotti anche con interviste telefoniche (CATI e/o CAMI) e non solo attraverso questionari online (CAWI, come purtroppo il nostro) – si basano infatti comunque su campioni non-probabilistici: campioni che non sono estratti casualmente da una lista di tutti i possibili elettori, ma in altri modi meno dispendiosi (un campione probabilistico costerebbe moltissimo e richiederebbe molti giorni di rilevazione). Il problema è che questo ha una conseguenza pesantissima: se il campione non è probabilistico, non si può applicare la teoria statistica che permette di calcolare i margini di errore. Quando quindi vedete indicati dei margini di errore (ad esempio di +/- 3%), in realtà ci si riferisce a quanto sarebbe il margine di errore in un campione probabilistico (cioè casuale) della stessa numerosità. Ma siccome quel campione non lo è (i campioni probabilistici vengono usati solo in costosissime indagini internazionali), la realtà è molto più amara: il margine di errore è sostanzialmente sconosciuto. Potrebbe essere anche di 10, 15 punti. Non c’è da stupirsi che nel referendum-Renzi l’errore fu di 13 punti.
Un rimedio tutto sommato ancora efficace: la ponderazione (anche sul voto passato)
Già, ma allora come fanno allora gli istituti a produrre sondaggi che, tutto sommato, spesso vanno vicini al risultato? La risposta, in gran parte, è nella ponderazione. I sondaggisti correggono le distorsioni del campione assegnando pesi diversi alle risposte, quasi sempre ponderando anche sul ricordo del voto passato. Se nel campione gli elettori che ricordano di aver votato Lega sono sottorappresentati rispetto al risultato delle ultime elezioni, le loro risposte vengono “pesate” di più; se quelli che dicono di aver votato PD sono sovrarappresentati, le loro risposte vengono “pesate” di meno.
Questo sistema funziona discretamente bene quando si tratta di predire il voto futuro ai partiti (tranne quando nascono nuovi partiti su nuove questioni). Il motivo è semplice: il voto passato è generalmente un buon predittore del voto futuro. Chi ha votato Lega alle ultime elezioni probabilmente voterà ancora Lega, o comunque un partito di centrodestra. La correzione statistica, quindi, può tutto sommato compensare le distorsioni del campione.
Perché la ponderazione funziona molto peggio sui referendum
Ma ecco il problema: su un referendum, questa logica salta. Un referendum identifica conflitti che sono spesso slegati dalle tradizionali scelte partitiche. Prendiamo il caso dell’autonomia differenziata (su cui in realtà il referendum non si svolse mai): un elettore leghista del Veneto avrebbe magari votato a favore della riforma, mentre un elettore leghista della Calabria avrebbe verosimilmente votato contro, indipendentemente dalla linea del partito. Entrambi leghisti, ma con voti opposti. In questo caso, quindi, correggere il campione sulla base del voto passato ai partiti (ad esempio dando maggior peso ai leghisti) non corregge in nessun modo la distorsione originaria del campione – anzi, potrebbe addirittura peggiorare la predizione.
La nostra scelta: chi vota cosa
Per questo motivo (e anche per l’incertezza del risultato) abbiamo quindi scelto di concentrarci sulle determinanti del voto, piuttosto che sui risultati puntuali. Invece di dire “XX% voterebbe Sì”, preferiamo dire, ad esempio, che “i lavoratori autonomi hanno una maggiore tendenza verso il Sì” o “i titoli di studio più alti hanno maggiore probabilità di votare No”.
Perché questa scelta è più solida? Perché le relazioni tra variabili sono molto meno sensibili alle distorsioni del campione rispetto ai valori assoluti. Facciamo un esempio: se nel nostro campione i laureati sono sovrarappresentati, questo può distorcere pesantemente il risultato complessivo (i laureati potrebbero avere opinioni sistematicamente diverse dalla popolazione generale). Ma la relazione tra livello di istruzione e voto referendario – il fatto che i laureati tendano a votare diversamente dai non laureati – se c’è davvero nella popolazione tende a presentarsi anche in un campione distorto (a meno che la distorsione non sia davvero fortissima) . È la differenza tra misurare la temperatura assoluta con un termometro tarato male e misurare, con lo stesso termometro, la differenza di temperatura tra due ambienti: la seconda misura è molto più affidabile.
Sondaggi da prendere con molta prudenza sul risultato finale
Di conseguenza, i sondaggi sui referendum sono, secondo noi, decisamente meno affidabili di quelli elettorali quando cercano di predire il risultato finale. Restano invece molto utili nel mostrarci perché le persone votano in un modo o nell’altro, quali fattori influenzano le loro scelte, come si formano le opinioni. E secondo noi si tratta di questioni importanti, anche per capire più in profondità quale sarà il significato del risultato referendario. Che resta molto, molto difficile da prevedere.
