Sondaggi e analisi: il margine di errore

Fare sondaggi non è una cosa da poco. Parlare di sondaggi è ancora più difficile, e tante sono le analisi che risultano sbagliate, fuorvianti e che danneggiano una corretta informazione sull’argomento. Diverse agenzie di stampa, magari non consapevolmente, commettono errori di interpretazione. Che sia per attirare i lettori, per vendere più copie o per rendere il tutto più interessante, purtroppo talvolta le cose sfuggono di mano, ed è sempre più difficile destreggiarsi in un mondo in cui le notizie circolano ad una velocità spropositata.

Anche recentemente sono state pubblicate analisi che tengono conto di numeri grezzi, senza fare quel passo in più necessario per tentare di comprendere e di spiegare al meglio. Quando si parla di polling è necessario tenere a mente che la materia affonda le sue radici nella statistica. Ed è proprio grazie alla statistica che è possibile generalizzare le preferenze individuali di pochi, riconducendole al trend di un’intera società. I suddetti articoli si aprono con grandi titoli sulla presunta scalata di partiti e personaggi politici a discapito di altri. Ma i numeri sono numeri: come si può sbagliare, allora? Qui di seguito un esempio pratico che spesso viene riportato, ma che non è intuitivo rilevare se non si è “addetti ai lavori”.

Proprio per la statistica sopracitata, i sondaggi prevedono un certo gap (intervallo) di possibilità, chiamato margine di errore. Questo intervallo è dato dal fatto che il campione su cui viene condotta l’indagine deve essere rappresentativo della più vasta popolazione di riferimento, ma tiene in conto che alcuni “errori” di rilevazione possano rientrare nell’ordine delle cose. Questi “errori” sono assolutamente naturali, e un buon sondaggista cerca in tutti i modi di ridurli al minimo, ma è difficile che si possano eliminare del tutto. Fanno parte del gioco, per così dire. Per questo i sondaggi sono sempre accompagnati (o almeno dovrebbero esserlo) da una nota con la metodologia utilizzata. Tra le informazioni più importanti troviamo per l’appunto il margine relativo di errore. Il dato che il sondaggio rileva (ad esempio la percentuale delle diverse preferenze degli intervistati) è relativo e non assoluto. Quando si legge che il 30% degli elettori intende votare il partito X, e in presenza di un margine di errore pari a +/- 3%, ciò significa che il valore reale delle attitudini generalizzate alla popolazione intera si attesta tra il 27% e il 33%.

Un buon esempio ci viene dal caso di Scott Brown, eletto Senatore dello stato del Massachussets nel 2010. Nel grafico che riporta i risultati dei sondaggi nella settimana che precedette quell’elezione, vediamo come quasi tutti gli istituti demoscopici abbiano previsto il risultato all’interno del loro margine d’errore – non considerando il terzo sondaggio (BMG/Res2000 del 12/13 Gennaio) che risulta essere evidentemente fuorviante (quello che in statistica si definisce outlier). Il punto mediano è rappresentato dai cerchi in scala di grigi, mentre le linee verticali sono per l’appunto i margini di errore relativi al singolo sondaggio.

Dove sta l’inghippo? Molti articolisti basano i loro titoli e le loro analisi sul semplice dato mediano che viene comunemente chiamato punto di stima; confrontando i punti mediani, se il partito X è al 30% ed il partito Y è al 31%, assumono che il partito Y è in vantaggio: sbagliato. O meglio, inesatto. Un’analisi corretta parte dal fatto che questo è possibile, ma non sostenibile con certezza. Infatti, se è vero che esiste un intervallo di incertezza di più o meno 3% dal punto di stima, nessuno è in grado di sostenere senza ombra di dubbio che il partito Y sia in vantaggio. In altre parole, se lo stesso sondaggio fosse condotto più e più volte con le stesse tecniche di campionamento, la stessa metodologia e lo stesso numero di intervistati, troverebbe talvolta avanti il partito X, talvolta il partito Y. L’interpretazione corretta, che tiene conto della statistica, dovrebbe sostenere che il partito X si trova da qualche parte tra il 27% ed il 33%, mentre il partito Y si trova tra il 28% ed il 34% piuttosto che produrre slogan per catturare più audience.

Chiaramente, un articolo che riporta correttamente i dati secondo quanto appena detto contiene una notizia meno entusiasmante e che crea meno “scalpore”; ma in coscienza l’articolista che ne tenga conto può dire di aver fatto un buon lavoro.