Sondaggi: qualche luogo comune da sfatare

Abbiamo ripreso lo spirito di questo articolo dalle “too frequently asked questions” messe insieme dai nostri colleghi di UK Polling Report, un bel blog che si occupa di raccolta e analisi dei sondaggi in Gran Bretagna.

• I sondaggi sono tutti sbagliati, il vento dice che…

Un momento. I sondaggi hanno i loro limiti, ma restano il modo più attendibile per misurare proprio il ‘vento’ e l’aria che tira nell’opinione pubblica. Certo, nell’arco di un anno ci possono essere elezioni locali, o un referendum, o manifestazioni di massa, oppure ondate di mobilitazione su Facebook e Twitter, ma siamo sicuri che questi episodi siano più indicativi di un sondaggio, o, meglio, di una serie di sondaggi ben fatti?

• Parlo spesso con la gente, e mai nessuno che ammetta di aver votato X (laddove X è quasi sempre “Berlusconi”, o, una volta, “la DC”).

Confidiamo nella tua ubiquità, ma è altamente improbabile che tu possa parlare con più persone – e più persone demograficamente, geograficamente, socialmente rappresentative – di quanto facciano tutte le settimane istituti di ricerca che per mestiere si occupano proprio di intervistare le persone. E di intervistarle in un certo modo, con criteri metodologici sul come porre le domande e come ridurre al minimo l’impatto dell’intervistatore. Sicuro di poter garantire lo stesso? Sicuro di non frequentare profili dell’opinione pubblica tutto sommato più omogenei di quelli che può raggiungere un campionamento probabilistico di 1.000 soggetti? Tutto questo al netto del cosiddetto “Shy Tory factor”, cioè il fenomeno per il quale gli elettori di centrodestra tendono a essere più reticenti a dichiarare la propria preferenza.

• Sarà, ma a me non mi hanno mai chiamato per un sondaggio.

I sondaggi politico-elettorali pubblicati sul sito del governo in tutto il 2010 sono stati 438, e non tutti sono stati svolti al telefono. La media di interviste per ogni rilevazione è sotto le 1.000 interviste, per cui possiamo ipotizzare che non più di 300-350.000 persone abbiano risposto, nell’arco di un intero anno, a sondaggi di questo tipo. Siccome gli italiani maggiorenni sono circa 50 milioni e 300.000 vengono intervistati ogni anno per sondaggi politici al telefono, vuol dire che in media ti toccherà aspettare 167 anni. Non sono pochi.

• Ho capito, ma questi intervistano al massimo mille persone. Come fanno a rappresentare decine di milioni di italiani?

George Gallup, il pioniere delle ricerche di opinione negli Stati Uniti, amava rispondere a questa obiezione con la constatazione che non hai bisogno di mangiare un’intera scodella di minestra per sapere se è troppo salata. Qual è il senso di questa affermazione? Che l’importante è la qualità del campione, non tanto la sua quantità. Se voglio sapere quante pagine ha in media un libro in una biblioteca, sarà perfettamente inutile andarsi a contare le pagine di centinaia di vocabolari o enciclopedie, così come sarebbe insensato contare un sacco di fumetti per bambini: la cosa migliore sarà prendere un po’ di vocabolari, un po’ di romanzi, un po’ di saggi e un po’ di fumetti. È la stessa logica che sta dietro ai sondaggi: il campione può anche essere piccolo (nei limiti della ragionevolezza e del margine statistico), ma l’importante è che costituisca uno specchio sufficientemente diversificato della popolazione di riferimento: cioè, che gli uomini e le donne, i giovani e gli anziani, i laureati e i non laureati ‘pesino’ quanto pesano al di fuori del campione, e cioè nella popolazione complessiva.

• I sondaggi non danno risposte veritiere, ma le risposte che chi commissiona i sondaggi vuole sentirsi dare.

I sondaggi sono una cosa piuttosto dispendiosa, e chi spende per una ricerca vuole avere risposte accurate – altrimenti troverebbe un modo più economico per farsi dare risultati accomodanti, per esempio una cartomante. Nel campo commerciale, cioè delle indagini di mercato, gira tra l’80 e il 90% del fatturato complessivo delle ricerche, e lì non c’è dubbio che ai committenti interessino risposte precise e attendibili. I sondaggi politici invece, che a livello economico pesano in media abbastanza poco, sono una vetrina formidabile per gli istituti, che possono fare una bella figura e guadagnare così in credibilità agli occhi di attuali o futuri committenti. Quindi, a meno che più che di un sondaggio si tratti di una banale operazione di spin, anche nel campo politico-sociale si tende a cercare il risultato più accurato possibile.

• Secondo me i sondaggisti hanno una loro lista di persone e fanno le domande sempre a quelli.

Esistono i panel, ma perlopiù i sondaggi (politici e non) vengono condotti con call center specializzati che fanno un gran numero di telefonate casuali, le quali vengono poi filtrate in base a delle ‘quote’ di sesso ed età, in modo da essere un insieme rappresentativo del totale. Basta leggere le note metodologiche di qualsiasi sondaggio per scoprire che i tassi di caduta (cioè i rapporti tra tutte le telefonate fatte e le risposte effettivamente ottenute) sono elevati, il che non avrebbe nessun senso se i sondaggisti telefonassero a una cerchia di persone fidate.

• I sondaggi sbagliano sempre.

Beh, non proprio sempre. Soprattutto, difficilmente sbagliano più di un opinionista, di uno scommettitore sportivo o della cartomante di cui sopra. E non bisogna mai dimenticare che i sondaggi non sono una previsione di quello che accadrà in futuro, ma una misurazione di quello che sta accadendo nel presente. Nel 2006 forse è stato sottostimato il recupero di Berlusconi su Prodi, ma i 15 giorni di black out previsti dalla legge italiana (vale a dire che negli ultimi 15 giorni prima di un’elezione è vietato pubblicare i risultati di sondaggi) non ci permettono di fare una valutazione del genere. Certo, i sondaggi sbagliano, come tutti, e in Italia ci sono fattori strutturali (il continuo cambiamento di sigle, partiti e coalizioni, il livello di istruzione complessivamente piuttosto basso) che di sicuro non aiutano. E, tanto per fare qualche altro esempio positivo, i sondaggi in media hanno azzeccato il vincitore in tutte e 13 le regioni che andavano a votare nel 2010, e sono andati molto vicini nel prevedere la misura della vittoria del centrodestra alle politiche del 2008.

• Una volta ho partecipato a un sondaggio e ho detto il contrario di quello che pensavo, io voto PDL ma ho detto che votavo PD. Quindi i sondaggi non valgono niente.

Va bene, la non sincerità di chi risponde a un’intervista è uno dei fattori di errore in un sondaggio, ma siamo seri: su mille persone, quante volete che si prendano la briga di stare al telefono cinque o sei minuti solo per il gusto di inventarsi le risposte? E poi chi dice che questi fenomeni – comunque del tutto marginali – non finiscano col compensarsi, e soprattutto che i ricercatori che fanno questo di mestiere non adottino delle tecniche per minimizzare l’effetto di distorsioni del genere?