Nate Silver a YouTrend: politica, big data e l’arte della previsione

Incontrare Nate Silver, per chi come noi lo segue dall’ormai lontano 2008, è un momento di quelli da segnare sul calendario. Nate è uno statistico di 35 anni («statistico» è come vuole che lo si presenti, ci ha detto a espressa domanda) che ha cominciato studiando le statistiche dei giocatori della MLB di baseball e ha poi applicato un metodo simile per prevedere i risultati delle elezioni. Avendo azzeccato in pieno sia la vittoria di Obama nel 2008 (49 stati su 50, con l’eccezione dell’Indiana) sia la rielezione del 2012 (stavolta con l’en plein), è diventato un personaggio molto noto fra gli addetti ai lavori e non solo. Nel 2009 la rivista Time l’ha inserito fra le 100 persone più influenti del mondo, l’anno scorso ha scritto il suo primo libro (The signal and the noise, in uscita in italiano per Fandango con il titolo Il segnale e il rumore) e recentemente ha lasciato il New York Times, che ospitava il suo blog FiveThirtyEight, approdando a ESPN. Oggi era per la prima volta in Italia come speaker, a Ferrara al Festival di Internazionale. L’abbiamo incontrato.

Nate, il nostro sito si occupa molto di politica. Per questo vorrei partire da questa tua frase: «La politica è straordinariamente piena di cazzate».

(Ride) «Beh, guardate cosa sta succedendo negli Stati Uniti proprio in questi giorni. C’è un partito che sta minacciando di causare lo shutdown del governo – e ci sta riuscendo – nel tentativo di rigettare una legge avallata dalla Corte Suprema e approvata in più passaggi. Credo che negli USA la politica sia diventata molto partisan, di parte, e che molte persone in politica siano distaccate dalla realtà, perché non si rendono conto delle conseguenze finché queste non diventano chiarissime.

Vedi, io mi sono anche occupato di argomenti, come per esempio lo sport, un altro tema riguardo al quale le persone sono molto appassionate. Ma nello sport si giocano partite ogni giorno o ogni settimana, le persone imparano dagli eventi e si adattano. In politica, negli Stati Uniti ci sono le elezioni presidenziali ogni 4 anni e molti sono disimpegnati dal dibattito politico, quindi il risultato è che per rendersi conto delle conseguenze delle proprie azioni ci si impiega molto più tempo».

Questa critica si estende anche agli “esperti” di politica, ai pundits di cui parli molto nel tuo libro?

«Le persone che si occupano di politica costituiscono un’eccezione assoluta: se leggi il libro, puoi vedere che ci sono un sacco di campi in cui esperti in buona fede sbagliano le previsioni. Ma, in politica, alcuni studi dimostrano che le previsioni degli esperti non sono migliori di una previsione puramente casuale, come il lancio di una moneta. E poi si prendono molto sul serio, ma hanno poco attaccamento alla verità. Non è perché sono precisi che appaiono spesso in tv: anzi, gli studi mostrano che gli esperti che vanno più spesso in televisione sono ancora meno attendibili degli altri. Più esposizione mediatica ricevi, peggiori sono le tue previsioni».

Prima hai menzionato lo sport. Tu hai cominciato con il baseball. Com’è successo che a un certo punto hai pensato di passare a occuparti di politica?

«C’è un libro molto popolare negli Stati Uniti che si chiama Moneyball, è uscito una decina di anni fa. Un libro che ha provocato una certa rivoluzione nel baseball, con sempre più squadre che si sono rese conto di poter mettere insieme squadre migliori assumendo dei “nerd”, degli analisti statistici, oltre ai classici scout. Le persone spesso si fidano dell’intuito e delle sensazioni, e nel baseball molti preferiscono seguire le proprie percezioni piuttosto che quello che dicono le statistiche, ma quando si tratta di analizzare grandi quantità di dati, spesso l’intuito finisce per ingannarci. Siamo molto affascinati da quello che è successo ieri e non prestiamo attenzione a un arco di tempo storicamente più ampio.

A me sembrava che la politica fosse ferma all’età della pietra, in questo senso. Le campagne elettorali americane sono molto lunghe, con una campagna presidenziale che può durare un anno o più, e spesso non ci sono vere notizie, ma con la necessità di avere i titoli sui giornali e i servizi in tv, le persone tendono a inventarsi delle storie che non ti diranno granché su cosa interessa agli elettori o su chi vincerà. Anche lo sport ha un po’ questo ritmo, non tutte le partite sono fondamentali, e però i problemi riguardo la copertura mediatica sono gli stessi. Ho preso così la mia ispirazione dal baseball. Per dire: beh, forse possiamo avere lo stesso cambiamento di approccio nel racconto della politica».

E questo cambiamento c’è stato, secondo te, negli ultimi quattro o cinque anni?

«Un po’. Ma non così tanto, a dire il vero. La maggior parte delle persone che seguono quotidianamente la politica in America sono molto di parte, super-repubblicane o super-democratiche, super-conservatrici o super-progressiste. E questo non cambierà, almeno non presto, gli americani sono molto orgogliosi e un po’ cocciuti, nel senso che credono profondamente nel proprio sistema. Ci sarà sempre più mercato per un approccio più analitico alle cose, ma credo che quel mercato al momento sia ancora underserved»

Ho una domanda sul tuo metodo di analisi dei sondaggi e di proiezione dei risultati elettorali, quello che hai usato non solo per prevedere l’elezione di Obama ma anche le elezioni senatoriali. Si può dire che il tuo sistema funziona meglio con un sistema bipartitico come quello americano?

«Oh, assolutamente sì. Avere un sistema stabile e bipartitico rende tutto molto più semplice, perché gli elettori hanno una o al massimo due scelte da fare: se hai votato o no, e quale partito hai votato. Già nel Regno Unito il contesto cambia, perché è vero che ci sono due partiti maggiori, ma ad esempio nelle ultime elezioni c’è stata una forte ascesa del partito centrista, i Lib-Dem, che poi sono crollati all’ultimo. E l’Italia è davvero molto più complicata. Insomma, quello di cui mi occupo non è solo fare previsioni o proiezioni, ma anche valutare quanto sono accurati i sondaggi. E i sondaggi non sono uguali in tutti i Paesi. Nel rispondere alle interviste su chi voteranno, gli americani tendono a essere molto sinceri e diretti, non hanno problemi a dire a un estraneo come voteranno. Come in Germania, dove i sondaggi sono andati benissimo la scorsa settimana. Ma questo non vale in tutte le culture. Non so se in Italia gli elettori mentono, ma in Giappone è considerato in un certo senso maleducato chiedere a qualcuno come voterà. E quindi non è altrettanto semplice ricevere risposte oneste».

Sì, noi in Italia abbiamo lo stesso problema. Il che rende le analisi elettorali molto più difficili.

«Certo: in fondo anche le nostre proiezioni si basano soprattutto sui sondaggi, con l’aggiunta di un po’ di indicatori economici».

Nel tuo libro cerchi di far passare l’idea che i big data non sono big solutions, perché tanti dati pongono tanti problemi. Il che rende necessario isolare il segnale dal rumore, come si intitola il tuo libro.

«Le persone si aspettano che ora con i big data basti premere un pulsante per risolvere tutti i nostri problemi, ma in realtà ci sono diversi problemi di carattere tecnico. Se immagini di avere solo un giornale o un solo sondaggio politico, le persone tenderanno a dargli ragione oppure torto. Se invece hai cinquanta sondaggi, le persone tenderanno a fare ‘cherry-picking’, cioè a scegliere solo quelli che fanno comodo alla loro tesi, in modo non obiettivo. Tenderanno a dire: “mi piacciono questi tre sondaggi, e ignoro gli altri quarantasette perché mi dicono una storia che non mi va a genio”. Le persone selezionano i dati in modo non obiettivo, e avere tanti dati vuol dire avere a disposizione più metodi, e soprattutto più metodi creativi, per operare selezioni non obiettive».

Big data o no, nel 2012 tu eri molto più sicuro della vittoria di Obama di quanto lo fossero altri esperti. Ma eri effettivamente così convinto come scrivevi sul tuo blog, o qualche dubbio ce l’avevi?

«Ti dirò una cosa: il giorno delle elezioni avevo Obama nelle mie proiezioni al 90% di probabilità di vittoria, e questa non era una cosa che sentivo a pelle, era il risultato di un metodo statistico che mette insieme diverse informazioni e le “pesa” per generare una previsione. È come nelle previsioni del tempo, quando leggi che c’è il 90% di probabilità che piova, beh, resta un 10% di volte in cui ti aspetti di sbagliarti.

E quando arrivi al giorno delle elezioni, con centinaia di sondaggi, con tutto quello che poteva succedere che è già successo, e in un sistema stabile e bipartitico, puoi essere abbastanza convinto di una previsione del genere. Certo, non posso dirti cosa succederà nel 2016: su quello non ho nessuna previsione. Perciò, la mia fiducia nei dati non era intuito, ma piuttosto quel che emergeva da un metodo statistico. E se i dati mi dicevano che Obama era al 90%, beh, anche le mie sensazioni personali seguivano quella proiezione».

Ricordo che scrivevi: o c’è un errore sistematico in tutti i sondaggi, o Obama vincerà.

«Esatto. Guardando gli stati decisivi per l’elezione, come Ohio, Wisconsin, Virginia, c’era un rapporto di 8 a 1 tra i sondaggi che davano davanti Obama e quelli che davano davanti Romney. E la media di questi sondaggi dava Obama in vantaggio. Quindi non poteva essere una questione di normale varianza, doveva esserci un errore di valutazione generale, che inducesse un errore sistematico in centinaia di sondaggi diversi e indipendenti. Cosa che può succedere, in certi casi: nel 1980 per esempio, quando Reagan divenne presidente, i sondaggi mostravano una corsa molto incerta, alcuni avevano in testa Reagan, altri Carter, e invece Reagan vinse in una landslide. Ci sono alcune elezioni nella storia – il 1948 è stata un’altra – in cui arriva il giorno delle elezioni e ti trovi a dire “ma che è successo? non è quello che dicevano i sondaggi”. Succede circa una volta ogni quarant’anni, cioè ogni dieci elezioni presidenziali, quindi ogni quarant’anni può darsi che tu incontri errore così macroscopico.

Altrimenti, puoi essere ragionevolmente fiducioso quando hai tanti dati che mostrano una corsa che, per quanto ravvicinata, ha un candidato chiaramente davanti».

Curiosità personale: conosci qualcosa della politica italiana che secondo te potrebbe essere analizzato in modo analitico?

(Ride) «Veramente poco. Ma vedi, quand’ero in Scozia qualche mese fa, dichiarai che ero certo che il referendum sull’indipendenza dal Regno Unito non sarebbe passato, perché il fronte dei No era nettamente in vantaggio nei sondaggi. E sono finito sulle prime pagine di tutti i giornali scozzesi. Ho imparato la lezione: non parlerò mai della politica in altri Paesi».