Per capire la politica, aiuta a pensare come uno scienziato.
La copertura della campagna per le prossime elezioni presidenziali è ovunque, con vari sondaggi che mostrano questo o quel candidato in cima. Esistono valutazioni di approvazione nazionali, valutazioni di approvazione locali, sondaggi sui candidati primari, sondaggi su questioni, sondaggi sull'eleggibilità. Tutti questi numeri si sommano a una cacofonia di informazioni che può essere difficile da capire. In questo modo, affermano gli scienziati, sono molto simili ai dati che un ricercatore potrebbe raccogliere: i singoli sondaggi per lo più non sono troppo utili da soli, senza contesto. Ma presi insieme e avvicinati pensosamente, i sondaggi possono sommare al tipo di informazioni che uno scienziato potrebbe trovare utili.
"Esistono numerosi sondaggi politici metodologicamente validi che ricordano da vicino i metodi utilizzati in contesti scientifici, ma ci sono anche alcuni sondaggi politici abbastanza mal concepiti - e / o volutamente distorti", ha affermato Sara Burke, psicologa della ricerca ed esperta di intergruppi pregiudizi all'Università di Syracuse. "Il meglio del meglio nel polling politico fa un buon lavoro con gli strumenti disponibili e mantiene - e tenta di comunicare - una chiara comprensione dei limiti che ancora esistono nei loro metodi".
In altre parole, se un sondaggio è prezioso o interessante dipende molto da come è stato condotto e da come è stato presentato.
Spesso, questi sondaggi sono presentati come "Ecco alcune percentuali", secondo Jillian Scudder, un astrofisico che studia galassie presso l'Oberlin College in Ohio. "Quindi potresti fare un sondaggio politico, potresti dire:" Abbiamo fatto un sondaggio in questo stato, e abbiamo ottenuto questi numeri ", e potresti metterlo nei notiziari. Quando faccio statistiche e trovo una percentuale, quella percentuale arriva con molti altri numeri ", ha detto Scudder a Live Science.
Il lavoro di Scudder prevede test statistici che assomigliano molto al sondaggio, ha detto. Potrebbe raccogliere milioni di punti dati sul comportamento delle galassie per cercare di capire come si comportano. Ma sarebbe una perdita di tempo passare ciascuno individualmente. Quindi prenderà piccoli campioni dei suoi dati e li studierà, usando metodi statistici simili a quelli che i sondaggisti usano per trarre conclusioni sull'intera popolazione di galassie.
Ma affinché quella ricerca funzioni, e affinché abbia qualche significato per altri scienziati, i numeri devono arrivare con dati che forniscano loro un contesto, ha detto.
"Era un campione di 100? È stato un campione di 1.000? È stato un campione di 1 milione? Quanto cambiano i risultati nelle dimensioni del campione? Se vado da 1.000 a 10.000, le percentuali cambiano o sono piuttosto robusto? Cose del genere ", ha detto Scudder.
I sondaggi, allo stesso modo, sono molto più utili quando sai quante persone sono state campionate, quanto sono coerenti i risultati con altri sondaggi e come sono stati fatti esattamente i sondaggi, ha affermato Chris Schatschneider, psicologo educativo ed esperto di statistica e progettazione della ricerca in Florida Università Statale.
Nella stessa ricerca di Schatschneider, ha detto, usa le statistiche per separare il "segnale" dal "rumore" - per determinare se il risultato di un esperimento probabilmente ti dice qualcosa di significativo su come funziona il mondo o potrebbe essere il risultato di una casualità. Riflette anche attentamente su quali domande possono rispondere a una particolare serie di dati e quali domande non possono.
Quei metodi statistici sono diversi da quelli che usano i sondaggisti, ha detto. Ma è importante porre domande simili quando si ascoltano i dati di polling nelle notizie: quanto era grande la dimensione del campione? Chi è stato campionato esattamente? Quali domande hanno posto esattamente i sondaggisti? Tutto quel contesto può dirti se un sondaggio è significativo nel modo in cui alcuni numeri mobili accanto, per esempio, al nome di un candidato non possono farlo.
È anche importante capire i metodi usati da un sondaggista, ha detto.
Ad esempio, molti sondaggi implicano un "campionamento stratificato". Ciò significa che se un particolare gruppo, ad esempio gli studenti universitari, viene sottorappresentato in un campione di sondaggio rispetto alla popolazione generale, i sondaggisti modificheranno i numeri in modo che gli studenti universitari intervistati diventino più importanti. Questa può essere una tecnica legittima in linea di principio, ha affermato Schatschneider. Ma può anche distorcere i risultati quando un piccolo gruppo di persone intervistate finisce per sostituirsi a migliaia. Ha dato un esempio: nel 2016 il New York Times ha riferito che un singolo uomo di colore di 19 anni che ha sostenuto Donald Trump nelle elezioni di quell'anno stava sconvolgendo selvaggiamente i risultati del sondaggio a causa di questo tipo di massaggiamento dei dati, portando a notizie che suggeriscono che Trump era molto più popolare tra gli elettori neri di quanto non fosse il caso.
La realtà, ha detto Schatschneider, è che, a meno che non sia il tuo lavoro a tempo pieno, probabilmente non hai il tempo di valutare i sondaggi individualmente in questo modo per determinare quali sono scientifici e quali meno. La maggior parte delle persone sta meglio non prestando troppa attenzione alle notizie sui singoli sondaggi, che possono essere fuorvianti, e dovrebbe invece guardare a medie di sondaggi recenti come quelli pubblicati da RealClearPolitics, ha detto.
Gli scienziati fanno qualcosa di simile con i dati di ricerca, quando fanno una media dei dati di più articoli in articoli più grandi chiamati "meta-analisi", ha detto Schatschneider. Semmai, ha detto, una media dei sondaggi è più affidabile, perché i sondaggi tendono a essere rilasciati indipendentemente dal fatto che siano interessanti. Ma gli articoli scientifici tendono a essere orientati verso risultati più interessanti perché sono ancora più facili da pubblicare, secondo Schatschneider.
Le previsioni elettorali basate su grandi gruppi di sondaggi possono anche essere interessanti e utili, ha detto Scudder, ma a differenza della ricerca scientifica in cui sono pubblicati metodi e numeri grezzi, i sondaggisti non mostrano il loro lavoro - conservando tutto in una scatola nera proprietaria.
In generale, ha detto Scudder, riterrebbe un gruppo di sondaggi affidabile e interessante se tutti puntano nella stessa direzione, e meno significativo se si trovano ovunque, suggerendo problemi nella raccolta dei dati.
Solo perché i risultati si adattano a una tendenza non li rende accurati. Con qualsiasi set di dati disponibile, ha detto Scudder, devi anche sapere come interpretare i risultati.
"Devi stare attento che il test statistico che stai utilizzando sta rispondendo alla domanda a cui vuoi rispondere", ha detto.
Nella scienza, ciò potrebbe significare capire se un set di dati esclude del tutto un'idea - diciamo, che tutte le stelle sono fatte di formaggio - o semplicemente non lo prova - diciamo, tutte le stelle potrebbero ancora essere fatte di formaggio, ma noi non abbiamo non ho ancora visto il formaggio.
Quando si tratta di sondaggi politici, le domande sono diverse. Ma capire cosa significano è altrettanto importante. Una valutazione di approvazione non è una misura di come le persone intendono votare. Chiedere alle persone che gli piacciono durante le primarie non ti dice necessariamente come si sentiranno durante le elezioni generali. Chiedere a chi intendono votare a febbraio non prevede come voteranno a novembre, ha detto Schatschneider.
In questo modo, ha detto Schatschneider, il polling è molto simile alla misurazione della temperatura di un paziente. È un'impresa perfettamente scientifica, ha detto. Ma è importante che le persone che seguono i sondaggi siano chiare su cosa significhino esattamente.
