信頼できる統計を見抜く!数字の信憑性を確かめる3つの方法

数学

Sometimes it’s hard to know what statistics are worthy of trust. But we shouldn’t count out stats altogether … instead, we should learn to look behind them. In this delightful, hilarious talk, data journalist Mona Chalabi shares handy tips to help question, interpret and truly understand what the numbers are saying.

どのような統計が信頼に値するのかを知るのが難しい場合があります。

しかし、統計を完全に無視すべきではありません…代わりに、統計の背後にあるものを見ることを学ぶ必要があります。この楽しくて陽気なトークでは、データ ジャーナリストのモナ・チャラビが、数字が何を示しているかを疑問視し、解釈し、真に理解するのに役立つ便利なヒントを紹介します。

タイトル
3 ways to spot a bad statistic
悪い統計を見つける3つの方法
スピーカー モナ・チャラビ
アップロード 2017/04/18

「悪い統計を見つける3つの方法(3 ways to spot a bad statistic)」の文字起こし

I’m going to be talking about statistics today. If that makes you immediately feel a little bit wary, that’s OK, that doesn’t make you some kind of crazy conspiracy theorist, it makes you skeptical. And when it comes to numbers, especially now, you should be skeptical. But you should also be able to tell which numbers are reliable and which ones aren’t. So today I want to try to give you some tools to be able to do that.

But before I do, I just want to clarify which numbers I’m talking about here. I’m not talking about claims like, “9 out of 10 women recommend this anti-aging cream.” I think a lot of us always roll our eyes at numbers like that. What’s different now is people are questioning statistics like, “The US unemployment rate is five percent.” What makes this claim different is it doesn’t come from a private company, it comes from the government.

About 4 out of 10 Americans distrust the economic data that gets reported by government. Among supporters of President Trump it’s even higher; it’s about 7 out of 10. I don’t need to tell anyone here that there are a lot of dividing lines in our society right now, and a lot of them start to make sense, once you understand people’s relationships with these government numbers.

On the one hand, there are those who say these statistics are crucial, that we need them to make sense of society as a whole in order to move beyond emotional anecdotes and measure progress in an [objective] way. And then there are the others, who say that these statistics are elitist, maybe even rigged; they don’t make sense and they don’t really reflect what’s happening in people’s everyday lives.

It kind of feels like that second group is winning the argument right now. We’re living in a world of alternative facts, where people don’t find statistics this kind of common ground, this starting point for debate. This is a problem. There are actually moves in the US right now to get rid of some government statistics altogether. Right now there’s a bill in congress about measuring racial inequality. The draft law says that government money should not be used to collect data on racial segregation. This is a total disaster.

If we don’t have this data, how can we observe discrimination, let alone fix it? In other words: How can a government create fair policies if they can’t measure current levels of unfairness? This isn’t just about discrimination, it’s everything — think about it. How can we legislate on health care if we don’t have good data on health or poverty? How can we have public debate about immigration if we can’t at least agree on how many people are entering and leaving the country?

Statistics come from the state; that’s where they got their name. The point was to better measure the population in order to better serve it. So we need these government numbers, but we also have to move beyond either blindly accepting or blindly rejecting them. We need to learn the skills to be able to spot bad statistics.

I started to learn some of these when I was working in a statistical department that’s part of the United Nations. Our job was to find out how many Iraqis had been forced from their homes as a result of the war, and what they needed. It was really important work, but it was also incredibly difficult.

Every single day, we were making decisions that affected the accuracy of our numbers — decisions like which parts of the country we should go to, who we should speak to, which questions we should ask. And I started to feel really disillusioned with our work, because we thought we were doing a really good job, but the one group of people who could really tell us were the Iraqis, and they rarely got the chance to find our analysis, let alone question it. So I started to feel really determined that the one way to make numbers more accurate is to have as many people as possible be able to question them.

So I became a data journalist. My job is finding these data sets and sharing them with the public. Anyone can do this, you don’t have to be a geek or a nerd. You can ignore those words; they’re used by people trying to say they’re smart while pretending they’re humble. Absolutely anyone can do this.

I want to give you guys three questions that will help you be able to spot some bad statistics. So, question number one is: Can you see uncertainty? One of things that’s really changed people’s relationship with numbers, and even their trust in the media, has been the use of political polls. I personally have a lot of issues with political polls because I think the role of journalists is actually to report the facts and not attempt to predict them, especially when those predictions can actually damage democracy by signaling to people: don’t bother to vote for that guy, he doesn’t have a chance.

Let’s set that aside for now and talk about the accuracy of this endeavor. Based on national elections in the UK, Italy, Israel and of course, the most recent US presidential election, using polls to predict electoral outcomes is about as accurate as using the moon to predict hospital admissions. No, seriously, I used actual data from an academic study to draw this.

There are a lot of reasons why polling has become so inaccurate. Our societies have become really diverse, which makes it difficult for pollsters to get a really nice representative sample of the population for their polls. People are really reluctant to answer their phones to pollsters, and also, shockingly enough, people might lie. But you wouldn’t necessarily know that to look at the media.

For one thing, the probability of a Hillary Clinton win was communicated with decimal places. We don’t use decimal places to describe the temperature. How on earth can predicting the behavior of 230 million voters in this country be that precise?

And then there were those sleek charts. See, a lot of data visualizations will overstate certainty, and it works — these charts can numb our brains to criticism. When you hear a statistic, you might feel skeptical. As soon as it’s buried in a chart, it feels like some kind of objective science, and it’s not.

So I was trying to find ways to better communicate this to people, to show people the uncertainty in our numbers. What I did was I started taking real data sets, and turning them into hand-drawn visualizations, so that people can see how imprecise the data is; so people can see that a human did this, a human found the data and visualized it.

For example, instead of finding out the probability of getting the flu in any given month, you can see the rough distribution of flu season. This is —

a bad shot to show in February. But it’s also more responsible data visualization, because if you were to show the exact probabilities, maybe that would encourage people to get their flu jabs at the wrong time.

The point of these shaky lines is so that people remember these imprecisions, but also so they don’t necessarily walk away with a specific number, but they can remember important facts. Facts like injustice and inequality leave a huge mark on our lives. Facts like Black Americans and Native Americans have shorter life expectancies than those of other races, and that isn’t changing anytime soon.

Facts like prisoners in the US can be kept in solitary confinement cells that are smaller than the size of an average parking space.

The point of these visualizations is also to remind people of some really important statistical concepts, concepts like averages. So let’s say you hear a claim like, “The average swimming pool in the US contains 6.23 fecal accidents.” That doesn’t mean every single swimming pool in the country contains exactly 6.23 turds. So in order to show that, I went back to the original data, which comes from the CDC, who surveyed 47 swimming facilities. And I just spent one evening redistributing poop.

So you can kind of see how misleading averages can be.

OK, so the second question that you guys should be asking yourselves to spot bad numbers is: Can I see myself in the data? This question is also about averages in a way, because part of the reason why people are so frustrated with these national statistics, is they don’t really tell the story of who’s winning and who’s losing from national policy.

It’s easy to understand why people are frustrated with global averages when they don’t match up with their personal experiences.

I wanted to show people the way data relates to their everyday lives. I started this advice column called “Dear Mona,” where people would write to me with questions and concerns and I’d try to answer them with data.

People asked me anything, questions like, “Is it normal to sleep in a separate bed to my wife?” “Do people regret their tattoos?” “What does it mean to die of natural causes?” All of these questions are great, because they make you think about ways to find and communicate these numbers.

If someone asks you, “How much pee is a lot of pee?” which is a question that I got asked, you really want to make sure that the visualization makes sense to as many people as possible.

These numbers aren’t unavailable. Sometimes they’re just buried in the appendix of an academic study. And they’re certainly not inscrutable; if you really wanted to test these numbers on urination volume, you could grab a bottle and try it for yourself.

The point of this isn’t necessarily that every single data set has to relate specifically to you. I’m interested in how many women were issued fines in France for wearing the face veil, or the niqab, even if I don’t live in France or wear the face veil. The point of asking where you fit in is to get as much context as possible. So it’s about zooming out from one data point, like the unemployment rate is five percent, and seeing how it changes over time, or seeing how it changes by educational status — this is why your parents always wanted you to go to college — or seeing how it varies by gender.

Nowadays, male unemployment rate is higher than the female unemployment rate. Up until the early ’80s, it was the other way around. This is a story of one of the biggest changes that’s happened in American society, and it’s all there in that chart, once you look beyond the averages.

The axes are everything; once you change the scale, you can change the story.

OK, so the third and final question that I want you guys to think about when you’re looking at statistics is: How was the data collected? So far, I’ve only talked about the way data is communicated, but the way it’s collected matters just as much. I know this is tough, because methodologies can be opaque and actually kind of boring, but there are some simple steps you can take to check this.

I’ll use one last example here. One poll found that 41 percent of Muslims in this country support jihad, which is obviously pretty scary, and it was reported everywhere in 2015. When I want to check a number like that, I’ll start off by finding the original questionnaire.

It turns out that journalists who reported on that statistic ignored a question lower down on the survey that asked respondents how they defined “jihad.” And most of them defined it as, “Muslims’ personal, peaceful struggle to be more religious.” Only 16 percent defined it as, “violent holy war against unbelievers.”

This is the really important point: based on those numbers, it’s totally possible that no one in the survey who defined it as violent holy war also said they support it. Those two groups might not overlap at all.

It’s also worth asking how the survey was carried out. This was something called an opt-in poll, which means anyone could have found it on the internet and completed it. There’s no way of knowing if those people even identified as Muslim.

And finally, there were 600 respondents in that poll. There are roughly three million Muslims in this country, according to Pew Research Center. That means the poll spoke to roughly one in every 5,000 Muslims in this country.

This is one of the reasons why government statistics are often better than private statistics. A poll might speak to a couple hundred people, maybe a thousand, or if you’re L’Oreal, trying to sell skin care products in 2005, then you spoke to 48 women to claim that they work.

Private companies don’t have a huge interest in getting the numbers right, they just need the right numbers.

Government statisticians aren’t like that. In theory, at least, they’re totally impartial, not least because most of them do their jobs regardless of who’s in power. They’re civil servants.

And to do their jobs properly, they don’t just speak to a couple hundred people. Those unemployment numbers I keep on referencing come from the Bureau of Labor Statistics, and to make their estimates, they speak to over 140,000 businesses in this country.

I get it, it’s frustrating. If you want to test a statistic that comes from a private company, you can buy the face cream for you and a bunch of friends, test it out, if it doesn’t work, you can say the numbers were wrong.

But how do you question government statistics? You just keep checking everything. Find out how they collected the numbers. Find out if you’re seeing everything on the chart you need to see. But don’t give up on the numbers altogether, because if you do, we’ll be making public policy decisions in the dark, using nothing but private interests to guide us.

Thank you.

「悪い統計を見つける3つの方法(3 ways to spot a bad statistic)」の和訳

今日は統計について話します。もしそれがあなたをすぐに少し用心深くさせるなら、大丈夫です。それはあなたを何かの狂信者にするわけではなく、懐疑的に考えることができるということです。そして、数字に関しては特に今は懐疑的であるべきです。しかし、信頼できる数字と信頼できない数字を見分けることができるべきです。だから今日はそのためのいくつかのツールを提供しようと思います。

しかし、その前に、ここで話している数字について明確にしたいと思います。私が話しているのは、「10人中9人の女性がこの抗老化クリームをお勧めします」といった主張ではありません。そのような数字には私たちがいつもうんざりします。今違うのは、人々が「アメリカの失業率は5%です」といった統計に疑問を抱いていることです。この主張の違いは、それが民間企業からではなく政府から来ているということです。

約4人に1人のアメリカ人が政府によって報告される経済データを疑っています。トランプ大統領の支持者の中では、さらに7人に1人の割合で疑っています。私たちの社会には今多くの分裂線がありますが、これらの分裂線の多くは、人々が政府の数字との関係を理解すると、理にかなってくるものがあります。

一方では、これらの統計は重要だと言う人々がいます。社会全体を理解し、感情的な逸話を超えて進歩を客観的な方法で測定するためにはそれが必要だというのです。一方で、これらの統計はエリート主義的であり、おそらくは不正操作されていると言う人々もいます。それらは理にかなっておらず、人々の日常生活で起きていることを正確に反映していないと言います。

実際、現在、米国ではいくつかの政府統計を廃止しようとする動きがあります。議会では現在、人種の不平等を測定する法案があります。その草案では、政府の資金を人種的隔離のデータ収集に使用してはならないとされています。これは完全なる災害です。

もしこのデータがなければ、差別を観察することはできません、ましてやそれを修正することなどできません。言い換えれば、現在の不公平のレベルを測定できないのに、政府が公平な政策を作成することができるでしょうか?これは差別に関することだけでなく、すべてに関わる問題です。健康や貧困に関する良いデータがない場合、どのように医療に立法化できるでしょうか?国境管理に関する公開討論をどのように行うことができますか?国の出入り人数について少なくとも合意できないのならば。

統計は国家から来ています。それがその名前の由来です。その目的は、より良いサービス提供のために人口をより良く測定することでした。だからこそ、私たちはこれらの政府の数字が必要ですが、それを盲目的に受け入れるか、あるいは盲目的に拒否することを超えて、悪い統計を見分けるスキルを身につける必要があります。

私は国連の一部である統計部門で働いていたときに、これらのいくつかを学び始めました。私たちの仕事は、イラク戦争の結果として何人のイラク人が家を追われ、何が必要かを調査することでした。それは非常に重要な仕事でしたが、同時に非常に難しいものでもありました。

毎日、私たちは私たちの数字の正確性に影響を与える決定をしていました。どの地域に行くか、誰に話をするか、どのような質問をするかというような決定です。そして私は私たちの仕事に対して非常に幻滅を感じ始めました。私たちは本当に良い仕事をしていると思っていましたが、それを本当に私たちに伝えることのできる唯一の人々はイラク人であり、彼らはほとんど私たちの分析を見る機会すら得ることができませんでした。だからこそ、数字をより正確にする唯一の方法は、できるだけ多くの人々がそれらを疑問に思えるようにすることだと確信し始めました。

だから私はデータジャーナリストになりました。私の仕事はこれらのデータセットを見つけて公に共有することです。誰でもこれをすることができます。あなたはギークやナードである必要はありません。それらの言葉は無視して構いません。それは、彼らが賢いと言いながら謙虚であるふりをする人々によって使用されています。絶対に誰でもこれをすることができます。

皆さんに、悪い統計を見抜くのに役立つ3つの質問を提供したいと思います。では、まず最初の質問は:不確実性は見えますか?政治的な世論調査の使用は、人々の数値とメディアへの信頼さえも本当に変えてしまったものの一つです。私自身、政治的な世論調査には多くの問題があります。なぜなら、ジャーナリストの役割は実際には事実を報告することであり、それらを予測しようとすることではないと考えているからです。特に、それらの予測が人々に対して「あの人に投票する価値はない、彼にはチャンスがない」と示すことで、民主主義を損なう可能性があるときにはなおさらです。

それは一旦置いておいて、この取り組みの正確性について話しましょう。イギリス、イタリア、イスラエル、そしてもちろん、最近のアメリカ合衆国大統領選挙に基づいて、選挙結果を予測するために世論調査を使用することは、病院の入院者を予測するために月を使用するのとほぼ同じぐらい正確です。いや、真剣ですよ。私は実際の学術研究からのデータを使ってこれを描きました。

世論調査がそんなに不正確になった理由はたくさんあります。私たちの社会は非常に多様化しており、調査員が人口の本当に良い代表的なサンプルを取得することが困難になっています。人々は世論調査に電話に答えるのを非常に嫌がりますし、驚くべきことに、人々は嘘をつくかもしれません。しかし、メディアを見ているとそうとは必ずしもわからないでしょう。

まず、ヒラリー・クリントンの勝利の可能性は小数点以下まで伝えられました。気温を説明するときに小数点以下を使うことはありません。この国の2億3000万人の有権者の行動をどのようにしてそのように正確に予測できるのでしょうか?

それから、あのスマートなチャートがありました。実は、多くのデータ可視化は確信を過大に表現し、それが効果的です。これらのチャートは私たちの脳を批判から麻痺させることができます。統計を聞いたとき、あなたは懐疑的に感じるかもしれません。しかし、それがチャートに埋もれると、何か客観的な科学のような感じになりますが、それは違います。

そこで私は、人々にこれをよりよく伝える方法、私たちの数字の不確実性を示す方法を見つけようとしました。私がしたのは、実際のデータセットを手描きの可視化に変えることで、人々がデータの不正確さを見ることができるようにすることです。人々がこれを見て、これは人間が行ったことだ、人間がデータを見つけて視覚化したことだと分かるようにしました。

たとえば、ある月にインフルエンザにかかる確率を調べる代わりに、インフルエンザのシーズンの大まかな分布を見ることができます。これは2月に見せるには悪い例ですね。しかし、これはより責任あるデータの可視化でもあります。なぜなら、正確な確率を示すと、人々が間違ったタイミングでインフルエンザの予防接種を受けるかもしれないからです。

これらの揺れる線の目的は、人々がこれらの不確実性を覚えることですが、特定の数値だけでなく、重要な事実を覚えてもらうことも目的です。不正義や不平等が私たちの生活に大きな影響を与えること、黒人や先住民アメリカ人の寿命が他の人種よりも短いことなどの事実です。そしてそれは今後も変わることがありません。

こうした視覚化の目的は、平均などの非常に重要な統計的概念を人々に思い出させることでもあります。たとえば、「米国の平均的なプールには6.23の糞事故が含まれている」という主張を聞いたとします。これは、国内のすべてのプールに正確に6.23のトイレがあるという意味ではありません。そこで、CDCからのデータを元に、47のプール施設を調査した結果を見直しました。そして、1晩をかけてうんちを再配分しました。

このように平均がどれほど誤解を招くかがわかるでしょう。

では、悪い数字を見つけるために皆さんが自分自身に問うべき2番目の質問は、自分自身をデータの中に見出すことができるかどうかです。この質問もある意味で平均についてです。なぜなら、人々がこれらの国家統計にいら立つのは、国家政策から勝者と敗者がどのようになるかが実際にはわからないからです。

個人の経験と一致しないとき、グローバル平均に対する人々の不満が理解できます。

私は人々にデータが彼らの日常生活とどのように関連しているかを示したかったので、「Dear Mona」というアドバイスコラムを始めました。人々が質問や懸念を私に送り、私はデータを使ってそれに答えようとしました。

人々は私に何でも尋ねました。例えば、「妻とは別のベッドで寝るのは普通ですか?」、「タトゥーを後悔する人はいますか?」、「自然死とは何を意味しますか?」などの質問がありました。これらの質問はすべて素晴らしいものです。なぜなら、これらの数値を見つけて伝える方法について考えさせられるからです。

誰かが「尿が多いのはどのくらい?」と尋ねるような質問がありましたが、その場合、できるだけ多くの人に意味のある視覚化を提供する必要があります。

これらの数値は利用できないわけではありません。時には、それらが学術的な研究の付録に埋もれているだけです。そして、それらは確かに難解ではありません。尿量の数値を本当にテストしたい場合は、ボトルを手に入れて自分で試してみることができます。

このポイントは、すべてのデータセットが必ずしもあなた個人に関連する必要はないということではありません。私は、フランスでフェイスベールやニカブを着用した女性がどれだけ罰金を科されたかに興味がありますが、フランスに住んでいないし、フェイスベールも着用しません。あなた自身がどこに位置するかを尋ねることのポイントは、できるだけ多くのコンテキストを得ることです。つまり、失業率が5%であるという1つのデータポイントからズームアウトし、時間の経過とともにどのように変化するか、あるいは教育水準別にどのように変化するか、あるいは性別別にどのように変化するかを見ることです。

現在では、男性の失業率が女性の失業率よりも高くなっています。1980年代初頭までは逆でした。これは、アメリカ社会で起きた最大の変化の物語の一部であり、平均値を超えて見れば、そのチャートの中にすべてがあります。

軸がすべてです。スケールを変えると、ストーリーを変えることができます。

さて、統計を見る際に考えてほしい3番目で最後の質問は、データがどのように収集されたかです。これまで、データが伝えられる方法について話しましたが、それを収集する方法も同じくらい重要です。方法論は理解しにくく、実際にはかなり退屈かもしれませんが、これをチェックするためのいくつかの簡単な手順があります。

最後の例として、ある世論調査で、この国のムスリムの41%がジハードを支持しているという結果が出たことがありました。これは明らかにかなり怖いですし、2015年にはあらゆるところで報じられました。そのような数字を確認する際は、まず最初にオリジナルのアンケートを見つけ出します。

実は、その統計を報じたジャーナリストたちは、アンケートの下の方にある、「ジハード」の定義を尋ねる質問を無視しました。そして、ほとんどの回答者がそれを「ムスリムの個人的な、平和的な宗教的闘い」と定義していました。たった16%がそれを「非信者に対する暴力的な聖戦」と定義しました。

これが本当に重要なポイントです。これらの数字に基づいて、ジハードを暴力的な聖戦と定義した人々が、それを支持していると言った人は一人もいない可能性が完全にあります。これらの二つのグループは全く重なっていないかもしれません。

調査方法も尋ねる価値があります。これはオプトイン調査と呼ばれるもので、インターネット上で誰でも見つけて回答することができました。これらの人々が実際にムスリムとして自己申告していたかどうかはわかりません。

最後に、その調査には600人の回答者がいました。米国にはおよそ300万人のムスリムがいるとされています(ピュー・リサーチ・センター調べ)。つまり、その調査はこの国のムスリムのおよそ5,000人に1人にしか触れていないことになります。

これが、政府の統計情報がしばしば民間の統計情報よりも信頼できる理由の一つです。世論調査は数百人、おそらく数千人に話しかけるかもしれません。また、2005年にスキンケア製品を販売しようとしているL’Orealのような場合は、48人の女性に話しかけて効果があると主張します(笑)。民間企業は、数字を正確にすることにはあまり関心がなく、単に適切な数字が必要です。

政府の統計担当者はそうではありません。理論的には、彼らは完全に中立です。少なくとも、彼らの多くは権力が誰であろうと仕事をしています。彼らは公務員です。

そして、彼らの仕事を適切に行うために、彼らは数百人に話しかけるだけではありません。私が何度も言及している失業率の数字は労働統計局から来ており、彼らの推定を行うために、この国の14万以上の企業に話しかけます。

わかります、それはイライラすることです。民間企業から来る統計を検証したい場合、あなたは顔のクリームを購入して、友達と一緒に試し、うまくいかなければ、数字が間違っていたと言えます。

しかし、政府の統計情報を疑うにはどうすればいいですか?すべてをチェックし続けるだけです。数値の収集方法を調べます。チャートに表示されているすべてを見ているかどうかを調べます。しかし、統計情報を完全に放棄しないでください。そうしないと、私たちは暗闇の中で公共政策の決定を下し、私的な利益しか私たちを導かなくなります。

ありがとうございました。

コメント

タイトルとURLをコピーしました