제26장이 「데이터로 진실을 찾는 법」이었다면, 이 장은 「데이터의 거짓에 속지 않는 법」이다. 중요한 것은, 통계가 거짓말을 하는 경우 대부분은 숫자 자체가 틀려서가 아니라 「해석」과 「보여 주는 방식」이 왜곡되어서라는 점이다. 그래서 계산 능력보다 「의심하고 되묻는」 능력이 훨씬 중요하다.
학습 목표
- 표본이 대표성을 가져야 하는 이유를 설명할 수 있다.
- 평균의 함정(중앙값·분산)을 판단할 수 있다.
- 숨은 편향(생존자·선택 편향)을 찾을 수 있다.
- 심슨의 역설과 유의성 오해를 분석할 수 있다.
- 그래프의 속임수(축 조작 등)를 간파할 수 있다.
이 장의 지도
표본 — 일부로 전체를 말하려면
교재 402 – 403쪽「몇 명에게 물었나」보다 「누구에게, 어떻게 물었나」를 먼저 따져야 한다.
정리
모든 통계는 표본에서 시작한다. 5천만 명에게 다 물을 수는 없으니 일부(표본)만 조사해 전체(모집단)를 추정한다. 여론조사·시청률·품질검사가 모두 이 방식이다. 문제는, 표본을 잘못 뽑으면 전체를 완전히 헛짚는다는 것이다.
모집단의 모든 구성원이 뽑힐 기회가 같아야 한다.
특정 집단만 뽑히면 결과가 왜곡된다.
| ★ 240만 명이 몇 만 명에게 진 사건 — 1936년 미국 대선 | |
|---|---|
| 『리터러리 다이제스트』 | 무려 240만 명 이상의 응답을 받아 랜던 후보의 압승을 예측 — 결과는 루스벨트 압승 |
| 왜 틀렸나 | 전화 가입자와 자동차 등록자 명단으로 조사했는데, 대공황기에 전화와 자동차를 가진 사람은 부유층에 치우쳐 있었다 |
| 조지 갤럽 | 같은 선거에서 겨우 몇 만 명을 조사하고도 결과를 맞혔다 — 표본을 대표성 있게 뽑았기 때문 |
이 사건이 여론조사의 방식을 바꾸었고, 「갤럽」이라는 이름은 오늘날 여론조사의 대명사가 되었다.
용어
1936년 미국 대선 여론조사에서 240만 명 조사가 몇 만 명 조사에 진 이유는?
평균의 함정 — 대표값의 배신
교재 403 – 404쪽평균이 늘 「대표적인 값」인 것은 아니다. 데이터가 치우쳐 있을 때 평균은 우리를 크게 속인다.
정리
소득 분포는 대부분 왼쪽에 몰려 있고 오른쪽으로 긴 꼬리를 갖는다(소수의 고소득자). 이런 분포에서 평균을 내면 소수의 아주 큰 값이 평균을 위로 끌어올린다. 그래서 「평균 연봉 5천만 원」이라도 실제 대다수는 그보다 훨씬 적게 받을 수 있다.
값을 모두 더해 나눈 것.
모든 사람을 줄 세웠을 때 딱 가운데 있는 사람의 값.
소득·집값·자산처럼 분포가 치우친 데이터는 평균이 아니라 중앙값으로 봐야 현실이 보인다. 실제로 정부 통계도 가구소득을 발표할 때 평균과 중앙값을 함께 제시한다. 「평균」이라는 단어가 나오면 「이 분포가 치우쳐 있지는 않은가, 소수의 극단값이 평균을 왜곡하지는 않는가」를 먼저 물어야 한다.
★ 여기에 하나 더 — 평균이 같아도 흩어진 정도(분산)가 다르면 전혀 다른 이야기다. 두 반의 평균 점수가 같아도 한 반은 모두 비슷하고 다른 반은 최고점과 최저점이 극단적일 수 있다. 평균 하나만 보면 이 차이가 보이지 않으므로, 분포가 얼마나 퍼져 있는지(분산·표준편차)도 함께 봐야 한다.
용어
「평균 연봉 5천만 원」인 회사에서 대다수가 3천만 원을 받는 것이 가능한가?
숨은 편향 — 보이지 않는 데이터의 함정
교재 404 – 405쪽데이터 함정 중 가장 교묘한 것 — 정작 중요한 것이 「데이터에 빠져 있어」 안 보인다.
정리
| ★ 돌아온 폭격기의 탄흔 — 왈드의 반전 | |
|---|---|
| 미군의 생각 | 돌아온 폭격기들의 총알 자국을 조사해, 자국이 많은 부위(날개·동체)를 보강하려 했다 — 상식적으로 보인다 |
| 왈드의 조언 | 통계학자 에이브러햄 왈드는 정반대로 말했다 — 보강해야 할 곳은 오히려 탄흔이 「없는」 부위(엔진·조종석) |
| 왜 | 돌아온 비행기는 그곳을 안 맞아서 돌아온 것이고, 엔진·조종석에 맞은 비행기는 추락해 애초에 조사 대상에서 빠졌기 때문 |
「살아 돌아온 것」만 보면 진실이 거꾸로 보인다 — 이것이 생존자 편향이다.
| 이 함정은 지금도 곳곳에 | 왜 착각인가 |
|---|---|
| 「성공한 창업자들은 대학을 중퇴했다」 | 중퇴하고 실패한 수많은 사람이 데이터에서 빠져 생기는 착각 |
| 「오래된 건물이 튼튼하다」 | 부실한 옛 건물은 이미 무너져 사라졌기 때문 |
| 펀드 수익률 광고 | 「살아남은 펀드」만 나온다 |
| 「이 강좌 수강생의 90%가 만족」 | 중간에 그만둔 불만족 수강생이 빠졌다면 부풀려진 것 — 선택 편향 |
데이터를 볼 때는 늘 「여기서 빠진 것, 보이지 않는 실패 사례는 없는가?」를 물어야 한다. 생존자 편향은 선택 편향의 대표적인 한 형태로, 둘 다 「누가 데이터에서 빠졌는가」를 놓칠 때 생긴다.
용어
「성공한 창업자들은 대학을 중퇴했다」는 말의 함정은?
통계의 착시 — 심슨의 역설과 유의성의 오해
교재 405 – 407쪽데이터가 온전하고 표본도 좋아도, 합치고 해석하는 과정에서 진실이 뒤집힐 수 있다.
정리
| 심슨의 역설 — 학과별과 전체가 뒤집힌다 | 여성 | 남성 |
|---|---|---|
| A학과 합격률 | 90% | 80% |
| B학과 합격률 | 30% | 20% |
| 전체 합계 | 36% | 74% — 뒤집혔다! |
비밀은 「지원 분포」에 있다 — 여성들이 합격이 어려운 B학과에 대거 몰려 지원했기 때문에, 학과별로는 여성이 우세해도 합계에서는 뒤집힌 것이다. 여기서 「지원 학과」가 제26장의 교란변수 역할을 한다.
이것은 상상 속 이야기가 아니다. 1973년 미국 버클리 대학 대학원 입학에서 똑같은 일이 벌어졌다. 전체 통계로는 남성 합격률(약 44%)이 여성(약 35%)보다 높아 「여성 차별」 논란이 일었지만, 학과별로 뜯어보니 오히려 여성 합격률이 같거나 더 높은 학과가 대부분이었다. 「전체 평균」만 보면 정반대의 결론에 이를 수 있다는 강력한 경고다.
★ 다만 이 사례를 「그러니 차별은 없었다」로 읽으면 절반만 읽은 것이다. 이 일을 분석한 연구진의 결론은 달랐다 — 입학사정 자체는 대체로 공정했지만, 여성들이 왜 하필 경쟁이 치열하고 지원자가 몰리는 학과로 향했는가, 그 이전 단계의 교육과 사회화 과정에 문제가 있다는 것이었다(Bickel 외, 1975). 심슨의 역설을 알아차렸다고 문제가 사라지는 것이 아니라, 문제가 놓인 자리가 옮겨질 뿐이다 — 숫자를 제대로 쪼개 보는 진짜 이유는 「엉뚱한 곳을 고치지 않기 위해서」다.
| ★ 「통계적으로 유의하다」의 오해 | 무엇 |
|---|---|
| 뜻하는 것 | 「그 결과가 단순한 우연으로 나올 가능성이 낮다」는 뜻일 뿐 |
| 뜻하지 않는 것 | 「효과가 크다」거나 「실질적으로 중요하다」는 뜻이 아니다 |
| 왜 문제인가 | 표본이 아주 크면 아주 작고 하찮은 차이도 「유의하게」 나올 수 있다(제26장의 0.6%가 그 예) |
| 그래서 | 「그래서 효과의 크기가 실제로 얼마나 되는가(실질적 중요성)」를 반드시 함께 물어야 한다. 「유의하다」는 「있다/없다」를 가르는 판정이 아니라 여러 근거 가운데 하나 |
이 오해는 학계 안에서도 오래 문제였다.
용어
더 보기 — ★ 재현성 위기와 미국통계학회의 경고
「유의하다」는 오해는 학계 안에서도 오래 문제였습니다.
| 무엇이 | 어떤 문제 |
|---|---|
| p-해킹 | 유의한 결과가 나올 때까지 분석 방법을 바꿔 보는 행위 |
| 출판 편향 | 유의한 연구만 학술지에 실리는 경향 |
| 재현성 위기 | 둘이 겹치면서 같은 연구를 다시 해도 결과가 재현되지 않는 일이 여러 분야에서 잇따랐다 |
「p값은 가설이 참일 확률이 아니며 그것만으로 결론을 내려서는 안 된다」는, 여섯 가지 원칙을 담은 경고였습니다.
학과별로는 여성 합격률이 높은데 전체로는 남성이 높았다. 이 현상은?
그래프의 속임수 — 눈을 속이는 시각화
교재 407 – 408쪽통계에서 가장 흔하고 교묘한 속임수는 「숫자」가 아니라 「그림」에서 일어난다.
정리
막대 높이 차이가 극적으로 벌어져 「폭발적 성장」처럼 보인다.
「거의 제자리걸음」으로 보인다.
| 그래프 속임수의 여러 얼굴 | 무엇 |
|---|---|
| 세로축 절단 | 가장 대표적 — 아랫부분을 잘라 차이를 극적으로 만든다 |
| 눈금 간격 조작 | 가로축의 시간 간격을 들쭉날쭉하게 만들어 추세를 왜곡 |
| 3차원 효과·그림 크기 | 착시를 일으킨다 |
| 체리 피킹 | 유리한 기간만 잘라 보여 주기 |
| 이중축 조작 | 두 축의 눈금을 조작해 무관한 두 지표가 함께 움직이는 것처럼 보이기 |
모두 「숫자는 사실이되 인상은 거짓」을 만드는 기술이다.
용어
더 보기 — ★ 70년 전 책이 지금도 읽히는 이유 — 대럴 허프
이 속임수를 대중에게 처음으로 낱낱이 밝힌 사람이 미국의 저널리스트 대럴 허프(1913~2001)입니다.
1954년에 낸 『How to Lie with Statistics(통계로 거짓말하는 법)』라는 얄궂은 제목의 책에서, 그는 세로축 자르기·그림 크기 부풀리기·유리한 기간만 떼어 보이기 같은 수법을 하나하나 해부했습니다.
70년이 지난 지금도 읽히는 이유는, 수법이 그때와 조금도 달라지지 않았기 때문입니다.
그래프를 볼 때 가장 먼저 확인해야 할 것은?
실전 — 보고서와 숫자의 언어
교재 408 – 410쪽좋은 독자는 문서를 처음부터 읽지 않는다.
정리
초록 → 서론·이론 → 데이터·방법 → 결과 → 결론·한계
① 초록으로 전체를 30초에 → ② 결과의 표·그림(계수·유의성보다 「크기」를 먼저) → ③ 데이터·식별전략(왜 이게 인과인가) → ④ 한계·일반화
| ★ 경제 보고서의 「숫자 언어」 여섯 가지 | 무엇 | 왜 헷갈리나 |
|---|---|---|
| %p와 % | 비율 자체의 변화는 %p로 쓴다 | 실업률이 3%→4%면 「1%p 상승」이지 「33% 상승」이 아니다 |
| 전년동월비 · 전월비 | 전년동월비=1년 전 같은 달과 비교(계절 영향 제거에 유리) / 전월비=바로 전달과 비교(단기 흐름) | 무엇과 비교한 값인지 반드시 확인(제19장 건설기성 사례) |
| 계절조정 | 명절·연말·방학처럼 매년 반복되는 계절 요인을 걷어내 순수한 「추세」만 남기는 처리 | 월별·분기별 비교는 계절조정치로 봐야 왜곡이 없다 |
| 명목 · 실질 | 명목=물가 변동을 포함 / 실질=물가 영향을 걷어낸 값 | 「실질」이 진짜 구매력·성장을 뜻한다(제13·14장) |
| 기저효과 | 비교 기준 시점이 유난히 낮으면 증가율이 실제보다 부풀려 보이는 현상 | 「작년이 워낙 나빴다」를 확인 |
| 지수(Index=100) | 기준 시점을 100으로 놓은 상대값 | 110이면 기준보다 +10%. 「기준이 언제인가」를 본다(제21장 코스닥 1,000) |
보고서의 숫자는 「무엇을 기준으로, 무엇과 비교한」 값인지부터 확인해야 한다.
| 회귀표 말고도 나오는 표 셋 | 무엇을 보나 |
|---|---|
| 기술통계표(요약통계) | 변수마다 평균·표준편차·최솟값·최댓값·N. 분석에 앞서 「데이터가 어떻게 생겼나」(치우침·이상치·표본 크기)를 가늠하는 첫 관문 |
| 상관행렬 | 변수들 사이의 상관계수를 격자로. 어떤 변수들이 함께 움직이는지 한눈에 보되 「상관 ≠ 인과」를 잊지 않는다 |
| 강건성(로버스트니스) 표 | 표본·변수·방법을 이리저리 바꿔도 결과가 유지되는지. 특정 설정에서만 나온다면 신뢰가 떨어진다 — 좋은 논문일수록 이 표가 충실하다 |
이 다섯 겹의 눈을 갖추면, 남이 내민 어떤 숫자 앞에서도 스스로 판단할 수 있다.
용어
실업률이 3%에서 4%가 되었다. 올바른 표현은?
사슬을 한눈에 — 다섯 가지 질문
교재 410 – 416쪽「통계는 거짓말을 하지 않는다 — 그러나 통계를 「보여 주는 사람」은 얼마든지 거짓말을 할 수 있다.」
정리
누구에게 물었나 — 크기보다 대표성.
평균인가 중앙값인가.
빠진 데이터는 없나.
합치면 뒤집히지 않나. 축은 정직한가.
| ★ 데이터를 볼 때 던져야 할 다섯 질문 | 무엇을 확인 |
|---|---|
| ① 누구에게 물었나? | 표본의 대표성 — 크기가 아니라 |
| ② 평균인가 중앙값인가? | 치우친 분포면 중앙값·분산을 함께 |
| ③ 빠진 데이터는 없나? | 생존자·선택 편향 — 보이지 않는 실패 사례 |
| ④ 합치면 뒤집히지 않나? | 심슨의 역설 — 쪼개서 보라 |
| ⑤ 축은 정직한가? | 세로축 시작점·눈금·기간·비교 대상 |
이 다섯 질문을 습관처럼 던질 수 있다면, 숫자의 홍수 속에서 진실을 가려낼 수 있다.
| 누가 | 무엇을 보고 | 무엇을 하나 |
|---|---|---|
| 소비자·시민 | 「설문 결과 90%가 만족」 | 선택 편향(불만족자가 빠졌나)을 의심한다 — 표본이 누구였는지 먼저 묻는다 |
| 누구나 | 「우리 지역 평균 소득 1억」 | 평균인가 중앙값인가를 확인한다. 치우친 분포면 중앙값·분산을 함께 |
| 기업·투자자 | 「이 전략을 쓴 기업이 다 성공했다」 | 생존자 편향(실패한 기업 누락)을 점검한다 — 살아남은 사례만 보고 속단하지 않는다 |
| 누구나 | 실적·성장 그래프 | 축 시작점·눈금·기간을 먼저 확인한다 — 축이 0에서 시작하는지만 봐도 대부분의 시각 속임수는 무너진다 |
「숫자는 힘이 세다 — 진실을 밝히는 데도, 거짓을 꾸미는 데도. 그 둘을 가려내는 눈을 갖는 것이 데이터 시대의 교양이다.」
이로써 제7부 계량 파트가 마무리된다. 제26장에서 「데이터로 진실을 찾는 법」을, 이 장에서 「데이터의 거짓에 속지 않는 법」을 배웠다. 데이터 시대의 진짜 힘은 숫자를 만드는 능력이 아니라, 남이 내민 숫자를 의심하고 되묻는 능력이다.
함께 풀기
교재 제27장 끝의 네 계단 문항입니다. 강의실에서 함께 풉니다. 「진행 힌트」는 교수용이니 눌러야 열립니다.
아래 주장들에 다섯 질문 중 어느 것을 던져야 하는지 판정하고, 무엇이 의심스러운지 적으라.
| 주장 | 어느 질문 | 무엇이 의심스러운가 |
|---|---|---|
| 「이 강좌 수강생의 90%가 만족」 | ||
| 「우리 동네 평균 소득 1억 원」 | ||
| 「온라인 투표 결과 80%가 찬성」 | ||
| 「이 전략을 쓴 기업이 다 성공했다」 | ||
| 「작년 대비 매출 폭발적 성장」(그래프) |
심슨의 역설을 손으로 계산해 확인하라. A학과·B학과의 지원자 수와 합격자 수를 채워, 왜 합계에서 뒤집히는지 산수로 보이라.
| A학과(합격 쉬움) | B학과(합격 어려움) | 합계 | |
|---|---|---|---|
| 여성 지원/합격 | |||
| 남성 지원/합격 | |||
| 여성 합격률 | |||
| 남성 합격률 |
그리고 반드시 마지막을 짚어 주십시오 — 「그러니 차별은 없었다」로 읽으면 절반만 읽은 것입니다. 「여성들이 왜 하필 경쟁이 치열한 학과로 향했는가」라는 이전 단계의 문제가 남습니다. 「문제가 사라지는 게 아니라 놓인 자리가 옮겨질 뿐」입니다.
같은 데이터로 두 개의 그래프를 그려라. 「폭발적 성장」으로 보이게, 그리고 「제자리걸음」으로 보이게. 그리고 어느 쪽이 정직한지, 왜 그런지 적으라.
| 세로축 범위 | 인상은 | 정직한가 | |
|---|---|---|---|
| 그래프 A | |||
| 그래프 B | |||
| 판정 |
「그럼 세로축을 자르는 건 무조건 나쁜가요?」라는 질문이 나오면 훌륭합니다 — 미세한 변동이 중요한 지표(환율·금리)에서는 정당할 수 있습니다. 문제는 「자른 사실을 숨기고 인상을 조작할 때」입니다.
제26장에서 본 한국은행 AI 보고서에서, 0.6%라는 작은 값에도 별이 셋 붙었다. 표본이 657만 건이었기 때문이다. 이것을 어떻게 읽어야 하는가? 그리고 p-해킹·출판 편향·재현성 위기는 왜 생기며, 어떻게 막을 수 있을까?
두 번째는 학문의 자정 능력에 관한 무거운 물음입니다. 「유의한 결과만 실린다면, 유의하지 않은 진실은 어디로 가는가?」 해법으로는 사전등록(분석 계획을 미리 공개), 재현 연구 장려, 효과 크기와 신뢰구간 함께 보고 등이 나옵니다. 2016년 미국통계학회 성명이 그 맥락입니다.
이번 주 뉴스
교재의 사례는 실린 시점의 것입니다. 그때와 지금이 어떻게 달라졌는지가 오늘의 첫 질문입니다.
news.json 을 읽고 있습니다.
핵심 용어
시험 전에 이 목록만 훑어도 됩니다. 막히면 옆의 쪽수로 돌아가십시오.
참고자료 · 출처
모든 수치는 발표 시점을 함께 적었습니다. 시간이 지난 뒤 인용할 때는 최신 자료로 확인하십시오.
- Literary Digest · Gallup, 1936년 미국 대선 여론조사『리터러리 다이제스트』가 240만 명 이상을 조사하고도 예측에 실패(전화 가입자·자동차 등록자 명단 사용으로 부유층 편중). 조지 갤럽은 훨씬 작은 표본으로 결과를 맞혀 표본의 대표성이 크기보다 중요함을 보였다
- Wald, A., Statistical Research Group 보고서(1943)제2차 대전 폭격기 장갑 보강 문제 — 돌아온 기체의 탄흔이 아니라 탄흔이 없는 부위(엔진·조종석)를 보강해야 한다는 분석. 생존자 편향의 고전적 사례
- Bickel, P., Hammel, E. & O'Connell, J., Science, 187(4175), 398–404 (1975)“Sex Bias in Graduate Admissions: Data from Berkeley” — 1973년 버클리 대학원 입학에서 전체로는 남성 합격률(약 44%)이 여성(약 35%)보다 높았으나 학과별로는 여성이 같거나 더 높았다. 심슨의 역설의 대표 사례이며, 연구진은 입학사정보다 「지원 학과 선택」 이전 단계의 문제를 지적했다
- American Statistical Association, “Statement on p-Values: Context, Process, and Purpose”, The American Statistician, 70(2) (2016)학회 역사상 처음으로 p값에 관해 낸 공식 성명. p값은 가설이 참일 확률이 아니며 그것만으로 결론을 내려서는 안 된다는 여섯 원칙
- Huff, D., How to Lie with Statistics (1954)세로축 자르기·그림 크기 부풀리기·유리한 기간만 떼어 보이기 등 통계 시각화의 속임수를 대중에게 처음 낱낱이 밝힌 책
- 국가데이터처, 가계금융복지조사가구소득을 발표할 때 평균과 중앙값을 함께 제시. 소득처럼 치우친 분포에서는 중앙값이 「보통 사람」의 형편을 더 잘 보여 준다
- 한국은행 · 국가데이터처, 통계 작성 기준전년동월비·전월비, 계절조정, 명목·실질, 기저효과, 지수(기준=100) 등 경제 보고서의 표준 표기