13  이중차분법

브라질 남부의 쓰리 빌보드

마케팅 일을 하던 시절, 인터넷 광고는 아주 좋은 수단이었습니다. 효율이 높아서가 아니라(물론 효율도 좋습니다), 효과가 있는지 없는지 알기가 아주 쉬웠기 때문입니다. 온라인 마케팅에서는 어떤 고객이 광고를 봤는지 알 수 있고, 쿠키로 그 고객을 추적해서 랜딩 페이지에 들어왔는지, 다운로드 버튼을 눌렀는지도 확인할 수 있습니다. 머신러닝으로 기존 고객과 아주 비슷한 잠재 고객을 찾아서 그 사람들에게만 광고를 보여 줄 수도 있습니다. 이런 의미에서 온라인 마케팅은 매우 정밀합니다. 원하는 사람만 골라서 광고할 수 있고, 그 사람들이 기대한 대로 반응하는지도 지켜볼 수 있습니다.

하지만 온라인 마케팅이 모든 사람에게 닿지는 않습니다. 때로는 TV 캠페인이나 길가의 광고판처럼 덜 정밀한 방법에 기대야 합니다. 마케팅 부서는 대개 채널 다양화를 추구합니다. 온라인 마케팅이 특정 종류의 참치만 노리는 전문가용 낚싯대라면, 광고판과 TV는 물고기 떼를 향해 던져 놓고 큰 놈 몇 마리라도 걸리기를 바라는 거대한 그물입니다. 광고판과 TV 광고의 또 다른 문제는 효과가 얼마나 되는지 알기가 훨씬 어렵다는 점입니다. 물론 광고판을 어딘가에 세우기 전과 후로 구매량이든, 끌어올리고 싶은 다른 어떤 지표든 측정해 볼 수는 있습니다. 지표가 늘었다면 마케팅이 효과가 있었다는 증거가 어느 정도는 됩니다. 하지만 그 증가가 제품 인지도가 원래 높아지던 흐름에서 저절로 생긴 것이 아니라는 점은 어떻게 알 수 있을까요? 다시 말해, 애초에 광고판을 세우지 않았다면 어떻게 되었을지, 즉 반사실(counterfactual) \(Y_0\)는 어떻게 알 수 있을까요?

이런 질문에 답하는 기법 중 하나가 이중차분법(Difference-in-Differences, DID)입니다. 친한 사이에서는 diff-in-diff라고 줄여 부르기도 합니다. 이중차분법은 거시적인 개입의 효과를 평가할 때 흔히 쓰입니다. 이민이 실업에 미치는 효과, 총기 관련 법 개정이 범죄율에 미치는 효과, 아니면 단순히 마케팅 캠페인 때문에 생긴 사용자 참여도의 차이 같은 것들입니다. 이런 경우에는 모두 개입 전과 개입 후 기간이 있고, 전반적인 추세에서 개입의 효과만 떼어 내고 싶어 합니다. 이해를 돕기 위해, 제가 실제로 답해야 했던 것과 비슷한 질문을 하나 살펴보겠습니다.

광고판이 마케팅 채널로서 얼마나 쓸모 있는지 알아보려고, 히우그란지두술(Rio Grande do Sul)주의 주도인 포르투알레그리(Porto Alegre)에 광고판 3개를 세웠습니다. 광고판 덕분에 저축 계좌 예금이 늘어나는지 보고 싶었습니다. 브라질 지리에 익숙하지 않은 분들을 위해 덧붙이면, 히우그란지두술은 브라질에서 가장 발전한 지역 중 하나인 남부에 있습니다.

이 점을 고려해서 남부의 또 다른 주도인 플로리아노폴리스(Florianopolis)의 데이터도 함께 보기로 했습니다. 플로리아노폴리스는 산타카타리나(Santa Catarina)주의 주도입니다. 플로리아노폴리스를 대조군(control) 표본으로 삼아 포르투알레그리와 비교하면 반사실 \(Y_0\)를 추정할 수 있다는 생각이었습니다(참고로 이것은 실제 실험이 아닙니다. 실제 실험은 기밀이지만 아이디어는 아주 비슷합니다). 광고판은 6월 한 달 내내 포르투알레그리에 걸어 두었습니다. 데이터는 다음과 같습니다.

코드
import warnings
warnings.filterwarnings('ignore')

import pandas as pd
import numpy as np
from matplotlib import style
from matplotlib import pyplot as plt
import seaborn as sns
import statsmodels.formula.api as smf


%matplotlib inline

style.use("fivethirtyeight")
코드
data = pd.read_csv("data/billboard_impact.csv")
data.head()
deposits poa jul
0 42 1 0
1 0 1 0
2 52 1 0
3 119 1 0
4 21 1 0

예금(deposits)이 결과변수, 즉 광고판으로 늘리고 싶은 변수라는 점을 기억해 두세요. POA는 포르투알레그리를 나타내는 더미변수입니다. 값이 0이면 플로리아노폴리스의 표본이라는 뜻입니다. Jul은 7월, 즉 개입 후 기간을 나타내는 더미변수입니다. 값이 0이면 개입 전 기간인 5월의 표본입니다.

DID 추정량

시간(time)과 처치(treatment)를 헷갈리지 않도록 지금부터는 처치를 D로, 시간을 T로 나타내겠습니다. \(Y_D(T)\)를 기간 T에 처치 D를 받았을 때의 잠재적 결과(potential outcome)라고 합시다. 반사실을 관측할 수 있는 이상적인 세상이라면 개입의 처치효과(treatment effect)를 다음과 같이 추정할 것입니다.

\[ \hat{ATET} = E[Y_1(1) - Y_0(1)|D=1] \]

말로 풀면, 인과효과는 개입 후 기간에 처치를 받았을 때의 결과에서, 같은 개입 후 기간에 처치를 받지 않았을 때의 결과를 뺀 값입니다. 물론 \(Y_0(1)\)은 반사실이므로 이 값은 측정할 수 없습니다.

이 문제를 피해 가는 방법 하나는 전후 비교입니다.

\[ \hat{ATET} = E[Y(1)|D=1] - E[Y(0)|D=1] \]

이 예시에서는 광고판을 세우기 전과 후의 POA 평균 예금액을 비교하게 됩니다.

코드
poa_before = data.query("poa==1 & jul==0")["deposits"].mean()

poa_after = data.query("poa==1 & jul==1")["deposits"].mean()

poa_after - poa_before
41.04775

이 추정량에 따르면 개입 후 예금이 41.04헤알(BRL) 늘어날 것으로 기대할 수 있습니다. 하지만 이 값을 믿어도 될까요?

\(E[Y(0)|D=1]=E[Y_0(0)|D=1]\)이라는 점에 주목하세요. 즉, 실험군(treated)의 개입 전 관측 결과는 실험군의 개입 전 반사실적 결과와 같습니다. 이 값으로 개입 후 반사실 \(E[Y_0(1)|D=1]\)을 추정하고 있으므로, 위 추정은 \(E[Y_0(1)|D=1] = E[Y_0(0)|D=1]\)을 가정하는 셈입니다.

이 가정은 개입이 없었다면 나중 기간의 결과가 처음 기간의 결과와 같았을 것이라는 뜻입니다. 결과변수에 어떤 형태로든 추세가 있다면 이 가정은 당연히 틀립니다. 예를 들어 POA의 예금이 늘어나는 추세라면 \(E[Y_0(1)|D=1] > E[Y_0(0)|D=1]\)입니다. 즉, 개입이 없더라도 나중 기간의 결과가 처음 기간보다 클 것입니다. 같은 논리로 Y가 줄어드는 추세라면 \(E[Y_0(1)|D=1] < E[Y_0(0)|D=1]\)입니다. 그러니 이런 전후 비교는 그다지 좋은 추정량이 아닙니다.

또 다른 방법은 실험군을 개입을 받지 않은 대조군과 비교하는 것입니다.

\[ \hat{ATET} = E[Y(1)|D=1] - E[Y(1)|D=0] \]

이 예시에서는 개입 후 기간의 POA 예금을 플로리아노폴리스의 예금과 비교하는 셈입니다.

코드
fl_after = data.query("poa==0 & jul==1")["deposits"].mean()
poa_after - fl_after
-119.10175000000001

이 추정량은 캠페인이 오히려 해롭고, 고객들의 예금이 119.10헤알 줄어들 것이라고 말합니다.

\(E[Y(1)|D=0]=E[Y_0(1)|D=0]\)이라는 점에 주목하세요. 그리고 \(E[Y(1)|D=0]\)으로 개입 후 실험군의 반사실을 추정하고 있으므로, 빠진 반사실을 \(E[Y_0(1)|D=0] = E[Y_0(1)|D=1]\)처럼 대체할 수 있다고 가정하는 셈입니다. 그런데 이 가정은 두 집단의 기준 수준이 아주 비슷할 때만 성립합니다. 예를 들어 플로리아노폴리스의 예금이 포르투알레그리보다 훨씬 많다면 \(E[Y_0(1)|D=0] > E[Y_0(1)|D=1]\)이므로 성립하지 않습니다. 반대로 플로리아노폴리스의 예금 수준이 더 낮다면 \(E[Y_0(1)|D=0] < E[Y_0(1)|D=1]\)이 됩니다.

이번에도 좋은 생각은 아닙니다. 이 문제를 해결하려면 공간 비교와 시간 비교를 함께 쓰면 됩니다. 이것이 이중차분법의 아이디어입니다. 이중차분법은 빠진 반사실을 다음과 같이 대체합니다.

\[ E[Y_0(1)|D=1] = E[Y_0(0)|D=1] + (E[Y_0(1)|D=0] - E[Y_0(0)|D=0]) \]

이 식은 개입 전 실험군에 추세 성분을 더합니다. 추세 성분은 대조군으로 추정하며, \(E[Y_0(1)|D=0] - E[Y_0(0)|D=0]\)입니다. 풀어 말하면, 처치를 받지 않았다면 개입 후 실험군은 처치 전 실험군에 대조군만큼의 증가분을 더한 모습이었을 것이라는 뜻입니다.

여기서 실험군과 대조군의 추세가 같다고 가정한다는 점이 중요합니다.

\[ E[Y_0(1) − Y_0(0)|D=1] = E[Y_0(1) − Y_0(0)|D=0] \]

좌변이 반사실의 추세입니다. 이제 처치효과의 정의 \(E[Y_1(1)|D=1] - E[Y_0(1)|D=1]\)에 추정한 반사실을 대입할 수 있습니다.

\[ \hat{ATET} = E[Y(1)|D=1] - (E[Y(0)|D=1] + (E[Y(1)|D=0] - E[Y(0)|D=0]) \]

항을 다시 정리하면 고전적인 DID 추정량을 얻습니다.

\[ \hat{ATET} = (E[Y(1)|D=1] - E[Y(1)|D=0]) - (E[Y(0)|D=1] - E[Y(0)|D=0]) \]

처치 후와 처치 전에 각각 실험군과 대조군의 차이를 구하고, 그 두 차이의 차이를 다시 구하기 때문에 이런 이름이 붙었습니다.

코드로는 다음과 같습니다.

코드
fl_before = data.query("poa==0 & jul==0")["deposits"].mean()

diff_in_diff = (poa_after-poa_before)-(fl_after-fl_before)
diff_in_diff
6.524557692307688

이중차분법에 따르면 고객 1인당 예금이 6.52헤알 늘어날 것으로 기대할 수 있습니다. 이중차분법의 가정은 앞의 두 추정량보다 훨씬 그럴듯합니다. 이중차분법은 두 도시의 증가 패턴이 같다고만 가정합니다. 두 도시의 기준 수준이 같을 필요도 없고, 추세가 0일 필요도 없습니다.

이중차분법이 하는 일을 눈으로 확인하려면 대조군의 증가 추세를 실험군에 그대로 옮겨 그려 보면 됩니다. 그러면 반사실, 즉 개입이 없었다면 기대할 수 있는 예금액이 보입니다.

코드
plt.figure(figsize=(10,5))
plt.plot(["May", "Jul"], [fl_before, fl_after], label="FL", lw=2)
plt.plot(["May", "Jul"], [poa_before, poa_after], label="POA", lw=2)

plt.plot(["May", "Jul"], [poa_before, poa_before+(fl_after-fl_before)],
         label="Counterfactual", lw=2, color="C2", ls="-.")

plt.legend();

빨간 선과 노란 점선 사이에 작은 차이가 보이나요? 정말 집중해서 보면 포르투알레그리에 나타난 작은 처치효과가 보입니다.

이쯤 되면 이런 생각이 들 수도 있습니다. “이 추정량을 얼마나 믿을 수 있지? 표준오차를 보고받는 건 내 권리라고!” 표준오차 없는 추정량은 볼품없으니 당연한 요구입니다. 표준오차를 구하기 위해 회귀분석을 이용한 깔끔한 요령을 쓰겠습니다. 구체적으로는 다음 선형 모델을 추정합니다.

\[ Y_i = \beta_0 + \beta_1 POA_i + \beta_2 Jul_i + \beta_3 POA_i*Jul_i + e_i \]

\(\beta_0\)는 대조군의 기준값입니다. 이 예시에서는 5월 플로리아노폴리스의 예금 수준입니다. 실험군 도시의 더미를 켜면 \(\beta_1\)이 더해집니다. 따라서 \(\beta_0 + \beta_1\)은 개입 전인 5월 포르투알레그리의 기준값이고, \(\beta_1\)은 플로리아노폴리스 기준값에 얹히는 포르투알레그리 기준값의 증가분입니다. POA 더미를 끄고 7월 더미를 켜면 \(\beta_0 + \beta_2\)가 되는데, 이는 개입 기간이 지난 7월 플로리아노폴리스의 수준입니다. \(\beta_2\)는 대조군의 추세입니다. 기준값에 이 값을 더해야 개입 후 기간 대조군의 수준이 되기 때문입니다. 정리하면 \(\beta_1\)은 대조군에서 실험군으로 넘어갈 때의 증가분이고, \(\beta_2\)는 개입 전 기간에서 개입 후 기간으로 넘어갈 때의 증가분입니다. 마지막으로 두 더미를 모두 켜면 \(\beta_3\)가 더해집니다. \(\beta_0 + \beta_1 + \beta_2 + \beta_3\)는 개입 후 포르투알레그리의 수준입니다. 따라서 \(\beta_3\)는 5월에서 7월로, 그리고 플로리아노폴리스에서 POA로 넘어갈 때 추가로 생기는 효과입니다. 다시 말해 이 값이 바로 DID 추정량입니다.

못 믿겠다면 직접 확인해 보세요. 앞에서 구한 값과 정확히 같은 숫자가 나옵니다. 그토록 바라던 표준오차도 함께 나온다는 점을 눈여겨보세요.

코드
smf.ols('deposits ~ poa*jul', data=data).fit().summary().tables[1]
coef std err t P>|t| [0.025 0.975]
Intercept 171.6423 2.363 72.625 0.000 167.009 176.276
poa -125.6263 4.484 -28.015 0.000 -134.418 -116.835
jul 34.5232 3.036 11.372 0.000 28.571 40.475
poa:jul 6.5246 5.729 1.139 0.255 -4.706 17.755

평행하지 않은 추세

이중차분법의 분명한 약점 하나는 평행 추세(parallel trends) 가정이 깨질 수 있다는 것입니다. 실험군의 증가 추세가 대조군의 추세와 다르면 이중차분법은 편향된 값을 냅니다. 무작위가 아닌 데이터에서 흔히 생기는 문제로, 처치에 잘 반응할 것 같은 지역을 골라 처치하거나 실적이 좋지 않은 지역을 노려 처치할 때 나타납니다. 마케팅 예시를 다시 보겠습니다. 포르투알레그리에서 광고판을 시험한 것은 광고판의 일반적인 효과를 확인하려는 목적이 아니었습니다. 단순히 그곳 매출이 부진했기 때문입니다. 어쩌면 그곳에서는 온라인 마케팅이 통하지 않는 것일 수도 있습니다. 이런 경우 광고판이 없었을 때 포르투알레그리의 증가폭은 다른 도시에서 관측되는 증가폭보다 작았을 수 있습니다. 그러면 그곳 광고판의 효과를 과소추정하게 됩니다.

이런 일이 벌어지는지 확인하는 방법 하나는 과거 기간까지 넣어 추세를 그려 보는 것입니다. 예를 들어 POA는 완만한 감소 추세였는데 플로리아노폴리스는 가파르게 상승하고 있었다고 해 봅시다. 이 경우 이전 기간을 함께 그려 보면 그런 추세가 드러나고, 이중차분법이 믿을 만한 추정량이 아니라는 것을 알 수 있습니다.

코드
plt.figure(figsize=(10,5))
x = ["Jan", "Mar", "May", "Jul"]

plt.plot(x, [120, 150, fl_before,  fl_after], label="FL", lw=2)
plt.plot(x, [60, 50, poa_before, poa_after], label="POA", lw=2)

plt.plot(["May", "Jul"], [poa_before, poa_before+(fl_after-fl_before)], label="Counterfactual", lw=2, color="C2", ls="-.")

plt.legend();

이 문제를 통제집단합성법(synthetic control)으로 해결하는 방법은 나중에 살펴보겠습니다. 통제집단합성법은 여러 도시를 이용해 관심 있는 도시의 추세를 가깝게 따라가는 가상의 도시를 만듭니다. 하지만 지금은 이중차분법을 적용할 때 평행 추세가 성립하는지 늘 확인해야 한다는 점만 기억해 두세요.

마지막으로 짚어 둘 문제는 집계된 데이터만 있으면 DID 추정량의 신뢰구간(confidence interval)을 구할 수 없다는 점입니다. 예를 들어 플로리아노폴리스나 포르투알레그리 고객 한 사람 한 사람의 행동 데이터는 없고, 두 도시의 개입 전후 평균 예금액만 있다고 해 봅시다. 이 경우에도 이중차분법으로 인과효과를 추정할 수는 있지만 그 분산은 알 수 없습니다. 데이터의 변동성이 집계 과정에서 모두 뭉개져 사라졌기 때문입니다.

핵심 요약

이번 장에서는 학교, 도시, 주, 국가처럼 더 거시적인 단위에서 인과효과를 추정할 때 널리 쓰이는 기법을 살펴보았습니다. 이중차분법은 처치 전후의 실험군을 놓고, 그 결과의 추세를 대조군의 추세와 비교합니다. 여기서는 특정 도시에서 진행한 마케팅 캠페인의 효과를 추정하는 데 이 기법을 어떻게 적용할 수 있는지 보았습니다.

마지막으로 실험군과 대조군의 추세가 같지 않으면 이중차분법이 제대로 작동하지 않는다는 점을 확인했습니다. 집계된 데이터만 있을 때도 이중차분법에 문제가 생긴다는 것을 보았습니다.

참고 자료

저는 이 책 전체를 Joshua Angrist, Alberto Abadie, Christopher Walters의 훌륭한 계량경제학 강의에 바치는 헌사라고 생각합니다. 이 책에 담긴 아이디어 대부분은 이들이 미국경제학회(American Economic Association)에서 한 강의에서 가져왔습니다. 힘든 2020년을 버틸 수 있는 것도 이 강의들을 보는 덕분입니다. * Cross-Section Econometrics * Mastering Mostly Harmless Econometrics

Angrist의 멋진 책들도 참고 자료로 소개하고 싶습니다. 이 책들 덕분에 계량경제학, 이들 표현으로는 ’Metrics가 아주 유용할 뿐 아니라 무척 재미있다는 것을 알게 되었습니다.

또 하나 중요한 참고 자료는 Miguel Hernan과 Jamie Robins의 책입니다. 까다로운 인과적 질문에 답해야 할 때마다 믿음직한 동반자가 되어 주었습니다.

마지막으로 인과추론과 랩 가사를 버무린 Scott Cunningham의 멋진 작업에도 찬사를 보냅니다.

기여하기

Causal Inference for the Brave and True는 과학의 통계학이라 할 수 있는 인과추론을 다루는 오픈소스 자료입니다. 파이썬 기반의 무료 소프트웨어만 사용하며, 돈이 없어도, 배경지식이 많지 않아도 누구나 볼 수 있는 자료를 목표로 합니다. 이 책이 도움이 되었고 후원하고 싶다면 Patreon을 방문해 주세요. 금전적으로 기여하기 어렵다면 오타를 고치거나, 수정할 부분을 제안하거나, 이해하기 어려웠던 부분에 의견을 주는 것으로도 도울 수 있습니다. 책의 저장소에서 이슈를 열어 주세요. 마지막으로 이 내용이 마음에 들었다면 도움이 될 만한 사람들과 공유하고 GitHub에서 스타를 눌러 주세요.

힌트옮긴이

한국어판의 오역이나 오탈자는 한국어판 이슈 페이지에 알려 주세요. 한국어판이 도움이 되었다면 한국어판 저장소에도 스타를 부탁드립니다.

의견 나누기

번역이 어색한 곳, 더 쉬운 설명, 궁금한 점을 남겨 주세요. GitHub 계정으로 로그인하면 댓글을 달 수 있고, 남긴 의견은 GitHub Discussions에 장별로 모입니다.