16  회귀 불연속 설계

평소에는 잘 의식하지 않지만, 생각해 보면 자연은 놀라울 만큼 매끄럽게 움직입니다. 싹을 틔우지 않고는 나무를 키울 수 없고, 한 곳에서 다른 곳으로 순간이동할 수도 없으며, 상처가 아무는 데는 시간이 걸립니다. 사회 영역에서도 매끄러움이 기본인 듯합니다. 하루 만에 사업을 키울 수는 없고, 부를 쌓으려면 꾸준함과 노력이 필요하며, 선형회귀가 어떻게 작동하는지 이해하기까지는 몇 년이 걸립니다. 보통의 상황에서 자연은 하나로 잘 이어져 있어서 갑자기 껑충 뛰는 일이 드뭅니다.

혼(魂)과 백(魄)을 하나로 끌어안으면 둘이 갈라지지 않게 할 수 있다.

- 도덕경, 노자.

다시 말해 도약이나 급등이 보인다면 그것은 아마 인위적인 것이고, 사람이 만든 상황인 경우가 많습니다. 이런 사건에는 보통 평소의 흐름에 대한 반사실(counterfactual)이 따라옵니다. 이상한 일이 일어나면, 자연이 다르게 움직였을 때 어떤 일이 벌어졌을지 엿볼 수 있습니다. 이런 인위적인 도약을 파고드는 것이 회귀 불연속 설계(Regression Discontinuity Design, RDD)의 핵심입니다.

기본 설정은 이렇습니다. 처치변수 \(T\)와 잠재적 결과 \(Y_0\), \(Y_1\)이 있다고 합시다. 처치 T는 관측된 배정변수(running variable) \(R\)의 불연속 함수로, 다음과 같이 정해집니다.

\[ D_i = \mathcal{1}\{R_i>c\} \]

즉 \(R\)이 임곗값(threshold) \(c\)보다 작으면 처치는 0이고, 그렇지 않으면 1입니다. 따라서 \(R>c\)일 때는 \(Y_1\)을, \(R<c\)일 때는 \(Y_0\)을 관측합니다. 감을 잡기 위해 잠재적 결과를, 온전한 모습은 볼 수 없는 함수 두 개라고 생각해 봅시다. \(Y_0(R)\)과 \(Y_1(R)\)은 분명히 존재하지만 눈에 보이지 않을 뿐입니다. 임곗값은 스위치처럼 작동해서 두 함수 중 하나를 보여 주지만, 둘을 한꺼번에 보여 주지는 않습니다. 아래 그림처럼 말입니다.

회귀 불연속의 아이디어는 임곗값 바로 위와 바로 아래의 결과를 비교해 임곗값에서의 처치효과를 식별하는 것입니다. 임곗값에서 처치를 받을 확률이 0에서 1로 뛰기 때문에 이를 계단형 RD(sharp RD) 설계라고 합니다. 확률이 뛰기는 하지만 그만큼 극적이지는 않은 경사형 RD(fuzzy RD) 설계도 생각해 볼 수 있습니다.

술은 정말 사람을 죽일까?

최소 음주 연령을 몇 살로 정할지는 매우 중요한 공공정책 문제입니다. 브라질을 비롯한 대부분의 나라는 18세로 정했지만, 미국(대부분의 주)은 현재 21세입니다. 그렇다면 미국이 지나치게 신중한 것이고, 최소 음주 연령을 낮춰야 할까요? 아니면 다른 나라들이 법적 음주 연령을 높여야 할까요?

이 질문에 접근하는 한 가지 방법은 사망률 관점(Carpenter and Dobkin, 2009)에서 보는 것입니다. 공공정책의 입장에서는 사망률을 최대한 낮춰야 한다고 주장할 수 있습니다. 음주가 사망률을 크게 높인다면 최소 음주 연령을 낮추는 일은 피해야 합니다. 그래야 음주로 인한 사망을 줄인다는 목표와도 맞아떨어집니다.

음주가 사망에 미치는 영향을 추정할 때는 법적 음주 연령이 자연에 불연속을 만든다는 사실을 활용할 수 있습니다. 미국에서 21세가 조금 안 된 사람은 술을 마시지 않지만(또는 훨씬 덜 마시지만), 21세를 갓 넘긴 사람은 술을 마십니다. 즉 음주 확률이 21세에서 뛰어오르고, 바로 이 점을 RDD로 파고들 수 있습니다.

노트

21세가 되면 술을 마실 확률이 높아질 뿐이라고 볼 수도 있습니다. 법적으로 허용되지 않을 뿐 그 전에도 술을 마실 수는 있기 때문입니다. 엄밀히 따지면 이 경우는 경사형 RD 설계에 해당하며, 이 장 뒷부분에서 다룹니다.

코드
import warnings
warnings.filterwarnings('ignore')

import pandas as pd
import numpy as np
from matplotlib import style
from matplotlib import pyplot as plt
import seaborn as sns
import statsmodels.formula.api as smf

%matplotlib inline

style.use("fivethirtyeight")

이를 위해 연령별로 집계한 사망률 데이터를 가져오겠습니다. 각 행에는 한 집단의 평균 연령과 함께 모든 원인에 의한 평균 사망률(all), 교통사고에 의한 평균 사망률(mva), 자살에 의한 평균 사망률(suicide)이 들어 있습니다.

코드
drinking = pd.read_csv("./data/drinking.csv")
drinking.head()[["agecell", "all", "mva", "suicide"]]
agecell all mva suicide
0 19.068493 92.825400 35.829327 11.203714
1 19.150684 95.100740 35.639256 12.193368
2 19.232876 92.144295 34.205650 11.715812
3 19.315070 88.427760 32.278957 11.275010
4 19.397260 88.704940 32.650967 10.984314

보기 편하도록(그리고 뒤에서 살펴볼 또 다른 중요한 이유 때문에) 배정변수 agecell을 임곗값 21에 맞춰 중심화하겠습니다.

코드
drinking["agecell"] -= 21

배정변수를 x축에 두고 여러 결과변수(all, mva, suicide)를 그려 보면, 법적 음주 연령을 넘어서는 지점에서 사망률이 뛰는 듯한 시각적 단서를 얻을 수 있습니다.

코드
plt.figure(figsize=(8,8))
ax = plt.subplot(3,1,1)
drinking.plot.scatter(x="agecell", y="all", ax=ax)
plt.title("Death Cause by Age (Centered at 0)")

ax = plt.subplot(3,1,2, sharex=ax)
drinking.plot.scatter(x="agecell", y="mva", ax=ax)

ax = plt.subplot(3,1,3, sharex=ax)
drinking.plot.scatter(x="agecell", y="suicide", ax=ax);

단서는 있지만 이것만으로는 부족합니다. 임곗값에서 음주가 사망률에 미치는 효과는 정확히 얼마일까요? 그리고 그 추정값의 표준오차는 얼마일까요?

RDD 추정

RDD가 기대는 핵심 가정은 임곗값에서 잠재적 결과가 매끄럽게 이어진다는 것, 즉 평활도(smoothness)입니다. 수식으로 쓰면, 배정변수가 오른쪽에서 임곗값에 다가갈 때와 왼쪽에서 다가갈 때 잠재적 결과의 극한이 같아야 합니다.

\[ \lim_{r \to c^-} E[Y_{ti}|R_i=r] = \lim_{r \to c^+} E[Y_{ti}|R_i=r] \]

이 가정이 성립하면 임곗값에서의 인과효과를 구할 수 있습니다.

\[ \begin{align} \lim_{r \to c^+} E[Y_{ti}|R_i=r] - \lim_{r \to c^-} E[Y_{ti}|R_i=r]=&\lim_{r \to c^+} E[Y_{1i}|R_i=r] - \lim_{r \to c^-} E[Y_{0i}|R_i=r] \\ =& E[Y_{1i}|R_i=c] - E[Y_{0i}|R_i=c] \\ =& E[Y_{1i} - Y_{0i}|R_i=c] \end{align} \]

이 값은 임곗값에서만 알 수 있으므로, 나름대로 일종의 국지적 평균 처치효과(Local Average Treatment Effect, LATE)라고 할 수 있습니다. 이런 상황에서는 RDD를 국지적인 무작위 실험으로 볼 수 있습니다. 임곗값에 있는 사람들은 처치를 받을 수도, 받지 않을 수도 있었는데, 우연히 어떤 사람은 임곗값 아래로, 어떤 사람은 위로 떨어졌습니다. 이 예시에서는 같은 시점에 어떤 사람은 21세를 갓 넘겼고 어떤 사람은 21세가 조금 안 됩니다. 이를 가르는 것은 며칠 늦게 태어났느냐 아니냐뿐이고, 이는 꽤 무작위적입니다. 그래서 RDD는 매우 설득력 있는 인과적 설명을 제공합니다. 황금 표준인 무작위 통제 실험(RCT)만큼은 아니지만 그에 가깝습니다.

이제 임곗값에서의 처치효과를 추정하려면 위 식의 두 극한을 각각 추정해 비교하기만 하면 됩니다. 가장 간단한 방법은 선형회귀를 돌리는 것입니다.

이렇게 하려면 임곗값보다 위에 있는지를 나타내는 더미변수와 배정변수의 상호작용 항을 넣습니다.

\[ y_i = \beta_0 + \beta_1 r_i + \beta_2 \mathcal{1}\{r_i>c\} + \beta_3 \mathcal{1}\{r_i>c\} r_i \]

본질적으로 이는 임곗값 위와 아래에 선형회귀를 하나씩 따로 적합하는 것과 같습니다. 매개변수 \(\beta_0\)은 임곗값 아래 회귀의 절편이고, \(\beta_0+\beta_2\)는 임곗값 위 회귀의 절편입니다.

바로 여기서 배정변수를 임곗값에 맞춰 중심화해 둔 요령이 힘을 발휘합니다. 이 전처리를 거치면 임곗값이 0이 됩니다. 그러면 절편 \(\beta_0\)은 임곗값 아래 회귀가 임곗값에서 내놓는 예측값이 됩니다. 즉 \(\beta_0=\lim_{r \to c^-} E[Y_{ti}|R_i=r]\)입니다. 같은 논리로 \(\beta_0+\beta_2\)는 위쪽에서 다가갈 때 결과의 극한입니다. 따라서 다음이 성립합니다.

\[ \lim_{r \to c^+} E[Y_{ti}|R_i=r] - \lim_{r \to c^-} E[Y_{ti}|R_i=r]=\beta_2=E[ATE|R=c] \]

21세에서 음주가 모든 원인에 의한 사망에 미치는 효과를 추정하는 경우를 코드로 쓰면 다음과 같습니다.

코드
rdd_df = drinking.assign(threshold=(drinking["agecell"] > 0).astype(int))

model = smf.wls("all~agecell*threshold", rdd_df).fit()

model.summary().tables[1]
coef std err t P>|t| [0.025 0.975]
Intercept 93.6184 0.932 100.399 0.000 91.739 95.498
agecell 0.8270 0.819 1.010 0.318 -0.823 2.477
threshold 7.6627 1.319 5.811 0.000 5.005 10.320
agecell:threshold -3.6034 1.158 -3.111 0.003 -5.937 -1.269

이 모델에 따르면 음주로 사망률이 7.6627포인트 증가합니다. 달리 말하면 음주가 모든 원인에 의한 사망 확률을 8%(100*((7.6627+93.6184)/93.6184 - 1)) 높인다는 뜻입니다. 인과효과 추정값의 표준오차도 함께 얻는다는 점에 주목하세요. 이 경우 p 값이 0.01보다 작으므로 효과는 통계적으로 유의합니다.

이 모델을 눈으로 확인하고 싶다면 가지고 있는 데이터 위에 예측값을 그려 보면 됩니다. 임곗값 위에 하나, 아래에 하나, 마치 회귀 모델이 두 개 있는 것처럼 보입니다.

코드
ax = drinking.plot.scatter(x="agecell", y="all", color="C0")
drinking.assign(predictions=model.fittedvalues).plot(x="agecell", y="predictions", ax=ax, color="C1")
plt.title("Regression Discontinuity");

다른 사망 원인에도 똑같이 해 보면 다음과 같습니다.

코드
plt.figure(figsize=(8,8))

for p, cause in enumerate(["all", "mva", "suicide"], 1):
    ax = plt.subplot(3,1,p)
    drinking.plot.scatter(x="agecell", y=cause, ax=ax)
    m = smf.wls(f"{cause}~agecell*threshold", rdd_df).fit()
    ate_pct = 100*((m.params["threshold"] + m.params["Intercept"])/m.params["Intercept"] - 1)
    drinking.assign(predictions=m.fittedvalues).plot(x="agecell", y="predictions", ax=ax, color="C1")
    plt.title(f"Impact of Alcohol on Death: {np.round(ate_pct, 2)}%")

plt.tight_layout()

RDD에 따르면 음주는 자살과 교통사고로 사망할 확률을 15% 높이는데, 상당히 큰 수치입니다. 사망률을 최소화하려 한다면, 이 결과는 음주 연령을 낮추지 말아야 한다는 설득력 있는 근거가 됩니다.

커널 가중치

회귀 불연속은 선형회귀의 외삽(extrapolation) 성질에 크게 의존합니다. 두 회귀선의 시작점과 끝점의 값을 보는 것이니, 그 극한값을 제대로 구해야 합니다. 그런데 회귀가 나머지 데이터 포인트에 맞추는 데 너무 집중한 나머지 정작 임곗값에서는 잘 맞지 않을 수 있습니다. 그러면 처치효과를 잘못 측정하게 됩니다.

이를 해결하는 한 가지 방법은 임곗값에 가까운 점에 더 높은 가중치를 주는 것입니다. 방법은 여러 가지지만, 널리 쓰이는 방법은 삼각 커널(triangular kernel)로 표본에 가중치를 다시 주는 것입니다.

\[ K(R, c, h) = \mathcal{1}\{|R-c| \leq h\} * \bigg(1-\frac{|R-c|}{h}\bigg) \]

이 커널의 첫 번째 부분은 임곗값에 가까운지를 나타내는 지시함수입니다. 얼마나 가까워야 할까요? 대역폭(bandwidth) 매개변수 \(h\)가 정합니다. 두 번째 부분은 가중치 함수입니다. 임곗값에서 멀어질수록 가중치가 점점 작아집니다. 이 가중치는 대역폭으로 나누어 계산합니다. 대역폭이 크면 가중치가 천천히 줄어들고, 대역폭이 작으면 가중치가 금세 0이 됩니다.

이해하기 쉽도록 이 커널을 이 문제에 적용했을 때 가중치가 어떤 모양인지 그려 보겠습니다. 여기서는 대역폭을 1로 정했습니다. 즉 20세 이상 22세 이하인 사람들의 데이터만 고려합니다.

코드
def kernel(R, c, h):
    indicator = (np.abs(R-c) <= h).astype(float)
    return indicator * (1 - np.abs(R-c)/h)
코드
plt.plot(drinking["agecell"], kernel(drinking["agecell"], c=0, h=1))
plt.xlabel("agecell")
plt.ylabel("Weight")
plt.title("Kernel Weight by Age");

이 가중치를 원래 문제에 적용하면, 적어도 모든 원인에 의한 사망률에서는 음주의 영향이 더 커집니다. 7.6627에서 9.7004로 뜁니다. 결과는 여전히 통계적으로 매우 유의합니다. 그리고 ols 대신 wls를 썼다는 점도 확인해 두세요.

코드
model = smf.wls("all~agecell*threshold", rdd_df,
                weights=kernel(drinking["agecell"], c=0, h=1)).fit()

model.summary().tables[1]
coef std err t P>|t| [0.025 0.975]
Intercept 93.2002 0.731 127.429 0.000 91.726 94.674
agecell 0.4109 1.789 0.230 0.819 -3.196 4.017
threshold 9.7004 1.034 9.378 0.000 7.616 11.785
agecell:threshold -7.1759 2.531 -2.835 0.007 -12.276 -2.075
코드
ax = drinking.plot.scatter(x="agecell", y="all", color="C0")
drinking.assign(predictions=model.fittedvalues).plot(x="agecell", y="predictions", ax=ax, color="C1")
plt.title("Regression Discontinuity (Local Regression)");

다른 사망 원인에서는 다음과 같습니다. 오른쪽 회귀선은 가장 오른쪽에 있는 점들을 고려하지 않기 때문에 더 가파르게 내려간다는 점을 눈여겨보세요.

코드
plt.figure(figsize=(8,8))
weights = kernel(drinking["agecell"], c=0, h=1)

for p, cause in enumerate(["all", "mva", "suicide"], 1):
    ax = plt.subplot(3,1,p)
    drinking.plot.scatter(x="agecell", y=cause, ax=ax)
    m = smf.wls(f"{cause}~agecell*threshold", rdd_df, weights=weights).fit()
    ate_pct = 100*((m.params["threshold"] + m.params["Intercept"])/m.params["Intercept"] - 1)
    drinking.assign(predictions=m.fittedvalues).plot(x="agecell", y="predictions", ax=ax, color="C1")
    plt.title(f"Impact of Alcohol on Death: {np.round(ate_pct, 2)}%")

plt.tight_layout()

자살을 제외하면, 커널 가중치를 더하자 음주의 부정적 영향이 더 커진 것으로 보입니다. 다시 한번 말하지만, 사망률을 최소화하려 한다면 법적 음주 연령을 낮추라고 권해서는 절대 안 됩니다. 음주가 사망률에 미치는 영향이 뚜렷하기 때문입니다.

지금까지 본 단순한 사례는 회귀 불연속 설계가 완벽하게 작동할 때의 모습입니다. 다음으로는 RDD를 얼마나 믿을 수 있는지 확인하기 위해 거쳐야 할 진단 몇 가지를 살펴보고, 제가 무척 아끼는 주제인 교육이 소득에 미치는 효과를 이야기하겠습니다.

양피지 효과와 경사형 RDD

교육이 소득에 미치는 효과를 두고 경제학에는 크게 두 가지 견해가 있습니다. 첫째는 널리 알려진 주장으로, 교육이 인적 자본을 늘려 생산성을 높이고, 그 결과 소득도 높인다는 것입니다. 이 관점에서 교육은 실제로 사람을 더 나은 방향으로 바꿉니다. 다른 견해는 교육이 단지 신호(signaling) 장치일 뿐이라는 것입니다. 교육은 온갖 어려운 시험과 학업 과제를 거치게 할 뿐이고, 이를 해내면 그 사람이 좋은 직원이라는 신호를 시장에 보냅니다. 이렇게 보면 교육은 사람을 더 생산적으로 만들지 않습니다. 그 사람이 원래 얼마나 생산적이었는지를 시장에 알려 줄 뿐입니다. 여기서 중요한 것은 졸업장입니다. 졸업장이 있으면 돈을 더 받습니다. 예전에는 졸업장을 양피지에 인쇄했기 때문에 이를 양피지 효과(sheepskin effect)라고 부릅니다.

이 가설을 검증하려고 Clark과 Martorell은 회귀 불연속을 사용해 12학년 졸업이 소득에 미치는 효과를 측정했습니다. 그러려면 기준을 넘느냐 못 넘느냐로 졸업 여부가 갈리는 배정변수를 찾아야 했습니다. 이들은 텍사스 교육 시스템에서 그런 데이터를 찾아냈습니다.

텍사스에서 졸업하려면 시험을 통과해야 합니다. 시험은 10학년부터 볼 수 있고 여러 번 응시할 수 있지만, 결국 12학년 말에는 마지막 기회인 시험을 치르게 됩니다. 아이디어는 이 마지막 기회 시험을 본 학생들의 데이터를 모아, 아슬아슬하게 떨어진 학생과 아슬아슬하게 붙은 학생을 비교하는 것이었습니다. 이 학생들은 인적 자본은 매우 비슷하지만 신호로 내세울 자격은 다릅니다. 간신히 붙은 학생들만 졸업장을 받기 때문입니다.

코드
sheepskin = pd.read_csv("./data/sheepskin.csv")[["avgearnings", "minscore", "receivehsd", "n"]]
sheepskin.head()
avgearnings minscore receivehsd n
0 11845.086 -30.0 0.416667 12
1 9205.679 -29.0 0.387097 31
2 8407.745 -28.0 0.318182 44
3 11114.087 -27.0 0.377778 45
4 10814.624 -26.0 0.306667 75

이번에도 데이터는 배정변수 단위로 묶여 있습니다. 배정변수(minscore, 이미 0을 중심으로 맞춰져 있음)와 결과(avgearnings)뿐 아니라, 해당 점수 구간에서 졸업장을 받을 확률과 구간의 크기(n)도 들어 있습니다. 예를 들어 임곗값보다 30점 낮은 구간의 학생 12명 가운데 졸업장을 받은 학생은 5명뿐입니다(12 * 0.416).

즉 처치 배정에 어느 정도 어긋남이 있습니다. 합격선 아래에 있으면서도 어떻게든 졸업장을 받은 학생들이 있습니다. 여기서 회귀 불연속은 계단형이 아니라 경사형입니다. 졸업장을 받을 확률이 임곗값에서 0에서 1로 뛰지 않는다는 점에 주목하세요. 그래도 대략 50%에서 90% 정도로 뛰기는 합니다.

코드
sheepskin.plot.scatter(x="minscore", y="receivehsd", figsize=(10,5))
plt.xlabel("Test Scores Relative to Cut off")
plt.ylabel("Fraction Receiving Diplomas")
plt.title("Last-chance Exams");

경사형 RD는 일종의 불응(non-compliance)으로 볼 수 있습니다. 임곗값을 넘으면 모두가 졸업장을 받아야 하지만, 일부 학생, 즉 항시 불참자(never-takers)는 받지 못합니다. 마찬가지로 임곗값 아래에 있으면 졸업장을 받지 못해야 하지만, 일부 학생, 즉 항시 참여자(always-takers)는 어떻게든 받아 냅니다.

잠재적 결과가 있었던 것처럼, 이 상황에는 잠재적 처치 상태가 있습니다. \(T_1\)은 모든 사람이 임곗값 위에 있었다면 받았을 처치이고, \(T_0\)은 모든 사람이 임곗값 아래에 있었다면 받았을 처치입니다. 눈치챘겠지만 임곗값을 도구변수(instrumental variable)로 생각할 수 있습니다. 도구변수에서와 마찬가지로, 처치효과를 순진하게 추정하면 0 쪽으로 편향됩니다.

임곗값 위에서도 처치 확률이 1보다 작기 때문에, 관측되는 결과는 실제 잠재적 결과 \(Y_1\)보다 작아집니다. 같은 이유로 임곗값 아래에서 관측되는 결과는 실제 잠재적 결과 \(Y_0\)보다 큽니다. 그래서 임곗값에서의 처치효과가 실제보다 작아 보이며, 이를 바로잡으려면 도구변수 기법을 써야 합니다.

잠재적 결과에 평활도를 가정했던 것처럼, 이제는 잠재적 처치에도 같은 가정을 합니다. 또한 도구변수에서처럼 단조성(monotonicity)도 가정해야 합니다. 기억나지 않는다면, 단조성은 \(T_{i1} \geq T_{i0} \ \forall i\)를 뜻합니다. 즉 임곗값을 왼쪽에서 오른쪽으로 넘으면 졸업장을 받을 가능성이 높아지기만 한다는 것입니다(반항자(defiers)가 없다고 해도 됩니다). 이 두 가정이 있으면 LATE에 대한 왈드 추정량(Wald estimator)을 얻습니다.

\[ \dfrac{\lim_{r \to c^+} E[Y_i|R_i=r] - \lim_{r \to c^-} E[Y_i|R_i=r]}{\lim_{r \to c^+} E[T_i|R_i=r] - \lim_{r \to c^-} E[T_i|R_i=r]} = E[Y_{1i} - Y_{0i} | T_{1i} > T_{0i}, R_i=c] \]

이 추정값이 두 가지 의미에서 국지적이라는 점에 주목하세요. 첫째, 임곗값 \(c\)에서의 처치효과만 알려 주므로 국지적입니다. 이것이 RD의 국지성입니다. 둘째, 순응자(compliers)의 처치효과만 추정하므로 국지적입니다. 이것이 도구변수의 국지성입니다.

이를 추정하기 위해 선형회귀 두 개를 사용합니다. 분자는 앞에서 했던 것과 똑같이 추정할 수 있습니다. 분모는 결과변수를 처치변수로 바꾸기만 하면 됩니다. 하지만 그 전에, RDD 추정값을 믿을 수 있는지 확인하려면 꼭 거쳐야 하는 타당성 점검부터 이야기해 보겠습니다.

McCrary 검정

RDD의 논리를 무너뜨릴 수 있는 것 하나는 사람들이 임곗값을 기준으로 자신의 위치를 조작할 수 있는 경우입니다. 양피지 예시라면 임곗값 바로 아래에 있는 학생들이 제도의 허점을 찾아 시험 점수를 아주 조금 올리는 경우가 그렇습니다. 또 다른 예로, 정부 지원을 받으려면 소득이 일정 수준 이하여야 하는 경우가 있습니다. 어떤 가정은 지원 자격을 간신히 얻으려고 일부러 소득을 낮출 수도 있습니다.

이런 상황에서는 배정변수의 밀도에서 뭉침(bunching)이라는 현상이 나타나곤 합니다. 임곗값 바로 위나 바로 아래에 대상이 몰린다는 뜻입니다. 이를 확인하려면 배정변수의 밀도 함수를 그려 임곗값 주변에 튀는 부분이 있는지 보면 됩니다. 이 예시에서는 데이터의 n 열이 밀도를 나타냅니다.

코드
plt.figure(figsize=(8,8))

ax = plt.subplot(2,1,1)
sheepskin.plot.bar(x="minscore", y="n", ax=ax)
plt.title("McCrary Test")
plt.ylabel("Smoothness at the Threshold")

ax = plt.subplot(2,1,2, sharex=ax)
sheepskin.replace({1877:1977, 1874:2277}).plot.bar(x="minscore", y="n", ax=ax)
plt.xlabel("Test Scores Relative to Cut off")
plt.ylabel("Spike at the Threshold");

첫 번째 그래프는 데이터의 밀도가 어떤 모양인지 보여 줍니다. 보다시피 임곗값 주변에 튀는 부분이 없으므로 뭉침도 없습니다. 학생들이 임곗값을 기준으로 자신의 위치를 조작하지 않는다는 뜻입니다. 두 번째 그래프는 설명을 위해, 학생들이 자기 위치를 조작할 수 있다면 뭉침이 어떻게 보일지 나타낸 것입니다. 시험을 간신히 통과한 학생이 많이 몰려 있을 테니 임곗값 바로 위 구간에서 밀도가 치솟는 모습이 보일 것입니다.

이 점검을 마쳤으니 다시 양피지 효과 추정으로 돌아가겠습니다. 앞서 말했듯이 왈드 추정량의 분자는 계단형 RD에서 했던 것과 똑같이 추정할 수 있습니다. 여기서는 대역폭이 15인 커널을 가중치로 쓰겠습니다. 구간 크기도 있으니, 커널에 표본 크기를 곱해 각 구간의 최종 가중치로 삼겠습니다.

코드
sheepsking_rdd = sheepskin.assign(threshold=(sheepskin["minscore"]>0).astype(int))
model = smf.wls("avgearnings~minscore*threshold",
                sheepsking_rdd,
                weights=kernel(sheepsking_rdd["minscore"], c=0, h=15)*sheepsking_rdd["n"]).fit()

model.summary().tables[1]
coef std err t P>|t| [0.025 0.975]
Intercept 1.399e+04 83.678 167.181 0.000 1.38e+04 1.42e+04
minscore 181.6636 16.389 11.084 0.000 148.588 214.739
threshold -97.7571 145.723 -0.671 0.506 -391.839 196.325
minscore:threshold 18.1955 30.311 0.600 0.552 -42.975 79.366

결과를 보면 졸업장의 효과는 -97.7571이지만, 통계적으로 유의하지 않습니다(p 값 0.5). 결과를 그래프로 그려 보면 임곗값에서 거의 끊김 없이 이어지는 선이 나타납니다. 교육을 많이 받은 사람이 돈을 더 많이 버는 것은 사실이지만, 12학년 졸업장을 받는 지점에서 소득이 뛰지는 않습니다. 이는 교육이 시장에 보내는 신호에 그치지 않고 사람을 더 생산적으로 만들어 소득을 높인다는 견해를 뒷받침합니다. 다시 말해 양피지 효과는 없습니다.

코드
ax = sheepskin.plot.scatter(x="minscore", y="avgearnings", color="C0")
sheepskin.assign(predictions=model.fittedvalues).plot(x="minscore", y="predictions", ax=ax, color="C1", figsize=(8,5))
plt.xlabel("Test Scores Relative to Cutoff")
plt.ylabel("Average Earnings")
plt.title("Last-chance Exams");

하지만 앞에서 본 불응 편향의 작동 방식대로라면, 이 결과는 0 쪽으로 편향되어 있습니다. 이를 바로잡으려면 1단계(first stage)로 나눠 크기를 조정해 왈드 추정량을 구해야 합니다. 아쉽게도 이를 제대로 구현한 파이썬 도구가 없어서, 직접 계산하고 부트스트랩으로 표준오차를 구해야 합니다.

아래 코드는 앞에서처럼 왈드 추정량의 분자를 구하고, 목표 변수를 처치변수 receivehsd로 바꿔 분모도 만듭니다. 마지막 단계에서는 분자를 분모로 나눕니다.

코드
def wald_rdd(data):
    weights=kernel(data["minscore"], c=0, h=15)*data["n"]
    denominator = smf.wls("receivehsd~minscore*threshold", data, weights=weights).fit()
    numerator = smf.wls("avgearnings~minscore*threshold", data, weights=weights).fit()
    return numerator.params["threshold"]/denominator.params["threshold"]
코드
from joblib import Parallel, delayed 

np.random.seed(45)
bootstrap_sample = 1000
ates = Parallel(n_jobs=4)(delayed(wald_rdd)(sheepsking_rdd.sample(frac=1, replace=True))
                          for _ in range(bootstrap_sample))
ates = np.array(ates)

부트스트랩 표본으로 평균 처치효과(ATE)의 분포를 그리고, 95% 신뢰구간이 어디에 있는지 확인해 보겠습니다.

코드
sns.distplot(ates, kde=False)
plt.vlines(np.percentile(ates, 2.5), 0, 100, linestyles="dotted")
plt.vlines(np.percentile(ates, 97.5), 0, 100, linestyles="dotted", label="95% CI")
plt.title("ATE Bootstrap Distribution")
plt.xlim([-10000, 10000])
plt.legend();

보다시피 효과를 1단계로 나눠 조정해도 여전히 0과 통계적으로 다르지 않습니다. 즉 교육은 단순한 양피지 효과가 아니라 생산성을 높이는 방식으로 소득을 늘린다는 뜻입니다.

핵심 요약

인위적인 불연속을 이용해 인과효과를 추정하는 방법을 배웠습니다. 핵심은 처치 확률을 뛰게 만드는 인위적인 임곗값이 있다는 것입니다. 예시에서는 나이 때문에 21세에서 음주 확률이 뛰는 모습을 보았고, 이를 이용해 음주가 사망률에 미치는 영향을 추정할 수 있었습니다. 임곗값에 아주 가까운 곳에서는 무작위 실험과 비슷한 상황이 된다는 사실을 활용한 것입니다. 임곗값에 아주 가까운 대상은 어느 쪽으로든 갈 수 있었고, 실제로 어느 쪽에 놓였는지는 사실상 무작위로 정해집니다. 덕분에 임곗값 바로 위와 바로 아래를 비교해 처치효과를 얻을 수 있습니다. 커널을 사용한 가중 선형회귀로 이를 추정하는 방법도 보았고, 덤으로 ATE의 표준오차까지 얻을 수 있다는 것도 확인했습니다.

그다음에는 불응이 있는 경사형 RD 설계에서 어떤 일이 일어나는지 살펴보았습니다. 이 상황에는 도구변수에서 했던 것과 거의 같은 방식으로 접근할 수 있었습니다.

참고 자료

저는 이 책 전체를 Joshua Angrist, Alberto Abadie, Christopher Walters의 훌륭한 계량경제학 강의에 바치는 헌사라고 생각합니다. 이 책에 담긴 아이디어 대부분은 이들이 미국경제학회(American Economic Association)에서 한 강의에서 가져왔습니다. 힘든 2020년을 버틸 수 있는 것도 이 강의들을 보는 덕분입니다. * Cross-Section Econometrics * Mastering Mostly Harmless Econometrics

Angrist의 멋진 책들도 참고 자료로 소개하고 싶습니다. 이 책들 덕분에 계량경제학, 이들 표현으로는 ’Metrics가 아주 유용할 뿐 아니라 무척 재미있다는 것을 알게 되었습니다.

또 하나 중요한 참고 자료는 Miguel Hernan과 Jamie Robins의 책입니다. 까다로운 인과적 질문에 답해야 할 때마다 믿음직한 동반자가 되어 주었습니다.

기여하기

Causal Inference for the Brave and True는 과학의 통계학이라 할 수 있는 인과추론을 다루는 오픈소스 자료입니다. 파이썬 기반의 무료 소프트웨어만 사용하며, 돈이 없어도, 배경지식이 많지 않아도 누구나 볼 수 있는 자료를 목표로 합니다. 이 책이 도움이 되었고 후원하고 싶다면 Patreon을 방문해 주세요. 금전적으로 기여하기 어렵다면 오타를 고치거나, 수정할 부분을 제안하거나, 이해하기 어려웠던 부분에 의견을 주는 것으로도 도울 수 있습니다. 책의 저장소에서 이슈를 열어 주세요. 마지막으로 이 내용이 마음에 들었다면 도움이 될 만한 사람들과 공유하고 GitHub에서 스타를 눌러 주세요.

힌트옮긴이

한국어판의 오역이나 오탈자는 한국어판 이슈 페이지에 알려 주세요. 한국어판이 도움이 되었다면 한국어판 저장소에도 스타를 부탁드립니다.

의견 나누기

번역이 어색한 곳, 더 쉬운 설명, 궁금한 점을 남겨 주세요. GitHub 계정으로 로그인하면 댓글을 달 수 있고, 남긴 의견은 GitHub Discussions에 장별로 모입니다.