교란 실험실 · 2분
알림을 켜면 사용자가 더 남을까?
가상 사용자 800명의 데이터입니다. 충성도가 높은 사용자는 알림을 더 잘 켜고, 원래 더 오래 남습니다. 슬라이더를 움직여 ‘알림 켠 사람과 끈 사람의 단순 비교’가 진짜 효과에서 얼마나 멀어지는지 보세요.
도전
교란 강도를 5 이상으로 둔 채, 단순 비교와 진짜 효과의 차이를 1 이하로 줄여 보세요.
실험 조건
진짜 효과+3.0
단순 비교+0.0
충성도로 보정+0.0
보정 값도 표본에 따라 ±0.5쯤 흔들립니다. ‘새 사용자 800명 뽑기’로 확인해 보세요.
사용자 800명
가로는 충성도, 세로는 30일 잔존 점수. 점선은 두 집단의 평균(간격이 단순 비교), 실선은 충성도가 같을 때의 두 집단(간격이 보정 값)입니다.
- 알림 켬
- 알림 끔
- 집단 평균
- 같은 충성도
여기서 본 것
도전을 풀면 열립니다 · 먼저 읽어도 됩니다
- 교란이 단순 비교를 부풀립니다. 충성도가 알림과 잔존을 함께 움직이면, 알림 효과가 0이어도 단순 비교는 양수로 나옵니다. 4장 그래프 인과 모델
- 무작위로 켜면 편향이 사라집니다. 충성도와 알림이 따로 움직이니 두 집단이 평균적으로 같아집니다. 2장 무작위 실험
- 교란 요인을 안다면 보정할 수 있습니다. 여기서는 충성도를 알기에 회귀로 보정한 값이 정답에 가깝습니다. 현실에서는 충성도처럼 다 재기 어려운 요인이 남는다는 것이 문제입니다. 5장 선형회귀