행정안전부 'AI 친화적 보고서' 도입(2026.3 시범)이 보도자료 형식과 기계 판독에 미친 효과
행정안전부가 2026년 3월 'AI 친화적 보고서' 작성 방식(서술형 작성, 복잡한 표 지양, 마크다운 병행 제공)을 시범 도입한 뒤, 같은 방식을 도입하지 않은 다른 중앙행정기관과 비교해 행안부 보도자료의 서술형 문장 비율이 높아지고 표 사용이 줄었는가? 그리고 그 결과 공개 파서로 텍스트화할 때의 표 손상이 줄었는가?
이 비교로는 판정할 수 없어요. 정책 전부터 다르게 움직였거나 비교할 곳이 너무 적어서, 숫자를 효과로 읽으면 안 돼요.
처치 단위 수 부족(무작위화 추론 사용), 사전추세 차이(평행추세 가정 기각), 신뢰구간이 0을 포함, 가짜 도입시점 검정 유의
작성자 해석 조건부, 사실상 효과 근거 없음. 시범 도입 뒤 6개월(2026-04~09) 동안 행정안전부 보도자료의 서술형 문장 비율, 표 수, 중첩 표 비율, PDF 표 손상률은 대조 기관보다 뚜렷하게 바뀌지 않았습니다. 네 지표 모두 95% 신뢰구간이 0을 크게 포함합니다. 처치 기관이 한 곳뿐이라 판정은 '조건부'보다 높아질 수 없습니다.
파이프라인 자동 요약 보기
요약(판단 불가): 다음 사유로 이 설계에서는 정책 효과를 추정치로 보고하지 않습니다: 처치 단위 수 부족(무작위화 추론 사용), 사전추세 차이(평행추세 가정 기각), 신뢰구간이 0을 포함, 가짜 도입시점 검정 유의. 표의 수치(+0.02 비율(0~1))는 진단용이며 정책 효과로 해석하면 안 됩니다.
이 결과를 쓰려면
이렇게 쓰세요
- "이 설계로는 효과를 판단할 수 없다. 이유: 처치 단위 수 부족(무작위화 추론 사용), 사전추세 차이(평행추세 가정 기각), 신뢰구간이 0을 포함, 가짜 도입시점 검정 유의."
이렇게 쓰면 안 됩니다
- 표의 숫자·p값 인용 — 진단용입니다
- '효과가 있다' 또는 '없다'
행정안전부 'AI 친화적 보고서' 도입(2026.3 시범)이 보도자료 형식과 기계 판독에 미친 효과 — 판정: 판단 불가. 출처: 정책 효과 분석 플랫폼(가짜연구소 인과추론팀 오픈소스), 2026-11-02 실행, https://causalinferencelab.github.io/policy-effect-analytics-agent/answers/gyeom-yee-public-markdown.html · 공식 평가 아님
근거
| 결과 지표 | 추정 효과 | 95% 범위 | 판정 | 주의 |
|---|---|---|---|---|
| 서술형 문장 비율 주 지표 | +0.0188 비율(0~1) | 범위를 정할 수 없음(비교 단위가 너무 적음) | 판단 불가 | 처치 단위 수 부족(무작위화 추론 사용), 사전추세 차이(평행추세 가정 기각), 신뢰구간이 0을 포함, 가짜 도입시점 검정 유의 |
| 보도자료 1건당 표 수 | -0.144 개/건 | 범위를 정할 수 없음(비교 단위가 너무 적음) | 판단 불가 | 처치 단위 수 부족(무작위화 추론 사용), 사전추세 차이(평행추세 가정 기각), 신뢰구간이 0을 포함, 가짜 도입시점 검정 유의 |
| 중첩 표 포함 보도자료 비율 | +0.0161 비율(0~1) | 범위를 정할 수 없음(비교 단위가 너무 적음) | 판단 불가 | 처치 단위 수 부족(무작위화 추론 사용), 사전추세 차이(평행추세 가정 기각), 신뢰구간이 0을 포함, 가짜 도입시점 검정 유의 |
| 기계 판독 표 손상률 | -0.134 비율(0~1) | 범위를 정할 수 없음(비교 단위가 너무 적음) | 판단 불가 | 처치 단위 수 부족(무작위화 추론 사용), 사전추세 차이(평행추세 가정 기각), 신뢰구간이 0을 포함, 가짜 도입시점 검정 유의 |
판단 불가 결과의 숫자는 진단용입니다. 인용하지 마세요.
숫자 내려받기 (CSV) · 전체 결과 API (JSON) · 전체 결과 CSV
작성자가 적은 한계
- 처치 단위 1개. 신뢰구간은 '행안부 자리에 다른 기관 하나를 넣었을 때 나오는 효과의 분포'에서 나옵니다. 가능한 배정이 26가지(손상률은 21가지)뿐이라 가장 작은 p가 0.037(0.045)입니다. 웬만큼 큰 효과가 아니면 유의하게 나올 수 없습니다.
- 표본 추출. 형식 지표는 기관·월마다 고정 시드로 5건을 뽑아 계산했습니다(월별 건수만 전수). 월 단위 지표의 잡음이 커서 신뢰구간이 넓어진 이유 중 하나입니다. 행안부만 전수로 받거나 기관당 표본을 늘리면 검정력이 오릅니다.
- 측정의 한계.
- '서술형'은 '~다.'로 끝나는 문장·항목의 비율로 근사했습니다. '~함', '~임' 같은 개조식 어미를 서술문으로 바꾸는 변화는 잡지만, 문단 구성이나 글의 길이는 보지 않습니다.
이 결과를 얼마나 믿을 수 있나
판정과 별개로, 기록으로 확인되는 것만 적었습니다. 노란 항목은 결과가 틀렸다는 뜻이 아니라 아직 확인되지 않았다는 뜻입니다.
- 사전 등록 · 계획 먼저 커밋 plan.yaml 이 첫 결과보다 2일 먼저 커밋됐고, 그 뒤 바뀌지 않았습니다.
- 검토 · 아직 없음 작성자 외의 사람이 검토 체크리스트로 확인하지 않았습니다.
- 교차 재현 · 아직 없음 작성자 외에 다시 돌려 본 사람이 아직 없습니다.
- 작성자 해석 · 있음 discussion.md 에 '결과를 한 문장으로'가 있습니다.
- 실행 상태 · 커밋 안 된 변경 실행 당시 작업 폴더에 커밋 안 된 변경이 있었습니다.
교차 재현을 하셨나요? 재현 기록 남기기
두 번째 의견 · PyWhy · CausalML
아직 돌리지 않았어요. 분석용 표가 있으면 pip install -e ".[causal]" 뒤 python -m core.causal cases/gyeom-yee-public-markdown 로 만들 수 있어요.
쓴 공공데이터
| 데이터 | 이용 조건 |
|---|---|
| 대한민국 정책브리핑 보도자료 (목록·본문·첨부 HWPX·PDF) 데이터 지도 문화체육관광부 국정홍보 (korea.kr) | 공공누리 1유형(출처표시) |
| 행정안전부 보도자료 게시판 (첨부파일 형식 확인용) 행정안전부 | 공공누리 1유형(출처표시) |
원자료는 레포에 올리지 않습니다. 아래 명령이 공개 창구에서 직접 받아 같은 결과를 만듭니다. 각 데이터의 단위·받는 법·키 필요 여부는 데이터 지도에 있습니다.
직접 돌려 보기
git clone https://github.com/CausalInferenceLab/policy-effect-analytics-agent.git
cd policy-effect-analytics-agent
pip install -e ".[dev,analysis]"
make flow CASE=cases/gyeom-yee-public-markdown실행 2026-11-02 · 코드 7720106 · 데이터 해시 5a1b68dbbe3b · 실행 당시 작업 폴더에 커밋 안 된 변경 있음
내 지역·정책에 적용하기
- 이 폴더를 복사합니다:
cp -r cases/gyeom-yee-public-markdown cases/<내ID>-<주제> plan.yaml의 처치(정책·시작일·대상)와 대조를 바꾸고, 데이터를 보기 전에 커밋합니다.- 작업 제안으로 올리면 리뷰 후 이 화면에 같은 형식으로 나옵니다.
이 숫자는 어디서 왔나 · 데이터 계보
정책 → 원천 공공데이터 → 가공 → 지표 → 이 분석. 상자를 누르면 그 데이터·정책으로 갑니다.