배경 경보의 품질을 주가 반응(ADR-017)으로만 봤다. 그러나 이 서비스가 답하려는 질문은 “부실을 미리 알려 주는가”이고, 상용 조기경보 서비스도 “부도 몇 개월 전 감지” 같은 사례를 내세운다. 사례가 아니라 규칙별 통계로, 표본과 한계까지 공개하는 것을 차별점으로 삼는다.
공시 제목을 R-C04 경보 분류보다 엄격하게 다시 판정해 기업별 첫 사건만 쓴다 (seed/event_keywords.yml 의 credit_events).
[기재정정](원 공시보다 늦음)공시는 재무제표와 같은 기간(2021년~)부터 있어야 한다. 처음에는 공시를 최근 1년만 받아 2023~2024년 사건이 빠졌으므로,
처음 수집하는 기업은 FS_FROM_YEAR 부터 받고 disclosureSyncJob 에 from 백필 파라미터를 두었다(OpenDART 공시검색은 corp_code 를 주면 3개월 제한이 없음).
운영 경보(risk.alert)는 최근 8분기만 평가하므로 옛 사건 앞의 판정이 없다. 창을 넓히면 운영 경보 목록에 옛 판정이 섞인다.
그래서 성적표는 평가 창만 넓힌 FullHistoryRuleData 로 같은 규칙 코드를 다시 실행하고, 판정 날짜는 근거 공시 접수일(PointInTime, 백테스트와 같은 정의)로 둔다.
| 지표 | 정의 |
|---|---|
| 에피소드 | 같은 기업 · 규칙의 신호가 200일 안에 이어지면 하나 (분기마다 반복되는 같은 경보를 여러 번 세지 않음) |
| 적중 / 빗나감 / 보류 | 에피소드의 마지막 신호 뒤 H개월 안에 사건 / H개월이 지났는데 없음 / 아직 H개월이 안 지남. 이미 사건 뒤의 경보는 ‘사건 뒤’로 빼고 정밀도에 넣지 않음 |
| 재현율 | 사건 전 H개월 안에 신호가 있었던 사건 / 사건 전 관측 기간이 90일 이상인 사건 |
| 선행 기간 | 사건일 − 그 사건을 잡은 에피소드의 시작일 |
| 기준선 · lift | 아무 기업이나 아무 분기 말에 골랐을 때 H개월 안에 사건이 날 비율, 정밀도 ÷ 기준선 |
| 구간 | Wilson 95% (표본이 작을 때 정규근사보다 덜 틀림) |
처음에는 적중을 에피소드 시작 뒤 H개월로 판정했다. 그러면 2년 동안 켜져 있다가 부실로 이어진 경보가 ‘빗나감’이 되고, “하나라도”의 적중(3)이 개별 규칙(4)보다 적은 모순이 실데이터에서 보였다. 마지막 신호 기준으로 바꾸고, 선행 기간만 시작일부터 잰다.
관측 2021-05-13 ~ 2026-10-08, 유니버스 43개사, 부실 사건 5건(태영건설 워크아웃 2023-12 · 삼부토건 감사의견 2024-08 · 이화공영 회생 2025-04 · 범양건영 감사의견 2025-08 · KD 회생 2026-03), 기준선 2.4%.
| 규칙 | 정밀도 (95% 구간) | 기준선 대비 | 재현율 | 선행 중앙값 |
|---|---|---|---|---|
| R-C01 부채비율 급등 | 36% (4/11, 15~65%) | 15.4배 | 4/5 | 8.0개월 |
| R-C02 이자보상배율 1 미만 연속 | 7% (4/59, 3~16%) | 2.9배 | 3/5 | 7.6개월 |
| R-C03 영업현금흐름 적자 연속 | 9% (3/32, 3~24%) | 4.0배 | 3/5 | 9.0개월 |
| 재무 규칙 중 하나라도 | 7% (5/67, 3~16%) | 3.2배 | 5/5 | 12.0개월 |
읽는 법: 재무 규칙을 모두 켜면 5건을 모두 사건 전에(중앙값 12개월 전) 잡았지만 경보 대부분은 부실로 이어지지 않았다(정밀도 7%). R-C01 은 경보가 울린 기업 11곳 중 4곳이 1년 안에 부실 — 표본이 작아 구간이 15~65% 로 넓다.
한계 사건 5건 · 생존 편향(현재 상장 기업만) · 임계값 사후 선택 · 정정 반영 데이터 · 제목 키워드 판정. 화면과 API 응답에 함께 싣는다.
대안 기업 × 분기 격자로 매 시점 판정(신호가 켜진 분기마다 표본) — 같은 경보를 여러 번 세어 표본이 부풀고 서로 독립이 아니다. 로지스틱 회귀 등 모형 — 사건 5건으로는 과적합. 규칙이 설명 가능하다는 장점을 지키고, 사건이 쌓이면 다시 검토한다.
PF 우발채무 규칙 R-C06(ADR-024)을 성적표에 넣었다. PF 종합요약표는 2023년도 재무제표부터라, 모든 규칙에 같은 관측 시작(가장 이른 재무 공시)을 쓰면 R-C06 이 볼 수 없던 사건(태영건설 2023-12)이 ‘놓침’으로 셈된다. 그래서 규칙마다 주 지표의 가장 이른 근거 공시일을 관측 시작으로 두고 (R-C01 부채비율 · R-C02 이자보상배율 · R-C03 분기 영업현금흐름 · R-C06 PF 보증/자기자본) 그보다 이른 사건은 그 규칙으로 ‘평가 불가’. 기준선 · ‘하나라도’는 가장 이른 관측 시작을 쓴다. 12개월 결과: R-C06 관측 시작 2024-03-14, 평가 가능 사건 4건 중 1건, 에피소드 15개 중 11개 판정 보류. R-C06 을 넣은 뒤 ‘하나라도’는 8% (5/64, 3~17%) · 3.3배 · 5/5 · 12.0개월(위 표는 R-C06 전의 측정값).