Ocul-PM · 판독 결과 · 2026년 10월 4일
에이전트 성적표
이 앱은 거의 전부를 AI 에이전트(주로 Claude Code)에게 맡겨 만들었습니다. 그 에이전트들이 남긴 작업 일지 791건을 실제 diff와 커밋, Claude Code 대화 기록에 대조했습니다. 에이전트가 말한 것과 실제로 한 것 사이에 무엇이 남는지 보려고요.
저장소 bunhine0452/Ocul-PM
일지 기간 2026-05-31 → 10-04 (127일 중 64일 작업)
대화 대조 09-04 → 10-04
84%
검증 근거를 남긴 완료 일지
"완료" 일지 789건 중 664건이 검증 칸에 실행한 명령과 결과를 적었습니다.
25%
고쳤지만 일지에 없는 파일
에이전트가 대화에서 고친 파일 718개 중 180개가 그 대화의 일지 어디에도 없습니다.
54%
일주일 안에 다시 고친 버그
버그 일지 189건 중 103건이 7일 안에 기능 작업이 바꾼 파일을 다시 고쳤습니다.
28/28
일지를 남긴 작업 대화
파일을 고친 Claude Code 대화 28개가 모두 일지를 하나 이상 남겼습니다.
기록은 빠짐없이 남았고, 내용은 덜 적혔습니다
대화 단위로 보면 기록률은 100%입니다. 그런데 한 대화가 고친 파일을 그 대화의 일지와 맞춰 보면 넷 중 하나가 빠져 있습니다. 가장 잘 빠지는 건 테스트입니다(119개 중 52개, 44%). 소스 코드도 다섯 개 중 하나가 빠졌습니다(493개 중 98개).
완료 일지 789건의 검증 칸
- 검증 칸이 있음786
- 실행한 명령·결과를 적음664
- 스스로 "미확인"이라고 적음48
- 사람이 확인 버튼을 누름8
작업 대화 28개가 고친 파일 718개
- 그 대화의 일지에 적힘538
- 에이전트가 적지 않음172
- 적었는데 기록 도구가 버림8
- Bash로 고친 파일못 셈
"미확인" 48건은 거의 모두 화면 확인입니다. 테스트는 통과했지만 실제 앱에서 한글 입력이나 탭 잘림을 눈으로 보지 못했다고 일지에 직접 적어 둔 경우입니다.
가장 많이 다시 고친 곳
버그 일지가 몰린 파일입니다. 1위는 터미널의 한글 입력(IME) 처리입니다. 그다음은 백그라운드 터미널 호스트(PTY)와 사용량 표시입니다.
버그 일지 수 · 파일별 (테스트·공용 파일 제외)
월별 일지 중 버그 비중
14%
20%
27%
24%
6월7월8월9월
작업량이 늘면서 버그 비중도 같이 올랐습니다. 5월(4건)과 10월(7건)은 표본이 작아 뺐습니다.
언제, 얼마나
월별 일지 수
43
122
282
332
6월7월8월9월
- 파일 변경 (일지 기준)6,396
- 커밋 중 Claude 공동 작성1,115 / 1,185
- 최장 연속 작업19일
- 하루 최다 (07-31)46건
시간대별 일지 수 (한국 시간)
65
036912151821
0~5시: 전체의 19%나머지 시간
일지를 쓴 모델
어떻게 셌나
- 일지
- .oculpm/journal/**/*.md의 frontmatter와 본문 791건, 전 기간입니다.
- 검증 근거
- 본문의 "검증" 칸 안에서만 셉니다. 실행한 명령(cargo test, pnpm test, tsc 등)이나 통과·exit 0 같은 결과가 있으면 근거로 봅니다. "미확인", "육안 대기", "확인 못" 같은 표현이 있으면 스스로 미확인이라고 적은 것으로 봅니다.
- 대화 대조
- Claude Code가 남긴 대화 기록(보존 30일, 대화 77개, 서브에이전트 포함)에서 성공한 Edit·Write·MultiEdit 호출만 셉니다. 일지는 일지의 대화 id와, 일지 도구가 돌려준 저장 경로 둘 다로 대화에 연결합니다. .oculpm/ 아래 파일은 기록 자체라서 뺐습니다.
- 다시 고친 버그
- 버그 일지가 고친 파일 중 하나를, 7일(또는 14일) 안의 기능·리팩토링 일지도 바꿨으면 셉니다. 일지 23건 이상에 등장하는 공용 파일 45개(i18n 문자열, lib.rs, 생성된 바인딩, 화면 셸처럼 거의 모든 작업이 건드리는 파일)는 겹침에서 뺐기 때문에 낮게 잡힌 숫자입니다. 14일 기준으로는 137건(72%)입니다. 같은 파일을 다시 고쳤다는 뜻이고, 그 기능 작업이 버그의 원인이라는 증명은 아닙니다.
- 세지 못한 것
- Bash(sed, 스크립트)로 고친 파일, 30일보다 오래된 대화, Codex 대화. 사람이 직접 고친 파일과 에이전트가 고친 파일도 구분하지 않았습니다. 이 성적표는 한 사람의 한 저장소 기록이고, 모든 에이전트에 대한 일반론이 아닙니다.