docs: 감사 툴링 재시작 검증 + 핸드오버 감사 첫 실동(수렴 실패), 인용 3건 정정

전 세션이 "재시작해야만 확인 가능"으로 남긴 3건을 전부 닫음:
- @import 3개(conventions/project-context/todos) 실제 로드 확인
- quad-doc-auditor 레지스트리 등록 확인(전 세션 전멸은 .claude/agents/가
세션 도중 생긴 디렉토리였던 탓)
- frontmatter model: sonnet 반영 확인(트랜스크립트에 claude-sonnet-5 기록,
워크플로에 opts.model 명시 불필요)

정의 파일은 세션 시작 시점 스냅샷으로 고정된다는 것을 1차 증거로 확정 —
quad-handover-audit이 실제 실행한 스크립트가 세션 시작 시점 상태와 바이트
단위로 동일했고 같은 세션의 편집은 반영 0. 에이전트 정의도 동일.
정의를 고쳤으면 재시작 뒤에 감사를 돌릴 것(안 그러면 거짓 초록불).
전 세션 감사가 남긴 긴 가설 배너(80줄)를 검증된 것만 남겨 압축.

quad-handover-audit 첫 실동: 에이전트 67개/6라운드, 수렴 실패
(새 발견 28→15→16→7→11→6, 라운드5에서 되레 증가). MAX_ROUNDS와
"연속 dry 2회" 조건 재검토 필요 — 결과 자체는 위 스냅샷 문제로 옛
스크립트가 돈 것이라 재시작 후 재실동 대상.

감사가 잡은 것 반영: slot-plan.md 정정 배너가 그 뒤 재역전(retract=언마운트)을
놓치고 있던 것, "spikes 44개"(실제 48개) 류 하드코딩 개수의 단일 소스화,
doc-check.py docstring이 검사 심각도를 실제 코드와 다르게 서술하던 것 등.

인용 출처 3건 재분류 — 2건은 인용 대상만 틀린 것이라 실제 소스로 재조준
(v1-compat-plan.md→component-composition-plan.md+store-plan.md,
pre-implementation-audit.md→ROADMAP.md). 진짜 출처가 없는 1건
(modifier-plan.md:536)만 question.md 3번으로 올려 사용자 판단 대기.

워크플로 개선: 반환값에 findings 추가(커밋 전 diff 리뷰 근거),
totalFindingsFixed→findingsSentToFix 개명(과대계상), 반영 에이전트 sonnet 명시.

.claude/agent-memory/는 의도적으로 커밋 제외(추적 여부는 사용자 판단).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

2026-08-16 03:02:33 +09:00

7 KiB

Raw Blame History

2026-08-16 두 번째 세션 — 감사 툴링 재시작 검증 + 핸드오버 감사 첫 실동

전 세션(2026-08-16-01-subagent-audit-and-claudemd-split.md)이 남긴 "재시작해야만 확인 가능한 것 3개"를 닫고, quad-handover-audit 워크플로를 처음으로 실제로 감사가 도는 상태에서 돌린 세션.

1. 재시작 검증 3건 — 전부 확인

항목	결과	근거
`@import` 3개 로드	✅	`conventions.md`/`project-context.md`/`todos.md` 내용이 실제 컨텍스트에 들어옴
`quad-doc-auditor` 등록	✅	에이전트 목록에 잡힘. 전 세션 전멸(`agentType not found`)은 `.claude/agents/`가 세션 도중 생긴 디렉토리였던 탓
frontmatter `model: sonnet` 반영	✅	서브에이전트 트랜스크립트에 `"model":"claude-sonnet-5"` 기록. 워크플로에 `opts.model` 명시 불필요

모델 확인은 처음에 "네 모델과 도구를 보고해라"는 프로브 에이전트로 시도했다가 에이전트가 프롬프트 인젝션으로 판단해 거부했다(원래 과업인 감사를 버리고 시스템 프롬프트를 덤프하라는 지시였으니 정당한 거부). 자기 보고 대신 트랜스크립트 파일을 직접 grep하는 쪽이 1차 증거라 더 낫다.

2. ⭐ 정의 파일은 세션 시작 시점 스냅샷으로 고정된다 (에이전트·워크플로 공통)

전 세션 감사 라운드들이 "캐시냐 frontmatter 무시냐"로 길게 갈라놨던 것을 결정적으로 닫는 증거가 이 세션에서 나왔다.

이 세션에서 .claude/workflows/quad-handover-audit.js를 편집한 뒤 Workflow({name: 'quad-handover-audit'})를 돌렸는데, 런타임이 실제로 실행한 스크립트 파일이 세션 시작 시점 상태(= 당시 HEAD, 작업트리가 깨끗했음)와 바이트 단위로 동일했다. 내 편집은 하나도 안 실렸다.
같은 현상이 에이전트 정의에서도 관측됐다(감사 에이전트들이 받은 지시문에 그 세션에 추가된 배너가 없었음).

실무 규칙: 정의 파일(.claude/agents/*.md, .claude/workflows/*.js)을 고쳤으면 세션을 재시작한 뒤에 감사를 돌릴 것. 안 그러면 옛 정의로 돌면서 새 정의로 돈 것처럼 보인다 — 감사 도구에선 이게 조용한 거짓 초록불이다.

미해소로 남은 건 읽기 전용인데 Write/Edit이 주어지는 원인 하나. memory: project를 뺐지만 그 뒤 재시작 없이 관찰한 것뿐이라 진단 미확정.

전 세션 감사가 남긴 "Grep/Glob이 안 주어졌다"는 서술은 두 소스가 어긋나는 미해결 불일치다 — 호출 세션이 보는 에이전트 등록 목록엔 Grep/Glob이 포함돼 있는데, 실행된 에이전트는 자기 도구를 Read/Bash/Write/Edit으로 보고했다. (처음엔 "자기 보고라 근거가 약하다"고 깎으려 했으나, 에이전트는 자기 함수 목록을 직접 볼 수 있으므로 그건 과한 판단이었다.) 어느 쪽도 확정하지 말고 Write/Edit 원인과 함께 재시작 직후 실행에서 볼 것.

3. "존재하지 않는 원칙 인용" 3건 — 재분류 결과 2건은 인용 오류였음

전 세션은 셋 다 같은 성격(가짜 원칙)으로 넘겼는데, 코퍼스 grep + git log -S로 다시 보니 갈렸다.

research/v1-compat-plan.md:50 — 원칙 자체는 실재. 실제 소스는 base/component-composition-plan.md §1(자동 store 생성/자동 흡수 매직 폐기, 사용자 확정)과 base/store-plan.md "Store 값 설정 문법" 절 (__newindex 자동 위임 폐기). → 재조준.
research/pre-implementation-audit.md:434 — 역시 실재. 실제 소스는 루트 ROADMAP.md의 quad-debug 백로그 항목 + question.md. 다만 research/debug-tooling-plan.md 쪽은 더 약한 표현("존재 가능성만 인지")이라 그 온도차도 같이 적었다. → 재조준.
base/modifier-plan.md:536 — 이것만 진짜로 출처가 없다. 코퍼스 전체에도, git log -S로 본 CLAUDE.md 전 히스토리에도 그런 서술이 존재한 적 없다. 임의로 정하지 않고 날짜 붙인 대기 배너 + question.md 3번 항목(선택지 (a) conventions.md에 명문화 / (b) 지역 논거로만 유지)로 올려 사용자 판단 대기.

4. `quad-handover-audit` 첫 실동 — 6라운드, 수렴 실패

에이전트 67개 / 라운드별 새 발견 28 → 15 → 16 → 7 → 11 → 6. 최대 라운드(6)를 소진할 때까지 새 발견이 마르지 않아 converged:false로 끝났다. 과거 수동 감사가 4~6라운드에 수렴했던 것과 다른 양상.

라운드 5에서 발견이 7→11로 다시 늘었다 — 감사가 코퍼스를 훑는 순서/ 관점이 라운드마다 달라서 생기는 것으로 보이고, 단조 감소를 전제한 MAX_ROUNDS=6이 이 코퍼스엔 부족하다는 신호.
이번 실행은 위 2번 때문에 옛 스크립트로 돌았다 — 즉 이 결과 자체가 "정의를 고치고 재시작 없이 돌린" 사례다. 다음 실동은 재시작 뒤에.

수정 품질 자체는 높았다. 실제로 잡힌 것 중 값진 것:

base/slot-plan.md:218의 정정 배너가 "폐기로 정정됨"에서 멈춰 있었는데, 그 "폐기"가 2026-08-13에 다시 뒤집혀 지금 정본은 retract=언마운트다. 배너만 보고 지나가면 구현자가 옛 결론을 믿을 자리였다.
spikes 44개류 하드코딩 개수가 여러 문서에 흩어져 있었는데 실제로는 48개(00~~43 + 21b~~21e)였다. 전부 "폴더가 소스"로 바꿈 — conventions.md의 "개수·목록·상태는 소스를 하나만" 규칙 적용.
tools/doc-check.py docstring이 1·2번 검사 심각도를 실제 코드와 다르게 적어놨던 것(둘 다 ERROR라 했지만 코드는 그렇게 동작한 적 없음). 검사 로직은 안 건드리고 서술만 정정.

5. 워크플로 스크립트 개선(다음 실행부터 적용됨)

반환값에 findings 배열 추가. 기존엔 roundLog에 파일명·개수만 있어 커밋 전 diff 리뷰 때 "이 수정이 왜 들어갔는지"를 알 방법이 journal.jsonl 고고학뿐이었다.
totalFindingsFixed → findingsSentToFix로 개명. "의심"으로 표시돼 반영 에이전트가 확인 후 건드리지 않은 것도 "고쳐짐"으로 세던 과대계상.
반영 에이전트에 model: 'sonnet' 명시(감사 패스는 frontmatter로 이미 sonnet, 반영 쪽만 메인 모델을 상속하고 있었음).

남은 것

MAX_ROUNDS 재검토 — 수렴 실패가 재현되는지 재시작 후 실동으로 확인. 단조 감소 전제가 안 맞으니 "연속 dry 2회" 조건 자체도 같이 볼 것.
(d) Write/Edit 원인 — 다음 세션 시작 직후 확인.
.claude/agent-memory/ — 감사 에이전트가 스스로 쓰는 영속 메모리가 생겼고 지금 untracked. 커밋할지 .gitignore로 뺄지는 사용자 판단.
modifier-plan.md:536 원칙 — question.md 3번, 사용자 판단 대기.

7 KiB Raw Blame History