Claude 스킬 자동 피드백 루프

아이디어

수정 요청 → 원인 파악 → 스킬 파일에 규칙 추가. 반복 교정이 누적되면 스킬이 점점 정교해진다.

자동화의 문제점

Hook 타이밍 불일치

• user-prompt-submit hook은 응답 전에 실행 → 이전 응답 맥락 없음
• stop hook (응답 완료 후) 이 수정 패턴 감지에 더 적합

원인 귀속 오류 — 수정 요청의 원인은 셋 중 하나:

1. 스킬 규칙 부족
2. 모델 추론 실수
3. 사용자 기대치 변화

셋을 구분 못하면 잘못된 규칙이 누적된다.

오탐 — “이걸 바꿔줘”는 수정 요청인지 새 작업인지 경계가 모호. 오탐 한 번이 스킬에 엉뚱한 규칙을 심는다.

안전한 구조

자동 적용 대신 자동 감지 + 사람 확인:

1. stop hook에서 수정 패턴 감지
2. “이 내용을 스킬에 추가할까요?” 확인 요청
3. 승인 → 스킬 파일 수정 + git commit

또는: 세션 중 수정 내용을 메모리에 쌓고, 세션 종료 시 일괄 검토.

규칙

• 스킬은 항상 git으로 추적 → 롤백 가능
• 스킬 규칙은 적을수록 좋다 — 비대해지면 일관성이 떨어짐

관련

• 블로그: ai-skill-feedback-loop 원문 글