Harness² 하네스 자동 개선 프레임워크 - Google Research
모델 가중치는 고정하고, 모델을 둘러싼 하네스를 자동으로 고치는 연구 저장소다. 원문. 라이선스는 Apache 2.0이다. README는 Google이 공식 지원하는 제품이 아니라고 밝힌다. 게시일은 첫 공개 커밋 날짜다. 이후 10월 9일과 10월 14일에도 커밋이 있다.
개선 대상인 여덟 가지 구성 요소
README의 “Harness components”는 다음 여덟 가지를 개선 대상으로 든다.
- 시스템 프롬프트
- 가드레일
- 메모리
- 도구 사용 안내
- 서브에이전트
- 스킬
- 스크립트
- 플러그인
개선 루프와 채택 기준
README “Experiments”와 recursion.py(_run_stage, _accept_tree, run_parallel, run_sequential), selection.py(run_selection, reflect_adoption)에 따르면 루프는 다음 순서로 돈다.
- 기준 하네스로 과제를 실행한다.
- 개선기(improver)가 일반 수정안과 도메인별 수정안을 낸다.
- 후보 하네스를 같은 과제에서 시험한다. 이때 정답 피드백은 주지 않는다.
- 선택기(selector)가 익명 처리된 최종 후보들의 출력을 보고 하나를 고른다.
- 별도의 벤치마크 심사기(judge)가 점수를 매긴다.
채택은 선택기의 선택으로 정한다. 점수 임계값으로 정하지 않는다.
도메인별 라이브러리
선택된 하네스와 채택 이유를 도메인별 라이브러리에 저장한다. 근거가 있는 단서·교훈·증거도 함께 남긴다(library.py의 Library.add). docs/EXPERIMENTS.md의 “Recursion modes”는 두 방식을 구분한다.
- parallel: 넓게 탐색한다.
- sequential: 앞선 개선을 다음 단계로 넘긴다.
주장하는 성능
README “Run a benchmark”는 GLM-5와 Gemini 3.5 Flash에서 기준 하네스보다 다음만큼 나아졌다고 주장한다.
- WorkBuddy-Bench: 최대 11.5점
- JobBench: 4.5점
- LAB partial-pass: 11.8%p
재귀 예산이 클수록 향상 폭이 더 크다고도 한다. 이 수치는 재현하지 않았다.
평가 조건
- 학습·시험 분할은 선택 사항이다. 기본 비율은 0.5다.
- seed는 과제 순서만 섞는다.
- 문서에 통계적 유의성 기준은 없다.
격리와 실행 위험
context.py의 build는 심사 결과와 정답을 개선기에 넘기지 않는다. 문서는 실행기(executor)의 네트워크가 제한되지 않는다고 경고한다. Codex 샌드박스도 꺼져 있다고 경고한다.
검증 상태
Researcher 하위 에이전트가 README, docs/EXPERIMENTS.md, docs/SETUP.md, core 모듈 네 개를 읽고 보고한 내용이다. 메인은 원문을 직접 대조하지 않았다. 성능 수치는 재현하지 않았다.
적용 해석
아래는 원문의 주장이 아니라 우리의 해석이다.
- 개인 작업 흐름에 옮길 원칙은 세 가지다. 통제된 비교, 평가 정답을 개선 주체에게서 떼어 두기, 채택 이유를 교훈과 함께 남기기.
- 벤치마크 어댑터와 Docker 구성은 개인 작업 흐름에 쓰지 않는다.