AI 실행 메타데이터는 통제 변인이 아니라 자연스럽게 쌓이는 관찰이다
주장
AI 실행 메타데이터는 완전한 실험 데이터셋을 만들기 위해 모든 변인을 강제하는 스키마가 아니라, 작업 당시 자연스럽게 확인되는 사실과 결과 교정 사례를 낮은 비용으로 축적하는 관찰로 다룬다. 누락을 허용하고, 모델의 성격·특성처럼 해석해야 하는 값은 사실 메타데이터로 만들지 않는다.
왜 중요한가
지금 어떤 변인이 미래 분석에 중요할지 미리 완전히 정할 수 없다. 필드를 억지로 채우면 유지 비용이 커지고 추정값이 provenance를 오염시킬 수 있다. 반면 노출된 모델·추론 수준과 당시의 결과, 사용자가 무엇을 어떻게 고쳤는지가 자연스럽게 쌓이면 미래 모델이 응답 환경과 선호 사이의 패턴을 나중에 탐색할 수 있다.
현재 적용
- Vault의 필수 작성 provenance인 정확한 모델명과 추론 수준은 노출된 값만 기록하고, 알 수 없으면
not_exposed로 남긴다. - 실행 surface와 공식 응답 성향은 실제로 알고 있고 기록 비용이 낮을 때의 선택적 관찰 후보다.
- 선택적 값이 없다는 이유로 과거 노트를 추정해 보충하지 않는다.
분석적,친화적,장황함같은 traits는 관찰자의 해석이므로 실행 사실과 분리한다.- 개별 메타데이터보다
결과 → 사용자 교정 → 이후 결과의 누적 사례를 더 중요하게 본다.
surface와 response_style을 Vault 전체의 필수 frontmatter로 추가한 것은 아니다. 현재 필수 계약은 AI 작성 노트는 작성 주체와 실행 설정을 provenance로 남긴다가 정한 작성 주체·모델·추론 수준·원천 작업이며, 추가 관찰값은 필요성이 실제 사례에서 드러날 때 확장한다.
근거
- MCP와 Epistemic Twin 운영 구상 - ChatGPT 공유 대화에서 DanzzaN은 변인을 엄격하게 통제하기보다 데이터가 자연스럽게 쌓이며 나중에 알게 되기를 원한다고 말했다.
- 같은 대화의 원천 실행 설정은
gpt-5.6-sol,매우 높음, ChatGPT 모바일이며 응답 성향이효율적에서전문적으로 바뀐 사례다.