[Jooonnn]

任务书

引用用户任务书原文（节选）：

cheat-on-content 当前的 7/9 维打分发生在主对话 inline——主 Claude 已经看过用户对话、实绩数据、历史 prediction 数字，存在 contamination bias。

引入 blind-scoring sub-agent 作为 channel B，严格信息隔离：

• A (主对话)：决策 / 写 retro / 与用户交互
• B (blind sub-agent)：只 script 全文 + rubric_notes.md，打 9 维分 + per-dim confidence + 一句理由
• C (跨模型 audit)：已有

A spawn B 通过 Task tool，主 prompt 必须显式禁止：state file / predictions/ 目录 / 任何对话 history / 实绩数字。

实现 scope

• ✅ 新建 skills/cheat-score-blind/ — channel B sub-agent 定义
  • allowed-tools: Read / Glob / Grep（无 Write / Edit）
  • 白名单：仅 scripts/<id>.md + rubric_notes.md
  • hard refusal list（含 refusal codes：blocked_contaminated_input / script_path_invalid / rubric_unparseable / non_blind_warning）
  • 严格 JSON 输出 schema 含 self_check.any_contamination_signal
• ✅ cheat-score Step 3 改 Task tool delegate（不再 inline 打分；无 --skip-blind，score 是轻量探索没理由放弃隔离）
• ✅ cheat-predict
  • Phase 2：默认 delegate；Phase 2.5：disagreement detection（|Δ| ≥ 2 弹用户裁定 a/b/c）
  • header：BlindScored By + BlindScore Disagreement JSON 数组（所有维度必记，delta=0 也记）
  • --skip-blind flag：state 标 last_prediction_self_scored: true + last_self_scored_at
• ✅ cheat-bump Phase 2：强制 sub-agent，不接受 fallback——Task tool 不可用 → abort bump，不接受"自审"；每条 prediction Re-scored under vN 行标 blind: true
• ✅ shared-references/prediction-anatomy.md 组件 1（header）加新字段定义 + 总览段更新
• ✅ schema bump 1.2 → 1.3：新增 last_prediction_self_scored + last_self_scored_at；写 migrations/1.2-to-1.3.md（WHAT / WHY / HOW / Manual fallback 4 段）；同步 cheat-init、registry.md、SessionStart hook LATEST_SCHEMA
• ✅ hooks/session-start.sh 检测 last_prediction_self_scored == true && days_since >= 7 输出 🚨 红色警告（< 7 天 ⚠️ 黄色，> 7 天 🚨 红色）

Acceptance（本地 dry-run 全部通过）

Criterion	状态
install.sh + uninstall.sh 语法 OK	✓ bash -n
SUB_SKILLS 数组 = 14, skills/ 目录条目 = 14	✓ 计数一致
/cheat-score Task delegate 走 sub-agent 输出 JSON-parseable 9-dim 分	✓ Phase 2 schema 例子已 python3 json.loads 验证
/cheat-predict header 含 BlindScored By: subagent-v1	✓ Phase 6 模板写入
/cheat-bump --propose Phase 2 用 sub-agent 重打 + blind: true 标记	✓ Phase 6 行模板已含
/cheat-migrate 1.2 → 1.3 不破坏数据	✓ migration 文件 4 段齐全，Manual fallback diff 验证
SessionStart hook 3 场景测试	✓ 1.3 clean → 无警告；1.3 + self_scored 10d ago → 🚨；1.2 → schema mismatch

=== test 1: legitimate 1.3 state, no self-scored ===
(no schema/self warnings — correct)
---
=== test 2: schema=1.3, self_scored=true 10 days ago ===
🚨 距上次 \`--skip-blind\` 自评预测已 10 天——校准池累计的 contamination 风险在叠加。下次 /cheat-predict 走 sub-agent 即可清除此提示。
---
=== test 3: schema=1.2 (mismatch) ===
⚠️  schema 版本不一致：state=1.2, skill 期望=1.3。建议跑 /cheat-migrate（非阻塞，部分新功能可能在迁移前异常）。
---
=== install.sh syntax + skill count ===
✓ install.sh syntax OK
✓ uninstall.sh syntax OK
SUB_SKILLS count: 14
skills/ entries: 14

反 scope（不做，按任务书）

• ❌ 不实现"完全独立模型"——仍用 Claude，只隔离 context
• ❌ 不引入"main 与 blind 两个相同 → 自动 PASS"逻辑——差异即使为 0 也要记录（delta 分布本身是 rubric 演进信号）
• ❌ 不动跨模型 audit (channel C)——那是 bump-only validator，与 blind scoring 解耦
• ❌ 不动 /cheat-retro——retro 本来就看实绩，无 blind 需求

Known limitations（写进 cheat-score-blind/SKILL.md）

1. sub-agent ≠ 真独立：同 Claude 模型 RLHF priors 共享
2. 不解决 rubric 设计 bias：用户自己写的 rubric 自然让自己内容显得好（这层 bias 由 channel C 跨模型 audit 解决）
3. 不解决 main Claude 在 Phase 2.5 review 阶段被实绩诱导覆盖 blind 分：disagreement detection + 用户裁定减轻但不消除

修改文件

新建 2：

• skills/cheat-score-blind/SKILL.md
• migrations/1.2-to-1.3.md

修改 15：

• skills/cheat-score/SKILL.md / cheat-predict/SKILL.md / cheat-bump/SKILL.md / cheat-init/SKILL.md
• shared-references/prediction-anatomy.md / state-management.md
• migrations/registry.md
• hooks/session-start.sh
• install.sh / uninstall.sh
• SKILL.md / README.md / docs/README_CN.md / CHANGELOG.md
• .gitignore（顺手扩 .claude/ 整目录到忽略列表，源码 repo 不该入 local permission grants）

🤖 Generated with Claude Code