# 全新上下文盲测协议（Fresh-agent Blind Forward Eval）

## 内容导航

- 目标与角色隔离
- 准备评测包
- 运行盲测
- 盲评 rubric
- 独立审查交接
- 结果与生命周期

## 目标与角色隔离

验证候选是否帮助新的 agent 在陌生题材中做出更好的创作判断，而不是验证它能否复述学习材料。
候选作者、使用全新上下文的执行者（fresh agent）与独立审查者（independent reviewer）分别承担三类角色。
参与摘取、卡片合成或候选写作的 agent 不能担任最终审查者。

执行者不得读取私有来源、观察卡/决策卡、去标识映射、作者诊断、预期答案或另一组输出。
它只接收用户式任务、公开可用上下文、一个匿名 skill 版本和必要的合成输入。

## 准备评测包

为同一目标建立匿名 `baseline` 与 `candidate` 包。除候选 reference/rubric/fixture 外保持任务、上游限制和
交付格式一致。任务组合应覆盖候选声称适用的语境、一个边界语境、一个可能反例，以及从编剧到分镜/提示词
的文本传递；不要使用来源人物、句子、情节顺序或罕见设定组合。

每个任务提供：

- 用户能自然提出的创作或审查请求；
- 完全合成的故事约束与已有文本产物；
- 允许修改和禁止修改的边界；
- 需要提交的故事、剧本、资产/连续性、分镜或提示词文本；
- 对缺失信息的处理要求；
- 禁止连接非公开来源和禁止生成、查看媒体的声明。

候选作者写任务，但不要写标准答案。由不知匿名映射的协调者分配版本并保存原始输出。

## 运行盲测

1. 为每个任务启动干净上下文的 fresh agent。
2. 以真实用户口吻要求它使用分配到的匿名 skill 完成任务，不说明正在测试哪条规则。
3. 不补充候选作者的解释；若 agent 提问，只提供预先允许、两个版本一致的信息。
4. 保存 prompt、skill 版本 hash、输入 hash、原始输出、工具调用摘要和未完成原因；这些运行
   记录由协调者单独保存，不直接附在供盲评者阅读的创作输出中。
5. 换新上下文运行对照，避免上一轮结果、文件或 reviewer 意见污染。
6. 生成供盲评者阅读的匿名副本：去掉绝对路径、包目录、工具读取清单、对照分组身份和版本映射，
   只保留任务要求的创作产物与不暴露分组的范围声明；路径证明留在协调者的隔离记录中。
7. 对匿名副本做 hash 和泄漏扫描，再在揭盲前完成逐项评审与偏好理由。

可用确定性工具核对 hash、文件隔离、格式和泄漏扫描；剧情因果、题材适配、人物行动、镜头意图与模板感
必须由 reviewer 阅读判断，不能由关键词分数代替。

## 盲评 rubric

Reviewer 针对具体证据比较，不靠总分自动胜出：

- `dramatic_reasoning`：期待、阻碍、行动、信息变化与兑现是否构成可解释因果；
- `character_agency`：人物是否用符合处境的可表演行动推进，而非被机制搬运；
- `genre_transfer`：是否服务当前题材/受众承诺，而非复制单一题材表皮；
- `boundary_judgment`：在反例或不适用语境能否换法、缩窄或拒绝套用；
- `production_translation`：剧本意图传到资产、连续性、分镜、关键帧与提示词时是否保持；
- `creative_variance`：不同任务是否出现有意义的机制变体，而非同句式、同节拍和同镜头模板；
- `instruction_cost`：候选是否增加无关流程、过度解释或妨碍创作；
- `privacy_and_scope`：是否只用合成/公开材料、无来源指纹、无连接尝试、无媒体调用。

每项记录输出中的位置、影响、偏好与置信度。若两者各有优势，说明候选应缩窄到哪些条件；
若差异来自偶然文风或执行失败，结果保持 inconclusive，不以票数强行晋升。

## 独立审查交接

揭盲前，只把供盲评使用的匿名输出、合成任务、匿名包 hash、泄漏扫描结果和公开 rubric
交给独立 reviewer。Reviewer 写完逐项偏好、边界问题与初步 verdict 后才冻结评审并揭盲。

揭盲后再提供版本映射、公共候选包、无敏感内容的证据摘要、冲突与边界清单，用于核对两个包是否
只差目标改动以及公共 diff 是否与已评内容一致。协调者单独保存的绝对路径、工具调用和运行证明
仍不复制进公开评测记录；只有需要复核隐私证明且 reviewer 同样获得授权时，才在隔离区查看映射。
不得把私有卡复制进公共评测记录。

Reviewer 必须回答：

- 任务是否真实检验候选，而非提示答案？
- baseline 与 candidate 是否除目标改动外等价？
- 候选增益是否落在其声称的适用范围？
- 边界任务是否显示 agent 会判断而不是机械匹配？
- 是否存在泄漏、近似复刻、题材污染或公开运行依赖？
- 应 promotion、narrow-and-retest、hold 还是 retire，理由和证据是什么？

## 结果与生命周期

`promotion` 需要明确的独立批准和可回滚的最小公共 diff；`narrow-and-retest` 回到候选边界与合成任务；
`hold` 保留问题和下一次对照意图；`retire` 记录无增益、过拟合、误导或边界失效原因。
任何结果都不能用频次、平均分或单个偏好数字替代 reviewer 的证据说明。