$npx -y skills add DY-2026/GameDesignOS --skill paranoia-ai-system-evolver用于升级 AI 系统、agent workflow、Codex skill、prompt、memory、RAG、tool routing、schema、eval set 或 feedback loop;也用于把 AI 工作单从指令单升级为意图单,并对研究、检索、测试和 AI 对话做 VOI 决策门审计。需要 Intent Work Order、WOOP 任务准入、决策对象、VOI/EVPI/EVSI、UL(Uncertainty Ladder,不确定性阶梯)、OODA、eval、Human Gate、versioning 与 rollback 的受控演化
| 1 | # Paranoia AI System Evolver |
| 2 | |
| 3 | > Copyright (c) 2026 Paranoia. Licensed under the MIT License. |
| 4 | |
| 5 | ## 核心立场 |
| 6 | |
| 7 | 把 AI 系统演化当成受控系统设计,而不是神秘的自我改良;把信息获取当成决策投资,而不是越多越好的默认动作。 |
| 8 | |
| 9 | ```text |
| 10 | Intent Work Order 先把“帮我写、优化、分析、出图”的指令单翻译成“要改变什么现实、谁验收、不能牺牲什么、AI 可自治到哪里”的作战意图。 |
| 11 | WOOP 定义任务意图、验收结果、失败模式和恢复协议。 |
| 12 | Decision Object 定义现在到底要决定什么,以及没有新信息时会做什么。 |
| 13 | RJR-AI 定义剩余判断权、授权边界和谁能拍板。 |
| 14 | VOI 判断哪些信息、检索、追问、实验或 AI 分支值得付出成本。 |
| 15 | Scenario VOI Adapter 定义不同使用场景里什么证据才真的会改变行动。 |
| 16 | UL(Uncertainty Ladder,不确定性阶梯)控制下一轮释放多少未知,使失败可归因、复杂度逐步增加并经过迁移验证。 |
| 17 | OODA 让 agent 用现实反馈刷新地图。 |
| 18 | Evals 决定哪些改动值得留下。 |
| 19 | Human Gate 防止一次有用突变污染长期系统。 |
| 20 | Rollback 让每次提升都可逆。 |
| 21 | ``` |
| 22 | |
| 23 | VOI 的硬规则:真实、新鲜或结构清晰的信息不一定有价值。只有当合理信号可能改变行动、优先级、资源配置或停止条件时,它才具有当前决策价值。 |
| 24 | |
| 25 | UL 的硬规则:VOI 选最值得消除的未知,UL 控制暴露剂量。每轮默认只释放一个主要不确定性;若失败无法区分主要解释,必须标记 `confounded`、恢复支架并退回更受控环境,不能继续叠加永久规则。受控样本通过不等于迁移通过,其他维度通过也不自动提升权限或真实后果。 |
| 26 | |
| 27 | RJR-AI 的硬规则:AI 可以扩大可能性,Workflow 可以压缩混乱,Eval 可以提供反馈,权限系统可以防止越界,知识库可以积累组织记忆;但高耦合、低可逆、证据不足且必须下注的问题,属于人的剩余判断权,agent 只能辅助论证并进入 Human Gate。 |
| 28 | |
| 29 | ## 何时使用 |
| 30 | |
| 31 | 用于改动这些层: |
| 32 | |
| 33 | - prompt、system instruction、memory、RAG、tool routing、workflow、schema、eval set、docs 或 Codex skill; |
| 34 | - agent feedback loop、trace format、release gate 与 rollback policy; |
| 35 | - AI 工作单、任务单、需求单、prompt brief 从“命令 AI 做动作”升级为“给 AI 一个清晰作战意图并让它在边界内循环”; |
| 36 | - 需要把项目整体流程、workflow run、产出质量、验收、复盘和候选规则沉淀纳入治理检查; |
| 37 | - 需要 model compression、causal mediator、WOOP harness protocol 或 total description cost 降低的 AI engineering 结构; |
| 38 | - 需要判断某次搜索、追问、读记忆、日志分析、实验或更多 AI 对话是否值得; |
| 39 | - 出现 FOMO、信息过载、分支爆炸、研究替代行动或高结构低价值输出时。 |
| 40 | |
| 41 | 不要用它来合理化失控的模型权重改动、静默长期记忆写入、未经批准的全局 skill 安装,或没有 Human Gate 的生产影响行为。它也不是通用热点总结器;没有决策对象时,只允许有预算的探索或明确的信息消费。 |
| 42 | |
| 43 | ## 快速流程 |
| 44 | |
| 45 | 1. 定义任务和被改动的系统层:`prompt`、`memory`、`RAG`、`tool routing`、`workflow`、`eval`、`schema`、`docs` 或 `skill`。 |
| 46 | 2. 若用户给的是指令单,先写轻量 `Intent Work Order`: |
| 47 | - `reality_to_change`:我要改变什么现实; |
| 48 | - `parent_project_goal`:服务哪个更大的项目目标; |
| 49 | - `desired_world_state`:完成后外部世界应该变成什么状态; |
| 50 | - `verifier_role` 与 `first_impression_must_understand`:谁验收,第一眼必须看懂什么; |
| 51 | - `must_not_sacrifice`、`ai_can_freely_change`、`ai_must_not_touch`:不能牺牲、可自由改和不允许碰; |
| 52 | - `decision_principles_if_plan_breaks`:原计划不成立时按什么原则改方向; |
| 53 | - `failure_signals_to_check_before_delivery` 与 `retrospective_contract`:交付前自查和复盘沉淀。 |
| 54 | 3. 写轻量 `WOOP Task Card`: |
| 55 | - `Wish / Intent Spec`:目标、输出物、范围与停止条件; |
| 56 | - `Outcome / Evaluation Rubric`:验收标准与决策收益; |
| 57 | - `Obstacle / Failure Pattern`:目标漂移、过度信任、上下文污染、工具滥用、FOMO 调研、选项爆炸、虚假确定性等内在失败模式; |
| 58 | - `Plan / If-Then Protocol`:触发条件、判断者、恢复动作、重试、交还人或 rollback。 |
| 59 | 4. 在获取更多信息前定义 `Decision Object`: |
| 60 | - 决策问题、owner、deadline; |
| 61 | - 真实可选项; |
| 62 | - `current_default_action`,即没有新信息时的行动; |
| 63 | - stakes、reversibility 与 `boundary_status: undefined | far | near | locked`。 |
| 64 | 5. 建立 `RJR-AI` 授权门: |
| 65 | - 判断 coupling:局部低耦合,还是会牵动产品、系统、账号、发布、长期规则的高耦合; |
| 66 | - 判断 reversibility:可逆、撤回昂贵,还是不可逆; |
| 67 | - 写出 delegation:AI 只能读、建议、草稿,还是可做低风险可逆执行; |
| 68 | - 把低风险可逆任务交给自动化,把可测试事项交给 eval,把高耦合低可逆事项交给 Human Gate; |
| 69 | - 若证据不足但必须下注,明确 `residual_judgment`,由人选择方向。 |
| 70 | 6. 建立 VOI 决策门: |
| 71 | - 只保留会影响选项排序的不确定性; |
| 72 | - 每轮最多提出 3 个 `candidate_information_actions` 候选信息行动; |
| 73 | - 为可能信号预注册 `posterior_update` 与 `action_if_seen`; |
| 74 | - 若所有信号都不会改变行动,停止调研或标记为 `model_learning` / `information_consumption`; |
| 75 | - 用 EVPI 作为价值上界,用 EVSI 判断具体样本、实验或探针; |
| 76 | - 扣除获取、延迟、注意力、隐私、污染和实施风险成本; |
| 77 | - 选择净价值最高的最小探针,并写停止规则。 |
| 78 | 7. 选择 `Scenario VOI Adapter`,按具体使用场景定义有效证据: |
| 79 | - `skill_evolution`:看真实 trace、行为 eval、负迁移、rollback,而不是一次漂亮案例; |
| 80 | - `game_direction`:看玩家承诺、核心循环、题材解释规则、生产风险和最小原型信号; |
| 81 | - `experience_diagnosis`:看 evidence_id、issue priority、修复动作和下一轮验证是否改变; |
| 82 | - `source_curation`:看材料是否改变入库、分类、沉淀或拒绝,而不是只看内容新鲜; |
| 83 | - `content_decision`:看选题、角度、标题承诺、论证主线和发布判断是否改变; |
| 84 | - `platform_fact`:看当前一手来源、实际平台状态、兼容策略和时效边界; |
| 85 | - `high_risk_action`:看是否降低不可逆错误,并默认进入 Human Gate; |
| 86 | - `ai_branch_management`:看分支是否改变下一探针,不能改变行动的分支应归档或关闭。 |
| 87 | 8. 建立 `UL (Uncertainty Ladder)`,为下一轮验证设计可归因的环境: |
| 88 | - 声明目标能力与当前阶段:`UL-L0 | UL-L1 | UL-L2 | UL-L3 | UL-L4 | UL-L5`; |
| 89 | - 记录输入新颖度、上下文歧义、工具环境、协作、权限与后果、验收歧义的暴露向量; |
| 90 | - 写出本轮 `released_this_round`、`held_constant`、仍保留的支架和失败后果预算; |
| 91 | - 每轮默认只释放一个主要变量,预注册 pass / fail / confounded / stop 信号; |
| 92 | - 失败后用消融、对照或反事实定位 `primary_bottleneck`,只针对主瓶颈修改; |
| 93 | - 同层复现后才增加复杂度,最后用近/中迁移和负迁移样本限制适用范围; |
| 94 | - 权限、发布、资金、长期记忆和真实用户影响不随阶段自动晋升,仍走 RJR-AI / Human Gate。 |
| 95 | 9. 显式写出 operating model: |
| 96 | - compression:什么短模型能解释多数真实案例; |
| 97 | - causality:哪些 mediator 把输入连接到结果; |
| 98 | - control points:agent、workflow 或 human 能干预哪个 mediator; |
| 99 | - cost:core model、routing、state、validation、exception、recovery 的成本在哪里累积。 |
| 100 | 10. 维护紧凑 OODA 状态: |
| 101 | - Observe:目标、上下文、证据、惊讶信号、触发的 Obstacle; |
| 102 | - Orient:当前框架、用户模型、领域模型、决策边界、不确定性地图; |
| 103 | - Decide:选择动作、拒绝动作、VOI 理由 |