Skip to content

docs(skill-creator): 7 条流程硬化(快照/needle/baseline/断言/eval副作用/viewer/超时) - #276

Merged
daymade merged 1 commit into
mainfrom
skill-creator-eval-hardening
Aug 7, 2026
Merged

docs(skill-creator): 7 条流程硬化(快照/needle/baseline/断言/eval副作用/viewer/超时)#276
daymade merged 1 commit into
mainfrom
skill-creator-eval-hardening

Conversation

@daymade

@daymade daymade commented Aug 7, 2026

Copy link
Copy Markdown
Owner

什么

skill-creator 流程执行一轮真实优化(一个 1144 行 skill 的体检→重组→eval 全程)时踩出的 7 个流程缺口,逐条补进 SKILL.md:

  1. 快照必须解压进全新目录——tar -x 进已存在目录静默覆盖同名文件、残留不动,混合快照零信号(实测纠正:初版误写为「逐文件提示+skip」,那是 unzip 的行为);mv 进已存在目录变嵌套、mv -i 目标存在时默认不执行且 exit 0
  2. classify 的 needle 从文件复制不手写——全角/半角标点、记忆改写同义字(也/都)两种失败形态都逃过自审,只有工具 fail-fast 接住
  3. baseline=pre-edit 快照的对照只测本轮增量——想验证的能力若已在快照里(并行 session 先提交了),with/old A/B 对它零分辨力,应换更早 ref
  4. 断言写意图不写字面工具路径——不同 sanctioned 路径达成意图应判 pass,字面判失败会制造假阴性
  5. live 系统 eval 的用例带显式副作用预算——「只读探查给结论,不执行下载/驱动 UI」
  6. 后台 viewer 起不来的可观察判据lsof -a -p $VIEWER_PID -iTCP -sTCP:LISTEN 为空 / curl URL 失败)+ --static 兜底——「no log output」不可作判据(启动命令自带 > /dev/null
  7. AskUserQuestion 超时无响应的推进策略——先做无副作用地基(快照/盘点/用例收集/只读体检),判断类留给用户回来

质量闸

  • 独立审阅(fresh agent,含 /tmp 实测验证 tar/mv 行为):4 finding 全修(含 ⑥ 机制描述的实测纠正)
  • 回归审计 compare/classify/verify 全链通过(5 候选全 disposition)
  • quick_validate:valid
  • marketplace daymade-skill 1.23.0 → 1.24.0

🤖 Generated with Claude Code

…/viewer兜底/超时推进

真实执行一轮完整优化流程时踩出的缺口(独立审阅含 /tmp 实测验证):
- 快照必须解压进全新目录:tar 静默覆盖同名+残留不动=混合快照零信号;
  mv 进已存在目录嵌套、mv -i 目标存在时默认不执行且 exit 0(实测)
- classify 的 needle 必须从文件复制不手写:全角/半角、记忆改写同义字
  两种形态都逃过自审、只有工具 fail-fast 接住
- baseline=pre-edit 快照的对照只测本轮增量:想验证的能力若已在快照里
  (并行 session 先提交了),A/B 对它零分辨力,换更早 ref
- 断言写意图不写字面工具路径(不同 sanctioned 路径达成意图=pass)
- live 系统 eval 的用例要带显式副作用预算
- 后台 viewer 起不来的可观察判据(lsof/curl)+ --static 兜底
- AskUserQuestion 超时无响应:先做无副作用地基、判断留给用户回来

独立审阅 4 finding 全修(含 tar 机制描述的实测纠正);回归全链过。

Co-Authored-By: Claude <noreply@anthropic.com>
@daymade
daymade merged commit 721bbe9 into main Aug 7, 2026
4 checks passed
@daymade
daymade deleted the skill-creator-eval-hardening branch August 7, 2026 01:00
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant