一、新版 vs 旧版：核心变化
技能地址https://github.com/anthropics/skills/tree/main/skills/skill-creator
旧版是一个简单的技能创建指南：写 SKILL.md → init_skill.py 初始化 → quick_validate.py 校验 → package_skill.py 打包。没有测试、没有评估、没有迭代优化。
新版变成了一个完整的技能开发框架，核心理念是"评估驱动开发"：
二、新版的技能创建流程
完整工作流（6 步循环）
1. 明确意图 → 2. 写 SKILL.md 草稿 → 3. 创建测试用例
↑ ↓
6. 优化 description ← 5. 迭代改进 ← 4. 运行 + 评估Step 1: 明确意图（Capture Intent）
- •技能做什么？何时触发？输出格式？是否需要测试用例？
- •主动询问边界情况、输入输出格式、依赖项
Step 2: 写 SKILL.md
- •frontmatter: name + description（触发机制的关键）
- •body: 指令、示例、输出格式
- •可选:scripts/、references/、assets/目录
- •description 要写得"有点激进"，鼓励触发而非欠触发
Step 3: 创建测试用例
- •写 2-3 个真实用户会说的 prompt，保存到evals/evals.json
- •先不写断言（assertions），让用户确认 prompt 是否合理
Step 4: 运行 + 评估（核心创新）
并行启动两组 subagent：
- •with-skill：带技能跑 prompt
- •baseline：不带技能（新建）或旧版技能（改进）跑同一 prompt
然后：
1.Grader agent给每个 run 打分（pass/fail + 证据）
2.aggregate_benchmark.py汇总统计（pass_rate、时间、tokens，含 mean ± stddev）
3.Analyzer agent分析模式（哪些断言总是通过/失败、高方差 eval）
4.generate_review.py启动浏览器评审界面
Step 5: 人工评审 + 迭代改进
- •用户在 eval-viewer 中逐个查看输出、写反馈
- •反馈保存为feedback.json
- •Claude 读取反馈 → 改进技能 → 重新跑全部测试 → 新一轮评审
- •循环直到满意
Step 6: Description 优化（自动化）
专门针对"技能何时被触发"做优化：
1.生成 20 个 eval 查询（10 个应触发 + 10 个不应触发，含边界情况）
2.用户在 HTML 界面审核并编辑
3.run_loop.py自动循环：60/40 train-test split → 跑 3 次取平均 → Claude 提改进 → 最多 5 轮
4.选 test score 最高的 description（避免过拟合）
三、关键组件详解
3 个 Agent（agents/目录）
核心脚本（scripts/目录）
Eval Viewer（eval-viewer/目录）
浏览器端评审界面，两个 tab：
- •Outputs tab：逐个查看测试结果，写反馈，支持文本/图片内联预览
- •Benchmark tab：量化对比（pass rate、时间、tokens），含 per-eval 明细
四、对我们的实际价值
创建新技能时
- •以前：写完 SKILL.md → 手动试几次 → 凭感觉改
- •现在：写完 → 自动跑测试 → 量化对比有没有技能的差异 → 看评审界面 → 精确改进 → 循环
改进现有技能时
- •可以 A/B 对比旧版 vs 新版（盲测，Comparator agent）
- •量化看改进幅度（pass_rate delta）
- •避免"改了但不确定是不是更好"的问题
优化触发准确性
- •Description 优化循环是全自动的
- •解决"技能存在但不触发"的问题（Claude 的 undertrigger 倾向）
- •用 test split 防止过拟合
五、使用限制
- •run_eval.py和run_loop.py依赖claude -pCLI，只能在 Claude Code 中用
- •盲测对比（Comparator）需要 subagent 支持
- •eval-viewer 需要浏览器环境（无头环境用--static导出 HTML）
- •我们的环境（macOS + Claude Code）可完整使用所有功能
学员须知（小白基础答疑手册）
作业提交步骤指导：☎️AI训练营 - 学员须知（持续更新）
OpenClaw主文档(含所有回放)：第五期：OpenClaw小龙虾训练营
AI训练营数据中心（含证书获取、找搭子）：🌈AI训练营第1课：第1课：认知破局——认识OpenClaw小龙虾第2课：第2课：基建搭建——小龙虾云端部署+技能初始化第3课：第3课：数据中枢——小龙虾协同多维表格第4课：第4课：社媒引流——小红书自动化运营第5课：第5课：私域沉淀-微信公众号一键排版第6课：第6课：主动出击——让小龙虾给你打电话
第7课：第7课：赋予声带——让小龙虾开口说话第8课：第8课：顶峰相见，谁的龙虾会运营课程在线回答汇总：🥠课程在线回答问题汇总优秀笔记：优秀笔记分享自习室：自习室
✨从训练营出发，你与AI的故事我们想听 | WaytoAGI AI训练营老学员专属回访https://waytoagi.feishu.cn/share/base/form/shrcnvP68KwlHihAAi7UQ2Dzw2g
从训练营出发，你与AI的故事我们想听 | WaytoAGI AI训练营老学员专属回访https://waytoagi.feishu.cn/share/base/form/shrcnvP68KwlHihAAi7UQ2Dzw2g
此功能需登录或注册后使用
⚠️@版权归WaytoAGI及课程讲师所有，未经许可不得传播售卖。如有侵权将依法追究法律责任。
@版权归WaytoAGI及课程讲师所有，未经许可不得传播售卖。如有侵权将依法追究法律责任。