Dazhuang Skill Creator

Dazhuang Skill Creator Dazhuang Skill Creator Modified April 6 重点信息： • 最终版领先第二名 11.59 分 • 最终版在该组 benchmark 中下游语义准确率达到 100.0 • 最终版平均 skill 体积也是三者中最小： Code block Plain Text Copy 4,290 bytes vs 7,063 bytes vs 6,613 bytes 5 大任务类型对比：最终版 vs 官方原版 类型 官方原版 最终版 结论 A 类｜内容型 100.00 100.00 持平 B 类｜结构化输出型 100.00 100.00 持平 C 类｜工具调研型 98.89 100.00 最终版领先 D 类｜脚本型 100.00 100.00 持平 E 类｜混合编排型 83.72 83.82 最终版微弱领先 补充结果： • 综合总分：99.44 vs 96.20 • 实际使用效果：100.00 vs 98.08 • 过程效率：97.74 vs 89.37 • 下游语义准确率：96.76 vs 96.52 • Runtime validation：两边都是 100.0 为什么这个版本更容易维护 这个项目强调结构分层，把不同类型的内容放到不同位置： • 主 SKILL.md：放耐久规则和默认工作流 • references/：放长解释、说明资料和 schema • assets/：放可复用模板和资源 • scripts/：放确定性或重复性的动作 • config.yaml：放高频可调参数 这样做的价值是： • 后续更容易继续迭代 • 修改点更集中 • 排错路径更清晰 • 更适合团队协作 作者认为，很多 skill 一旦生成出来，后续会越来越难维护；而这个版本从设计起点上就更偏向“可演进架构”。 对已有 Skill 的处理策略 这个仓库不再把“优化旧 skill”理解成只改几句 description，也不把“重构旧 skill”当成完全另一套方法。 它的基本思路是： • 新建 skill 和重构 skill 共用同一套蓝图 • 先判断问题主要在触发、结构，还是两者都有 • 如果旧 skill 结构臃肿、路径漂移、长上下文里容易跑偏，就优先做结构重构 • 只有在 skill 本体结构稳定后，才继续做 trigger eval / description optimization 换句话说，目标不是把所有 skill 强行套进一个模板，而是让它们对齐同一套可维护蓝图。简单 skill 仍然可以保持单文件。 项目结构 • SKILL.md：最终版 Dazhuang Skill Creator skill 定义 • agents/：用于评测与对比的 agent 提示词 • references/：架构说明、评测流程、打包说明、schema 等参考资料 • assets/：可复用资源和报告模板 • scripts/：初始化、校验、评测、优化、生成报告、打包等脚本 • config.yaml：初始化、评测、优化、打包流程的默认配置 • 测评报告/：归档 benchmark 报告与截图 快速开始 1. 新建一个 Skill 脚手架 Code block Bash Copy python3 scripts/init skill.py my skill path ./out 2. 校验 Skill 结构 Code block Bash Copy python3 scripts/quick validate.py ./out/my skill 3. 重构现有 Skill 建议流程： • 先判断是 轻优化、结构重构 还是 完整改造 • 如果问题在结构臃肿、路径漂移或长上下文丢主线，先重排： ◦ SKILL.md ◦ references/ ◦ assets/ ◦ scripts/ • 结构稳定后，再进入描述优化与触发评估 4. 评估触发效果 Code block Bash Copy python3 scripts/run eval.py \ eval set ./path/to/eval set.json \ skill path ./out/my skill 5. 跑描述优化循环 仅在 Skill 本体结构稳定后使用： Code block Bash Copy python3 scripts/run loop.py \ eval set ./path/to/eval set.json \ skill path ./out/my skill 6. 打包 Skill Code block Bash Copy python3 scripts/package skill.py ./out/my skill ./dist 关键配置示例 仓库里的 config.yaml 主要用于集中管理人工可编辑的默认参数。核心内容如下： Code block YAML Copy evaluation: num workers: 10 timeout: 30 runs per query: 3 trigger threshold: 0.5 model: "" optimization: max iterations: 5 holdout: 0.4 report: auto results dir: "" model: "" init skill: output path: "" resources: [] include examples: false create config: false create openai yaml: false openai yaml: interface defaults: display name: "" short description: "" default prompt: "" brand color: "" icon small: "" icon large: "" package skill: output dir: "" 可查看的报告位置 • 测评报告/5 个能力原型对比/ • 测评报告/5 个类型性能对比/ • 测评报告/iShot 2026 04 04 12.17.26.png 联系方式 • 微信：yinyinGyL • 邮箱：372749817@qq.com License Apache 2.0，见： • LICENSE • LICENSE.txt 372749817@qq.com 重点信息： • 最终版领先第二名 11.59 分 • 最终版在该组 benchmark 中下游语义准确率达到 100.0 • 最终版平均 skill 体积也是三者中最小： 5 大任务类型对比：最终版 vs 官方原版 类型 官方原版 最终版 结论 A 类｜内容型 100.00 100.00 持平 B 类｜结构化输出型 100.00 100.00 持平 C 类｜工具调研型 98.89 100.00 最终版领先 D 类｜脚本型 100.00 100.00 持平 E 类｜混合编排型 83.72 83.82 最终版微弱领先 类型 类型 官方原版 官方原版 最终版 最终版 结论 结论 A 类｜内容型 A 类｜内容型 100.00 100.00 100.00 100.00 持平 持平 B 类｜结构化输出型 B 类｜结构化输出型 100.00 100.00 100.00 100.00 持平 持平 C 类｜工具调研型 C 类｜工具调研型 98.89 98.89 100.00 100.00 最终版领先 最终版领先 D 类｜脚本型 D 类｜脚本型 100.00 100.00 100.00 100.00 持平 持平 E 类｜混合编排型 E 类｜混合编排型 83.72 83.72 83.82 83.82 最终版微弱领先 最终版微弱领先 补充结果： • 综合总分：99.44 vs 96.20 • 实际使用效果：100.00 vs 98.08 • 过程效率：97.74 vs 89.37 • 下游语义准确率：96.76 vs 96.52 • Runtime validation：两边都是 100.0 为什么这个版本更容易维护 这个项目强调结构分层，把不同类型的内容放到不同位置： • 主 SKILL.md：放耐久规则和默认工作流 • references/：放长解释、说明资料和 schema • assets/：放可复用模板和资源 • scripts/：放确定性或重复性的动作 • config.yaml：放高频可调参数 这样做的价值是： • 后续更容易继续迭代 • 修改点更集中 • 排错路径更清晰 • 更适合团队协作 作者认为，很多 skill 一旦生成出来，后续会越来越难维护；而这个版本从设计起点上就更偏向“可演进架构”。 对已有 Skill 的处理策略 这个仓库不再把“优化旧 skill”理解成只改几句 description，也不把“重构旧 skill”当成完全另一套方法。 它的基本思路是： • 新建 skill 和重构 skill 共用同一套蓝图 • 先判断问题主要在触发、结构，还是两者都有 • 如果旧 skill 结构臃肿、路径漂移、长上下文里容易跑偏，就优先做结构重构 • 只有在 skill 本体结构稳定后，才继续做 trigger eval / description optimization 换句话说，目标不是把所有 skill 强行套进一个模板，而是让它们对齐同一套可维护蓝图。简单 skill 仍然可以保持单文件。 项目结构 • SKILL.md：最终版 Dazhuang Skill Creator skill 定义 • agents/：用于评测与对比的 agent 提示词 • references/：架构说明、评测流程、打包说明、schema 等参考资料 • assets/：可复用资源和报告模板 • scripts/：初始化、校验、评测、优化、生成报告、打包等脚本 • config.yaml：初始化、评测、优化、打包流程的默认配置 • 测评报告/：归档 benchmark 报告与截图 快速开始 1. 新建一个 Skill 脚手架 2. 校验 Skill 结构 3. 重构现有 Skill 建议流程： • 先判断是 轻优化、结构重构 还是 完整改造 • 如果问题在结构臃肿、路径漂移或长上下文丢主线，先重排： ◦ SKILL.md ◦ references/ ◦ assets/ ◦ scripts/ ◦ SKILL.md ◦ references/ ◦ assets/ ◦ scripts/ • 结构稳定后，再进入描述优化与触发评估 4. 评估触发效果 5. 跑描述优化循环 仅在 Skill 本体结构稳定后使用： 6. 打包 Skill 关键配置示例 仓库里的 config.yaml 主要用于集中管理人工可编辑的默认参数。核心内容如下： 可查看的报告位置 • 测评报告/5 个能力原型对比/ • 测评报告/5 个类型性能对比/ • 测评报告/iShot 2026 04 04 12.17.26.png 联系方式 • 微信：yinyinGyL • 邮箱：372749817@qq.com 372749817@qq.com License Apache 2.0，见： • LICENSE • LICENSE.txt 原文链接：https://github.com/DazhuangJammy/DazhuangSkill Creator 项目简介 Dazhuang Skill Creator 基于 Claude Code 官方 skill creator 演进而来，但并不是简单改几句提示词，而是围绕以下几个方面做了系统性重构： • 提示词架构 • Skill 架构 • CLI 工具的真实运行机制 • bundled resources 的组织方式 • 长期维护与协作方式 作者强调，这个版本不只是“写法优化”，而是从工作流、结构分层、资源打包和可维护模型上做了完整重建，目标是让生成出来的 skill： • 更容易继续迭代 • 更容易调试 • 更适合多人协作 • 在真实使用中更稳定 如果这个项目对您有帮助，不妨为它点亮一颗星。如需联系或洽谈合作： • WeChat: yinyinGyL • Email: 372749817@qq.com 372749817@qq.com 测评内容 1. 5 大任务类型能力对比 • A 类：内容型测试提示词、模板、平台风格能否组织成可复用 skill • B 类：结构化输出型测试是否能严格遵守 JSON schema，并保持输出稳定 • C 类：工具调研型测试是否会查看源文件、附带证据，而不是空泛总结 • D 类：脚本型测试生成脚本能否真正运行，以及失败时是否能安全收住 • E 类：混合编排型测试 prompt、reference、asset、script 是否能协同工作 2. 5 大能力原型对比 • 极简压缩输出 • 严格结构化输出 • 安全判断 • 模板化归纳 • 脏输入归一化 测评方式 作者使用 Codex 的 Headless 模式进行评测，也就是： • 不打开图形界面 • 不进入 CLI 页面 • 直接在终端执行 每个 benchmark item 至少进行了 3 轮独立对话测试。 归档的 benchmark 包括： • 45 次 creation runs + 15 次 baselines 的 3 版本能力原型对比 • 30 次 creation runs + 15 次 baselines 的官方原版 vs 最终版正面对比 • 基准测试期间源目录完整性检查结果正常（manifest diff = 0） 测评维度 综合评分汇总到 5 个顶层维度： • 过程效率 • 精准度 • 产物质量 • 实际使用效果 • 稳定性 测评结论 总体结论 • Dazhuang Skill Creator 在仓库归档的两套 benchmark 中都排名第一 • 在 3 版本能力原型对比中，总分达到 99.43 • 在与官方原版的 5 大类型正面对比中，总分为 99.44 • 官方原版对应总分为 96.20 • 按作者自己的判定规则，这属于“明确领先”，但还不算“碾压” 3 版本能力原型对比结果 版本 总分 实际使用效果 过程效率 精准度 产物质量 稳定性 Dazhuang Skill Creator 99.43 98.64 100.00 99.53 100.00 100.00 My Skill Creator Copy 87.84 94.60 84.25 97.55 94.39 0.00 Claude Code 官方 skill creator 87.22 98.06 77.18 100.00 90.72 0.00 版本 版本 总分 总分 实际使用效果 实际使用效果 过程效率 过程效率 精准度 精准度 产物质量 产物质量 稳定性 稳定性 Dazhuang Skill Creator Dazhuang Skill Creator 99.43 99.43 98.64 98.64 100.00 100.00 99.53 99.53 100.00 100.00 100.00 100.00 My Skill Creator Copy My Skill Creator Copy 87.84 87.84 94.60 94.60 84.25 84.25 97.55 97.55 94.39 94.39 0.00 0.00 Claude Code 官方 skill creator Claude Code 官方 skill creator 87.22 87.22 98.06 98.06 77.18 77.18 100.00 100.00 90.72 90.72 0.00 0.00