eval-harness

Name: eval-harness
Author: virgo777

311stars25forks

How to install eval-harness?

virgo777/buddyme/eval-harness

$npx -y skills add virgo777/buddyme --skill eval-harness

Installs into the current project.

Summary

为 Claude Code 会话提供的正式评测框架，实现了评测驱动开发（EDD）原则

Files · 1

View on GitHub

SKILL.md

1	# 评测工具链（Eval Harness）技能（Skill）
2
3	一个用于 Claude Code 会话的正式评测框架，实现了评测驱动开发（Eval-Driven Development, EDD）原则。
4
5	## 何时激活
6
7	- 为 AI 辅助工作流设置评测驱动开发（EDD）
8	- 为 Claude Code 任务完成定义通过/失败的标准
9	- 使用 pass@k 指标衡量智能体（Agent）的可靠性
10	- 为提示词（Prompt）或智能体（Agent）的变更创建回归测试套件
11	- 跨模型版本对智能体（Agent）性能进行基准测试
12
13	## 核心理念
14
15	评测驱动开发（Eval-Driven Development）将评测视为“AI 开发的单元测试”：
16	- 在实现之前定义预期行为
17	- 在开发过程中持续运行评测
18	- 追踪每次变更带来的回归（Regression）
19	- 使用 pass@k 指标进行可靠性衡量
20
21	## 评测类型
22
23	### 能力评测（Capability Evals）
24	测试 Claude 是否能够完成之前无法完成的任务：
25	```markdown
26	[CAPABILITY EVAL: feature-name]
27	任务：描述 Claude 应该完成的目标
28	成功标准：
29	- [ ] 标准 1
30	- [ ] 标准 2
31	- [ ] 标准 3
32	预期输出：对预期结果的描述
33	```
34
35	### 回归评测（Regression Evals）
36	确保变更不会破坏现有功能：
37	```markdown
38	[REGRESSION EVAL: feature-name]
39	基线（Baseline）：SHA 或检查点（checkpoint）名称
40	测试项：
41	- existing-test-1: 通过/失败（PASS/FAIL）
42	- existing-test-2: 通过/失败（PASS/FAIL）
43	- existing-test-3: 通过/失败（PASS/FAIL）
44	结果：X/Y 通过（之前为 Y/Y）
45	```
46
47	## 评分器（Grader）类型
48
49	### 1. 基于代码的评分器（Code-Based Grader）
50	使用代码进行确定性检查：
51	```bash
52	# 检查文件是否包含预期模式
53	grep -q "export function handleAuth" src/auth.ts && echo "PASS" \|\| echo "FAIL"
54
55	# 检查测试是否通过
56	npm test -- --testPathPattern="auth" && echo "PASS" \|\| echo "FAIL"
57
58	# 检查构建是否成功
59	npm run build && echo "PASS" \|\| echo "FAIL"
60	```
61
62	### 2. 基于模型的评分器（Model-Based Grader）
63	使用 Claude 评测开放式输出：
64	```markdown
65	[MODEL GRADER PROMPT]
66	评测以下代码变更：
67	1. 它是否解决了所述问题？
68	2. 结构是否良好？
69	3. 是否处理了边缘情况？
70	4. 错误处理是否得当？
71
72	得分：1-5（1=差，5=优秀）
73	推理：[解释说明]
74	```
75
76	### 3. 人工评分器（Human Grader）
77	标记以进行人工审查：
78	```markdown
79	[HUMAN REVIEW REQUIRED]
80	变更内容：描述发生了什么变化
81	原因：为什么需要人工审查
82	风险等级：低/中/高（LOW/MEDIUM/HIGH）
83	```
84
85	## 指标
86
87	### pass@k
88	“k 次尝试中至少有一次成功”
89	- pass@1：首次尝试成功率
90	- pass@3：3 次尝试内的成功率
91	- 典型目标：pass@3 > 90%
92
93	### pass^k
94	“所有 k 次试验均成功”
95	- 对可靠性有更高要求
96	- pass^3：连续 3 次成功
97	- 用于关键路径
98
99	## 评测工作流
100
101	### 1. 定义（编码前）
102	```markdown
103	## 评测定义：feature-xyz
104
105	### 能力评测
106	1. 可以创建新用户账户
107	2. 可以验证电子邮件格式
108	3. 可以安全地对密码进行哈希处理
109
110	### 回归评测
111	1. 现有登录功能仍然正常
112	2. 会话管理保持不变
113	3. 注销流程完好无损
114
115	### 成功指标
116	- 对于能力评测：pass@3 > 90%
117	- 对于回归评测：pass^3 = 100%
118	```
119
120	### 2. 实现
121	编写代码以通过定义的评测。
122
123	### 3. 执行评测
124	```bash
125	# 运行能力评测
126	[运行每项能力评测，记录通过/失败]
127
128	# 运行回归评测
129	npm test -- --testPathPattern="existing"
130
131	# 生成报告
132	```
133
134	### 4. 报告
135	```markdown
136	评测报告：feature-xyz
137	========================
138
139	能力评测：
140	create-user: 通过 (pass@1)
141	validate-email: 通过 (pass@2)
142	hash-password: 通过 (pass@1)
143	总体： 3/3 通过
144
145	回归评测：
146	login-flow: 通过
147	session-mgmt: 通过
148	logout-flow: 通过
149	总体： 3/3 通过
150
151	指标：
152	pass@1: 67% (2/3)
153	pass@3: 100% (3/3)
154
155	状态：准备好进行评审 (READY FOR REVIEW)
156	```
157
158	## 集成模式
159
160	### 实现前（Pre-Implementation）
161	```
162	/eval define feature-name
163	```
164	在 `.claude/evals/feature-name.md` 创建评测定义文件
165
166	### 实现过程中（During Implementation）
167	```
168	/eval check feature-name
169	```
170	运行当前评测并报告状态
171
172	### 实现后（Post-Implementation）
173	```
174	/eval report feature-name
175	```
176	生成完整的评测报告
177
178	## 评测存储
179
180	在项目中存储评测：
181	```
182	.claude/
183	evals/
184	feature-xyz.md # 评测定义
185	feature-xyz.log # 评测运行历史
186	baseline.json # 回归基线
187	```
188
189	## 最佳实践
190
191	1. 在编码前（BEFORE）定义评测 - 强制对成功标准进行清晰思考
192	2. 频繁运行评测 - 尽早发现回归
193	3. 随时间跟踪 pass@k - 监控可靠性趋势
194	4. 尽可能使用代码评分器 - 确定性优于概率性
195	5. 安全相关需人工评审 - 绝不完全自动化安全检查
196	6. 保持评测快速 - 慢速评测往往不会被运行
197	7. 将评测与代码一同进行版本控制 - 评测是一等公民资产
198
199	## 示例：添加身份验证（Authentication）
200
201	```markdown
202	## EVAL: add-authentication
203
204	### 第 1 阶段：定义 (10 分钟)
205	能力评测：
206	- [ ] 用户可以使用电子邮件/密码注册
207	- [ ] 用户可以使用有效凭据登录
208	- [ ] 无效凭据被拒绝并显示正确错误
209	- [ ] 页面重新加载后会话依然持久化
210	- [ ] 注销后清除会话
211
212	回归评测：
213	- [ ] 公共路由仍可访问
214	- [ ] API 响应保持不变
215	- [ ] 数据库架构兼容
216
217	### 第 2 阶段：实现 (耗时视情况而定)
218	[编写代码]
219
220	### 第 3 阶段：执行评测
221	运行：/eval check add-authentication
222
223	### 第 4 阶段：报告
224	评测报告：add-authentication
225	==============================
226	能力：5/5 通过 (pass@3: 100%)
227	回归：3/3 通过 (pass^3: 100%)
228	状态：准予发布 (SHIP IT)
229	```

People who liked this also viewed

6 picks

Type

tddSkills for Real Engineers. Straight from my .agents directory.SkillsJul 2026501k181k
test-driven-developmentUse when implementing any feature or bugfix, before writing implementation codeSkillsJul 2026175k259k
qaSkills for Real Engineers. Straight from my .agents directory.SkillsJul 2026160k181k
verification-before-completionUse when about to claim work is complete, fixed, or passing, before committing or creating PRs - requires running verification commands and confirming output before making any success claims; evidenceSkillsJul 2026153k259k
webapp-testingToolkit for interacting with and testing local web applications using Playwright. Supports verifying frontend functionality, debugging UI behavior, capturing browser screenshots, and viewing browser lSkillsJul 2026120k163k
playwright-best-practicesUse when writing Playwright tests, fixing flaky tests, debugging failures, implementing Page Object Model, configuring CI/CD, optimizing performance, mocking APIs, handling authentication or OAuth, teSkillsJul 202664k338

eval-harness

311stars25forks

View on GitHub

How to install eval-harness?

virgo777/buddyme/eval-harness

$npx -y skills add virgo777/buddyme --skill eval-harness

Installs into the current project.

Summary

为 Claude Code 会话提供的正式评测框架，实现了评测驱动开发（EDD）原则

Files · 1

View on GitHub

SKILL.md

1	# 评测工具链（Eval Harness）技能（Skill）
2
3	一个用于 Claude Code 会话的正式评测框架，实现了评测驱动开发（Eval-Driven Development, EDD）原则。
4
5	## 何时激活
6
7	- 为 AI 辅助工作流设置评测驱动开发（EDD）
8	- 为 Claude Code 任务完成定义通过/失败的标准
9	- 使用 pass@k 指标衡量智能体（Agent）的可靠性
10	- 为提示词（Prompt）或智能体（Agent）的变更创建回归测试套件
11	- 跨模型版本对智能体（Agent）性能进行基准测试
12
13	## 核心理念
14
15	评测驱动开发（Eval-Driven Development）将评测视为“AI 开发的单元测试”：
16	- 在实现之前定义预期行为
17	- 在开发过程中持续运行评测
18	- 追踪每次变更带来的回归（Regression）
19	- 使用 pass@k 指标进行可靠性衡量
20
21	## 评测类型
22
23	### 能力评测（Capability Evals）
24	测试 Claude 是否能够完成之前无法完成的任务：
25	```markdown
26	[CAPABILITY EVAL: feature-name]
27	任务：描述 Claude 应该完成的目标
28	成功标准：
29	- [ ] 标准 1
30	- [ ] 标准 2
31	- [ ] 标准 3
32	预期输出：对预期结果的描述
33	```
34
35	### 回归评测（Regression Evals）
36	确保变更不会破坏现有功能：
37	```markdown
38	[REGRESSION EVAL: feature-name]
39	基线（Baseline）：SHA 或检查点（checkpoint）名称
40	测试项：
41	- existing-test-1: 通过/失败（PASS/FAIL）
42	- existing-test-2: 通过/失败（PASS/FAIL）
43	- existing-test-3: 通过/失败（PASS/FAIL）
44	结果：X/Y 通过（之前为 Y/Y）
45	```
46
47	## 评分器（Grader）类型
48
49	### 1. 基于代码的评分器（Code-Based Grader）
50	使用代码进行确定性检查：
51	```bash
52	# 检查文件是否包含预期模式
53	grep -q "export function handleAuth" src/auth.ts && echo "PASS" \|\| echo "FAIL"
54
55	# 检查测试是否通过
56	npm test -- --testPathPattern="auth" && echo "PASS" \|\| echo "FAIL"
57
58	# 检查构建是否成功
59	npm run build && echo "PASS" \|\| echo "FAIL"
60	```
61
62	### 2. 基于模型的评分器（Model-Based Grader）
63	使用 Claude 评测开放式输出：
64	```markdown
65	[MODEL GRADER PROMPT]
66	评测以下代码变更：
67	1. 它是否解决了所述问题？
68	2. 结构是否良好？
69	3. 是否处理了边缘情况？
70	4. 错误处理是否得当？
71
72	得分：1-5（1=差，5=优秀）
73	推理：[解释说明]
74	```
75
76	### 3. 人工评分器（Human Grader）
77	标记以进行人工审查：
78	```markdown
79	[HUMAN REVIEW REQUIRED]
80	变更内容：描述发生了什么变化
81	原因：为什么需要人工审查
82	风险等级：低/中/高（LOW/MEDIUM/HIGH）
83	```
84
85	## 指标
86
87	### pass@k
88	“k 次尝试中至少有一次成功”
89	- pass@1：首次尝试成功率
90	- pass@3：3 次尝试内的成功率
91	- 典型目标：pass@3 > 90%
92
93	### pass^k
94	“所有 k 次试验均成功”
95	- 对可靠性有更高要求
96	- pass^3：连续 3 次成功
97	- 用于关键路径
98
99	## 评测工作流
100
101	### 1. 定义（编码前）
102	```markdown
103	## 评测定义：feature-xyz
104
105	### 能力评测
106	1. 可以创建新用户账户
107	2. 可以验证电子邮件格式
108	3. 可以安全地对密码进行哈希处理
109
110	### 回归评测
111	1. 现有登录功能仍然正常
112	2. 会话管理保持不变
113	3. 注销流程完好无损
114
115	### 成功指标
116	- 对于能力评测：pass@3 > 90%
117	- 对于回归评测：pass^3 = 100%
118	```
119
120	### 2. 实现
121	编写代码以通过定义的评测。
122
123	### 3. 执行评测
124	```bash
125	# 运行能力评测
126	[运行每项能力评测，记录通过/失败]
127
128	# 运行回归评测
129	npm test -- --testPathPattern="existing"
130
131	# 生成报告
132	```
133
134	### 4. 报告
135	```markdown
136	评测报告：feature-xyz
137	========================
138
139	能力评测：
140	create-user: 通过 (pass@1)
141	validate-email: 通过 (pass@2)
142	hash-password: 通过 (pass@1)
143	总体： 3/3 通过
144
145	回归评测：
146	login-flow: 通过
147	session-mgmt: 通过
148	logout-flow: 通过
149	总体： 3/3 通过
150
151	指标：
152	pass@1: 67% (2/3)
153	pass@3: 100% (3/3)
154
155	状态：准备好进行评审 (READY FOR REVIEW)
156	```
157
158	## 集成模式
159
160	### 实现前（Pre-Implementation）
161	```
162	/eval define feature-name
163	```
164	在 `.claude/evals/feature-name.md` 创建评测定义文件
165
166	### 实现过程中（During Implementation）
167	```
168	/eval check feature-name
169	```
170	运行当前评测并报告状态
171
172	### 实现后（Post-Implementation）
173	```
174	/eval report feature-name
175	```
176	生成完整的评测报告
177
178	## 评测存储
179
180	在项目中存储评测：
181	```
182	.claude/
183	evals/
184	feature-xyz.md # 评测定义
185	feature-xyz.log # 评测运行历史
186	baseline.json # 回归基线
187	```
188
189	## 最佳实践
190
191	1. 在编码前（BEFORE）定义评测 - 强制对成功标准进行清晰思考
192	2. 频繁运行评测 - 尽早发现回归
193	3. 随时间跟踪 pass@k - 监控可靠性趋势
194	4. 尽可能使用代码评分器 - 确定性优于概率性
195	5. 安全相关需人工评审 - 绝不完全自动化安全检查
196	6. 保持评测快速 - 慢速评测往往不会被运行
197	7. 将评测与代码一同进行版本控制 - 评测是一等公民资产
198
199	## 示例：添加身份验证（Authentication）
200
201	```markdown
202	## EVAL: add-authentication
203
204	### 第 1 阶段：定义 (10 分钟)
205	能力评测：
206	- [ ] 用户可以使用电子邮件/密码注册
207	- [ ] 用户可以使用有效凭据登录
208	- [ ] 无效凭据被拒绝并显示正确错误
209	- [ ] 页面重新加载后会话依然持久化
210	- [ ] 注销后清除会话
211
212	回归评测：
213	- [ ] 公共路由仍可访问
214	- [ ] API 响应保持不变
215	- [ ] 数据库架构兼容
216
217	### 第 2 阶段：实现 (耗时视情况而定)
218	[编写代码]
219
220	### 第 3 阶段：执行评测
221	运行：/eval check add-authentication
222
223	### 第 4 阶段：报告
224	评测报告：add-authentication
225	==============================
226	能力：5/5 通过 (pass@3: 100%)
227	回归：3/3 通过 (pass^3: 100%)
228	状态：准予发布 (SHIP IT)
229	```

People who liked this also viewed

6 picks

Type