Skip to content

fix(benchmark): handle non-object baseline validation - #146

Open
97Three wants to merge 1 commit into
tiammomo:mainfrom
97Three:fix/benchmark-baseline-validation
Open

fix(benchmark): handle non-object baseline validation#146
97Three wants to merge 1 commit into
tiammomo:mainfrom
97Three:fix/benchmark-baseline-validation

Conversation

@97Three

@97Three 97Three commented Sep 8, 2026

Copy link
Copy Markdown

关联 Issue

Closes #144

问题与改动

当 baseline 文件是合法 JSON、但顶层不是 object(例如 [])时,load_benchmark_report() 原本会抛出未被 CLI 捕获的 TypeError,导致命令显示 Python traceback。

本 PR:

  • 新增继承 ValueErrorBenchmarkReportError
  • 对非 object baseline 抛出该异常,使其进入现有 CLI 错误处理;
  • 保留合法 baseline 的现有行为;
  • 增加非法和合法 baseline 的回归测试。

使用专用异常可以避免在 CLI 最外层捕获所有 TypeError,从而掩盖其他程序错误。

验证

$ uv run python -m unittest discover -s tests -p 'test_benchmark.py' -v
Ran 9 tests
OK

$ uv run python -m unittest discover -s tests -v
Ran 609 tests
OK (skipped=1)

$ uvx ruff check .
All checks passed!

$ uvx ruff format --check .
140 files already formatted

$ uv run reposteward --help
通过

$ uv build
成功构建源码包和 wheel

非法 baseline 现在返回退出码 2,并输出:

reposteward: baseline benchmark report must be an object

不再显示 traceback。

风险与兼容性

风险较低。修改仅影响 benchmark baseline 顶层类型错误的异常分类,合法 baseline 的读取和比较行为保持不变。

不涉及数据库迁移、Schema、依赖、凭据、GitHub 写入、Harness、Runner 或性能变化。

自动化辅助

使用 Codex 辅助问题定位、代码实现和测试准备。我已理解相关调用链,检查完整 diff,并确认修复前后的复现结果和测试结果。

Checklist

  • PR 只解决一个已讨论的 Issue,没有捆绑无关改动。
  • 我已检查完整 diff,且没有凭据、账号缓存、数据库、运行日志或本机路径。
  • 我已运行相关测试、完整测试、lint、格式检查和构建,或准确说明未运行项。
  • 新行为有回归测试;无法自动测试时已说明原因。
  • 文档、示例、JSON Schema 和迁移已与行为同步,或不适用。
  • 没有绕过人工提交确认、GitHub 身份校验或隔离验证边界。

Signed-off-by: 97three <2212371308@qq.com>
@97Three
97Three requested a review from tiammomo as a code owner September 8, 2026 10:17
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

fix(benchmark): handle non-object baseline as CLI validation error

1 participant