Skip to content

ci(benchmark): 在受审查的 CI 中归档 RepoStewardBench 报告 #90

Description

@tiammomo

问题概述

RepoStewardBench v0 已能离线生成版本化 JSON 报告,但仓库 CI 尚未执行并保存该报告,无法形成可下载的跨提交评测历史。

实际结果

PR #89 提供 benchmark CLI、manifest、schema 和 baseline comparison;普通功能变更因安全策略禁止修改 .github/workflows,CI 不会自动生成或归档报告。

期望结果

在对 workflow 高风险路径进行独立审查和授权后,CI 运行完整 RepoStewardBench,并以固定版本 action 保存按 commit 标识的报告 artifact。

复现步骤

查看 .github/workflows/ci.yml;当前只有 lint、format、test 和 build,没有 benchmark report 或 artifact 上传步骤。

验收条件

  • 单独审查并授权精确 workflow 变更,不全局放宽敏感路径
  • CI 使用锁定 Python 环境运行 reposteward benchmark run 并生成 benchmark-report.json
  • 上传 action 固定到完整 commit SHA,报告缺失时失败,artifact 名称绑定 github.sha
  • 不增加 write 权限、凭据或外部网络 benchmark 场景,保留 timing 仅供观察的语义
  • 文档说明 artifact 保留期与 baseline 下载比较流程

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions