Skip to content

实现部分回测归档的数据集级增量重试 #9

Description

@liuli195

This was generated by AI during triage.

What to build

消除 partial(部分归档)重试与主规格之间的偏差:当前重试会重新抓取整份回测,只在提交阶段通过 SHA256(摘要)复用相同文件。实现数据集级远端摘要或游标,让重试只补取失败、缺失或变化的数据集,同时保持采集围栏和原子清单替换。

Acceptance criteria

  • 部分清单为每个可复用数据集保存足以判断远端未变化的摘要或游标证据。
  • 重试时验证已有文件摘要,并跳过远端未变化且本地已完整的数据集。
  • 只重新获取 failed、缺失或远端摘要变化的数据集。
  • 任一采集围栏在同步前后变化时不得提交新清单或推进游标。
  • 全部数据集通过后,原子地把部分清单提升为完整清单。
  • 端到端回归证明成功数据集没有重复抓取,失败数据集可以独立修复。

Blocked by

None - can start immediately

Metadata

Metadata

Assignees

No one assigned

    Labels

    P2Medium priority / non-blocking retained issuebugSomething isn't workingready-for-agentReady for an implementation agent

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions