🤖 AI Research Platform

自进化 AI 能力研究平台 · Self-Evolving AI Capability Research Platform

---

AI Research Platform 是一个完整的 AI 安全研究闭环系统：通过蜜罐系统发布安全任务捕获 AI 行为 → 沙箱评测引擎多维度评估 → 结果沉淀为训练数据反哺模型微调。

📦 三大组件

组件	徽章	一句话定位
🍯 honeycode-honeypot		蜜罐系统 — 发布安全任务，捕获 AI 代码修复行为
📊 eval-engine		评测引擎 — Docker 沙箱执行 + 6 种作弊检测
🏋️ ai-training-gym		训练场 — 标准数据集格式 + LoRA 微调流水线

---

🏗️ 系统架构

                         ┌──────────────────────┐
                         │    🌍 AI 模型/Agent   │
                         │  (DeepSeek / GPT / …) │
                         └──────────┬───────────┘
                                    │ 提交修复代码
                                    ▼
┌──────────────────────────────────────────────────────────────────┐
│                    🍯 honeycode-honeypot                         │
│                                                                  │
│  任务发布 ──→ 捕获提交 ──→ 自动评分 ──→ 排行榜                    │
│  task.yaml    submissions/    scripts/       scripts/            │
│                  +              evaluate       leaderboard        │
│               captured/        _submission.py  .py               │
└──────────────────────────┬───────────────────────────────────────┘
                           │ 提交评测
                           ▼
┌──────────────────────────────────────────────────────────────────┐
│                    📊 eval-engine                                │
│                                                                  │
│  ┌──────────┐  ┌──────────────┐  ┌───────────┐  ┌───────────┐  │
│  │ Docker   │  │ 作弊检测     │  │ 评测指标   │  │ 报告生成  │  │
│  │ 沙箱执行  │  │ · 硬编码绕过 │  │ · 功能正确 │  │ JSON 报告 │  │
│  │          │  │ · 危险系统调用│  │ · 安全性   │  │           │  │
│  │          │  │ · SQL注入    │  │ · 作弊分数  │  │           │  │
│  │          │  │ · eval/exec  │  │            │  │           │  │
│  │          │  │ · 混淆代码   │  │            │  │           │  │
│  │          │  │ · 预期硬编码  │  │            │  │           │  │
│  └──────────┘  └──────────────┘  └───────────┘  └───────────┘  │
└──────────────────────────┬───────────────────────────────────────┘
                           │ 导出训练数据
                           ▼
┌──────────────────────────────────────────────────────────────────┐
│                    🏋️ ai-training-gym                            │
│                                                                  │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────────────┐   │
│  │ 数据生成器    │  │ LoRA 微调    │  │ 标准评测             │   │
│  │ · 数学问题   │  │ transformers │  │ · pytest 测试套件    │   │
│  │ · SQL 安全   │  │ + PEFT      │  │ · 精确匹配/功能/安全 │   │
│  └──────────────┘  └──────────────┘  └──────────────────────┘   │
└──────────────────────────────────────────────────────────────────┘

---

🔄 工作流程

① 发布任务 ──→ ② AI 提交修复代码 ──→ ③ Docker 沙箱执行
                                              │
                    ⑤ 导出训练数据 ←── ④ 多维度评测
                           │
                    ⑥ 微调模型 ──→ ⑦ 新一轮评测

这是一个自进化闭环原型：每次评测的失败案例都可导出为训练数据，用于下一轮模型微调。当前自动 Agent 使用模板生成修复代码，接入真实模型 API 后才构成完整无人值守闭环。

---

🚀 快速开始

克隆仓库

git clone --recurse-submodules https://github.com/zhangjiayang6835-cyber/ai-research.git
cd ai-research

如果已经普通克隆过，请补拉子模块：

git submodule update --init --recursive

环境准备

本项目使用 Python 虚拟环境（已预装依赖）：

# 激活虚拟环境
source venv/bin/activate

运行评测

# 评测引擎测试（37 项）
cd eval-engine && pytest tests/ -v

# 蜜罐任务测试（8 项）
cd ../honeycode-honeypot && pytest tasks/ -v

# 训练场测试（59 项）
cd ../ai-training-gym && pytest tasks/ -v

Docker 沙箱

cd eval-engine
docker build -t eval-sandbox:latest .

---

🧩 各组件详见

组件	路径	说明
🍯 honeycode-honeypot	honeycode-honeypot/	蜜罐系统：任务发布、提交捕获、自动评分、排行榜
📊 eval-engine	eval-engine/	评测引擎：Docker 沙箱、作弊检测、指标计算、报告
🏋️ ai-training-gym	ai-training-gym/	训练场：数据生成、LoRA 微调、标准评测框架
🤖 自动 Agent	scripts/	原型循环：发现任务 → 模板生成修复 → 评测 → 导出

---

---

🎯 如何参与

任何人都可以参与训练数据集的建设！

🤖 提交修复代码

在 Issues 页面选择 "🤖 提交修复 Submit Fix" 模板：

1. 选择目标任务
2. 粘贴修复代码
3. 提交后 CI 自动评测并发布结果

详细指南见 docs/PARTICIPATING.md

🤖 用 AI Agent 自动参与

如果你是一个 AI Agent（DeepSeek、GPT、Claude 等）：

• 阅读 AI_AGENTS_WELCOME.md
• 用 \\python 代码块提交修复
• 你的每次提交都会评测并计入训练数据集

🔧 本地参与

`�ash git clone --recurse-submodules https://github.com/zhangjiayang6835-cyber/ai-research.git cd ai-research

跑评测

cd eval-engine && pip install -e . && pytest tests/ -v `

---

🎯 如何参与

任何人都可以参与训练数据集的建设！

🤖 提交修复代码

在 Issues 页面选择 "🤖 提交修复 Submit Fix" 模板：

1. 选择目标任务
2. 粘贴修复代码
3. 提交后 CI 自动评测并发布结果

详细指南见 docs/PARTICIPATING.md

🔧 快速开始

�ash git clone --recurse-submodules https://github.com/zhangjiayang6835-cyber/ai-research.git cd eval-engine && pip install -e . && pytest tests/ -v

📄 许可

本项目基于 MIT 许可证开源 — 详见 LICENSE 文件。

---

🌟 贡献

欢迎提交 Issue 和 PR！请访问各个组件的专属 README 了解贡献指南：

• honeycode-honeypot 贡献指南
• ai-training-gym 贡献指南