cd Multimodal_Agent
pip install -r requirements.txt复制 .env.example 为 .env 并配置:
# Windows
copy .env.example .env
# Linux/Mac
cp .env.example .env编辑 .env 文件,填入你的API密钥:
LLM_API_KEY=your_api_key_here
LLM_BASE_URL=https://api.openai.com/v1
LLM_MODEL=gpt-4-vision-previewpython api_server.py看到以下输出表示启动成功:
============================================================
多模态数据分析师Agent API服务器
============================================================
服务地址: http://127.0.0.1:8000
Web界面: http://127.0.0.1:8000/
============================================================
- 在浏览器中打开
http://127.0.0.1:8000 - 上传图表图片(可选)
- 上传CSV文件(可选)
- 点击"开始分析"按钮
- 等待分析完成,查看报告
# 分析图片和CSV
curl -X POST "http://127.0.0.1:8000/analyze" \
-F "image=@chart.png" \
-F "csv=@data.csv"import requests
# 上传文件并分析
files = {
'image': open('chart.png', 'rb'),
'csv': open('data.csv', 'rb')
}
response = requests.post('http://127.0.0.1:8000/analyze', files=files)
result = response.json()
print(result['report'])gpt-4-vision-preview- 推荐用于图表分析gpt-4-turbo- 通用多模态模型
qwen-vl-max- 通义千问多模态模型qwen-vl-plus- 通义千问多模态模型(更快)
配置示例:
QWEN_API_KEY=your_qwen_key
QWEN_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
QWEN_MODEL=qwen-vl-maxfrom agents.data_analyst_agent import DataAnalystAgent
from core.controller import Controller
controller = Controller()
agent = DataAnalystAgent(
name="Analyst",
controller_reference=controller
)
# 分析图表
result = agent.analyze_chart(image_path="chart.png")
print(result['analysis'])result = agent.analyze_csv(csv_path="data.csv")
print(result['analysis'])result = agent.generate_report(
image_path="chart.png",
csv_path="data.csv"
)
print(result['report'])A: 检查图片格式和大小,建议使用JPG、PNG格式,大小不超过10MB
A: 确保CSV文件使用UTF-8编码,包含表头行
A: 增加超时时间,或使用更快的模型(如qwen-vl-plus)
A: 确保使用支持视觉的模型(gpt-4-vision或qwen-vl系列)
- 查看
README.md了解详细功能 - 查看
agents/data_analyst_agent.py了解Agent实现 - 自定义报告模板和提示词