advx2025

项目简介

本项目为“星辰平行世界聊天室”及相关性格/形象测试与AI视频对话系统。用户可通过性格测试、小游戏、拍照等方式生成专属形象信息，系统自动保存用户特征 embedding，并支持AI对话、视频生成及相似样本匹配等功能。

---

技术架构

flowchart TD
  subgraph Frontend
    A1[plum2.html<br>Personality/Photo Input] -->|User Info/Photo| B1[localStorage]
    A2[game.html<br>Mini-games Personality Test] -->|Test Result| B1
    B1 -->|POST /plum_info| C1
    A3[test_video.html<br>AI Video Chat] -->|Text/Voice Input| C2
    A3 -->|Click Match Button| C4
    A3 <-->|Video/Answer/Match Result| C2
  end

  subgraph Backend
    C1[/plum_info\nSave user info+embedding to Excel/]
    C2[/chat_and_generate_video\nGenerate AI answer+video task/]
    C3[/video_status\nPoll video generation status/]
    C4[/match_most_similar\nEmbedding cosine similarity match/]
    C5[dataset.xlsx\nAll user samples]
    C6[AI Services/Models\nembedding/Anime/Video/TTS]
    C2 -->|Call| C6
    C1 -->|Read/Write| C5
    C4 -->|Read/Match| C5
    C2 -->|Read/Write| C5
    C3 -->|Query Task| C2
  end

  C6 -.->|Anime avatar/video| C1
  C6 -.->|AI answer/video| C2
  C5 -.->|Most similar sample| C4
  C2 -.->|Video URL| C3

  style Frontend fill:#f9f,stroke:#333,stroke-width:2px
  style Backend fill:#bbf,stroke:#333,stroke-width:2px

Loading

---

主要功能

• 性格/形象采集：支持 MBTI、生日、职业、拍照等多维度信息输入。
• 趣味小游戏：色彩共鸣、图像偏好等小游戏，分析用户性格特质。
• AI视频对话：结合用户信息生成专属 AI 回答与视频，支持文本和语音输入。
• 相似样本匹配：基于 embedding 余弦相似度，智能推荐历史最相似用户样本。
• 动漫化头像/视频生成：集成 Stable Diffusion、TTS 等 AI 服务。

---

快速启动

1. 安装依赖

pip install -r requirements.txt

（需包含 fastapi、uvicorn、openpyxl、numpy 及相关AI依赖）

2. 启动后端

python main_Mopu.py

默认监听 127.0.0.1:10810

3. 访问前端

• 直接用浏览器访问 /static/plum2.html、/static/game.html、/static/test_video.html 等页面。

---

数据流与交互流程

1. 用户在 plum2.html 或 game.html 填写信息/完成测试/拍照，信息写入 localStorage 并 POST 到后端 /plum_info。
2. 后端生成 embedding、动漫化头像，写入 dataset.xlsx。
3. 用户在 test_video.html 输入问题或语音，调用 /chat_and_generate_video，后端结合最新用户信息生成 AI 回答并发起视频生成任务。
4. 前端轮询 /video_status 获取视频生成进度，视频就绪后自动播放。
5. 用户可点击“匹配最相似样本”按钮，前端请求 /match_most_similar，后端用 embedding 余弦相似度匹配历史样本，前端展示双方详细信息。

---

关键技术点

• FastAPI：高性能异步 Web 框架，负责 API 路由、参数校验、静态文件托管等。
• openpyxl：Excel 读写，集中存储所有用户样本及 embedding。
• Numpy：实现 embedding 余弦相似度计算。
• 多模态 AI 服务：文本 embedding、动漫化头像、TTS、视频生成等。
• 前端原生 JS 动画与交互：美观、响应式、无刷新体验。
• 本地存储：localStorage 用于页面间数据流转。

---

常见问题

• AI服务慢/超时：依赖外部API，网络和API限速会影响速度。
• Excel损坏/数据丢失：建议定期备份 dataset.xlsx。
• 本地存储异常：清理浏览器缓存或更换浏览器尝试。

---

贡献与扩展

• 欢迎二次开发、功能扩展或对接更多AI服务。
• 如需定制化开发或技术支持，请联系项目维护者。

---

如需更详细的技术说明，请参考代码注释或技术文档。