课程项目：大模型推理系统

[YdrMaster]

• 项目导师：PanZezhong1725
• 项目目标
• 评分标准
  • 单人完成，在本讨论下跟帖，提交代码地址以及一份 pdf 项目报告（包含项目都有哪些功能以及使用方式）；
  • 通过指标：实现模型推理和 AI 对话；
  • 评优资格：在项目通过的基础上，完成下列拓展中的至少两项：
    1. 混合精度推理；
    2. 可交互的 UI 或网络服务 API；
    3. 多会话管理以及历史会话回滚；
    4. 多线程分布式推理优化，附加性能对比；
    5. 适配一种加速软件栈后端，Nvidia、AMD、国产芯片或 OpenCL、九源后端均可；
    6. 有其他想法可和导师讨论是否可以作为拓展；

[451846939]

https://github.com/451846939/learning-lm-rs 项目地址，md文件在项目地址中的项目报告中
项目报告.pdf

[nanakura]

https://github.com/nanakura/infinitensor-exam-grading/tree/main/learning-lm-rs 项目地址
项目报告

[PanZezhong1725]

请大家避免在报告中粘贴大段代码，重点总结自己的想法思路以及使用的技术，说一说自己做了哪些拓展功能和有待提高的点

[Lfan-ke]

基础项目地址：https://github.com/Lfan-ke/learning-lm-rs

进阶项目（交互UI+多会话+历史会滚）子模块：https://github.com/Lfan-ke/HeXingYiKe

项目报告：https://github.com/Lfan-ke/HeXingYiKe/blob/main/%E9%A1%B9%E7%9B%AE%E6%8A%A5%E5%91%8A.pdf

全损GIF录屏展示：https://github.com/Lfan-ke/HeXingYiKe/blob/main/%E5%85%A8%E6%8D%9F%E7%94%BB%E8%B4%A8GIF%E5%B1%95%E7%A4%BA.gif

[Redemption-ZTX]

项目地址：https://github.com/Redemption-ZTX/LLama-AI-chatbot
项目报告：https://github.com/Redemption-ZTX/LLama-AI-chatbot/blob/main/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E7%B3%BB%E7%BB%9F%E9%A1%B9%E7%9B%AE%E6%8A%A5%E5%91%8A.pdf

[zhouyecs]

项目地址：https://github.com/zhouyecs/learning-lm-rs
项目报告：https://github.com/zhouyecs/learning-lm-rs/blob/main/report.md