Skip to content

Latest commit

 

History

History
104 lines (82 loc) · 6.35 KB

File metadata and controls

104 lines (82 loc) · 6.35 KB

github+banner-20260130

[中文版|English]

Important

2026/01 重要更新

与之前的 v1.0.0-alpha.0 版本相比,FlagScale 代码仓库完成重大重构。与硬件(多芯片支持)相关的代码已经被迁移到 TransformerEngine-FLvllm-plugin-FL 这类插件仓库(Plugin Repository)中。 这些插件基于统一、开源的 AI 系统软件堆栈 FlagOS 构建。 如果你在使用或迁移到比 v1.0.0-alpha.0 更早的版本,请使用代码仓库的 main-legacy 分支。 此分支将在一定时间内继续接受重大缺陷修复以及一些小的更新。

介绍

FlagScale 是 FlagOS 的一部分,而 FlagOS 是一个统一的开源 AI 系统软件堆栈, 通过无缝集成各种模型、系统和芯片技术,打造一个开放的技术生态系统。 通过实现“一次开发、跨多种芯片迁移”,FlagOS 力图充分释放硬件的计算潜能, 破除不同芯片软件堆栈之间的壁垒,进而有效降低解决方案的迁移开销。

FlagScale 是一个综合而全面的软件工具包,设计用来支持大模型的整个生命周期。 构建于若干主流开源项目(例如 Megatron-LMvLLM 等) 之上,FlagScale 为大模型的管理和规模扩展提供一套稳定而强大的端到端解决方案。

FlagScale 的核心目标是跨多种硬件体系结构实现平滑的规模扩缩,同时完成对计算资源极致利用, 提升模型的性能表现。通过为模型开发、训练和部署提供至关重要的组件, FlagScale 力图将自身打磨成为优化大模型工作流的速度与效能时不可或缺的工具套件。

资源

支持列表

模型训练

模型 示例配置文件
DeepSeek-V3 16b_a3b.yaml
Qwen2/2.5/3 235b_a22b.yaml
Qwen2.5-VL 7b.yaml
QwQ 32b.yaml
LLaMA2 7b.yaml
LLaMA3/3.1 70b.yaml
LLaVA-OneVision 7b.yaml
LLaVA1.5 7b.yaml
Mixtral 8x7b.yaml
RWKV 7b.yaml
Aquila 7b.yaml
... ...

伺服、推理

模型 示例配置文件
DeepSeek-V3 671b.yaml
DeepSeek-R1 671b.yaml
Qwen2.5 72b.yaml
Qwen3 8b.yaml
Qwen2.5-VL 32b_instruct.yaml
Qwen3-Omni 30b.yaml
QwQ 32b.yaml
Grok2 270b.yaml
Kimi-K2 1t.yaml
... ...

参与贡献

请加入我们的微信群

开源小助手

授权许可

FlagScale 采用 Apache License (Version 2.0) 授权许可。 本项目中也包含一些使用其他开源授权许可的第三方组件。