diff --git a/Compiler/AICompiler/README.md b/Compiler/AICompiler/README.md index eb8ec212..86ccdd22 100644 --- a/Compiler/AICompiler/README.md +++ b/Compiler/AICompiler/README.md @@ -4,10 +4,12 @@ ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | 名称 | 名称 | 备注 | | ------ | -------------- | -------------------------------------------------------------------------------------- | | | | | -| AI 编译器 | 01 为什么需要AI编译器 | [silde](./01.appear.pptx), [video](https://www.bilibili.com/video/BV1pM41167KP) | -| AI 编译器 | 02 AI编译器的发展阶段 | [silde](./02.stage.pptx), [video](https://www.bilibili.com/video/BV1QK411R7iy/) | -| AI 编译器 | 03 AI编译器的通用架构 | [silde](./03.architecture.pptx), [video](https://www.bilibili.com/video/BV1qD4y1Y73e/) | -| AI 编译器 | 04 AI编译器的挑战与思考 | [silde](./04.future.pptx), [video](https://www.bilibili.com/video/BV1Hv4y1R7uc/) | +| AI 编译器 | 01 为什么需要AI编译器 | [silde](./01.appear.pdf), [video](https://www.bilibili.com/video/BV1pM41167KP) | +| AI 编译器 | 02 AI编译器的发展阶段 | [silde](./02.stage.pdf), [video](https://www.bilibili.com/video/BV1QK411R7iy/) | +| AI 编译器 | 03 AI编译器的通用架构 | [silde](./03.architecture.pdf), [video](https://www.bilibili.com/video/BV1qD4y1Y73e/) | +| AI 编译器 | 04 AI编译器的挑战与思考 | [silde](./04.future.pdf), [video](https://www.bilibili.com/video/BV1Hv4y1R7uc/) | diff --git a/Compiler/Backend/README.md b/Compiler/Backend/README.md index fcda385e..94741a71 100644 --- a/Compiler/Backend/README.md +++ b/Compiler/Backend/README.md @@ -4,6 +4,8 @@ ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | 名称 | 名称 | 备注 | | ---- | ---------------- | ------------------------------------------------------------------------------------- | | | | | diff --git a/Compiler/Frontend/README.md b/Compiler/Frontend/README.md index d723088e..28fcca3a 100644 --- a/Compiler/Frontend/README.md +++ b/Compiler/Frontend/README.md @@ -6,6 +6,8 @@ AI编译器主要是分为前端优化、后端优化，部分还会有中间优 ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | 名称 | 名称 | 备注 | | ---- | ------------ | --------------------------------------------------------------------------------------- | | | | | diff --git a/Compiler/PyTorch/README.md b/Compiler/PyTorch/README.md index d5c1a715..a569d0a1 100644 --- a/Compiler/PyTorch/README.md +++ b/Compiler/PyTorch/README.md @@ -4,6 +4,8 @@ PyTorch 2.0 是PyTorch捐献给Linux基金会的第一个版本。从PyTorch 1.0 ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | 名称 | 名称 | 备注 | | ----------- | --------------------------- | ------------------------------------------------------------------------------------- | | | | | diff --git a/Compiler/Tradition/README.md b/Compiler/Tradition/README.md index d0efe632..9f0692b7 100644 --- a/Compiler/Tradition/README.md +++ b/Compiler/Tradition/README.md @@ -4,15 +4,17 @@ ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | 名称 | 名称 | 备注 | | ----- | ---------------- | --------------------------------------------------------------------------------------- | | | | | -| 编译器基础 | 01 课程概述 | [silde](./01.introduction.pptx), [video](https://www.bilibili.com/video/BV1D84y1y73v/) | +| 编译器基础 | 01 课程概述 | [silde](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1D84y1y73v/) | | | | | -| 传统编译器 | 02 开源编译器的发展 | [silde](./02.history.pptx), [video](https://www.bilibili.com/video/BV1sM411C7Vr/) | -| 传统编译器 | 03 GCC编译过程和原理 | [silde](./03.gcc.pptx), [video](https://www.bilibili.com/video/BV1LR4y1f7et/) | -| 传统编译器 | 04 LLVM设计架构 | [silde](./04.llvm.pptx), [video](https://www.bilibili.com/video/BV1CG4y1V7Dn/) | -| 传统编译器 | 05(上) LLVM IR详解 | [silde](./05.llvm_detail01.pptx), [video](https://www.bilibili.com/video/BV1LR4y1f7et/) | -| 传统编译器 | 05(中) LLVM前端和优化层 | [silde](./06.llvm_detail02.pptx), [video](https://www.bilibili.com/video/BV1vd4y1t7vS) | -| 传统编译器 | 05(下) LLVM后端代码生成 | [silde](./07.llvm_detail03.pptx), [video](https://www.bilibili.com/video/BV1cd4y1b7ho) | +| 传统编译器 | 02 开源编译器的发展 | [silde](./02.history.pdf), [video](https://www.bilibili.com/video/BV1sM411C7Vr/) | +| 传统编译器 | 03 GCC编译过程和原理 | [silde](./03.gcc.pdf), [video](https://www.bilibili.com/video/BV1LR4y1f7et/) | +| 传统编译器 | 04 LLVM设计架构 | [silde](./04.llvm.pdf), [video](https://www.bilibili.com/video/BV1CG4y1V7Dn/) | +| 传统编译器 | 05(上) LLVM IR详解 | [silde](./05.llvm_detail01.pdf), [video](https://www.bilibili.com/video/BV1LR4y1f7et/) | +| 传统编译器 | 05(中) LLVM前端和优化层 | [silde](./06.llvm_detail02.pdf), [video](https://www.bilibili.com/video/BV1vd4y1t7vS) | +| 传统编译器 | 05(下) LLVM后端代码生成 | [silde](./07.llvm_detail03.pdf), [video](https://www.bilibili.com/video/BV1cd4y1b7ho) | | | | | diff --git a/Frontend/AICluster/README.md b/Frontend/AICluster/README.md index 8b2bc273..4b81fbc9 100644 --- a/Frontend/AICluster/README.md +++ b/Frontend/AICluster/README.md @@ -4,16 +4,18 @@ ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | 编号 | 名称 | 名称 | 备注 | | --- | ----- | ----------------- | ---------------------------------------------------------------------------------------- | | | | | | -| | 分布式集群 | 01 基本介绍 | [silde](./01.introduction.pptx), [video](https://www.bilibili.com/video/BV1ge411L7mi/) | -| | 分布式集群 | 02 AI集群服务器架构 | [silde](./02.architecture.pptx), [video](https://www.bilibili.com/video/BV1fg41187rc/) | -| | 分布式集群 | 03 AI集群软硬件通信 | [silde](./03.communication.pptx), [video](https://www.bilibili.com/video/BV14P4y1S7u4/) | -| | 分布式集群 | 04 集合通信原语 | [silde](./04.primitive.pptx), [video](https://www.bilibili.com/video/BV1te4y1e7vz/) | -| | 分布式算法 | 05 AI框架分布式功能 | [silde](./05.system.pptx), [video](https://www.bilibili.com/video/BV1n8411s7f3/) | +| | 分布式集群 | 01 基本介绍 | [silde](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1ge411L7mi/) | +| | 分布式集群 | 02 AI集群服务器架构 | [silde](./02.architecture.pdf), [video](https://www.bilibili.com/video/BV1fg41187rc/) | +| | 分布式集群 | 03 AI集群软硬件通信 | [silde](./03.communication.pdf), [video](https://www.bilibili.com/video/BV14P4y1S7u4/) | +| | 分布式集群 | 04 集合通信原语 | [silde](./04.primitive.pdf), [video](https://www.bilibili.com/video/BV1te4y1e7vz/) | +| | 分布式算法 | 05 AI框架分布式功能 | [silde](./05.system.pdf), [video](https://www.bilibili.com/video/BV1n8411s7f3/) | | | | | | -| 5 | 分布式算法 | 06 大模型训练的挑战 | [silde](./06.challenge.pptx), [video](https://www.bilibili.com/video/BV1Y14y1576A/) | -| | 分布式算法 | 07 算法：大模型算法结构 | [silde](./07.algorithm_arch.pptx), [video](https://www.bilibili.com/video/BV1Mt4y1M7SE/) | -| | 分布式算法 | 08 算法：亿级规模SOTA大模型 | [silde](./08.algorithm_sota.pptx), [video](https://www.bilibili.com/video/BV1em4y1F7ay/) | +| 5 | 分布式算法 | 06 大模型训练的挑战 | [silde](./06.challenge.pdf), [video](https://www.bilibili.com/video/BV1Y14y1576A/) | +| | 分布式算法 | 07 算法：大模型算法结构 | [silde](./07.algorithm_arch.pdf), [video](https://www.bilibili.com/video/BV1Mt4y1M7SE/) | +| | 分布式算法 | 08 算法：亿级规模SOTA大模型 | [silde](./08.algorithm_sota.pdf), [video](https://www.bilibili.com/video/BV1em4y1F7ay/) | | | | | | \ No newline at end of file diff --git a/Frontend/AutoDiff/README.md b/Frontend/AutoDiff/README.md index bbe11575..6f3ac344 100644 --- a/Frontend/AutoDiff/README.md +++ b/Frontend/AutoDiff/README.md @@ -1,17 +1,19 @@ # Auto Diff 自动微分 -02 自动微分原理文章中我们大概初步谈了谈从手动微分到自动微分的过程，03 自动微分正反模式中深入了自动微分的正反向模式具体公式和推导。实际上 02 了解到正反向模式只是自动微分的原理模式，在实际代码实现的过程，04 会通过三种实现方式（基于库、操作符重载、源码转换）来实现。05和06则是具体跟大家一起手把手实现一个类似于PyTorch的自动微分框架。07最后做个小小的总结，一起review自动微分面临易用性、性能的挑战，最后在可微分编程方面畅享了下未来。 +自动微分系列将会大概初步谈了谈从手动微分到自动微分的过程，03 自动微分正反模式中深入了自动微分的正反向模式具体公式和推导。实际上 02 了解到正反向模式只是自动微分的原理模式，在实际代码实现的过程，04 会通过三种实现方式（基于库、操作符重载、源码转换）来实现。05和06则是具体跟大家一起手把手实现一个类似于PyTorch的自动微分框架。07最后做个小小的总结，一起review自动微分面临易用性、性能的挑战，最后在可微分编程方面畅享了下未来。 ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | | | | | | --- | ---- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------- | | 编号 | 名称 | 名称 | 备注 | -| 1 | 自动微分 | 01 基本介绍 | [silde](./01.introduction.pptx), [video](https://www.bilibili.com/video/BV1FV4y1T7zp/), [article](https://zhuanlan.zhihu.com/p/518198564) | -| | 自动微分 | 02 什么是微分 | [silde](./02.base_concept.pptx), [video](https://www.bilibili.com/video/BV1Ld4y1M7GJ/), [article](https://zhuanlan.zhihu.com/p/518198564) | -| | 自动微分 | 03 正反向计算模式 | [silde](./03.grad_mode.pptx), [video](https://www.bilibili.com/video/BV1zD4y117bL/), [article](https://zhuanlan.zhihu.com/p/518296942) | -| | 自动微分 | 04 三种实现方法 | [silde](./04.grad_mode.pptx), [video](https://www.bilibili.com/video/BV1BN4y1P76t/), [article](https://zhuanlan.zhihu.com/p/520065656) | +| 1 | 自动微分 | 01 基本介绍 | [silde](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1FV4y1T7zp/), [article](https://zhuanlan.zhihu.com/p/518198564) | +| | 自动微分 | 02 什么是微分 | [silde](./02.base_concept.pdf), [video](https://www.bilibili.com/video/BV1Ld4y1M7GJ/), [article](https://zhuanlan.zhihu.com/p/518198564) | +| | 自动微分 | 03 正反向计算模式 | [silde](./03.grad_mode.pdf), [video](https://www.bilibili.com/video/BV1zD4y117bL/), [article](https://zhuanlan.zhihu.com/p/518296942) | +| | 自动微分 | 04 三种实现方法 | [silde](./04.grad_mode.pdf), [video](https://www.bilibili.com/video/BV1BN4y1P76t/), [article](https://zhuanlan.zhihu.com/p/520065656) | | | 自动微分 | 05 手把手实现正向微分框架 | [silde](./05.forward_mode.ipynb), [video](https://www.bilibili.com/video/BV1Ne4y1p7WU/), [article](https://zhuanlan.zhihu.com/p/520451681) | | | 自动微分 | 06 亲自实现一个PyTorch | [silde](./06.reversed_mode.ipynb), [video](https://www.bilibili.com/video/BV1ae4y1z7E6/), [article](https://zhuanlan.zhihu.com/p/547865589) | -| | 自动微分 | 07 自动微分的挑战&未来 | [silde](./07.challenge.pptx), [video](https://www.bilibili.com/video/BV17e4y1z73W/) | +| | 自动微分 | 07 自动微分的挑战&未来 | [silde](./07.challenge.pdf), [video](https://www.bilibili.com/video/BV17e4y1z73W/) | | | | | | \ No newline at end of file diff --git a/Frontend/DataFlow/README.md b/Frontend/DataFlow/README.md index 028743a7..b3a18c29 100644 --- a/Frontend/DataFlow/README.md +++ b/Frontend/DataFlow/README.md @@ -4,13 +4,15 @@ ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | | | | | | --- | --- | --------------- | ------------------------------------------------------------------------------------------- | | 编号 | 名称 | 名称 | 备注 | -| | 计算图 | 01 基本介绍 | [silde](./01.introduction.pptx), [video](https://www.bilibili.com/video/BV1cG411E7gV/) | -| | 计算图 | 02 什么是计算图 | [silde](./02.computation_graph.pptx), [video](https://www.bilibili.com/video/BV1rR4y197HM/) | -| | 计算图 | 03 计算图跟自动微分关系 | [silde](./03.atuodiff.pptx), [video](https://www.bilibili.com/video/BV1S24y197FU/) | -| | 计算图 | 04 图优化与图执行调度 | [silde](./04.dispatch.pptx),[video](https://www.bilibili.com/video/BV1hD4y1k7Ty/) | -| | 计算图 | 05 计算图的控制流机制实现 | [silde](./05.control_flow.pptx),[video](https://www.bilibili.com/video/BV17P41177Pk/) | -| | 计算图 | 06 计算图未来将会走向何方？ | [silde](./06.future.pptx),[video](https://www.bilibili.com/video/BV1hm4y1A7Nv/) | +| | 计算图 | 01 基本介绍 | [silde](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1cG411E7gV/) | +| | 计算图 | 02 什么是计算图 | [silde](./02.computation_graph.pdf), [video](https://www.bilibili.com/video/BV1rR4y197HM/) | +| | 计算图 | 03 计算图跟自动微分关系 | [silde](./03.atuodiff.pdf), [video](https://www.bilibili.com/video/BV1S24y197FU/) | +| | 计算图 | 04 图优化与图执行调度 | [silde](./04.dispatch.pdf),[video](https://www.bilibili.com/video/BV1hD4y1k7Ty/) | +| | 计算图 | 05 计算图的控制流机制实现 | [silde](./05.control_flow.pdf),[video](https://www.bilibili.com/video/BV17P41177Pk/) | +| | 计算图 | 06 计算图未来将会走向何方？ | [silde](./06.future.pdf),[video](https://www.bilibili.com/video/BV1hm4y1A7Nv/) | | | | | | \ No newline at end of file diff --git a/Frontend/Foundation/README.md b/Frontend/Foundation/README.md index c4f4e232..7c04e99d 100644 --- a/Frontend/Foundation/README.md +++ b/Frontend/Foundation/README.md @@ -6,11 +6,13 @@ AI框架基础内容介绍，从AI框架基础（02）去介绍为什么我们 ## 内容大纲 +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + | | | | | | --- | ------ | ---------------- | --------------------------------------------------------------------------------------------------------------------------------- | | 编号 | 名称 | 名称 | 备注 | -| 2 | AI框架基础 | 01 基本介绍 | [silde](./01.introduction.pptx), [video](https://www.bilibili.com/video/BV1he4y1z7oD/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | -| | AI框架基础 | 02 AI框架有什么用 | [silde](./02.fundamentals.pptx), [video](https://www.bilibili.com/video/BV1fd4y1q7qk/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | -| | AI框架基础 | 03 AI框架之争（框架发展） | [silde](./03.history.pptx), [video](https://www.bilibili.com/video/BV1C8411x7Kn/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | -| | AI框架基础 | 04 编程范式（声明式&命令式） | [silde](./04.programing.pptx), [video](https://www.bilibili.com/video/BV1gR4y1o7WT/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | +| 2 | AI框架基础 | 01 基本介绍 | [silde](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1he4y1z7oD/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | +| | AI框架基础 | 02 AI框架有什么用 | [silde](./02.fundamentals.pdf), [video](https://www.bilibili.com/video/BV1fd4y1q7qk/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | +| | AI框架基础 | 03 AI框架之争（框架发展） | [silde](./03.history.pdf), [video](https://www.bilibili.com/video/BV1C8411x7Kn/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | +| | AI框架基础 | 04 编程范式（声明式&命令式） | [silde](./04.programing.pdf), [video](https://www.bilibili.com/video/BV1gR4y1o7WT/?vd_source=26de035c60e6c7f810371fdfd13d14b6) | | | | | | \ No newline at end of file diff --git a/Frontend/Parallel/README.md b/Frontend/Parallel/README.md index 321437bc..2d6f0bb9 100644 --- a/Frontend/Parallel/README.md +++ b/Frontend/Parallel/README.md @@ -4,14 +4,16 @@ ## 内容大纲 -| 编号 | 名称 | 名称 | 备注 | -| --- | ----- | ---------------- | -------------------------------------------------------------------------------------------- | -| | | | | -| 6 | 分布式并行 | 01 基本介绍 | [silde](./01.introduction.pptx), [video](https://www.bilibili.com/video/BV1ve411w7DL/) | -| | 分布式并行 | 02 数据并行 | [silde](./02.data_parallel.pptx), [video](https://www.bilibili.com/video/BV1JK411S7gL/) | -| | 分布式并行 | 03 模型并行之张量并行 | [silde](./03.tensor_parallel.pptx), [video](https://www.bilibili.com/video/BV1vt4y1K7wT/) | -| | 分布式并行 | 04 MindSpore张量并行 | [silde](./04.mindspore_parallel.pptx), [video](https://www.bilibili.com/video/BV1vt4y1K7wT/) | -| | 分布式并行 | 05 模型并行之流水并行 | [silde](./05.pipeline_parallel.pptx), [video](https://www.bilibili.com/video/BV1WD4y1t7Ba/) | -| | 分布式并行 | 06 混合并行 | [silde](./06.hybrid_parallel.pptx), [video](https://www.bilibili.com/video/BV1gD4y1t7Ut/) | -| | 分布式汇总 | 07 分布式训练总结 | [silde](./07.summary.pptx), [video](https://www.bilibili.com/video/BV1av4y1S7DQ/) | -| | | | | \ No newline at end of file +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + +| 编号 | 名称 | 名称 | 备注 | +| --- | ----- | ---------------- | ------------------------------------------------------------------------------------------- | +| | | | | +| 6 | 分布式并行 | 01 基本介绍 | [silde](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1ve411w7DL/) | +| | 分布式并行 | 02 数据并行 | [silde](./02.data_parallel.pdf), [video](https://www.bilibili.com/video/BV1JK411S7gL/) | +| | 分布式并行 | 03 模型并行之张量并行 | [silde](./03.tensor_parallel.pdf), [video](https://www.bilibili.com/video/BV1vt4y1K7wT/) | +| | 分布式并行 | 04 MindSpore张量并行 | [silde](./04.mindspore_parallel.pdf), [video](https://www.bilibili.com/video/BV1vt4y1K7wT/) | +| | 分布式并行 | 05 模型并行之流水并行 | [silde](./05.pipeline_parallel.pdf), [video](https://www.bilibili.com/video/BV1WD4y1t7Ba/) | +| | 分布式并行 | 06 混合并行 | [silde](./06.hybrid_parallel.pdf), [video](https://www.bilibili.com/video/BV1gD4y1t7Ut/) | +| | 分布式汇总 | 07 分布式训练总结 | [silde](./07.summary.pdf), [video](https://www.bilibili.com/video/BV1av4y1S7DQ/) | +| | | | | \ No newline at end of file diff --git a/Inference/Converter/01.introduction.pptx b/Inference/Converter/01.introduction.pptx new file mode 100644 index 00000000..e4f4f60e Binary files /dev/null and b/Inference/Converter/01.introduction.pptx differ diff --git a/Inference/GraphOpt/01.transfer.pptx b/Inference/Converter/02.converter.pptx similarity index 56% rename from Inference/GraphOpt/01.transfer.pptx rename to Inference/Converter/02.converter.pptx index ce90c6d1..fd6f96b3 100644 Binary files a/Inference/GraphOpt/01.transfer.pptx and b/Inference/Converter/02.converter.pptx differ diff --git a/Inference/Converter/03.graphopt.pptx b/Inference/Converter/03.graphopt.pptx new file mode 100644 index 00000000..9e0d50b1 Binary files /dev/null and b/Inference/Converter/03.graphopt.pptx differ diff --git a/Inference/Inference/README.md b/Inference/Inference/README.md new file mode 100644 index 00000000..7a833e4e --- /dev/null +++ b/Inference/Inference/README.md @@ -0,0 +1,17 @@ +# 推理系统 + +推理就是在训练好的模型结构和参数基础上，执行前向传播得到模型输出的过程。相对于训练而言，推理不涉及梯度和损失优化。推理的最终目标是将训练好的模型部署生产环境中，真正让 AI 能够运用起来。推理引擎可以将深度学习模型部署到云（Cloud）端或者边缘（Edge）端，并服务用户的请求。模型训练过程好比是传统软件工程中的代码开发的过程，而开发完的代码势必要打包，部署给用户使用，那么推理系统就负责应对模型部署的生命周期中遇到的挑战和问题。 + +## 课程部分 + +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + +| 名称 | 内容 | 资源 | 备注 | +| ---- | ------------ | ------------------------------------------------------------------------------------- | --- | +| | | | | +| 推理系统 | 01 内容介绍 | [slide](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1J8411K7pj/) | | +| 推理系统 | 02 什么是推理系统 | [slide](./02.constraints.pdf), [video](https://www.bilibili.com/video/BV1nY4y1f7G5/) | | +| 推理系统 | 03 推理流程全景 | [slide](./03.workflow.pdf), [video](https://www.bilibili.com/video/BV1M24y1v7rK/) | | +| 推理系统 | 04 推理系统架构 | [slide](./04.system.pdf), [video](https://www.bilibili.com/video/BV1Gv4y1i7Tw/) | | +| 推理系统 | 05(上) 推理引擎架构 | [slide](./05.inference.pdf), [video](https://www.bilibili.com/video/BV1Mx4y137Er/) | | +| 推理系统 | 05(下) 推理引擎架构 | [slide](./06.architecture.pdf), [video](https://www.bilibili.com/video/BV1FG4y1C7Mn/) | | \ No newline at end of file diff --git a/Inference/Mobilenet/README.md b/Inference/Mobilenet/README.md new file mode 100644 index 00000000..f84448f2 --- /dev/null +++ b/Inference/Mobilenet/README.md @@ -0,0 +1,15 @@ +# 模型小型化 + +轻量化模型，其实也是模型小型化的一种方式。主要思想是针对神经网络模型设计更高效的网络计算方式，从而使神经网络模型的参数量减少的同时，不损失网络精度，并进一步提高模型的执行效率。推理引擎之模型小型化，主要集中介绍模型小型化中需要注意的参数和指标，接着深入了解CNN经典的轻量化模型和Transformer结构的轻量化模型。 + +## 课程部分 + +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* + +| 名称 | 内容 | 资源 | 备注 | +| ----- | ----------------- | ------------------------------------------------------------------------------------- | --- | +| | | | | +| 模型小型化 | 01 推理参数了解 | [slide](./01.introduction.pdf), [video](https://www.bilibili.com/video/BV1KW4y1G75J/) | | +| 模型小型化 | 02(上) CNN模型小型化 | [slide](./02.cnn.pdf), [video](https://www.bilibili.com/video/BV1Y84y1b7xj/) | | +| 模型小型化 | 02(下) CNN模型小型化 | [slide](./02.cnn.pdf), [video](https://www.bilibili.com/video/BV1DK411k7qt/) | | +| 模型小型化 | 03 Transformer小型化 | [slide](./03.transform.pdf), [video](https://www.bilibili.com/video/BV19d4y1V7ou/) | | diff --git a/Inference/README.md b/Inference/README.md index f5ead3c3..e0eebc13 100644 --- a/Inference/README.md +++ b/Inference/README.md @@ -10,20 +10,29 @@ ## 课程部分 -> > *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* +> *建议优先下载或者使用PDF版本，PPT版本会因为字体缺失等原因导致版本很丑哦~* -| | | | | | -| --- | ----- | ------------ | ----------------------------------------------------------------------------------------------- | --- | -| 编号 | 名称 | 内容 | 资源 | 备注 | -| 1 | 推理系统 | 01 内容介绍 | [slide](./Inference/01.introduction.pdf), [video](https://www.bilibili.com/video/BV1J8411K7pj/) | | -| | 推理系统 | 02 什么是推理系统 | [slide](./Inference/02.constraints.pdf), [video](https://www.bilibili.com/video/BV1nY4y1f7G5/) | | -| | 推理系统 | 03 推理流程全景 | [slide](./Inference/03.workflow.pdf), [video](https://www.bilibili.com/video/BV1M24y1v7rK/) | | -| | 推理系统 | 04 推理系统架构 | [slide](./Inference/04.system.pdf), [video](https://www.bilibili.com/video/BV1Gv4y1i7Tw/) | | -| | 推理系统 | 05(上) 推理引擎架构 | [slide](./Inference/05.inference.pdf), [video](https://www.bilibili.com/video/BV1Mx4y137Er/) | | -| | 推理系统 | 05(下) 推理引擎架构 | [slide](./Inference/06.architecture.pdf), [video](https://www.bilibili.com/video/BV1FG4y1C7Mn/) | | -| | | | | | -| 2 | 模型小型化 | 01 推理参数了解 | [slide](./Mobilenet/01.introduction.pdf), [video](https://www.bilibili.com/video/BV1KW4y1G75J/) | | -| | 模型小型化 | 02(上) CNN模型小型化 | [slide](./Mobilenet/02.cnn.pdf), [video](https://www.bilibili.com/video/BV1Y84y1b7xj/) | | -| | 模型小型化 | 02(下) CNN模型小型化 | [slide](./Mobilenet/02.cnn.pdf), [video](https://www.bilibili.com/video/BV1DK411k7qt/) | | -| | 模型小型化 | 03 Transformer小型化 | [slide](./Mobilenet/03.transform.pdf), [video](https://www.bilibili.com/video/BV19d4y1V7ou/) | | -| | | | | | +| | | | | | +| --- | ----- | ----------------- | ----------------------------------------------------------------------------------------------- | --- | +| 编号 | 名称 | 内容 | 资源 | 备注 | +| 1 | 推理系统 | 01 内容介绍 | [slide](./Inference/01.introduction.pdf), [video](https://www.bilibili.com/video/BV1J8411K7pj/) | | +| | 推理系统 | 02 什么是推理系统 | [slide](./Inference/02.constraints.pdf), [video](https://www.bilibili.com/video/BV1nY4y1f7G5/) | | +| | 推理系统 | 03 推理流程全景 | [slide](./Inference/03.workflow.pdf), [video](https://www.bilibili.com/video/BV1M24y1v7rK/) | | +| | 推理系统 | 04 推理系统架构 | [slide](./Inference/04.system.pdf), [video](https://www.bilibili.com/video/BV1Gv4y1i7Tw/) | | +| | 推理系统 | 05(上) 推理引擎架构 | [slide](./Inference/05.inference.pdf), [video](https://www.bilibili.com/video/BV1Mx4y137Er/) | | +| | 推理系统 | 05(下) 推理引擎架构 | [slide](./Inference/06.architecture.pdf), [video](https://www.bilibili.com/video/BV1FG4y1C7Mn/) | | +| | | | | | +| 2 | 模型小型化 | 01 推理参数了解 | [slide](./Mobilenet/01.introduction.pdf), [video](https://www.bilibili.com/video/BV1KW4y1G75J/) | | +| | 模型小型化 | 02(上) CNN模型小型化 | [slide](./Mobilenet/02.cnn.pdf), [video](https://www.bilibili.com/video/BV1Y84y1b7xj/) | | +| | 模型小型化 | 02(下) CNN模型小型化 | [slide](./Mobilenet/02.cnn.pdf), [video](https://www.bilibili.com/video/BV1DK411k7qt/) | | +| | 模型小型化 | 03 Transformer小型化 | [slide](./Mobilenet/03.transform.pdf), [video](https://www.bilibili.com/video/BV19d4y1V7ou/) | | +| | | | | | +| 3 | 模型压缩 | 01 基本介绍 | [slide](./Slim/01.introduction.pdf), [video](https://www.bilibili.com/video/BV1384y187tL/) | | +| | 模型压缩 | 02 低比特量化原理 | [slide](./Slim/02.quant.pdf), [video](https://www.bilibili.com/video/BV1VD4y1n7AR/) | | +| | 模型压缩 | 03 感知量化训练 QAT | [slide](./Slim/03.qat.pdf), [video](https://www.bilibili.com/video/BV1s8411w7b9/) | | +| | 模型压缩 | 04 训练后量化PTQ与部署 | [slide](./Slim/04.ptq.pdf), [video](https://www.bilibili.com/video/BV1HD4y1n7E1/) | | +| | 模型压缩 | 05 模型剪枝 | [slide](./Slim/05.pruning.pdf), [video]() | | +| | 模型压缩 | 06(上) 知识蒸馏原理 | [slide](./Slim/06.distillation.pdf), [video]() | | +| | 模型压缩 | 06(下) 知识蒸馏算法 | [slide](./Slim/06.distillation.pdf), [video]() | | +| | 待更 | | | | +| | | | | | diff --git a/Inference/Slim/01.introduction.pdf b/Inference/Slim/01.introduction.pdf new file mode 100644 index 00000000..cc9e0396 Binary files /dev/null and b/Inference/Slim/01.introduction.pdf differ diff --git a/Inference/Slim/01.introduction.pptx b/Inference/Slim/01.introduction.pptx new file mode 100644 index 00000000..386dd45a Binary files /dev/null and b/Inference/Slim/01.introduction.pptx differ diff --git a/Inference/Slim/02.qat.pptx b/Inference/Slim/02.qat.pptx deleted file mode 100644 index f6d99b09..00000000 Binary files a/Inference/Slim/02.qat.pptx and /dev/null differ diff --git a/Inference/Slim/02.quant.pdf b/Inference/Slim/02.quant.pdf new file mode 100644 index 00000000..9f62855a Binary files /dev/null and b/Inference/Slim/02.quant.pdf differ diff --git a/Inference/Slim/01.quant.pptx b/Inference/Slim/02.quant.pptx similarity index 95% rename from Inference/Slim/01.quant.pptx rename to Inference/Slim/02.quant.pptx index a3caa8d2..c11a0d01 100644 Binary files a/Inference/Slim/01.quant.pptx and b/Inference/Slim/02.quant.pptx differ diff --git a/Inference/Slim/03.qat.pdf b/Inference/Slim/03.qat.pdf new file mode 100644 index 00000000..617b6039 Binary files /dev/null and b/Inference/Slim/03.qat.pdf differ diff --git a/Inference/Slim/03.ptq.pptx b/Inference/Slim/03.qat.pptx similarity index 54% rename from Inference/Slim/03.ptq.pptx rename to Inference/Slim/03.qat.pptx index 3f715dbf..410a8b50 100644 Binary files a/Inference/Slim/03.ptq.pptx and b/Inference/Slim/03.qat.pptx differ diff --git a/Inference/Slim/04.ptq.pdf b/Inference/Slim/04.ptq.pdf new file mode 100644 index 00000000..9c45c6b3 Binary files /dev/null and b/Inference/Slim/04.ptq.pdf differ diff --git a/Inference/Slim/04.ptq.pptx b/Inference/Slim/04.ptq.pptx new file mode 100644 index 00000000..be362185 Binary files /dev/null and b/Inference/Slim/04.ptq.pptx differ diff --git a/Inference/Slim/05.pruning.pdf b/Inference/Slim/05.pruning.pdf new file mode 100644 index 00000000..f6a46ed8 Binary files /dev/null and b/Inference/Slim/05.pruning.pdf differ diff --git a/Inference/Slim/04.pruning.pptx b/Inference/Slim/05.pruning.pptx similarity index 63% rename from Inference/Slim/04.pruning.pptx rename to Inference/Slim/05.pruning.pptx index 240c61de..eb476cc4 100644 Binary files a/Inference/Slim/04.pruning.pptx and b/Inference/Slim/05.pruning.pptx differ diff --git a/Inference/Slim/06.distillation.pdf b/Inference/Slim/06.distillation.pdf new file mode 100644 index 00000000..277fb1d8 Binary files /dev/null and b/Inference/Slim/06.distillation.pdf differ diff --git a/Inference/Slim/05.distillation.pptx b/Inference/Slim/06.distillation.pptx similarity index 85% rename from Inference/Slim/05.distillation.pptx rename to Inference/Slim/06.distillation.pptx index 4fc6bb6a..9afe7f4b 100644 Binary files a/Inference/Slim/05.distillation.pptx and b/Inference/Slim/06.distillation.pptx differ diff --git a/Inference/Slim/cover/01.introduction.png b/Inference/Slim/cover/01.introduction.png new file mode 100644 index 00000000..3ff6ea7d Binary files /dev/null and b/Inference/Slim/cover/01.introduction.png differ diff --git a/Inference/Slim/cover/01.quant.png b/Inference/Slim/cover/01.quant.png deleted file mode 100644 index 78b85e46..00000000 Binary files a/Inference/Slim/cover/01.quant.png and /dev/null differ diff --git a/Inference/Slim/cover/02.quant.png b/Inference/Slim/cover/02.quant.png new file mode 100644 index 00000000..f7b2d98d Binary files /dev/null and b/Inference/Slim/cover/02.quant.png differ diff --git a/Inference/Slim/cover/03.qat.png b/Inference/Slim/cover/03.qat.png new file mode 100644 index 00000000..235e25fe Binary files /dev/null and b/Inference/Slim/cover/03.qat.png differ diff --git a/Inference/Slim/cover/04.ptq.png b/Inference/Slim/cover/04.ptq.png new file mode 100644 index 00000000..bac4da53 Binary files /dev/null and b/Inference/Slim/cover/04.ptq.png differ diff --git a/Inference/Slim/cover/05.pruning.png b/Inference/Slim/cover/05.pruning.png new file mode 100644 index 00000000..9ccd4f98 Binary files /dev/null and b/Inference/Slim/cover/05.pruning.png differ diff --git a/Inference/Slim/cover/06.distillation.png b/Inference/Slim/cover/06.distillation.png new file mode 100644 index 00000000..fa2935b6 Binary files /dev/null and b/Inference/Slim/cover/06.distillation.png differ diff --git a/Inference/Slim/cover/07.distillation.png b/Inference/Slim/cover/07.distillation.png new file mode 100644 index 00000000..88544d7e Binary files /dev/null and b/Inference/Slim/cover/07.distillation.png differ diff --git a/Inference/Slim/cover/cover.psd b/Inference/Slim/cover/cover.psd index 96593899..025930da 100644 Binary files a/Inference/Slim/cover/cover.psd and b/Inference/Slim/cover/cover.psd differ diff --git a/Inference/Slim/images/quant08.graffle b/Inference/Slim/images/quant08.graffle index 853f4439..c60f7321 100644 Binary files a/Inference/Slim/images/quant08.graffle and b/Inference/Slim/images/quant08.graffle differ diff --git a/Inference/Slim/images/quant08.png b/Inference/Slim/images/quant08.png index 19442cdb..1cd475d0 100644 Binary files a/Inference/Slim/images/quant08.png and b/Inference/Slim/images/quant08.png differ diff --git a/Inference/Slim/images/quant11.graffle b/Inference/Slim/images/quant11.graffle index 0a1f70f4..84ae4b0f 100644 Binary files a/Inference/Slim/images/quant11.graffle and b/Inference/Slim/images/quant11.graffle differ diff --git a/Inference/Slim/images/quant11.png b/Inference/Slim/images/quant11.png index a042d2b0..28d38296 100644 Binary files a/Inference/Slim/images/quant11.png and b/Inference/Slim/images/quant11.png differ