modern_ai_for_beginners

我一直想在我的所有的B站系列视频想传递的一个概念是，既要懂代码实现，也要懂数学计算原理，或者反过来，不仅要懂原理，也要会实现； 原理与实践二者互为表里，不可分割。再者来说，实现是相对简单的，原理则是困难的，但是不懂原理，很难讲说深入了，就像不看源码，很难说自己懂这个框架了。

modern AI for beginners

• 目前暂定的路线主要有如下两个分支，这两个分支统一来说都属于 Generative AI（生成式AI，也是某种形式的大一统），这是我对现代式 ai 的最直白最浅显的理解，然后在 multi modality 处汇合；
  • transformer based LLMs
  • diffusion models
  • multi modality
• 似乎目前越来越强的一个趋势，现代式人工智能越来越演变为一种复杂的大数据、深度学习为核心的复杂计算机科学系统工程的艺术；
  • 对一个人全面性的要求越来越高，但要分清主线和支线，支线仅是工具辅助支撑而已；

PyTorch 与深度学习基础

• 技术栈上主要是围绕 PyTorch 展开，如下我的 B 站系列（可能是最早稳定的一个）

  • 经典神经网络模型拓扑结构（pytorch）

• 深度学习

  • Dive into Deep Learning
    • 如果没有路径依赖果断选择 pytorch 版；

Transformers based LLMs

主要是我在 B 站的三个系列

• BERT、T5、GPT
  • 语言模型的基础
• personal chatgpt
  • 大语言模型的全新范式
• pytorch distributed
  • 多级多卡分布式的基础

diffusion models

软件工程与全栈

软件工程是复杂性管理的艺术； 但显然对于现代式人工智能而言，软件工程是工具是手段，而非目标；

• 我的 B 站系列
  • 全栈算法工程师
  • 软硬件知识
• 代码好味道坏味道：重构（第2版）

tutorials based resources

• Natural Language Processing with Transformers
• 强化学习篇
  • openai 强化学习概念拾遗
  • 王树森 DRL
• Neural Network: Zero to hearo - Andrej Karpathy 制作的系列视频, 带你从 0 开始构造自己的 nanoGPT
• Practical Deep Learning for Coders - Jeremy Howard (Kaggel 创始人) 制作的系列课程, 用自顶向下的方式, 从使用预训练模型开始深入到原理, 适合有软件开发经验的人入门