《自动驾驶笔记 Autopilot Notes》

同步更新：

gitee

github

重点

由于作者水平有限，希望大家积极提交改进意见, 您可按文章撰写规范对相关内容进行修改或新增。我们一起对内容进行整理、完善，确保文档的准确性。

一、内容简介

随着各大科技公司积极布局，自动驾驶成为新的风口。本文旨在总结分享自动驾驶的技术方案，希望帮助大家对相关知识的学习了解。

二、自动驾驶分级（SAE 美国汽车工程协会）

三、架构

自动驾驶系统主要包含三部分：环境感知、决策规划以及运动控制。感知层对车辆周边环境进行感知识别，用于获取环境信息；决策层充当人类驾驶员的角色，主要解决三个核心问题：“我在哪？我要去哪？我该如何去？”；控制层保证各项硬件系统稳定的运行在计算好的最佳设定值上；保证各项子系统的运行维持在最优的区间范围；规避可能性风险，精准调控至最佳路径。

四、目录

1. 基础
|---- 1.1 坐标系
|-------- 1.1.1 坐标系
|---- 1.2 参数
|-------- 1.2.1 相机模型—内参、外参
|---- 1.3 滤波
|-------- 1.3.1 卡尔曼滤波-KalmanFilter
|---- 1.4 图像变换
|-------- 1.4.1 图像变换介绍
|-------- 1.4.2 逆透视变换IPM
|---- 1.5 三维重建
|-------- 1.5.1 NeRF
|---- 1.6 数据集
|-------- 1.6.1 Argoverse
|-------- 1.6.2 nuScenes
|---- 1.7 Transformer
|---- 1.8 NLP自然语言处理
|---- 1.9 神经网络结构搜索(NAS)
|---- 1.10 强化学习
2. 硬件
|---- 2.1 传感器
|-------- 2.1.1 摄像头
|-------- 2.1.2 激光雷达
|-------- 2.1.3 毫米波雷达
|-------- 2.1.4 超声波雷达
|-------- 2.1.5 GPS定位导航
|-------- 2.1.6 IMU惯性传感器
|---- 2.2 计算设备
|---- 2.3 辅助单元
|-------- 2.3.1 V2X
|-------- 2.3.2 黑匣子
|---- 2.4 传感器标定
|-------- 2.4.1 内参标定
|------------ 2.4.1.1 相机内参标定
|------------ 2.4.1.2 张正友相机标定法
|-------- 2.4.2 外参标定
|------------ 2.4.2.1 离线标定
|------------ 2.4.2.2 在线标定
3. 感知
|---- 3.1 2D目标检测
|-------- 3.1.1 车道线检测
|-------- 3.1.2 2D目标检测
|---- 3.2 3D目标检测
|-------- 3.2.1 基于LiDAR的3D目标检测
|-------- 3.2.2 基于摄像头的3D目标检测
|---- 3.3 BEV鸟瞰图
|-------- 3.3.1 LSS
|---- 3.4 Occupany Network
|-------- 3.4.1 SurroundOcc
4. 定位
5. 策略规划
|---- 5.1 预测
|-------- 5.1.1 基于车道序列的预测
|---- 5.2 路线规划
|---- 5.3 轨迹规划
|-------- 5.3.1 笛卡尔坐标下的规划
|-------- 5.3.2 Lattice规划
6. 控制
|---- 6.1 PID控制
|---- 6.2 线性二次调节器（LQR）
|---- 6.3 模型控制预测（MPC）
7. 产品
|---- 7.1 ADAS
|---- 7.2 DMS
8. 工具
|---- 8.1 可视化
|-------- 8.1.1 AVS（Autonomous Visualization System）
|---- 8.2 仿真
|-------- 8.2.1 Carla仿真
|---- 8.3 TensorRT 加速
|-------- 8.3.1 TensorRT安装配置
|-------- 8.3.2 TensorRT加速原理
|-------- 8.3.3 TensorRT源码分析
|---- 8.4 SNPE
|-------- 8.4.1 Snapdragon NPE Runtime
|-------- 8.4.2 AIP Runtime
9. 厂商方案
|---- 9.1 特斯拉 AI Day2022
|-------- 9.1.1 路径以及运动规划算法
|-------- 9.1.2 环境感知算法
|-------- 9.1.3 训练算法、设施、软件
|-------- 9.1.4 数据标注、采集、虚拟化
|---- 9.2 百度阿波罗apollo
|-------- 9.2.1 Apollo 8.0 技术新特性解读
|---- 9.3 Openpilot \