具身智能硬件涵盖多个技术栈:嵌入式软硬件、机械设计、机器人系统集成与传感器等。它们知识面很杂,但共同目标只有一个:把「算法」变成真实世界里稳定可复现的系统。
关于硬件学习,最有效的方式几乎永远是 从实践出发——先做出一个能跑起来的最小系统,再逐步扩展复杂度与可靠性。
嵌入式决定了机器人「神经系统」的下限:通信是否稳定、控制是否实时、驱动是否安全。建议按 入门单片机 → STM32 工程 → 电机驱动 → 嵌入式 Linux 的顺序推进。
| 路线/主题 | 资源 | 链接 | 说明 |
|---|---|---|---|
| 总览路线 | 嵌入式学习路线 | link | 用于建立学习路径与关键词地图 |
| 入门 | 51 单片机 | link | 江科大自化协经典入门 |
| 主流工程 | STM32 单片机 | link | 从外设到工程结构 |
| 驱动关键 | STM32 电机驱动(野火) | link | 控制闭环常见落点 |
| 工程体系 | 野火 STM32 标准库 | link | 更贴近工程写法 |
| 工程体系 | 正点原子 STM32 | link | 资料全,适合查漏补缺 |
| 上位平台 | 韦东山嵌入式 Linux | link | 走向系统级开发与部署 |
小结:
做具身硬件时,嵌入式的价值不在「写出更炫的代码」,而在「系统能稳定跑、延迟可控、驱动可靠」。很多项目后期的崩溃都不是算法问题,而是控制链路与工程细节问题。
机械设计决定了机器人「身体」的能力边界:可达空间、刚度、负载、布线与维护成本等。对于算法同学来说,机械最关键的产出通常是 可制造的 CAD 与 可用于仿真/控制的 URDF。
| 主题 | 资源 | 链接 | 说明 |
|---|---|---|---|
| CAD 入门 | SolidWorks 教学 | link | 面向装配体与工程制图 |
| 工程衔接 | 从 SolidWorks 生成 URDF | link | 用装配体导出机器人模型并进入仿真/控制 |
系统设计关注的是「把多个模块拼成一个可维护系统」:硬件接口、软件架构、标定流程、调试策略、日志与安全机制。建议把系统设计当作「把机器人做成产品」的第一步。
| 资源 | 链接 | 说明 |
|---|---|---|
| 《机器人学简介》(教材 PDF) | link | 质量高,适合系统性阅读 |
| Robotic Systems(Illinois) | link | 偏「系统化机器人学」的组织方式 |
传感器决定了策略「能看到什么」,因此也直接决定了任务的上限:数据里没有的信息,再大的模型也变不出来。具身系统常见的传感器可以按用途分成四类:
| 类别 | 典型器件 | 回答什么问题 | 新人优先级 |
|---|---|---|---|
| 视觉 | RGB 相机、深度相机 | 目标在哪、场景长什么样 | ⭐️⭐️⭐️ 必备 |
| 本体感知 | 关节编码器、IMU | 我自己现在是什么姿态 | ⭐️⭐️⭐️ 通常由本体自带 |
| 力觉 | 关节力矩、六维力/力矩传感器 | 我碰到东西了吗、用了多大力 | ⭐️⭐️ 做接触任务时必需 |
| 触觉 | 视触觉传感器、电子皮肤 | 接触点在哪、是否打滑 | ⭐️ 精细操作与研究方向 |
🌱 建议从「能直接用于闭环」的传感器开始(RGB / 深度 / IMU),把流程跑通后再逐步引入触觉这类高难度模态。触觉数据的采集、标定与泛化难度都远高于视觉,不适合作为第一个项目。
深度相机是具身操作里出镜率最高的传感器。按成像原理主要分三类,选型时的核心权衡是精度、工作距离与对材质的适应性:
| 原理 | 特点 | 常见型号 |
|---|---|---|
| 双目 / 主动立体(Active Stereo) | 近距离精度好、室外也能用;对无纹理表面靠投射散斑补救 | RealSense D4xx 系列 |
| 结构光(Structured Light) | 近距离精度最高;怕强光,室外基本不可用 | RealSense SR300、Orbbec Gemini 系列 |
| 飞行时间(ToF / iToF) | 帧率高、受纹理影响小;边缘易飞点,对反光和吸光材质不友好 | Kinect Azure、Orbbec Femto 系列 |
| 设备/生态 | 链接 | 说明 |
|---|---|---|
| Intel RealSense | SDK|ROS 2 驱动 | 事实上的研究标准,绝大多数开源代码默认支持 |
| Orbbec 奥比中光 | SDK|ROS 2 驱动 | 国内供货与售后更方便,型号覆盖三种原理 |
| Luxonis OAK-D | 文档 | 板载算力,可在相机端直接跑神经网络,省主机资源 |
⚠️ 深度相机的三个常见坑:透明与高反光物体(玻璃杯、不锈钢)几乎必然测不到深度,这是原理性限制而非标定问题;最小工作距离通常在 20~40 厘米,末端相机装太近会全是空洞;RGB 与深度需要对齐(align),否则你按彩色图像素取到的深度值对应的是别的位置。
- 关节力矩感知:现在不少协作臂与人形本体通过电流估计或串联弹性驱动(SEA)提供关节力矩反馈,这是实现阻抗控制与碰撞检测的前提,详见控制篇。
- 六维力/力矩传感器:装在腕部,直接测量末端受到的三轴力与三轴力矩,精度远高于电流估计,插拔、打磨、装配类任务常用,代表厂商有 ATI、宇立仪器、坤维科技等。
- IMU:提供角速度与加速度,是腿式机器人与无人机姿态估计的核心输入;单独使用会随时间漂移,必须与视觉或激光融合(见控制篇的 VIO / LIO 部分)。
触觉是「接触世界」的关键模态,尤其在装配、柔性物体、精细抓取和遮挡严重的场景中,触觉往往比视觉更可靠。整体上触觉硬件路线常见两类:视触觉(Vision-based tactile) 与 电子皮肤(E-skin)。
视触觉通过摄像头观测弹性介质/标记点的形变,把「触觉」转化为视觉信号来估计接触力、形变与接触几何。它的关键设计点通常包括:传感器形状、标记点布局、材料(硅胶/弹性体)以及光照与成像系统。
- 优点:高分辨率、非侵入、易与视觉系统融合
- 缺点:依赖视觉计算、易受光照影响、光学与封装设计复杂
两篇综述覆盖「算法视角」和「结构视角」,建议作为起点:
算法综述
结构综述
电子皮肤通常用柔性材料(压力薄膜、纳米传感网络等)实现大面积触觉,目标是让机器人拥有类似「全身触觉」的能力,用于安全、人机协作与全身接触交互。
- 优点:可大面积覆盖、高灵敏度、可伸缩适配复杂表面
- 缺点:制造与成本较高、数据规模大带来处理挑战、长期稳定性与漂移问题
触觉算法常见落点可以理解为四类:姿态/接触估计、识别与分类、触觉操控技能、统一表征/大模型。
| 方向 | 代表工作 | 链接 |
|---|---|---|
| 姿态/接触估计(in-hand) | 3D Shape Perception from Monocular Vision, Touch, and Shape Priors | link |
| 姿态/接触估计(in-scene) | Fast Model-Based Contact Patch and Pose Estimation… | link |
| 分类/识别 | Understanding Dynamic Tactile Sensing for Liquid Property Estimation | link |
| 分类/识别 | Multimode Fusion Perception for Transparent Glass Recognition | link |
| 触觉操控(装配) | Active Extrinsic Contact Sensing: Peg-in-Hole Insertion | link |
| 触觉操控(技能库) | Building a Library of Tactile Skills Based on Fingervision | link |
| 触觉操控(线缆) | Cable Manipulation with a Tactile-Reactive Gripper | link |
| 触觉操控(精细手部) | Manipulation by Feel: Touch-Based Control with Deep Predictive Models | link |
| 触觉操控(visuotactile) | NeuralFeels with Neural Fields… | link |
| 触觉大模型/统一表征 | Binding Touch to Everything… (CVPR 2024) | link |
数据工具与标准化:TLabel(GitHub)是一个开源的触觉数据标注与处理工具包(pip install tlabel),提供统一的触觉数据格式标准,支持 GelSight、PaXini、Daimon、UniVTAC 等 10+ 传感器适配器,已被 FTP-1 官方推荐。
触觉一直有一个比视觉严重得多的结构性问题:不同厂商的传感器输出格式完全不同(有的是弹性体形变图像,有的是压阻阵列,有的是六维力读数),在一种传感器上训练的模型换个硬件就完全失效。视觉领域有 ImageNet 和统一的 RGB 格式,触觉领域长期没有。
2026 年出现的几项工作正是冲着这一点去的——共同思路是先把异构信号投影到一个与硬件无关的共享表征,再在其上训练策略:
| 工作 | 链接 | 一句话看点 |
|---|---|---|
| FTP-1(Foundation Tactile Policy) | paper|主页|repo | 用约 3000 小时、跨 21 种传感器的数据预训练;不同原理的传感器各用一套编码器,再投影到共享的触觉 Transformer,能迁移到训练时没见过的传感器 |
| 𝒩₀-Foundation | repo | 把每一帧触觉统一表示成传感面上的三轴力场以屏蔽硬件差异;配套开放了数千小时的 OpenNeoData 数据集 |
仿真侧也开始跟进:Genesis 已内置基于 FOTS 的视触觉传感器仿真,这是主流仿真器第一次把触觉当作一等功能提供。
🌱 给想入坑触觉的新人:硬件仍以 GelSight Mini 与 DIGIT 为主流研究选择,两者都有成熟的开源生态。但请做好心理准备——触觉的标定、老化与个体差异都比视觉严重(同型号的两个传感器数据都可能对不上,弹性体用久了还会变形),这也是为什么统一表征会成为这个方向的核心议题。
市面上已有成熟视触觉传感器产品,例如 GelSight。
真机数据是目前具身智能最贵的资源,而采集方式直接决定了数据的规模上限与可用性。所有方案本质上都在同一个权衡上取舍:
动作标注越精确,采集成本越高;采集设备越轻便,越需要额外的动作映射(Retargeting)才能给机器人用。
| 采集范式 | 代表系统 | 链接 | 动机与特点 |
|---|---|---|---|
| 主从遥操作(Teleoperation) | ALOHA / Mobile ALOHA | ALOHA|Mobile ALOHA|视频 | 人操作一套「主臂」,从臂实时复现。动作标注最精确、可直接训练,但需要一人一机实时操作,规模难上去 |
| VR / 动捕遥操作 | Open-TeleVision | project | 用 VR 头显获得第一人称立体视觉与手部追踪,可远程操作人形;沉浸感好,适合双臂与灵巧手 |
| 手持式采集 | UMI(Universal Manipulation Interface) | project|视频 | 手持一个带相机的夹爪直接在真实环境演示,脱离机器人本体采集,成本低、场景多样;代价是要处理本体与视角差异 |
| 外骨骼示教 | AirExo | project | 穿戴与机器人同构的低成本外骨骼,关节角可直接映射,兼顾精度与便携 |
| 灵巧手采集 | DexUMI / 数据手套 | DexUMI|数据手套介绍 | 面向灵巧手与 in-hand 操作,核心难点是缩小人手与机器人手之间的形态差距 |
| 第一人称人类视频 | Ego4D / EPIC-KITCHENS | Ego4D|EPIC-KITCHENS | 放弃精确动作标注,换取极低成本与超大规模,用于学习视觉先验与高层行为结构,通常作为预训练数据 |
🌱 新人怎么选:如果只是想复现论文、验证算法,优先用公开数据集(见基础设施篇),不要一上来就自建采集系统——搭一套能用的采集平台通常比训练一个策略更花时间。真要自己采,最低成本的起点是 LeRobot 生态的 SO-101 主从臂(整套千元级),先跑通「采 50 条 → 训练 → 评测」的闭环,再考虑扩展。
| 公司 | 主营产品 | 说明 |
|---|---|---|
| 松灵 AgileX | PIPER 六轴机械臂 PIKA 数采方案 Cobot Magic 双臂遥操作平台 全部产品(含移动底盘) |
面向教育科研;开源仓库 |
| 宇树 Unitree | 四足机器人开发指南 Go2 机器狗 AlienGo 机器狗 通用人形 H1 通用人形 G1 |
许多产出使用宇树的机器人作为硬件基础 |
| 方舟无限 ARX | X5 机械臂 X7 双臂平台 R5 机械臂 |
适合复现很多经典工作,例如 Mobile ALOHA RoboTwin 松灵底盘 + 方舟臂 |
| 波士顿动力 Boston Dynamics | Spot 机器狗 Atlas 通用人形 |
具身智能本体制造商,从液压驱动转向电机驱动 |
| 灵心巧手 | Linker Hand L30(腱绳驱动) Linker Hand L20(连杆驱动) |
主攻各类灵巧手 |
| 灵巧智能 DexRobot | Dexhand 021 灵巧手 | 19 自由度量产灵巧手 |
| 银河通用 | GALBOT G1 | 专注于具身智能多模态大模型通用机器人研发 |
| 星海图 Galaxea | A1 六轴机械臂 R1-Pro 仿人形机器人 |
软硬件产品均自主研发,专注于打造「一脑多型」 |
| World Labs | 专注于空间智能,致力于打造大型世界模型(LWM),以感知、生成并与 3D 世界进行交互 | |
| 星动纪元 | Star1 人形 XHAND1 灵巧手 |
|
| 加速进化 | Booster T1 人形 | |
| 人形机器人(上海)有限公司 | 青龙机器人 | 全尺寸通用人形机器人,提供开源硬件设计图纸、软件框架代码、算法包和全链仿真工具。 |
| 云深处科技 | 绝影 X30 四足机器人 Dr.01 人形机器人 |
|
| 松应科技 | 具身智能仿真平台供应商 | |
| 光轮智能 | 具身智能数据平台 | |
| 智元机器人 | 远征 A2 人形机器人 远征 A2-W 轮式人形 灵犀 X1 人形机器人 精灵 G1 轮式人形 |
|
| NVIDIA | 具身智能基建公司 | |
| 求之科技 | TOK4 移动主从臂平台 MMK2 移动升降双臂平台 AIRBOT Play 六轴机械臂 |
开发者文档 |
| 穹彻智能 | ||
| 优必选 | ||
| 具身风暴 | 落地具身智能通用按摩机器人 | |
| 众擎机器人 | SE01 PM01 T800 |
|
| 魔法原子 | MagicBot MagicDog |
|
| 帕西尼 | PX-6AX GEN2 触觉传感器 DexH13 GEN2 灵巧手 TORA-ONE 人形机器人 |