Skip to content

Latest commit

 

History

History
123 lines (98 loc) · 85.3 KB

RELEASE_PLAN.md

File metadata and controls

123 lines (98 loc) · 85.3 KB

视频号合集发布清单:从头学人形机器人算法

推荐学习路线图里的 63 篇论文(含 day6 的 3 篇工程基础),共 63 集,按视频号发布顺序排好。已经发布的打勾;每发一集,把那一行的 [ ] 改成 [x]。截至 2026-10-25 已发布 001–035(023 GMR、024 OmniRetarget、025 Expressive WBC、026 H2O、027 OmniH2O、028 MaskedMimic、029 HOVER、030 ExBody2、031 HugWBC、032 HOMIE、033 TWIST、034 TWIST2、035 FALCON,用户确认;026 H2O 2026-10-15 整片重渲后发布,027 OmniH2O 2026-10-16 整片重渲后发布,030 ExBody2 2026-10-20 重渲第 2、10、18 幕后发布,031 HugWBC 2026-10-21 整片重渲后发布,034 TWIST2 2026-10-25 重渲片尾一句后发布,035 FALCON 2026-10-25 重渲第 9、13 幕后发布);下一集为 036 HDMI。

2026-10-04 对照公众号「具身智能研究室」国庆系列《具身智能从入门到精通》day1–3 的「经典脉络」补入 6 篇:Real-World Humanoid Locomotion(day2「换到人形身体」)、H2O 与 MaskedMimic(day3「参考进入闭环」「稀疏输入由谁补全」)、TWIST / TWIST2(day3 遥操作线)、BFM-Zero(day2「让技能可以调用」)。只插在未发布的 011 之后,已发的 001–010 编号不变。

2026-10-05 又对照 day4「移动操作」的「经典脉络」补入 5 篇:FALCON、CHIP(「让接触进入反馈」)与 HDMI、VIRAL、DoorMan(「让物体进入任务」),插在第三季 TWIST2(现 034)之后;同一部分点名的 ULC、SoFTA、SkillBlender 和拓展阅读里的 SteadyTray 列为第三批候选(见「扩展规则」)。已发的 001–012 编号不变。

2026-10-06 又对照 day5「世界模型」的「经典脉络」补入 3 篇:Dreamer(合讲前作 PlaNet)与 UniPi 插在第四季 Cosmos 之前,Cosmos Policy 插在第五季 DreamZero 之前;同一部分点名的 GR-1、VPP、UWM、LingBot-VA、Being-H0.7 列为第四批候选(见「扩展规则」)。已发的 001–015 编号不变。

2026-10-07 对照 day6「工程与实机部署」补入 InEKF、Berkeley Humanoid、ToddlerBot,排在 018 BeyondMimic 之后的 019–021;原 019–060 顺延为 022–063。〔取舍〕保留 017 ASAP → 018 BeyondMimic 的对照,再补状态估计、硬件与部署工具链,最后转入动作数据与重定向。新增三篇已同步进 README 与首页中英文路线图:InEKF 链接现有笔记,两篇硬件论文标注「原文」并链接 arXiv,待建笔记后再切换;PACE 列为优先候选,不占正式编号。

  • 🎬 <paper>:仓库里已有渲染好的配音视频,<paper> 就是本目录 node render.mjs <paper> 用的名字(见 README)
  • 🆕:还没有视频,要新做
  • [x] 只表示已经发布;🎬 只表示已有成片,片尾预告仍需按当前排期核对
  • 每行破折号后是排序依据:A→B 指首页路线图里的连线,其余是笔记里的说法;标〔取舍〕的是排序判断,路线图原文没这么写
  • 已发视频的标题格式:「从头学人形机器人算法系列 (0NN):<论文英文标题>」,英文标题与 _data/papers.json 的 title 一致

第一季 · 仿真里的模仿与技能(已完结)

01 模块「按推荐阅读路线顺序排列」的前 9 篇。

  • 001 PPO(2017)🎬 ppo
  • 002 AWR(2019)🎬 awr
  • 003 DeepMimic(2018)🎬 deepmimic
  • 004 AMP(2021)🎬 amp
  • 005 PHC(2023)🎬 phc
  • 006 ADD(2025)🎬 add
  • 007 ASE(2022)🎬 ase
  • 008 CALM(2023)🎬 calm
  • 009 PULSE(2023)🎬 pulse

第二季 · 走出仿真:生成式策略、Sim-to-Real 与动作数据(已完结)

  • 010 Diffusion Policy(2023)🎬 diffusion_policy — PULSE→DP;01 模块里紧接 PULSE 的就是它
  • 011 SMP(2025)🎬 smp — AMP→SMP、DP⇢SMP;MimicKit 里的算法。〔取舍〕紧跟 Diffusion Policy:它把 AMP 的对抗判别器换成预训练扩散模型的分数,得先懂扩散
  • 012 Domain Randomization(2017)🎬 domain_randomization — DR→OP3 足球、DR→LCP;〔取舍〕先建立后续人形真机工作的 sim-to-real 基础
  • 013 四足地形 · 教师-学生(2020)🎬 quadterrain — DR→四足地形;笔记写明它「适合作为人形学习先修论文」,HOVER、ExBody2、BFM 等 WBC 笔记用到的特权教师 → 学生蒸馏从这里来
  • 014 Real-World Humanoid Locomotion(2023)🎬 realhumanoid — 四足地形→真实世界人形行走;从四足的教师-学生换到全尺寸人形 Digit,因果 Transformer 读观测—动作历史直接出关节目标。〔取舍〕按年份排在 OP3 足球(2023-04)前:先看全尺寸人形怎么走稳,再看小人形踢球
  • 015 OP3 足球(2023)🎬 op3soccer — DR→OP3 足球;2026-10-05 重做成十二幕,片头接 014 的片尾预告
  • 016 LCP(2024)🎬 lcp — DR→LCP;2026-10-05 重做成十幕,片头接 015 的片尾预告(OP3 用输出端滤波,LCP 改成梯度惩罚);同日按「公式太多」的反馈改成以动图为主,重配为 9 分 56 秒
  • 017 ASAP(2025)🎬 asap — LCP→ASAP、ASAP⇢BeyondMimic;BeyondMimic 笔记拿它当「单动作专用,每条动作要单独调 DR / 奖励」的对照;2026-10-06 新做十二幕,片头接 016 的片尾预告(LCP 改策略,ASAP 改仿真),片尾预告 018 BeyondMimic;截至 2026-10-08 已发布(用户确认)
  • 018 BeyondMimic(2025)🎬 beyondmimic — DP→BeyondMimic;笔记把 CALM / PULSE 和 Diffusion Policy 列为它要补足的两类前作;2026-10-06 按 arXiv v4 重做成十二幕,片头接 017 的片尾预告(ASAP 一段动作一套配方 → BeyondMimic 一份配方),2026-10-07 片尾画面与配音的源文件已改为预告 019 InEKF「机器人怎样知道自己当前的姿态和速度」(借第 12 幕「还依赖状态估计」接过去,不说 BeyondMimic 用了 InEKF),同日参考 ASAP 改正火柴人(前踢反关节、侧手翻改成腾空)与几条曲线;2026-10-08 全片重渲为 9 分 47 秒、换进笔记;同日按看片反馈改 VAE 读法(逐字母念)、第 5 幕改成皮带减速器(电机小轮转 5 圈、关节大轮转 1 圈、同向)、第 11 幕说明灰虚线(只加路点代价时穿过障碍)、四处文字出框、SDF / CppAD 各加一句解释,随后以四段并行完成全片重渲(本次交付原片 10 分 9 秒,1080×1920、30 fps、18,282 帧),排版、完整帧数与全片解码检查均通过;截至 2026-10-08 已发布(用户确认)
  • 019 Contact-Aided InEKF(2018 / 2019)🎬 inekf — day6「状态估计先于动作」:融合 IMU、接触与足端运动学,估计身体姿态和速度。〔取舍〕先看 BeyondMimic 的跟踪能力,再补状态估计背景;这是教学关联,不表示 BeyondMimic 采用该论文的 InEKF。day6 对应 RSS 2018 会议版;上游清单收录的是 IJRR 2020 扩展版(标题去掉了 Legged,2019 年挂 arXiv),2026-10-08 以扩展版为准重写笔记、单列两版关系,新做十二幕动画、三个交互演示与配音视频(约 10 分钟),片头接 018 的片尾预告,片尾只预告 020 Berkeley Humanoid;同日按看片反馈换上 Robot_Description_Gallery 新的 Cassie 图(UMich BipedLab 展示模型,灰色),第 2、3、4、6、10 幕的火柴人改成 Cassie 鸟腿(画法同 014 真实世界人形行走的 Digit 下半身,Digit 的腿就是 Cassie 的腿;连杆按 MuJoCo Menagerie 的 Cassie 模型,大腿 : 小腿 : 跗骨 = 0.12 : 0.50 : 0.41 m,跗骨跟着大腿转),只出了第 1–4、6、10、12 幕的改动片段;2026-10-09 再按看片反馈把第 2 幕改成左右脚交替、旁白「C++」连成一个词念,并对照 IJRR 原文逐幕复查,改正第 6 幕 GPS 的归属(世界中心左不变、机器人中心右不变,表 2 / 3)、第 8 幕 QEKF 的宽度按图 6 读图(约为真值一半)、第 10 幕路标可观性(要有已知位置的路标)、第 1 幕激光雷达「怕暗」、第 5 幕图 4 的初始误差(旋转向量 (π/2, π/2, π/2),约 156°)、第 6 幕「靠前 2 cm、高 2 cm」等,第 3 幕竖直分量放大 20 倍显出「多算一倍」,当时只出了改动的片段;截至 2026-10-10 已发布(用户确认)。发布标题用扩展版英文标题(与 _data/papers.json 一致)
  • 020 Berkeley Humanoid(2024)🎬 berkeley_humanoid — day6「仿真与硬件」:硬件、执行器辨识与仿真训练共同设计。LCP 在该平台上验证,属于部署平台关联。〔取舍〕承接状态估计,补上控制命令落到硬件这一环。2026-10-09 新建笔记:以 arXiv v1 为准(上游清单收录的是它,附录表 4–6 也只在这一版),对照 ICRA 2025 版(课题组主页 8 页 PDF)与官方训练代码;论文只说「用简单实验单独测每个执行器的摩擦」,没写台架细节,笔记与视频都按此表述。新做十二幕动画、三个交互演示(减速比与转子惯量、关节的力矩—速度包络与摩擦、窄 / 宽随机化的单关节玩具)与配音视频(11 分 16 秒),片头接 019 的片尾预告,片尾只预告 021 ToddlerBot;2026-10-10 按看片反馈修字幕「M L P」被切成两行(build.py 改为先换成字幕写法再切行),并在 MLP 第一次出现时加一句「多层感知机」的解释,只出了第 1 幕的改动片段;同日旁白里的 EtherCAT 改念 EE-ther-cat(大写的 CAT 会被逐字母念),再按「全局检查物理与逻辑」逐幕复查(分幕并行审查、逐条复核后再查一遍回归),改正第 2–12 幕:单摆一起松手计数、弹簧两端固定随膝压缩、转子与输出同向 9:1、线缆从前面穿进空心轴、从背后穿出、25 kHz 画成实心带、摔倒越倒越快且不再一帧躺平、髋两轴斜 45°、去掉四样分两种理由、库仑(滑动)/ 黏性摩擦与示意测点、「不属于这两类的笼统参数」不随机化、机身 ±1 kg 按躯干折算、命令与步态一致、踢到才推、坡上脚掌贴坡、跳跃走抛物线、安全绳定长等,笔记同步;配音重建为 11 分 35 秒,当时只出了第 2–12 幕的改动片段;同日基于最新合并提交重建配音,并用 8 路并行、24 段分三批完成整片重渲(11 分 35 秒,1080×1920、30 fps、20,854 帧,CRF 19 原片 37.8 MB),逐段帧数、音画时长、全片解码、Chrome 播放、排版与封面检查均通过,已修正 Chrome 回放因全范围标记而偏暗的问题,整片与网页版本统一为有限范围 yuv420p,渲染命令也同步修正;笔记内压缩视频与海报已更新;完整原片和封面已上传百度网盘 /学习/RLPN/BerkeleyHumanoid/,两者回下载的 SHA-256 均与本地一致,2026-10-11 已发布(用户确认)。发布标题用 arXiv 英文标题(与 _data/papers.json 一致)
  • 021 ToddlerBot(2025)🎬 toddlerbot — day6「仿真与硬件」:把校准、数字孪生、遥操作采集与部署工具连成完整平台。〔取舍〕与 Berkeley Humanoid 连着讲,由硬件与仿真对齐走向整套工具链;片尾从遥操作采集引出 022 HumanML3D / 023 GMR 的动作数据与重定向。2026-10-09 新建笔记:以 arXiv v4(CoRL 2025 版)为准,对照 v1(执行器模型从 6 参数改成 9 参数、表 3 全部重测)与官方代码 2.0(50 → 200 Hz、膝去掉平行连杆、rsl_rl);新做十二幕动画、三个交互演示(一台 Dynamixel 在仿真里长什么样、拿掉一个参数 chirp 跟踪差多少、功率因子按身高体重选电机)与配音视频,片头接 020 的片尾预告,片尾只预告 022 HumanML3D「人类动作数据从哪里来」;2026-10-10 按看片反馈把片头的 CoRL 改成一个词写、一个词念(原来逐字母念),整片重渲后换进笔记;同日又按「格式错位」与「多用图少用文字、动效符合物理」两轮反馈逐幕修改,已出 12 幕改动片段,整片待确认后重渲;2026-10-11 已发布(用户确认)
  • 022 AMASS / HumanML3D(2019 / 2022)🎬 humanml3d — AMASS / HumanML3D→GMR;视频讲的是 HumanML3D。2026-10-11 按 ToddlerBot 之后的排期重做:笔记对照 CVPR 正文、补充材料与两个官方仓库逐条核查,改正十余处(片段 012314 的根转角是半角、实际约 −45.6°;根高度存绝对值不是速度;这段是 Eyes_Japan 的一段网球一发、先侧向冲出 2.3 m 再退回;feat_bias 在官方脚本里被除两次、实际放大 25 倍;早停是连续第 4 次不创新低;长度标签实际 9–49;局限分罕见 / 复杂 / 细粒度三类;消融「超过 6%」按相对掉幅读等);讲解动画按「多用图少用文字」从九幕拆成十二幕,骨架换成片段 012314 的真实 22 关节数据,用上正文图 1、4、6 与补充材料图 3、6、8(图 6 的八条长度分布按像素量成读图近似值),每幕最多一条公式;新增三个交互演示(片段 012314 的 263 维、Text2Length 采样、R-Precision 玩具);配音重写为 10 分 59 秒,片头接 021 的片尾预告(人类的动作数据从哪里来、怎样配上文字),片尾只预告 023 GMR(人和机器人骨架不同,怎样把人的动作搬到机器人身上),主动画各幕不预告下一篇;读音用同句合成比 log-mel DTW 核过「量出 / 还剩 / 长短 / 重建」,「L 1 重建误差」「倒计时」两处测不准,换了说法;第 4 幕结尾改稿(#617)后整片 16 段并行重渲 19,779 帧(1080×1920、30 fps、CRF 19,逐段帧数与全片解码已核),网页版 -preset slow -crf 37 -tune stillimage 加 48k 单声道音频压到 11.8 MB 换进笔记,海报由封面缩成 540×960;完整原片(35.1 MiB)和封面已上传百度网盘 /学习/RLPN/HumanML3D/,大小与本地一致;2026-10-11 已发布(用户确认)
  • 023 GMR(2025)🎬 gmr — GMR 论文用 BeyondMimic 作中性训练框架做对比,所以排在它后面;2026-10-11 按 HumanML3D 之后的排期重做:笔记对照 arXiv v1 的 LaTeX 源码与官方仓库逐条核查,改正十余处(第 5 步是换权重、加入所有位置,不是加接触 / 自碰撞约束;两阶段是「全部朝向 + 末端位置」→「全部位置」;速度限位默认关闭、--rate_limit 只管播放;表 I 的读法;TEST_MOTIONS.md 把已成功的动作当成了失败;会议名 README 里没有等);讲解动画从七幕改成十三幕,人和 G1 用 LAFAN1 walk1_subject1 第 920–1003 帧与我们用 mink + MuJoCo 照官方代码跑出的结果(四种设定),第 10、11 幕用论文图 1、图 3;新增三个交互演示(缩放比例滑块、两阶段 IK 玩具、表 I / 表 III 浏览);配音重写为 12 分 5 秒,片头接 022 的片尾预告(人和机器人的骨架不一样,怎样把人的动作搬到机器人身上),片尾只预告 024 OmniRetarget(有接触时怎样把交互也保住),主动画各幕不预告下一篇;整片四段并行渲染。同日按用户建议改用 Robot_Retarget_Online 的模型加载代码把第 3–8、12 幕的 G1 换成 3D 渲染(同一批 qpos 逐帧离线渲染成贴图表),第 12 幕默认姿态改取 BeyondMimic robots/g1.py 的 init_state,旁白只改第 3 幕三处「一行」的读音(按看片反馈念 háng,旁白写「航」、字幕换回),整片重渲;2026-10-12 按看片反馈把第 1 幕「调参」、第 10、13 幕「单独调」改念 tiáo(旁白写「条餐」「单独条」、字幕换回),先出三段确认后再整片重渲;同日 sim2sim 改念 sim to sim、分镜去掉六处压字与越框、第 10 幕图 3(c) 的圈改到腰横滚真正跳变的位置,旧合成地址 403 后按 rany2/edge-tts PR #491 改走 api.msedgeservices.com,整篇重合成为 12 分 2 秒后整片重渲
  • 024 OmniRetarget(2025)🎬 omniretarget — GMR→OmniRetarget,从「只盯关键点」到「保住交互」;2026-10-12 按 GMR 之后的排期重做:笔记对照 arXiv v3 的 LaTeX 源码、项目页与官方 holosoma 代码逐条核查,改正八处(扩增的 79.1% 是在全部扩增数据上训练并评测,82.2% 只评名义动作;interaction mesh 出自 Ho、Komura、Tai 2010;BeyondMimic 作者是 Liao 等;LAFAN1 是 Ubisoft La Forge;IMMA 是给双足人形做的;观测没点名后空翻;8 小时以上 / 9 小时以上 / 8.38 h 三种说法的出处;sub3 身高 1.941 m),并记下代码与论文的差别(速度限位没实现、activate_obj_non_penetration 没被读到、人-物任务只做位姿扩增、只有下身锚定没有钉住初始双脚);讲解动画从七幕改成十二幕,G1 用我们照官方代码在 OMOMO sub3_largebox_003 与 mocap_climb_seq_0 上跑的复现实验(官方 / 关掉不穿透 / 关掉脚粘地、五种扩增、锚定三种设定、平台三档),按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图表;第 1、8、12 幕用论文图 6、图 3、图 1 与图 5;新增三个交互演示(硬约束开关、扩增浏览、表 II 与图 7);配音重写为 12 分 12 秒,片头接 023 的片尾预告(有接触时怎样把交互也保住),片尾只预告 025 的主题(一边稳稳地走、一边用上半身跟着人做动作),主动画各幕不预告下一篇;整片四段并行渲染;2026-10-13 按看片反馈:第 1 幕结尾加一句话解释 SOCP(二阶锥规划:一种凸优化,约束里可以有「向量长度不超过某个值」),表 I 下加一张二阶锥小卡片;第 2 幕在 Delaunay 之后加一句它的规则(外接球里不能再有别的点,所以只连彼此相邻的点),配平面上的外接圆示意;第 3 幕两张点图旁补上人的骨架、箱子和同一帧 G1 的 3D 渲染,用放大镜看手腕;build.py 的字幕切行不再在英文词中间断开(成片里出过「De / launay」「Laplac / ian」);第 8 幕爬平台的 G1 补上手和脚(球形手版 G1 的脚、踝和手只有碰撞网格,导出时被当成不可见跳过,改成没有可视网格的部位用碰撞网格画,三档重渲);第 10 幕表 II 柱子上的数字挪到柱顶上方;第 6 幕俯视图重画成「人朝上」(灰色虚线框是原来的箱子,五种扩增的起点在旁白念到时一个个出现,再画轨迹并回原路线),旁白补一句怎么看这张图;第 10 幕写明打滑时长、接触保持是 0–1 的比例(论文按应有的时长归一化,表头没单位),旁白补一句;第 1、2 幕各延长 3 s、第 6 幕延长 3.6 s,只合成新加或改过的四句,其余旁白原样拼回,整片重渲为 12 分 45 秒;同日全局检查:第 4 幕关掉不穿透那台按帧套圈、写出哪里插进箱子 / 陷进地面,第 5 幕的等高线、红色半平面、信赖域、这一步各配一句标注,迭代条加图例,第 7 幕改成第 0 帧定格(淡影是原始解,箭头标出骨盆和双脚挪了多少),第 8 幕讲换机器人时放大论文图 3,第 9 幕画出策略的输出(关节目标角交给 PD);旁白里有向距离、正运动学、信赖域、雅可比、浮动基第一次出现时用白话交代,改过的 6 句重合成,整片重渲为 12 分 56 秒;封面按现行规则重出(目录最低一行字底 ≤ 1360,旧海报是 1388),海报同步替换

day6 补充集的制作与发布待办

  • 调整 018 BeyondMimic:片尾画面与配音已预告 019 InEKF「机器人怎样知道自己当前的姿态和速度」,全片重渲与验收完成,已发布;017 ASAP 继续预告 018 BeyondMimic。(2026-10-08 更新,用户确认发布)
  • 深化 019 InEKF:把现有起步笔记深化,并核对 RSS 2018 与 2019 扩展版的标题、年份、链接,保留版本关系说明。(2026-10-08:以扩展版为准重写,笔记新增「两个版本是什么关系」一节,并完成十二幕动画与配音视频)
  • 准备并制作 020 Berkeley Humanoid:已复核收录于上游 Hardware Design,在 12 模块建笔记,完成十二幕动画、三个交互演示与配音视频。(2026-10-09)
  • 准备并制作 021 ToddlerBot:已复核收录于上游 Hardware Design,在 12 模块建笔记,完成十二幕动画、三个交互演示与配音视频;片尾从遥操作采集引出「人类动作数据从哪里来」,衔接 022 HumanML3D(其片头「用一句话描述一个动作,机器能不能生成对应的 3D 人体动作」)。(2026-10-09)

第三季 · 全身控制、遥操作与移动操作

  • 025 Expressive WBC(2024)🎬 exbody — PULSE→EWBC、BeyondMimic→EWBC;2026-10-12 按 OmniRetarget 之后的排期重做:笔记对照 arXiv v2 的 LaTeX 源码与官方仓库 chengxuxin/expressive-humanoid 逐条核查重写,改正旧版十余处(一个目标条件策略而不是上下两层;重定向是直接搬关节旋转 + 指数映射,不是逆运动学;数据是 CMU 的 780 段;观测、奖励、训练设置换成原表),并记下代码与论文的出入(参考取 0.1 s 后一帧、ROA 式历史编码器、碰撞与下半身偏离的权重对调、抬脚高度方向相反、project_joints 没被调用、躯干参考取绕 y 的分量、6144 个环境、1043 → 780 段);新做十三幕动画,H1 用我们照官方重定向步骤、拿 CMU 官网 ASF/AMC 重算的四段动作(14_25 挥手、104_41 僵尸走、20_11 边走边击掌、08_07 大步走;原先的 141_16、141_22 腿脚动捕超出 ASF 限位,2026-10-13 换掉),按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图;用上论文图 1、3–9;新增三个交互演示(重定向浏览、奖励计算器、表 IV 与表 V);配音 13 分 17 秒,片头接 024 的片尾预告(一边稳稳地走、一边用上半身跟着人做动作),片尾只预告 026 H2O 的主题(人在摄像头前做动作,机器人实时跟着做),主动画各幕不预告下一篇;整片四段并行渲染。2026-10-13 照 024 的做法全局检查:抽每段旁白末尾的帧,发现分镜的 win() 在 cue 前就淡出,旁白比分镜长时第 1、3、6、9 幕等十几处面板有几秒到几十秒是空的,改成到 cue 才淡出;示意图补标注(第 4 幕表 II 的数字不压短条、第 5 幕放大图 3 的子图并写中文、第 6 幕先讲两类关节再画 T 字与 14 个对应关节、第 8 幕图例挪开曲线、第 10 幕分别圈出图 5(b) 的速度与横滚俯仰、第 12 幕两张图加图例并圈出拳击例外、第 13 幕按图注框出图 1 的四块);旁白里自由度、增益、骨盆、本体感受、特权信息、PD、四元数、正则、PPO 的折扣与裁剪、消融、课程、判别器、MDM 第一次出现时用白话交代,表 IV 的 MEL 写明论文没给单位;整片重渲为 12 分 17 秒(原 11 分 20 秒),封面不变;同日挥手、击掌换成 14_25、20_11,旁白第 6 幕的数字跟着改,整片再渲为 12 分 22 秒。2026-10-14 按看片反馈重做两处结尾:第 5 幕改成「人工撒点(示意)vs 人的数据」的左右对比,第 10 幕改成「图 6 的点怎么来」(左边 H1 挥手、右边站着的 H1 落点,加俯视朝向小圆,交代点按身体朝向记、转身已扣掉);顺带记下论文把 Fu 等人的引用连错了文献。只重渲这两幕、其余按帧号拼接,整片 13 分 17 秒
  • 026 H2O(2024)🎬 h2o — H2O→OmniH2O、H2O→TWIST;下一行 OmniH2O 写的「HOVER 统一 ExBody / H2O / OmniH2O 的命令空间」里,H2O 之前一直没进清单。〔取舍〕和 Expressive WBC(2024-02)同期,按年份排在它后面。2026-10-14 照 025 的做法重做:笔记对照 arXiv v1 的 LaTeX 源码与官方仓库 LeCAR-Lab/human2humanoid 逐条核查重写,改正旧版几处(重定向是拟合形状 14 对 + 重定向 11 对、Adadelta、截断到限位、整段抬到 0.08 m;观测在代码里是「位置差、参考位置、参考速度」、朝向坐标系、参考取下一帧;刚体速度奖励不带平方;训练时的终止是任一连杆超阈值),并记下代码与表 II 的出入;新做十四幕动画,H1 用我们照官方 grad_fit_h1.py 在 CMU 五段动作(14_25 挥手、14_01 拳击、10_02 踢球、07_01 走路、49_06 侧手翻)上重算的位置逆运动学(SMPL 要注册才能下载,换成逐段缩放 CMU 骨架的九个量),按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图;内八用「不改身材」的同一段挥手对照,「对末端不抄角度」用 025 ExBody 的同一段挥手关节角对照;用上论文图 1–7;新增三个交互演示(重定向浏览、奖励计算器、表 III 与表 IV);配音 13 分 27 秒,片头接 025 的片尾预告(人在摄像头前做动作,机器人实时跟着做),片尾只预告 027 OmniH2O 的主题(VR 头显、头和双手三个点、遥操作数据训自主策略),主动画各幕不预告下一篇;整片四段并行渲染。2026-10-15 按看片反馈:第 4 幕把人体骨架半透明地叠到两台 H1 上(左本来的身材、右改过的身材),第 5 幕补 Adam / Adadelta 各一句话(步长按 PyTorch 默认参数算);build.py 加 --reuse,只合成新加的一句,只重渲这两幕、其余按帧号拼接,整片 13 分 49 秒;同日第 8 幕「66 加 72,138 维」被 TTS 当成千分位念成七万两千一百三十八维,改成「66 加 72 等于 138 维」,用 edge-tts 的 WordBoundary 把全篇 78 句查了一遍,只有这一处,只重渲这一句
  • 027 OmniH2O(2024)🎬 omnih2o — OmniH2O→HOVER;HOVER 统一的就是 ExBody / H2O / OmniH2O / HumanPlus 各自的命令空间。2026-10-15 照 026 的做法重做:笔记对照 arXiv v1 的 LaTeX 源码、PMLR 定稿与官方仓库 LeCAR-Lab/human2humanoid 逐条核查重写,改正旧版十余处(学生观测是 3 个点 × 3 项 = 27 维目标加 25 步历史、共 1665 维,教师 913 维;DAgger 不要动捕;表 2 真机误差 87.33 → 47.94 mm),并记下代码与论文的出入(抬脚奖励在代码里是落地时罚 $-2500\max(0.25-h, 0)$、课程每次乘 $1 \pm 10^{-5}$、阈值 50 / 120、头的目标截到 1 m)和表 3 与附录表 17 对不上的两处;新做十七幕动画,H1 用官方样例 stable_punch.pkl 的左手出拳(样例本身就是站姿版),蹲姿版与原始重定向是我们照论文描述做的,按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图;用上论文图 1、3–11 与官方 README 的硬件图;新增三个交互演示(三个点浏览器、抬脚奖励与惩罚课程、表 1–3);配音 13 分 25 秒,片头接 026 的片尾预告(VR 头显、头和双手三个点、遥操作数据训自主策略),片尾只预告 028 MaskedMimic 的主题(随机遮掉目标,一个策略补全全身),主动画各幕不预告下一篇;整片四段并行渲染。2026-10-16 按看片反馈:片头「还能拿遥操作数据」被读成「拿遥,操作数据」(「遥」后面 240 ms 没声音),改成「还能把遥操作数据拿来训练」,全篇十处「遥操作」用基频跟踪量过,都在 50–80 ms;全局查「快压住」(check_layout.mjs story near,3px),修了第 3–8、10、16 幕的贴边与贴字(第 5 幕的 120、40 贴着右栏);第 10、14–17 幕的真机画面换成项目页视频剪的 10 段片段(kit.js 加 svgClip,render.mjs 转 VP9、逐帧 seek,另加 chunk 分段模式),先出改动的几段给用户看;同日片头「只跟头和双手」被切成「跟头」,改成「只跟踪头和双手」;用户确认后用 render.mjs chunk 四段并行整片重渲 24,136 帧(13 分 25 秒),网页版 15.1 MB。发布后(同日)第 9 幕「更新学生」那条虚线只画了一半、没有箭头也没说明,改成从损失连到学生的虚线箭头(「梯度回传 / 更新学生」),旁边的实线标「学生自己的 a_t」;旁白没变,只重渲第 9 幕(帧 11,340–12,546),其余按帧号拼接上一版的分段,网页版跟着换
  • 028 MaskedMimic(2024)🎬 maskedmimic — MaskedMimic→HOVER;仿真角色上「随机遮掉部分目标」的统一控制,HOVER 的 mode mask + sparsity mask 把同一个问题搬到人形。〔取舍〕夹在 OmniH2O(固定头手三点)和 HOVER 之间,正好对照「固定接口」与「任意掩码」。2026-10-16 照 027 的做法重做:笔记对照 arXiv v1 的 LaTeX 源码与官方仓库 NVlabs/ProtoMotions(v2.3 标签与 v3 主分支)逐条核查重写,补全或改正旧版几处(物体还有 6 维朝向、共 31 维;路径跟随给头的位置和朝向;KL 调度、网络尺寸、64 维潜变量、12 维约束、掩码的全部概率按附录原文),并记下 v2.3 代码与论文的出入(空白概率 0.1、文字可见 0.5、历史 120 步取 15 帧、全局旋转系数 10、能量权重 1e-5、损失是动作均方误差);新做十八幕动画,角色用 ProtoMotions 自带的官方样例 smpl_humanoid_sit_armchair.motion(SAMP 的坐扶手椅)按 SMPL 角色的 MJCF 几何离线渲染成 3D 贴图,扶手椅用官方 armchair.obj;第 1、8、14–18 幕嵌入项目页视频剪的 10 段片段,用上论文图 1、3、4、5a;新增三个交互演示(掩码浏览器、结构化掩码采样器、表 1–6);配音 14 分 2 秒,片头接 027 的片尾预告(随机遮掉目标,一个策略补全全身),片尾只预告 029 HOVER 的主题(把掩码式的多模式控制搬到真实的人形机器人),主动画各幕不预告下一篇;用 WordBoundary 把全篇 96 句切词查了一遍,改了「上任」「从先验」「上照」三处粘词,「残差」照 ASAP 写「残插」;整片四段并行渲染 25,269 帧,网页版 16.7 MB。2026-10-17 按看片反馈:第 8 幕沙发片段围着沙发放大、铺满左框;第 3 幕图 3 按块放大;项目页的 2 × 2 拼图改成一次放一个(seqClip);图 1、图 5a 在对应的一段铺满整个宽度(第 2 幕最后一句旁白拆成两句);第 9 幕 KL 读数停在 0.363;字幕与分镜里的公式改用 KaTeX、中文与字母数字之间补空格;整片重渲 25,287 帧,网页版 16.8 MB。同日第三轮:3D 地面从一条线改成淡的 0.5 m 网格;第 8 幕先一句话介绍 VAE;第 10 幕 KL 系数的点沿曲线扫过并显示读数;要放大的沙发是第 3 幕图 3 第三块里的小图(从原位放大成 PDF 里的原图),第 8 幕沙发片段恢复原样;旁白「表 2」写成「表二」;表 6 标明是坐上椅子的成功率;整片重渲 25,807 帧(14 分 20 秒),网页版 17.4 MB。同日第四轮:对照论文 LaTeX 与 v2.3 代码全局核对旁白、字幕与分镜(学生只给 6 个部位、表 2–6 写明成功率、论文没写的标成推测),第 9 幕按「推理时只用先验 / 训练时用编码器」重写,第 4、10、11、12 幕的压字与越出画面修掉;整片重渲 27,253 帧(15 分 8 秒),网页版 18.4 MB。2026-10-18 按看片反馈:第 1 幕先以 2 倍速完整放一遍城堡片段(爬坡、挥手、碎石地、坐王座)再换以前的工作;换幕淡入时片段时间为负、循环片段绕到片尾闪一下的问题在 kit.js 与 bundle 里一起修掉(第 1、14、16、18 幕);第 2 幕组合模式换成项目页片段,第 4 幕居中;只重渲改过的帧段再按帧号拼接,网页版 18.5 MB;同日第 14 幕两段侧手翻原先剪在源视频 0–5 s、没剪到翻的那一下,改剪 5.5–7.0 s 前后,只重渲第 14 幕
  • 029 HOVER(2024)🎬 hover — EWBC→HOVER。2026-10-16 照 027 的做法做:笔记对照 arXiv v2 的 LaTeX 源码与官方仓库 NVlabs/HOVER(Isaac Lab 版)逐条核查重写,记下代码与论文的出入(模式掩码代码里是从四种模式里均匀挑一个、稀疏掩码默认关且 README 说会有动作歧义、默认训 OmniH2O 专才、H2O 模式实际 12 个点、掩码本身拼进观测、学生 1782 维、奖励里没有根部速度和根部旋转、DAgger 不带平方),和图 3 与表 III 对不上的一处(OmniH2O 专才的根部旋转图上 0.250、表里平均 0.167);新做十六幕动画,H1 沿用 026 H2O 重算的 CMU 07_01 走路(同一张贴图),23 个点用 HOVER 官方 h1.xml 做正运动学,身上的关键点 / 关节角 / 根部按论文图 1 的蓝、黄、紫叠在上面;用上论文图 1–5,第 6、11、12、14、15 幕嵌了项目页视频剪的 8 段片段(仿真 3 段、真机 5 段,切模式的标签按视频字幕换掉的时刻标);新增三个交互演示(掩码浏览器、图 3 / 图 4 雷达图、表 III–V);配音初版 12 分 17 秒,新合成地址连续 429,整篇改用旧地址合成。2026-10-17 合并 main 上做好的 028 MaskedMimic 后,片头改成接它的片尾预告(把这种掩码式的多模式控制搬到真实的人形机器人上),并照 MaskedMimic 的做法全局核对旁白、字幕与分镜:数字没有错,改的是说法与出处——通才更好的假设按原文(平衡、像人的动作、精确的肢体控制)、图 1 右边的虚线框是掩码、H2O 的 8 个点写明肩肘手踝、MHC 只有关节角和根部、第 5 幕灰色骨架写明是 CMU 骨架逐段缩放的替身(没用 SMPL)、README 的整个 AMASS「最多」4 天、图 3 不是处处包住(根部速度一轴专才更好或持平)、图 4 是全身的误差(和表 IV 只算在跟的点不同)且根部 RPY 有两处两位小数持平、掩码进观测的理由引代码注释、稀疏全关的 1/8 前提是打开稀疏,「教师多根部两项的原因」「只给一只手时专才吃力」「真机误差小是因为只测站立」标成我们的理解 / 推测;字幕公式改走 KaTeX、中英文之间补空格;第 11、12 幕的仿真片段下面逐台标出模式;重渲后配音 13 分 11 秒。片尾只预告 030 ExBody2 的主题(速度和关键点分开跟、先筛掉做不到的动作),主动画各幕不预告下一篇。2026-10-18 拿到 AMASS / SMPL 账号:用官方 human2humanoid 的 grad_fit_h1_shape.py、grad_fit_h1.py(Python 3.10 环境、代码未改)以 SMPL 在 AMASS 的 CMU 07_01 上重算走路(同日先用移植版出过一版,关节角对浮点舍入敏感、和官方差到 0.13 rad,换成官方输出后再整片重渲,旁白不变;同日看片反馈第 1、2 幕脚有跳变——human2humanoid 的输出本身膝盖顶限位、髋偏航来回翻,改用 PHC 里同一作者的新版脚本(缩放、正则、时间平滑)重算,循环只放一个步态周期,第 5 幕三句旁白按新数字改、整片重渲),H1 贴图换成 assets/img/papers/hover/h1_3d/ 的新一张,第 5 幕的灰色替身骨架换成真实的 SMPL 人体(β = 0 → 拟合后的 β′,β′ 有一维到 −37.2(human2humanoid 版是 −42.5)、网格不像人,如实画出),具体实例的数字跟着换;第 5 幕第 2、3、5 句旁白重写,整篇用旧地址重新合成(上一版的 TTS 缓存不在容器里),配音 13 分 17 秒,整片四段并行重渲。2026-10-19 按看片反馈:第 2 幕「专才容易过拟合」被念成「容易过、拟合」(WordBoundary 里「过」拖了 0.25 s),改成「专才则容易对自己的奖励和训练环境过拟合」(「过」0.08 s、贴着「拟合」),--reuse 只重合成这一句,整片四段并行重渲;同日看片问第 5 幕人体的髋为什么没像 H2O 那样分开:PHC 让 SMPL 的髋对 H1 的 hip_yaw_link(两侧相距 0.175 m),H1 的腿到髋俯仰(0.406 m)才分开,拟合后 SMPL 的两髋 0.14 → 0.16 m、两踝 0.18 → 0.31 m(拟合用的站姿),H2O 论文要的是「两脚之间的大间距」,H2O 那一期髋放大 2.2 倍是 CMU 骨架替身只能这么改,所以不改;用户看后要求加标注:第 5 幕右栏补两行不配音的「拟合用的站姿:两踝 0.18 → 0.31 m(H1 0.41 m)」「两髋 0.14 → 0.16 m:对的是 H1 的髋偏航(0.175 m)」,只重渲第 5 幕。同日用户要求「用 AMASS 源数据和原方法,只重定向需要的片段,所有实验尽量贴合原作」:照 HOVER 的 retarget_h1.sh(human2humanoid 两个脚本 + HOVER 的 grad_fit_h1.patch,--motions-file 只列 CMU/07/07_01_poses.npz)重跑,输出和之前的官方版逐字节相同,撤掉 PHC 版;把这一段截成更短的片段单独重定向也一样会跳,所以照原样放,第 5 幕旁白第 3 句补上「每一帧分开求解……支撑腿的膝盖常顶在反向限位,脚会一帧一跳」、第 5 句写明照 HOVER 的流程只处理这一段动作,右栏标注换成原方法的数(两踝 0.18 → 0.33 m、两髋 0.14 → 0.175 m);循环只放第 15–30 帧一个步态周期;整片四段并行重渲。同日又按看片反馈改了「挑」(单用念成 tiǎo,一律写「挑选」)、「数值」、expressive 的译法(「表达性」,不是「表情」)、第 14 幕的换掩码时间轴;看片后用户要求走路画面换回没有跳变的 PHC 版,第 5 幕的数字、标注(两踝 0.18 → 0.31 m、两髋 0.14 → 0.16 m)和旁白第 2、3、5 句跟着恢复,循环仍只放一个步态周期(第 17–32 帧),笔记记下原流程重跑的结果;整片四段并行重渲。同日按「全篇检查」:第 2 幕论文图 2 铺满卡片并框出三块,第 8 幕图 2 例子、第 11 幕图 3 放大,第 15 幕两段片段加换掩码时间轴,第 10 幕标签跟着箭头出现;对照 v2 LaTeX 与官方代码逐条核对:「教师是上限」改掉(HOVER 的上身关节误差比教师低)、第 5 幕写明 16 对点与时间平滑是 PHC 版的做法、局限标明哪些是论文结论哪些是我们的观察、专才赢加速度 3/4 种模式与根部速度 2/4 种,笔记改 MHC 全称、存活率、控制延迟单位;「4 只」「切换模式」「还得」改读;整片四段并行重渲(13 分 56 秒)
  • 030 ExBody2(2024)🎬 exbody2 — EWBC→ExBody2。2026-10-18 照 029 的做法做:笔记对照 arXiv v2 的 LaTeX 源码逐条核查重写(v1 也读了源码,主线和数字都不一样,差别写进附录 D),官方没有开源代码;记下几处出入:速度方向的奖励 exp(−4cos) 按字面是反的(推测原意 1 − cos)、表 XI 去掉 DAgger 一行和表 II 的 ExBody† 一行七个数相同、图 4 和表 II 差几位小数、论文写 CMU 1,919 段而 AMASS 的 CMU 是 2,082 段、表 IV 的专才优势不随难度单调增加。新做十八幕动画:G1 的动作是用 ASAP 开源的 fit_smpl_shape.py、fit_smpl_motion.py(代码未改)以 SMPL 在 AMASS 的 CMU 上重定向的八段(大步走 08_07、挥手 141_16、Macarena、扭摆舞、弯腰下蹲、侧手翻、侧手翻接后空翻、跳起踢腿转身),按 Robot_Retarget_Online 的材质离线渲染成七张贴图表;第 7、8 幕用同一段大步走对比全局 / 局部关键点(机器人只走到 90% 的速度、每 1 s 拉回一次都是假设);用上论文图 1、2、5、6、7,第 1、3、5、8、13、15、17 幕嵌了项目页视频剪的 8 段片段;新增三个交互演示(全局 vs 局部关键点、e(s) 与阈值、表 II–IV / X / XI);配音 16 分 27 秒,旁白整篇走旧合成地址,按 WordBoundary 切词改掉「筛 | 掉下 | 半身」「误 | 差不如」「筛数 | 据」几处。2026-10-19 按看片反馈:expressive 统一译作「表达性」(G^e 叫「表达目标」,不说「表情」);12 个关键点写成推测并给出依据(36 维 = 12 × 3,ExBody 的上身 6 点加对称的下身 6 点);ASAP 的重定向照搬 SMPL 的根部高度、脚会离地,大步走、Macarena、扭摆舞、弯腰下蹲每帧把网格最低点挪到地面,原地动作来回播(第 10 幕中间框的根节点不再上下漂);第 4 幕加右肘放大镜、第 12 幕加图例、第 11 幕先按数据集顺序打分再排序;旁白「挑」写「挑选」、表号写「表二」(「表 2 里」会念成「两里」)、「从图上量」念 liáng;十处要点改掉单字掉行;配音 17 分钟,整片重渲。2026-10-20 按看片反馈:12 个关键点的推测补上前作的代码依据(ExBody 的 h1_mimic.py 第 78–82 行定义了左右髋、膝、踝、肩、肘、手 12 个关键体,只用上身 6 个);第 18 幕逐条讲清没说清的地方(方法里没写的三处、速度方向那一项、对不上的数,左边换成会动的图),去掉和片尾重复的三句话总结,「表二对不上」会念成「两对」改掉,配音 17 分 43 秒、整片重渲;有视频的笔记补齐项目页链接、修正几篇视频的大小;第 10 幕原先的弯腰下蹲、扭摆舞是 ASAP 的原输出,脚斜到 47–49°、重心大半时间落在脚外,换成只把踝关节放平的左右扭腰、小鸡舞(第 2、18 幕的 Macarena、跳舞专才跟着换),只重渲第 2、10、18 幕再按帧号拼接,网页版 20.6 MB;封面补上 arXiv 2024。片尾只预告 031 HugWBC 的主题(一个策略多种步态,还能改步频和抬脚高度),主动画各幕不预告下一篇
  • 031 HugWBC(2025)🎬 hugwbc — EWBC→HugWBC;025、029–031 组内按年份排。2026-10-18 照 029 HOVER 的做法做:笔记对照 arXiv v3 的 LaTeX 源码与官方仓库 apexrl/HugWBC(eb831af)逐条核查重写,改正旧版几处(对称损失只约束策略、干预动作是均匀噪声而不是动作库、单脚跳也用对称损失、没有「单脚跳拖累走路」的实验),并记下代码与论文的出入(站立相位置 0、生效的抬脚奖励是三角形目标加 0.07 m 踝高、估计器只估线速度、干预每 30 步重抽且 random_switch_disturb 没被调用、正则奖励有 0.2 起步的课程、没有单脚跳)和论文里对不上的几处(表 I 接触奖励少了负号、表 V 的单位、表 X 两组数重复);新做十六幕动画,H1 是我们按命令和式 (8) 的目标抬脚轨迹摆的运动学示意(Menagerie 的 unitree_h1 正运动学、Robot_Retarget_Online 的材质离线渲染成 6 张贴图),用上论文图 1–6、图 8,第 1、13、15 幕嵌了项目页剪的 5 段片段;新增三个交互演示(步态实验台、干预实验台、表 III–VI / X / XI);配音 15 分 46 秒,ExBody2(030)还没做,片头不接它的预告、只从 HOVER 讲起,片尾只预告 032 HOMIE 的主题(同构外骨骼加脚踏板的驾驶舱),主动画各幕不预告下一篇;用 WordBoundary 把全篇 86 句切词查了一遍,改了「不干预训」「乘行为」「放相位」「学上身」「最差 / 变差」和两处「遥操作」;整片四段并行渲染 28,388 帧(每段 7,097 帧、683–771 s),音视频 946.27 / 946.24 s,-crf 37 压到 17.5 MB,-crf 19 原片 55.9 MiB,按关键帧 -segment_times 320,640 无损切成 22.5 / 16.0 / 17.4 MiB 三段交付。2026-10-20 合并 main 后照 029 HOVER、030 ExBody2 的看片反馈全篇核对:片头改接 ExBody2 的片尾预告;旁白里的表号与读数念中文数字,换掉「挑」「数值」「还得」「切换模式」;要点框和字幕逐行查单字成行、行首标点,图片和片段不放大;第 1 幕放整张图 2、讲到哪个模块框出哪块,第 4 幕加图 3,第 14 幕放大雷达图,图 8 走路图从矢量图按 1.5 倍重新导出、去掉图 4;第 16 幕改列论文里对不上的几处、不再重复片尾总结,第 11 幕补上单脚跳低速误差反而比跳小;片头 / 封面的论文信息不再拆开机构名,片尾「下一篇」不再把「遥操作」拆两行。配音 16 分 8 秒,整片四段并行 29,042 帧(片头、片尾改完后各重渲一段按帧号拼回),音视频 968.06 / 968.07 s,-crf 37 压到 17.7 MB,原片 55.3 MiB,按关键帧 -segment_times 330,660 切成 21.5 / 16.6 / 17.2 MiB 三段交付。2026-10-21 看片反馈:片头「走、跳、站是同一个策略」里的三个单字几乎没合成出声音,改说「走路、跳跃和站立,用的是同一个策略」,只重合成这一句、重渲片头 1,120 帧,其后画面按帧号沿用,整片 968.39 s,网页版 17.7 MB。同日看片反馈:第 5 幕数据流向的圆点从方框里的字上穿过、竖线压字,第 7 幕「由期望接地」被切成「由期 | 望」;第 5 幕圆点进方框就隐藏,顺带用临时脚本扫全片的线和圆点压字,修了第 6 幕「实际」标签被命令虚线穿过、第 14 幕数值压在虚线网格上;第 7 幕那句改成「权重取决于期望接地概率」。只重渲第 5、6、14 幕与第 7 幕第一句,按帧号拼回,整片 29,047 帧、968.23 s。同日再按看片反馈:每张图表讲清怎么读(横轴、纵轴、颜色、越大还是越小越好),画面补一行读法、旁白改 18 句;第 5 幕 critic 的连线接上;第 13 幕讲到哪组换哪段项目页片段(新剪「边走边挥手」);第 14 幕「踩地更用力」按论文原文改说「脚落地时更用力」。整片重渲,18 分 28 秒、33,237 帧,网页版 20.2 MB,原片切成 24.0 / 18.2 / 21.0 MiB 三段交付。同日看片反馈「得 1.28 分」的「得」应读 dé:改成「得到」,并按 WordBoundary 把单独成词的多音字查了一遍,另改「准确地说」「固定为」「互为镜像」「之差」四句;只重渲这五句,整片 18 分 30 秒、33,287 帧,网页版 20.2 MB。随后整片四段并行重渲一遍(每段 888–975 s,和按帧号拼的版本逐帧一致),原片 63.5 MiB,按关键帧 -segment_times 370,740 切成 24.1 / 18.2 / 21.1 MiB 三段,连同封面交付。ψ 从「普西」改读「赛」后又整片重渲一次(18 分 30 秒、33,300 帧,网页版 20.2 MB)。
  • 032 HOMIE(2025)🎬 homie — HOVER / HugWBC→HOMIE;〔取舍〕路线图还有 SONIC→HOMIE,但 HOMIE 比 SONIC 早,笔记只在延伸阅读里提到 SONIC。2026-10-18 照 029 的做法做:笔记对照 arXiv v2 的 LaTeX 源码与官方仓库 InternRobotics/OpenHomie 逐条核查重写,改正旧版几处(观测叠 6 步不是 5 步;$r_{knee}$ 正文对方向的描述和公式相反、按公式与代码算才对;数据增强和对称损失是两件事;「快 200%」论文里没有),并记下代码与论文的十几处出入(命令 4 维、蹲 / 站 / 走 1/3 / 1/6 / 1/2、$\lambda = 20(1 - 0.99\rho_a)$、只在站着时才算的 7 项奖励、对称损失的写法、摩擦范围、部署增益比训练配置大、部署时偏航命令缩放 0.25)与表 VI 是 33 项奖励;新做十七幕动画,G1 是我们在 MuJoCo 里跑官方训好的 deploy.onnx 得到的五段回放,按 Robot_Retarget_Online 的带 Dex3 手 G1 材质离线渲染成 3D 贴图;用上论文图 1、2、5–9、17、20,第 2、10–12、14–16 幕嵌入项目页视频剪的 13 段片段(原速);新增三个交互演示(上身姿态课程、$r_{knee}$ 计算器、表 I–V 与我们的回放);配音 14 分 49 秒,旧合成地址整篇合成,用 WordBoundary 查过数字没有被并成一个、十处「遥操作」的停顿都在 70 ms 以内,「数」单用和「对调」换掉;031 HugWBC 还没有视频,片头从前几期的 H2O、OmniH2O、HOVER 讲起,等 HugWBC 做好后改成接它的片尾预告;片尾只预告 033 TWIST 的主题(用动捕把人的全身动作实时搬到机器人上),主动画各幕不预告下一篇;整片四段并行渲染,14 分 49 秒,网页版 17.1 MB。2026-10-21 合并 main 后照 031 HugWBC 的看片反馈全篇自检:片头改接 HugWBC 的片尾预告(两篇都来自上海人工智能实验室);每张图表在画面上补一行读法、旁白在图第一次出现时念出来;表号念中文数字、RSS 写「R S S」;用 WordBoundary 全篇切词,改掉单独成词的多音字与跨词切错,按每个词的音量查出「站得稳、走得动」几乎没声音,改说「都能站稳,也能正常走路」;第 15 幕压在网格线上的数字描一圈底色,要点框不再单字成行;第 3 幕 ACE 的手靠视觉、第 13 幕 OpenTeleVision 用 M2 芯片两处说法改正。91 段旁白改了 34 段,整片四段并行重渲,15 分 59 秒、28,789 帧,网页版 18.4 MB,原片按关键帧 -segment_times 320,640 切成 18.2 / 23.7 / 15.8 MiB 三段,连同封面交付。2026-10-22 看片反馈「第 1 幕右边只动手臂的示意图看不懂」:两条色带换成两台 G1 的 MuJoCo 回放(同样往前下方伸手,站着双手最低 0.53 m 够不到货架最低一层,再蹲到 0.40 m 手能下到 0.20 m),旁白改这一句。同日看片反馈「上肢大幅摆动时拇指被卡住、整只手弹回零位」:回放用的 g1.xml 全身带碰撞体,训练用的 g1.urdf 只有两只脚有,改成只留脚的碰撞,手臂下垂、下蹲伸手的姿势往外张一点,课程随机摆上身挑了手臂不穿进身体的种子,七段回放、评测与对称分析全部重跑(第 1 幕的数改成 0.55 / 0.14 m);「图 1」「表一」的「一」被念成变调,改成后面紧跟停顿的说法。同日看片反馈「多一些动效、少一些纯文字」:第 1、2、5、7、8、10–13、16、17 幕以文字为主的面板换成会动的图,旁白不变,四段并行重渲,16 分 9 秒、29,062 帧,网页版 18.8 MB,原片按 -segment_times 320,640 切成 19.2 / 24.2 / 17.8 MiB 三段,连同封面交付。同日看片反馈「操作员、遥操作要连读」:全篇 WordBoundary 切词对照 jieba,28 句改了 29 处说法(跨词切错与词内停顿,见视频 README「跨词切错」),旁白 974.5 s;先只渲染这 28 句(18 段、约 6 分钟)给人看。之后又改了第 16 幕的数据飞轮(小点一直可见)、从 cue 起算的计数改按视频时间走(第 10、12、16 幕)、第 5 幕抽样动画分步出现并加读法,四段并行整片重渲:16 分 23 秒、29,504 帧,网页版 19.1 MB,原片按 -segment_times 320,640 切成 18.7 / 24.5 / 18.8 MiB 三段,连同封面交付;看片反馈「拼接后有跳音」:这样连音频一起流复制,两处接缝正好在说话、少了 56 ms 和 27 ms,改用 split.py 在静音里的关键帧(329.2 s、658.4 s)切、音频按采样点重编码,19.3 / 25.1 / 17.7 MiB 重新交付。
  • 033 TWIST(2025)🎬 twist — H2O→TWIST;光学动捕重定向成参考,教师看未来动作、学生只用当前目标和本体历史。〔取舍〕按年份接在 HOMIE(2025-02)后面。2026-10-19 照 029 的做法做(032 HOMIE 还没做,片头不接上一期,直接从 TWIST 讲起):笔记对照 arXiv v1 的 LaTeX 源码与官方仓库 YanjieZe/TWIST(2025-11-01 的 main)逐条核查重写,记下论文没写的数(教师看第 1, 5, …, 95 步共 20 帧、每帧 58 维、教师 1318 维、学生 (31 + 74) × 11 = 1155 维;跟踪五项是 $w,e^{-k\epsilon}$;KL 系数 0.1 起每次迭代乘余弦因子、连乘,约 3000 次后接近 0;数据清单 15,130 段、自录数据的采样权重 100 / 50,约 44% 的回合)和代码与表 2 的出入(推基座 1.0 m/s、另有质心与动作延迟);新做十六幕动画,G1 是我们用官方学生模型照官方 sim2sim 脚本在 MuJoCo 里跟官方数据集自录动捕(第 9 段下蹲伸手、第 138 段踢腿)的复现,参考与机器人按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图;154 段自录动捕全部跑了一遍(148 段站住,部位误差约是论文图 8 的 2.7–3.2 倍、脚最大手其次);用上论文图 2、3、5、9 的裁剪,图 6–8 的数重画(图 7 从矢量图抽折线);第 1、10–14、16 幕嵌了项目页视频剪的 13 段片段;新增三个交互演示(教师看什么学生看什么、奖励计算器、图 6 / 图 8 与复现);旁白「重定向」一律写「崇定向」(整句里 log-mel DTW 判不准念 chóng 还是 zhòng)、字幕换回,片头「遥操作」的一处 205 ms 停顿改了说法;配音 14 分 54 秒,片尾只预告 034 TWIST2 的主题(不用动捕场地,头显 + 腿部追踪器,边遥操作边录示范),主动画各幕不预告下一篇;渲染中途核对旁白改了四句说法(不用自录数据的 RL+BC「最弱」→ 六项都不如纯 RL;「脚和膝都比肘和手大」→ 脚比手大、膝比肘大;复现「顺序和论文一样」→ 脚最大手其次、头和膝相反;复现的绝对值「两到三倍」→ 约三倍,实际 2.7–3.2),build.py --reuse 只重合成这四句,前 573 s 的分段沿用,其余四段并行重渲,共 26,833 帧。2026-10-22 合并 main 后照 032 HOMIE / 031 HugWBC 的看片反馈全篇自检:片头改接 HOMIE 的片尾预告(「和上一期正好相反:上一期上下半身分开管,这一期一个控制器管全身」是我们的看法,旁白说「在我们看来」);十六幕以文字为主的面板换成会动的图(流向小点、计数、按采样权重抽 100 个回合的格子、随机化色带上跳动的小点、延迟时间轴、电机温度计等),每张图表补一行读法、旁白在图第一次出现时念出来;要点框逐条改到最多两行、不单字成行;从 cue 起算的计数、进度改按视频时间(K.clipSince);线和移动的点不压字;表号念「表一」「表二」(「表一:」「公式一:」用 tone_cmp.py 量过是一声);全篇 WordBoundary 切词对照 jieba,改掉「所 | 有关 | 节角」「控制 | 器管」「纯强化 | 学习」等跨词切错、「条越长」「局部量」等单独成词的多音字,「照着人做」几乎没声音改说「模仿人的动作」;片尾「边遥操作边录示范」不再在「遥 / 操作」中间断行。88 段旁白改了 45 段,整片四段并行重渲,16 分 52 秒、30,352 帧,网页版 20.6 MB,原片先按 -segment_times 389,739 切成三段交付;合并 main 的 split.py 后发现两处切点都在说话,改在旁白静音里切成 17.5 / 16.1 / 17.6 / 22.9 MiB 四段重发。2026-10-23 看片反馈:「局部量」(第四声)、第 5 幕关节角的黄色柱顶到上方紫框、第 8 幕结尾「教(第四声)师会的东西」、片尾最后一句要和以前的视频一致;改说「是局部的」「根部 8 项」「教师掌握的本事」,柱子基线下移、每 rad 15 px,片尾改说「完整笔记、3 个交互演示和 G1 跟踪的三维复现,都在 Robot Learning Paper Notebooks。我们下期见」;先渲改动的片段给人看,再四段并行整片重渲,16 分 56 秒、30,481 帧,网页版 20.7 MB,原片用 split.py 在静音里切成 23.4 / 8.1 / 19.1 / 23.7 MiB 四段,连同封面交付
  • 034 TWIST2(2025)🎬 twist2 — TWIST→TWIST2;把动捕场地换成 PICO 头显 + 腿部追踪器,边遥操作边录示范。2026-10-19 照 029 HOVER 的做法做:笔记对照 arXiv 2511.02832 的 LaTeX 源码、项目页与官方仓库 amazon-far/TWIST2 逐条核查重写,记下代码与论文的出入(一阶段就是不加载教师的 DAgger-PPO、策略观测 1432 维而脚本注释写 1402、价值网络 1734 维、PICO 的 73 段权重 10、奖励 21 项、手的 α 每循环 ±0.05、脖子乘 1.5、高层扩散策略没开源)和论文各处对表 II 的不同说法;新做十八幕动画,G1 用官方 ONNX 权重在 MuJoCo 里跟官方两段 PICO 样例(走路、蹲下)的复现,参考与跟出来的两台按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图,另有一张 Dex3-1 左手特写(握 / 捏各 11 档 α);用上论文图 1–15,第 1、4、5、8、11、13、14、17 幕嵌了项目页视频剪的 15 段片段;新增三个交互演示(35 维命令浏览器、手和脖子、表 II / III 与图 14);旁白整篇走 EDGE_TTS_LEGACY=1,用 WordBoundary 把 96 句切词查了一遍,改了「脚跟」「2 只」「用官 / 方权 / 重跟」「后处 / 理界」几处粘词,「遥操作」十三处量过静音;上一期 033 TWIST 的视频还没做,片头不说「上一期」、从 TWIST 的做法讲起,片尾只预告 035 FALCON 的主题(上下身两个智能体、扛住手上的外力),主动画各幕不预告下一篇。2026-10-23 合并 main 后照 HugWBC / HOMIE / TWIST 的看片反馈全篇自检:以文字为主的面板换成会动的图,每张图表补一行读法、旁白在图第一次出现时念出来,要点框最多两行,从 cue 起算的动画改按视频时间;片头改接 033 TWIST 的片尾预告,表号念「表一」「表二」「表三」,「重定向」写「崇定向」,旁白按 WordBoundary 对照 jieba 切词、词内静音和逐词音量改了四十多处说法;整片重渲 17 分 11 秒,网页版 21.7 MB。2026-10-24 看片反馈后修掉第 4 幕开头的抽搐、两段样例循环时的跳帧(走路只循环一个步态周期、蹲下来回放)和第 7 幕捏的手指穿模,整片重渲,网页版 21.6 MB;同日第 5 幕 Vive 对比改成动图、第 10 幕补每一步 127 维的拆分、第 11 幕的频率竖线改成固定画,整片再从头重渲一遍,网页版仍是 21.6 MB;2026-10-25 片尾「网站上可视化」的「上」单独断开,改说「网站可视化」,只重渲这一句到片尾,17 分 10 秒
  • 035 FALCON(2025)🎬 falcon — HOMIE⇢FALCON;FALCON 把 HOMIE 这类「下身 RL + 上身 IK」当基线,指出上身缺力补偿,改成上下身双智能体共享观测,再加按力矩上限算的 3D 外力课程。〔取舍〕按年份比 TWIST2 早(2025-05),但 TWIST / TWIST2 连着讲,移动操作这一组从这里开始。2026-10-23 照 029 的做法做(034 TWIST2 还没有视频,片头直接从 FALCON 讲起):笔记对照 arXiv v2 的 LaTeX 源码与官方仓库 LeCAR-Lab/FALCON(2026-04-09 的 main)逐条核查重写,记下代码与论文的十几处出入(力的上限里重力项乘 0、雅可比取在手连杆原点、三角波扫区间而不是均匀采、裁剪 ±40 / −50–5 N、每个环境一个课程系数按回合长短 ±0.02、低通滤波训练时关着、合力 50 N 以上行走高度不扣分、上身跟踪 σ 0.1、摩擦 0.25 起、推机器人默认关、开源配置的上身目标是 ACCAD 252 段);新做十七幕动画,G1 是我们用官方 g1_29dof.onnx 照官方 loco_manip.py 在 MuJoCo 里跑的复现(站着 20 N:上身智能体把腕俯仰目标挪到 −0.79 rad、手只沉 1 mm,上身置零时沉 92 mm;0.5 m/s 走路 11.8 N;照图 11 加到 40 N 时腕俯仰顶满 5 N·m),按 Robot_Retarget_Online 的材质离线渲染成 3D 贴图;G1 左臂在 99 个姿态下的雅可比与重力项、252 段 4,934 帧的统计嵌进 bundle;用上论文图 2、5、7、8、9、11 的裁剪,图 3、图 4 按颜色读成曲线;第 1、15、16 幕嵌入项目页视频剪的 10 段片段;新增三个交互演示(手腕最多能吃多大的力、力怎么采、表 1–4 与复现);旁白用 WordBoundary 全篇切词对照 jieba,改掉二十多处跨词切错(「逆向运动 | 学算 | 出关 | 节角」「加上 | 身逆向」「不 | 用力 | 传感器」「上 | 限算」等),「竖直」一律说「垂直方向」,「再传到腿」几乎没声音改说法;片尾只预告 036 HDMI 的主题,主动画各幕不预告下一篇。封面的作者一栏缩成一行(原先两行时目录压过 3:4 裁剪线),片头只重渲第 0–1,008 帧拼回。整片八段、四路并行渲染,17 分 43 秒、31,880 帧,网页版 19.0 MB,原片 63.7 MB 用 split.py 在静音里切成 18.0 / 15.3 / 22.5 MiB 三段,连同封面交付。2026-10-25 合并 main 后照 034 TWIST2 的看片反馈全篇自检:片头改接 TWIST2 的片尾预告;第 3、7 幕的力采样贴图原先 8 s 一循环(首尾差 0.65 rad、力差 40 N,第 0 帧还有仿真起步的一抖),改成从 1.28 s 起来回放;第 14、17 幕的跟拍贴图像原地踏步,脚下加了按复现速度后退的地面刻度;旁白按 WordBoundary 的时间量逐词音量,「不改奖励、不改课程」的两个「不」只有 0.06 / 0.01,连同十几处几乎听不见的「和」「比」「或」「可」「则」改了说法,「阻力」中间断开也换了说法。整片八段、四路并行重渲,18 分 3 秒、32,503 帧,网页版 19.4 MB,原片 66.3 MB 用 split.py 在静音里切成 17.3 / 15.8 / 25.0 MiB 三段,连同封面交付;同日按看片反馈修了第 4 幕方块重叠与间距、第 5 幕「论文图 2 里」读成「图两」、第 17 幕「只给手上加力」听成「只得」,第 9 幕换成官方 MJCF 的左臂网格,十几幕以文字为主的右栏换成会动的图(旁白不变),整片四路并行重渲,网页版 19.8 MB;之后第 9 幕「手(示意)」换成同一张左臂贴图裁出的小臂,第 13 幕图 4 的线按原图补到末端(原图 FALCON 只画到约 9.4k)并加横轴刻度,只重渲这两段换进全片,再切三段交付
  • 036 HDMI(2025)🎬 hdmi — DeepMimic⇢HDMI;DeepMimic 式跟踪,但把物体位姿和期望接触点也写进目标,从人类视频学开门、搬箱。2026-10-23 照 033 TWIST 的做法做(035 FALCON 还没有视频,片头不接上一期,从前几期的动作跟踪讲起):笔记对照 arXiv v3 的 LaTeX 源码与官方仓库 LeCAR-Lab/HDMI(2026-01-17 的 main)逐条核查重写,改正旧版几处(式 1 的位置项是距离本身、不是平方;旧版假设的 σ 换成代码的 0.3 m / 40 N / 10 N;接触丢失在代码里是「或」;「杜鲁门鞠躬」改译「楚门式鞠躬」),记下论文没写的(物体轨迹与接触点逐段人工标注;训练是特权教师 + 蒸馏学生的 PPO-ROA、残差只在教师;学生 615 维、还看未来 5 帧参考;交互奖励要接触时乘 5、不用接触时给 1;物体朝向阈值 0.8 rad;奖励四组各一个价值输出;域随机化范围);新做十八幕动画,G1 和行李箱按官方的搬行李箱参考与仓库里录下的 IsaacSim 回放渲染成 3D 贴图(回放 447 帧 = 参考去掉前 25 帧,推断是图 7b 的完美参考),用上论文图 2、3、4a、5、7b、7c、9b、9c,图 6–9a 的数从矢量图里抽;第 1、12–14 幕嵌了项目页视频剪的 7 段片段;新增三个交互演示(参考与回放逐帧看、交互奖励计算器、消融实验的数字);旁白「重定向」写「崇定向」,全篇 WordBoundary 切词对照 jieba 改了「搬行 | 李箱」「加参 | 考」「标的是」等十几处,「表一:」量过是一声;片尾只预告 037 VIRAL 的主题,主动画各幕不预告下一篇;配音 17 分 38 秒,四段并行渲染 31,738 帧(渲染开始后改了第 9 幕表 II 的一处措辞,只重渲那 510 帧再按帧号拼回),网页版 19.8 MB,原片 63.5 MiB 用 split.py 在静音里切成 19.3 / 24.4 / 14.9 MiB 三段,连同封面交付。2026-10-26 合并 main 后照 034 TWIST2 / 035 FALCON 的看片反馈全篇自检:片头改接 FALCON 的片尾预告;9–10.5 px 的小字放大到 11 / 11.5 px;循环贴图来回放;十几幕以文字为主的面板换成会动的图;临时脚本每 0.1 s 查文字压线、压框,修了第 8 幕被力的竖线扫过的标注;旁白用 faster-whisper 全篇听写、转拼音对齐,「残差」照 ASAP 写「残插」,另有五处换了说法(「正则化」「楚门的世界」用同音字对照句确认是听写模型的偏好、不改)。整片四段并行重渲,17 分 50 秒、32,090 帧,网页版 20.0 MB,原片 65.2 MiB 用 split.py 切成 19.9 / 25.9 / 14.4 MiB 三段,连同封面交付;同日看片反馈第 3、4 幕的箱子相对手上下飘、第 4 幕手腕和箱子的接触点对不上:官方参考里人工标注的箱子本来就不贴手(要接触的帧里箱子在左手腕坐标系里的高度标准差 13.5 cm),这两幕改放仓库录下的仿真回放(1.6 cm),第 3、4 幕各改一句旁白,整片四段并行重渲,17 分 58 秒、32,328 帧,网页版 20.2 MB,只交付第 3–4 幕的片段;同日又按看片反馈改了第 5 幕格子的颜色(旁白说变红)、第 10 幕「均方误差」的「差」读成平调、第 13 幕泡沫垫与楚门式鞠躬两段视频放完再换、第 16 幕再说一遍三种颜色,整片重渲,18 分 18 秒、32,941 帧,网页版 20.4 MB,只交付改动的四个片段;同日第 5–7 幕也改放回放,第 8 幕先放参考(箱子飘)、再换回放并画两条左手距离曲线做对比,整片重渲,18 分 46 秒、33,775 帧,网页版 21.0 MB,原片 68.4 MiB 用 split.py 切成 20.8 / 24.8 / 17.6 MiB 三段,连同封面交付;之后第 2 幕右栏改画参考关节角与动作相加,只重渲那一段(第 3250–3750 帧)拼回,交付这一段的片段;同日第 10 幕展开 615 维(三句新旁白)、全篇补全流程图的连线、两处火柴人换成 G1、第 14 幕拉长到 12 个仿真任务放完,整片重渲,19 分 38 秒、35,342 帧,网页版 22.0 MB,split.py 切成 26.2 / 19.2 / 20.8 MiB 三段,连同封面交付;2026-10-27 按看片反馈改第 1 幕黄框轮流、第 8 幕 σ、第 10 幕手腕红框与 3D 俯视图,旁白铺底噪、分段切点离旁白 0.4 s,19 分 58 秒;再按「箱子的坐标点放在哪」核对代码:原点在 +x 面的底边中点,第 4 幕补示意、第 6 幕箭头改指原点,从第 4 幕起重渲,20 分 15 秒、36,449 帧,网页版 23.5 MB,切成 4 段连同第 4、6、10 幕的片段交付
  • 037 VIRAL(2025)🆕 笔记是 2026-06 的速读版 — HOMIE→VIRAL;特权教师蒸馏成纯 RGB 学生,动作输出是 HOMIE 全身控制器的命令
  • 038 DoorMan(2025)🆕 笔记是 2026-06 的速读版 — HOMIE→DoorMan;开门拆成接近、抓握、转把手、推拉、穿门,同样以 HOMIE 为低层控制器。〔取舍〕和 VIRAL 是同一批机构的工作,紧跟着讲
  • 039 CHIP(2025)🆕 笔记是 2026-06 的速读版 — FALCON⇢CHIP;同样处理末端受力,但目标从「扛住外力」变成「按指定柔顺度让位」
  • 040 iDP3(2024)🆕 — BeyondMimic→iDP3

第四季 · 基础模型:VLA、世界模型与 BFM

  • 041 Transformer(2017)🎬 transformer — 仓库 README 写明「读 VLA 之前先读它」;Diffusion Policy 视频只在第 4 幕顺带提到 Transformer 骨干,不用提前看
  • 042 ACT / ALOHA(2023)🆕 占位笔记待补充 — Transformer⇢ACT、ACT→EgoMimic、ACT→π₀;π₀ 笔记称它是「动作块的来源工作之一」
  • 043 EgoMimic(2024)🆕 — ACT→EgoMimic、iDP3→EgoMimic;〔取舍〕EgoMimic 用 ACT 当策略骨干,所以跟着 ACT 放进第四季
  • 044 OpenVLA(2024)🆕 占位笔记待补充 — OpenVLA→π₀;π₀ 的出发点就是 OpenVLA 一类「把动作离散成 token 自回归输出」做不了高频动作块
  • 045 π₀(2024)🎬 pi0 — DP→π₀、Transformer→π₀
  • 046 π₀.₅(2025)🎬 pi05 — π₀→π₀.₅
  • 047 Dreamer / PlaNet(2019 / 2018)🆕 — Dreamer⇢UniPi、Dreamer⇢Cosmos Policy;day5「世界模型」经典脉络的起点:PlaNet 在学到的潜空间里在线规划选动作,Dreamer 在同一个世界模型里想象轨迹、用价值梯度教策略,两篇合成一集讲。〔取舍〕和 041 Transformer 一样当「基础」放进第四季,排在 Cosmos 前面,先讲世界模型怎么帮决策,再讲视频世界模型;actor-critic 部分对照 001 PPO 讲
  • 048 UniPi(2023)🆕 — Dreamer⇢UniPi;相关工作引用 DreamerV2,指出传统世界模型要「状态—动作—奖励」格式的数据,改用文本条件视频扩散当规划器、逆动力学模型出动作。〔取舍〕视频扩散接 010 Diffusion Policy;放在 Cosmos 之前,先看「视频当策略」的最小形态,后面 GR00T N1 的「视频生成神经轨迹 + 逆动力学补伪动作」也是这个思路
  • 049 Cosmos(2025)🎬 cosmos — BeyondMimic→Cosmos;〔取舍〕GR00T N1 数据金字塔的中层用视频生成模型造「神经轨迹」,所以先讲世界模型
  • 050 GR00T N1(2025)🎬 groot — π₀→GR00T N1
  • 051 BFM(2025)🆕 — 路线图第 ⑨ 层;笔记建议对照 HOVER 读
  • 052 BFM-Zero(2025)🆕 — BFM⇢BFM-Zero、ASE⇢BFM-Zero;无监督 RL(前向—后向表示)预训练,用目标姿态、动作或奖励当提示调用。〔取舍〕和 BFM 同属行为基础模型,紧跟着讲;比 SONIC(2025-11-11)早几天,排在它前面
  • 053 SONIC(2025)🎬 sonic — 〔取舍〕路线图把它放在第 ④ 层 WBC;但它用 GR00T N1.5 当 System-2,还和 BeyondMimic 做对比,放在 GR00T 后面讲就不用提前提到没讲过的模型

第五季 · 2026 前沿(开放,一直往后加)

〔取舍〕路线图里第 ⑤–⑧ 层支线的箭头指向第 ⑨ 层(表示汇聚),但这几篇 2026 年的论文都在和 π₀ / GR00T N1 对比,所以整体放在第四季之后。

  • 054 NMR(2026)🆕 — GMR→NMR
  • 055 ReActor(2026)🆕 — GMR→ReActor
  • 056 ULTRA(2026)🆕 — HOMIE→ULTRA
  • 057 HumDex(2026)🆕 — EgoMimic→HumDex;笔记说 HumDex 是 Ψ₀ 的上游数据采集系统
  • 058 Ψ₀(2026)🆕 — ULTRA→Ψ₀;笔记拿它和 GR00T N1、π₀ 对比
  • 059 HAIC(2026)🆕 — ULTRA→HAIC
  • 060 DreamDojo(2026)🆕 — Cosmos→DreamDojo、HumDex→DreamDojo
  • 061 1X 世界模型(2025)🆕 — DreamDojo→1X 世界模型
  • 062 Cosmos Policy(2026)🆕 — Cosmos→Cosmos Policy、Dreamer⇢Cosmos Policy;在 Cosmos-Predict2-2B 上一次后训练,把动作、本体状态和价值都写成潜帧,同一个模型兼任策略、世界模型和价值函数,相关工作引用 Dreamer 系列。〔取舍〕按年份(2026-01)排在 DreamZero(2026-02)前,day5 也是 Cosmos Policy → DreamZero 的顺序
  • 063 DreamZero(2026)🆕 — DreamDojo / 1X 世界模型→DreamZero;笔记标注它是「世界模型支线终点」

064 起:新论文追加在这里,规则见下一节。

扩展规则

  • 第二到第四季是固定的经典主线,第五季开放。以后的新论文一律追加到末尾,标题加支线标签(如【重定向】【WBC】【VLA】【世界模型】),片头说明前置要看哪几集。这样已发视频不用改编号。
  • 第一批可以直接用的扩展:下面几篇已有讲解动画、还没做视频,也不在路线图里——UMR、Perceptive BFM、GentleHumanoid、Perceptive Humanoid Parkour。
  • 第二批候选:下面几篇已有笔记、还没有讲解动画和视频,也不在路线图里,是《具身智能从入门到精通》day1 / day2「经典脉络」点名的 2026 年工作——DynaRetarget、HumanoidMimicGen(这两篇是重定向 / 数据生成线,可以挨着 054 NMR 讲)、Hiking in the Wild(AMP 风格奖励 + 深度感知的人形行走)。
  • 第三批候选:day4「移动操作」经典脉络点名、上游已收录、但仓库里还没有笔记的三篇——ULC(根速度、高度、躯干与双臂目标进一个策略,命令逐步解锁)、SoFTA(Hold My Beer)(上下肢两个频率不同、奖励分开的策略,端液体时稳住末端)、SkillBlender(先学目标条件的基础技能,再按关节混合);另有拓展阅读里已有笔记的 SteadyTray(2026,冻结托盘行走基座后加残差稳住负载)。要做视频先补笔记。
  • 第四批候选:day5「世界模型」经典脉络点名、仓库里还没有笔记、也不在上游人形列表里的五篇(要写笔记只能放 01 或 03 模块)。「视频预测接动作」一类,和 UniPi 讲的是同一个问题——GR-1(2023,大规模视频生成预训练再接机械臂操作)、VPP(2024,用视频扩散模型的预测表征当策略输入)、UWM(2025,视频扩散与动作扩散耦合,Cosmos Policy 在 RoboCasa 上的对照之一);「世界—动作模型」一类,和 DreamZero 同类——LingBot-VA(2026,视频预测与动作解码交错在同一条因果序列里)、Being-H0.7(2026,不生成未来画面,在潜空间里学与动作相关的未来表征;仓库里 06 模块的 Being-H0 是初代)。要做视频先补笔记。
  • 第五批候选(day6,优先):PACE(2025,已有笔记,暂无讲解动画和视频)。执行器建模与系统辨识可对照 012 DR 的随机化、017 ASAP 的 delta 动作模型。先列候选,不占正式编号;现有笔记注明尚未完整核对论文全文,制作前需复核。若之后决定扩为四篇工程补充集,教学位置可考虑 Berkeley Humanoid 之后、ToddlerBot 之前,正式排期需同时核对发布状态与片尾衔接。
  • 视频号合集里的视频能不能调整顺序没有核实到,所以这套规则不依赖调序。
  • 新做完一集视频:把 🆕 改成 🎬,写上 <paper> 名,与 README 的表格一致。

可选变体:先连发现成视频

第三季 16 篇都要新做。想先把现成视频连着发,可以把 041 Transformer、042 ACT、044–050(OpenVLA → GR00T N1)提到第三季前面:这条线只接 Diffusion Policy 和 Transformer(DP→π₀、Transformer⇢π₀),中间新插的 Dreamer、UniPi 也只用到 PPO 和扩散,不依赖 WBC。EgoMimic 在路线图上接在 iDP3 后面,BFM 要对照 HOVER 读(BFM-Zero 跟着 BFM),SONIC 用到 GR00T N1.5 和 BeyondMimic,这四篇仍放在第三季之后。