Skip to content

具身智能课程和项目

搬运整理自树洞#380470，侵删。

具身智能入门自学课程与上手项目

整理自清华叉院许华哲老师xhs

一、具身智能入门课程

  1. 机器人入门 比较推荐西北大学现代机器人学(modern robotics)，有配套的youtube视频，而且比较轻量级，很适合了解机器人学基本知识。正逆运动学、动力学、各种space等等。

  2. 人工智能入门 推荐伯克利课 CS188，比较基础的人工智能入门课程。适合快速刷一遍，比如里面的搜索、min-max剪枝等等可以跳过（算法课学过），里面的粒子滤波，卡尔曼滤波，等等可以用心看看，蛮有趣的。

  3. 机器学习入门 推荐斯坦福CS229，整体对机器学习的理论可以建立体系，推荐一定做一下作业哦~

  4. 深度学习/计算机视觉入门 推荐斯坦福李飞飞老师的CS231N，手写神经网络回传，了解各种基本网络结构和最新深度学习模型。基本是搞具身智能的必备基本功了。

  5. 深度强化学习 推荐伯克利Sergey Levine老师的CS285。相较于David Silver的公开课，内容更广，理论推导更细致，虽然里面有一些小bug，但是学完这个课对整个领域有了很深的理解。尤其Sergey自己做具身智能，他很多RL的例子都是用机器人举例。

  6. 机器人进阶 推荐伯克利Pieter Abbeel老师的CS287。把learning 和control融合在一起，讲了高等机器人学，可以对比较实用的机器人技术产生比较好的理解。

  7. 机器人操作 推荐MIT的Russ Tedrake老师的Manipulation课程。专注于操作任务，对于机器人操作有兴趣的同学，可以深入学习！

*建议刷课的同时一定要把作业做了！不做作业又没有考试等于没学。

二、具身智能上手项目

具身智能光上课是不够的，还需要从实践的角度上手，这里推荐几个开源项目。很多人一听到具身智能就觉得等于大模型VLM加上机器人，就很难开始。今天分享一下模仿学习里面的上手项目。

路径1：模仿学习

模仿学习有很长的历史了，但是比较好用的应该是以下几个：

  • 源于Aloha的ACT, 利用transformer结构加上action chunking技术。项目链接：github.com/tonyzhaozh/act

  • 扩散策略 diffusion policy， 利用扩散模型来生成动作序列。项目：github.com/real-stanford/diffusion_policy 以及带预训练编码器的版本github.com/real-stanford/universal_manipulation_interface

  • 三维扩散策略 DP3， 将DP拓展到了三维输入上。 这也是我们组的工作，欢迎大家试试！项目：github.com/YanjieZe/3D-Diffusion-Policy

路径2：强化学习

强化学习有很多分支，视觉强化学习、离线强化学习、真机强化学习、sim2real等等。篇幅原因，分享一部分。

openai的spinup代码库。

  1. 强化学习分支一 sim2real：

    • 四足机器人，可以参考MIT的开源项目walk these ways作为起点。
    • 机械臂， 可以参考我们的maniwhere项目的开源代码。
    • 斯坦福的Transic也是强化学习sim2real。

  2. 强化学习分支二 视觉强化学习：

    • 我建议从效果比较好的DrQ-v2看起，其实只是加了数据增广。
    • 之后可以看看泛化性方面的一些研究，如来自王小龙老师的SVEA ，我们组的PIE-G。
    • 在数据效率上的工作，如DrM，谷歌的BBF。

三、进阶

具身智能是一个系统性的学科，所以当然不仅仅包含模仿学习或者强化学习这样的决策算法。利用三维视觉的方式，配合机器人运动控制，也可以做出很多传统机器人无法完成的任务。

  1. 三维特征场+机器人操作。这个适合比较懂计算机视觉的人去上手的。推荐来自伯克利的LERF-TO-GO，github.com/lerftogo/lerftogo，来自MIT的DFF-f3rm，github.com/f3rm/f3rm，来自哥伦比亚大学的D3Field，github.com/WangYixuan12/d3fields。这方面近期还是很火热的。

  2. 物体可操作性(Affordance)：是通过二维或三维视觉，来预测机器人何处可抓取、可按压、可操作。比较早期的工作包括斯坦福的where2act，cs.stanford.edu/~kaichun/where2act/。最近比较有趣的工作包括来自AIR+北大的PreAfford这样的来做“预抓取”，air-discover.github.io/PreAfford/ 。我们近期的Robo-ABC，tea-lab.github.io/Robo-ABC/，通过扩散模型进行了affordance的泛化迁移。后续，北大也做了一个很炫工作RAM，yuxuank.com/RAM/

四、入门清单

另外一个具身智能/Embodied AI/机器人入门清单：

Community

DeepTimber-地瓜机器人社区：https://cn.developer.d-robotics.cc/forum

HuggingFace LeRobot (Europe, check Discord)：https://github.com/huggingface/lerobot

K-scale labs (US, check Discord)：https://kscale.dev/

宇树具身智能社群：https://www.unifolm.com/#/

Simulately: Handy information and resources for physics simulators for robot learning research：https://simulately.wiki/

Paper List & Repo

Awesome-Robotics-3D：https://github.com/zubair-irshad/Awesome-Robotics-3D

awesome-robotics-datasets：https://github.com/mint-lab/awesome-robotics-datasets

具身智能入门指南：https://github.com/TianxingChen/Embodied-AI-Guide

awesome-humanoid-learning：https://github.com/jonyzhang2023/awesome-humanoid-learning

Awesome-Video-Robotic-Papers：https://github.com/H-Freax/Awesome-Video-Robotic-Papers

Awesome-Robotics-Manipulation：https://github.com/BaiShuanghao/Awesome-Robotics-Manipulation

awesome-humanoid-robot-learning：https://github.com/YanjieZe/awesome-humanoid-robot-learning

具身智能研究者/实验室图谱

石麻笔记：https://mp.weixin.qq.com/s/vBmjT_9_K8SDmuTwo1WCOA

Ivory tower具身机器人专题：具身机器人专题

附：

自学手册里的机器人篇 https://fdu-open-exam.gitbook.io/csdiy/supplements/robotics