模仿学习、深度模仿学习、深度学习的区分
模仿学习(Imitation Learning, IL)是一种学习范式。回答的问题是“学什么?”,通过模仿专家的示例来学习;深度学习(Deep Learning, DL)是一种技术方法。回答的问题是“怎么学?” ,通过构建和训练深度神经网络来学习;在现代人工智能,模仿学习和深度学习几乎总是结合使用的。这种结合称为深度模仿学习(Deep Imitation Learning, DIL)。
因此,DIL 既是 DL 的子集,也是 IL 的子集。当使用 DL 这个“工具”来解决 IL 这个“任务”时,就在做 DIL。
个人认为目前 DIL 的损失函数有问题。比如在执行抓取任务时,如果物体在机械臂的正前方,机械臂可以从物体的右侧去抓,也可以从左侧去抓。但若专家数据从左侧去抓,“从右侧抓”就不被允许,因为损失按照每个关节计算。
This post is licensed under CC BY 4.0 by the author.