MAPLE：从第一人称视角视频中学习的灵巧操作先验

视频请观看：https://www.bilibili.com/video/BV1aXV96CEet/



我们提出了MAPLE，这是一个从第一人称视频中学习灵巧操作先验的框架，能够生成适用于下游灵巧机器人操作任务的特征。仿真和真实环境中的实验表明，MAPLE能够实现高效的策略学习，并提高跨多种任务的泛化能力。
 
Ø 在真实环境和仿真中验证：为确保可重复性，我们在仿真环境和真实场景中均报告了实验结果，在多个基线上达到了最优的成功率。
 
Ø 跨任务泛化能力：MAPLE 在灵巧操作以外的任务（如接触点预测）中也展现出强劲的效果。
 
Ø 强大的零样本性能：在涉及未见物体以及干扰物体的实验中，MAPLE 的表现优于基线方法。
 
Ø 新的评估基准：针对现有文献中灵巧操作评估基准的不足，我们引入了 4 个新的具有挑战性的灵巧操作仿真环境，涉及日常物体的操控。

摘要
 
大规模的第一视角视频数据集捕捉了各种场景下的人类活动，为理解人类如何与物体交互（尤其是那些需要精细灵巧控制的任务）提供了丰富而详细的见解。这种精确控制的复杂灵巧技能对许多机器人操作任务至关重要，但传统的数据驱动型机器人操作方法往往未能充分解决这一问题。
 
为了弥补这一空白，我们利用从大规模第一视角视频数据集中学习到的操作先验，来改进灵巧机器人操作任务的策略学习。我们提出了 MAPLE，这是一种用于灵巧机器人操作的新方法，它学习从第一视角图像中预测物体接触点以及接触时刻的精细手部姿态的特征。然后，我们将学习到的特征用于训练下游操作任务的策略。
 
实验结果表明，MAPLE 在 4 个现有的仿真基准以及新设计的 4 个需要精细物体控制和复杂灵巧技能的挑战性仿真任务上均表现出有效性。MAPLE 的优势在基于 17 自由度灵巧机械手的真实世界实验中得到了进一步凸显，而同时在仿真和真实环境中进行评估的工作在之前的研究中仍然较少。此外，我们还展示了我们的模型在第一视角接触点预测任务上的有效性，验证了其在灵巧操作策略学习之外的应用价值。

方法


我们在大规模第一视角视频（捕捉了丰富的手-物交互）上训练了一个视觉编码器，并评估其在灵巧机器人操作下游任务中的有效性。
 
给定单个输入帧，编码器被训练用于推理手-物交互，具体来说就是预测接触点和抓取时的手部姿态。这种训练方式将一种操作先验融入学习到的特征表示中，使其非常适合下游的机器人操作任务。
 
从冻结的视觉编码器中提取的特征，与机器人手的位置信息相结合，被输入到策略网络中，以预测灵巧手部的动作序列。我们发现，MAPLE 能够在多种仿真和真实世界的灵巧操作任务中实现高效的策略学习。





真实世界实验中的成功率。我们的结果表明，我们的编码器始终优于其他替代方法。
相比之下，其他基于编码器的方法表现出的行为使其不太适合我们的任务。




针对每种方法的失败案例分析，汇总了所有真实世界实验的结果。MAPLE 是唯一从未导致安全中止且定位误差最小的方法。

零样本实验




我们修改了“洗盘子”任务，使用了一块在训练中未见过的、颜色和形状都与训练时不同的海绵（“未见物体”），并报告了成功率。此外，我们还在图像中出现额外锅具作为“干扰物体”的情况下，对“放置锅具”任务进行了评估。使用我们特征的策略在性能上优于采用其他对比编码器的策略，展示了MAPLE出色的零样本能力和鲁棒性。

接触点预测



我们的编码器能够在第一视角视频上实现高质量的接触点预测。与基线方法相比，MAPLE 在 SIM 和 NSS 两个指标上均取得了最佳性能。

新的灵巧仿真环境
 
我们引入了新的灵巧仿真环境，通过缓解专注于灵巧操作场景的环境短缺，为基准测试提供了便利，并促进了进一步的研究。