Dobb-E训练家用多技能机器人的框架

来源:
导读 多年来,机器人专家一直在尝试开发能够处理各种日常家务的机器人,例如洗碗或整理房间。然而,到目前为止,所创造的机器人还没有大规模商业...

多年来,机器人专家一直在尝试开发能够处理各种日常家务的机器人,例如洗碗或整理房间。然而,到目前为止,所创造的机器人还没有大规模商业化采用。

纽约大学的研究人员最近推出了Dobb-E,这是一种专门设计用于有效训练移动机器人执行家务任务的新框架,最终有助于以利于它们未来的广泛使用。该框架在服务器上的一篇论文预发布中概述arXiv,可以应用于各种旨在帮助人类在家中的机器人。

“这篇论文诞生于我们的愿景,即在不久的将来将机器人引入美国普通家庭,”该论文的合著者LerrelPinto告诉TechXplore。“我们已经拥有专业的‘机器人’”在我们家里,例如洗碗机或洗衣机,而是一个多面手机器人,它可以学习如何完成每项作业以及它如何提供帮助在这种情况下,最好的目标长期以来一直是一个遥远的目标。”

平托和他的同事最近的工作有一系列主要目标,所有这些目标都需要满足,机器人才能成功融入家庭环境。首先,该团队希望设计一种有效的方法,使用户能够快速教授机器人新技能。

这种方法还应该确保机器人的安全,确保他们在学习完成新任务时不会造成任何伤害。最后,它不应该对最终用户有特别的要求,从而确保它简化而不是使他们的生活复杂化。

“为了提高效率,我们依靠数据驱动的学习系统,其成功在当今部署的最大机器学习模型中显而易见,”平托说道。“我们通过围绕用户监督下的学习制定系统来实现安全,而不是通过试错来学习。最后,我们开发了一种符合人体工程学的演示收集工具,使我们能够在陌生的家庭中收集特定任务的演示,而无需直接进行机器人操作。”

Dobb-E框架有四个关键组件,即数据收集工具、预训练模型、多样化数据集和部署方案。这些组件中的第一个组件称为“棒”。旨在利用用户的智能手机简化数据收集。

“TheStick是我们的廉价但符合人体工程学的数据收集工具,我们用抓取工具、3D打印支架和iPhonepro构建而成,”平托说道。“简单的成分列表使该工具易于使用且便宜,而安装的iPhone使我们能够从演示中记录高分辨率视频、深度和运动信息。”

Pinto和他的同事使用Stick数据收集工具编译了一个用于训练家用机器人的新数据集,他们将其称为HomesofNewYork(HoNY)数据集。该数据集包含使用他们在纽约216个家庭环境中基于智能手机的设置收集的镜头。

与过去开发的其他机器人训练数据集不同,HoNY数据集专注于更多样化的场景和机器人行为。此外,Stick收集工具使他们能够编译比以前数据集中的场景多一个数量级的场景。

Dobb-E系统的第三个组成部分是预训练的感知模型。该模型采用自我监督学习方法在HoNY数据集上进行训练。

“我们使用HoNY数据集和最先进的自监督学习算法MoCo-v3来训练HomePretrainedRepresentations(HPR)作为我们的视觉识别模型,”平托解释道。“HPR让我们的方法可以扩展到不同家庭中截然不同的场景。”

Pinto和他的同事在真实家庭环境中进行了一系列实验,评估了他们的数据收集工具、HoNY数据集和预训练视觉识别模型的潜力。在这些实验中,他们将经过训练的算法部署在HelloRobotStretch上,这是一种很有前途的多功能移动家庭机器人。

值得注意的是,机器人被教导完成109种不同的家务活。对于每一项任务,研究人员平均使用五分钟的新视频数据对模型进行了微调。

“本文最令人兴奋的结果是证实,以我们目前的技术水平,我们可以构建学习型机器人代理,可以在类似的大范围家庭中解决各种任务,”平托说道。

Dobb-E是一个前沿的研究项目,但通过扩大该项目的规模并围绕它建立适当的脚手架,我们可以预期它会成长为普通家庭助理的第一步,可以帮助老年人和受疾病影响的人残疾,或者只是忙碌的父母。然而,从我们目前的情况来看,我们还需要在改进功能和[完善]方面做更多的工作,以使其更加用户友好。”

Dobb-E框架对旨在实现多功能家用机器人广泛部署的持续努力做出了巨大贡献。该团队的初步实验取得了非常有希望的结果,同时也强调了影响家庭机器人性能的一些关键因素。

将来,这项最新工作可以为日益先进的家用机器人系统的开发提供信息。Pinto和他的同事已经公开发布了他们的数据收集工具、数据集和预训练模型,因此其他研究团队可以很快利用它们或将它们改编为自己研究的一部分。

“虽然Dobb-E解决了在各种不同场景中学习低级技能的问题,但它并没有解决对将这些技能联系在一起以完成家庭中的各种任务的高级规划者或政策的需求,”平托补充道。

“我们未来的方向之一应该是研究连锁技能,以在家庭中完成有意义的长期任务。我们想要研究的另一个方向是改进摇杆和机器人上的传感器,并可能迭代我们的深度传感,添加更多相机视图,并添加更多传感器模式,例如触摸和声音。”

标签:

免责声明:本文由用户上传,如有侵权请联系删除!