CVPR 2019 | 40美元带你玩转机械臂:根据视觉的低成本机械臂控制系统

时间:2019-06-15 11:26:01  来源:龙翔网

【龙翔网修改】

原标题:CVPR 2019 | 40美元带你玩转机械臂:根据视觉的低成本机械臂操控体系

AI 科技谈论按:本文是计算机视觉范畴尖端会议CVPR 2019当选论文 《CRAVES: Controlling Robotic Arm with a Vision-based, Economic System》的解读。本文由约翰霍普金斯大学、清华大学和北京大学王亦洲课题组一起协作完结。

本文提出了一种根据视觉的机械臂操控体系,能够应用在价值40美元、彻底没有传感器的廉价机械臂上。仅凭借一个额定的摄像头,体系运用深度卷积神经网络,实时估量机械臂的三维姿势,并经过强化学习练习的智能体输出操控信号。从而,体系能够完结操控机械臂抵达空间中恣意给定三维坐标。根据此,咱们还完结了主动抓取骰子的使命。此外,姿势估量和强化学习的练习彻底依靠在虚拟环境中生成的数据,不需要人为进行标示与监督。

项目网站:https://craves.ai(含代码和数据)

论文地址:https://arxiv.org/abs/1812.00725

简介

怎么赋予机器人视觉,让其在多变的环境中完结杂乱的使命,近年来招引了越来越多研讨者的重视。但是,以往的研讨大多运用贵重的工业级机器人(价值一万美元以上),这无疑约束了一般的研讨者进入这个范畴。因而,本文期望经过低成本的硬件来建立一个机器人研讨和教育的渠道,以降低相关范畴研讨的硬件门槛。

咱们选用了OWI-535机械臂,由于其:

与此同时,其缺陷也十分显着:没有任何传感器,因而无法取得反应信号并对其进行准确操控。但人能够经过调查机械臂,经过遥控器完结一些高档机械臂才干完结的使命, 例如叠筛子。怎么用视觉算法像人相同对没有传感器的机械臂进行操控是本文重视的焦点。

咱们挑选运用一个外部的RGB摄像头作为视觉传感器,实时估量机械臂的三维姿势,并生成反应操控信号。体系框图如下图所示: