问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

机器人抓取时怎么定位的?用什么传感器来检测

发布网友 发布时间:2022-04-26 18:31

我来回答

1个回答

热心网友 时间:2023-07-14 04:03

机器人家上了解到,机器人领域的视觉(Machine Vision)跟计算机领域(Computer Vision)的视觉有一些不同:机器视觉的目的是给机器人提供操作物体的信息。所以,机器视觉的研究大概有这几块:
物体识别(Object Recognition):在图像中检测到物体类型等,这跟 CV 的研究有很大一部分交叉;
位姿估计(Pose Estimation):计算出物体在摄像机坐标系下的位置和姿态,对于机器人而言,需要抓取东西,不仅要知道这是什么,也需要知道它具体在哪里;
相机标定(Camera Calibration):因为上面做的只是计算了物体在相机坐标系下的坐标,我们还需要确定相机跟机器人的相对位置和姿态,这样才可以将物体位姿转换到机器人位姿。

当然,我这里主要是在物体抓取领域的机器视觉;SLAM 等其他领域的就先不讲了。

由于视觉是机器人感知的一块很重要内容,所以研究也非常多了,我就我了解的一些,按照由简入繁的顺序介绍吧:

0. 相机标定

这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿,但是,机器人操作物体需要知道物体在机器人坐标系下的位姿。所以,我们先需要对相机的位姿进行标定。 内参标定就不说了,参照张正友的论文,或者各种标定工具箱; 外参标定的话,根据相机安装位置,有两种方式:

Eye to Hand:相机与机器人极坐标系固连,不随机械臂运动而运动

Eye in Hand:相机固连在机械臂上,随机械臂运动而运动 两种方式的求解思路都类似,首先是眼在手外(Eye to Hand)

只需在机械臂末端固定一个棋盘格,在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。 这样,我们就可以得到一个坐标系环

而对于眼在手上(Eye in Hand)的情况,也类似,在地上随便放一个棋盘格(与机器人基座固连),然后让机械臂带着相机走几个位姿,然后也可以形成一个 的坐标环。

1. 平面物体检测

这是目前工业流水线上最常见的场景。目前来看,这一领域对视觉的要求是:快速、精确、稳定。所以,一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法;而且,为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段,减少系统变量。

目前,很多智能相机(如 cognex)都直接内嵌了这些功能;而且,物体一般都是放置在一个平面上,相机只需计算物体的 三自由度位姿即可。 另外,这种应用场景一般都是用于处理一种特定工件,相当于只有位姿估计,而没有物体识别。 当然,工业上追求稳定性无可厚非,但是随着生产自动化的要求越来越高,以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。

2. 有纹理的物体

机器人视觉领域是最早开始研究有纹理的物体的,如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。 当然,这些物体也还是可以用类似边缘提取+模板匹配的方法。但是,实际机器人操作过程中,环境会更加复杂:光照条件不确定(光照)、物体距离相机距离不确定(尺度)、相机看物体的角度不确定(旋转、仿射)、甚至是被其他物体遮挡(遮挡)。

幸好有一位叫做 Lowe 的大神,提出了一个叫做 SIFT (Scale-invariant feature transform)的超强局部特征点: Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110. 具体原理可以看上面这篇被引用 4万+ 的论文或各种博客,简单地说,这个方法提取的特征点只跟物体表面的某部分纹理有关,与光照变化、尺度变化、仿射变换、整个物体无关。 因此,利用 SIFT 特征点,可以直接在相机图像中寻找到与数据库中相同的特征点,这样,就可以确定相机中的物体是什么东西(物体识别)。

对于不会变形的物体,特征点在物体坐标系下的位置是固定的。所以,我们在获取若干点对之后,就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。 如果我们用深度相机(如Kinect)或者双目视觉方法,确定出每个特征点的 3D 位置。那么,直接求解这个 PnP 问题,就可以计算出物体在当前相机坐标系下的位姿。

↑ 这里就放一个实验室之前毕业师兄的成果 当然,实际操作过程中还是有很多细节工作才可以让它真正可用的,如:先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体(有时候 SIFT 也会变化)、利用贝叶斯方法加速匹配等。 而且,除了 SIFT 之外,后来又出了一大堆类似的特征点,如 SURF、ORB 等。

3. 无纹理的物体
好了,有问题的物体容易解决,那么生活中或者工业里还有很多物体是没有纹理的:

我们最容易想到的就是:是否有一种特征点,可以描述物体形状,同时具有跟 SIFT 相似的不变性? 不幸的是,据我了解,目前没有这种特征点。 所以,之前一大类方法还是采用基于模板匹配的办法,但是,对匹配的特征进行了专门选择(不只是边缘等简单特征)。

简单而言,这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征,与数据库中的模板进行匹配。 由于数据库中的模板是从一个物体的多个视角拍摄后生成的,所以这样匹配得到的物体位姿只能算是初步估计,并不精确。 但是,只要有了这个初步估计的物体位姿,我们就可以直接采用 ICP 算法(Iterative closest point)匹配物体模型与 3D 点云,从而得到物体在相机坐标系下的精确位姿。

当然,这个算法在具体实施过程中还是有很多细节的:如何建立模板、颜色梯度的表示等。另外,这种方法无法应对物体被遮挡的情况。(当然,通过降低匹配阈值,可以应对部分遮挡,但是会造成误识别)。 针对部分遮挡的情况,我们实验室的张博士去年对 LineMod 进行了改进,但由于论文尚未发表,所以就先不过多涉及了。

4. 深度学习
由于深度学习在计算机视觉领域得到了非常好的效果,我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。

首先,对于物体识别,这个就可以照搬 DL 的研究成果了,各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试?有哪些难点? - 知乎 这个回答中,我提到 2016 年的『亚马逊抓取大赛』中,很多队伍都采用了 DL 作为物体识别算法。 然而, 在这个比赛中,虽然很多人采用 DL 进行物体识别,但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如 @周博磊 所说,一般是采用 semantic segmentation network 在彩色图像上进行物体分割,之后,将分割出的部分点云与物体 3D 模型进行 ICP 匹配。

当然,直接用神经网络做位姿估计的工作也是有的

它的方法大概是这样:对于一个物体,取很多小块 RGB-D 数据(只关心一个patch,用局部特征可以应对遮挡);每小块有一个坐标(相对于物体坐标系);然后,首先用一个自编码器对数据进行降维;之后,用将降维后的特征用于训练Hough Forest。

5. 与任务/运动规划结合
这部分也是比较有意思的研究内容,由于机器视觉的目的是给机器人操作物体提供信息,所以,并不限于相机中的物体识别与定位,往往需要跟机器人的其他模块相结合。

我们让机器人从冰箱中拿一瓶『雪碧』,但是这个 『雪碧』 被『美年达』挡住了。 我们人类的做法是这样的:先把 『美年达』 移开,再去取 『雪碧』 。 所以,对于机器人来说,它需要先通过视觉确定雪碧在『美年达』后面,同时,还需要确定『美年达』这个东西是可以移开的,而不是冰箱门之类固定不可拿开的物体。 当然,将视觉跟机器人结合后,会引出其他很多好玩的新东西。由于不是我自己的研究方向,所以也就不再班门弄斧了。
机器人抓取时怎么定位的?用什么传感器来检测

机器人抓取目前最常用的是通过视觉定位,CCD/CMOS传感器拍摄当前视野内图片,找到MARK点,算出偏移的坐标和角度,再通过网口或者串口将数据反馈到机器人,机器人作出相应修正 ---众合航迅科技有限公司 邓经理为您解答

无人机定位系统

无人机定位系统是指通过无人机上的传感器或其他设备,获取无人机的位置和状态信息,并将这些信息通过网络或其他通信方式传输到指定的接收端,以实现对无人机的控制和管理。无人机定位系统通常由以下几个部分组成:1. 无人机传感器:包括高清摄像头、GPS定位器、距离传感器、速度传感器等,这些传感器可以获取无人机的位置、姿态、速度等信息。2. 云端平台:包括无人机操作系统、地图绘制系统、数据处理和分析系统等,这些平台可以实现对无人机的控制和管理,并将获取的信息进行处理和分析。3. 接收端设备:包括地面控制中心、车载控制中心、手持控制…无人机反制设备其主要工作原理是干扰阻断无人机的飞控系统、信号传输系统、使无人机实现垂直着陆或自动返航,不会击毁或者损坏无人机。实际情况可以先咨询下上海特金无线技术有限公司,无人机侦测反制的问题都可以解决。

机器人系统中常用的传感器有哪些

1、距离传感器 距离传感器可以检测机器人与目标物体之间的距离,帮助机器人实现避障、跟随、定位等功能。常见的距离传感器包括超声波传感器、红外传感器、激光雷达等。2、速度传感器 速度传感器可以检测机器人的运动速度和方向,帮助机器人实现速度控制和运动轨迹规划。常见的速度传感器包括编码器、陀螺仪等。3、...

机器人有哪些传感器

距离传感器是机器人常用的一种传感器,主要用于测量机器人与周围环境或目标物体的距离。根据使用的技术不同,距离传感器可以是超声波传感器、红外传感器或者激光雷达。这些传感器帮助机器人实现避障、导航和定位功能。速度传感器和加速度传感器在机器人的运动控制中起到关键作用。速度传感器可以测量机器人的运动速度...

机器人有哪几种传感器?

1、内部传感器:用来检测机器人本身状态(如手臂间角度)的传感器。2、外部传感器:用来检测机器人所处环境(如是什么物体,离物体的距离有多远等)及状况(如抓取的物体是否滑落)的传感器。

人形机器人必备的传感器

1、二维视觉传感器 二维视觉传感器主要就是一个摄像头,它可以完成物体运动的检测以及定位等功能,二维视觉传感器已经出现了很长时间,许多智能相机可以配合协调工业机器人的行动路线,根据接收到的信息对机器人的行为进行调整。2、三维视觉传感器 最近三维视觉传感器逐渐兴起,三维视觉系统必须具备两个摄像机在不...

标题设计农业采摘机器人时会涉及到哪些传感器?

激光雷达传感器:激光雷达传感器可以实现对目标物的精确定位和测距,主要用于地形测绘、障碍物检测和精确定位。在农业采摘机器人中,激光雷达传感器可以帮助机器人识别和定位果树的位置,提高采摘的精度和效率。超声波传感器:超声波传感器可以发射超声波并测量超声波反射回来的时间差来进行距离测量。在农业采摘机器...

机器人内部传感器有哪些

位置传感器:对于移动机器人来说,了解自身位置是至关重要的。电位计和旋转编码器等位置传感器可以帮助机器人确定其位置和方位,例如,一个家用扫地机器人使用位置传感器来确保其沿正确的路径行进,并能准确返回充电座。速度传感器:这些传感器用于测量机器人的速度。光电速度传感器或磁电速度传感器可测量轮子的...

机器人系统中常用的传感器有哪些

1. 距离传感器:这类传感器能够测量机器人与周围物体之间的距离,对于避障、导航和定位任务至关重要。常见的距离传感器有超声波传感器、红外传感器和激光雷达。2. 速度传感器:速度传感器能够检测机器人的运动速度和方向,这对于实现精确的速度控制和运动规划非常重要。常见的速度传感器包括旋转编码器和陀螺仪。3...

自动抓取时,如何获得抓取点和放置点的坐标?

1、首先需要使用相机或其他传感器来获取物体的图像或点云数据。2、然后可以使用图像处理算法或点云处理算法提取物体的特征和几何信息,识别出物体的位置和姿态。3、其次根据物体的位置和姿态计算出抓取点和放置点的坐标。4、最后将计算得到的抓取点和放置点的坐标传递给机器人控制系统,使机器人执行相应的...

工业机器人伺服位置检测主要采用那些传感器,他们的原理是怎样的?

工业机器人伺服位置检测主要采用以下几种传感器:光电编码器(Optical Encoder):光电编码器是一种常用的位置检测传感器,通过测量机械轴的转动角度和速度来确定位置。它包括一个光源和光敏元件,当机械轴旋转时,光源和光敏元件之间的光透过栅格或光栅,产生脉冲信号,通过计数脉冲数和时间来计算位置和速度。...

扫地机器人传感器怎么清理 机器人的内部传感器有哪些 机器人传感器有哪些 机器人外部传感器 扫地机器人传感器是哪 机器人内部传感器包括 机器人传感器论文 小米扫地机器人传感器在哪 小米扫地机器人传感器
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
卡耐基的智慧大全集内容简介 会说话赢天下内容简介 卡耐基演讲与口才内容简介 商务口才训练内容简介 卡耐基金牌口才作者简介 卡耐基商务口才 作者简介 爱因斯坦的更多故事 杨柯叶谨言是什么电视 房贷和消费贷利率差别不大,但是还款金额差别挺大,都是怎么计算的... ...11月18号提现1500元、,11月25号还款1515,请问我还需要还 HEPTAGON 接近传感器采用什么封装工艺? 白风夕的人物点评 遗爱记 蓝白色 60 扬州话难不难学,作为一个苏北人,想说一口流利的扬州话容易么 有深海生命绿洲之称的鲸落,究竟是怎样的存在? 男子在鸿星尔克买500付1千拔腿就跑被全网悬赏? 陌生帅哥来我店里吃霸王餐,买单时他赖账:我以身抵债,该怎么办? 生活中长期心穷的男人,口中会频繁说哪三句话? 15元50G霸王流量套餐怎么办理?? 去酒吧怎么消费 小松鼠恃宠而骄带同伙吃霸王餐是怎么回事? 240万吃霸王餐,事后怎么处理了? 吃霸王餐是犯罪吗,是什么罪 霸王餐属于什么违法 四十瓦的手机充电头能充65瓦的笔记本电脑吗? 谁知道夕暮、花未央的情侣网名的另一个是什么啊 昔年谁系鸳鸯扣,今朝同看夕暮秋是什么意思 朝夕暮处的意思是什么 朝花夕拾的夕是什么意思 朝花迎风飞,夕暮斜阳落。欲羽乘风去,奈何垂暮年。 这首诗是什么意思? 使用RealSense在室外拍摄深度图像时,为什么效果总是很差 DxOMark 对相机图像传感器和镜头评分的参考意义有多大 西安知微传感技术有限公司怎么样? mba毕业可以做哪些工作 对同一个基本有序的待排序列分别进行堆排序、快速排序和冒泡排序,最省时间的算法是什么? 考了mba可以换什么工作吗 堆排序,希尔排序,冒泡排序,快速排序,哪个最费时 考MBA有什么用? c程序中冒泡法排序,选择法排序,快速排序的比较,哪个有优势,区别在哪里... 冒泡排序法是什么 mba考过了有什么用 排序法和冒泡法有什么区别? MBA毕业后能干什么工作 选择排序,快速排序,冒泡排序,堆排序,插入排序,基排序的程序的运行速度... 考了mba以后可以做什么? 初始状态按键值递增,分别用堆排序,快速排序和冒泡排序对其进行排序(按递增顺序)最省最费时排序?原因 ...可是我没有明白考取了MBA之后有什么好处呢? 冒泡排序,堆排序,快速排序,插入排序,归并排序的的稳定性及时间空间复... 学mba能干什么 分别采用冒泡排序和堆序方法对关键字进行排序。并写出排序过程。考试!!!在线等!!