• banner1
  • banner2
  • banner3
当前位置:主页 > 产业新闻 >

为何无人机都离不开这三种视觉算法

来源:http://www.gxbc8888.com 责任编辑:利来国际备用 更新日期:2018-08-04 03:59

  为何无人机都离不开这三种视觉算法

  谈到移动机器人,咱们第一印象可能是效劳机器人,实践上无人驾驶轿车、可自主飞翔的无人机等等都归于移动机器人领域。它们能和人相同能够在特定的环境下自在行走/飞翔,都依赖于各自的定位导航、途径规划以及避障等功用,而视觉算法则是完结这些功用关键技能。

  假如对移动机器人视觉算法进行拆解,你就会发现获取物体深度信息、定位导航以及壁障等都是依据不同的视觉算法,本文就带咱们聊一聊几种不同但又必不行少的视觉算法组成。

  

移动机器人的视觉算法品种

 

  Q:完结定位导航、途径规划以及避障,那么这些过程中需求哪些算法的支撑?

  谈起移动机器人,许多人想到的需求可能是这样的:“嘿,你能不能去那儿帮我拿一杯热拿铁过来。”这个听上去对普通人很简略的使命,在机器人的国际里,却充满了各种应战。为了完结这个使命,机器人首要需求载入周围环境的地图,准确定位自己在地图中的方位,然后依据地图进行途径规划控制自己完结移动。

  而在移动的过程中,机器人还需求依据现场环境的三维深度信息,实时的逃避障碍物直至抵达终究方针点。在这一连串机器人的考虑过程中,能够分解为如下几部分的视觉算法:

  1.深度信息提取

  2.视觉导航

  3.视觉避障

  后边咱们会详细说这些算法,而这些算法的根底,菲防长已向我国提交所需兵器清单。是机器人脑袋上的视觉传感器。

  视觉算法的根底:传感器

  Q:智能手机上的摄像头能够作为机器人的眼睛吗?

  一切视觉算法的根底说到底来自于机器人脑袋上的视觉传感器,就好比人的眼睛和夜间视力十分好的动物比较,表现出来的感知才能是彻底不同的。相同的,一个眼睛的动物对国际的感知才能也要差于两个眼睛的动物。每个人手中的智能手机摄像头其实就能够作为机器人的眼睛,当下十分盛行的Pokeman Go游戏就运用了核算机视觉技能来到达AR的作用。

  

像上图画的那样,一个智能手机中摄像头模组,其内部包括如下几个重要的组件:镜头,凯时娱乐,IR filter,CMOS sensor。其间镜头一般由数片镜片组成,经过杂乱的光学规划,现在能够用廉价的树脂资料,做出成像质量十分好的手机摄像头。

 

  

CMOS sensor上面会覆盖着叫做Bayer三色滤光阵列的滤色片。凯时娱乐每个不同色彩的滤光片,能够经过特定的光波波长,对应CMOS感光器材上就能够在不同方位别离取得不同色彩的光强了。假如CMOS传感器的分辨率是4000x3000,为了得到相同分辨率的RGB五颜六色图画,就需求用一种叫做demosaicing的核算摄像算法,从2绿1蓝1红的2x2网格中解算出2x2的RGB信息。

 

  

一般的CMOS感光特性除了挑选红绿蓝三色之外,关于红外光是通明的。因而在光路中加上IR滤光片,是为了去除太阳光线中红外光对CMOS的搅扰。加上滤光片后,一般图画的对比度会得到显着的前进。

 

  Q:核算机视觉中还会用到什么传感器?

  除了RGB相机,核算机视觉中常用的还有其他品种的特别相机。例如有一种相机的滤光片是只答应经过红外光波段的。由于人眼一般是看不见红外光的,所以能够在相机邻近加上主动红外光源,用于测距等运用。

  

别的,大部分咱们用到的camera都是以rolling shutter的方式完结电子曝光的,像图中左边那样,为了削减电子器材的本钱,曝光一般是一行一行别离进行,这样必然构成物体快速移动时,相机收集到的图画会发作形变。为了防止这种形变对依据立体几何进行核算的视觉算法的影响(例如VSLAM),选用global shutter的相机就显得特别重要了。

 

  

相机是另一大类视觉算法中需求的传感器,能够分红如下几类:

 

  1.TOF传感器(例如Kinect 2代),相似昆虫复眼。本钱高,室外能够运用。

  2.结构光传感器(例如Kinect 1代),三角定位原理,本钱中,室外不能用。

  3.双目视觉(例如Intel Realsense R200),主动照明或被迫照明,IR或可见光皆可。本钱低,室外能够运用。

  算法一:深度信息提取

  Q:深度相机怎么辨认物体的深度信息的呢?

  简而言之,其原理就是运用两个平行的相机,对空间中的每个点三角定位。经过匹配左右两个相机中成像点的方位,来核算对应三维点在空间中的间隔。学术界对双目匹配康复深度图研讨有很长的前史,在NASA火星车上就初步选用这个技能。可是其真正在消费电子品商场得到广泛运用仍是从微软的Kinect体感传感器初步。

  

Kinect传感器背面运用了以色列Primesense公司授权的结构光技能(现在已被Apple收买)。其原理是避开双目匹配中杂乱的算法规划,转而将一个摄像头更换成向外主动投射杂乱光斑的红外投影仪,而另一个平行方位的相机也变成了红外相机,能够清楚的看到投影仪投射的一切光斑。由于人眼看不到红外光斑,并且纹路十分杂乱,这就十分有利于双目匹配算法,能够用十分简练的算法,辨认出深度信息。

 

  虽然Kinect的内涵原理官方并没有给出解说,在近年来一篇Kinect Unleashed的文章中,作者向大众hack了这个体系的作业原理:

  首要,红外图画在基线方向上采样8倍,这样能够确保在做双目匹配后完结3bit的亚像素精度。然后,对图画做sobel滤波,使得图画的匹配精度前进。然后,图画与预存的投影光斑模板图画进行SAD block matching。该算法的核算杂乱度小,适宜硬化和并行。终究,经过简略的图画后处理,下采样到原始分辨率,得到终究的深度图。

  

咱们能够看到,跟着2009年Kinect设备在消费机商场的迸发(出售头10天100万台),逐步初步催生了相似技能变种在移动端设备的研制热潮。从2013年至今,跟着核算才能的前进和算法的前进,硬件本钱更低的主动/被迫双目深度相机初步在移动手机上呈现。

 

  

曩昔认为很难实时运转的双目匹配算法,即便在没有主动结构光辅佐的状况下,也表现出十分优异的3D成像质量。Segway robot选用了主动/被迫可切换的双目深度视觉体系。如下图所示,

 

  左边三个传感器别离为,左红外相机,红外pattern投影,右红外相机。在室内作业时,由于红外光源缺乏,红外投影翻开,辅佐双目匹配算法。在室外作业时,红外光源足够,红外投影封闭,双目匹配算法能够直接运转。归纳看,此体系在室内外都表现出优异的深度传感才能。

  

算法二:定位导航

 

  Q:视觉处理后,机器人是怎么完结导航的?

  

机器人导航本身是一个比较杂乱的体系。其间涉及到的技能会有如下列表:

 

  视觉里程计 VO

  建图,运用VO和深度图

  重定位,从已知地图中辨认当时的方位

  闭环检测·,消除VO的闭环差错

  大局导航

  视觉避障

  Scene tagging,辨认房间中物体加上tag

  机器人开机,视觉里程计就会初步作业,记载从开机方位起的6DOF定位信息。在机器人运动过程中,mapping算法初步构建机器人看到的国际,将空间中丰厚的特征点信息,二维的地图信息记载到机器人map中。

  当机器人运动过程中由于遮挡、断电等原因丢掉了本身的坐标,重定位算法就需求从已知地图中定位到机器人当时的方位估量。别的,当机器人运动中回到了地图中从前呈现过的方位,往往视觉里程计的差错会导致轨道并没有彻底闭合,这就需求闭环算法检测和纠正这个过错。

  有了大局地图之后,机器人就能够给定一些方针点指令,做大局的自主导航了。在实践中,由于环境是不断改变的,大局地图并不能彻底反映导航时的障碍物状况,因而需求凌驾于大局导航之上的视觉避障算法进行实时的运动调整。

  终究,一个主动的导航体系还需求机器人主动辨认和了解空间中的不同物体的信息、方位、高度和巨细。这些tag信息叠加在地图上,机器人就能够从语义上了解自己所在的环境,而用户也能够从更高层次下达一些指令。

  Q:视觉VSLAM在机器人上的完结有哪些难点?

  视觉VSLAM是一个调集了视觉里程计,建图,和重定位的算法体系。近年来开展很快。依据特征的视觉SLAM算法从经典的PTAM算法初步,现在以ORB-SLAM为代表的算法现已能够在PC上到达实时运转。下面是一个ORBSLAM的框图:

  

从姓名可见,其运用ORB作为图画特征提取东西,并且在后续的建图及重定位中均运用了同一份特征点信息。相关于传统的SIFT和SURF特征提取算法,其功率高出许多。

 

  ORB-SLAM包括三个并行的线程,即盯梢,建图和闭环。其间盯梢线程运转在前端,确保实时运转,建图和闭环线程运转在后端,速度不需求实时,可是与盯梢线程同享同一份地图数据,能够在线批改使得地图数据精度和盯梢精度更高。下图是ORB-SLAM地图的首要数据结构,

  点云和关键帧。两者之间经过图画上2D特征点与空间中的点云树立映射联系,一起还保护了关键帧之间的covisibility graph联系。经过这些数据相关,用优化办法来保护整个地图。

  

ORB-SLAM在机器人上运用依然存在如下难点:

 

  1.核算量过大,在4核处理器上一般会占去60%左右CPU资源。

  2.在机器人运动过快时会呈现跟丢不行恢复的状况。

  3.单目SLAM存在标准不确定的问题。在机器人快速旋转时,此问题特别显着,很快会呈现闭环差错过大无法纠正的状况。

  针对标准问题,有两种办法处理:添加一个摄像头构成双目SLAM体系,或许添加一个IMU构成松耦合/紧耦合的视觉惯导定位体系。这儿简略介绍松耦合的视觉惯导定位体系。一般把VSLAM当成一个黑盒子,将其的输出作为观丈量放到一个依据IMU的EKF体系中,EKF终究fuse的输出便是体系的输出。

  考虑到camera数据和IMU数据一般是不同步的,因而经过硬件时刻戳,需求判别图画数据对应的时刻戳与IMU时刻戳的联系。在EKF propagate过程,更高帧率的IMU数据不断的更新EKF的状况。在camera数据到来时,触发EKF update过程,依据EKF建模方程来更新状况变量、协方差矩阵,并且从头更新一切晚于camera数据的IMU数据对应的状况变量。

  

Segway Robot选用了业界抢先的视觉惯导定位体系,下面是一个在楼道里边运转一圈,回到原点之后的作用图,详细有如下优势:

 

  1.在大标准下能够确保十分小的闭环差错

  2.实时运转,需求CPU资源小

  3.答应快速旋转等景象,不会跟丢

  算法三:避障

  Q:视觉避障的算法原理是怎样的?

  导航处理的问题是引导机器人挨近方针。当机器人没有地图的时分,挨近方针的办法称为视觉避障技能。避障算法处理的问题是依据视觉传感器的数据,对静态障碍物、动态障碍物完结逃避,但仍保持向方针方向运动,实时自主导航。

  

避障算法有许多,可是这些办法都有严厉的假定,假定障碍物为圆形或假定机器人为圆形,假定机器人能够恣意方向运动,s或假定它只能走圆弧途径。可是实践运用上,机器人很难到达条件。比方VFF算法, 该算法假定机器人为点,并且能够恣意方向运动。VFH+假定机器人为圆形,经过圆形胀大障碍物,在考虑运动学问题时只是假定机器人以圆弧途径运动。DWA也假定机器人为圆形,在考虑运动学问题时只模仿了前向圆弧运动时的状况。

 

  相对而言,咱们不约束机器人的形状,考虑运动学问题时,模仿多种运动模型,而不限于圆弧运动,由于这样能够为机器人找到更佳避开障碍物的行为。

  这张图显现了运用不同运动学模型导致不同的避障成果。左图表明运用圆弧模型时模仿的途径,右图表明运用另一种途径模型模仿的途径。在这种狭小环境,此办法能够提早猜测多个方向的障碍物状况,挑选适宜的模型能够协助找到更适宜的运动方向逃避障碍物。

  

和现在常用的避障算法之间存在的差异在于,它将运动学模型抽象化到周围环境地图中,然后就能够运用任何常用的避障算法,这样就解耦了运动学模型与算法的绑缚,并且任何要求严厉的避障算法都能参加进来。Segway Robot的避障体系,归纳了深度传感器,超声波,IMU等sensor。在杂乱的环境中,能够自若逃避障碍物。

 

  

这张图是咱们的避障体系的一个截图,能够看到深度图和2维的避障地图。最下面赤色的指针就代表了每时每刻避障的决议计划。

 

  精彩问答

  Q:为什么选用ir相机而不是传统的rgb相机呢?ir相机相对来讲的优势在哪里?

  A:ir相机能够看到人眼看不到的物体,比方深度相机需求在室内投射红外纹路,协助深度辨认。人眼看不到,但ir相机能够看。

  Q:现在机器人导航是否首要是slam技能,还有没其他导航技能?首要盛行的slam技能有哪些?用于无人驾驶和无人机的视觉导航技能有哪些异同?

  A:slam技能是导航中的一个根底模块,品种许多,有单目,双目,depth,imu+视觉等传感器为根底的算法。双目相机能够很好的习惯室内和室外的环境。他的体积其实十分小,segway robot运用的camera长度在10cm左右

  Q:现在有无用于机器人导航的导航地图存在,相似车载导航地图?用于机器人导航的地图数据有哪些?

  A:现在还没有这样的机器人导航地图存在,可是是研制热门。比方tesla和mobileye的地图之争。

Copyright © 2013 利来国际备用,w66.com利来国际,利来w66,利来国际老牌 All Rights Reserved 网站地图