景深避障方法、设备及无人飞行器与流程
本发明涉及无人飞行器技术领域，特别是涉及一种景深避障方法、设备及无人飞行器。
背景技术：
无人机是一种有动力、可控制、能携带多种任务设备、执行多种任务并能重复使用的飞行器。能够利用无线遥控设备和自身的控制装置进行控制的不载人飞行器，例如无人直升机、无人固定翼机、无人伞翼机等等。该无人机可以用于挂载拍摄装置，用于航拍、测绘、侦查等等。
目前，随着无人机应用越来越普及，常常发生人为操作失误而导致无人机与飞行场所内的障碍物发生碰撞的事故，为此人们越来越关注无人机的避障技术。现有技术中的无人机避障技术大多采用红外传感测距避障、超声波测距避障和视觉避障等技术，其中，红外传感测距避障技术在遇到玻璃或镜面反射时效果很差，超声波测距避障则只是用于距离较近的情况，而且超声波受到环境干扰的可能性很大。在视觉避障方面，对比文件1（cn105787447a）公开一种无人机基于双目视觉的全方位避障的方法及系统。无人机四周均布设有双目摄像装置，并且所述双目摄像装置实时拍摄，其使用至少8个相机，一方面耗电量高，另一方面对处理器芯片的运算能力要求和硬件设施的散热性能要求都相当高。而且，现有技术中采用双目摄像装置时并未考虑遮挡物出现等情况，对障碍物判断未必准确。
技术实现要素：
本发明正是基于以上一个或多个问题，提供一种景深避障方法、设备及无人飞行器，用以解决现有技术中存在的无人飞行器在飞行中判断障碍物时芯片运算量大以及障碍物判断不准确的问题。
本发明提供一种景深避障方法，所述景深避障方法主要包括以下步骤：
s1控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
s2计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
s3检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
s4对所述第一子图像的所述遮挡点进行恢复；
s5获取初始场景深度图；
s6利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
s7滤除所述场景深度图的噪声；
s8依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
优选地，所述景深避障方法在所述步骤s1之前还包括以下步骤：
s01对所述摄像装置进行标定，获取所述摄像装置的性能参数；
s02所述摄像装置包括双目摄像头时，对所述摄像装置进行校正，所述校正包括畸变校正和标准化。
优选地，所述步骤s2具体包括：
s21选取所述第一子图像的一中心像素点为待匹配点；
s22基于图像灰度信息获取与所述第一子图像相对应的第二子图像，以所述第一子图像的中心像素点和所述第二子像素的中心像素点作为匹配点对；
s23重复上述步骤s21和步骤s22，直至所述第一图像的所有第一子图像与所述第二图像搜索完成后形成沿着一极线分布的曲线图；
s24以所述曲线图中的最大值对应的点为中心点，从所述最大值两侧选取两个参考点，以这三个点为基准点构造二次曲线，并求取二次曲线的极大值点作为最终的匹配点。
优选地，所述步骤s3具体包括：
s31获取所述第一子图像中各像素点的视差值；
s32获取所述第二子图像中各像素点的视差值；
s33判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
s34若所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值，则判定所述第一像素点为所述遮挡点。
优选地，所述步骤s5具体包括：
s51对于所述初始场景中任意一点的场景深度，利用z=bf/x获得，其中，b为双目相机光心之间的物理间距，f为光心到像面的最短距离，所述初始场景中前述点在双目摄像机两摄像头的成像点的视差值为x；
s52待计算所述初始场景中的所有点的场景深度后，获取所述初始场景深度图。
优选地，所述步骤s7具体包括：采用（2n+1）×（2n+1）的中值滤波器对所述场景深度图进行滤波，去除噪声，其中n为正整数。
本发明还提供一种景深避障设备，所述景深避障设备包括：
拍摄模块，用于控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
计算模块，用于计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
遮挡点检测模块，用于检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
遮挡点恢复模块，用于对所述第一子图像的所述遮挡点进行恢复为非遮挡点；
初始场景深度图获取模块，用于获取初始场景深度图；
优化模块，用于利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
噪声滤除模块，用于滤除所述场景深度图的噪声；
避障控制模块，用于依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
优选地，所述遮挡点检测模块具体包括:
第一视差值获取单元，用于获取所述第一子图像中各像素点的视差值；
第二视差值获取单元，用于获取所述第二子图像中各像素点的视差值；
差值判断单元，用于判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
遮挡点确定单元，用于在所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值时，则判定所述第一像素点为所述遮挡点。
本发明还提供一种景深避障设备。所述景深避障设备包括处理器和存储器以及摄像装置，所述处理器控制所述景深避障设备，所述存储器存储一段可被所述处理器执行的程序指令，所述摄像装置拍摄指定场景生成图像，其中，所述处理器调用所述存储器存储的程序指令以执行以下步骤：
s1控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
s2计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
s3检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
s4对所述第一子图像的所述遮挡点进行恢复；
s5获取初始场景深度图；
s6利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
s7滤除所述场景深度图的噪声；
s8依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明还提供一种无人飞行器，所述无人飞行器包括景深避障设备，所述景深避障设备至少包括：拍摄模块，用于控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
计算模块，用于计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
遮挡点检测模块，用于检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
遮挡点恢复模块，用于对所述第一子图像的所述遮挡点进行恢复为非遮挡点；
初始场景深度图获取模块，用于获取初始场景深度图；
优化模块，用于利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
噪声滤除模块，用于滤除所述场景深度图的噪声；
避障控制模块，用于依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障方法、设备及无人飞行器，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
附图说明
图1是本发明实施例一的景深避障方法的流程示意图；
图2是图1中步骤s3的详细流程示意图；
图3是本发明摄像装置采用双目摄像头时，计算场景深度的几何模型示意图；
图4是本发明实施例二的无人飞行器的景深避障设备的结构示意图；
图5是图4中遮挡点检测模块的具体结构示意图；
图6是本发明实施例三的无人飞行器的景深避障设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例一
如图1所示，本发明提供一种景深避障方法，所述景深避障方法主要包括以下步骤：
s1控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
s2计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
s3检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
s4对所述第一子图像的所述遮挡点进行恢复；
s5获取初始场景深度图；优选地，所述步骤s5具体包括：
s51对于所述初始场景中任意一点的场景深度，利用z=bf/x获得，其中，b为双目相机光心之间的物理间距，f为光心到像面的最短距离，所述初始场景中前述点在双目摄像机两摄像头的成像点的视差值为x；
s52待计算所述初始场景中的所有点的场景深度后，获取所述初始场景深度图。
在一具体实施例中，如图3所示，对于上述步骤s5，摄像装置为双目摄像机，该双目摄像机的主光轴相互平行，利用三角关系求取场景深度图中某点对应的场景深度，也就是场景中的某物体与摄像头之间的间距。该双目摄像机模型中，世界坐标系中的任意一点都满足该点与它在左右相机的成像点在同一个极平面上。ol和or是双目摄像机的的光心，ol和or之间的物理间距为b。光心到像面的最短距离就是焦距长度f。若p是世界坐标系中的一点，它在左、右像面上的成像点是p2和p1。p1和p2距各自像面的左边缘的距离是xr和xl。而（xr-xl）为匹配点对p1和p2的视差值。
由相似三角形关系可得到p对应的景深深度z=bf/(xr-xl)。
s6利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；这里，具体来说，是对经过步骤s5计算得到的初始场景深度图进行优化，这里优选采用基于高斯分布的深度优化算法，具体算法如下：
s61、假设所有像素点的深度是符合某个初始的高斯分布；
s62、当新数据产生时，即对于某一点新测出的深度值，虽然两帧图像就可以解算出深度，本发明利用多对图像求解深度，获得该点的更多深度值数据，再通过极线搜索和ncc块匹配确定投影点位置；
s63、根据几何关系计算三角化后的深度并分析单个像素的不确定性及其所引发深度信息的不确定性；
s64、将当前观测融合进上一次对不确定性的估计中。若单个像素的不确定性所引发深度信息的不确定性小于一定阈值即可以停止计算，否则返回步骤s62。
s7滤除所述场景深度图的噪声；
s8依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障方法，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
优选地，所述景深避障方法在所述步骤s1之前还包括以下步骤：
s01对所述摄像装置进行标定，获取所述摄像装置的性能参数；
s02所述摄像装置包括双目摄像头时，对所述摄像装置进行校正，所述校正包括畸变校正和标准化。
具体来说，首先采用张氏棋盘标定法分别对摄像装置为双目摄像机时对每一目摄像机进行标定以获取双目摄像机的内参和畸变参数。其中，张氏棋盘标定法的基本过程为：1.打印一张棋盘格，把它贴在一个平面上，作为标定物；2.通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片；3.从照片中提取角点特征点；4.估算理想无畸变的情况下，五个内参和所有外参。5.应用最小二乘法估算实际存在径向畸变下的畸变系数。6.使用极大似然法进行优化估计，提升估计精度。
然后，利用双目摄像机的内参和畸变参数，再根据两个相机的外参，得到两个相机之间的旋转和平移关系。之后进入双目摄像机的校正，双目摄像机校正的目的是为了使得到的不同视角下两帧图像之间只存在x方向的差异（即视差值）。
双目摄像机校正分为畸变校正和摄像机标准化两个步骤。首先根据摄像机标定得到的畸变参数和内参矩阵对原始图像进行畸变校正，即对图像做与畸变相反的变换，从而消除畸变，使得两帧图像的成像原点坐标一致、两摄像头光轴平行、两帧图像平面共面；然后将摄像机转换为标准形式，使得同一个物体在两幅图像中的大小一样，且水平在一条直线上。
优选地，所述步骤s2具体包括：
s21选取所述第一子图像的一中心像素点为待匹配点；
s22基于图像灰度信息获取与所述第一子图像相对应的第二子图像，以所述第一子图像的中心像素点和所述第二子像素的中心像素点作为匹配点对；
s23重复上述步骤s21和步骤s22，直至所述第一图像的所有第一子图像与所述第二图像搜索完成后形成沿着一极线分布的曲线图；
s24以所述曲线图中的最大值对应的点为中心点，从所述最大值两侧选取两个参考点，以这三个点为基准点构造二次曲线，并求取二次曲线的极大值点作为最终的匹配点。
具体来说，本发明采用去均值的ncc块匹配算法，是一种基于图像灰度信息的匹配方法，根据下面的公司计算两个小块的相似度，从而获取匹配点。
其中，f1(x,y)是在第一图像的第一子图像（窗口）中，以第一子图像左上角为原点，坐标(x,y)处的灰度值，f2(x,y)是第二图像的第二子图像中，以第二子图像（窗口）左上角为原点，坐标(x,y)点的灰度值。
本发明采用的搜索方法是以图像一中的某个像素点为待匹配点，在对应的极线上不停的搜索窗口并计算ncc，进而得到一个沿着极线分布的ncc曲线图，但是这种ncc曲线并非连续曲线，因此所获取的匹配点所对应的ncc值并不一定是最大值。
本发明采取子像素插值方法求解精确的匹配点来解决这一问题，且该匹配点一般为子像素精度。该子像素插值方法的基本思路为：以ncc曲线最大值对应的点为中心点，分别从其左、右两个方向选取两个坐标点，以这三个点为基准点构造二次曲线，并求取二次曲线的极大值点作为最终的匹配点。
如图2所示，在一个具体实施例中，所述步骤s3具体包括：
s31获取所述第一子图像中各像素点的视差值；
s32获取所述第二子图像中各像素点的视差值；
s33判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
s34若所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值，则判定所述第一像素点为所述遮挡点。
具体连说，由于双目摄像机视场不同的原因，必然会导致一些场景会出现在一幅图像中，而在另外一幅图像中看不到。lrc算法主要用于处理双目视觉中出现的遮挡检测（occlusiondetection）问题，得到对应的遮挡图像。lrc算法检测模块的基本思路为：根据得到的左右两幅视差图，对于左图中的点p1，其求取视差值为d1,那么其在右图中对应的像素点为（p1-d1）(经过极线校正后两者纵轴像素坐标相同）,而此时右图中点（p1-d1）所对应的视差值为d2。若d1与d2的差的绝对值大于一个特定数值，则点p1标记为遮挡点。该特定数值是根据实际图像调整的，且与图像大小和相机视差角都有关系，但实际中一般这个值为自定义，小于两个像素即可。对于一个遮挡点p，分别水平往左和往右找到第一个非遮挡点，记作pl、pr。点p的视差值赋成pl和pr的视差值中较小的那一个，即d(p)=min(d(pl),d(pr))，这样就可以对遮挡点进行修正。
进一步地，所述步骤s7具体包括：采用（2n+1）×（2n+1）的中值滤波器对所述场景深度图进行滤波，去除噪声，其中n为正整数。在一个具体实施例中，本发明采用7×7的中值滤波器对场景深度图进行滤波，去除因为噪声或者弱纹理匹配失败的杂点，这些统称为噪声。该滤波器的基本思想为以某一个点为中心，选取7×7的区域上的49个点，求解这49个点的中值并赋值给这个中心点的值。当然还可以是5×5或者9×9的中值滤波器，这里不作限定。
实施例二
如图4和图5所示，本发明还提供一种景深避障设备，所述景深避障设备包括：
拍摄模块10，用于控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
计算模块20，用于计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
遮挡点检测模块30，用于检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
遮挡点恢复模块40，用于对所述第一子图像的所述遮挡点进行恢复为非遮挡点；
初始场景深度图获取模块50，用于获取初始场景深度图；
优化模块60，用于利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
噪声滤除模块70，用于滤除所述场景深度图的噪声；
避障控制模块80，用于依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障设备，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
此外，本发明还提供一种具有上述景深避障设备的无人飞行器，该无人飞行器具有芯片运算量小以及能准确避障的优点。
优选地，所述遮挡点检测模块30具体包括:
第一视差值获取单元31，用于获取所述第一子图像中各像素点的视差值；
第二视差值获取单元32，用于获取所述第二子图像中各像素点的视差值；
差值判断单元33，用于判断所述第一子图像中各像素点的视差值与所述第二子图像中相对应的像素点的视差值差值是否大于预设阈值；
遮挡点确定单元34，用于在所述第一子图像中的第一像素点的视差值与所述第二子图像中对应像素点的视差值的差值大于所述预设阈值时，则判定所述第一像素点为所述遮挡点。
实施例三
如图6所示，本发明还提供一种景深避障设备，所述景深避障设备包括处理器100和摄像装置200以及存储器300。所述处理器100控制所述景深避障设备，所述存储器300存储一段可被所述处理器执行的程序指令，所述摄像装置200拍摄指定场景生成图像，其中，所述处理器100调用所述存储器300存储的程序指令以执行以下步骤：
s1控制摄像装置拍摄指定场景获取第一图像和第二图像，所述第一图像包括多个第一子图像，所述第二图像包括多个第二子图像；
s2计算所述第一子图像和相对应的第二子图像的匹配相似度，获取匹配特征点；
s3检测所述第一子图像相对于对应的所述第二子图像的遮挡点；
s4对所述第一子图像的所述遮挡点进行恢复；
s5获取初始场景深度图；
s6利用高斯分布对所述初始场景深度图进行深度优化，以获取场景深度图；
s7滤除所述场景深度图的噪声；
s8依据滤除噪声后的场景深度图，控制所述无人飞行器避开障碍物。
本发明提供的景深避障设备，在对无人飞行器飞行中的障碍物进行深度测量时，通过滤除遮挡点和滤除噪声等处理，仅需使用一个摄像装置就能准确获得障碍物的距离，不仅芯片运算量小，而且能准确获得障碍物分布信息。
此外，本发明还提供一种具有上述景深避障设备的无人飞行器，该无人飞行器具有芯片运算量小以及能准确避障的优点。
还有，本发明的景深避障方法、设备以及无人飞行器在采用双目摄像机时，获取到准确的场景深度图的前提下，还可以构建出障碍物的三维图像，便于更清楚地分辨出障碍物的形状，有助于更好地规避障碍物。
以上对本发明所提供的一种景深避障方法、设备及无人飞行器，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！