一种双目立体视觉测量方法与流程
本发明涉及图像处理领域，尤其涉及一种双目立体视觉测量方法。
背景技术：
以下陈述仅提供与本发明有关的背景信息，而不必然地构成现有技术。
在电力系统中输电线路的状态监测是一项极其重要的任务。目前输电线路的状态监测中人工巡检以及图像监控是最主要的手段，但是这两种方法都需要巡检人员实地或者在监控平台上值守，效率低下且不利于智能化预警。近年来计算机视觉技术得到飞速的发展，基于双目立体匹配的视觉测量技术也是计算机视觉技术中被广泛研究和应用的一个重要分支。为了实现输电线路的状态监测中入侵物监测以及预警的功能，采用双目立体视觉对侵入物距离探测和尺寸检测是很有意义的。
双目立体视觉测量仅需要双目相机就能对物体的空间三维信息进行测量，它有着成本低、非接触、实施简单等特点，可以很好的解决人工巡检或者图像监控需要人员24小时蹲守的非智能化预警，对输电线路的智能化监控有着重要的意义。
但是，目前现有技术中仍存在的缺陷包括：双目立体匹配代价聚合时算法的效率不足、在应对真实场景时算法的效果不够鲁棒、同一平面上的物体深度数据不够平滑、对于标定误差的冗余程度不够高等。
技术实现要素：
为了克服现有技术的不足，本发明所实现的技术目的是提供一种能提高双目立体匹配鲁邦性，提高该过程中代价聚合效率，同时能快速的得到高质量的视差的双目立体视觉测量方法。
为达到上述技术目的，本发明所采用的技术方案内容具体如下：
一种双目立体视觉测量方法，包括以下步骤：
目标检测：定位出第一目标物检测框，获取目标物初始的图像位置信息；
双目标定：对双目相机进行标定，得到所述双目相机的相关参数；
双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过非局部代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；
目标物分割：利用双目立体匹配获取的图像中各点的三维信息，三维信息的深度值，对目标物进行细分割得到第二目标物检测框，并利用所述第二目标物检测框内的三维信息获取目标物距离所述双目相机或距离保护目标之间的距离，以及目标物的尺寸信息。
为实现提高测量过程中的代价聚合效率，同时快速的得到高质量的视差，发明人在本技术方案中创新性地引入了通过非局部代价聚合处理所述初始视差信息形成二次视差空间的步骤。
通常的代价聚合算法处理这一步非常耗时(>1s)并且效果不是很好。这是因为初始视差空间是立体匹配中代价计算步骤生成的，是包含着大量噪声数据的。而在本技术方案当中，可以通过融合超像素信息以及非局部边缘保持代价聚合的代价聚合技术，在减少代价聚合时间的基础上同时优化了代价聚集的效果。例如，结合超像素图像划分技术，一个640*480的目标图像先被划分到了若干个超像素中，如200个超像素，以前的代价聚集需要在307200(640*480)个像素上进行d次，现在只需在200个超像素上进行d次然后进行随机游走分割加上原始代价匹配得到的初始视差空间就可以得到最后的视差空间。由此可知，计算过程大大减少，从而提高了计算效率，提高该过程中代价聚合效率；同时经过这种处理后的二次视差空间相比于初始视差空间，噪声大大降低，精度更高，能快速的得到高质量的视差。
优选地，所述双目立体匹配步骤中生成初始视差空间的步骤包括：
图像划分：将所述图像通过超像素划分，获得包括超像素a在内的若干个超像素点；
初始视差空间计算：初始视差空间通过下列公式求得：
其中，
需要说明的是，视差空间是指双目立体匹配时，依据视差的个数生成的视差匹配图。比如视差等级为d，图像的大小为w*h，则视差空间是d副大小为w*h构成的视差匹配图；numer(pix∈la)表示的一个超像素分割区域的像素个数。
需要说明的是，通过对图像的划分，可以方便后续代价聚合步骤的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要根据图像的大小的数量进行计算，大大提高了运算效率。
更优选地，所述非局部代价聚合的步骤包括：
(1)超像素亮度计算：所述超像素所代表的区域的像素通过以下公式得出:
其中，
(2)超像素关系一维化：利用最小生成树算法将各超像素点之间的关系变为一维；
(3)非局部递归回归：结合上述所得参数，通过非局部递归回归滤波器对初始视差空间进行代价聚合得到二次视差空间。
需要说明的是，由于初始的像素生成的视差空间包含着大量的噪声，因此由它生成的超像素视差空间，也是包含大量噪声的，因此需要对超像素构成的视差空间进行代价聚合，利用像素间亮度的相似性去对代价进行聚合。非局部代价聚合的一方面消除初始视差空间中包含的噪声数据，使得所得的二次视差空间精度更高；另一方面在计算过程中，参与代价聚合的像素不再是传统的矩形区域而是非规则区域，拓展了代价聚集时的相似像素参与度，从而使得代价聚合的效果更好。
传统的立体视觉使用的代价聚合都是基于局部窗口的，这样使得代价聚合时每个像素点只能受到相邻局部像素的影响，在本发明中使用的非局部代价聚合的思想使得每个超像素都能为其它的超像素提供聚合影响，而且由于本方案采用的超像素之间的关系通过最小生成树算法之后变为一维，因此本方案中采用非局部递归回归滤波器进行代价聚合，对于每个像素点只需要参与少量的运算，就能得到效率相对基于窗口的代价聚合高并且边缘保持特性好的效果。
更进一步地，所述非局部递归回归的步骤具体包括：
(1)权重计算：通过以下公式计算相邻超像素点之间的高斯权重作为权重：
其中，a，b代表图像中的两个像素；ia，ib代表两个像素点的亮度值；sigma代表方差；exp代表指数；gauss(a,b)代表像素之间的高斯权重；
(2)二次视差空间计算：利用上述所得相邻像素之间的权重进行前向迭代和后向迭代，假设初始视差空间为dsi(pixel,d)，超像素的视差空间为dsi(superpixel,d)，经过非局部递归回归滤波器的超像素代价空间为dsifinal(superpixel,d),那么二次视差空间为dsifinal(pixel,d)由以下公式得到：
dsifinal(pixel,d)＝(1.0-λ)*dsi(pixel,d)+λ*dsifinal(superpixel,d)
其中，λ为平衡因子。
需要说明的是，通过上述步骤，尤其是迭代步骤，可以得到消除噪声后的视差空间，即二次视差空间。
优选地，所述目标检测还包括对第一目标物检测框采用fastrcnn算法进行学习。
需要说明的是，通过对初始的第一目标物检测框进行fastrcnn算法学习，可以优化优化检测框的大小以及分割出深度学习得到的检测框中的目标物。
优选地，所述目标物分割步骤具体包括：
图像输入：从双目相机采集得到彩色图像，以及从双目立体匹配模块获取深度图像作为输入；
图像处理：对所述深度图像在第一目标物检测框的范围内进行自适应直方图进行核密度估计，估计出深度图像的核密度曲线，然后使用所述核密度曲线找出深度局部极大值；然后找出第一目标物检测框中与当前深度相似的超像素对应的区域的图像掩码；然后根据所述图像掩码得到第二目标物检测框。
更优选地，所述深度局部极大值是当前目标物对应的深度d。
为求取输电线路目标到被保护物的距离，提高目标物进行分割速度，在本方案中，采用彩色图像(rgb)和深度图像(depth)作为输入，深度图由双目立体匹配模块产生，彩色图像是双目相机直接采集到的，同时根据第一目标检测框，优选是通过深度学习fasterrcnn模块将会提供的第一目标检测框，对深度图在检测框的范围内进行自适应直方图进行核密度估计，估计出深度图的核密度曲线，然后使用核密度曲线找出深度的局部极大值。依照深度检测框中包含目标物的深度应该是最多的假设，认为该局部极大值是当前目标物对应的深度d,利用深度范围是[d-δd,d+δd]找出检测框中与当前深度相似的超像素对应的区域。核密度估计是一种非参数检验方法，它可以采用平滑的峰值函数来拟合观察到的数据点，估计出当前数据的概率分布曲线。
更优选地，所述图像处理步骤还包括：在得出与当前深度相似的超像素对应的区域后，采用导向滤波技术对所得区域的图像掩码进行校正，然后根据所述图像掩码得到第二目标物检测框。
需要说明的是，通过核密度估计之后的阈值分割得到的图像掩码充满锯齿，或者和目标物的形状还不是非常契合，在一种优选的实施方式当中，可以采用导向滤波技术对掩码进行校正。导向滤波基于局部窗口线性平滑假设，它认为掩码的边缘梯度应该是和彩色图的梯度是一致的，掩码中平滑区域的值和彩色图的值在局部窗口成线性关系，由此对掩码图进行校正。最终得到优化的检测框，即第二目标检测框。
优选地，所述方法还包括得出目标物的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息。
需要说明的是，侵入物体时指深度学习fastrcnn算法检测到的诸如车辆等物体。
需要说明的是，距离信息是通过离线标定得到的摄像机内外参数，和立体匹配得到的视差，求解出的三维数据，依据欧式距离求得的。目标物的宽高信息是指优化后的检测框在三维上的尺寸信息。
需要说明的是，通过对目标深度掩码获取以及第二目标检测框的求取，同时由于在立体匹配步骤可获得检测框内的每个点的三维信息，以及在实际操作中测距范围是100米以外可以认为物体的自身深度是远远小于物体到相机的距离，由此采用欧式距离可以计算出物体的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息，从而进行输电线路侵入物自动预警功能。
通过本技术方案，可以解决现有技术中由于人工不能很好的判断入侵物距离输电线路中保护物的距离，以及记录目标物的三维尺寸信息，对侵入物的后续分析没有可供记录的数据，不利于输电线路目标物体的智能数据分析，不能为进一步升级输电线路的保护设备做出更多的支撑数据的技术问题。本技术方案能实现快速双目立体视觉测量，从而有利于电网中侵入物的快速预警，使得输电线路侵入物预警自动化。
与现有技术相比，本发明的有益效果在于：
1、本发明的双目立体视觉测量方法，通过融合超像素信息以及非局部边缘保持代价聚合的代价聚合技术，在减少代价聚合时间的基础上同时优化了代价聚集的效果；
2、本发明的双目立体视觉测量方法，通过对图像的超像素划分，可以方便后续代价聚合步骤的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要根据图像的大小的数量进行计算，大大提高了运算效率；
3、本发明的双目立体视觉测量方法，对超像素构成的视差空间进行代价聚合，利用像素间亮度的相似性去对代价进行聚合。非局部代价聚合的一方面消除初始视差空间中包含的噪声数据，使得所得的二次视差空间精度更高；另一方面在计算过程中，参与代价聚合的像素不再是传统的矩形区域而是非规则区域，拓展了代价聚集时的相似像素参与度，从而使得代价聚合的效果更好；
4、本发明的双目立体视觉测量方法，采用非局部递归回归滤波器进行代价聚合，对于每个像素点只需要参与少量的运算，就能得到效率相对基于窗口的代价聚合高并且边缘保持特性好的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1为本发明双目立体视觉测量方法一种较优选实施方式的流程示意图；
图2为本发明双目立体视觉测量方法中通过非局部递归回归滤波器对初始视差空间进行代价聚合过程的流程示意图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下：
本发明提供了一种双目立体视觉测量方法，如图1所示，其包括以下步骤：
一种双目立体视觉测量方法，包括以下步骤：
s1：目标检测：定位出第一目标物检测框，获取目标物初始的图像位置信息；
s2：双目标定：对双目相机进行标定，得到所述双目相机的相关参数；
s3：双目立体匹配：利用双目标定得到的双目相机相关参数以及图像对，通过代价匹配生成初始视差空间，再通过非局部代价聚合处理所述初始视差信息形成二次视差空间以及图像中各点的三维信息；
s4：目标物分割：利用双目立体匹配获取的图像中各点的三维信息，三维信息的深度值，对目标物进行细分割得到第二目标物检测框，并利用所述第二目标物检测框内的三维信息获取目标物距离所述双目相机或距离保护目标之间的距离，以及目标物的尺寸信息。
以上是本技术方案的基础实施方式。为实现提高测量过程中的代价聚合效率，同时快速的得到高质量的视差，发明人在本技术方案中创新性地引入了通过非局部代价聚合处理所述初始视差信息形成二次视差空间的步骤。通常的代价聚合算法处理这一步非常耗时(>1s)并且效果不是很好。这是因为初始视差空间是立体匹配中代价计算步骤生成的，是包含着大量噪声数据的。而在本技术方案当中，可以通过融合超像素信息以及非局部边缘保持代价聚合的代价聚合技术，在减少代价聚合时间的基础上同时优化了代价聚集的效果。例如，结合超像素图像划分技术，一个640*480的目标图像先被划分到了若干个超像素中，如200个超像素，以前的代价聚集需要在307200(640*480)个像素上进行d次，现在只需在200个超像素上进行d次然后进行随机游走分割加上原始代价匹配得到的初始视差空间就可以得到最后的视差空间。由此可知，计算过程大大减少，从而提高了计算效率，提高该过程中代价聚合效率；同时经过这种处理后的二次视差空间相比于初始视差空间，噪声大大降低，精度更高，能快速的得到高质量的视差。
结合上述实施方式，在一些优选实施方式中，所述双目立体匹配步骤中生成初始视差空间的步骤包括：
图像划分：将所述图像通过超像素划分，获得包括超像素a在内的若干个超像素点；
初始视差空间计算：初始视差空间通过下列公式求得：
其中，
视差空间是指双目立体匹配时，依据视差的个数生成的视差匹配图。比如视差等级为d，图像的大小为w*h，则视差空间是d副大小为w*h构成的视差匹配图；numer(pix∈la)表示的一个超像素分割区域的像素个数。
通过对图像的划分，可以方便后续代价聚合步骤的计算，只需要根据所得超像素点个数进行随机游走计算，而不需要根据图像的大小的数量进行计算，大大提高了运算效率。
结合上述实施方式，在一些优选实施方式中，所述非局部代价聚合的步骤包括：
(1)超像素亮度计算：所述超像素所代表的区域的像素通过以下公式得出:
其中，
(2)超像素关系一维化：利用最小生成树算法将各超像素点之间的关系变为一维；
(3)非局部递归回归：结合上述所得参数，通过非局部递归回归滤波器对初始视差空间进行代价聚合得到二次视差空间。
由于初始的像素生成的视差空间包含着大量的噪声，因此由它生成的超像素视差空间，也是包含大量噪声的，因此需要对超像素构成的视差空间进行代价聚合，利用像素间亮度的相似性去对代价进行聚合。非局部代价聚合的一方面消除初始视差空间中包含的噪声数据，使得所得的二次视差空间精度更高；另一方面在计算过程中，参与代价聚合的像素不再是传统的矩形区域而是非规则区域，拓展了代价聚集时的相似像素参与度，从而使得代价聚合的效果更好。
传统的立体视觉使用的代价聚合都是基于局部窗口的，这样使得代价聚合时每个像素点只能受到相邻局部像素的影响，在本发明中使用的非局部代价聚合的思想使得每个超像素都能为其它的超像素提供聚合影响，而且由于本方案采用的超像素之间的关系通过最小生成树算法之后变为一维，因此本方案中采用非局部递归回归滤波器进行代价聚合，对于每个像素点只需要参与少量的运算，就能得到效率相对基于窗口的代价聚合高并且边缘保持特性好的效果。
结合上述实施方式，在一些优选实施方式中，所述非局部递归回归的步骤具体包括：
(1)权重计算：通过以下公式计算相邻超像素点之间的高斯权重作为权重：
其中，a，b代表图像中的两个像素；ia，ib代表两个像素点的亮度值；sigma代表方差；exp代表指数；gauss(a,b)代表像素之间的高斯权重；
(2)二次视差空间计算：利用上述所得相邻像素之间的权重进行前向迭代和后向迭代，假设初始视差空间为dsi(pixel,d)，超像素的视差空间为dsi(superpixel,d)，经过非局部递归回归滤波器的超像素代价空间为dsifinal(superpixel,d),那么二次视差空间为dsifinal(pixel,d)由以下公式得到：
dsifinal(pixel,d)＝(1.0-λ)*dsi(pixel,d)+λ*dsifinal(superpixel,d)
其中，λ为平衡因子。
通过上述步骤，尤其是迭代步骤，可以得到消除噪声后的视差空间，即二次视差空间。
在本实施例中，每个像素都通过递归的过程利用权重去影响其他的像素，对于别的像素的代价聚合做出自己的贡献。该递归滤波器用于超像素的代价聚合时流程如图2所示。
在图2中，其中ai代表上面段落提到的高斯权重。从图2中可以看到在前向迭代中d对a产生影响，a对b产生影响，以此类推左边超像素会对右边超像素的代价聚合产生影响，并且像素点之间的影响将会传播开来，比如d对a直接影响，a对b直接影响，将导致d对b的间接影响。同时通过后项迭代操作右边超像素会对左边超像素的代价聚合产生影响，因此对于目标图像中的任一超像素，其它超像素都会对它的代价聚合产生影响。然后，通过上述公式即可得出二次视差空间。
结合上述实施方式，在一些优选实施方式中，所述目标检测还包括对第一目标物检测框采用fastrcnn算法进行学习。通过对初始的第一目标物检测框进行fastrcnn算法学习，可以优化优化检测框的大小以及分割出深度学习得到的检测框中的目标物。
结合上述实施方式，在一些优选实施方式中，所述目标物分割步骤具体包括：
图像输入：从双目相机采集得到彩色图像，以及从双目立体匹配模块获取深度图像作为输入；
图像处理：对所述深度图像在第一目标物检测框的范围内进行自适应直方图进行核密度估计，估计出深度图像的核密度曲线，然后使用所述核密度曲线找出深度局部极大值；然后找出第一目标物检测框中与当前深度相似的超像素对应的区域的图像掩码；然后根据所述图像掩码得到第二目标物检测框。
作为更进一步优选的实施方式，所述深度局部极大值是当前目标物对应的深度d。
为求取输电线路目标到被保护物的距离，提高目标物进行分割速度，在本方案中，采用彩色图像(rgb)和深度图像(depth)作为输入，深度图由双目立体匹配模块产生，彩色图像是双目相机直接采集到的，同时根据第一目标检测框，优选是通过深度学习fasterrcnn模块将会提供的第一目标检测框，对深度图在检测框的范围内进行自适应直方图进行核密度估计，估计出深度图的核密度曲线，然后使用核密度曲线找出深度的局部极大值。依照深度检测框中包含目标物的深度应该是最多的假设，认为该局部极大值是当前目标物对应的深度d,利用深度范围是[d-δd,d+δd]找出检测框中与当前深度相似的超像素对应的区域。核密度估计是一种非参数检验方法，它可以采用平滑的峰值函数来拟合观察到的数据点，估计出当前数据的概率分布曲线。
作为更进一步优选的实施方式，所述图像处理步骤还包括：在得出与当前深度相似的超像素对应的区域后，采用导向滤波技术对所得区域的图像掩码进行校正，然后根据所述图像掩码得到第二目标物检测框。通过核密度估计之后的阈值分割得到的图像掩码充满锯齿，或者和目标物的形状还不是非常契合，在一种优选的实施方式当中，可以采用导向滤波技术对掩码进行校正。导向滤波基于局部窗口线性平滑假设，它认为掩码的边缘梯度应该是和彩色图的梯度是一致的，掩码中平滑区域的值和彩色图的值在局部窗口成线性关系，由此对掩码图进行校正。最终得到优化的检测框，即第二目标检测框。
结合上述实施方式，在一些优选实施方式中，所述方法还包括得出目标物的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息。侵入物体时指深度学习fastrcnn算法检测到的诸如车辆等物体。距离信息是通过离线标定得到的摄像机内外参数，和立体匹配得到的视差，求解出的三维数据，依据欧式距离求得的。目标物的宽高信息是指优化后的检测框在三维上的尺寸信息。通过对目标深度掩码获取以及第二目标检测框的求取，同时由于在立体匹配步骤可获得检测框内的每个点的三维信息，以及在实际操作中测距范围是100米以外可以认为物体的自身深度是远远小于物体到相机的距离，由此采用欧式距离可以计算出物体的宽与高信息，侵入物体与保护物、侵入物与双目相机的距离等信息，从而进行输电线路侵入物自动预警功能。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
- 还没有人留言评论。精彩留言会获得点赞！