基于双目视觉的定位方法及装置与流程

本发明涉及图像处理技术领域，尤其是涉及一种基于双目视觉的定位方法及装置。

背景技术：

目前，双目立体视觉已经成为计算机视觉处理的一个研究热点，是基于人眼双目视差模式，通过匹配寻找出双目图像中的同一场景，计算该空间场景在不同图像中的对应关系，获得该点的三维坐标值。

然而，现有方法将很难做到精确定位，导致测量不准确，对于变电站环境下仪表读数和设备温度的检测而言，如何精确地检测出目标区域的位置以实现对仪表读数和设备温度的检测是现有技术中一亟待解决的问题。

技术实现要素：

为了解决上述问题，本发明提出了一种基于双目视觉的定位方法，包括以下步骤：

步骤s1、采集场景的左视图和右视图；

步骤s2、分别对所述左视图和右视图进行显著性计算以得到与所述左视图对应的显著性图像和与所述右视图对应的显著性图像；

步骤s3、分别对所述左视图对应的显著性图像和与所述右视图对应的显著性图像进行显著性均值比较，并根据比较结果确定所述左视图和右视图中的待定位区域；

步骤s4、对所述左视图的待定位区域和所述右视图的待定位区域进行匹配以确定所述左视图和所述右视图中的目标区域；

步骤s5、对所述左视图和右视图中的目标区域进行视差计算以确定目标区域的位置。

优选的，所述步骤s1中采集的左视图和右视图中任一视图为可见光视图，另一视图为近红外视图。

优选的，所述步骤s2具体包括：

步骤s2.1，通过高斯差分滤波对所述可见光视图进行平滑处理；将平滑处理后的可见光视图变换为基于lab颜色模型的可见光视图；根据所述基于lab颜色模型的可见光视图的l分量、a分量和b分量的颜色均值计算得到所述可见光显著性图；

步骤s2.2，将所述近红外视图分割成互不相交的由7*7像素点构成的多个分割块p，并以所述每个分割块中的中心像素点的像素值作为其所在分割块的像素值；根据不同分割块的像素值之间的距离与像素位置之间的距离，比较不同分割块的相异性；通过选取与所述近红外视图中当前像素点最接近的k个像素点计算所述当前像素点的显著性，循环执行直至得到所述近红外显著性图。

优选的，所述l分量、a分量和b分量的颜色均值分别通过如下公式得到：

其中，m_l、m_a、m_b分别为l分量、a分量和b分量的颜色均值，iv_l、iv_a、iv_b分别为所述可见光视图的l分量、a分量和b分量，n为所述可见光视图的行数，m为所述可见光视图的列数；

所述可见光显著性图通过如下公式得到：

sv(i,j)＝[iv_l(i,j)-m_l]²+[iv_a(i,j)-m_a]²+[iv_b(i,j)-m_b]²

其中，sv(i,j)为一像素点的可见光显著性，所有像素点的显著性构成可见光显著性图。

优选的，所述步骤s3具体包括：

步骤s3.1，对所述可见光显著性图和所述近红外显著性图进行显著性均值进行比较；

步骤s3.2，根据所述比较结果根部对所述可见光显著性图和所述近红外显著性图进行图像分割以获得所述左视图和所述右视图中的待定位区域。

优选的，所述步骤s5具体包括：

步骤s5.1，选取所述左视图和右视图中的目标区域进行视差计算，获得目标区域距离采集点的距离；

步骤s5.2，将所述可见光视图变换为基于rgb颜色模型的可见光视图；

步骤s5.3，将所述基于rgb颜色模型的可见光视图变换到hvs空间上，提取v分量，并对所述v分量的边缘特征进行匹配以得到所述目标区域的形状。

进一步，该方法还包括步骤s7，对所述目标区域的距离和形状进行分析以确定所述目标区域的宽占优和高占优。

本发明还提出了一种基于双目视觉的定位装置，包括：

图像采集装置，用于采集场景的左视图和右视图；

显著性图像获取模块，用于对所述左视图和右视图进行显著性计算以得到与所述左视图对应的显著性图和与所述右视图对应的显著性图像；

待定位区域确定模块，用于对所述左视图对应的显著性图像和与所述右视图对应的显著性图像进行显著性均值比较，并根据比较结果确定所述左视图和右视图中的待定位区域；

目标区域确定模块，用于对所述左视图的待定位区域和所述右视图的待定位区域进行匹配以确定所述左视图和所述右视图中的目标区域；

目标区域定位模块，用于对所述左视图和右视图中的目标区域进行视差计算以确定目标区域的位置。

优选的，所述左视图和右视图中任一视图为可见光视图，另一视图为近红外视图。

优选的，所示显著性图像获取模块通过高斯差分滤波对所述可见光视图进行平滑处理；将平滑处理后的可见光视图变换为基于lab颜色模型的可见光视图；根据所述基于lab颜色模型的可见光视图的l分量、a分量和b分量的颜色均值计算得到所述可见光显著性图；将所述近红外视图分割成互不相交的由7*7像素点构成的多个分割块p，并以所述每个分割块中的中心像素点的像素值作为其所在分割块的像素值；根据不同分割块的像素值之间的距离与像素位置之间的距离，比较不同分割块的相异性；通过选取与所述近红外视图中当前像素点最接近的k个像素点计算所述当前像素点的显著性，循环执行直至得到所述近红外显著性图。

本发明具有如下的优点和有益效果：

本发明的装置结构简单，通用性强，且对环境适应性好，因为近红外在雾和低光照程度上成像效果比可见光好。本发明的上述方法步骤简单，易于实现，能够有效处理各种障碍物检测问题。

本发明提供的基于双目视觉的定位方法及装置能够准确地检测到目标的位置，且只对左右视图中少部分区域进行匹配分析，有效降低计算复杂度，检测效率高。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明实施例提供的基于双目视觉的定位方法的流程图；

图2为本发明实施例提供的基于双目视觉的定位装置的功能模块图。

附图标记说明：

600-基于双目视觉的定位装置；610-图像采集装置；620-显著性图像获取模块；630-待定位区域确定模块；640-目标区域确定模块；650-目标区域定位模块。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，术语“平行”、“垂直”等并不表示要求部件绝对平行或垂直，而是可以稍微倾斜。如“平行”仅仅是指其方向相对“垂直”而言更加平行，并不是表示该结构一定要完全平行，而是可以稍微倾斜。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，为本发明实施例的基于双目视觉的定位方法的流程图。本发明实施例的基于双目视觉的定位方法，包括以下步骤：

步骤s101，采集场景的左视图和右视图，本实施例中，所述左视图为可见光图像，所述右视图为近红外图像。例如，通过混合式双目视觉(场景的左视图和右视图)采集系统采集场景的左右视图。该采集系统为左右视角分别采用可见光和近红外光谱成像设备，具体成像设备可采用平行光轴成像。如目前一般的硅ccd都可感应近红外波段，所以可以用滤除可见光剩近红外的滤光镜加载在一般黑白相机前面实现近红外图像的采集。

步骤s102，分别对所述左视图和右视图进行显著性计算以得到与所述左视图对应的可见光显著性图和与所述右视图对应的近红外显著性图。

通俗地讲，对于计算可见光显著性图而言，因为可见光图像具有丰富的颜色信息，因此可根据其估计出当前实时采集图像中相对于背景较为突出的颜色区域作为近似人眼的显著性图，记为sv，进而区分出可见光图像中的显著性区域当作可能的待定位区域，记为rv。

具体而言，通过以下方式计算可见光显著性图：通过高斯差分滤波对所述左视图进行平滑处理。接着将平滑处理后的左视图变换为基于lab颜色模型的左视图，即将图像变换到更加符合人类视觉规律的l*a*b颜色空间。最后根据所述基于lab颜色模型的左视图的l分量、a分量和b分量的颜色均值计算得到所述可见光显著性图，即根据在l*a*b颜色空间下，各个分量对于颜色均值得变化作为颜色显著性分量，计算最终的颜色显著性图。

在该实施例中，l分量、a分量和b分量的颜色均值分别通过如下公式得到：

其中，m_l、m_a、m_b分别为l分量、a分量和b分量的颜色均值，iv_l、iv_a、iv_b分别为所述可见光图像的l分量、a分量和b分量，n为所述可见光图像的行数，m为所述可见光图像的列数；i和j分别为对应的像素点的位置。

所述可见光显著性图通过如下公式得到：

sv(i,j)＝[iv_l(i,j)-m_l]²+[iv_a(i,j)-m_a]²+[iv_b(i,j)-m_b]²

其中，sv(i,j)为一像素点的可见光显著性，所有像素点的显著性构成可见光显著性图。

在本发明的另一示例中，对于计算近红外显著性图而言，因为其还有很好的高频细节信息，所以可以根据每个像素点与周围区域的相似性来检测出显著性区域，记为snir，从snir中找出比较重要的区域作为待定位区域，记为rnir。

具体地，通过以下方式计算近红外显著性图：

将所述右视图分割成互不相交的由7*7像素点构成的多个分割块，并以所述每个分割块中的中心像素点的像素值作为其所在分割块的像素值，即以每个像素点为中心取7*7的邻近区域作为该点的代表。接着根据不同分割块的像素值之间的距离与像素位置之间的距离，比较不同分割块的相异性，其中不同分割块的像素值之间的距离为以每个分割块按列组成像素矢量间的欧式距离dv(pi,pj)，所述像素位置之间的距离为以不同中心像素点之间的坐标的欧式距离dp(pi,pj)，其中pi和pj为不同的分割块，也就是说，根据像素值之间的距离与像素位置之间的距离，比较点与点之间的相异性。其中像素值之间的距离用块按列组成矢量，计算像素矢量之间值的欧式距离dv(pi,pj)，而位置距离，则直接用两个点之间的坐标的欧式距离表示dp(pi,pj)。最后通过选取与所述右视图中当前像素点最接近的k个像素点计算所述当前像素点的显著性，循环执行直至得到所述近红外显著性图，其中k＝30。

在上述实施例中，相异性(相异程度)通过如下公式得到：

其中，d(pi,pj)为分割块pi和pj之间的相异性，d(pi,pj)的值越大表明两者的距离越大，则也就差异越大，相似性越小。

所述显著性的计算公式为：

其中，sniri为分割块pi的显著性。

步骤s103，分别对所述可见光显著性图和所述近红外显著性图进行显著性均值比较，并根据比较结果确定出所述左视图和所述右视图中的待定位区域。换言之，基于已经获得的可见光显著性图和所述近红外显著性图，利用显著性图自身的均值比较，进行图像分割，获得左右视图的待定位区域。在本发明的一个示例中，考虑到避让安全性，把所有的可能区域先按像素坐标的行列最大差取成矩形。

具体地，首先对所述可见光显著性图和所述近红外显著性图进行显著性均值比较，接着根据比较结果分别对所述可见光显著性图和所述近红外显著性图进行图像分割以获得所述左视图和所述右视图中的待定位区域。

步骤s104，对所述左视图的待定位区域和所述右视图的待定位区域进行匹配以在所述左视图和所述右视图中确定出目标区域。

具体地，利用上述实施例中所得到的待定位区域，分别以左右视图中的待定位区域为基准，在另一图里寻找匹配区域。如果发现匹配区域在另一图里本身也是待定位区域，则取该区域为最终的目标区域。

步骤s105，对所述目标区域进行视差计算以确定目标区域距离采集点(采集点即双目)的距离，并对所述待定位区域进行边缘匹配以确定所述目标区域的形状。

具体地，确定所述目标区域的形状首先将所述左视图变换为基于rgb颜色模型的左视图；将所述基于rgb颜色模型的左视图变换到hvs空间上，提取v分量，并对所述v分量的边缘特征进行匹配以得到所述目标区域的形状。

更为具体地，选取双目图像对中的最终的目标区域，进行视差计算，获得目标区域当前距离。将左视图首先变换为rgb彩色图像，接着变换到hvs空间上，提取v分量，将其视为可见光图像与红外图像相关图像。此时，双目图像可以理解为待定位区域v分量图像，记为rv，以及近红外待定位区域，记为rnir。因为近红外图像很大程度上反映图像的高频信息，所以采用边缘特征进行匹配，求得目标区域形状。

在本发明的一个实施例中，在确定最终目标区域的距离和形状之后，对最终目标区域的距离和形状进行进一步分析，以确定出目标区域的宽占优和高占优。

如图2所示，本发明的另一方面相应地提出一种基于双目视觉的定位装置，参考图2，本发明实施例的基于双目视觉的定位装置600包括图像采集装置610、显著性图像获取模块620、待定位区域确定模块630、目标区域确定模块640和目标区域定位模块650。

图像采集装置610用于采集场景的左视图和右视图，其中，所述左视图为可见光图像，所述右视图为近红外图像。显著性图像获取模块620用于对所述左视图和右视图进行显著性计算以得到与所述左视图对应的可见光显著性图和与所述右视图对应的近红外显著性图。待定位区域确定模块630用于对所述可见光显著性图和所述近红外显著性图进行显著性均值比较，并根据比较结果分别确定出所述左视图和所述右视图中的待定位区域。目标区域确定模块640用于对所述左视图的待定位区域和所述右视图的待定位区域进行匹配以在所述左视图和所述右视图中确定出目标区域。目标区域定位模块650用于对所述目标区域进行视差计算以确定目标区域距离采集点的距离，并对所述待定位区域进行边缘匹配以确定所述目标区域的形状。

在本发明的一个实施例中，显著性图像获取模块620对左视图进行显著性计算以得到可见光显著性图，包括：通过高斯差分滤波对所述左视图进行平滑处理；将平滑处理后的左视图变换为基于lab颜色模型的左视图；根据所述基于lab颜色模型的左视图的l分量、a分量和b分量的颜色均值计算得到所述可见光显著性图。

在上述实施例中，l分量、a分量和b分量的颜色均值分别通过如下公式得到：

其中，m_l、m_a、m_b分别为l分量、a分量和b分量的颜色均值，iv_l、iv_a、iv_b分别为所述可见光图像的l分量、a分量和b分量，n为所述可见光图像的行数，m为所述可见光图像的列数；i和j分别为对应的像素点的位置。

所述可见光显著性图通过如下公式得到：

sv(i,j)＝[iv_l(i,j)-m_l]²+[iv_a(i,j)-m_a]²+[iv_b(i,j)-m_b]²

其中，sv(i,j)为一像素点的可见光显著性，所有像素点的显著性构成可见光显著性图。

在本发明的另一实施例中，显著性图像获取模块620对右视图进行显著性计算以得到近红外显著性图，包括：首先将所述右视图分割成互不相交的由7*7像素点构成的多个分割块，并以所述每个分割块中的中心像素点的像素值作为其所在分割块的像素值，接着根据不同分割块的像素值之间的距离与像素位置之间的距离，比较不同分割块的相异性，其中不同分割块的像素值之间的距离为以每个分割块按列组成像素矢量间的欧式距离dv(pi,pj)，所述像素位置之间的距离为以不同中心像素点之间的坐标的欧式距离dp(pi,pj)，其中pi和pj为不同的分割块，最后通过选取与所述右视图中当前像素点最接近的k个像素点计算所述当前像素点的显著性，循环执行直至得到所述近红外显著性图，其中k＝30。

在上述实施例中，相异性(相异程度)通过如下公式得到：

其中，d(pi,pj)为分割块pi和pj之间的相异性，d(pi,pj)的值越大表明两者的距离越大，则也就差异越大，相似性越小。

显著性的计算公式为：

其中，sniri为分割块pi的显著性。

在本发明的一个实施例中，待定位区域确定模块630用于对所述可见光显著性图和所述近红外显著性图进行显著性均值比较；并根据比较结果分别对所述可见光显著性图和所述近红外显著性图进行图像分割以获得所述左视图和所述右视图中的待定位区域。

在本发明的具体示例中，目标区域定位模块650用于将所述左视图变换为基于rgb颜色模型的左视图；并将所述基于rgb颜色模型的左视图变换到hvs空间上，提取v分量，并对所述v分量的边缘特征进行匹配以得到所述目标区域的形状。

根据本发明的实施例能够准确地检测到目标区域的位置，且只对左右视图中少部分区域进行匹配分析，有效降低计算复杂度，检测效率高。

具体地，本发明的上述实施例具有如下优点：

本发明的装置结构简单，通用性强，且对环境适应性好，因为近红外在雾和低光照程度上成像效果比可见光好。本发明的上述方法步骤简单，易于实现，能够有效处理各种障碍物检测问题。另外，该方法仅仅对图像显著区域进行匹配分析，因此提高实时处理能力，且本发明的方法只对视觉图像进行处理，不依赖于其它知识，因此提高方法的独立性和通用性，适用范围广。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。