类地重力场环境下室外场景单目视觉空间识别方法
【专利摘要】一种类地重力场环境下室外场景图像单目视觉空间识别方法，其特征是它包括以下步骤：首先，对图像进行基于像素的CIELAB色彩空间值L,a,b和x,y坐标值的超像素分割，以产生具有一定密度的超像素图像；其次，采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像降维并生成若干大图块；第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；第四，通过单层小波采样特征提取出天空、地面及立面物体图块并分类；最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图，从而完成由摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。本发明无需机器学习且能快速、准确识别场景图像空间。
【专利说明】类地重力场环境下室外场景单目视觉空间识别方法
【技术领域】
[0001]本发明涉及一种新型类地重力场环境下室外场景图像单目视觉空间识别方法，可以广泛应用于如机器视觉室外空间导航、目标测量、目标追踪与定位等领域尤其是一种将重力场、透视投影原理作为机器视觉空间识别的重要线索，实现室内场景图像的空间识别方法，具体地说是一种类地重力场环境下室外场景单目视觉空间识别方法。
【背景技术】
[0002]理解3D空间结构作为机器视觉的基本问题，长期以来被人们关注并研究着，早期的研究工作关注于立体视觉或通过视角的运动来获得3D的线索。近年来，许多研究人员将关注点聚焦于从单目视觉图像中重构3D空间结构，目前大多数单目视觉3D空间识别方法多采用监督型机器学习方法，比如:马尔可夫随机场(MRFs)、条件概率随机场(CRFs)以及动态贝叶斯网络(DBN)等。然而，这些方法常常依赖于其先验知识，即仅能学习类似于训练集中所采集的图像环境。因此，当采样设备或采样环境发生变化时，单目视觉3D空间识别的结果将产生较大差异。为了解决这个问题，本发明提出将重力场、透视投影原理作为机器视觉空间识别的重要线索，构建一种新型类地重力场环境下室外场景图像单目视觉空间识别方法，该方法不需要进行机器学习。
[0003]本发明仅涉及类地重力场环境下的场景，因此需要对类地重力场环境给予必要的定义，本方法中所谓的类地重力场是指以硅酸盐岩石为主要成分的星体表面所构成的重力场环境，如:地球、火星、月球等重力场环境。图1给出了在万有引力场中场景图像的分类。而在类地重力场环境下的场景图像又可以分为两类，分别是通常所说的室外和室内场景图像，本发明的应用对象为室外场景。
【发明内容】
[0004]本发明的目的是针对现有的图像识别方法大都需要通过对场景图像进行机器学习才能完成，所以存在数据处理量大、速度慢，适应性差，使用范围受限较多的问题，本发明是一种无需机器学习且能快速、准确识别类地重力场环境下室外场景的单目视觉空间识别方法，它可广泛应用于类地重力场环境下室外场景的单目视觉空间识别。
[0005]本发明的技术方案是:
[0006]一种类地重力场环境下室外场景单目视觉空间识别方法，其特征是它包括以下步骤:
[0007]首先，对图像进行基于像素的CIELAB色彩空间值L，a, b和x，y坐标值的超像素分害!]，以产生具有一定密度的超像素图像；
[0008]其次，采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像降维并生成若干大图块；
[0009]第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类；
[0010]第四，通过单层小波采样特征提取出天空并分类、地面及立面物体图块；
[0011]最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图，从而完成由摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。
[0012]本发明的有益效果是:
[0013]本发明提出了将重力场因素及透视投影原理作为机器视觉空间识别的重要线索，并应用到场景图像机器视觉空间识别中，构建了一种新型的不需要机器学习的单目视觉空间识别方法。
[0014]1.本发明构建了一种能对类地重力场环境下室外场景图像进行单目机器视觉空间识别方法。
[0015]2.该方法采用了人类对色彩的多尺度感知模型，其对场景图像的聚类效果更加接近人类对场景的认知，与专利201310652422.2所提方法相比，本方法从总体上提高了对室外场景对象识别查全率，并降低了空间对象识别的查全率和查准率的方差值，从而提高了本方法对室外场景对象识别的稳定性，如表1和表2所示。
[0016]表1专利201310652422.2方法对室外场景图像的空间识别效果
【权利要求】
1.一种类地重力场环境下室外场景图像单目视觉空间识别方法，其特征是它包括以下步骤如下: 首先，对图像进行基于像素的CIELAB色彩空间值L，a, b和x，y坐标值的超像素分割，以产生具有一定密度的超像素图像； 其次，采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像降维并生成若干大图块； 第三，将代表天空、地面及立面物体的重力场模糊分布密度函数分别与所得的大图块像素相乘，并求出大图块的期望值，从而完成天空、地面及立面物体的初步分类； 第四，通过单层小波采样特征提取出天空、地面及立面物体图块并分类； 最后，基于小孔成像模型及地面线性透视信息生成空间深度感知图，从而完成由摄像设备获取的平面图像向立体图像的转换，实现类地重力场环境下单目视觉空间识别。
2.根据权利要求1所述的方法，其特征是采用超像素颜色特性、纹理特征向量距离、邻接关系及基于人类对色彩的多尺度感知特性的谱聚类方法，将分割形成的超像素图像降维到接近10%以下的图块聚类图像。
3.根据权利要求1所述的方法，其特征是所述的超像素谱聚类方法是:采用Bhattacharyya系数法取代传统的欧式空间度量方法以适应于不同类型的集合空间，在聚类中增加了颜色与纹理特征的双约束条件，并采取抗干扰措施，以提高聚类方法的鲁棒性； 具体方法如下: (1)将SLIC方法所产生的η个超像素作为无向权值图G的顶点V= Iv1, V2,…，νη}； 所述的 SLIC(Simple Linear Iterative Clustering)是以像素的 CIELAB 色彩空间的L、a、b值及像素的X，y轴坐标构建5维空间，并定义了规范化的距离测量方法Ds，具体定义如下:
其中:Ck = [lk，ak，bk，xk，yk]T为聚类的中心；[Uapbi, Xi, yJT为图像像素点的5维空间坐标；N为图像的像素数；K为期望获得的超像素的数目；S为超像素中心栅格间距；DS为色彩Iab距离dlab和dxy基于S的规范化距离；m为可控的超像素密度因子，取值范围为0-20 ； (2)邻接矩阵构建，i= I, 2...n ；j = I, 2...η，其中，η为超像素的个数；
(3)权值邻接矩阵的构建，i= I, 2…n ；j = I, 2...η ；
其中权值w(i，j)为相邻两个超像素之间的规范化CIELAB颜色直方图Bhattacharyya系数进行度量计算，具体构建方法是将图像的色彩空间转换到CIELab空间，并将L通道的取值范围划分为8级等分，a通道的取值范围划分为16等分，将b通道的取值范围划分成16个等级，其中将L通道取值范围划分为8级的目的是降低色彩亮度变化对权值的扰动，每个超像素在8X 16X 16 = 2048维度的空间计算值直方图为:
丨尋叫咐刘(7) 对于权值w(i, j)的取值本发明增加了 2个基于Bhattacharyya系数的色彩距离、纹理能量距离的约束条件，现分述如下:
①当W(i，j) ^ 0.71 ^ cos45° 时，则令 W(i，j) = O ； 增加此约束条件的目的是提高相邻超像素间色彩的相似性阈值以提高方法的干扰能力和鲁棒性。 ②计算每个超像素块的四维小波特征平均能量如公式(9)(10) (11) (12)，并取ei(m)，
i (LH) ? ei (HL) ? θ?(ΗΗ) )，并求取其相邻超像素之间的Bhattacharyya 系数值 Be (i, j)为:
其中:NP为图块像素个数，rb为图块的最下延，rt为图块的最上延，C1为图块第i行最左边，cr 为图块第 i 行最右边，R(ll) (i, j)> R(LH) (i, j)> R(HL) (i, j)> R(HH) (i, j)为(i，j)点处的单层小波采样值，值得注意的是在计算各图块平均能量测度时，需要去除图块的不规则边缘所产生的伪能量； 计算比较相邻图块3维小波特征向量之差的模长绝对值: Amij = |e(i)_e(j) |(13)
当 Δ Inij ( Me,则计算 Be (i, j)
当 Be(i，j) ^ 0.95 ^ cos20° 时，则令 W(i，j) = O ；
当 Be(i，j) > 0.95 ^ cos20° 时，则令 W(i，j) = I ；
当 Amij >Me，则令 W(i，j) = 0 ； 通常Me的取值范围在40~70之间； 增加以上约束条件的目的是提高相邻超像素点纹理的相似性阈值，以保护天空与立面物体间、立面物体与地面间的边界特征；
(4)度矩阵的构建，i= l, 2…n ；j = I, 2...η ；
(5)规范化Laplacian矩阵的构建,本发明人采用Normalized_cut准则来计算规范化的 Laplacian 矩阵:
Lsym = 1-D-1/2WD_1/2(15) (6)计算Lsym进行特征值分解，并取前K个最小特征值所对应的特征向量，V1,V2,…，Vk;，其中K= [0.1Xn]，即取η的10%作为图像聚类特征向量的维度，从而实现将超像素图像降维到接近10%以下的目的； (7)将V1,V2,…，Vk排列组成Rnxk矩阵并将矩阵中的每个元素取绝对值得矩阵U ； (8)对于i= 1，2...η，$7? e Rk为矩阵U的第i行向量； (9)对非零的Yie Rk向量进行归一化，并用Bhattacharyya系数法进行聚类，其中Bhattacharyya距离的Bu阈值为cos20° ^ 0.95,即当Bu≥0.95时,超像素间进行聚类； (10)对每个谱聚类图块采用基于人类视觉多尺度感知特性的彩色图像聚类。具体的方法如下: ①颜色多尺度空间模型的构建: 采用一个以a = 0，b = O为圆心，Rm为半径的圆柱体将CIELAB色彩空间分割成两个部分 对于在ab平面上投影的模长大于Rm的颜色向量，采用两个颜色向量在ab平面投影向量间的夹角和颜色向量在ab平面上投影的模长之差的绝对值作为颜色聚类的近似性测度，具体的数学表达如下:
其中:?和5为两个颜色向量在ab平面投影向量，AmT分别为两向量聚类夹角的阈值和模长之差的阈值，θ τ的取值范围为θτ = 5~20°，AmT的取值范围为Λπιτ =.15 ~40 ; 对于在ab平面上投影的模长小于Rm的颜色向量，则采用两个颜色向量在ab平面投影向量间的夹角，其表达式同式(16)，以及向量在L上的亮度差作为其颜色聚类的近似性测度，具体的数学表达如下: AL = |La-Lj ^ ALt(18) 其中:Λ Lt的取值范围为ALt = 5~20; ②颜色多尺度空间模型的在图像聚类分割中的应用方法为: a.计算每个聚类图块平均色彩向量值，并将向量投影到ab平面上； b.计算每个聚类图块平均色彩向量值投影在ab平面上向量的模长，并根据向量在ab平面上的模长将其归于不同的测度空间； c.对相邻图块类采用式(16)进行向量间的夹角的计算； d.以公式(16)(17) (18)为判据，将符合条件的图块进行聚类； e.重复a~d步，直到收敛。
4.根据权利要求1所述的方法，其特征是所述的大图块中孤岛图块的消除方法是: 首先，对图像中非镂空图块与镂空图块做如下定义，所谓非镂空图块是指:其轮廓边界的线积分值等于其外轮廓线积分值的图形区域，即图块的轮廓线就是其唯一的轮廓线，其判据的数学表达式为:
所谓的镂空图块是指:其外轮廓线积分值小于其轮廓边界线积分值的图形区域，其判据的数学表达式为:
第二，寻找镂空图块，其判据为当Nb-nb>0时则图块为镂空图块，其中Nb为图块所有边界的像素值，nb为图块外边界的像素值，如果Nb-nb>0则进入下一步，否则图块不为镂空图块则退出进程，并遍历其它图块以寻找镂空图块。直到遍历所有图块且没有镂空图块时退出； 第三，以外边界为边界以原图块的标记值来填充图块； 第四，以填充图块代替原镂空图块； 第五，返回第二步。
5.根据权利要求1所述的方法，其特征是所述的通过单层小波采样特征提取出天空图块时采用如下方法: (I)计算天空图块的直线密度，即单位面积内的直线数量:
其中=Dtajm为直线密度，K为放大系数通常取10000左右的数值，为图块中直线的数量，Nb为图块的像素； 当Dum≥Tum时(取Tum = 2~3)则图块被判断为非天空图块； 当Dum < Tum时(取Tum = 2~3)则图块被列入候选天空图块并进行下一步判断； (2)当eu^meanGu,eLL2, *..θι1η)则为候选天空图块,否则不为候选天空图块,其中:eLLi，eLL2^...eLLn天空和立面物体的eLL值，mean O为均值函数； (3)在满足上述条件下，将图块单层非下采样小波的平均能量作为纹理能量特征的测度，当
时,则图块为候选天空图块,否则判定图块不为候选天空图块，通常取Ec = 2~10 ; (4)当存在满足上述图块时，再判断是否有以图像上延为边界的图块，如果有则判断存在天空图块，否则判定图像中无天空，对于被立面物体完全包围的天空图像区域将被判定为立面物体； (5)在满足上述条件下如果出现的候选天空图块不唯一，则选取面积最大图块为天空图块，并以色彩距离值dab以及亮度距离值4为判据对天空进行聚类，公式如下:
其中as、bs分别为天空图块CIELAB色彩空间a、b色彩通道的均值，Bi,匕分别为候选天空图块CIELAB色彩空间a、b色彩通道的均值，当候选天空图块dab≤C且 < ≤L则为天空，否则为立面物体，取C = 10~20，L = 5~10 ; (6)对聚类生成的天空面积进行计算如果其像素的个数小于图像象素的2%，则将其归为立面物体，其理由是很小的天空图块对于场景图像的空间识别意义不大； (7)将所有非天空图块归为立面物体。
【文档编号】G06T7/00GK104077603SQ201410333183
【公开日】2014年10月1日 申请日期:2014年7月14日 优先权日:2014年7月14日
【发明者】郑李明, 崔兵兵 申请人:金陵科技学院