一种二值化激光散斑图像的深度感知方法
【专利摘要】本发明公开了一种二值化激光散斑图像的深度感知方法：读入二值化的输入散斑图和参考散斑图(图形固定、距离已知)生成输入散斑窗、参考散斑窗，在输入散斑窗中提取一定大小的图像块在参考散斑窗的匹配搜索窗中搜寻匹配块，通过块异或的相似度值计算方法比较输出最小相似度值或通过块相与的方法比较输出最大相似度值，得到最优匹配块及最优偏移量，结合深度计算公式计算得到该图像块中心点的深度信息。本
【发明内容】
不仅易于硬件实现、大幅降低计算复杂度，而且可以快速准确生成高分辨率、高精度的深度图信息。
【专利说明】一种二值化激光散斑图像的深度感知方法
【技术领域】
[0001]本发明属于图像处理、人机交互和机器视觉【技术领域】，具体涉及一种二值化激光散斑图像的深度感知方法。
【背景技术】
[0002]视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器的智能水平是当前机器视觉系统研究的难点。
[0003]在工业领域，高分辨率、高精度的三维深度信息在汽车辅助安全驾驶、高速机床加工、工业建模、3D打印、医疗成像、物联网3D视觉感知等领域有着广泛的应用需求。在消费电子领域，深度感知技术和装置有助于提高电子产品的智能水平和交互能力，可为用户带来“科幻”般的操控方式和全新的人机交互体验，在智能电视、智能手机、家电、平板PC等领域实现创新应用。
[0004]基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面,经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度传感器芯片计算获得物体的深度信息。
【发明内容】
[0005]鉴于此，本发明的目的在于提供一种二值化激光散斑图像的深度感知方法，对输入激光散斑图(深度信息未知)与参考激光散斑图(作为匹配标准的散斑图，其散斑图形固定、深度距离信息已知)先进行图像预处理二值化(每个像素用0、1表示)，从二值化输入散斑图提取一定大小的图像块用于块匹配运动估计，以一定的搜索策略和相似度值测量指标寻找该图像块在以二值化参考散斑图中对应位置为中心的匹配搜索窗内寻找最优匹配块，获得该图像块与匹配块之间的偏移量，即为该图像块的运动向量，用X、Y轴方向的位移量(ΛΧ，Ay)表示，起点为参考散斑窗中的对应输入散斑图像块的中心点，终点为参考散斑窗中的最优匹配块的中心点。X或Y轴方向偏移量结合参考激光散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像采集传感器焦距f和点距参数μ，可根据深度计算公式计算得到该图像块中心的深度信息d'。
[0006]根据本发明的一种二值化激光散斑图像的深度感知方法，包括以下步骤:
[0007]步骤1、生成输入散斑窗、参考散斑窗:从二值化输入散斑图和二值化参考散斑图中读入位置相同的多行散斑数据，形成N行大小的输入散斑窗、参考散斑窗；
[0008]步骤2、在输入散斑窗中提取一定大小的输入图像块blockmXn，大小为mXn，中心点为ο ;在参考散斑窗中提取跟输入图像块中心点ο点位置对应、一定范围大小的匹配搜索窗MatchMXN,大小为MXN ;在匹配搜索窗MatchMXN中提取所有跟输入图像块一样大小的匹配块match,，大小为mXn，匹配块中心点ok，其中k是整数，表示匹配块个数；
[0009]步骤3、计算输入图像块Wockmxn与所有k个匹配块match,之间的相似度值match_valuek,该值作为图像块匹配的相似度测量指标；
[0010]步骤4、对所有k个相似度值matCh_ValUek进行位置标记，其中，位置信息指示匹配块match,中心点Ok与匹配搜索窗中心点ο之间的偏移量；
[0011]步骤5、在所有k个相似度值match_valuek中求最小或最大值,最小或最大值对应的匹配块即为该输入图像块的最优匹配块，最优匹配块对应的位置信息即该输入图像块的最优偏移量(Λχ，Ay)，即该输入图像块的运动向量，其中最优偏移量为参考散斑窗中心点坐标值(X，y)分别按X、Y轴减去最优匹配块中心点坐标值(X'，I')计算得到；
[0012]步骤6、利用X或Y方向的最优偏移量Λπι(ΛΧ或Ay)结合参考散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像传感器焦距f和图像传感器点距参数μ，根据深度计算公式计算得到输入散斑图像块Wockmxn中心点ο的深度信息cT 。
[0013]本发明可快速准确地生成输入散斑图每个像素的运动向量，并根据深度计算公式获得该像素点的深度距离，易于硬件实现，大幅度降低了块匹配计算的复杂度、减少了硬件实现的资源开销，有助于实时生成高分辨率、高精度的图像深度图信息。采用本发明技术方案的有益效果还将通过以下实施例的阐述而得到具体的体现。
【专利附图】
【附图说明】
[0014]图1是本发明实施例的整体流程框图；
[0015]图2是本发明实施例的二值化输入散斑或参考散斑示意图；
[0016]图3是本发明实施例的输入图像块与最优匹配块之间偏移量示意图；
[0017]图4是本发明实施例的图像块深度计算示意图。
【具体实施方式】
[0018]下面结合附图对本发明进行进一步的详细说明。
[0019]图1示意性图示了本发明实施例二值化激光散斑图像深度感知的整体流程图。为了清楚说明，下文中将结合图2、图3、图4来描述该方法。
[0020]参考散斑图是由激光投射器投射固定图形的激光束(红外、可见光、紫外线、不可见光)与激光投射器的中心轴(Ζ轴)相垂直的、且已知垂直距离为d的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的散斑点图，该平面可称之为参考基准平面)上，经干涉形成非规则的激光散斑图形；后经图像传感器采集和图像自适应预处理二值化后，如图2所示的二值化散斑图，存储固化在存储器中用于深度感知计算的匹配基准图形。
[0021]图像自适应预处理二值化包括输入视频格式转换(如Bayer、ITU601、ITU656、MIPI接口格式转换)、色度空间转换(如RGB转YUV)、灰度图像自适应去噪和增强、灰度图像二值化(O、I表示，I对应散斑点)等。其目的是通过激光散斑图像的预处理，使散斑图形更清晰、减少噪声干扰，并有利于本
【发明内容】
的块匹配运动向量计算。
[0022]输入散斑图序列是激光投射器对目标物体所在空间投射与参考散斑相同的散斑图形进行编码后，由图像传感器采集输入获得，并经过了参考散斑图相同的图像自适应预处理二值化模块，得到如图2所示的二值化输入散斑图。
[0023]步骤1、生成输入散斑窗、参考散斑窗:从二值化输入散斑图和二值化参考散斑图中读入位置相同的多行散斑数据，形成N行大小的输入散斑窗、参考散斑窗。其中，每个像素点用O、1表示。
[0024]步骤2、在输入散斑窗中提取一定大小的输入图像块blockmXn，大小为mXn，中心点为O，其中块大小参数m、η是整数，m、η可以相等或不相等；在参考散斑窗中提取跟输入图像块中心点ο点位置对应、一定范围大小的匹配搜索窗MatchMXN，大小为ΜΧΝ，M、N都是整数，可以相等或不相等，一般M≥N、M>m、N≥η ;在匹配搜索窗MatchMXN中提取所有跟输入图像块一样大小的匹配块match,，大小为mXn，匹配块中心点ok，k是整数，表示匹配块个数。
[0025]步骤3、计算输入图像块blockmXn。与所有k个匹配块match,之间的相似度值match_valuek,该值作为图像块匹配的相似度测量指标。
[0026]在一个实施例中，相似度值计算方法可以采用输入图像块blocLmXn。与匹配块match,的对应像素之间进行“异或”计算，用来表示差异性大小，值越小差异性越小，采用异或结果作为相似度值，则后续需要在所有异或结果值求出最小值，用最小值对应的匹配块作为最相似(最匹配)的匹配块。在另一实施例中，相似度计算方法可以是图像块Wockmxn与匹配块match,之间对应像素进行“相与”计算，相似度值表示图像块Wockmxn与匹配块match,之间同为‘I’的个数，值越大越相似，采用块相与结果作为相似度值，则后续需要在所有值中求出最大值，该最大值对应的匹配块作为最相似(最匹配)的匹配块。
[0027]步骤4、对所有k个相似度值matCh_Valuek进行位置标记，其中，位置信息指示匹配块match,中心点Ok与匹配搜索窗中心点ο之间的偏移量；
[0028]其中，位置标记例如采取[位置值，match_valuek值]的数据结构,位置值可采取一维或二维方式表示,其对应该匹配块matchk中心点Ok与匹配搜索窗blockMXN中心点ο之间的位置距离关系，二维位置用偏移量(Λχ，Δy)表示，其中ΛΧ，Ay都为整数，其正负表示位于匹配搜索窗中心点的左右、上下关系。
[0029]步骤5、在所有k个相似度值match_valuek中求最小或最大值,最小或最大值对应的匹配块即为该输入图像块的最优匹配块，最优匹配块对应的位置信息即该输入图像块的运动向量。其中最优偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(X' ,1')计算得到。
[0030]其中，如采用异或方法则求最小值min{match_valuek},采用相与方法则求最大值max{match_valuek}。求出相似度值的最小或最大值后,该值对应的匹配块matchk即为图像块Wockmxn拟搜寻的最优匹配块，该最小或最大值绑定的位置信息即为图像块Wockmxn中心点O的最优偏移量(Δχ, Ay),即该输入图像块blockmXn的运动向量,偏移量值为参考散斑窗中心点(x，y)坐标值分别按X、Y轴减去最优匹配块中心点(X' ,1')坐标值计算得到。
[0031]图3所示输入图像块为输入散斑图灰色表示区域，最优匹配块为参考散斑图的匹配搜索窗中斜线表示区域，其中心点Ok与匹配搜索窗blockMXN中心点ο (该中心点ο与输入图像块中心点O位置对应)的最优偏移量为(ΛΧ，Ay)，分别表示X、Y方向位移，起正负，正负对应上下、左右坐标关系，在空间上则对应与参考散斑图平面的前后关系，如最优偏移量为正，表示比参考散斑图距离更近；最优偏移量为负，表示比参考散斑图距离更远；同时偏移量值越大表示该图像块中心点O与已知深度距离的参考散斑图平面之间的垂直距离越远，因参考散斑图平面相对激光投射装置的距离是固定的，偏移量越大该中心点O相对激光投射装置的距离则可能越近或越远。
[0032]步骤6、利用X或Y方向的最优偏移量Λπι(ΛΧ或Ay)结合参考散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像传感器焦距f和图像传感器点距参数μ，根据深度计算公式计算得到输入散斑图像块Wockmxn中心点ο的深度信息0- ,如图4所示。
[0033]在本实施例中，根据以下深度计算公式计算cT:
【权利要求】
1.一种二值化激光散斑图像的深度感知方法，包括以下步骤: 步骤1、生成输入散斑窗、参考散斑窗:从二值化输入散斑图和二值化参考散斑图中读入位置相同的多行散斑数据，形成N行大小的输入散斑窗、参考散斑窗； 步骤2、在输入散斑窗中提取一定大小的输入图像块Wocknixn，大小为mXn，中心点为ο ;在参考散斑窗中提取跟输入图像块中心点ο点位置对应、一定范围大小的匹配搜索窗MatchMXN,大小为MXN ;在匹配搜索窗MatchMXN中提取所有跟输入图像块一样大小的匹配块match,，大小为mXn，匹配块中心点ok，其中k是整数，表示匹配块个数； 步骤3、计算输入图像块blockmXn与所有k个匹配块matchk之间的相似度值match_valuek,该值作为图像块匹配的相似度测量指标； 步骤4、对所有k个相似度值matCh_Valuek进行位置标记，其中，位置信息指示匹配块match,中心点Ok与匹配搜索窗中心点ο之间的偏移量； 步骤5、在所有k个相似度值match_valuek中求最小或最大值,最小或最大值对应的匹配块即为该输入图像块的最优匹配块，最优匹配块对应的位置信息即该输入图像块的最优偏移量(ΛΧ，Ay)，即该输入图像块的运动向量，其中最优偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最优匹配块中心点坐标值(X' ,1')计算得到； 步骤6、利用X或Y方向的最优偏移量Λπι(Λχ或Ay)结合参考散斑图的已知距离参数d、激光投射器与图像采集装置之间的基线距离S、图像传感器焦距f和图像传感器点距参数μ，根据深度计算公式计算得到输入散斑图像块Wockmxn中心点ο的深度信息d'。
2.根据权利要求1所述 的方法，步骤3中，相似度值计算方法采用输入图像块Wockmxn与匹配块match,的对应像素之间进行“异或”计算。
3.根据权利要求1所述的方法，步骤3中，相似度计算方法采用输入图像块Wockmxn与匹配块match,之间对应像素进行“相与”计算。
4.根据权利要求1所述的方法，步骤4中,位置标记采取[位置值，match_valuek相似度值]的数据结构。
5.根据权利要求2所述的方法,步骤5中，求取所有相似度值match_valuek中的最小值。
6.根据权利要求3所述的方法,步骤5中，求取所有相似度值match_valuek中的最大值。
7.根据权利要求1所述的方法，步骤6中，优选的，根据以下深度计算公式计算d':
AmlUd2 _ β? Cl； — Ct—
JS + AmiLid fS + AmtLid 其中，最优偏移量Am等于参考散斑窗中心点X坐标值-最优匹配块中心点X'坐标值，或参考散斑窗中心点y坐标值-最优匹配块中心点I'坐标值。
8.根据权利要求4所述的方法，其中，位置值采取一维或二维方式表示，其对应该匹配块match,中心点Ok与匹配搜索窗blockMXN中心点ο之间的位置距离关系，并且二维位置用偏移量(ΛΧ，Ay)表示，其中ΛΧ，Ay都为整数，其正负表示位于匹配搜索窗中心点的左右、上下关系。
9.根据权利要求1所述的方法，还包括:步骤7、将输入散斑图像块中心点ο移到同一行的下一个像素点上，重复步骤2~6，得到下一个像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。
【文档编号】G06T7/00GK103839258SQ201410049323
【公开日】2014年6月4日 申请日期:2014年2月13日 优先权日:2014年2月13日
【发明者】葛晨阳, 姚慧敏, 周艳辉 申请人:西安交通大学, 宁波盈芯信息科技有限公司