专利名称：一种图像深度感知装置的制作方法
技术领域：
本发明属于图像处理、自然交互和集成电路技术领域，具体涉及图像深度感知装置的硬件结构。
背景技术：
视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度)。图像高精度深度信息的实时获取是当前机器视觉系统发展的一大难点。
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令，通过听觉与视觉以语言、表情、手势和体势等自然方式进行交互，进一步降低人对机器的使用门槛。利用图像深度感知芯片及装置可进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体势等自然方式与终端进行交互，使人类能以自然交互方式对机器进行操控的理想目标有望实现。图像深度感知技术已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC、平板电脑等，为用户带来“科幻”般的操控方式和全新的人机交互体验，在游戏娱乐、消费电子、医疗、教育等领域都有广泛的应用前景。基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面,经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知装置计算获得物体的深度图信息。本发明针对基于结构光的主动视觉模式，实现了一种高精度图像深度感知装置(芯片或IP核)的硬件结构，具有结构简单、硬件开销小、可实时生成高分辨率的深度图序列的优点，同时该模块即可作为独立芯片，也可作为嵌入式IP核应用。该模块主要原理输入散斑图序列(从外部图像传感器采集得到，深度信息未知)与标准散斑图(深度距离信息已知，作为基准)进行比较，通过图像块的模式匹配(相似度计算)获得输入散斑图的运动矢量信息，再通过深度计算获得深度图，最后经过深度图的后处理输出最终的高分辨率深度图序列。
发明内容
本发明提供了一种图像深度感知装置，其特征在于包括图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块以及存储器；其中
将外部的图像传感器采集获得的输入散斑图序列，以数字视频格式输出至所述图像自适应预处理子模块；
所述图像自适应预处理子模块对不同亮暗、信噪比、大小特性的输入散斑图序列进行自适应、一致性的预处理；
所述存储器中固定存储有深度距离信息已知的标准散斑图，该标准散斑图已进行过预处理；
所述块匹配运动估计子模块将预处理后的输入散斑图序列中各输入散斑图与标准散斑图进行比对，求取输入散斑图中图像块的位移量；
所述深度计算子模块根据输入散斑图中图像块的位移量来计算其深度信息，得到计算后的深度图序列。
图I是本发明实施例的图像深度感知装置结构 图2是本发明实施例的图像自适应预处理子模块的流程框 图3是本发明实施例的块匹配运动估计子模块的原理示意 图4是激光三角测距原理示意图。
具体实施例方式下面结合具体实施例对本发明进行进一步的详细说明。在一个具体实施例中，本发明公开了一种图像深度感知装置，其特征在于包括图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块以及存储器；其中
将外部的图像传感器采集获得的输入散斑图序列，以数字视频格式输出至所述图像自适应预处理子模块；
所述图像自适应预处理子模块对不同亮暗、信噪比、大小特性的输入散斑图序列进行自适应、一致性的预处理；
所述存储器中固定存储有深度距离信息已知的标准散斑图，该标准散斑图已进行过预处理；
所述块匹配运动估计子模块将预处理后的输入散斑图序列中各输入散斑图与标准散斑图进行比对，求取输入散斑图中图像块的位移量；
所述深度计算子模块根据输入散斑图中图像块的位移量来计算其深度信息，得到计算后的深度图序列。就上述实施例而言，该装置的基本功能在于从外部图像传感器输入散斑图序列(深度信息未知)，经图像自适应与固定存储在存储芯片(Flash、EEPR0M等)中的标准散斑图(深度距离信息已知，作为基准)进行比较，通过图像块的块匹配运动估计(相似度计算)获得输入散斑图的运动矢量信息，再通过深度计算获得深度图，最后经过深度图的后处理输出最终的高分辨率深度图序列。块匹配运动估计子模块实质上是用于输入散斑图和标准散斑图之间的相似度计算。输入散斑图中的光斑图案可认为是由标准散斑图的光斑图案经缩放、平移等操作得到，求取对应光斑块的运动向量(即位移量)可用于计算其深度信息。深度，即该块所在的、与散斑投射器中心轴Z轴垂直的平面到散斑投射器前端的垂直距离。其中标准散斑图的获取可以通过如下方式实现，这些方式仅用于说明上述实施例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获取标准散斑图将固定图案的激光束(红外、可见光、紫外线、不可见光)投射到与散斑投射器的中心轴(Z轴)相垂直的、且已知位置距离为d的平面(该平面可由投影布、平板等构成，用于呈现清晰稳定的散斑点图)上，平面上所形成的散斑图即为标准散斑图。输入散斑图的获取也可以采用上述获取方法，输入散斑图中含有要测量深度信息的目标物体，其深度信息为知。容易理解，目标物体必须在散斑照射的有效距离范围内。优选的，在另一个实施例中所述数字视频格式为Bayer格式或ITU656/ITU601视频格式；所述图像深度感知模块还包括深度图后处理子模块，其采用去噪滤波的方法来减少噪声的存在，输出高分辨率深度图序列。对于该实施例而言，深度图后处理子模块用于对获得的深度图进一步优化。由于在块匹配运动估计过程中可能存在误匹配的问题、加上激光投射的方法会形成被遮挡区域，由此形成深度图有空洞现象，空洞也可以视为深度图的噪声。为了进一步提高精度，所述深度图后处理子模块采用去噪滤波的方法来减少噪声的存在，并使得深度图中物体的边缘更光滑、清晰，比如采用中值滤波、均值滤波等方法，但不限于这些传统的滤波方法，其目的都是为了减少噪声。经优化处理后，输出深度图序列。 优选的，在另一个实施例中所述图像自适应预处理子模块的预处理过程为先将输入散斑图序列和标准散斑图转为RGB格式，再通过色度空间转换为YUV格式，最后针对YUV格式的图像进行自适应去噪和增强。也就是说，本实施例意在限定图像自适应预处理子模块的一种具体处理过程。优选的，在另一个实施例中所述块匹配运动估计子模块的工作过程为在输入散斑图中提取大小为(的图像块Wod^111 ;通过微处理器在标准散斑图中，以图像块MkIsm所对应位置为中心、大小
为(AfxiV)的搜索窗内，按搜索策略和相似度测量指标来寻找该图像块的最优的匹配块，其中，Μ、N、n、m都是整数，且M>m、N>n,从而获得该图像块的位移量(Ar ,Ak )，即运动向量。对于该实施例，意在限定块匹配运动估计子模块的一种具体处理过程。优选的，在另一个实施例中所述去噪滤波方法为中值滤波或均值滤波。优选的，在另一个实施例中深度计算子模块根据输入散斑图与标准散斑图中进行比对，求取输入散斑图中图像块的位移量，在已知图像块位移量、图像传感器焦距、图像传感器像素点点距参数和标准散斑图参考距离的情况下，利用激光三角测距原理求取该图像块对应的深度值，通过对输入散斑图所有图像块深度值的计算生成输入散斑图对应的深度图。对于上述实施例而言，可以根据每一图像块的位移量，在已知图像传感器焦距和传感器像素点点距参数的情况下，利用该位移量结合激光三角测距方法求取深度的相对变化值，该相对变化值加上标准散斑图的参考距离即可得到该图像块对应的深度值，其中当该相对变化值为正值时，该图像块对应的深度值大于标准散斑图的参考距离；当该相对变化值为负值时，该图像块对应的深度值小于标准散斑图的参考距离；当该相对变化值为零时，该图像块对应的深度值等于标准散斑图的参考距离。优选的，在另一个实施例中所述深度计算子模块利用查找表法求取输入散斑图中图像块的深度，所述查找表根据标准散斑图不同位移量及其对应的深度值建立。
对于该实施例而言，本实施例实现了查找表方式求取深度今，例如在具体实
施中，将水平位移量Ae或垂直位移量Ajr作为查找表的输入值，得到输出值深度，从而避免了复杂的深度计算公式，实现了硬件结构的简化和硬件资源的节省。进一步地，查找表中水平位移量A5c或垂直位移量与深度对应关系可由以下
方法获得水平位移量Ar或垂直位移量Af大小与深度不是线性关系，其映射关系可由多个不同标准深度距离rf的标准散斑图，如札d2:d.3.......,经不同标准散斑图之间两两
块匹配运动估计，得到不同标准散斑图之间的位移量，如水平位移量Δχ1:2，Δ^3;Δχ2:5.......
或垂直位移量,,,,,,,，经曲线拟合可得到水平位移量Δ ；或垂直位移量Af与物体深度距离rf的关系，依据所述曲线拟合可生成任意水平位移量Ac或任意垂直位移 量知与深度距离rf对应的查找表，根据该查找表可获得任意水平位移量Ar或垂直位移量細所对应的该图像块的深度距离d。然后，经对输入散斑图所有图像块进行深度计算，再对所有图像块的深度值组合得到该输入散斑图所对应的深度图。深度图用灰度图来表示，比如灰度值越大表示越近，即
rfM值约小;灰度值越小表示越远、即值越大。也可采用相反方式用灰度图来表示深度图。优选的，在另一个实施例中所述搜索策略为先按水平方向移动块、再在垂直方向增加行数，逐个匹配块进行搜索。最佳的，在另一个实施例中所述装置还包括微处理器，所述微处理器不仅从存储器中以串口或并口方式读取标准散斑图，而且通过内部控制总线或IIC总线方式对图像传感器和上述各个子模块进行初始化参数赋值和控制寄存器参数配置，包括对图像传感器进行输出格式控制，对图像自适应预处理子模块进行算法性能配置、阈值设置和开关控制，对块匹配运动估计子模块进行图像块、搜索窗大小控制，对深度计算子模块的查找表进行动态配置，对深度图后处理子模块进行滤波方法选择、阈值设置和开关控制。对于上述最佳的实施例，图I说明了包含微处理器的图像深度感知装置结构图。以该实施例为例，现具体说明如下
图像自适应预处理子模块对输入散斑图进行预处理，对不同特性的输入散斑图进行自适应、一致性的处理，以达到提高块匹配运动估计的准确性的目的，例如，当输入散斑图格式为Bayer格式时，处理流程见图2。图像自适应预处理子模块先将Bayer格式转换为RGB格式的图像，再通过色度空间转换(RGB到YUV)转为YUV格式的图像，再针对YUV图像进行自适应去噪和增强。自适应去噪方法包括窗口滤波、高斯滤波等，但不限于这些传统的图像去噪方法，目的是提高图像性噪比。图像增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的图像增强方法，目的是使输入散斑图特征更显著。最后输出预处理后的输入散斑图序列。其中，微处理器通过内部控制总线或IIC总线方式对图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块、深度图后处理子模块进行寄存器参数控制，并从存储器(Flash、EEPROM等其它介质存储器)以串口或并口方式输入固定储存在该介质上的标准散斑图，该散斑图已经过上述的图像自适应预处理，作为基准散斑图固定存在该介质中。假设微处理器通过内部控制器从存储器读入标准散斑图的部分数据到内部数据总线，那么，从前文说明容易理解，其所读入的标准散斑图数据内容跟输入散斑图的当前匹配块位置及设定的搜索窗大小密切相关。对于所述块匹配运动估计子模块，用于求取输入散斑图的运动向量，见图3。如前所述，搜索窗内匹配块的搜索策略可以是先按水平方向移动块、再在垂直方向增加行数，逐个匹配块进行搜索，其匹配插值精度可达到子像素级。特别的，该块匹配运动估计方法不同于传统的块匹配算法。在匹配过程中，传统的运动估计匹配算法其匹配块的步长I等于匹配块的大小，从输入散斑图中提取的图像块的步长|也可小于匹配块的大小，经块匹配求取的运动向量只代表了运动块中心区域、步长I范围内像素点(图3中的阴影区域)的运动向量，以此方法可取得运动向量的准确率和细小物体运动向量误匹配现象的折衷。 由此，优选的，在另一个实施例中从输入散斑图中提取的图像块的步长小于匹配块的大小。上述的实施例既可以作为独立芯片使用，也可以作为嵌入式IP核在SoC芯片中应用。本发明不仅支持不同种激光源产生的结构光模式，如红外、可见光、紫外线、不可见光等，也使用不同图案的投射方案，如圆点状、块状、十字状、条纹状等的散斑图。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。
权利要求
1.一种图像深度感知装置，其特征在于包括图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块以及存储器；其中 将外部的图像传感器采集获得的输入散斑图序列，以数字视频格式输出至所述图像自适应预处理子模块； 所述图像自适应预处理子模块对不同亮暗、信噪比、大小特性的输入散斑图序列进行自适应、一致性的预处理； 所述存储器中固定存储有深度距离信息已知的标准散斑图，该标准散斑图已进行过预处理； 所述块匹配运动估计子模块将预处理后的输入散斑图序列中各输入散斑图与标准散斑图进行比对，求取输入散斑图中图像块的位移量； 所述深度计算子模块根据输入散斑图中图像块的位移量来计算其深度信息，得到计算后的深度图序列。
2.如权利要求I所述的装置，其特征在于所述数字视频格式为Bayer格式或ITU656/ITU601视频格式；所述图像深度感知模块还包括深度图后处理子模块，其采用去噪滤波的方法来减少噪声的存在，输出高分辨率深度图序列。
3.如权利要求I所述的装置，其特征在于所述图像自适应预处理子模块的预处理过程为先将输入散斑图序列和标准散斑图转为RGB格式，再通过色度空间转换为YUV格式，最后针对YUV格式的图像进行自适应去噪和增强。
4.如权利要求I所述的装置，其中所述块匹配运动估计子模块的工作过程为在输入散斑图中提取大小为(《bxh)的图像块;通过微处理器在标准散斑图中，以图像块所对应位置为中心、大小为(Afxif)的搜索窗《aarcfc—Afacfcjftds 内，按搜索策略和相似度测量指标来寻找该图像块的最优的匹配块，其中，M、N、n、m都是整数，且M>m、N>n，从而获得该图像块的位移量(At, % )，即运动向量。
5.如权利要求2所述的装置，其特征在于所述去噪滤波方法为中值滤波或均值滤波。
6.如权利要求4所述的装置，其特征在于深度计算子模块根据输入散斑图与标准散斑图中进行比对，求取输入散斑图中图像块的位移量，在已知图像块位移量、图像传感器焦距、图像传感器像素点点距参数和标准散斑图参考距离的情况下，利用激光三角测距原理求取该图像块对应的深度值，通过对输入散斑图所有图像块深度值的计算生成输入散斑图对应的深度图。
7.如权利要求4所述的装置，其特征在于所述深度计算子模块利用查找表法求取输入散斑图中图像块的深度，所述查找表根据标准散斑图不同位移量及其对应的深度值建立。
8.如权利要求4所述的装置，其中所述搜索策略为先按水平方向移动块、再在垂直方向增加行数，逐个匹配块进行搜索。
9.如权利要求7所述的装置，其特征在于所述装置还包括微处理器，所述微处理器不仅从存储器中以串口或并口方式读取标准散斑图，而且通过内部控制总线或IIC总线方式对图像传感器，和上述各个子模块进行初始化参数赋值和控制寄存器参数配置，包括对图像传感器进行输出格式控制，对图像自适应预处理子模块进行算法性能配置、阈值设置和开关控制，对块匹配运动估计子模块进行图像块、搜索窗大小控制，对深度计算子模块的查找表进行动态配置，对深度图后处理子模块进行滤波方法选择、阈值设置和开关控制。
10.如权利要求8所述的装置，其特征在于从输入散斑图中提取的图像块的步长小于匹配块的大小。
全文摘要
本发明针对基于结构光的主动视觉模式，实现了一种高精度图像深度感知装置(芯片或IP核)的硬件结构，具有结构简单、硬件开销小、可实时生成高分辨率的深度图序列的优点，同时该模块即可作为独立芯片，也可作为嵌入式IP核应用。该模块主要原理输入散斑图序列(从外部图像传感器采集得到，深度信息未知)与标准散斑图(深度距离信息已知，作为基准)进行比较，通过图像块的模式匹配(相似度计算)获得输入散斑图的运动矢量信息，再通过深度计算获得深度图，最后经过深度图的后处理输出最终的高分辨率深度图序列。
文档编号G06T7/00GK102970548SQ20121049022
公开日2013年3月13日 申请日期2012年11月27日 优先权日2012年11月27日
发明者葛晨阳, 葛瑞龙, 王大伦, 李伟, 姚慧敏, 王峰, 朱鸣 申请人:西安交通大学