一种生成高分辨率深度图的方法、系统及计算设备的制作方法
【专利摘要】本发明属于计算机视觉领域，提供了一种生成高分辨率深度图的方法、系统及计算设备。该方法及系统是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。由于是将低分辨率深度图中的像素信息补充到了高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且运算速度快。
【专利说明】一种生成高分辨率深度图的方法、系统及计算设备
【技术领域】
[0001]本发明属于计算机视觉领域，尤其涉及一种生成高分辨率深度图的方法、系统及计算设备。
【背景技术】
[0002]在计算机视觉领域，深度图用以表示场景中各点相对于摄像机的距离，即是说，深度图中的每一像素点表示场景中某一点与摄像机之间的距离。自从微软的kinect深度图像传感器商业应用后，出现了更多地基于三维深度图像的服务与产品，比如微软的xboxOne体感游戏器，Leap motion的体感控制器等。
[0003]当前的深度图像传感器采集到的深度图像大部分为低分辨率深度图，为了获得高分辨率深度图，现有技术是采用双边滤波等上采样算法对深度图像传感器采集到的低分辨率深度图进行放大处理，以将低分辨率深度图直接转换为高分辨率深度图。但受现有的上采样算法本身的制约，该种方式得到的高分辨率深度图中的轮廓边缘会由于数据平滑效应而产生错误深度数据，显示效果较差。
【发明内容】
[0004]本发明实施例的目的在于提供一种生成高分辨率深度图的方法，旨在解决现有技术采用上采样算法直接将低分辨率深度图转换为所需的高分辨率深度图，得到的高分辨率深度图中的轮廓边缘会由于数据平滑效应而产生错误深度数据，显示效果较差的问题。
[0005]本发明实施例是这样实现的，一种生成高分辨率深度图的方法，所述方法包括以下步骤:
[0006]采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；
[0007]对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；
[0008]根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。
[0009]本发明实施例的另一目的在于提供一种生成高分辨率深度图的系统，所述系统包括:
[0010]图像采集模块，用于采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；
[0011]第一图像处理模块，用于对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；[0012]第二图像处理模块，用于根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。
[0013]本发明实施例的另一目的在于提供一种计算设备，所述计算设备包括如上所述的生成高分辨率深度图的系统。
[0014]本发明提出的生成高分辨率深度图的方法及系统是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。相对于现有技术，由于是在得到高分辨率粗略深度图后，还进一步将低分辨率深度图中的像素信息补充到该高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且运算速度快，特别适用于三维重建、三维电视节目传输与制作、体感互动应用等领域，具有广泛的应用价值。
【专利附图】
【附图说明】
[0015]图1是本发明实施例一提供的生成高分辨率深度图的方法的流程图；
[0016]图2是本发明实施例一中根据局部搜索策略搜索相似区块并将区块填入高分辨率粗略深度图以得到高分辨率深度图的详细流程图；
[0017]图3是本发明实施例一中在低分辨率深度图中查找与轮廓图中的轮廓区块最相似的区块的详细流程图；
[0018]图4a是本发明实施例一中第一低分辨率亮度图的实例图；
[0019]图4b是本发明实施例一中低分辨率深度图的实例图；
[0020]图4c是本发明实施例一中高分辨率粗略深度图的实例图；
[0021]图4d是本发明实施例一中轮廓图的实例图；
[0022]图4e是本发明实施例一中第二低分辨率亮度图的实例图；
[0023]图4f是本发明实施例一中高分辨率亮度图的实例图；
[0024]图4g是本发明实施例一中高分辨率深度图的实例图；
[0025]图5是本发明实施例二提供的生成高分辨率深度图的系统的结构图；
[0026]图6是图5中第二图像处理模块的结构图；
[0027]图7是图6中第二图像处理子模块的结构图。
【具体实施方式】
[0028]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0029]针对现有技术存在的问题，本发明是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。以下将结合实施例详细说明本发明的实现方式:
[0030]实施例一
[0031]本发明实施例一提出了一种生成高分辨率深度图的方法，如图1所示，包括:
[0032]步骤S1:采集同一场景的低分辨率深度图和第一低分辨率亮度图，第一低分辨率亮度图与低分辨率深度图的尺寸一致。
[0033]本发明实施例一中，可利用现有的深度图像传感器实现对低分辨率深度图和第一低分辨率亮度图的采集，例如，可采用微软的kinect深度图像传感器同时采集同一场景尺寸相同的低分辨率深度图和第一低分辨率亮度图。
[0034]步骤S2:对低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算高分辨率粗略深度图中的图像轮廓，得到高分辨率粗略深度图对应的轮廓图，高分辨率粗略深度图与轮廓图的尺寸一致。
[0035]本发明实施例一中，可采用双边滤波算法等对低分辨率深度图进行上采样处理，得到的高分辨率粗略深度图保留了低频信息而丢弃了高频信息。低频信息一般是指图像中变化缓慢的部分，反映了图像的框架、轮廓等概貌信息；高频信息一般是指图像中变化迅速的部分，反映了图像的细节信息。
[0036]本发明实施例一中，高分辨率粗略深度图中的图像轮廓在表达出高分辨率粗略深度图的全貌信息之外，还表达了场景中物体的边界和深度之间的关系。进一步地，计算高分辨率粗略深度图中的图像轮廓，得到高分辨率粗略深度图对应的轮廓图的步骤可表示为:
【权利要求】
1.一种生成高分辨率深度图的方法，其特征在于，所述方法包括以下步骤: 采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致； 对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致； 根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。
2.如权利要求1所述的生成高分辨率深度图的方法，其特征在于，所述计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图的步骤表示为:
3.如权利要求1所述的生成高分辨率深度图的方法，其特征在于，所述根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图的步骤包括以下步骤: 对所述第一低分辨率亮度图顺次进行下采样处理和上采样处理，得到第二低分辨率亮度图，对所述第二低分辨率亮度图进行上采样处理，得到高分辨率亮度图，所述第二低分辨率亮度图与所述第一低分辨率亮度图的尺寸和分辨率一致，所述高分辨率亮度图与所述高分辨率粗略深度图的尺寸一致； 提取所述轮廓图中交叠的轮廓区块，并根据局部搜索策略，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块； 采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。
4.如权利要求3所述的生成高分辨率深度图的方法，其特征在于，所述提取所述轮廓图中交叠的轮廓区块，并根据局部搜索策略，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块的步骤包括以下步骤: 提取所述轮廓图中交叠的轮廓区块，交叠的各轮廓区块的尺寸一致； 查找所述轮廓区块在所述高分辨率亮度图中的对应区块； 查找所述对应区块的中心点在所述第二低分辨率亮度图中的位置坐标，以所述位置坐标作为中心点确定一目标搜索区域，所述目标搜索区域的尺寸大于所述对应区块的尺寸； 遍历所述目标搜索区域中、每一与所述对应区块相同尺寸的区块，将所述目标搜索区域中、与所述对应区块之间的亮度差异最小的区域作为与所述对应区块最相似的区块，并得到搜索到的区块的中心点坐标； 根据搜索到的区块的尺寸及所述中心点坐标，将所述搜索到的区块对应到所述低分辨率深度图中的相应位置，得到与所述轮廓区块最相似的区块。
5.如权利要求4所述的生成高分辨率深度图的方法，其特征在于，所述遍历所述目标搜索区域中、每一与所述对应区块相同尺寸的区块，将所述目标搜索区域中、与所述对应区块之间的亮度差异最小的区域作为与所述对应区块最相似的区块的步骤表示为:
6.一种生成高分辨率深度图的系统，其特征在于，所述系统包括: 图像采集模块，用于采集同一场景的低分辨率深度·图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致； 第一图像处理模块，用于对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致； 第二图像处理模块，用于根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。
7.如权利要求6所述的生成高分辨率深度图的系统，其特征在于，所述第二图像处理模块包括: 第一图像处理子模块，用于对所述第一低分辨率亮度图顺次进行下采样处理和上采样处理，得到第二低分辨率亮度图，对所述第二低分辨率亮度图进行上采样处理，得到高分辨率亮度图，所述第二低分辨率亮度图与所述第一低分辨率亮度图的尺寸和分辨率一致，所述高分辨率亮度图与所述高分辨率粗略深度图的尺寸一致； 第二图像处理子模块，用于提取所述轮廓图中交叠的轮廓区块，并根据局部搜索策略，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块； 第三图像处理子模块，用于采用加权拼接方式将所述第二图像处理子模块查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。
8.如权利要求7所述的生成高分辨率深度图的系统，其特征在于，所述第二图像处理子模块包括: 提取子模块，用于提取所述轮廓图中交叠的轮廓区块，交叠的各轮廓区块的尺寸一致； 第一查找子模块，用于查找所述轮廓区块在所述高分辨率亮度图中的对应区块； 第二查找子模块，用于查找所述对应区块的中心点在所述第二低分辨率亮度图中的位置坐标，以所述位置坐标作为中心点确定一目标搜索区域，所述目标搜索区域的尺寸大于所述对应区块的尺寸；搜索子模块，用于遍历所述目标搜索区域中、每一与所述对应区块相同尺寸的区块，将所述目标搜索区域中、与所述对应区块之间的亮度差异最小的区域作为与所述对应区块最相似的区块，并得到搜索到的区块的中心点坐标； 第三查找子模块，用于根据搜索到的区块的尺寸及所述中心点坐标，将所述搜索到的区块对应到所述低分辨率深度图中的相应位置，得到与所述轮廓区块最相似的区块。
9.如权利要求6所述的生成高分辨率深度图的系统，其特征在于，所述图像采集模块是kinect深度图像传感器。
10.一种计算设备，其特征在于，所述计算设备包括如权利要求6至9任一项所述的生成高分辨率深度图的 系统。
【文档编号】G06T7/00GK103440664SQ201310400717
【公开日】2013年12月11日 申请日期:2013年9月5日 优先权日:2013年9月5日
【发明者】闫晓林, 邵诗强, 谭文伟, 付东 申请人:Tcl集团股份有限公司