一种基于深度图的背景建模和前景提取的方法_2

文档序号:9288806阅读:来源:国知局
步骤七所述更新实时深度背景模型,是指更新背景像素点所对应的码组信 息,更新方式为更新码组内已经存在的码字信息和增加码组内码字数量;更新前景像素点 所对应的码组信息,更新方式为删减码组内码字数量。
[0031] 所述更新码组内已经存在的码字信息和增加码组内码字数量是指,在已存在的码 字中找到深度值属于阈值范围内的码字,则按照权利要求7的方法对该码字进行更新;在 已存在的码字中未找到深度值属于的码字,并且码组中的码字数量未到设定的最大值,则 增加一个码字,以完成对该码字的初始化,其中,码字的中心阈值TreshoIcU ntCT赋值为当前 的深度值,码字出现的次数F赋值为1,码字未出现的次数L赋值为0 ;在已存在的码字中未 找到深度值属于的码字,并且码组中的码字数量达到了设定的最大值,则用当前深度值生 成一个新的码字来取代原来一个陈旧的码字。
[0032] 所述新的码字取代原来一个陈旧的码字,是指陈旧码字的选取以及更新方法包 括:一是查找中心阈值与当前深度值最接近的码字,所述最接近的码字即所包含的中心阈 值与深度值差的绝对值最小,当该绝对值小于预先设定的绝对值常数,则将中心阈值与深 度值平均后的结果作为新码字中心阈值,新码字的F值赋值为1,新码字的L值赋值为0 ;二 是当该绝对值大于预先设定的绝对值常数,则查找所有已存在码字中L值最大的码字,即 未出现次数最大的码字作为陈旧码字,使用当前深度值作为中心阈值,F赋值为1,L值赋值 为〇的新码字替换旧码字。
[0033] 所述前景像素点更新方式为删减码字,是指分析像素码组中的所有码字信息,前 景像素点对应的深度值是否在码字对应的高低阈值范围内,如果在阈值范围内,则删除该 码字,对于不满足深度值在高低阈值范围内的码字,不做任何处理。
[0034] 本发明与现有技术相比其显著的优点在于:
[0035] -是为解决现有技术因采用色彩图为三通道的数字图像,所以在处理色彩图的背 景建模时需要处理更多的数据,运算复杂性高,在实现背景建模的过程中容易受到光线以 及纹理色彩变化的影响,稳定性差的问题,本发明依据深度图的特殊属性而设计出来的新 的背景建模和前景图提取的方法,它具有公知的使用色彩图建模方法所无法比拟的稳定 性、高效率以及处理位置关系的优越性。
[0036] 二是本发明运用基于深度图的背景建模方法,不仅具有运算量小的优点,而且还 具有实时性好、生成前景目标稳定可靠性高等优点。
[0037] 三是本发明的深度图背景建模方法与目标识别模块相结合,可以根据目标提取的 情况更新实时深度背景模型,因此本发明与现有其他深度图背景建模方法相比,在实现前 景图提取过程中不需要对场景进行初始建模,大大简化了实施步骤,使得本发明的整体效 能大幅度提尚。
【附图说明】
[0038] 图1为场景中背景墙面示意图。
[0039] 图2为本发明提出的一种基于深度图的图像背景建模和前景提取的方法的流程 示意图。
【具体实施方式】
[0040] 下面将结合附图和实施例对本发明的【具体实施方式】作进一步的详细说明。
[0041] 结合图2,本发明提出的一种基于深度图的图像背景建模和前景提取的方法,包括 步骤一至步骤七,根据步骤七所得结果的状况,可以该结果为输入,重复步骤四至步骤七, 以其不断循环的方式来实现最终结果,具体步骤如下:
[0042] 步骤一,获取表征物体距离摄像头距离的深度图像:所述深度图像为不限定分辨 率的数字图像,其中深度图像的每个像素点的深度值都是当前场景中物体垂直于摄像头主 光轴的直线距离;
[0043] 步骤二,初始化实时深度背景模型:使用整个深度图像中所有像素点初始化以码 组为单元的实时深度背景模型,所述码组是指统计像素点的背景信息,每个像素点具有一 个码组,每个码组包含多个码字;所述码字的数量的最大值为预先设定的确定值,该码字数 量的最大值由深度图本身的成像稳定性决定,成像稳定性高,则码字数量的最大值小;
[0044] 步骤三,更新实时深度背景模型:通过目标识别生成目标掩模图,并根据目标掩模 图更新实时深度背景模型中每个像素点所对应的码组信息;所述目标掩模图包括表征图像 中每个目标的所包含的像素点的目标区域,以及非目标的背景区域,目标掩模图中目标区 域作为前景像素点进行更新,目标掩模图中背景区域作为背景像素点进行更新;
[0045] 步骤四,获取表征物体距离摄像头距离的当前深度图像;
[0046] 步骤五,基于实时深度背景模型提取当前深度图像的前景图像:根据当前深度图 像中任意一个像素点的深度值对其所对应码组的所有码字进行搜索与比较,从而判断该像 素点为背景点或前景点,将所述背景点赋值为背景值,所述前景点赋值为前景值,从而构成 前景图像;
[0047] 步骤六,输出前景图像,生成实时目标掩膜图:根据所述前景图像进行目标识别, 识别出当前深度图像中的目标物体,并生成实时目标掩膜图;所述实时目标掩模图包括用 于表征所述深度图像中每个目标所包含的像素点的目标区域,和非目标所包含的像素点的 背景区域;
[0048] 步骤七,更新实时深度背景模型:根据实时目标掩模图,更新实时深度背景模型 中每个像素点的码组信息,其中所述实时目标掩膜图中的目标区域作为前景像素点进行更 新,所述实时目标掩模图中的背景区域作为背景像素点进行更新。
[0049] 结合图1、图2,对本发明提出的一种基于深度图的图像背景建模和前景提取的方 法及其优选方案的具体应用实施例进一步说明如下:
[0050] 第一,基于深度图的目标提取整体算法流程。本发明的主要作用是为协助其它算 法模块提取深度图中的特定目标,其【具体实施方式】如下:
[0051] 如图1所示,101为场景中背景墙面,103、104、105为场景中的家具图像,而102为 场景需要提取的人物目标图像;在深度图中,本发明将实现101、102、103、104、105等不同 目标图像的分割;在图2中201和301获取深度图的方式包括基于结构光的深度图,基于光 的飞行时间的深度图以及基于多目视觉的深度图。
[0052] 基于结构光的深度图生成设备,包括一个发射端和一个接收端,发射端的光源打 到特定的光学图案上并将图案投射到应用场景中,该场景中的物体由于距离的不同,将生 成的光学图案进行调制,生成场景的光学图案;之后接收端将生成的图案采集到深度图生 成设备中,并与一张特定的参考图进行比较,可以获得场景中物体的视差信息,通过视差信 息可以最终获得场景中所有物体的深度图。
[0053] 基于光的飞行时间的深度图设备,包括一个发射端和一个接收端,所述发射端使 用红外光组件将红外光发射到场景上。本实施例中,可以使用脉冲红外光,使得可以测量 出射光脉冲与相应的入射光脉冲之间的时间,并且将其用于确定从深度图设备到场景中的 目标或物体上的特定位置的物理距离;也可将出射光波的相位与入射光波的相位相比较来 确定相移;然后可以使用该相移来确定从深度图设备到目标或物体上的特定位置的物理距 离;还可使用飞行时间分析来通过经由包括例如快门式光脉冲成像在内的各种技术分析反 射光束随时间的强度来间接地确定从深度图设备到目标或物体上的特定位置的物理距离。
[0054] 基于多目视觉的深度图,本实施例中,多目视觉可通过多个不同位置的摄像机来 捕获场景中的图像,并通过相关匹配的方式以及摄像机的位置关系获得场景中物体距离深 度图设备的距离。
[0055] 最终获得深度图为一个二维矩阵形式,矩阵中的每个位置的点为图像的像素点, 像素点的数值表征的是场景中的物体距离深度图设备的物理距离。
[0056] 再回到图2中,其中202初始化实时深度背景模型,使用整个深度图像中所有像素 点初始化以码组为单元的实时深度背景模型,码组是指统计像素点的背景信息,每个像素 点具有一个码组,每个码组包含多个码字,码字的数量的最大值为预先设定的确定值,该码 字数量的最大值由深度图本身的成像稳定性决定,成像稳定性高,则码字数量的最大值小。
[0057] 完成初始化实时深度背景模型之后,进入203更新实时深度背景模型步骤,通过 目标识别生成目标掩模图,并根据目标掩模图更新实时深度背景模型中每个像素点所对应 的码组信息;目标掩模图包括表征图像中每个目标的所包含的像素点的目标区域,以及非 目标的背景区域,目标掩模图中目标区域作为前景像素点进行更新,目标掩模图中背景区 域作为背景像素点进行更新。
[0058] 在步骤203更新实时深度背景模型步骤之后,即获得可用的实时深度背景模型, 用于下面进一步的实时图像背景建模和前景提取。
[0059] 301获取新一帧深度图像,302提取前景图像模炔基于已经建立的实时深度背景 模型进行前景提取操作,提取的方式包括使用当前深度图的像素点与实时深度背景模型中 的码字进行比较,具体实现将在
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1