一种基于深度图的背景建模和前景提取的方法_3

文档序号:9288806阅读:来源:国知局
下文进行描述。最终输出为一张前景图,前景图中通过将像 素标记不同的数值以区分是前景像素和背景像素。
[0060] 完成提取前景图像后,将进入303输出前景图像,生成实时目标掩膜图步骤,该步 骤包括多种实现方式,结合前景图像,进行目标识别,并输出需要提取的目标物体(比如人 体目标);在一些实例中,可以使用前景的结果作为目标识别的结果。在一些实例中,可以 使用人体的轮廓信息对目标进行识别,由于人体的头部和肩部满足一定形状约束,因此可 以通过提取头肩特征,使用预先定义好的头肩模型进行特征匹配进行识别。在一些实例中, 可以使用运动和非运动物体对目标进行识别,相对于背景而言,运动物体更有可能为人体 目标或需要识别的目标。在一些实例中,可以使用上一帧的信息对目标进行识别,在上一帧 的目标位置可以作为当前帧的目标的位置,通过上述所述方法可以检测到当前帧的目标位 置。在另一些实例中,可以使用以上所述的实例综合使用对目标物体进行打分,并且与预设 的打分阈值进行比较,打分超过阈值即为目标物体。最终目标识别模块输出为一个深度连 续的目标物体,生成一张具有目标物体位置的掩模图。在目标物体像素和非目标物体像素 分别标记不同数值。
[0061] 完成目标识别后进入304更新实时深度背景模型模块,使用已经识别的目标作为 更新的方法,目标物体部分的像素不更新实时深度背景模型,非目标物体部分即为背景的 像素点,使用背景的像素点更新实时深度背景模型。实时深度背景模型将用于下一帧前景 提取的计算。
[0062] 第二,实时深度背景模型的信息构成。实时深度背景模型是根据图像的像素点数 量建立起来的以码组为单元的数据集合,每一个像素点具有一个码组,其中,所述码组是单 个像素点统计背景信息的基本单元;
[0063] 其中,每个码组包含多个码字,码字数量的最大值为预先设定的确定值;每个像素 使用码组来表征该像素在实时深度背景模型中的所有信息,一个码组是由多个码字构成, 每个码字表征该像素曾经为背景时候的深度值范围,作为背景深度值出现的频率,以及作 为背景深度值的陈旧性。通过多个码字的表现,我们可以建立多个时间节点的实时深度背 景模型。
[0064] 码字的数量最大值由深度图本身的成像稳定性决定,成像稳定性高,则码字数量 的最大值小;生成的码组空间存储于固定的存储空间中。
[0065] 其中,码字包括以下信息:码字的中心阈值Tresho I deentCT,码字的出现次数F,码字 的未出现次数L。
[0066] 中心阈值用于判断对应的像素值深度值是否属于该码字;判断依据为深度值是 否处于以码字中心阈值为中心的高低阈值范围内;设中心阈值为Treshold^w,低阈值 Tresholdlciw的计算公式为:
[0067] Tresholdlow= Tresholdcenter-D
[0068] 上式中,D为当前像素点深度值对应的深度范围阈值,用于控制作为背景的以中心 阈值为中心的背景范围。该深度阈值是根据不同深度预先设定的数值。低阈值计算结果小 于〇时,低阈值为0。
[0069] 对应的高阈值的计算公式为:
[0070] Tresholdhigh= Treshold center+D
[0071] 上式中,当高阈值的计算结果大于可能出现的最大深度值时,则高阈值的结果为 最大的深度值。
[0072] 码字出现次数F,其作用在于,记录所有属于该码字的深度值的出现次数。其中,每 一个属于该码字的深度值都在以码字的T reSholcUntel^J中心的高低阈值之间。出现次数定 义了该像素点在此深度阈值范围作为背景的频率,在对背景的更新以及提取前景过程提供 了重要参考,频率越高则说明作为背景的次数越多。并且在更新中心阈值时,使用F作为均 值漂移统计量。
[0073] 码字未出现次数L,其作用在于,记录所有不属于该码字的深度值出现次数。即该 码字的陈旧性,码字的陈旧性表征了该深度值范围不作为背景的持续时间。当像素位置对 应的码组中有至少一个码字时,当更新的深度值不属于该码字,则该码字记录未出现的次 数。
[0074] 第三,模块204和304更新实时深度背景模型的方法。更新实时深度背景模型需要 使用一张去除了目标位置像素点的掩模图,即需要标记当前帧目标位置以及背景的图像。 目标像素点与非目标像素点更新的方式不同;其中,对于非目标像素点背景的码组信息更 新方式如下:
[0075] 寻找该目标像素点对应的深度值是否属于已经存在的码字高低阈值之间;
[0076] 在已存在的码字中找到深度值属于阈值范围内的码字,则按照以下的方法对该码 字进行更新:更新码字的中心阈值Tr eSh〇lcUntCT。更新公式为:
[0077]
[0078] 上式中,等式左边的Tresholdra3ntel^计算后中心阈值结果,等式右边的 Tresh0IcUntel^J更新前的中心阈值,Depth为处于该码字对应的深度值,F为码字出现的次 数F。
[0079] 更新码字的出现次数F,F值加1。更新码字的未出现次数L,深度值处于高低阈值 范围内的码字,对应码字的L赋值为0。深度值不处于高低阈值范围内的所有码字,对应的 码字的L值加1。
[0080] 在已存在的码字中未找到深度值属于阈值范围内的码字,并且码组中的码字数量 未到设定的最大值,则增加一个码字。以及完成对该码字的初始化,其中,码字的中心阈值 Treshold^w赋值为当前的深度值,码字出现的次数F赋值为1,码字未出现的次数L赋值 为〇 ;
[0081] 在已存在的码字中未找到深度值属于阈值范围内的码字,并且码组中的码字数量 达到了设定的最大值,则用当前深度值生成一个新的码字来取代原来一个陈旧的码字。
[0082] 其中,查找陈旧码字并替换为新的码字的方法如下:首先查找中心阈值与当前深 度值最接近的码字,所述最接近的码字即所包含的中心阈值与深度值差的绝对值最小,当 该绝对值小于预先设定的绝对值常数,则将中心阈值与深度值平均后的结果作为新码字中 心阈值,新码字的F值赋值为1,新码字的L值赋值为0 ;当该绝对值大于预先设定的绝对值 常数,则查找所有已存在码字中L值最大的码字,即未出现次数最大的码字作为陈旧码字, 使用当前深度值作为中心阈值,F赋值为1,L值赋值为0的新码字替换旧码字。
[0083] 同时,对于目标像素点的码组信息更新方式如下:
[0084] 分析目标像素点码组中的所有码字信息,目标像素点对应的深度值是否在码字对 应的高低阈值范围内,如果在阈值范围内,则删除该码字,对于不满足深度值在高低阈值范 围内的码字,不做任何处理。
[0085] 第四,302模块实时深度背景模型进行前景提取的方法。实时深度背景模型是通过 前几帧累积起来的码组信息的集合,通过这个模型可以对当前深度图进行背景和前景的区 分,即前景提取。使用深度图像中任意一点的像素点的深度值在其对应的码组信息中进行 搜索,与码组中所有码字的高低阈值比较;如果深度值在至少一个码字的高低阈值范围之 内,则认为该像素点为当前深度图的背景点;反之,深度值没有处在码组中任何码字的高低 阈值范围之内,则认为该像素点为当前深度图的前景点;使用同样的方法对当前深度图像 中的所有点进行搜索操作,最终可以区分出图像中的所有前景点和背景点,从而完成了图 像的前景提取操作。
[0086] 采用该实施例提供的图像的前景背景检测方法,使用深度图完成,不需要色彩图; 不受环境光的影响,处理数据量少,生成的前景图较色彩图的稳定性大幅度提高,更加稳定 并且快速的提取场景中的前景目标。
[0087] 从以上的描述中,可以看出,本发明实现了如下技术效果:在已有深度图的情况 下,完成了在场景中提取前景目标的任务,为后续的目标识别与跟踪提供了重要的参考依 据,不但降低了色彩图中受环境的影响,而且在提取场景的前景目标时,处理的数据少,使 得提取前景目标的检测效率提尚。
[0088] 特别需要说明的是,本领域的技术人员完全能够理解,上述本发明的各模块或各 步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个 计算装置所组成的网络上,优选地,它们可以用计算装置可执行的程序代码来实现,从而可 以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模 块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,在不冲突的情 况下,本发明的实施例及实施例中的特征可以相互组合,即本发明不限制于任何特定的硬 件和软件的结合。
[0089] 本发明的【具体实施方式】中凡未涉到的说明属于本领域的公知技术,可参考公知技 术加以实施。
[0090] 本发明经反复试验验证,取得了满意的试用效果。
[0091] 以上【具体实施方式】及实施例是对本发明提出的一种基于深度
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1