一种基于深度图的背景建模和前景提取的方法
【技术领域】
[0001] 本发明属于计算机图像处理技术领域，特别是涉及一种基于深度图的图像背景建 模和前景提取的方法。
【背景技术】
[0002] 目前，背景建模以及前景提取针对的图像源主要为色彩图，本身针对色彩图有一 套色彩图的背景建模及前景提取的方法，主要有高斯背景建模和码书背景建模等。现有对 色彩图进行建模存在的主要问题：一是单纯通过颜色的变化来区分背景与前景信息，不能 体现出图像中各个目标之间的方位关系；二是色彩图受光照以及外部环境的影响大，前景 提取的结果受其影响较大，稳定性差；三是色彩图单个像素点数据量大，建模过程中运算效 率较低。
[0003] Kyungnam Kim Thanarat H. Chalidabhongse David Harwood Larry Davis Real-time foreground - background segmentation using codebook model-2005 -Elsevier-文中提出的方案，虽然具有可以在彩色视频流中建立背景模型，并且可以保证 算法实时的提取前景目标的优点，但还存在明显不足，例如在色彩图中提取前景物体很容 易受到光照和纹理的影响，如在光线较暗的房间，则基于色彩图的背景建模和前景提取效 果较差。同时，使用该论文的背景建模方式需要对场景有一个初始建模过程，之后才可以进 行较为准确的前景提取，在实际用途中影响用户体验。
[0004] 中国专利申请201110132428. 8公开了 "三维场景的分析"，该方法是用两幅深度 图作为背景模型。虽然该方法可有效解决基于深度图的目标提取，但还存在以下明显不足， 一是该方法无法解决更加复杂背景模型情况，比如背景为一个有规律运动的背景，例如电 风扇的旋转，也是作为一个背景模型存在；二是没有实时的更新背景模型，基于的是一种静 态背景的假设，不能处理更加复杂背景变化的情况。
[0005] 中国专利申请201310301859. 1公开了 "一种基于轮廓差异及区块主方向直方图 的前景与特征提取方法"，该方法是用原视频与背景建模得到的背景图像两者的轮廓差异 来定位运动物体，保留运动物体轮廓，并利用去除背景的梯度信息和区块主梯度方向结合 提取基于区块主方向的梯度直方图特征，弥补其过分依赖局部细节特征的缺点。虽然该方 法可有效解决复杂背景下的目标提取问题，使得前景提取和特征进行分类准确率可达到 94. 04%，但还存在以下明显不足，一是本专利是基于一个已经建立好的背景模型，无法处 理在背景模型一开始就无法提供的情况；二是计算量较大，需要计算梯度特征并使用分类 器进行识别。
[0006] 综上所述，如何克服现有技术所存在的不足已成为当今计算机图像处理技术领域 中亟待解决的重大难题之一。
【发明内容】
[0007] 本发明的目的是为克服现有技术的不足而提供一种基于深度图的图像背景建模 和前景提取的方法，本发明具有公知的使用色彩图建模方法所无法比拟的稳定性、高效率 以及处理位置关系的优越性，且不需要对场景进行初始建模，简化了实施步骤，整体效能大 幅度提尚。
[0008] 根据本发明提出的一种基于深度图的图像背景建模和前景提取的方法，其特征在 于，包括步骤一至步骤七，根据步骤七是否已满足最终结果的要求，如果未满足，则可以该 结果为输入，继续重复步骤四至步骤七，以其不断循环的方式来达到最终结果，具体步骤如 下：
[0009] 步骤一，获取表征物体距离摄像头距离的深度图像：所述深度图像为不限定分辨 率的数字图像，其中深度图像的每个像素点的深度值都是当前场景中物体垂直于摄像头主 光轴的直线距离；
[0010] 步骤二，初始化实时深度背景模型：使用整个深度图像中所有像素点初始化以码 组为单元的实时深度背景模型，所述码组是指统计像素点的背景信息，每个像素点具有一 个码组，每个码组包含多个码字；所述码字的数量的最大值为预先设定的确定值，该码字数 量的最大值由深度图本身的成像稳定性决定，成像稳定性高，则码字数量的最大值小； [0011] 步骤三，更新实时深度背景模型：通过目标识别生成目标掩模图，并根据目标掩模 图更新实时深度背景模型中每个像素点所对应的码组信息；所述目标掩模图包括表征图像 中每个目标的所包含的像素点的目标区域，以及非目标的背景区域，目标掩模图中目标区 域作为前景像素点进行更新，目标掩模图中背景区域作为背景像素点进行更新；
[0012] 步骤四，再次获取表征物体距离摄像头距离的当前深度图像；
[0013] 步骤五，基于实时深度背景模型提取前景图像：根据当前深度图像中任意一个像 素点的深度值对其所对应码组的所有码字进行搜索与比较，从而判断该像素点为背景点或 前景点，将所述背景点赋值为背景值，所述前景点赋值为前景值，从而构成前景图像；
[0014] 步骤六，输出前景图像，生成实时目标掩膜图：根据所述前景图像进行目标识别， 识别出当前深度图像中的目标物体，并生成实时目标掩膜图；所述实时目标掩模图包括用 于表征所述当前深度图像中每个目标所包含的像素点的目标区域，和非目标所包含的像素 点的背景区域；
[0015] 步骤七，更新实时深度背景模型：根据实时目标掩模图，更新实时深度背景模型 中每个像素点的码组信息，其中所述实时目标掩膜图中的目标区域作为前景像素点进行更 新，所述实时目标掩模图中的背景区域作为背景像素点进行更新。
[0016] 本发明提出的一种基于深度图的图像背景建模和前景提取的方法的进一步优选 方案是：
[0017] 本发明步骤三所述更新实时深度背景模型中每个像素点的码组信息，是指更新码 组内已经存在的码字信息和增加删减码组内的码字数量；其中，更新背景像素点所对应的 码组信息，其方法为更新码组内已经存在的码字信息和增加码组内的码字数量；更新前景 像素点所对应的码组信息，其方法为删减码组内的码字数量；所述的增加码组内的码字数 量是指在不超过码字数量最大值的前提下增加；所述的减少码组内的码字数量是指可以最 终减少到0个码字。
[0018] 所述码字包括码字中心阈值TresholcUntCT，码字出现次数F，码字未出现次数L，所 述更新码组内已经存在的码字信息，是指更新码字中心阈值Tr eSh〇lcUntCT、码字出现次数F 和码字未出现次数L。
[0019] 所述码字中心阈值TreSh〇lcUntCT，是指用于判断对应的像素值深度值是否属于该 码字；判断依据为深度值是否处于以码字中心阈值为中心的高低阈值范围内；设中心阈值 为Treshold。^^，低阈值Treshold lciw的计算公式为：
[0020] Tresholdlow= Tresholdcenter-D
[0021] 上式中：D为当前像素点深度值对应的深度阈值，该深度阈值是根据不同深度预 先设定的数值；低阈值计算结果小于〇时，低阈值为〇 ;对应的高阈值的计算公式为：
[0022] Tresholdhigh= Treshold center+D
[0023] 上式中：当高阈值的计算结果大于可能出现的最大深度值时，则高阈值的结果为 最大的深度值。
[0024] 所述码字出现次数F，是指记录所有属于该码字的深度值的出现次数；其中，每一 个属于该码字的深度值都在以码字的Tr eSh〇lcUntCT为中心的高低阈值之间。
[0025] 所述码字未出现次数L，是指记录所有不属于该码字的深度值出现次数；当像素 位置对应的码组中有至少一个码字时，当更新的深度值不属于该码字，则该码字记录未出 现的次数。
[0026] 所述更新码组内已经存在的码字信息，包括：更新码字的中心阈值TreSh 〇lcUntCT， 更新条件为深度值处于该码字的范围内；满足条件后使用如下更新公式为：
[0027]
[0028] 上式中：等式左边的Tresholdtlf3ntel^计算后中心阈值结果，等式右边的 Tresholdra3ntel^J更新前的中心阈值，Depth为处于该码字范围内的深度值，F为码字出现的 次数F ;更新码字的出现次数F，更新条件为深度值处于该码字的范围内；满足条件后F值 加1 ;更新码字的未出现次数L，深度值处于该码字的范围内，对应码字的L赋值为0 ;深度 值不处于该码字的范围内，对应的所有码字的L值加1。
[0029] 本发明步骤五所述根据当前深度图像中任意一个像素点的深度值对其所对应码 组的所有码字进行搜索与比较，是指比较当前深度图像中像素点的深度值和像素点对应的 码组中所有码字内的高低阈值，如果深度值在至少一个码字的高低阈值范围之内，则认为 该像素点为当前深度图的背景点，如果深度值没有处在码组中任何码字的高低阈值范围之 内，则认为该像素点为当前深度图的前景点。
[0030] 本发明