专利名称：前景图像提取方法及装置的制作方法
技术领域：
本发明涉及视觉技术领域，尤其涉及前景图像提取技术。
背景技术：
前景图像提取技术如从视频流中提取人像技术在智能监控、视频压缩、自动导航、 人机交互以及虚拟合成等计算机视觉领域中有着广泛的应用。在现有的前景图像提取技术中，通常会采用帧间差分法和/或背景差分法来获取 前景区域，从而获得前景图像。然而，利用现有的帧间差分法和/或背景差分法存在运算量 大、有空洞、以及提取出的前景图像轮廓不准确等问题。现有的前景图像提取技术有待于进
一步的完善。
发明内容
本发明实施例提供一种前景图像提取方法及装置，可快速准确的提取出第i帧中 的前景图像。本发明实施例提供的前景图像提取方法，包括获取第i帧与第i-Ι帧中位置相同的像素点之间的距离，获取所述距离大于预定 值的像素点集合Z ；获取所述像素点集合Z中与所述第i-Ι帧中的前景区域的像素点位置相同的像素 点集合U ；将所述像素点集合U进行背景差分处理，获得像素点集合E ；根据所述像素点集合E、像素点集合T以及像素点集合W的并集确定所述第i帧的 前景区域，所述像素点集合W为所述像素点集合Z中与所述第i-Ι帧中的前景区域的像素 点位置不相同的像素点集合，所述像素点集合T为所述第i-Ι帧的前景区域中与所述像素 点集合U中的像素点位置不相同的像素点集合。本发明实施例提供的前景图像提取装置，包括距离模块，用于获取第i帧与第i-i帧中位置相同的像素点之间的距离；第一集合模块，用于获取第i帧中距离大于预定值的像素点集合Z ；第二集合模块，用于获取所述像素点集合Z中与所述第i-Ι帧中的前景区域的像 素点位置相同的像素点集合U ；背景差分模块，用于将所述像素点集合U进行背景差分处理，获得像素点集合E ；前景区域模块，用于根据所述像素点集合E、像素点集合T以及像素点集合W的并 集确定所述第i帧的前景区域，所述像素点集合W为所述像素点集合Z中与所述第i-Ι帧 中的前景区域的像素点位置不相同的像素点集合，所述像素点集合T为所述第i-Ι帧的前 景区域中与所述像素点集合U中的像素点位置不相同的像素点集合。由上述本发明实施例提供的技术方案可以看出，通过利用像素点集合U进行背景 差分处理，减小了背景差分处理的计算量；通过利用像素点集合E、像素点集合T以及像素点集合W确定前景区域，能够较为准确的确定出第i帧中的前景区域；从而本实施例能够快 速准确的提取出第i帧中的前景图像。
图1为本发明实施例一的前景图像提取方法流程图；图2为本发明实施例二的从视频流中提取人像的流程示意图；图2. 1为本发明实施例二的相邻两帧图像示意图；图2. 2为本发明实施例二的邻域扫描顺序示意图；图2. 3为本发明实施例二的采用连通区域处理前后的二值化蒙板示意图；图2. 4为本发明实施例二的采用连通区域处理前的前景图像提取结果；图2. 5为本发明实施例二的采用连通区域处理后的前景图像提取结果；图3. 1为本发明实施例三的6帧背景图像示意图；图3. 2为本发明实施例三的前景进入背景图像示意图；图3. 3为本发明实施例三的未进行去光线变化和阴影处理的人像示意图；图3. 4为本发明实施例三最终获得的人像示意图；图4为本发明实施例四的前景图像提取装置示意图；图5为本发明实施例四的另一种前景图像提取装置示意图。
具体实施例方式实施例一、前景提取方法。该方法的流程如附图1所示。S100、获取第i帧与第i-Ι帧中位置相同的像素点之间的距离。SlOO中的位置可以是像素点在帧中的坐标位置。SlOO中的像素点之间的距离可 以是基于RGB空间的像素点之间的距离，也可以是基于YUV空间的像素点之间的距离。由 于摄像机等设备摄取并存储的图像帧往往是RGB空间的图像帧，因此，在像素点之间的距 离为基于YUV空间的像素点之间的距离的情况下，可以先将基于RGB空间的第i-Ι帧转换 为基于YUV空间的第i-Ι帧、以及将基于RGB空间的第i帧转换为基于YUV空间的第i中贞， 然后，再获取基于YUV空间的第i帧与基于YUV空间的第i-Ι帧中位置相同的像素点之间 的距离，从而可以使第i帧中的每一个像素点都对应有距离值，其中，i为自然数。需要说明的是，无论是基于RGB空间的像素点，还是基于YUV空间的像素点，SlOO 中的距离可以通过多种形式的距离来表示，例如，欧氏距离或者曼哈顿距离等。本实施例可 以采用现有的多种距离计算方式来获取基于RGB空间或基于YUV空间的第i帧与第i-Ι帧 中位置相同的像素点之间的距离，本实施例不限制获取第i帧与第i_l帧中位置相同的像 素点之间的距离的具体实施方式
。S110、获取距离大于预定值的像素点集合Z。也就是说，通过SlOO可以为第i帧和 第i-Ι帧中位置相同的每个像素点均计算出距离值，即第i帧的每个像素点均对应有距离 值，SllO可以针对每个像素点对应的距离值进行判断，如果像素点对应的距离值大于预定 值，则该像素点属于像素点集合Z，否则，该像素点不属于像素点集合Z。这里的预定值可以 根据实际情况进行调整，例如，在图像帧的噪声比较大的情况下，可以减少预定值，再例如， 在空洞多的情况下，可以增加预定值。
像素点集合Z可以以二值化蒙板的形式表示，二值化蒙板所包含的像素点数量与 第i帧包含的像素点数量相同，二值化蒙板中的像素点取值不是为1，就是为0。在表示像 素点集合Z的二值化蒙板中，属于像素点集合Z的像素点的取值被设置为1，不属于像素点 集合Z的像素点的取值被设置为0，从而通过该二值化蒙板中的像素点取值表示出了像素 点集合Z。当然，像素点集合Z也可以通过其它方式表示，例如，存储属于像素点集合Z的各 像素点的位置信息等。这里的位置信息可以上像素点在第i帧中的坐标位置信息等。本实 施例不限制像素点集合Z的具体表示方式。S120、获取像素点集合Z中与第i-Ι帧的前景区域的像素点位置相同的像素点集 合U。即获取像素点集合Z与第i-Ι帧中的前景区域的交集，该交集即为像素点集合U。S120 的中的位置可以是像素点在帧中的坐标位置。如果像素点集合Z以二值化蒙板的方式表示(如在二值化蒙板中，属于像素点集 合Z的像素点的取值设置为1，不属于像素点集合Z的像素点的取值设置为0)，而第i-Ι帧 中的前景区域也以二值化蒙板的方式表示(如属于第i_l帧中的前景区域的像素点的取值 设置为1，不属于第i_l帧中的前景区域的像素点的取值设置为0)，则获取像素点集合U的 具体过程可以包括将表示像素点集合Z的二值化蒙板和表示第i-Ι帧的前景区域的二值 化蒙板中位置相同的像素点的取值分别进行与运算，通过与运算获得的表示像素点集合U 的二值化蒙板为在像素点集合Z与第i-Ι帧中的前景区域的交集部分的像素点取值为1， 其它部分的像素点取值均为0。如果像素点集合Z和第i-Ι帧中的前景区域不以二值化蒙板的方式表示，而是以 像素点在帧中的位置信息的方式表示，则根据位置信息的比较可以确定出像素点集合Z和 第i-ι帧的前景区域中的像素点位置信息相同的像素点，并存储位置信息相同的像素点的 位置信息，本次存储的位置信息所表示出的像素点即为像素点集合U。在本实施例中，第i-Ι帧中的前景区域是已知的。对于需要提取前景图像的视频 流来说，设定该视频流包括第O帧至第N帧图像且第0帧为背景图像帧，则可以将第0帧的 前景区域初始化为空，从而针对第1帧来说，第0帧的前景区域是已知的；则在利用本实施 例获得了第1帧的前景区域之后，针对第2帧来说，第1帧的前景区域是已知的；由此可知， 本实施例中第i_l帧的前景区域已知是完全可以实现的，而且利用本实施例可以从视频流 的连续多个帧中获取到多个前景图像。需要说明的是，如果视频流中第0帧至第N帧都是 背景图像帧，则利用本实施例从第1帧至第N帧中获得的前景区域应该都为空。S130、将像素点集合U进行背景差分处理，获得像素点集合E。在S130中，进行背景差分处理的区域并不是所有距离大于预定值的像素点的集 合，而是距离大于预定值的像素点集合中的部分区域(即像素点集合U对应的区域)，从而 减小了背景差分处理的计算量，简化了背景差分处理过程。本实施例可以采用现有的背景 差分处理操作实现对像素点集合U的背景差分处理过程，例如，采用现有的基于背景图像 模型的背景差分处理操作对像素点集合U进行背景差分处理。这里的背景图像模型可以是 利用现有的背景图像模型建立操作获得的背景图像模型，也可以是采用本实施例的基于训 练的方式获得的背景图像模型。基于训练的方式获得背景图像模型的具体过程可以包括 建立背景图像模型过程和训练背景图像模型过程。上述建立背景图像模型过程包括获取连续N帧背景图像，利用连续N帧背景图像
8中的部分帧(如前半部分帧，后续称为用于建立背景图像模型的帧，其中N为自然数)建立 背景图像模型，该背景图像模型为基于高斯分布的背景图像模型，即通过统计连续N帧背 景图像中的部分帧的噪声分布获得背景图像模型。本实施例可以采用现有的方式利用连续 N帧背景图像中的部分帧建立背景图像模型，如利用前半部分帧通过计算像素点的噪声均 值和方差等方式建立背景图像模型，当然，也可以采用均值和方差类型之外的其它类型值 来建立背景图像模型，本实施例不限制利用部分帧建立背景图像模型的具体实现方式。上述训练背景图像模型过程包括利用上述连续N帧背景图像中的另一部分帧 (如后半部分帧，后续称为用于训练背景图像模型的帧)对上述建立的背景图像模型进行 训练，训练后的背景图像模型为S130中进行背景差分处理过程中使用的背景图像模型。训 练背景图像模型的一个具体例子为针对建立的背景图像模型中的任意一个像素点X，利 用用于训练背景图像模型的各帧中与像素点χ位置相同的各像素点分别计算门限值，即针 对像素点X，用于训练背景图像模型的每一帧均对应有一个门限值，从所有门限值中为像素 点χ选择最大门限值；利用该方法可以使上述建立的背景图像模型中的每个像素点均对应 有最大门限值，利用所有最大门限值建立门限值矩阵，该门限值矩阵即为训练后的背景图 像模型。在本实施例中，如果建立的背景图像模型是以噪声均值和方差为基础建立的，则 在背景图像模型的训练过程中，门限值也是针对噪声均值和方差计算出来的。当然，如果上 述建立的背景图像模型是以除均值或方差类型之外的其它类型值建立的，则在背景图像模 型的训练过程中，门限值也是针对其它类型值计算出来的。本实施例中用于建立背景图像模型的帧的数量可以是N/2，也可以是N/2至2N/3 中的任意一数值，相应的，用于训练背景图像模型的帧的数量可以是N/2，也可以是N/2至 N/3中的任意一数值。当然，上述用于建立背景图像模型的帧的数量和用于训练背景图像模 型的帧的数量也可以采用其它比例，一种推荐的方式是，用于建立背景图像模型的帧的数 量通常不能过少，如不少于100帧等，用于训练背景图像模型的帧的数量不能过少，如不少 于N/3等。另外，用于建立背景图像模型的帧的数量与用于训练背景图像模型的帧的数量 之和应该为视频流中背景图像帧的总数量N。针对S130需要说明的是，本实施例不限制背景差分处理的具体实现过程，而且， 获取用于背景差分处理的背景图像模型的过程可以在上述S130或者S120或者SllO或者 SlOO之前执行。还有，在获取用于背景差分处理的背景图像模型过程中，可以采用基于RGB 空间的帧，也可以采用基于YUV空间的帧。S140、根据像素点集合E、像素点集合T以及像素点集合W的并集确定第i帧的前 景区域，即第i帧的前景区域为像素点集合E、像素点集合T以及像素点集合W的并集。这 里的像素点集合W为像素点集合Z中与第i-Ι帧中的前景区域的像素点位置不相同的像素 点集合，这里的像素点集合T为第i-Ι帧的前景区域中与像素点集合U中的像素点位置不 相同的像素点集合。像素点集合W和像素点集合T可以在需要使用时获取，即在S140中计算出像素点 集合W和像素点集合T ；当然，也可以在S140之前获取，例如，在背景差分处理之前就获取 像素点集合W和像素点集合T。如果像素点集合E是以二值化蒙板的形式表示，则像素点集合T以及像素点集合W也可以以二值化蒙板的形式表示。获取像素点集合T以及像素点集合W的二值化蒙板的 具体过程在此不再详细说明。在像素点集合E、像素点集合T以及像素点集合W均以二值 化蒙板的形式表示的情况下，获取上述并集的过程可以包括将像素点集合E、像素点集合 T以及像素点集合W的二值化蒙板进行或运算，或运算后获得的二值化蒙板即可表示出第 i帧的前景区域，可以将或运算后获得的二值化蒙板称为第i帧的前景区域的二值化蒙板， 或者称为第i帧的二值化蒙板。如果像素点集合E是以存储集合中各像素点的位置信息的形式表示，则像素点集 合T以及像素点集合W也可以以存储集合中各像素点的位置信息的形式表示，获取上述并 集的过程可以包括合并像素点集合E、像素点集合T以及像素点集合W中各像素点的位置 信息。具体实现过程在此不再详细说明。确定出了第i帧的前景区域也就确定出了第i帧的前景图像，如果确定出的第i 帧的前景区域为二值化蒙板的形式，则可以从第i帧中获取该二值化蒙板中取值为1的像 素点的RGB，从而获得第i帧的前景图像。如果确定出的第i帧的前景区域并不是二值化蒙 板的形式，而是存储的位置信息的形式，则可以从第i帧中获取各位置信息对应的像素点 的RGB，从而获得第i帧的前景图像。为保证提取出的前景区域的准确性，本实施例还可以可选的对上述S140获取到 的前景区域进行进一步的处理，该进一步的处理可以为下述例举的三种处理中的任意一种 或任意多种处理1、获取第i帧的前景区域与背景图像模型中位置相同的像素点的R值相似 度、G值相似度和B值相似度，如果位置相同的像素点的R值相似度、G值相似度和B值相似 度符合预定相似度要求，则表明该位置的像素点的R值相似度、G值相似度和B值相似度相 同或者相似，从而可以确定该像素点可能是由于为阴影或光线变化等原因而造成的噪声， 该像素点不应该属于前景区域，因此，应该从第i帧的前景区域中去除R值相似度、G值相 似度和B值相似度符合预定相似度要求的像素点，去除的像素点属于第i帧的背景区域。如果第i帧的前景区域以二值化蒙板的形式表示，则从第i帧的前景区域中去除R 值相似度、G值相似度和B值相似度符合预定相似度要求的像素点即为修改R值相似度、G 值相似度和B值相似度符合预定相似度要求的像素点的取值，如将该像素点的取值由1修 改为0。如果第i帧的前景区域以存储位置信息的形式表示，则从第i帧的前景区域中去 除R值相似度、G值相似度和B值相似度符合预定相似度要求的像素点即为从存储的位置 信息中删除R值相似度、G值相似度和B值相似度符合预定相似度要求的像素点的位置信 肩、ο上述R值相似度、G值相似度和B值相似度可以通过比值或者差值等方式获得，例 如，第i帧的前景区域中的像素点X的R值与背景图像模型中的像素点X的R值的比值即 为第i帧的前景区域与背景图像模型中的像素点χ的R值相似度；第i帧的前景区域中的 像素点χ的G值与背景图像模型中的像素点χ的G值的比值即为第i帧的前景区域与背景 图像模型中的像素点χ的G值相似度；第i帧的前景区域中的像素点χ的B值与背景图像 模型中的像素点χ的B值的比值即为第i帧的前景区域与背景图像模型中的像素点χ的B 值相似度。再例如，第i帧的前景区域中的像素点χ的R值与背景图像模型中的像素点χ的R值的差值即为第i帧的前景区域与背景图像模型中的像素点X的R值相似度；第i帧 的前景区域中的像素点X的G值与背景图像模型中的像素点χ的G值的差值即为第i帧的 前景区域与背景图像模型中的像素点χ的G值相似度；第i帧的前景区域中的像素点χ的 B值与背景图像模型中的像素点χ的B值的差值即为第i帧的前景区域与背景图像模型中 的像素点χ的B值相似度。本实施例不限制获取第i帧的前景区域与用于背景差分处理的 背景图像模型(如训练后的背景图像模型等)中位置相同的像素点的R值相似度、G值相 似度和B值相似度的具体实现过程。处理2、针对第i帧的前景区域中的各像素点分别进行相邻像素点是否为前景像 素点的判断，如果第i帧的前景区域的像素点Χ的各相邻像素点中为前景像素点的数量没 有超过像素点χ的相邻像素点数量的一半，则从第i帧的前景区域中去除该像素点X，该去 除的像素点χ属于第i帧的背景区域。上述前景像素点即属于第i帧的前景区域的像素点。上述像素点χ的相邻像素点可以是像素点χ的八邻域像素点，这里的八邻域像素 点可以包括与像素点X邻接的左上像素点、上像素点、右上像素点、左像素点、右像素点、 左下像素点、下像素点和右下像素点。当然，像素点X的相邻像素点也可以是上述八邻域像 素点中的部分像素点，如与像素点X邻接的上像素点、左像素点、右像素点和下像素点。在 像素点X的相邻像素点为像素点X的八邻域像素点的情况下，如果像素点X的八邻域像素 点中为前景像素点的数量小于4，则应将第i帧前景区域中的像素点χ修正为第i帧的背景 区域中的像素点，否则，确定像素点χ是第i帧前景区域中的像素点。在上述处理2过程中，对第i帧的前景区域的各像素点进行相邻像素点判断的顺 序可以为从左到右和从上到下，例如，先对第i帧的前景区域中的最上边一行的最左边的 像素点进行相邻像素点判断，然后再对最上边一行的次最左边的像素点进行相邻像素点判 断，直到对第i帧的前景区域中的最上边一行的像素点的相邻像素点均判断完成，之后，再 对前景区域中次最上边一行的最左边的像素点的相邻像素点进行判断，依此类推，直到对 第i帧的前景区域中的最下边一行的最右边的像素点的相邻像素点判断完成。上述处理2可以通过对第i帧的前景区域对应的二值化蒙板进行空间域低通滤波 来实现。空间域低通滤波的一个具体例子的实现过程如下述实施例中的描述，在此不再详 细说明。处理3、对第i帧的前景区域进行连通区域处理，或者对第i帧的背景区域进行连 通区域处理量，或者对第i帧的前景区域和背景区域均进行连通区域处理。第i帧的背景 区域即第i帧中去除前景区域之外的区域。对第i帧的前景区域进行连通区域处理可以获得多个连通区域，这多个连通区域 均可以称为前景连通区域，确定各前景连通区域中不符合前景区域要求的前景连通区域， 从第i帧的前景区域中去除不符合前景区域要求的前景连通区域中的像素点，从第i帧的 前景区域中去除的像素点属于第i帧的背景区域。不符合前景区域要求的前景连通区域可 以为如果前景连通区域的面积小于第一面积门限且与该前景连通区域左相邻或上相邻的 连通区域不是前景连通区域，则该前景连通区域不符合前景区域要求。利用对第i帧的前 景区域进行连通区域处理可以对第i帧的前景区域中实际应属于第i帧的背景区域的像素 点进行修正。上述第一面积门限用于初步选取可能是噪声的前景连通区域，也就是说，通常 情况下，实际为噪声的前景连通区域的面积会比较小，通过第一面积门限可以确定出疑似噪声的前景连接区域，对疑似噪声的前景连通区域再进行左相邻或上相邻的连通区域是否 为前景连通区域的判断，可以确定出是疑似噪声的前景连通区域是否确实为噪声。对第i帧的背景区域进行连通区域处理可以获得多个连通区域，这多个连通区域 均可以称为背景连通区域，确定各背景连通区域中不符合背景区域要求的背景连通区域， 从第i帧的背景区域中去除不符合背景区域要求的背景连通区域中的像素点，从第i帧的 背景区域中去除的像素点属于第i帧的前景区域。不符合背景区域要求的背景连通区域可 以为如果背景连通区域的面积小于第二面积门限且与该背景连通区域左相邻或上相邻的 连通区域不是背景连通区域，则该背景连通区域不符合背景区域要求。利用对第i帧的背 景区域进行的连通区域处理可以对第i帧的背景区域中实际应属于第i帧的前景区域的像 素点进行修正。上述第二面积门限用于初步选取可能是空洞的前景连通区域，也就是说，通 常情况下，实际为空洞的背景连通区域的面积会比较小，通过第二面积门限可以确定出疑 似空洞的背景连接区域，对疑似空洞的背景连通区域再进行左相邻或上相邻的连通区域是 否为背景连通区域的判断，可以确定出是疑似空洞的背景连通区域是否确实为空洞。在第i帧的前景区域和背景区域以二值化蒙板的形式表示且前景区域中的像素 点取值设置为1、以及背景区域中的像素点取值设置为0的情况下，从第i帧的前景区域中 去除不符合前景区域要求的前景连通区域中的像素点的一个具体例子为将第i帧的二值 化蒙板中不符合前景区域要求的前景连通区域中的像素点的取值由1修改为0 ；从第i帧 的背景区域中去除不符合背景区域要求的背景连通区域中的像素点的一个具体例子为将 第i帧的二值化蒙板中不符合背景区域要求的背景连通区域中的像素点的取值由0修改为 1。在第i帧的前景区域以像素点在帧中的位置信息表示的情况下，从第i帧的前景 区域中去除不符合前景区域要求的前景连通区域中的像素点，即从第i帧的前景区域的像 素点位置信息集合中去除不符合前景区域要求的前景连通区域中的各像素点的位置信息， 如果存储有第i帧的背景区域的像素点位置信息集合，则在该集合中增加不符合前景区域 要求的前景连通区域中的各像素点的位置信息，如果没有存储第i帧的背景区域的像素点 位置信息集合，则不执行该增加操作。另外，如果存储有第i帧的背景区域的像素点位置信 息集合，从第i帧的背景区域中去除不符合背景区域要求的背景连通区域中的像素点即 从第i帧的背景区域的像素点位置信息集合中去除不符合背景区域要求的背景连通区域 中的各像素点的位置信息，且在第i帧的前景区域的像素点位置信息集合中增加不符合背 景区域要求的背景连通区域中的各像素点的位置信息；如果没有存储第i帧的背景区域的 像素点位置信息集合，从第i帧的背景区域中去除不符合背景区域要求的背景连通区域中 的像素点即直接在第i帧的前景区域的像素点位置信息集合中增加不符合背景区域要求 的背景连通区域中的各像素点的位置信息。目前有多种连通区域算法，本实施例可以采用现有的多种连通区域处理方式获得 多个前景连通区域和背景连通区域，也可以采用下述基于树的连通区域处理方式获得多个 前景连通区域和背景连通区域。基于树的连通区域处理方式具体为针对第i帧的前景区域和背景区域即针对整 个第i帧而言，第i帧中的各像素点均设置有基于树的数据结构，该基于树的数据结构包 括父节点坐标、颜色值以及面积。将第i帧中的各像素点的数据结构初始化为父节点坐标为本像素点坐标，颜色值为本像素点颜色值，面积为预定初始值如1。之后，按照从左至右 和从上至下的顺序对像素点X进行如下处理获取左邻域的数据结构，如果像素点χ的左邻域与像素点X的颜色值相同，则将像 素点X的父节点坐标设置为左邻域的父节点坐标，将像素点X的面积设置为预定终结值如 0，将左邻域的面积增加预定初始值如增加1 ；获取右上邻域的数据结构，如果像素点χ的右 上邻域与像素点χ的颜色值相同时，将上述右上邻域的父节点坐标设置为上述左邻域的父 节点坐标，将上述右上邻域的面积设置为预定终结值如0，将上述左邻域的面积增加预定初 始值如增加1 ；针对像素点χ不再进行其它邻域的扫描处理。如果像素点χ的左邻域与像素点X的颜色值不同，则获取左上邻域的数据结构，如 果像素点X的左上邻域与像素点X的颜色值相同，则将像素点X的父节点坐标设置为左上 邻域的父节点坐标，将像素点X的面积设置为预定终结值如0，将左上邻域的面积增加预定 初始值如增加1，获取右上邻域的数据结构，如果像素点X的右上邻域与像素点X的颜色值 相同时，将上述右上邻域的父节点坐标设置为上述左上邻域的父节点坐标，将上述右上邻 域的面积设置为预定终结值如0，将上述左上邻域的面积增加预定初始值如增加1 ；针对像 素点χ不再进行其它邻域的扫描处理。如果像素点χ的左邻域和左上邻域与像素点X的颜色值都不同，则获取上邻域的 数据结构，如果像素点X的上邻域与像素点X的颜色值相同，则将像素点X的父节点坐标设 置为上邻域的父节点坐标，将像素点X的面积设置为预定终结值如0，将上邻域的面积增加 预定初始值如增加1 ；针对像素点χ不再进行其它邻域的扫描处理。如果像素点χ的左邻域、左上邻域和上邻域与像素点X的颜色值都不同，则获取右 上邻域的数据结构，如果像素点X的右上邻域与像素点X的颜色值相同，则将像素点X的父 节点坐标设置为右上邻域的父节点坐标，将像素点X的面积设置为预定终结值如0，将右上 邻域的面积增加预定初始值如增加1 ；针对像素点X不再进行其它邻域的扫描处理。上述多连通处理也可以表述为对像素点χ的四个邻域按照左邻域、左上邻域、上 邻域和右上邻域的顺序进行判断，如果判断出一个邻域与像素点X的颜色值相同，则将像 素点X加入该邻域，即将像素点X的父节点坐标修改为该邻域的父节点坐标，并增加该邻域 的面积；像素点X只能加入一个邻域。如果与像素点X的颜色值相同的邻域为左邻域或者 左上邻域，则判断像素点X的右上邻域，如果右上邻域的颜色值和像素点X颜色值相同，则 将右上邻域也加入像素点X加入的邻域。在针对第i帧中的每个像素点均进行了上述处理操作后，可以获得多个父节点， 一个父节点代表一个连通区域，即获得包括前景连通区域和背景连通区域在内的多个连通 区域。在获得多个前景连通区域和背景连通区域后，分别判断各前景连通区域和各背景 连通区域的面积(即父节点的面积)，如果前景连通区域的面积小于第一面积门限，且与该 前景连通区域相邻的左连通区域、左上连通区域或上连通区域为背景连通区域，则确定该 前景连通区域为噪声，该前景连通区域中的像素点应属于背景区域，可以修正第i帧的二 值化蒙板中的该前景连通区域中的像素点取值。如果背景连通区域的面积小于第二面积门 限，且与该背景连通区域相邻的左连通区域、左上连通区域或上连通区域为前景连通区域， 则确定该背景连通区域为空洞，该背景连通区域中的像素点应属于前景区域，可以修正第i帧的二值化蒙板中的该背景连通区域中的像素点取值。上述第一面积门限和第二面积门限可以根据实际情况进行调整，例如，在空洞比 较多的情况下，可以增加第二面积门限，再例如，在噪声多的情况下，可以增加第一面积门 限。上述例举的基于树的连通区域处理方式是针对第i帧中的前景区域和背景区域 的，如果只对第i帧中的前景区域进行基于树的连通区域处理或者只对第i帧中的背景区 域进行基于树的连通区域处理，其处理过程与上述例举说明基本相同，在此不再详细说明。需要说明的是，在本实施例同时包括处理1、处理2和处理3中的三者或者任意两 者的情况下，本实施例可以不对处理1、处理2和处理3之间的执行先后顺序进行限定，优选 的，在本实施例同时包括处理2和处理3的情况下，处理2可以在处理3之前执行。从上述实施例一的描述可知，通过利用像素点集合U进行背景差分处理，减小了 进行背景差分处理的区域，进而减小了背景差分处理的计算量；通过对建立的背景图像模 型进行训练，使背景差分处理所采用的背景图像模型更加准确，从而提高了背景差分处理 的性能；通过利用像素点集合E、像素点集合T以及像素点集合W确定第i帧的前景区域，能 够快速且较为准确的确定出第i帧中的前景区域；通过采用上述处理1对第i帧的前景区 域进行修正，能够有效去除前景区域中由于阴影或光线变化等原因而产生的噪声区域；通 过采用上述处理2可以实现对第i帧的前景区域的平滑处理，从而能够有效去除前景区域 中的毛刺噪声；通过采用上述处理3能够填补第i帧的前景区域中的空洞并去除噪声；通 过采用基于树的连通区域处理方式，有效提高了连通区域处理的效率；综上所述，利用实施 例一能够快速准确的提取出第i帧中的前景图像。实施例二、前景图像提取方法。下面结合附图2、附图2.1、2.2、2.3、2.4和2.5，以 从视频流中提取人像为例，对实施例二进行说明。附图2示出了从视频流中提取人像的流程。在图2中，Si、对视频流中的原始图像帧进行预处理，以实现原始图像帧的色彩空 间变换。由于摄像设备的镜头等因素的影响，摄像设备获取的视频图像中可能存在几何畸 变，从而摄像设备获取的原始图像帧可能存在噪声(即噪点)。另外，由于周围环境等因素 的制约，摄像设备获取的原始图像帧中可能会存在偏色、以及对比度低等缺陷。为去除噪点 并消除偏色以及对比度低等缺陷，本实施例可以先对视频流中的各原始图像帧进行色彩空 间变换的预处理，以提高视频流的图像质量。这里的色彩空间变换的预处理可以包括将视 频流中基于RGB空间的原始图像帧变换为基于YUV空间的图像帧。其中，R表示红色，G表 示绿色，B表示蓝色，Y表示亮度，U表示偏向蓝色的颜色偏差，V表示偏向红色的颜色偏差。将视频流中基于RGB空间的原始图像帧变换为基于YUV空间的图像帧的一个具体 例子为通过下述公式(1)将视频流中基于RGB空间的各原始图像帧均变换为基于YUV空 间的图像帧。
权利要求
1.一种前景图像提取方法，其特征在于，包括获取第i帧与第i-ι帧中位置相同的像素点之间的距离，获取所述距离大于预定值的 像素点集合Z ；获取所述像素点集合Z中与所述第i-ι帧中的前景区域的像素点位置相同的像素点集 合U;将所述像素点集合U进行背景差分处理，获得像素点集合E ；根据所述像素点集合E、像素点集合T以及像素点集合W的并集确定所述第i帧的前景 区域，所述像素点集合W为所述像素点集合Z中与所述第i_l帧中的前景区域的像素点位 置不相同的像素点集合，所述像素点集合T为所述第i-Ι帧的前景区域中与所述像素点集 合U中的像素点位置不相同的像素点集合。
2.如权利要求1所述的方法，其特征在于，所述方法还包括将基于RGB空间的第i帧和基于RGB空间的第i-Ι帧转换为基于YUV空间的第i帧和 基于YUV空间的第i-Ι帧；所述获取第i帧与第i_l帧中位置相同的像素点之间的距离包括获取基于YUV空间 的第i帧与基于YUV空间的第i-Ι帧中位置相同的像素点之间的距离。
3.如权利要求1所述的方法，其特征在于，所述背景差分处理为基于背景图像模型的 背景差分处理，且所述背景图像模型的建立过程包括利用连续N帧背景图像中的部分帧建立基于高斯分布的背景图像模型； 利用所述连续N帧背景图像中的另一部分帧对所述基于高斯分布的背景图像模型进 行训练，所述训练后的背景图像模型用于所述背景差分处理。
4.如权利要求1所述的方法，其特征在于，所述方法还包括获取所述第i帧的前景区域与所述背景图像模型中位置相同的像素点的R值相似度、 G值相似度和B值相似度；从所述第i帧的前景区域中去除所述R值相似度、G值相似度和B值相似度符合预定 相似度要求的像素点，所述去除的像素点属于第i帧的背景区域。
5.如权利要求1所述的方法，其特征在于，所述方法还包括针对所述第i帧的前景区域中的各像素点分别进行相邻像素点是否为前景像素点的 判断；如果所述第i帧的前景区域的像素点χ的各相邻像素点中为前景像素点的数量没有达 到所述像素点χ的相邻像素点数量的一半，则从所述第i帧的前景区域中去除所述像素点 X，所述去除的像素点X属于所述第i帧的背景区域。
6.如权利要求1所述的方法，其特征在于，所述方法还包括对所述第i帧的前景区域进行连通区域处理，获得各前景连通区域； 从前景区域中去除不符合前景区域要求的前景连通区域； 或者所述方法还包括对所述第i帧的背景区域进行连通区域处理，获得各背景连通区域； 从背景区域中去除不符合背景区域要求的背景连通区域； 或者所述方法还包括对所述第i帧的前景区域和背景区域进行连通区域处理，获得各前景连通区域和各背景连通区域；从前景区域中去除不符合前景区域要求的前景连通区域，从背景区域中去除不符合背 景区域要求的背景连通区域。
7.如权利要求6所述的方法，其特征在于，对所述前景区域和背景区域进行连通区域 处理包括所述前景区域和背景区域中的各像素点设置有基于树的数据结构，所述数据结构包 括父节点坐标、颜色值以及面积；将所述前景区域和背景区域中的各像素点的数据结构初始化为父节点坐标为本像素 点坐标，颜色值为本像素点颜色值，面积为预定初始值；按照从左至右和从上至下的顺序依次对第i帧的像素点χ进行如下处理 如果像素点X的左邻域、左上邻域、上邻域和右上邻域中有一个邻域与像素点X的颜色 值相同，则将像素点X的父节点坐标修改为颜色值相同的邻域的父节点坐标，将像素点X的 面积设置为预定终结值，将颜色值相同的邻域的面积增加预定初始值；如果所述左邻域或左上邻域与像素点X的颜色值相同，且所述右上邻域的颜色值与像 素点X的颜色值相同，将右上邻域的父节点坐标修改为所述左邻域或左上邻域的父节点坐 标，将右上邻域的面积设置为预定终结值，将所述左邻域或左上邻域的面积增加预定初始 值。
8.如权利要求7所述的方法，其特征在于，所述从前景区域中去除不符合前景区域要 求的前景连通区域包括如果前景连通区域的面积小于第一面积门限且与该前景连通区域左相邻或上相邻的 连通区域不是前景连通区域，则该前景连通区域不符合前景区域要求，从前景区域中去除 该前景连通区域；所述从背景区域中去除不符合背景区域要求的背景连通区域包括 如果背景连通区域的面积小于第二面积门限且与该背景连通区域左相邻或上相邻的 连通区域不是背景连通区域，则该背景连通区域不符合背景区域要求，从背景区域中去除 该背景连通区域。
9.一种前景图像提取装置，其特征在于，包括距离模块，用于获取第i帧与第i_l帧中位置相同的像素点之间的距离； 第一集合模块，用于获取第i帧中距离大于预定值的像素点集合Z ； 第二集合模块，用于获取所述像素点集合Z中与所述第i-Ι帧中的前景区域的像素点 位置相同的像素点集合U;背景差分模块，用于将所述像素点集合U进行背景差分处理，获得像素点集合E ； 前景区域模块，用于根据所述像素点集合E、像素点集合T以及像素点集合W的并集确 定所述第i帧的前景区域，所述像素点集合W为所述像素点集合Z中与所述第i-Ι帧中的 前景区域的像素点位置不相同的像素点集合，所述像素点集合T为所述第i-Ι帧的前景区 域中与所述像素点集合U中的像素点位置不相同的像素点集合。
10.如权利要求9所述的装置，其特征在于，所述装置还包括空间转换模块，用于将基于RGB空间的第i帧和基于RGB空间的第i-Ι帧转换为基于 YUV空间的第i帧和基于YUV空间的第i-Ι帧；且所述距离模块具体用于获取基于YUV空间的第i帧与基于YUV空间的第i-1帧中位 置相同的像素点之间的距离。
11.如权利要求9所述的装置，其特征在于，所述背景差分模块包括设置模型子模块，用于利用连续N帧背景图像中的部分帧建立基于高斯分布的背景图 像模型，并利用所述连续N帧背景图像中的另一部分帧对所述建立的背景图像模型进行训 练；背景差分子模块，用于利用所述训练后的背景图像模型对所述像素点集合U进行背景 差分处理，获得像素点集合E。
12.如权利要求9所述的装置，其特征在于，所述装置还包括阴影和光线变化检测模块，用于获取所述第i帧的前景区域与所述背景图像模型中位 置相同的像素点的R值相似度、G值相似度和B值相似度，并从所述第i帧的前景区域中去 除所述R值相似度、G值相似度和B值相似度符合预定相似度要求的像素点，所述去除的像 素点属于所述第i帧的背景区域。
13.如权利要求9所述的装置，其特征在于，所述装置还包括平滑处理模块，用于针对所述第i帧的前景区域中的各像素点分别进行相邻像素点是 否为前景像素点的判断，如果所述第i帧的前景区域的像素点χ的各相邻像素点中为前景 像素点的数量没有达到所述像素点χ的相邻像素点数量的一半，则从所述第i帧的前景区 域中去除所述像素点X，所述去除的像素点X属于所述第i帧的背景区域。
14.如权利要求9所述的装置，其特征在于，所述装置还包括连通区域模块，用于对所述第i帧的前景区域进行连通区域处理，获得各前景连通区 域；从前景区域中去除不符合前景区域要求的前景连通区域；或者用于对所述第i帧的背景区域进行连通区域处理，获得各背景连通区域；从背景 区域中去除不符合背景区域要求的背景连通区域中的像素点；或者用于对所述第i帧的前景区域和背景区域进行连通区域处理，获得各前景连通区 域和各背景连通区域；从前景区域中去除不符合前景区域要求的前景连通区域，从背景区 域中去除不符合背景区域要求的背景连通区域中的像素点。
15.如权利要求14所述的装置，其特征在于，所述连通区域模块包括获取连通区域子模块，用于将所述前景区域和背景区域中的各像素点的数据结构初始 化为父节点坐标为本像素点坐标，颜色值为本像素点颜色值，面积为预定初始值；按照从 左至右和从上至下的顺序依次对第i帧的像素点χ进行如下处理如果像素点χ的左邻域、左上邻域、上邻域和右上邻域中有一个邻域与像素点χ的颜色 值相同，则将像素点χ的父节点坐标修改为颜色值相同的邻域的父节点坐标，将像素点χ的 面积设置为预定终结值，将颜色值相同的邻域的面积增加预定初始值；如果所述左邻域或左上邻域与像素点χ的颜色值相同，且所述右上邻域的颜色值与像 素点χ的颜色值相同，将右上邻域的父节点坐标修改为所述左邻域或左上邻域的父节点坐 标，将右上邻域的面积设置为预定终结值，将所述左邻域或左上邻域的面积增加预定初始 值；去除子模块，用于如果前景连通区域的面积小于第一面积门限且与该前景连通区域左 相邻或上相邻的连通区域不是前景连通区域，则该前景连通区域不符合前景区域要求，从前景区域中去除该前景连通区域；如果背景连通区域的面积小于第二面积门限且与该背景 连通区域左相邻或上相邻的连通区域不是背景连通区域，则该背景连通区域不符合背景区 域要求，从背景区域中去除该背景连通区域。
全文摘要
公开了一种前景图像提取方法及装置。其中的前景图像提取方法包括获取第i帧与第i-1帧中位置相同的像素点之间的距离，获取距离大于预定值的像素点集合Z，获取像素点集合Z中与第i-1帧中的前景区域的像素点位置相同的像素点集合U，将像素点集合U进行背景差分处理，获得像素点集合E，根据像素点集合E、像素点集合T以及像素点集合W的并集确定第i帧的前景区域，像素点集合W为像素点集合Z中与第i-1帧中的前景区域的像素点位置不相同的像素点集合，像素点集合T为第i-1帧的前景区域中与像素点集合U中的像素点位置不相同的像素点集合。上述技术方案能够快速准确的提取出第i帧中的前景图像。
文档编号G06T5/00GK102103751SQ200910261630
公开日2011年6月22日 申请日期2009年12月18日 优先权日2009年12月18日
发明者傅彦, 吴治国, 陈安龙, 高辉 申请人:华为技术有限公司, 电子科技大学