专利名称：一种视频图像中提取前景的方法及装置的制作方法
技术领域：
本发明涉及计算机图形图像处理，具体地涉及一种视频图像中提取前景的方法及直O
背景技术：
视频前后景分离，指将视频中的前景对象从背景中分离出来。视频前后景分离技 术，有广泛的应用场景，最典型的如视频通话中的人物对象提取，将分离的前景对象与另外 的背景图像结合以替换背景，达到视频通信的隐私保护及娱乐效果。视频前后景分离技术 已有广泛的研究，但是在前景和后景分离过程中，阴影的两个特性决定了阴影检测是一个 非常困难的问题一是阴影和物体一样，都显著地区别于背景；二是大多数情况下，阴影与 其对应的物体是相邻的，而且运动规律一样，在分割时常常被合并为一个整体。因此，用有 效的方法将阴影分离出来变得有研究意义和实用价值。现有技术前后景分离及阴影的方法如下首先，利用差分背景的方法提取前景，常用高斯混合模型提取分离前后景。其次，利用图像阴影区域的亮度信息特征检测并去除阴影阴影覆盖和没有阴 影覆盖的同一区域，其像素色度没有明显变化，而像素的亮度则有很大的变化，即，有阴 影覆盖的区域的像素亮度要比没有阴影覆盖的暗很多。由此可知，前景区域中像素亮 度值高于背景区域中对应点的像素亮度值的像素不是阴影像素。具体地，令xe (r, g, b)是当前帧的像素，X e (R，G，B)是背景像素，RGB颜色空间到亮度值转换公式I = 0. 3XR+0. 59XG+0. IlXB(I)，I表示亮度值。令Ix表示当前帧的像素的亮度值，Ix表示背 景像素的亮度值，设Mshadtw是阴影像素集合，其初始值为χ像素，根据公式(1)分别由R、G、 B三个颜色通道计算像素X的亮度值I，接着判断像素χ的归属。若满足Ix > Ix,则像素 X iMshad。w，将像素X从Mshad。w中去除。现有技术存在前景提取的精确度低，实时性较差的 缺点。
发明内容
有鉴于此，本发明的目的在于提供一种视频图像中提取前景的方法及装置，以克 服现有技术中阴影检测精确度低及实时性差的不足，以从视频图像中提取出理想的前景区 域。—方面，本发明实施例提供了一种视频图像中提取前景的方法，所述方法包括利 用根据预设数量的背景帧图像建立的高斯模型消除有前景进入的视频帧图像的背景，获得 消除背景后的视频帧图像；根据所述消除背景后的视频帧图像的信息和所述预设数量的背 景帧图像的信息，生成预先训练好的神经网络模型的输入参数的值；根据所述输入参数的 值以及所述训练好的神经网络模型生成相应的输出值；根据所述消除背景后的视频帧图像 的信息和所述神经网络模型的输出值的关系，检测出所述消除背景后的视频帧图像包含的 阴影点和光照噪声点。5
另一方面，本发明实施例提供了一种视频图像中提取前景的装置，所述装置包括 背景消除单元，用于利用根据预设数量的背景帧图像建立的高斯模型消除有前景进入的视 频帧图像的背景，获得消除背景后的视频帧图像；输入参数生成单元，用于根据所述消除背 景后的视频帧图像的信息和所述预设数量的背景帧图像的信息，生成预先训练好的神经网 络模型的输入参数的值；输出值生成单元，用于根据输入参数的值以及所述训练好的神经 网络模型生成相应的输出值；阴影和噪声处理单元，用于根据所述消除背景后的视频帧图 像的信息和所述神经网络模型的输出值的关系，检测出所述消除背景后的视频帧图像包含 的阴影点和光照噪声点。本发明实施例的一种视频图像中提取前景的方法和装置，根据所述消除背景后的 视频帧图像的信息和所述预设数量的背景帧图像的信息生成预先训练好的神经网络模型 的输入参数的值，并根据所述神经网格模型的所述输入参数的值和所述输出值的关系，处 理所述消除背景后的视频帧图像包含的阴影点和光照噪声点，从而能够有效快速地检测或 消除视频图像中包含的阴影点和光照噪声点，有利于从视频图像中提取理想的前景区域。 本发明实施例的方法和装置提高了阴影检测和抗光线干扰的准确性，同时本发明实施例的 神经网络模型执行计算处理时，复杂度较低，因而能满足实时场景的应用需求。
图1为本发明实施例的一种视频图像中提取前景的方法的整体流程图；图2为本发明实施例的一种视频图像中提取前景的方法的具体流程图；图3本发明实施例的BP神经网络模型的结构示意图；图4为本发明实施例的神经网络模型建立和训练的方法流程图；图5为本发明实施例的获得神经网络模型的训练数据的方法流程图；图6为本发明实施例的BP神经网络的训练过程示意图；图7为本发明实施例的一种视频图像中提取前景的装置的功能框图；图8为本发明实施例的输入参数生成单元的细化功能框图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在现有技术中，当光源变化时，容易产生大量误判点，从而导致前景提取的精确度 急剧下降；而且，现有技术的方法在判断阴影点的过程其算法复杂度较高，不适于实时场景 下的应用，实时性较差。本发明实施例提供了一种视频图像中提取前景的方法。图1为本发明实施例的一种视频图像中提取前景的方法的整体流程图。如图1所 示，本发明实施例的方法包括S101、利用根据预设数量的背景帧图像建立的高斯模型消除有前景进入的视频帧 图像的背景，获得消除背景后的视频帧图像；
S102、根据所述消除背景后的视频帧图像的信息和所述预设数量的背景帧图像的 信息生成预先训练好的神经网络模型的输入参数的值；S103、根据所述输入参数的值以及所述训练好的神经网络模型生成相应的输出 值；S104、根据所述消除背景后的视频帧图像的信息和所述神经网络模型的输出值的 关系，检测出所述消除背景后的视频帧图像包含的阴影点和光照噪声点。以下举实际应用中的实施例，说明采用本发明实施例图1所示的方法实时处理输 入视频图像中包含的阴影点和光照噪声点的具体过程。图2为本发明实施例的一种视频图像中提取前景的方法的具体流程图。图2揭示 了本发明实施例的基于人工神经网络的阴影检测和抗光线干扰方法，如图2所示，该方法 包括S201、输入视频序列，该序列由多个视频帧组成；S202、判断输入的视频帧的帧号是否处于背景建模帧数内，如是，则执行步骤 S203，利用上述输入的视频帧建立高斯模型；如否，则执行步骤S204，利用该高斯模型分离 该视频帧的背景；可选地，可以设置用于背景建模的视频帧数的范围为1 100帧，如果视频帧的帧 号在100帧以内，则执行步骤S203，即输入视频序列的前100帧视频帧可以用于建立高斯 模型；否则执行步骤S204，即对从帧号为101起的视频帧执行背景分离过程。根据上述100 帧视频帧建立高斯模型的方法将在后面的实施例中详述，在此暂不展开。S203、建立高斯模型；S204、利用上述预先建立好的高斯模型，分离视频帧图像的背景；上述过程具体为将该视频帧图像的背景消除，以获得消除背景后的视频帧图像， 该消除背景后的视频帧图像包括前景图像、光照噪声点和阴影点。S205、利用预先训练好的抗光线干扰神经网络模型对S204中获得的视频帧图像 执行抗光线干扰处理，即检测并去除上述视频帧图像包含的光照噪声点，以获得消除了光 照噪声点的视频帧图像，经过上述处理后，该视频帧图像中只包括前景图像和阴影点；S206、利用预先训练好的消除阴影神经网络模型对S205中获得的视频帧图像执 行阴影检测处理；即检测并去除S205中获得的视频帧图像包含的阴影点，以获得消除了阴 影点的视频帧图像，该视频帧图像中只包括前景图像。S207、输出消除了阴影点和光照噪声点之后的前景图像。需要说明的是，前述抗光线干扰神经网络模型和消除阴影神经网络模型在对输入 视频帧执行提取前景操作之前，就已经建立并训练好。通过采用图2所示的方法，消除了有 前景进入的视频帧图像中包含的光照噪声点、阴影点和背景图像，从而提取出效果更佳的 前景图像。以上只是本发明的一个实施例，在其它实施例中，利用抗光线干扰神经网络模型 对图像进行消除光照噪声点处理和利用消除阴影神经网络模型对图像进行消除阴影点处 理的执行顺序可以相互调换，本发明实施例并不限制上述两个神经网络模型的处理顺序。本发明实施例采用神经网络模型来处理视频图像包含的阴影点和光照噪声点，并 根据所述消除背景后的视频帧图像的信息和所述神经网络模型的输出值之间的关系，检测 出消除背景后的视频帧图像包含的阴影点和光照噪声点，从而提高了阴影检测和抗光线干扰的准确性，并能满足实时场景的应用需求，同时本发明实施例的神经网络模型执行计算 处理时，复杂度较低。本发明实施例还提供了另一种视频图像中提取前景的方法。该方法通过结合主成 分分析法和BP (误差逆向传播，Back Propagation)神经网络的优点，去除图像中由前景产 生的阴影和由于光源变化产生的光线干扰点，从而达到提取出图像中理想的前景区域的目 的。本发明实施例所述的主成分分析(Principal Component Analysis, PCA)旨在利 用降维的思想，把多指标转化为少数几个综合指标。最早是由Pearson在1901年的生物学 理论研究中引入，后来在多元统计中被广泛应用。PCA的实质是η维空间的坐标旋转，并不 改变样本数据结构，得到的主成分是原变量的线性组合且两两不相关，并能够最大程度地 反映原变量所包含的信息，在以一定标准选取前K个较重要的主成分之后，原来的多维问 题得以简化。在本发明实施例中，通过主成分分析将不正交的RGB色彩空间变换成正交的 色彩空间，此经过PCA处理后的正交的色彩空间表示为SP色彩空间。图3本发明实施例的BP神经网络模型的结构示意图。如图3所示，本发明实施例 的BP神经网络模型的输入层具有6个输入参数，分别为R’，G’，B’，Y’ -Y，U，-U，V’ -V。 其中，R’，G’，B’这3个输入参数的取值为背景图像的像素点从不正交的RGB色彩空间变换 至正交的SP色彩空间后的SP坐标值；Y’ -Y，U，-U，V’ -V为该BP神经网络模型的输入层 的另外3个输入参数，其中Y，U, V为背景图像的像素点从RGB色彩空间变换至YUV色彩空 间后的YUV坐标值；Y’，U’，V’为当前帧图像的对应像素点从RGB色彩空间变换至YUV色彩 空间后的YUV坐标值。本发明实施例的BP神经网络模型具有3个期望输出参数，分别为 R"，G"，B"，其取值为当前帧图像的像素点从RGB色彩空间变换至SP色彩空间后的SP坐 标值。由于在RGB色彩空间中，R，G，B三个色彩分量具有一定的相关性，如果直接在该 RGB色彩空间上建立BP神经网络模型，会因该RGB颜色空间不具备正交性而导致BP神经网 络模型的预测精度下降，因此本发明实施例首先采用主成分分析法消除R，G，B分量之间相 关性，以建立正交的色彩空间，然后再在该正交的色彩空间上，获得训练数据以训练BP神 经网络模型。以下为基于主成分分析从RGB色彩空间变换到SP色彩空间的具体实施方法例如可以通过摄像头或其它摄像设备拍摄若干张图片，获得共η个像素点的R，G， B分量值。1、令第i个点第j个颜色分量为Xij，其中，i = 1，2，……，n;j = l，2，3。将原始 数据进行标准化处理
权利要求
1.一种视频图像中提取前景的方法，其特征在于，所述方法包括利用根据预设数量的背景帧图像建立的高斯模型消除有前景进入的视频帧图像的背 景，获得消除背景后的视频帧图像；根据所述消除背景后的视频帧图像的信息和所述预设数量的背景帧图像的信息，生成 预先训练好的神经网络模型的输入参数的值；根据所述输入参数的值以及所述训练好的神经网络模型生成相应的输出值； 根据所述消除背景后的视频帧图像的信息和所述神经网络模型的输出值的关系，检测 出所述消除背景后的视频帧图像包含的阴影点和光照噪声点。
2.根据权利要求1所述的方法，其特征在于，根据所述消除背景后的视频帧图像的信 息和所述预设数量的背景帧图像的信息，生成预先训练好的神经网络模型的输入参数的值 包括；根据所述预设数量的背景帧图像生成平均值图像； 通过对RGB色彩空间值执行主成分分析变换，生成正交的SP色彩空间值； 生成所述消除背景后的视频帧图像的像素点与所述平均值图像的对应位置像素点在 YUV色彩空间的YUV坐标差值；生成所述平均值图像的对应位置像素点在正交的SP色彩空间的SP坐标值； 将所述SP坐标值和YUV坐标差值输入所述预先训练好的神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括训练神经网络模型，所 述训练神经网络模型包括确定所述神经网络模型的输入参数和期望输出参数；确定隐层神经元传递函数、输出层神经元传递函数、隐层个数和训练方法；获得所述神经网络模型的训练数据；根据所述训练数据生成所述神经网络模型的输入参数的值和期望输出参数的值； 根据所述隐层神经元传递函数、输出层神经元传递函数、隐层个数、训练方法、所述神 经网络模型的输入参数的值和期望输出参数的值训练所述神经网络模型。
4.根据如权利要求3所述的方法，其特征在于，所述方法还包括设置所述神经网络模 型的误差阈值范围和训练步数阈值范围；当所述神经网络模型的误差在所述误差阈值范围 内，或当所述神经网络模型的训练步数在所述训练步数阈值范围内时，结束训练过程。
5.根据权利要求1-4所述的任一方法，其特征在于所述神经网络模型包括消除阴影 神经网络模型和抗光线干扰神经网络模型；所述消除阴影神经网络模型的输入参数包括背景图像中与有前景进入的图像的阴影区域相对应的像素点在正交的SP色彩空间的 SP坐标值；有前景进入的图像的阴影区域像素点与背景图像的对应位置像素点在YUV色彩 空间的YUV坐标差值；所述消除阴影神经网络模型的期望输出参数包括所述有前景进入的图像的阴影区域 像素点在正交的SP色彩空间的SP坐标值；所述抗光线干扰神经网络模型的输入参数包括根据参考光强生成的参考图像的像素点在正交的SP色彩空间的SP坐标值；根据其它 光强生成的当前图像的像素点与参考图像的像素点在YUV色彩空间的YUV坐标差值； 所述抗光线干扰神经网络模型的期望输出参数包括当前图像的像素点在正交的SP色彩空间的坐标值。
6.根据权利要求5所述的方法，其特征在于，所述确定神经网络模型的隐层神经元传 递函数、输出层神经元传递函数、隐层个数和训练方法包括确定所述神经网络模型的隐层神经元传递函数包括双曲正切S型函数； 确定所述神经网络模型的输出层神经元传递函数包括纯线性传输函数； 根据所述神经网络模型的输入参数的个数，确定所述神经网络模型的隐层个数；及 确定所述神经网络模型的训练方法包括量化共轭梯度法。
7.根据权利要求3所述的方法，其特征在于，所述获得所述神经网络模型的训练数据 包括；采集用于训练所述神经网络模型的图像；对所述图像进行基于主成分分析的正交的SP色彩空间变换和YUV色彩空间变换，以生 成所述神经网络模型的训练数据。
8.根据权利要求1-7中任一所述的方法，其特征在于，根据所述消除背景后的视频帧 图像的信息和所述神经网络模型的输出值的关系，检测出所述消除背景后的视频帧图像包 含的阴影点和光照噪声点包括当所述消除背景后的视频帧图像的信息和所述神经网络模型的输出值的关系满足以 下关系式其中，所述消除背景后的视频帧图像的像素点在正交的SP色彩空间的坐标值表示为 Rf ,Gf ,Bf，所述平均值图像的对应位置像素点在正交的SP色彩空间的SP坐标值表示为 J ,G ,B，所述神经网格模型的所述输出值表示为冗、互。、 ，其中T表示处理系数； 则确定所述消除背景后的视频帧图像的所述像素点为阴影点或光照噪声点。
9.根据权利要求8所述的方法，其特征在于， 对于消除阴影应用，取值T= 10% ；或对于消除光照噪声应用，取值T = 25%。
10.一种视频图像中提取前景的装置，其特征在于，所述装置包括背景消除单元，用于利用根据预设数量的背景帧图像建立的高斯模型消除有前景进入 的视频帧图像的背景，获得消除背景后的视频帧图像；输入参数生成单元，用于根据所述消除背景后的视频帧图像的信息和所述预设数量的 背景帧图像的信息，生成预先训练好的神经网络模型的输入参数的值；输出值生成单元，用于根据输入参数的值以及所述训练好的神经网络模型生成相应的 输出值；阴影和噪声处理单元，用于根据所述消除背景后的视频帧图像的信息和所述神经网络 模型的输出值的关系，检测出所述消除背景后的视频帧图像包含的阴影点和光照噪声点。
11.根据权利要求10所述的装置，其特征在于，所述输入参数生成单元包括 平均值图像生成子单元，用于根据所述预设数量的背景帧图像生成平均值图像；SP色彩空间值生成单元，用于通过对RGB色彩空间值执行主成分分析变换，生成正交 的SP色彩空间值；第一计算子单元，用于生成所述消除背景后的视频帧图像的像素点与所述平均值图像 的对应位置像素点在YUV色彩空间的YUV坐标差值；第二计算子单元，用于生成所述平均值图像的对应位置像素点在正交的SP色彩空间 的SP坐标值；输入子单元，用于将所述SP坐标值和YUV坐标差值输入所述预先训练好的神经网络模型。
12.根据权利要求10或11所述的装置，其特征在于，所述装置还包括 训练单元，用训练所述神经网络模型。
全文摘要
本发明实施例提供了一种视频图像中提取前景的方法及装置，所述方法包括利用根据预设数量的背景帧图像建立的高斯模型消除有前景进入的视频帧图像的背景，获得消除背景后的视频帧图像；根据所述消除背景后的视频帧图像的信息和所述预设数量的背景帧图像的信息，生成预先训练好的神经网络模型的输入参数的值；根据所述输入参数的值以及所述训练好的神经网络模型生成相应的输出值；根据所述消除背景后的视频帧图像的信息和所述神经网络模型的输出值的关系，检测出所述消除背景后的视频帧图像包含的阴影点和光照噪声点。本发明实施例的方法可以提高阴影检测和抗光线干扰的准确性，同时降低了处理的复杂度，从而可以满足实时场景的应用需求。
文档编号G06T7/40GK102054270SQ20091021083
公开日2011年5月11日 申请日期2009年11月10日 优先权日2009年11月10日
发明者傅彦, 牛彩卿, 罗引, 高辉 申请人:华为技术有限公司, 电子科技大学