专利名称：基于运动信息和矩阵填充的视频背景恢复方法
技术领域：
本发明属于计算机视觉领域，涉及采用光流检测运动信息，和矩阵填充，来实现背景提取。具体讲，涉及基于运动信息和矩阵填充的视频背景恢复方法。
背景技术：
相机的使用范围在近十年间增加了许多。但是这些增长导致了数据的膨胀，意味着依靠人工手动去储藏或处理数据变得不再可行。为了从视频中自动检测、储存、追踪运动目标，研究者们提出了一些可行性的方法。简单的运动目标检测算法是用视频序 列里面的一个又一个的当前帧，和一个稳定的背景帧作比较。这是主流的背景恢复算法，它们能够规范去建立一个背景模型，然后用当前帧与之比较，当区域中有很大区别的时候侦测出来。背景恢复算法的本质是把运动目标(也就是之后提到的前景)从稳定的或者缓慢移动的场景(称为背景)中识别出来。在室内环境下，一个稳定的背景模型，有可能适用的于分析短暂视频序列。不过该模型在大部分实际情况中效果不佳，需要一种更复杂的模型。而且，运动检测常常是分析场景的第一步。举例来说，运动检测出来的区域可能是为了步态识别，人脸检测，人流计量，交通监控等而进行滤波和特征化。背景场景的应用及其多样性，解释了无数论文针对背景提取所讨论的主题。背景提取技术需要解决的问题包括对于观测图像和估计图像的比较，不包括任何兴趣目标。该技术与背景模型(或者背景图像)有关。这种比较过程，被称为前景侦测，它把覆盖整幅图像的像素点分为两部分1)包含兴趣目标的前景，2)背景，也就是其补集。很多背景提取技术都包含很多模型和储存，有些算法聚焦于提出一个理想化背景提取技术的特殊需求，也有些必须适应于缓慢的或剧烈的光照变化(时间、云层等情况的变化)、动态变化(摄相机震动)、高频率背景对象(例如树枝树叶)、以及背景几何变化(例如停放的车辆)。一些应用需要背景提取算法嵌入摄像机内，这样计算负载就成为了主要问题。而且，为了监视室外场景，还需要很强的抗噪声能力和光照变化适应力。为了替代选择背景密度模型的一个特殊格式，有的算法给每个像素保持一个最先给定观测到的背景值数量的缓存，如果一个新的值对于大多数储存于像素模型中的值是匹配的话，则归类于背景。有人希望这种方法会防止与偏差问题联系起来，该方法被称为任意假设密度模型。但是由于像素背景的值按照先进先出的方法来替代，在精确细致的讨论中，这仍然会存在问题，除非其储存了大量的像素样本，比如，关于背景中快速和缓慢运动的问题。该作者提到20个样本的缓存，是让这种方法起作用的最小需求，当然他们也注意到了多于60个样本对本方法是没有多大改进的。因此，这些方法的培养期必须至少由20帧组成。最终，为了应对背景中光照变化和目标出现或消失，需要给算法添加两种额外的机制(一种是像素水平的，还有一种是斑点水平的)，来处理整个目标
发明内容
本发明旨在解决克服现有技术的不足，提供一种简便实用的背景提取方法。本发明采取的技术方案是，基于运动信息和矩阵填充的视频背景恢复方法，采用光流检测帧与帧之间的运动目标的移动，并检测出运动信息，生成权值矩阵,并按列向量排列，生成总权值矩阵；再将所有采样帧按列向量排列，形成原始数据阵列矩阵；用观测矩阵与总权值矩阵按元素相乘得到观测矩阵，之后，通过矩阵填充，得出已填充的观测矩阵；最终，将该矩阵的每一列按照原始采样帧的尺寸恢复出来，得到背景图像。具体来说，包括下列步骤I)构造原始实验数据11)从视频中均匀采样k帧图像矩阵，作为原始实验数据；2)构造总权值矩阵
21)用光流方法检测每两帧之间的运动元素所发生的位移，得到k-Ι个光流矩阵，该矩阵中的每一个元素表示原始实验数据中该元素在当前两帧之间所发生的位移矢量； 22)保留每个光流矩阵中位移矢量小于I的元素，也就是即使原始数据中元素运动不超过一个像素，也要考虑进去，通过变换生成k-Ι个灰度图像，其中发生运动的元素的像素值为O ;没有发生运动的元素的像素值为255,称这个灰度图像为权值矩阵； 23)将这k-ι个权值矩阵按列向量排列，生成总权值矩阵；3)构造原始数据阵列31)由于采样的最后一帧图像不参与运动，只作为对比第k-Ι帧通过光流求权值矩阵所用，所以将原始实验数据的第k帧舍掉；将这k-Ι帧原始数据按列向量排列，生成原始数据阵列；4)进行背景提取41)构建观测矩阵将总权值矩阵与原始数据阵列对应元素相乘得到观测矩阵；42)通过矩阵填充算法对观测矩阵进行重建构建增广拉格朗日函数求解凸优化问题。41)构建观测矩阵具体为权值矩阵标记出了部分前景像素点的位置，将之与原始数据阵列对应元素相乘后即得到矩阵填充算法所需的观测矩阵；观测矩阵的元素可以分为三类背景像素，已标定出的前景，未被识别出的前景；将已标定出的前景置0，在迭代过程中当做空缺元素对待，将该矩阵归纳为以下数学模型Pfi(D) = Pfi(A)+E其中D e R(—_为输入的观测矩阵，A e (H)为重建出的背景矩阵，E e 为未被识别出的前景元素组成的矩阵，(m*n)表示观测数据每帧有m*n个像素，k-Ι表示观测数据中共有k-Ι帧视频序列；Ω为标定出的前景坐标，ΡΩ ( ·)表示将矩阵投影到索引Ω上。42)具体为，对观测矩阵进行填充可以抽象为以下凸优化问题min | | A | | *+ λ | | E | I1 subject to Pi2 (D) = ΡΩ (A) +E其中λ > O用来平衡核范数与I范数对优化问题的影响，subject to表示使服从，求解上式需要构建增广拉格朗日函数，通过逐步迭代收敛至最优解L(A, Ε, ,μ)=\\Α\\* + λ\\Ε\{+<Υ, Pn(D-A)-E>+^\\Pa(D -A)-E%
式中Y e R—XH)为拉格朗日乘子，μ > O为惩罚因子。经过对上式的有限次迭代后最终完成矩阵填充，可产生已填充的观测矩阵，再进行拆分，可得到(k-Ι)个大小为mXn的背景图像。本发明的方法的特点及效果本发明方法并在不需要完全侦测或提取运动目标的情况下，运用矩阵填充能够较好的恢复背景图像。具有以下特点I、程序简单，易于实现。2、采用光流的方法，对原始数据进行处理，检测出运动信息，得出来权值矩阵，按列向量排列之后得到总权值矩阵；再将原始数据舍掉最后一帧按列向量排列得到观测矩阵。将这两个矩阵按对应元素相乘，得到一个有元素缺失的矩阵，这样可以把问题化零为
整，用一个较大的矩阵去整体的解决问题。而不用拘泥于处理每一帧图像中的运动目标和背景部分。3、利用光流分析的结果，检测出运动信息，而后再进行矩阵填充，可以明显改善背景提取的效果。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图I是实际实施流程图；图2是k帧采样得到的原始数据图像；图3是k_l巾贞权值矩阵图像；图4是k-Ι帧背景图像。
具体实施例方式下面结合实施例和附图对本发明做出详细说明。本发明采取的技术方案是，I)采用光流检测帧与帧之间的运动目标的移动，检测出运动信息，生成权值矩阵，并按列向量排列，生成总权值矩阵；再将所有采样帧按列向量排列，形成原始数据阵列；2)用原始数据阵列矩阵与总权值矩阵按元素相乘得到观测矩阵，之后，通过矩阵填充，得出已填充的观测矩阵；3)最终，将该低秩矩阵的每一列按照原始采样帧的尺寸填充出来，得到背景图像。具体来说，包括下列步骤I)构造原始实验数据11)从视频中均匀采样k巾贞mXn大小的图像矩阵，作为原始实验数据；2)构造总权值矩阵21)用光流方法检测每两帧之间的运动元素所发生的位移，检测出运动信息，得到(k-Ι)个尺寸与采样帧一样，维度为2的光流矩阵，该矩阵中的每一个元素表示原始实验数据中该元素在当前两帧之间所发生的位移矢量；22)将每个光流矩阵变换成尺寸为mXn行，2列的计算矩阵，其中第I列为两帧之间每个元素横向运动的位移标量，第2列为两帧之间每个元素纵向运动的位移标量；23)保留每个光流矩阵中位移矢量小于I的元素(也就是即使原始数据中元素运动不超过一个像素，也要考虑进去)，通过变换生成(k-Ι)个尺寸为mXn大小的灰度图像，其中发生运动的元素的像素值为O，即黑色；没有发生运动的元素的像素值为255，即白色。我们称这个灰度图像为权值矩阵，共(k-Ι)个；24)将这(k-Ι)个mXn大小的权值矩阵按列向量排列，生成大小为(mXn) X (k_l)的总权值矩阵；3)构造原始数据阵列31)由于采样的最后一帧图像不参与运动，只作为对比第(k-Ι)帧通过光流求权值矩阵所用。所以将原始实验数据的第k帧舍掉，保留前(k-Ι)帧。将这(k-Ι)帧mXn大小的原始数据按列向量排列，生成(mXn)X(k-l)大小的原始数据阵列。4)进行背景提取
·
41)构建观测矩阵权值矩阵标记出了部分前景像素点的位置，将之与原始数据阵列对应元素相乘后即得到矩阵填充算法所需的观测矩阵。它是以光流分析产生的运动矢量作为参考在完整数据集中对部分前景元素进行标定。观测矩阵的元素可以分为三类背景像素，已标定出的前景，未被识别出的前景。我们将已标定出的前景置0，在迭代过程中当做空缺元素对待。综上，可以将该矩阵归纳为以下数学模型ρωΦ)=ρ“α)+ε 其中D e R—_1>为输入的观测矩阵，A e (H)为重建出的背景矩阵，E e为未被识别出的前景元素组成的矩阵，(m*n)表示观测数据每帧有m*n个像
素，(k-Ι)表示观测数据中共有k-Ι帧视频序列。Ω为标定出的前景坐标，ΡΩ ( ·)表示将矩阵投影到索引Ω上。43)数学模型对观测矩阵进行填充可以抽象为以下凸优化问题min | | A | | *+ λ | | E | I1 subject to Pi2 (D) = ΡΩ (A) +E其中λ > 0用来平衡核范数与I范数对优化问题的影响。求解上式需要构建增广拉格朗日函数，通过逐步迭代收敛至最优解L(A,EJ^)=\\A\\* + X-\\E\^+<Y,Pa{D-A)-E>+^-\\Pa{D-A)~E\l
2式中Y e为拉格朗日乘子，μ > O为惩罚因子。经过对上式的有限次迭代后最终完成矩阵填充，可产生已填充的观测矩阵，再进行拆分，可得到(k-Ι)个大小为mXn的背景图像。本发明提出了一种基于光流和矩阵填充的背景提取方法(如图I的流程所示)，结合附图及实施例详细说明如下11)从视频中均匀采样25帧288X360大小的图像矩阵，作为原始实验数据(如图2所示);2)构造总权值矩阵21)用光流方法检测每两帧之间的运动元素所发生的位移，得到24个尺寸与采样帧一样，维度为2的光流矩阵，该矩阵中的每一个元素表示原始实验数据中该元素在当前两帧之间所发生的位移矢量；
22)将每个光流矩阵变换成尺寸为288X360行，2列的计算矩阵，其中第I列为两帧之间每个元素横向运动的位移标量，第2列为两帧之间每个元素纵向运动的位移标量；23)保留每个光流矩阵中位移矢量小于I的元素(也就是即使原始数据中元素运动不超过一个像素，也要考虑进去),通过变换生成24个尺寸为288 X 360大小的灰度图像，其中发生运动的元素的像素值为0，即黑色；没有发生运动的元素的像素值为255，即白色。我们称这个灰度图像为权值矩阵，共24个(如图3所示)；24)将这24个288X360大小的权值矩阵按列向量排列，生成大小为(288X360) X 24的总权值矩阵；3)构造原始数据阵列31)由于采样的最后一帧图像不参与运动，只作为对比第24帧通过光流求权值矩阵所用。所以将原始实验数据的第25帧舍掉，保留前24帧。将这24帧288X360大小的
原始数据按列向量排列，生成(288X360) X24大小的原始数据阵列。4)进行背景提取41)构建观测矩阵将总权值矩阵与原始数据阵列对应元素相乘，生成(288X360) X24大小的含有空缺元素的观测矩阵。42)代入矩阵填充算法产生背景矩阵将观测矩阵作为输入代入函数进行迭代，不同的视频序列迭代的次数不尽相同。当算法收敛后会自动停止计算，生成(288X360) X24大小的已填充的观测矩阵。然后将这个已填充的观测矩阵的每一列拆分出来，重新排列成为24个288X360的矩阵，即得到24个还原后的背景图像。
权利要求
1.一种基于运动信息和矩阵填充的视频背景恢复方法，其特征是，包括如下步骤采用光流检测帧与帧之间的运动目标的移动，并检测出运动信息，生成权值矩阵，并按列向量排列，生成总权值矩阵；再将所有采样帧按列向量排列，形成原始数据阵列矩阵；用观测矩阵与总权值矩阵按元素相乘得到观测矩阵，之后，通过矩阵填充，得出已填充的观测矩阵；最终，将该矩阵的每一列按照原始采样帧的尺寸恢复出来，得到背景图像。
2.如权利要求I所述的基于运动信息和矩阵填充的视频背景恢复方法，其特征是，所述步骤进一步细化为 1)构造原始实验数据 11)从视频中均匀采样k帧图像矩阵，作为原始实验数据； 2)构造总权值矩阵 21)用光流方法检测每两帧之间的运动元素所发生的位移，得到k-Ι个光流矩阵，该矩阵中的每一一个元素表示原始实验数据中该元素在当前两帧之间所发生的位移矢量； 22)保留每个光流矩阵中位移矢量小于I的元素，也就是即使原始数据中元素运动不超过一个像素，也要考虑进去，通过变换生成k-Ι个灰度图像，其中发生运动的元素的像素值为O ;没有发生运动的元素的像素值为255,称这个灰度图像为权值矩阵； 23)将这k-Ι个权值矩阵按列向量排列，生成总权值矩阵； 3)构造原始数据阵列 31)由于采样的最后一帧图像不参与运动，只作为对比第k-Ι帧通过光流求权值矩阵所用，所以将原始实验数据的第k帧舍掉；将这k-Ι帧原始数据按列向量排列，生成原始数据阵列； 4)进行背景提取 41)构建观测矩阵将总权值矩阵与原始数据阵列对应元素相乘得到观测矩阵； 42)通过矩阵填充算法对观测矩阵进行重建构建增广拉格朗日函数求解凸优化问题。
3.如权利要求2所述的基于运动信息和矩阵填充的视频背景恢复方法，其特征是，41)构建观测矩阵具体为，权值矩阵标记出了部分前景像素点的位置，将之与原始数据阵列对应元素相乘后即得到矩阵填充算法所需的观测矩阵；观测矩阵的元素可以分为三类背景像素，已标定出的前景，未被识别出的前景；将已标定出的前景置O，在迭代过程中当做空缺元素对待，将该矩阵归纳为以下数学模型 P“D) =ΡΩ ㈧+E 其中D e R—_ι)为输入的观测矩阵，A e R—_ι)为重建出的背景矩阵，E e为未被识别出的前景元素组成的矩阵，(m*n)表示观测数据每帧有m*n个像素，k-Ι表示观测数据中共有k-Ι帧视频序列；Ω为标定出的前景坐标，ΡΩ (·)表示将矩阵投影到索引Ω上。
4.如权利要求2所述的基于运动信息和矩阵填充的视频背景恢复方法，其特征是，42)具体为，对观测矩阵进行填充可以抽象为以下凸优化问题 min I IAI | *+ λ | | E | | !subject to Pi2 (D) = ΡΩ (A) +E 其中λ > O用来平衡核范数与I范数对优化问题的影响，subject to表示使服从，求解上式需要构建增广拉格朗日函数，通过逐步迭代收敛至最优解
全文摘要
本发明属于计算机视觉领域。为提供一种简便实用的背景提取方法。本发明采取的技术方案是，基于运动信息和矩阵填充的视频背景恢复方法，采用光流检测帧与帧之间的运动目标的移动，并检测出运动信息，生成权值矩阵，并按列向量排列，生成总权值矩阵；再将所有采样帧按列向量排列，形成原始数据阵列矩阵；用观测矩阵与总权值矩阵按元素相乘得到观测矩阵，之后，通过矩阵填充，得出已填充的观测矩阵；最终，将该矩阵的每一列按照原始采样帧的尺寸恢复出来，得到背景图像。。本发明主要应用于背景提取。
文档编号G06T7/20GK102881002SQ201210239349
公开日2013年1月16日 申请日期2012年7月11日 优先权日2012年7月11日
发明者杨敬钰, 孙洋, 李坤 申请人:天津大学