专利名称：一种运动目标检测方法及装置的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种运动目标检测方法及装置。
背景技术：
智能视频监控是基于计算机视觉技术对监控场景内的视频图像进行分析、 提取场景中的关键信息，形成相应事件和告警的监控方式，在公共安全保护、 交通管理等方面有着极为广泛的应用。
智能视频监控系统一般都是使用摄像机或者网络摄像头对某一场景进行 连续不断的拍摄，对收集的视频流进行处理，检测其中的运动目标，并对运动 目标进行分类、跟踪、识别等后续处理。运动目标检测是智能视频监控的基础， 对各种后续处理有着重要的意义，整个监控系统的性能影响重大。
目前常用的运动目标检测方法包括时间差分法(Temporal Difference )和 背景差分法(Background Subtraction )。时间差分法，又称为帧间差分法，通过 假设背景图像中像素点的像素值和位置都不变，从而分离背景图像和前景图 像。时间差分法有多种实现方法，其中一种是在连续的视频图像(也称为视频 流)，或者图像序列的各帧图像之间进行绝对差分运算，算法流程如图l所示， 一个视频流或者图像序列中的两帧图像A和进行绝对差分运算得到差分图 像1\,再对差分图像进行阈值化处理得到二值化图像，然后，使用数学形态学 方法对二值化图像进行滤波处理得到前景图像i^，再对前景图像进行连通性分 析，例如填充前景图像中的空洞，去除面积较小的孤立块、非连通块等，最后 进行判别，只保留连通块中面积大于给定面积阈值的连通部分，从而分离出前 景图像和背景图像。背景差分法，是通过当前帧图像力与平均背景图像6w进 行差分运算，从而分离出背景图像和前景图像。背景差分法的算法流程如图2所示，与时间差分法的算法流程基本一致。
由此可见，现有运动目标检测技术主要是基于像素点的检测技术，该现有 技术仅仅考虑每个像素点的信息，而忽略了图像中的各个像素点之间的相关 性，丟失了很多有价值的信息，并且，现有运动目标检测技术需要对所有像素 点都进行处理，因此，现有运动目标检测技术的运算量较大，不利于实时应用。
另外，现有技术通过对输入的 一 系列图像进行简单的差分运算提取前景图 像和背景图像的方式对噪声很敏感，在运动场景不变的情况下，可以取得一定 的运动目标检测效果，而在环境稍有变化(比如光照变化、树叶摆动等等)时， 提取出的前景图像和背景图像的精确度会很差，无法准确区分图像上的运动块 和非运动块，因此，现有运动目标检测技术在背景图像较复杂的情况下会发生 错误检测。
发明内容
本发明实施例提供了 一种运动目标检测方法及装置，用以解决现有的运动 目标检测技术存在的检测效率和检测准确率较低的问题。
本发明实施例提供的一种运动目标;险测方法包括
将当前输入图像投影到背景模型上，得到所述当前输入图像的特征图像； 将所述特征图像反投影到所述背景模型上，得到所述当前输入图像的重建
图像；
通过比较所述当前输入图像和所述重建图像，确定所述当前输入图像上的 运动目标图像。
本发明实施例提供的一种运动目标检测装置包括 背景建模单元，用于建立并存储背景模型；
前景检测单元，用于将当前输入图像投影到所述背景模型上，得到所述当 前输入图像的特征图像；将所述特征图像反投影到所述背景模型上，得到所述 当前输入图像的重建图像；通过比较所述当前输入图像和所述重建图像，确定所述当前输入图像上的运动目标图像。
本发明实施例，将当前输入图像投影到背景模型上，得到所述当前输入图 像的特征图像；将所述特征图像反投影到所述背景模型上，得到所述当前输入 图像的重建图像；通过比较所述当前输入图像和所述重建图像，确定所述当前
输入图像上的运动目标图像，从而实现了 一种检测效率以及检测准确率都较高 的运动目标。险测4支术。
图1为现有技术中的时间差分^r测算法的流程示意图2为现有技术中的背景差分检测算法的流程示意图3为本发明实施例提供的一种运动目标检测装置的结构示意图4为本发明实施例提供的前景检测单元的结构示意图5为本发明实施例提供的背景建模单元的结构示意图6为本发明实施例提供的一种运动目标检测方法的流程示意图。
具体实施例方式
本发明实施例提供了 一种运动目标检测方法及装置，用以提高运动目标的 检测效率以及检测的准确率。
本发明实施例将通过网络摄像头或者摄像机等获取的视频流图像作为输 入图像。
下面结合附图对本发明实施例进行详细说明。
参见图3,本发明实施例提供的一种运动目标检测装置包括背景建模单 元30、前景检测单元31、形态学滤波单元32和背景更新单元33。 背景建模单元30，用于建立并存储背景模型。
前景检测单元31，用于将当前输入图像投影到背景模型上，得到当前输入 图像的特征图像；再将当前输入图像的特征图像反投影到背景模型上，得到当前输入图像的重建图像；通过将当前输入图像与当前输入图像的重建图像进行 比较，确定当前输入图像的二值化的运动目标图像(例如运动像素点为1， 背景像素点为0)。
形态学滤波单元32，用于对运动目标图像进行形态学滤波处理，将经过形 态学滤波处理后的运动目标图像作为最终的检测结果输出。 背景更新单元33，用于更新背景;t莫型。 较佳地，参见图4，前景检测单元31包括
特征图像单元3H,用于将当前输入图像投影到所述背景模型上，得到当 前输入图像的特征图像。
重建图像单元312,用于将特征图像反投影到背景模型上，得到当前输入 图像的重建图像。
判定单元313，用于计算当前输入图像和当前输入图像的重建图像上的同 一像素点的像素值的差值，当该差值大于或等于预先设定的阈值时，将该像素 点作为当前输入图像的运动像素点；最后将各个运动像素点组成当前输入图像 上的运动目标图像。
本发明实施例采用 一种高效鲁棒的特征提取算法——二维主成分分析 (2D-PCA)算法，提取图像上的背景图像的特征，并基于背景图像的特征建立背 景模型；在检测过程中采用增量学习方法随时更新背景模型，使得背景模型可 以随着环境的变化而不断更新，进而使得系统可以在各种动态变化的背景环境 下，快速有效地更新背景模型，从而快速、准确地检测运动目标。当然，除此 之外，背景建模单元30还可以采用其他公知算法建立背景模型；或者，始终 保留当前输入图像的前若干帧图像作为参考图像，将这若干帧参考图像作为背 景模型；或者仅仅简单地将某一固定图像作为背景模型等等。 较佳地，参见图5，背景建模单元30包括 图像均值单元301,用于计算若干帧背景图像的图像均值。 图像协方差矩阵单元302，用于通过若干帧背景图像的图像均值计算若干帧背景图像的图像协方差矩阵。
特征值分解单元303,用于对图像协方差矩阵进行特征值分解，得到图像 协方差矩阵的各个特征值对应的特征向量。
投影矩阵单元304，用于按照特征值从大到小的顺序，选取若干特征值所 对应的特征向量构造投影矩阵，将该投影矩阵作为背景模型。
存储单元305，用于存储背景模型。
背景更新单元33，将当前输入图像作为新增的背景图像，重新构造投影矩 阵，更新背景模型。
下面分别对本发明实施例装置中的几个构成单元进行详细说明。 1、背景建模单元30:
背景建模单元30采用二维主成分分析算法建立背景模型。二维主成分分 析算法是一种图像特征提取算法，具有提取特征的有效性高、运算速率快、鲁 棒性好的特性。
初始时，背景建模单元30执行以下操作
收集N幅背景图像，第z幅图像表示为一个附行"列的矩阵A,这N幅背 景图像用矩阵表示为{Ii ， 12 ，…,In }，并计算这N幅背景图像的图像均值
W台'
利用图像均值7计算N幅背景图像的图像协方差矩阵
<formula>formula see original document page 9</formula>
对图像协方差矩阵Gt进行特征值分解
其中，对角矩阵^-必叫(Ai,、,…,、)是特征值矩阵，其对应的特征向量矩 阵是^^["i，"2，…，""]，且满足G'"':A'"',其中，z^l，2，…，n， n是矩阵的列数， 每个输入图像都是m行n列的矩阵。
最后，按照特征值从大到小的顺序，选择其中前M (M小于n)个特征值对应的特征向量构造投影矩阵^^["""2，…，"AJ， um即为初始的背景模型。
这N幅背景图像中的任意一幅图像都可以使用投影矩阵^-["i，""…，"J
的加权和来表示，所以"M K^A，…，"M]可以表示N幅背景图像。
需要说明的是， 一般情况下，背景图像是不包含运动目标的背景图像，即 使训练图像集中包含了 一些前景的运动目标，但是由于运动目标不会在同一位 置始终出现，在二维主成分分析算法中，这些运动目标的信息只占据了非常少
的部分，所以，通过上述过程得到的特征子空间um仍然可以纟艮好地描述背景 图像信息。
2、 前景^^测单元31:
假设待检测的图像为I，将其投影到Um上，得到图像I的特征图像V,令 V = (Vi，V2,.",Vm), U = (Ui ，u2，…,Um),则V-IU。特征图像V可以理解为 当前图像I的主要信息，可用于表征当前输入图像。
将图像I的特征图像V反投影到背景模型上进行重建，得到图像I的重建
图像 ^ 。
需要说明的是，特征图像V的维数比当前输入图像I的维数要小，输入图 像I是附行"列的矩阵，投影矩阵^-[",，""…，"AJ为"行M列的矩阵，而特征 图像V是m行M列的矩阵。
在图像I的每个像素点"，力处，计算重建图像7与真实图像I的像素值之 差^c,力-l/(x,力—/(x,力l，如果不等式""，力〉7成立，就表示像素点",力是前
景点(即运动目标图像上的像素点)，否则就表示该像素点"，力是背景图像上 的像素点(简称背景点)。其中，r是事先设定的阈值，该阈值可以根据需要 进行设置。
3、 形态学滤波单元32:
对前景图像进行^3中值滤波、腐蚀操作以及膨胀操作，滤波后进行连通
性分析，只保留面积大于预先设定的阈值的连通块作为运动目标的图像块。4、背景更新单元33:
背景建模单元30在二维主成分分析算法的基础上，得到了描述背景图像 的特征子空间Um,但是仅仅通过离线训练得到的背景模型Um并不能反映背 景的变化，不能随着环境的变化来描述动态的背景图像。因此，本发明实施例 还需要不断地在线更新背景图像的特征子空间Um,从而可以处理动态背景的 情况，达到更准确的检测效果。其中，所述的更新背景模型的操作可以是每帧 都进行一次；也可以是每隔若千帧进行一次，因为一般情况下，视频中相邻两 帧图像的变化很小。
在二维主成分分析算法的基础上，背景更新单元33使用增量学习方法在 线更新背景模型，具体如下
设II , 12, ...，Im是已有的m帧背景图像，Im+1是新增的背景图像，这些背
景图像的均值以及图像协方差矩阵分别按如下公式更新
<formula>formula see original document page 11</formula>(1)
<formula>formula see original document page 11</formula>( 2 )
其中，h是已有的m帧背景图像的图像均值，0<c^l,对于每一帧新获 得的输入图像，按照公式(1)更新图像均值，按照公式(2)更新图像协方差 矩阵。
较佳地，为了降低运算复杂度，本发明实施例将每帧输入图像以及背景模 型分成若千大小相等的相对应的区域，独立处理各个区域的图像，将输入图像 和背景模型上同 一 区域的图像进行比较，从而确定输入图像上的各个区域上的 运动像素点，即将当前输入图像上每个区域的图像投影到背景模型上对应区域
的图像，得到当前输入图像上每个区域的特征图像；将当前输入图像上每个区
域的特征图像反投影到背景模型上对应区域的图像，得到当前输入图像上每个
区域的重建图像；通过比较所述当前输入图像上每个区域的图像和对应的该区 域的重建图像，确定当前输入图像上每个区域的运动像素点；最后将输入图像上的各个区域上的运动像素点组成输入图像上的运动目标图像。例如，图像的大小为320><240,将其分解成100个BxM的区域，对每个区域的图像单独地进行运动目标检测，最后再将各个检测结果拼接起来就得到了整幅图像的检测结 果。因此，较佳地，为了进一步提高运算速度，本发明实施例在更新背景图像 时，对于包含运动像素点的区域的图像不做任何更改，因为不能用包含运动像 素点的区域的图像去更新背景图像，所以仍然保留原有的图像均值和图像协方差矩阵；而对于不包含运动像素点的区域的图像，需要进行更新，此时，首先 更新该区域的图像对应的图像均值和图像协方差矩阵；然后，对该图像协方差 矩阵进行特征值分解，保存前M个最大的特征值所对应的特征向量，即得到 该区域的图像对应的新的投影矩阵，从而得到新的背景区域的图像。较佳地， 由于矩阵的特征值分解需要一定的运算量，在实际应用时，可以每隔若干帧(比 如五帧或者十帧)再进行一次特征值分解。下面结合附图介绍一下本发明实施例提供的方法。参见图6，本发明实施例提出的一种运动目标检测方法包括5601、 将当前输入图像投影到背景模型上，得到当前输入图像的特征图像。5602、 将当前输入图像的特征图像反投影到背景模型上，得到当前输入图 像的重建图像。5603、 通过比较当前输入图像与当前输入图像的重建图像，确定当前输入 图像上的运动目标图像。综上所述，本发明实施例提出的技术方案具有以下优点 通过二维主成分分析算法建立背景模型，融入了 二维空间上像素点之间的 相关性信息，避免了对所有的像素点单独建模，得到了更好的建模效果；将当 前输入图像投影到背景模型上，得到当前输入图像的特征图像，并将特征图像 反投影到背景模型上，得到当前输入图像的重建图像，通过比较当前输入图像 和重建图像，确定当前输入图像上的运动目标图像，从而提高了运动目标检测效率。另外，通过增量学习算法在线更新背景模型，既提高了背景模型的自适应 性，又有效地降低了运算过程中的存储量和计算量，能够适应不断变化的复杂 环境，有利于实时处理，进一步提高了检测效果。明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种运动目标检测方法，其特征在于，该方法包括将当前输入图像投影到背景模型上，得到所述当前输入图像的特征图像；将所述特征图像反投影到所述背景模型上，得到所述当前输入图像的重建图像；通过比较所述当前输入图像和所述重建图像，确定所述当前输入图像上的运动目标图像。
2、 根据权利要求1所述的方法，其特征在于，通过比较所述当前输入图 像和所述重建图像，确定所述当前输入图像上的运动目标图像的步骤包括计算所述当前输入图像和所述重建图像上的同 一像素点的像素值的差值， 当该差值大于或等于预先设定的阈值时，将所述像素点作为所述当前输入图像 的运动像素点；将各个所述运动像素点组成所述当前输入图像上的运动目标图像。
3、 根据权利要求1所述的方法，其特征在于，该方法还包括建立所述背 景模型的步骤。
4、 根据权利要求3所述的方法，其特征在于，建立所述背景模型的步骤 包括计算若干帧背景图像的图像均值；通过所述图像均值计算得到所述若干帧背景图像的图像协方差矩阵； 对所述图像协方差矩阵进行特征值分解，得到所述图像协方差矩阵的各个特征值对应的特征向量；按照所述特征值从大到小的顺序，选取若干特征值所对应的特征向量构造投影矩阵，将该投影矩阵作为背景模型。
5、 根据权利要求4所述的方法，其特征在于，所述若干帧背景图像中包 括当前输入图像的前一帧输入图像。
6、 根据权利要求1所述的方法，其特征在于，该方法还包括 对所述运动目标图^f象进行形态学滤波处理，将经过所述形态学滤波处理后的运动目标图像作为最终的检测结果输出。
7、 根据权利要求1所述的方法，其特征在于，将背景模型以及当前输入 图像划分成若干相对应的区域；将当前输入图像上每个区域的图像投影到背景模型上对应区域的图像，得 到当前输入图像上每个区域的特征图像；将当前输入图像上每个区域的特征图像反投影到背景模型上对应区域的 图像，得到当前输入图像上每个区域的重建图像；通过比较所述当前输入图像上每个区域的图像和对应的该区域的重建图 像，确定当前输入图像上每个区域的运动像素点；将当前输入图像上的各个区域的运动像素点拼接成当前输入图像上的运 动目标图像。
8、 一种运动目标检测装置，其特征在于，该装置包括 背景建模单元，用于建立并存储背景模型；前景检测单元，用于将当前输入图像投影到所述背景模型上，得到所述当 前输入图像的特征图像；将所述特征图像反投影到所述背景才莫型上，得到所述 当前输入图像的重建图像；通过比较所述当前输入图像和所述重建图像，确定 所述当前输入图像上的运动目标图像。
9、 根据权利要求8所述的装置，其特征在于，所迷前景检测单元包括 特征图像单元，用于将当前输入图像投影到所述背景模型上，得到所述当前输入图像的特征图像；重建图像单元，用于将所述特征图像反投影到所述背景模型上，得到所述 当前输入图像的重建图像；判定单元，用于计算所述当前输入图像和所述重建图像上的同一像素点的 像素值的差值，当该差值大于或等于预先设定的阈值时，将所述像素点作为所述当前输入图像的运动像素点；将各个所述运动像素点组成所述当前输入图像 上的运动目标图像。
10、 根据权利要求8所述的装置，其特征在于，所述背景建模单元包括 图像均值单元，用于计算若干帧背景图像的图像均值； 图像协方差矩阵单元，用于通过所述图像均值计算所述若干帧背景图像的图像协方差矩阵；特征值分解单元，用于对所述图像协方差矩阵的进行特征值分解，得到所 述图像协方差矩阵的各个特征值对应的特征向量；投影矩阵单元，用于按照所述特征值从大到小的顺序，选取若千特征值所 对应的特征向量构造投影矩阵，将该投影矩阵作为背景模型；存储单元，用于存储背景模型。
11、 根据权利要求IO所述的装置，其特征在于，该装置还包括 背景更新单元，用于将所述当前输入图像作为新增的背景图像，重新构造投影矩阵，更新所述背景模型。
12、 根据权利要求8所述的装置，其特征在于，该装置还包括 形态学滤波单元，用于对所述运动目标图像进行形态学滤波处理，将经过所述形态学滤波处理后的运动目标图像最为最终的检测结果输出。
全文摘要
本发明公开了一种运动目标检测方法及装置，属于图像处理技术领域，用以解决现有运动目标检测技术存在的检测效率及检测的准确率较低的问题。本发明提供的一种运动目标检测方法包括将当前输入图像投影到背景模型上，得到所述当前输入图像的特征图像；将所述特征图像反投影到所述背景模型上，得到所述当前输入图像的重建图像；通过比较所述当前输入图像和所述重建图像，确定所述当前输入图像上的运动目标图像。本发明用于检测运动目标，提高运动目标的检测效率及检测的准确率。
文档编号G06T7/20GK101290682SQ20081011559
公开日2008年10月22日 申请日期2008年6月25日 优先权日2008年6月25日
发明者磊 王 申请人:北京中星微电子有限公司