一种视频图像中前景停留时间的估计方法及装置制造方法
【专利摘要】本发明公开了一种视频图像中前景停留时间的估计方法及装置，本发明中，确定视频图像中的前景，将视频图像中的前景像素进行聚类，得到至少两种类别的前景像素；分别确定每种类别的前景像素的停留时间。通过本发明能够针对每种前景像素内部特征进行单独估计，故能够较为准确的估计出视频图像中的前景像素的停留时间，提高前景停留时间估计的准确度。
【专利说明】一种视频图像中前景停留时间的估计方法及装置
【技术领域】
[0001] 本发明涉及视频监控领域，尤其涉及一种视频图像中前景停留时间的估计方法及 装直。
【背景技术】
[0002] 前景，相对背景而言，是指在视频画面中发生过移动的事物，例如行走的人和动 物、行驶的汽车、或者处于某一位置静止一段时间但是曾经不在该位置的人群，都可以认为 是前景。前景停留时间估计，是指对输入的视频中的前景的停留时间进行估计。视频图像 中的前景包括的像素为前景像素。前景停留时间估计一般会对输入的每一帧视频图像的每 个前景像素，都计算出一个正数，计算出的正数就是该前景像素停留的时间。
[0003] 前景停留时间估计，在多种行业中都具有广泛的应用。例如，在安防行业中，通过 对前景停留时间的估计，可以分析群组成员之间的关系（人群的聚集、人群的暂驻、人群的 迁址和人群的形变等），进行人群行为预测和异常行为检测。再例如，在交通管控中，静止 的人群或车辆，会阻碍并改变已有的人潮的速度和方向，进而会引起交通模式的改变，故可 利用前景停留时间估计方法，研究静止人群或车辆，何时出现并停留多长时间，进行交通控 制。
[0004] 目前，前景停留时间的估计方法，主要有基于背景检测的估计方法和基于跟踪算 法的估计方法。基于背景检测的估计方法中，对每一帧视频图像进行背景像素提取，进而可 得到前景像素，对得到的每个前景像素进行时间估计，得到前景像素的停留时间。由于视频 图像中的前景物体的密度较大，可能还会具有很多遮挡，并且很多前景物体还具有局部的 移动，这些都会成为前景时间估计中的噪声，采用背景检测的估计方法，不能克服以上各种 噪声，估计结果不准确，例如采用背景检测的估计方法无法区分同一个像素上连续出现的 不同前景，会将同一个前景的局部运动误判为新出现的前景而重新估计停留时间，还会把 静止的前景误判为背景。
[0005] 基于跟踪算法的估计方法，一般是在视频图像中选取一些容易与周围像素区分、 并比较有信息量的像素点作为特征点，然后对选取的特征点进行跟踪，基于跟踪结果得到 停留时间的估计结果。然而由于各种原因（例如人群较多），跟踪经常出现错误，导致估计 时间不准确。
【发明内容】
[0006] 本发明实施例提供一种视频图像中前景停留时间的估计方法及装置，以提高前景 停留时间估计的准确度。
[0007] 第一方面，提供一种视频图像中前景停留时间的估计方法，包括：
[0008] 确定视频图像中的前景，其中，所述视频图像中的前景包括的像素为前景像素；
[0009] 将所述前景像素进行聚类，得到至少两种类别的前景像素；
[0010] 分别确定每种所述类别的前景像素的停留时间。 toon] 结合第一方面，在第一种实现方式中，确定视频图像中的前景，包括：
[0012] 对所述视频图像中的每一帧视频图像的每个像素进行初始前景估计，得到视频图 像中的初始前景；
[0013] 对所述初始前景进行修正，得到修正的前景；
[0014] 将所述修正的前景作为所述视频图像中的前景。
[0015] 结合第一方面的第一种实现方式，在第二种实现方式中，所述方法还包括：
[0016] 分别提取所述视频图像中的每一帧视频图像的每个像素的特征值，并将所述特征 值组合成五维的特征向量，所述特征值包括表征像素三通道颜色空间的每个通道的分量 值，以及表征像素位置的行方向数值和列方向数值；
[0017] 设定所述视频图像中的前景像素被聚类为Μ类，每个类别对应一个聚类中心，所 述聚类中心是五维向量，将所述聚类中心组合成第一矩阵，所述第一矩阵为5*Μ的矩阵，其 中，Μ为不小于2的正整数；
[0018] 相应的，将所述视频图像中的所述前景像素进行聚类，得到至少两种类别的前景 像素，包括：
[0019] 根据初始前景像素估计结果、所述特征向量和所述第一矩阵，对所述视频图像中 的每一帧视频图像的每个像素进行编码约束，得到Μ维的编码向量，所述编码向量的分量 为0或1，且最多有一个等于1的分量，其中，Μ为不小于2的正整数，初始前景像素估计结 果为对所述视频图像中的每一帧视频图像的每个像素进行初始前景估计的结果；
[0020] 若编码向量中的第i个分量等于1，则确定当前像素为第i类前景像素，其中i为 正整数。
[0021] 结合第一方面的第二种实现方式，在第三种实现方式中，对所述视频图像中的每 一帧视频图像的每个像素进行编码约束，得到Μ维的编码向量，包括：
[0022] 按照如下公式，对所述视频图像中的每一帧视频图像的每个像素进行编码约束：
[0023]
【权利要求】
1. 一种视频图像中前景停留时间的估计方法，其特征在于，包括： 确定视频图像中的前景，其中，所述视频图像中的前景包括的像素为前景像素； 将所述前景像素进行聚类，得到至少两种类别的前景像素； 分别确定每种所述类别的前景像素的停留时间。
2. 如权利要求1所述的方法，其特征在于，确定视频图像中的前景，包括： 对所述视频图像中的每一帧视频图像的每个像素进行初始前景估计，得到视频图像中 的初始前景； 对所述初始前景进行修正，得到修正的前景； 将所述修正的前景作为所述视频图像中的前景。
3. 如权利要求2所述的方法，其特征在于，所述方法还包括： 分别提取所述视频图像中的每一帧视频图像的每个像素的特征值，并将所述特征值组 合成五维的特征向量，所述特征值包括表征像素三通道颜色空间的每个通道的分量值，以 及表征像素位置的行方向数值和列方向数值； 设定所述视频图像中的前景像素被聚类为Μ类，每个类别对应一个聚类中心，所述聚 类中心是五维向量，将所述聚类中心组合成第一矩阵，所述第一矩阵为5*Μ的矩阵，其中，Μ 为不小于2的正整数； 相应的，将所述前景像素进行聚类，得到至少两种类别的前景像素，包括： 根据初始前景像素估计结果、所述特征向量和所述第一矩阵，对所述视频图像中的每 一帧视频图像的每个像素进行编码约束，得到Μ维的编码向量，所述编码向量的分量为0或 1，且最多有一个等于1的分量，其中，Μ为不小于2的正整数，初始前景像素估计结果为对 所述视频图像中的每一帧视频图像的每个像素进行初始前景估计的结果； 若编码向量中的第i个分量等于1，则确定当前像素为第i类前景像素，其中i为正整 数。
4. 如权利要求3所述的方法，其特征在于，对所述视频图像中的每一帧视频图像的每 个像素进行编码约束，得到Μ维的编码向量，包括： 按照如下公式，对所述视频图像中的每一帧视频图像的每个像素进行编码约束：
通过求解所述编码约束，得到所述视频图像中的每一帧视频图像的每个像素的Μ维的 编码向量； 其中，ct为所有像素的编码向量集合，D为第一矩阵，Ρ为当前像素，Ιρ为像素 ρ的特 征向量，up为像素 ρ的初始前景像素估计结果,up = 1表示像素 ρ为前景像素,up = 0表示 像素 P为背景像素，ctp为像素 ρ的编码向量，η为设定的参数值，| | ap| L为像素 P的编 码向量的1范数，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特征向量与像素 P所属类别的聚类中心之间的差异，d2(| | ap| IpUp)表示修正前景像素 估计结果与初始前景像素估计结果之间的差异，
表示所有修正前景像素 的特征向量与其所属类别的聚类中心的差异的总和，
表示所有像素的修正 前景像素估计结果与初始前景像素估计结果之间差异的总和，Q(D，α)为
与
的加权和。
5. 如权利要求3所述的方法，其特征在于，对所述视频图像中的每一帧视频图像的每 个像素进行编码约束，得到Μ维的编码向量，包括： 按照公式
对所述视频图像中 的每一帧视频图像的每个像素进行第一编码约束； 按照公式
对所述视频图像中的每一帧视 频图像的每个像素进行第二编码约束； 通过求解第一编码约束和第二编码约束结合后的优化约束，得到所述视频图像中的每 一帧视频图像的每个像素的Μ维的编码向量； 其中，ct为所有像素的编码向量集合，D为第一矩阵，Ρ为当前像素，Ιρ为像素 ρ的特 征向量，up为像素 ρ的初始前景像素估计结果,up = 1表示像素 ρ为前景像素,up = 0表示 像素 P为背景像素，ctp为像素 ρ的编码向量，η为设定的参数值，| | ap| L为像素 P的编 码向量的1范数，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特征向量与像素 P所属类别的聚类中心之间的差异，d2(| | ap| IpUp)表示修正前景像素 估计结果与初始前景像素估计结果之间的差异，
表示所有修正前景像素的 特征向量与其所属类别的聚类中心的差异的总和，
表示所有像素的修正前 景像素估计结果与初始前景像素估计结果之间差异的总和，Q(D，α )为
与
的加权和；
表示像素个数，
表示αρ在视频图像所在坐标系水平方向和时间方向的二阶有 限差分算子，
表示α ρ在视频图像所在坐标系坚直方向和时间方向的二阶有限差分算 子，n()表示向量的范数，c(a)为一组像素的个数，该组内的像素满足像素的编码向量在 视频图像所在坐标系水平方向和时间方向的二阶有限差分的范数与在视频图像所在坐标 系坚直方向和时间方向的二阶有限差分的范数的总和不等于零。
6. 如权利要求5所述的方法，其特征在于，通过求解第一编码约束和第二编码约束结 合后的优化约束，得到所述视频图像中的每一帧视频图像的每个像素的Μ维的编码向量， 包括： 按照优化条件
αρ = {〇, 1}Μ，| | ap| L彡1，求解第一编码约束和 第二编码约束结合后的优化约束，得到所述视频图像中的每一帧视频图像的每个像素的Μ 维的编码向量； 其中，
1为
与
的加权和，
表示 所有修正前景像素的特征向量与其所属类别的聚类中心的差异的总和，
表示所有像素的修正前景像素估计结果与初始前景像素估计结果之间差异的总 和，di (Da p，Ip)表示像素 p的特征向量与像素 p所属类别的聚类中心之间的差异， d2(| I ap| 表示修正前景像素估计结果与初始前景像素估计结果之间的差异，a为所 有像素的编码向量集合，D为第一矩阵，P为当前像素，Ip为像素 p的特征向量，up为像素 P的初始前景像素估计结果，up = 1表示像素 p为前景像素，up = 0表示像素 p为背景像 素，ctp为像素 p的编码向量，η为设定的参数值，I I ap| li为像素 p的编码向量的1范数， {p| I I αΡΙ Ιι = 1丨表示I I αΡΙ Ιι = 1的像素集合，c(a)为一组像素的个数，该组内的像素 满足像素的编码向量在视频图像所在坐标系水平方向和时间方向的二阶有限差分的范数 与在视频图像所在坐标系坚直方向和时间方向的二阶有限差分的范数的总和不等于零，入 为设定的参数。
7. 如权利要求2至6任一项所述的方法，其特征在于，确定每种所述类别的前景像素的 停留时间，包括： 判断在所述视频图像中的前一帧视频图像中，是否存在与当前前景像素属于同一类的 前景像素； 若存在，则在与当前前景像素属于同一类的前景像素的停留时间的基础上累加当前前 景像素的停留时间，得到前景像素的停留时间； 若不存在，则以当前前景像素所在的当前帧作为时间起始点，累加当前前景像素的停 留时间，得到前景像素的停留时间。
8. -种视频图像中前景停留时间的估计装置，其特征在于，包括确定单元、聚类单元和 估计单元，其中， 所述确定单元，用于确定视频图像中的前景，其中，所述视频图像中的前景包括的像素 为前景像素； 所述聚类单元，用于将所述确定单元确定的所述前景包括的前景像素进行聚类，得到 至少两种类别的前景像素，并向所述估计单元输出所述至少两种类别的前景像素； 所述估计单元，用于分别确定所述聚类单元聚类得到的每种所述类别的前景像素的停 留时间。
9. 如权利要求8所述的装置，其特征在于，该装置还包括初始估计单元， 所述初始估计单元，用于对所述视频图像中的每一帧视频图像的每个像素进行初始前 景估计，得到视频图像中的初始前景，并向所述确定单元输出所述初始前景； 相应的，所述确定单元具体用于按如下方式确定所述视频图像中的前景： 对所述初始估计单元进行初始估计得到的初始前景进行修正，得到修正的前景，将所 述修正的前景作为所述前景。
10. 如权利要求9所述的装置，其特征在于，所述装置还包括提取单元和设定单元， 所述提取单元，用于： 分别提取所述视频图像中的每一帧视频图像的每个像素的特征值，并将所述特征值组 合成五维的特征向量，向所述聚类单元输出所述特征向量，所述特征值包括表征像素三通 道颜色空间的每个通道的分量值，以及表征像素位置的行方向数值和列方向数值； 所述设定单元，用于设定所述视频图像中的前景像素被聚类为Μ类，每个类别对应一 个聚类中心，所述聚类中心是五维向量，将所述聚类中心组合成第一矩阵，所述第一矩阵为 5*Μ的矩阵，向所述聚类单元输出所述第一矩阵，其中，Μ为不小于2的正整数； 相应的，所述聚类单元，具体用于按如下方式将所述视频图像中的所述前景像素进行 聚类，得到至少两种类别的前景像素： 根据初始前景像素估计结果、所述特征向量和所述第一矩阵，对输入的每一帧视频图 像的每个像素进行编码约束，得到Μ维的编码向量，所述编码向量的分量为0或1，且最多有 一个等于1的分量，其中，Μ为不小于2的正整数，初始前景像素估计结果为对所述视频图 像中的每一帧视频图像的每个像素进行初始前景估计的结果； 若编码向量中的第i个分量等于1，则确定当前像素为第i类前景像素，其中i为正整 数。
11. 如权利要求10所述的装置，其特征在于，所述聚类单元，具体用于按照如下方式根 据初始前景像素估计结果、所述特征向量和所述第一矩阵，对所述视频图像中的每一帧视 频图像的每个像素进行编码约束，得到Μ维的编码向量： 按照如下公式，对所述视频图像中的每一帧视频图像的每个像素进行编码约束：
通过求解所述编码约束，得到所述视频图像中的每一帧视频图像的每个像素的Μ维的 编码向量； 其中，ct为所有像素的编码向量集合，D为第一矩阵，Ρ为当前像素，Ιρ为像素 ρ的特 征向量，up为像素 ρ的初始前景像素估计结果,up = 1表示像素 ρ为前景像素,up = 0表示 像素 P为背景像素，ctp为像素 ρ的编码向量，η为设定的参数值，| | ap| L为像素 P的编 码向量的1范数，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特征向量与像素 P所属类别的聚类中心之间的差异，d2(| | ap| IpUp)表示修正前景像素 估计结果与初始前景像素估计结果之间的差异，
表示所有修正前景像素的 特征向量与其所属类别的聚类中心的差异的总和，
表示所有像素的修正前 景像素估计结果与初始前景像素估计结果之间差异的总和，Q(D，α )为
与
的加权和。
12. 如权利要求10所述的装置，其特征在于，所述聚类单元，具体用于按照如下方式根 据初始前景像素估计结果、所述特征向量和所述第一矩阵，对所述视频图像中的每一帧视 频图像的每个像素进行编码约束，得到Μ维的编码向量： 按照公式
对所述视频图像中 的每一帧视频图像的每个像素进行第一编码约束； 按照公式
对所述视频图像中的每一帧视 频图像的每个像素进行第二编码约束； 通过求解第一编码约束和第二编码约束结合后的优化约束，得到所述视频图像中的每 一帧视频图像的每个像素的Μ维的编码向量； 其中，ct为所有像素的编码向量集合，D为第一矩阵，Ρ为当前像素，Ιρ为像素 ρ的特 征向量，up为像素 ρ的初始前景像素估计结果,up = 1表示像素 ρ为前景像素,up = 0表示 像素 P为背景像素，ctp为像素 ρ的编码向量，η为设定的参数值，| | ap| L为像素 P的编 码向量的1范数，{p| I I ap| L = 1}表示I I ap| L = 1的像素集合，cMD%，Ip)表示像素 ρ 的特征向量与像素 P所属类别的聚类中心之间的差异，d2(| | ap| IpUp)表示修正前景像素 估计结果与初始前景像素估计结果之间的差异，
表示所有修正前景像素的 特征向量与其所属类别的聚类中心的差异的总和，
表示所有像素的修正前 景像素估计结果与初始前景像素估计结果之间差异的总和，Q(D，α )为
与
的加权和；
表示像素个数，
表示αρ在视频图像所在坐标系水平方向和时间方向的二阶有 限差分算子，
表示α ρ在视频图像所在坐标系坚直方向和时间方向的二阶有限差分算 子，n()表示向量的范数，c(a)为一组像素的个数，该组内的像素满足像素的编码向量在 视频图像所在坐标系水平方向和时间方向的二阶有限差分的范数与在视频图像所在坐标 系坚直方向和时间方向的二阶有限差分的范数的总和不等于零。
13.如权利要求12所述的装置，其特征在于，所述聚类单元，具体用于： 按照优化条件
αρ= {〇，1}'||%||1彡1，求解第一编码约束和 第二编码约束结合后的优化约束，得到所述视频图像中的每一帧视频图像的每个像素的Μ 维的编码向量； 其中，Q(D，a)为
的加权和，
表示所 有修正前景像素的特征向量与其所属类别的聚类中心的差异的总和，
表示 所有像素的修正前景像素估计结果与初始前景像素估计结果之间差异的总和，屯(D a p，Ip) 表示像素 P的特征向量与像素 P所属类别的聚类中心之间的差异，d2(| I ap| 表示修 正前景像素估计结果与初始前景像素估计结果之间的差异，a为所有像素的编码向量集 合,D为第一矩阵，P为当前像素，I p为像素 ρ的特征向量，up为像素 ρ的初始前景像素估计 结果，up = 1表示像素 ρ为前景像素，up = 0表示像素 ρ为背景像素 ，a p为像素 ρ的编码 向量，Π 为设定的参数值，I I ap| L为像素 P的编码向量的1范数，{p| | | ap| L = 1}表示 I αρ| li = 1的像素集合，C(a )为一组像素的个数，该组内的像素满足像素的编码向量在 视频图像所在坐标系水平方向和时间方向的二阶有限差分的范数与在视频图像所在坐标 系坚直方向和时间方向的二阶有限差分的范数的总和不等于零，λ为设定的参数。
14.如权利要求9至13任一项所述的装置，其特征在于，所述装置还包括判断单元，其 中： 所述判断单元，用于判断在所述视频图像中的前一帧视频图像中是否存在与当前前景 像素属于同一类的前景像素； 相应的，所述估计单元具体用于按如下方式确定每种所述类别的前景像素的停留时 间： 若所述判断单元判断结果为在所述视频图像中的前一帧视频图像中存在与当前前景 像素属于同一类的前景像素，则在与当前前景像素属于同一类的前景像素的停留时间的基 础上累加当前景像素的停留时间，得到前景像素的停留时间； 若所述判断单元判断结果为在所述视频图像中的前一帧视频图像中不存在与当前前 景像素属于同一类的前景像素，则以当前前景像素所在的当前帧作为时间起始点，累加当 前前景像素的停留时间，得到前景像素的停留时间。
【文档编号】G06T7/00GK104050665SQ201410253862
【公开日】2014年9月17日 申请日期:2014年6月10日 优先权日:2014年6月10日
【发明者】伊帅, 王晓刚, 卢策吾, 贾佳亚, 梁炎, 刘健庄 申请人:华为技术有限公司