本发明涉及一种基于行为特征的监控视频语义对象提取的方法。
背景发明
随着社会不断提高的发展，流动人口日趋增多，流动速度日趋变快，人口地快速流动一方面促使社会发展，另一方面对社会治安也带来了不同程度的安全隐患。为了提高社会安全维护社会稳定，当前主要方法是借助教育或宣传日益提高人们安全隐患意识，同时运用监控设备记录案件线索和证据，以便相关部门依据监控视频分析和处理案件。视频监控是由视频采集、压缩编码、显示等设备和控制软件组成，对固定区域实时监控和信息记录，运用网络把监控点视频传播到监控中心，对刑事、治安、交通和城管违章等信息分类。为了强化城市综合管理、预防打击犯罪和突发性治安灾害事故，监控视频提供高质量的影像资料，有效地降低发案率、提高案件侦破效率，同时日益增多的监控点，提高了公众安全感指数，提升政府服务形象。
目前监控视频影像质量较差，视频中的关键对象常常模糊不清、夜间出现黑影等现象。同时当监控视频画面对象较多或对象运动速度较快，监控视频可能出现关键帧丢失或播放不连续等现象，造成无法及时取证和收集案件线索而延误时机。为了提示监控视频质量，最普通的方法是在监控点安装高清摄像头，但高清视频文件存储容量较大，加剧了监控中心视频存储成本成倍增长，这就亟待需要能提供以对象为基础的视频分析处理、编解码算法以便降低存储容量。
目前监控视频关键对象提取及检索主要是通过人工观看视频实现，缺乏机器自动提取和追踪功能,不能对监控视频依对象进行点对点的访问。为了更大发挥监控视频的作用，必须完善或增加监控视频的对象提取、检索和识别功能。
目前监控主要包括天网系统、车载记录仪、学校、医院、进出各大交通要道等重点区域的监控。不同监控视频质量差异较大，编码和存储格式各异，但该信号表达的内容主要由监控摄像头范围内的静止和运动对象组成，静止对象主要提供地址信息，运动对象是视频的主要内容，刻画了罪犯作案的直接线索和证据，它也是人类对视频理解的低层对象。
现有技术的监控视频影像质量较差，实有必要设计一种改进方法。
技术实现要素：
本发明提出一种基于行为特征的监控视频语义对象提取的方法，解决了现有技术监控视频影像质量较差的缺陷。
本发明的发明方案是这样实现的：
一种基于行为特征的监控视频语义对象提取的方法，其包括如下步骤：
(1)统计学习对象的运动速率：以对象运动速率为特征运用聚类算法将监控视频对象进行归类，其次采用统计方法分析静止、普通运动和快速运动对象的运动速率期望和方差，最后以最小错分概率建立目标函数，分析计算三类对象运动速率范围为监控视频对象分级提供数值依据；
(2)监控视频关键帧语义对象提取：运用帧差和2D对数搜索算法对三类对象的区域粗分割；其次为了抑制噪声、纹理对语义对象提 取的影响，对不同对象区域进行保边平滑，同时为了减少系统运行时间，设计了相应的离散处理方法；最后运用水平集曲线演化进行对象提取；
(3)非关键帧语义对象提取：根据运动对象时空连续性及上下文关系，对视频非关键帧的对象进行快速提取。
本发明进一步的改进如下：
进一步地，所述步骤(2)中还包括如下步骤：监控视频关键帧对象区域粗分割，结合对象的时间连续性和低层特征的稳定性，运用光流分析方法计算相邻两帧的差异从而确定运动区域。
进一步地，所述步骤(2)中还包括如下步骤：运动区域保边平滑模型，根据纹理、噪声像素表现，在传统各向同性和异性扩散机理的基础上，建立了运动区域语义对象提取的平滑条件：a)运动区域的平滑子区域的各个像素可表示为区域均值，该子区域像素方差为零；b)运动区域的纹理子区域像素可逼近于一个平滑函数，区域内像素方差趋于零；c)该区域内的强边缘给予保护，同时增强弱边缘。
进一步地，所述步骤(2)中还包括如下步骤：根据区域大部分像素属于同一个对象，像素邻域之间具有较大的相关性，根据这一特点，将该区域的像素及其邻域逼近为局部函数。
进一步地，所述步骤(2)中还包括如下步骤：分析不同迭代次数对应的保边平滑分量不同，提取的对象区域及面积不同，根据这一特性，依据不同保边平滑分量的对象区域建立提取对象的区域置信度函数。
进一步地，所述步骤(3)中还包括如下步骤：搜索卷积结果的最大值，对应的区域即为当前帧对象所在位置，从该帧中提取各个运动对象，并从整幅图像中减去运动对象得到静止对象。
与现有技术相比，本发明具有至少如下有益效果：
本发明根据不同对象在监控视频的作用不同，依对象行为特征将监控视频对象分为三类，弥补了传统视频对象平面提取发明(MPEG-4)以图像底层特征(区域亮度、颜色和纹理差异)进行对象提取的不足。
本发明运用监控视频中对象在时间和空间的连续性，从视频中提取不同语义对象，运用该发明提取的对象可以实现点对点的查寻和对关注对象进行跟踪。便于相关部门从关注对象的角度出发，从监控视频中快速检索和跟踪该对象，提高相关部门案件处理效率。而传统视频对象提取仅仅根据当前帧图像进行对象提取，未考虑视频对象的时间相关性。
本发明运用水平集曲线演化提取视频对象，可得封闭的对象轮廓，弥补了传统基于像素统计分布特性对象提取的不足，比如基于阈值或者边缘的图像分割。同时本发明以平滑分量边缘指示函数作为曲线演化的约束条件，解决了传统基于区域均值CV分割算法的过分割现象。
本发明对运动区域进行一阶多项式逼近，实现了图像平滑区域的均值表示，纹理区域的线性表示，保护了运动区域行列像素的突变，从而保护了图像边缘。对运动区域的行列分别进行多项式逼近保护了对象角点。相对于传统各向同性扩散的高斯平滑保护图像边缘，弥补了各向异性扩散(全变分平滑)伪参数的人为选取。
本发明仅仅利用了当前帧和前一帧对运动对象进行提取，要求计算机缓存较少，不需要离线学习监控视频运动对象的分类特征。相对于传统基于深度学习卷积神经网络的图像分割发明，本发明不需要海量原始数据进行统计学习对象的各级特征。不幸的是监控视频中重要的线索和证据持续时间一般很短，甚至几帧或几秒钟的监控视频中含 有线索和证据。运用包含线索证据的少量视频帧图像进行学习，得到的对象分类特征推广能力较差。
本发明可为监控视频提供基于对象的视频访问、回放、检索、识别和预警等人机交互接口，节约公安刑侦人员从天网监控视频中检索证据的时间，提高办案效率。同时对基于分级对象的监控视频编码提供了语义对象提取发明。
具体实施方式
下面将对本发明实施例中的发明方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通发明人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明根据不同对象对监控的作用不同，将对象分为静止、普通运动和快速运动对象等三类。静止对象具有运动幅度较小或长时期不动的特点，它们在短时间内位置移动和形状变化的几率不大，该类对象主要为天网视频案件线索/证据提供地址信息。普通运动对象的运动速度变化缓慢，它主要由正常行走的行人和正常行驶的车辆等组成。该类对象在监控画面中持续的时间相对较长，如果监控摄像头范围内没有事故或案件发生时，视频画面中的运动区域均由该对象组成。从监控目地来说，该类对象为公安/刑侦等相关部门提供较少的信息。快速运动对象运动速度变化较快，它主要表现为突发性的行为、罪犯作案的关键动作、快 速逃逸的车辆等等。这些行为一般在视频中出现的时间较短，几分钟甚至几秒钟就结束了。但这类对象刻画罪犯作案的直接线索和证据，属于天网视频中的重要对象。本发明依据不同对象在监控视频中的作用，以对象运动速率作为行为特征将监控视频对象分为静止、普通运动和快速运动等三类语义对象。
(1)统计学习对象的运动速率
在监控视频中不同运动速率的对象对视频分析提供的信息不同，为了从视频中提取不同对象的运动速率可信范围，本发明运用统计方法训练学习历史监控视频的三类对象运动速率。首先以对象运动速率为特征运用聚类算法将监控视频对象进行归类，其次采用统计方法分析静止、普通运动和快速运动对象的运动速率期望和方差，最后以最小错分概率建立目标函数，分析计算三类对象运动速率范围为监控视频对象分级提供数值依据。
(2)监控视频关键帧语义对象提取
语义对象是指视频中具有与实体相同性质的目标。对象提取质量直接影响到视频分析处理，视频点对点回放、浏览的质量。本发明对关键帧语义对象提取:首先运用帧差和2D对数搜索算法对三类对象的区域粗分割；其次为了抑制噪声、纹理对语义对象提取的影响，对不同对象区域进行保边平滑，同时为了减少系统运行时间，设计了相应的离散处理方法；最后运用水平集曲线演化进行对象提取。
1)监控视频关键帧对象区域粗分割。
监控视频中相邻两帧对象具有时间连续性和低层特征(亮度和色度)的稳定性：监控视频对象时间连续性是指对象自身运动引起相邻两帧空间位置的差异；低层特征的稳定性是由于相邻两帧采样时间较短(约为40ms)对象的像素特征变化较小甚至不变。本发明结合对象的时间连续性和低层特征的稳定性，运用光流分析方法计算相邻两帧的差异从而确定运动区域。
(1)式中ft+1(x,y),ft(x,y)分别表示时刻t+1,t的视频帧图像，当相邻两帧对应像素的差值大于阈值表示该像素属于运动区域。为了进一步分析运动区域D(x,y)的运动速率，运用2D对数搜索算法分析运动速率，同时结合监控视频中不同对象运动速率的统计范围将区域进行分类并确定区域的运动属性。根据运动属性生成普通运动和快速运动区域标识。
2)运动区域保边平滑模型。
监控视频来源于自然景物的影像，自然景物含有丰富的纹理；同时对象内部存在弱边缘；在视频采集存储过程中受到噪声攻击。纹理，噪声和弱边缘是影响关键帧图像语义对象提取的三个主要因素。为了提高监控视频语义对象分割效果，本发明在自然图像可以表示为卡通和纹理分量之和的基础上，将监控视频的运动区域表示为：
D(x,y)＝uD(x,y)+vD(x,y)+nD(x,y) (2)
2)式中uD(x,y)表示运动区域的卡通分量，该分量对象内部像素特征具有均匀性，对象间存在显著差异，该分量表征了对象的形状信息；vD(x,y)和nD分别表示运动区域的纹理和噪声。纹理和噪声均引起像素变化，但纹理具有一定的规律性，而噪声是随机的、无规律的。它们的统计期望而方差各不相同，分别为：
为了分析提取运动区域的卡通分量，本发明根据纹理、噪声像素表现，在传统各向同性和异性扩散机理的基础上，建立了运动区域语义对象提取的平滑条件：a)运动区域的平滑子区域的各个像素可表示为区域均值，该子区域像素方差为零；b)运动区域的纹理子区域像素可逼近于一个平滑函数，区域内像素方差趋于零；c)该区域内的强边缘给予保护，同时增强弱边缘。从运动区域像素变化出发，结合对象提取的平滑条件建立了平滑目标函数：
结合各向同性和异性扩散的优点，设计了保边平滑分量函数:
在分段平滑表示的基础上，建立了监控视频运动区域保边平滑模型，设计了相应的能量函数：
运用传统全变分算法分析计算能量函数的最优解——保边卡通分量。
3)运动区域保边平滑离散处理。
传统运用梯度下降算法求解(7)式需要多次迭代，系统运行时间较长。本发明根据区域大部分像素属于同一个对象，像素邻域之间具有较大的相关性，根据这一特点，将该区域的像素及其邻域逼近为局部函数。结合语义对象提取的保边平滑条件c)，将局部函数利用泰勒级数展开为一阶多项式函数，建立邻域像素一阶多项式函数逼近的拉格朗日余项函数，运用贪心算法最小化拉格朗日余项分析计算一阶多项式逼近的最大邻域。为了保护区域内对象角点，本发明对区域行列像素f(x)分别进行一元一阶多项式逼近，对分析计算一阶多项式逼近的最大邻域尺寸h*：
式中：gh(x)为方差为σ2高斯核函数，
一元多项式逼近减少了逼近函数参数个数，提高了系统运行时间，同时保护了行列像素突变点。对行列分别逼近保护了对象角点。为了满足语义对象提取的保边平滑条件a)和b)，对图像行列像素进行多次迭代逼近，得到运动区域的保边平滑分量。
4)运动对象提取。
本发明分析了对象轮廓与保边平滑分量边缘之间的关系：对象轮廓点集合是保边平滑分量边缘点集合的子集。根据它们之间的关系，采用保边平滑分量的梯度幅度建立边缘指示函数，将分割曲线C表示为三维空间的Lipschitz函数φ:Ω→R的水平集(φ＝0)，曲线内外区域分别表示φ＜0和φ＞0，本质上运用函数符号表示不同区域。对此引入Heaviside函数H(φ)表示曲线内外区域，曲线C可表示为H(φ)的导数δ(φ)。H(φ)和δ(φ)分别表示如下：
曲线的函数水平集表示将分割曲线演化转化为函数演化。在函数演化过程中，函数φ不能时时满足正则条件为此引入了惩罚项；水平集曲线长度和区域面积减小。基于水平集演化的对象提取能量函数为：
式中表示运动区域的边缘指示函数。
由于本发明采用多次迭代逼近抑制噪声和纹理对对象提取的影响。多次迭代易导致保边性能下降，平滑分量趋于该区域的均值，导致水平集曲线消失，对象提取失效。为了解决这一问题，本发明分析了不同迭代次数对应的保边平滑分量不同，提取的对象区域及面积不同，根据这一特性，依据不同保边平滑分量的对象区域建立提取对象的区域置信度函数。相邻两次迭代平滑分量的分割区域置信度ψ：
式中A表示分割区域{(x,y)|φ(x,y)≤0}，card(·)表示集合·的基数。当分割区域置信度满足ψ(m)≥T时，则停止平滑迭代。依据区域置信度函数自适应确定保边平滑分量迭代次数，防止水平集曲线消失。
由于对象轮廓属于对象外部边缘，所以本发明提取的对象具有完整的语义Mobject，不会将对象的各个子区域进行分割提取。结合(1)步的运动区域属性标识，将分割出的对象识别为普通运动和快速运动对象，从整幅图像中减去运动对象得到静止对象。(3)非关键帧语义对象提取
监控摄像头位置一般是固定的，监控视频中对象位置的变化主要是由监控范围内的对象运动引起，运动对象在时间是连续的，对象在视频画面中的位置不会发生突变，同时在空间上也是连续的。本发明根据运动对象时空连续性——上下文关系，对视频非关键帧的对象进行快速提取。首先根据关键帧ft的运动对象Mobject中心所在位置(x,y)及尺寸大小W×H，结合对象在视频中上下文关系，估计对象在当前帧(非关键帧ft+1)中的区域可能为：中心点为(x,y)尺寸为2W×2H；其次为了解决对象在视频不同帧中的尺寸变化，对当前帧中心点为(x,y)尺寸为2W×2H的区域进行三层拉普拉斯金字塔提取，得到不同尺寸的区域图块：2W×2H，W×H和 最后将关键帧的运动对象区域像素Mobject作为基本卷积核，为了解决对象的旋转变化，本发明将卷积核进行±15度的旋转，得到3个不同的卷积核，并与不同图块进行卷积。搜索卷积结果的最大值，对应的区域即为当前帧对象所在位置。从该帧中提取各个运动对象，并从整幅图像中减去运动对象得到静止对象。
与现有技术相比，本发明具有至少如下有益效果：
本发明根据不同对象在监控视频的作用不同，依对象行为特征将监控视频对象分为三类，弥补了传统视频对象平面提取发明(MPEG-4)以图像底层特征(区域亮度、颜色和纹理差异)进行对象提取的不足。
本发明运用监控视频中对象在时间和空间的连续性，从视频中提取不同语义对象，运用该发明提取的对象可以实现点对点的查寻和对关注对象进行跟踪。便于相关部门从关注对象的角度出发，从监控视频中快速检索和跟踪该对象，提高相关部门案件处理效率。而传统视频对象提取仅仅根据当前帧图像进行对象提取，未考虑视频对象的时间相关性。
本发明运用水平集曲线演化提取视频对象，可得封闭的对象轮廓，弥补了传统基于像素统计分布特性对象提取的不足，比如基于阈值或者边缘的图像分割。同时本发明以平滑分量边缘指示函数作为曲线演化的约束条件，解决了传统基于区域均值CV分割算法的过分割现象。
本发明对运动区域进行一阶多项式逼近，实现了图像平滑区域的均值表示，纹理区域的线性表示，保护了运动区域行列像素的突变，从而保护了图像边缘。对运动区域的行列分别进行多项式逼近保护了对象角点。相对于传统各向同性扩散的高斯平滑保护图像边缘，弥补了各向异性扩散(全变分平滑)伪参数的人为选取。
本发明仅仅利用了当前帧和前一帧对运动对象进行提取，要求计算机缓存较少，不需要离线学习监控视频运动对象的分类特征。相对于传统基于深度学习卷积神经网络的图像分割发明，本发明不需要海量原始数据进行统计学习对象的各级特征。不幸的是监控视频中重要的线索和证据持续时间一般很短，甚至几帧或几秒钟的监控视频中含有线索和证据。运用包含线索证据的少量视频帧图像进行学习，得到的对象分类特征推广能力较差。
本发明可为监控视频提供基于对象的视频访问、回放、检索、识别和预警等人机交互接口，节约公安刑侦人员从天网监控视频中检索证据的时间，提高办案效率。同时对基于分级对象的监控视频编码提供了语义对象提取发明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则的内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围的内。