基于亮度闪烁修正及IP camera的动态目标检测方法
【专利摘要】本发明公开了基于亮度闪烁修正及IP?camera的动态目标检测方法，其首先利用亮度闪烁修正技术，将存在亮度闪烁的帧图像中的全局或局部闪烁修正，再通过基于随机理论的背景模型分类出动态目标。本发明旨在为室内环境中光源多样且多变的情况下提供可靠的动态目标检测方法，该方案能够适用于室内环境下存在多种复杂光源（如电视，电灯等）场合的智能监控。
【专利说明】基于亮度闪烁修正及IP camera的动态目标检测方法
【技术领域】
[0001]本发明涉及计算机视觉和数字视频修复【技术领域】，特别涉及基于亮度闪烁修正的以IP camera为载体的室内环境下动态目标的检测技术。
【背景技术】
[0002]随着网络技术的发展，智能视频监控正处在从模拟监控向全IP网络智能化数字监控的方向发展。智能视频监控是在不需要人为干预的情况下利用计算机视觉技术及模式识别技术对视频信号进行处理、分析和理解，并以此为依据对图像序列自动分析，对监控场景中的变化进行定位、识别和跟踪，在此基础上对目标的行为进行分析和预判，能在异常情况发生时及时发出警报或提供有用信息，有效地协助安全人员处理危机，并最大限度地降低误报和漏报现象。
[0003]在智能视频监控应用中，人们感兴趣的通常只是与前景目标(如人、汽车、宠物等)相关的信息，这些信息包括运动目标的外观、位置、运动方向、运动速度以及目标间的交互等。这些信息都隐藏在非结构化非语义的视频片段中，并不能直接读取。同时在多数时间的大部分实际场景中没有目标只有背景，即使视频中存在运动目标，背景也占有相对较大的比例，也就是说监控视频中的大部分数据并不是人们感兴趣的，但感兴趣的信息大都隐藏在难以获取的大量非结构化的像素中，运动目标检测就是利用计算机视觉处理方法将这些信息提取出来，把动态目标在图像序列中对应起来，为后续的身份识别及行为分析操作提供数据。
[0004]动态目标检测方法可以被看成为帧图像中所有像素的分类问题，即根据每一个像素点的像素值及其对应的时空域信息判断该像素点属于前景(运动目标)或背景。室内环境中动态目标检测受各种不同的因素干扰，其中最为常见的干扰之一就是由于不同类型的照明设备的使用造成的全局或局部的光线突变，这一失真现象在数字视频修复【技术领域】被称为亮度闪烁。由于这一现象的存在，场景中相对静止部分在帧图像中的像素值也随之发生突变，从而导致分类错误。
[0005]现有的通用背景提取技术，例如专利号为W02009/007198的专利(visualbackground extractor, ViBe)对于各种视频流、不同颜色空间、多种场景内容及变化的场景都适用。并且首次采用随机选择机制和邻域传播机制来建立和更新背景模型，从而有效提高了准确度，增加了抗噪能力且减少了计算代价。根据该专利发明人M.VanDroogenbroeck 以及 0.Barnich 在 2011 年发表的文章 “ViBe:A universal backgroundsubtraction algorithm for video sequences”中的叙述，由于该背景提取技术仅利用图像序列中的一帧就可以初始化背景模型，因此在处理光线突变时，只需重新初始化背景模型就可以避免这一变化对背景模型更新的影响。在室内环境特别是家庭环境中，光线突变形成的原因除了开关灯外，还包括如电视机开关及播放等，这些都会对监控环境的光线造成影响。由于电视播放动态信息引起的光源闪烁而造成的室内环境光线变化频繁，如果直接利用ViBe技术进行动态目标检测可能导致由于背景模型无法连续更新造成的动态目标正确检测率降低。
【发明内容】
[0006]针对上述现有动态目标检测技术存在的问题，本发明的目的在于提出了一种基于亮度闪烁修正及IP camera的动态目标检测方法，以此来克服室内环境中大量存在的由于照明设备打开、关闭或其它光源频繁闪烁造成的图像序列中全局或局部亮度闪烁无法正确分类前景背景的局限。
[0007]为了达到上述目的，本发明采用如下的技术方案:
[0008]基于亮度闪烁修正及IP camera的动态目标检测方法，所述检测方法首先利用亮度闪烁修正技术，将存在亮度闪烁的帧图像中的全局或局部闪烁修正，再通过基于随机理论的背景模型分类出动态目标。
[0009]在本方法的优选实例中，所述检测方法具体包括如下步骤:
[0010](I)预处理:对通过网络传输的帧图像的完整性进行判断，对信息完整的帧图像进行图像质量提升；
[0011](2)初始化背景模型:利用采集到信息完整的第一帧图像，初始化动态目标检测模型的参数，建立背景模型，并调整该帧图像的亮度值；
[0012](3)亮度闪烁检测及修正:参考第一帧图像的亮度值，利用亮度闪烁修正技术对图像序列中可能出现的亮度闪烁进行检测并修正；
[0013](4)背景模型更新:根据亮度闪烁修正后的帧图像及建立的背景模型对当前帧图像中的像素点进行分类，并更新背景模型，获取前景掩膜；
[0014](5)后处理:对获得的前景掩膜进行数学形态学的膨胀腐蚀操作，提高检测到的动态目标的完整性，并去除掉可能存在的非前景分散在背景处的分类错误的点。
[0015]进一步的，所述步骤(I)中进行预处理时，利用SAD技术，比较垂直方向上三个大小为36X36的相临块之间的SAD值，排除由于网络传输原因造成的不完整或解码错误的图像。
[0016]进一步的，所述步骤(I)中的预处理操作包括:a)对比度增强；b)数学形态学增强；c)边缘增强；d)灰度拉伸。
[0017]进一步的，所述步骤(3)中利用亮度闪烁修正技术进行检测及修正时，均以块为单位。
[0018]再进一步的，所述检测及修正的过程如下:根据闪烁的线性模型，通过颜色空间转换，利用基于块的快速搜索方法对运动物体进行运动矢量估计，获取各块在垂直与水平方向的运动矢量，通过比较前后帧图像对应块的亮度均值，检测是否存在亮度闪烁，如果存在亮度闪烁，则估计出亮度闪烁线性模型中的乘性因子和加性因子，并以此为依据对图像序列中的存在的全局或局部亮度闪烁进行修正。
[0019]进一步的，所述步骤(4)中更新背景模型时，利用基于随机理论的背景建模方法，根据亮度闪烁修正后的帧图像对已经建立的背景模型进行更新，更新阶段在二维欧式空间根据预先定义半径的球和阈值，对每一帧图像中的所有像素点进行分类，得到前景掩膜即动态目标掩膜。
[0020]本发明提供的方案利用数字视频修复技术中的亮度闪烁技术修正由于光源变化造成的全局或局部亮度闪烁，结合基于随机理论的背景提取技术，从而在提高动态目标检测的正确检测率的同时减少错误分类结果。该方案能够适用于室内环境下存在多种复杂光源(如电视，电灯等)场合的智能监控。
[0021]本发明的优点在于:利用SAD值对网络传输原因及编解码原因造成的信息不完整的帧图像进行排除，避免由于信息丢失的帧图像造成动态目标的错误检测。
[0022]利用亮度闪烁在空间分布上光滑的特性，通过建立闪烁的线性模型，结合采用三步搜索法的运动矢量估计，通过计算机前后帧对应块之间的亮度均值差判断是否存在亮度闪烁，对存在该现象的块估计出线性模型的乘性因子和加性因子，并以此为依据修正闪烁现象，避免在动态目标检测阶段由于亮度闪烁的存在造成误检测。
[0023]利用基于随机理论建立的背景模型和随机采样机制对帧图像中的像素点进行分类，由于该方法随机性较强，每一次的动态目标检测结果都略有不同，因此该分类过程分别进行两次，再将两次结果进行逻辑“与”操作，提高目标检测的正确性。
【专利附图】
【附图说明】
[0024]以下结合附图和【具体实施方式】来进一步说明本发明。
[0025]图1是本发明方法的流程示意图；
[0026]图2(a)是在网络情况较差时获取到的图像序列中发生数据丢失的第3帧效果图；
[0027]图2(b)是在网络情况较差时获取到的图像序列中发生数据丢失的第64帧效果图；
[0028]图2(c)是在网络情况较差时获取到的图像序列中发生数据丢失的第107帧效果图；
[0029]图2(d)是在网络情况较差时获取到的图像序列中发生数据丢失的第180帧效果图；
[0030]图3是以IP Camera在网络情况较差时获取的图像序列中的第180帧图像为例的SAD值对比示意图；
[0031]图4(a)是利用IP Camera在室内环境中获取的开关灯瞬间的图像序列的第I帧效果图；
[0032]图4(b)是利用IP Camera在室内环境中获取的开关灯瞬间的图像序列的第11帧效果图；
[0033]图4(c)是利用IP Camera在室内环境中获取的开关灯瞬间的图像序列的第22帧效果图；
[0034]图4(d)是利用IP Camera在室内环境中获取的开关灯瞬间的图像序列的第24帧效果图；
[0035]图5是原始图像与亮度闪烁修正后的图像的亮度均值绘制的ROCOteceiverOperating Characteristic)曲线对比不意图；
[0036]图6是基于随机理论背景模型更新准则的示意图；
[0037]图7是利用本发明中的背景提取方法获取的前景掩膜示意图；
[0038]图8是利用本发明中的背景提取方法获取的前景掩膜示意图。【具体实施方式】
[0039]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0040]参见图1，其所示为本发明进行动态目标检测的流程图。由图可知，整个检测过程前后包括:1.图像帧预处理、2.初始化背景模型、3.亮度闪烁检测及修正、4.背景模型更新、以及5.后处理，五个步骤。
[0041]以下结合附图1对本发明的方案进一步的展开说明。
[0042]步骤1.图像帧预处理；
[0043]该步骤开始于图像序列的采集，由于IP camera采集相应的图像数据，并将采集的图像序列数据通过网络传输。由于通过网络传输，帧图像在传输过程中可能会出现由于网络原因造成解码后图像数据的不完整。参见图2(a)、(b)、(C)和⑷这四幅附图为在网络情况较差时获取到的图像序列中发生数据丢失的第3帧、第64帧、第107帧和第180帧的帧图像效果图。
[0044]从图2可以看出，帧图像的信息发生错误时均是延垂直方向的，这一现象主要是由于目前大多数IP camera为了提高数据压缩率而采用了 H.264的编解码方式。基于此，为了避免类似帧图像对动态目标检测结果的影响，采用SAD技术对通过网络传输的帧图像进行检测，判断当前的帧图像是否存在数据不完整的情况。具体的是通过比较垂直方向上三个大小为36X36的相临块之间的SAD值，排除由于网络传输原因造成的不完整或解码错误的图像。
[0045]本发明中假设当前帧图像如图3如示，图中块A、B和C为垂直方向上相邻的大小为NXN的块，根据以下公式分别计算A、B之间以及B、C之间的SAD值: [0046]
【权利要求】
1.基于亮度闪烁修正及IPcamera的动态目标检测方法，其特征在于，所述检测方法首先利用亮度闪烁修正技术，将存在亮度闪烁的帧图像中的全局或局部闪烁修正，再通过基于随机理论的背景模型分类出动态目标。
2.根据权利要求1所述的基于亮度闪烁修正及IPcamera的动态目标检测方法，其特征在于，所述检测方法具体包括如下步骤: (1)预处理:对通过网络传输的帧图像的完整性进行判断，对信息完整的帧图像进行图像质量提升； (2)初始化背景模型:利用采集到信息完整的第一帧图像，初始化动态目标检测模型的参数，建立背景模型，并调整该帧图像的亮度值； (3 )亮度闪烁检测及修正:参考第一帧图像的亮度值，利用亮度闪烁修正技术对图像序列中可能出现的亮度闪烁进行检测并修正； (4)背景模型更新:根据亮度闪烁修正后的帧图像及建立的背景模型对当前帧图像中的像素点进行分类，并更新背景模型，获取前景掩膜； (5)后处理:对获得的前景掩膜进行数学形态学的膨胀腐蚀操作，提高检测到的动态目标的完整性，并去除掉可能存在的非前景分散在背景处的分类错误的点。
3.根据权利要求2所述的基于亮度闪烁修正及IPcamera的动态目标检测方法，其特征在于，所述步骤(I)中进行预处理时，利用SAD技术，比较垂直方向上三个大小为36X36的相临块之间的SAD值，排除由于网络传输原因造成的不完整或解码错误的图像。
4.根据权利要求2或3所述的基于亮度闪烁修正及IPcamera的动态目标检测方法，其特征在于，所述步骤(I)中的预处理操作包括:a)对比度增强；b)数学形态学增强；c)边缘增强；d)灰度拉伸。
5.根据权利要求2所述的基于亮度闪烁修正及IPcamera的动态目标检测方法，其特征在于，所述步骤(3)中利用亮度闪烁修正技术进行检测及修正时，均以块为单位。
6.根据权利要求5所述的基于亮度闪烁修正及IPcamera的动态目标检测方法，其特征在于，所述检测及修正的过程如下:根据闪烁的线性模型，通过颜色空间转换，利用基于块的快速搜索方法对运动物体进行运动矢量估计，获取各块在垂直与水平方向的运动矢量，通过比较前后帧图像对应块的亮度均值，检测是否存在亮度闪烁，如果存在亮度闪烁，则估计出亮度闪烁线性模型中的乘性因子和加性因子，并以此为依据对图像序列中的存在的全局或局部亮度闪烁进行修正。
7.根据权利要求2所述的基于亮度闪烁修正及IPcamera的动态目标检测方法，其特征在于，所述步骤(4)中更新背景模型时，利用基于随机理论的背景建模方法，根据亮度闪烁修正后的帧图像对已经建立的背景模型进行更新，更新阶段在二维欧式空间根据预先定义半径的球和阈值，对每一帧图像中的所有像素点进行分类，得到前景掩膜即动态目标掩膜。
【文档编号】H04N19/51GK103945089SQ201410158366
【公开日】2014年7月23日 申请日期:2014年4月18日 优先权日:2014年4月18日
【发明者】张然然, 廖小勇, 杨松绍, 罗友军, 徐家君 申请人:上海复控华龙微系统技术有限公司