一种基于机器学习的视频异常检测方法
【专利摘要】一种基于机器学习的视频异常检测方法，包括以下步骤：1）视频文件读入：将视频文件以一帧一帧的bmp图像数据读入；2）视频异常检测：对分解出的图像进行检测，过程如下：a）画面过亮、画面过暗；b）增益紊乱；c）模糊、被遮挡；d）条带状干扰、滚屏；e）雪花干扰；f）抖动；g）偏色；h）冻结；i）蓝、黑屏；3）机器学习：将判断为异常的视频，根据异常代码与数据库中存在的同类型误判的视频进行相似度比较，判断当前视频是否属于误判情况。本发明检测全面、具有自我学习改善能力、准确度较高。
【专利说明】一种基于机器学习的视频异常检测方法
【技术领域】
[0001]本发明涉及了图像处理、视频相似度计算和机器学习等【技术领域】，主要内容为一种基于机器学习的视频异常检测方法。
【背景技术】
[0002]随着我国社会的发展和电子领域的兴起，视频监控系统已经非常广泛的应用于各行各业中，不再局限于往日的治安、金融、银行、交通、军队和口岸等特殊领域，在我们日常生活触手能及的社区、写字楼、酒店、公共场所、工厂、商场、小区，甚至家庭，都已安装了视频监控系统。但随着应用场合监控摄像机数量的不断增加，监控的时间不断延长，人工实时对监控软件的维护越来越难，所以对于监控软件的智能化也越来越迫切。
[0003]现有的监控视频检测系统大多基于硬件设备检测，虽然准确度高，但是不具备平台移植性，且功能模块拓展升级限制大，同时成本偏高。而已有的视频检测算法所能检测的异常类型大都不全面，并对于发生误判的情况不具备自我学习记忆的能力。
[0004]本发明提出的基于机器学习的视频异常检测方法不但能实现对大多数的视频异常类型的检测，还具备对误判情况自我学习记忆的能力，避免下次同样误判的发生，且功能扩展性良好。实验证明该方法具有很高的准确性和实用性。
【发明内容】
[0005]针对现有视频异常检测方法仍不够全面且缺乏自我学习改善的能力，本发明提出了一种基于机器学习的视频异常检测方法，该方法首先读取视频文件，将视频分解成一帧帧图像，继而对分解出的图像数据进行检测；如果使用者在使用中发生误判，可根据异常类型将误判视频分类存储起来作为学习记忆，当再一次发生相同类型异常时调用出来进行比对，防止再次发生相同误判。
[0006]本发明的技术方案是:
[0007]—种基于机器学习的视频异常检测方法，其特征在于:所述视频异常检测方法包括以下步骤:
[0008]I)视频文件读入:分解成一帧帧图像数据；
[0009]2)视频异常检测:对分解出的图像进行检测，过程如下:
[0010]a)画面过亮、画面过暗；
[0011]b)增益紊乱；
[0012]c)模糊、被遮挡；
[0013]d)条带状干扰、滚屏；
[0014]e)雪花干扰；
[0015]f)抖动；
[0016]g)偏色；
[0017]h)冻结；[0018]i)蓝、黑屏；
[0019]3)机器学习:将判断为异常的视频，根据异常代码与数据库中存在的同类型误判的视频进行相似度比较，判断当前视频是否属于误判情况。
[0020]进一步，所述异常检测方法还包括以下步骤:4)算法优化:设定相互冲突的异常类型，对于相互冲突的异常类型不需要重复检测。
[0021]本发明的技术构思为:该方法首先读取视频文件，将视频分解成一帧帧图像，继而对分解出的图像数据进行检测；如果在使用中发生误判，可根据异常类型将误判视频分类存储起来作为学习记忆，当再一次发生相同类型异常时调用出来进行比对，防止再次发生相同误判。
[0022]本发明提出的基于机器学习的视频异常检测方法不但能实现对大多数的视频异常类型的检测，还具备对误判情况自我学习记忆的能力，避免下次同样误判的发生，且功能扩展性良好。
[0023]视频异常检测方法是可以对监控系统传回的视频文件进行处理、检测，它能让使用者迅速、直观的掌握当前监控系统的运行状况，便于使用者对监控系统的维护。目前所存在的视频异常检测方法大多检测异常类型不全面，且发生误判时不能自我完善，本发明运用图像处理、视频相似度衡量来实现大多数异常类型的检测以及方法的自我学习能力，经大量实验验证，具有很高的准确率和实时性。
[0024]本发明的有益效果主要在于:一方面使视频异常检测方法所能检测的异常检测类型更为全面；另一方面在视频异常检测方法中加入了机器学习能力，将判断为异常的视频，根据异常代码与同类型误判的视频进行相似度比较，来减少当前视频误判的情况，提高检测准确率。
【专利附图】
【附图说明】
[0025]图1是一种基于机器学习的视频异常检测方法流程图。
[0026]图2是偏色判断坐标图。
【具体实施方式】
[0027]下面结合附图对本发明作进一步描述。
[0028]参照图1和图2，一种基于机器学习的视频异常检测方法，所述方法包括以下步骤:
[0029]I)视频文件读入:将视频文件以一帧一帧的bmp图像数据读入方法；
[0030]2)视频异常检测:对分解出的图像进行检测，可检测的异常类型有
[0031]a)画面过亮、画面过暗:图像画面整体的亮、暗度取决于图像的镜头灰度。首先对图像进行灰度化处理f (X，y):
[0032]f (X，y) = 0.114*B (x, y) +0.587*G (x, y) +0.299*R (x, y),
[0033]其中B(x, y) ,G(x, y) ,R(x, y)分别对应图像在(x, y)这个像素点的蓝色，绿色和红色分量值。设立亮度阀值light,暗度阀值dark,当f (x, y) > light时,该点记为过亮点，当f(x, y) < dark时，该点记为过暗点。统计视频镜头区域的过亮点、过暗点个数NUMlight、NUMdark0设立阀值1\和Te，如果NUMlight > Ta，则当前帧为过亮帧；如果NUMdark > Te，则当前帧为过暗帧。
[0034]如果连续出现一定数量的过亮帧、过暗帧，则该视频判断为过亮、过暗。
[0035]b)增益紊乱:图像颜色紊乱，采用YUV颜色空间进行判断。
[0036]Y = 0.114*B+0.587*G+0.299*R
[0037]U = 0.436*Β-0.147*R_0.289*G
[0038]V = 0.615*R_0.515*G_0.100*B
[0039]Y代表灰度，U分量和V分量决定了颜色本身偏蓝或偏红的色度。YUV颜色空间的基本原理是建立二维坐标，以U为横坐标,V为纵坐标,将颜色分为4个色区,坐标原点表示
图像灰度，与原点的距离
【权利要求】
1.一种基于机器学习的视频异常检测方法，其特征在于:所述异常检测方法包括以下步骤: 1)视频读入；将视频文件以一帧一帧的bmp图像数据读入； 2)视频异常检测:对分解出的图像进行检测，过程如下: a)画面过亮、画面过暗； b)增益紊乱； c)模糊、被遮挡； d)条带状干扰、滚屏； e)雪花干扰； f)抖动； g)偏色； h)冻结； i)蓝、黑屏； 3)机器学习:将判断为异常的视频，根据异常代码与数据库中存在的同类型误判的视频进行相似度比较，判断当前视频是否属于误判情况。
2.如权利要求1所述的一种基于机器学习的视频异常检测方法，其特征在于:所述异常检测方法还包括以下步骤:` 算法优化，通过设定相互冲突的异常类型，对于相互冲突的异常类型不需要重复检测。
3.如权利要求1或2所述的一种基于机器学习的视频异常检测方法，其特征在于: 所述步骤a)中，画面过亮、画面过暗检测过程:首先对图像进行灰度化处理f(x，y)，设立亮度阀值light,暗度阀值dark,当f (x, y) > light时，该点记为过亮点，当f (x, y)< dark时，该点记为过暗点，统计视频镜头区域的过亮点、过暗点个数NUMlight、NUMdark设立阀值Ta和Te，如果NUMlight > Ta，则当前帧为过亮帧；如果NUMdark > Te，则当前帧为过暗帧； 所述步骤b)中，增益紊乱的检测过程:图像颜色紊乱，采用YUV颜色空间进行判断，Y代表灰度，U分量和V分量决定了颜色本身偏蓝或偏红的色度；YUV颜色空间的基本原理是建立二维坐标，以U为横坐标，V为纵坐标，将颜色分为4个色区，坐标原点表示图像灰度，与原点的越深，设立阀值TD，如果d > Td,则(U，V)为颜色深点；对图像进行2*2分区，当总的颜色深点的点数大于图像面积的1/2，且每个色区、图像分区的颜色深点存在及个数均匀时，则当前帧为增益紊乱帧，距离d = ^lu2+ V2 ,越大颜色越深； 所述步骤c)中，模糊、被遮挡检测过程:对图像像素f U，y)与Sobel算子进行卷积求取图像X和y方向的梯度图fx(x, y)和fy(x, y)，然后求得f (x, y)的梯度，设阀值Ty,如果f(x，y) I > Ty，则记为边缘点；对图像进行分区，设立阀值Ta，如果每个分区的边缘点个数N1都小于TA，且图像的平均灰度F满足Te < F < Ta，则判断为模糊帧；如果部分区域的边缘点个数小于TA，且该部分平均灰度F满足F < Te，其他区域边缘点个数大于TA，则判断为被遮挡帧； 所述步骤d)中，条带状干扰、滚屏的检测过程:同步骤c)求得图像的梯度If U，y) |，根据阀值对图像像素点进行标记，分别为边缘点和非边缘点；统计每一行的边缘点个数=1，2，…，H}及每一列的边缘点个数{M」，j = 1，2，…，W}，其中H代表图像高，W是图像宽；当至少有一行Ni > 0.6*W时，则判断为条状干扰帧；当至少有一列Mj > 0.6*H时，则判断为带状干扰帧；当存在Ni > 0.9*W或者Mj > 0.9*H，记录最大值maxi或max j，每隔3帧对图像线条位置maxi或maxj进行一次比较,设立滚屏滚动阀值Tn和Tm,当|maxi_maxi’ | > Tn或|maxj-maxj’ | > TM,贝U判断为滚屏帧,其中maxi’与maxi对应帧相隔3帧； 所述步骤e)中，雪花干扰的检测过程:先对图像灰度化处理，设立像素差阀值Tn，如果帧间像素差分绝对值|fk(x，y)-fk+1(x，y) I > Tn，则记为雪花噪点，当噪点数大于图像面积的1/5时，可能存在雪花噪声，将图像分为16*16的小块，当每块都存在噪声时，则判断为雪花帧； 所述步骤f)中，抖动的检测过程:先求得图像的梯度图，如果所求得的fk(x,y)-|fk+2(x,y) 11 >τκ，则将(x，y)记为图像晃动轮廓点，统计当前图像的晃动轮廓点队以及图像中的边缘点数N1，如果IN2-N1I大于图像面积的1/10，则判断为抖动帧； 所述步骤g)中，偏色的检测过程如下:RGB颜色结构不利于偏色的判断，会在一些特殊场景中误判，比如图像中绿色树叶占大比例，很容易把正常图像判断为偏绿，将RGB颜色空间转化到Lab空间进行检测，Lab色彩模型由三个要素组成，L表示亮度，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围，先将图像RGB转换为Lab空间，求出图像平均色度D，图像色度中心距M，偏色因子K = D/M，根据偏色标准进行判断； 所述步骤h)中，冻结的检测过程如下:当连续一定数量帧的像素一模一样时，fk(x, y)=fk+i (x，y)，判断为冻结； 所述步骤i)中，蓝、黑屏的检测过程如下:视屏画面缺失，呈统一蓝色或黑色，并根据不同摄像头在中间显示提示画面缺失的字符，统计与像素f(10，10) 一样的像素点个数N，当N> 0.75*W*H 时，判断可能缺失；当像素 f(10，10)中 R(10，10) < 20, B(10, 10) <20，G(10, 10) < 20 时，判断为黑屏帧；当 B(10，10) > R(10, 10)且 B(10，10) > G(10, 10)时，判断为蓝屏帧。
4.如权利要求1或2所述的一种基于机器学习的视频异常检测方法，其特征在于:步骤3)中，相似度比较过程:提取的视频特征有颜色和纹理两类，引入视频镜头特征向量，向量的前32维为根据HSV颜色直方图统计得到的颜色信 息分量，后三位为根据Tamura定义的粗糙度、对比度、方向性三个分量，比较两视频镜头质心向量之间的距离计算视频之间的相似度。
【文档编号】G06K9/00GK103763515SQ201310722563
【公开日】2014年4月30日 申请日期:2013年12月24日 优先权日:2013年12月24日
【发明者】张永良, 张智勤, 董灵平, 阮盛鹏, 肖刚 申请人:浙江工业大学