专利名称：视频监控智能分析检索方法及其系统的制作方法
技术领域：
本发明属于安防技术领域，涉及视频监控，尤其是涉及一种视频监控智能分析检索方法及其系统。
背景技术：
随着社会经济的进一步发展，我国对于刑事侦查方面投入大量的人力和物力，向科技要素质、要警力、要战斗力已经成为当今公安部门的主题。随着平安城市系统以及社会监控大规模建设的深入，解决了城市路面视频可靠的采集及保存的问题，积累了大量宝贵的第一手现场监控图像资料，为侦查中提供了有力的支撑，利用监控视频来查找破案线索已成为刑侦破案中最常用的手段，极大程度地打击了违法份子的犯罪行为。然而现阶段平安城市监控系统还存在诸多问题:1、面对恶劣环境，监控系统在夜间黑暗低光照、大雾沙尘恶劣天气或者局部光线过亮情况下图像质量大大降低，导致视频图像质量差摄像机采集到的图像质量差、上大屏幕质量差、录像资料质量差，办案民警无法从中得到有用信息，造成侦破案件困难，效率低下。2、现阶段视频监控普遍存在摄像机位置不合理，有效信息少等缺点，在案件取证和分析过程中往往需要花费大量的人力、时间查看海量录像资料，严重制约了其侦破效率，传统人工的检索取证工作还存在不可避免的人为的漏判误判等，故公安在利用监控录像侦查的实战中视频审看效率低下的问题亟需解决。3、现阶段多数情况下是在案发后由刑侦小组向有关部门申请人员来调度相关监控资料，再进行人工半自动化的搜索判定，由于现场环境的原因，拍摄的图像不尽人意，无法看清细节，不便于公安部门或交通管理部门监视处理，在视频质量低下的情况下公安民警基本束手无策，面对海量的视频监控资料也只能费时费力的逐一审查，刑侦民警对此感到非常苦恼。4、长期观看品质低下的视频可能会加重人们眼睛的负担，容易产生视觉疲劳，甚至会头晕目眩，在恶劣环境下景物图像的对比度和颜色都会被改变或退化，图像中蕴含的许多特征都被覆盖或模糊，得到的是退化图像。为此，人们进行了长期的探索，提出了各种各样的解决方案。例如，中国专利文献公开了一种基于视频监控网络的视频自动浓缩方法[申请号:201110208090.X]，其是从两个具有重叠区域的摄像机获得第一视频源和第二视频源并对运动目标分割和跟踪，提取背景图像和视频监控网络运动轨迹；根据背景图像生成基于视频监控网络的全景图像，得到两个摄像机各自对应于全景图像的投影矩阵并实时更新基于视频监控网络背景的全景图像；利用两个摄像机全景图像的投影矩阵，把轨迹投影到全景图像空间得到投影轨迹；采用图匹配，基于随机游走思想对两个摄像机的视频源的投影轨迹匹配，得到匹配轨迹对，对重叠区域的匹配轨迹进行选择和融合，得到完整的大场景轨迹；对大场景轨迹按时间重新排列，在全景图像上对完整的大场景轨迹进行展现，得到基于全景图像的视频浓缩。《计算机工程与应用》2008年第25期公开了一种基于运动分析的视频检索方法(作者:薛立勤；张秀娟)，介绍了人们从不同的应用目的出发，提出了许多不同的视频中运动分析的方法。概括起来，这些分析方法可以分成四类:光流估算法、运动矢量估算法、基于直方图的统计分析方法、参数化的全局运动分析法。上述方案虽然在一定程度上提高了视频分析效率，但是仍然存在着难以方便地获取视频中所需要的信息，仅仅是缩短了整个视频的长度，而对视频的效果、细节、视频之间的关联等并没有做出任何处理。
发明内容
本发明的目的是针对上述问题，提供一种大幅将视频时间缩短，能够方便地获取视频中所需要的信息，提高工作效率的视频监控智能分析检索方法。本发明的另一目的是提供一种能够方便地获取视频中所需要的信息，提高工作效率的视频监控智能分析检索系统。为达到上述目的，本发明采用了下列技术方案:本视频监控智能分析检索方法，其特征在于，本方法包括下述步骤:A、视频增强:通过视频增强技术将摄像头采集到的视频图像中存在的图像黑暗、模糊、过亮中的任意一种或多种情况消除，获得视频增强的高质量视频文件；B、视频检索:a、动态分析:利用基于运动分析的视频检索技术，将监控录像视频中的静止片断自动跳过或快进，对运动目标给出提示，并获得按帧截取的运动视频片段；b、编码重组:将按帧截取的运动视频片段进行视频重组，获得重组后的供重点分析的重组运动视频；C、结果标记:同时播放原始图像画面和重组运动视频画面，且将已播放的重组运动视频按照不同的运动目标在播放时间轴上做区分标记；d、行为分析:对重组运动视频中不同运动目标的运动状况进行分析，若运动目标的运动速度超过该运动目标设定的速度阀值，则发出报警信号。在上述的视频监控智能分析检索方法中，在上述的步骤c中，设定已播放的仅有人物运动的时间段区分标记显示第一颜色，已播放的仅有车辆运动的时间段区分标记显示第二颜色，已播放的同时有人物和车辆运动的时间段区分标记显示第三颜色。在上述的视频监控智能分析检索方法中，在上述的步骤d中，设定人物正常走动的速度不大于2m/s，若达到或超过2m/s则为奔跑，且人物奔跑时发出警报信号；设定车辆正常行驶的速度不大于22m/s，若达到或超过22m/s则为车辆超速，且车辆超速时发出警报信号。在上述的视频监控智能分析检索方法中，在上述的步骤B中，还包括:e、视频摘要:对不同时间出现的同一运动目标分别进行截图备份，形成摘要图片，并在摘要图片上显示具体时间，当选中某一摘要图片时，自动播放该摘要图片所在视频片段中连贯的前若干秒和后若干秒。在上述的视频监控智能分析检索方法中，在上述的步骤B中，还包括:f、跟踪标记:选定重组运动视频中的运动目标，并对该运动目标做出标记，且当选定的运动目标继续运动时，所述的标记跟随运动目标同步运动。在上述的视频监控智能分析检索方法中，在上述的步骤B中，还包括:g、GIS联动:利用地理信息并结合时间提取相关运动视频片段并自动对各个摄像头采集到的相关运动视频片段按照时间和空间进行重组，形成运动目标移动时刻的连续视频片段。在上述的视频监控智能分析检索方法中，在上述的步骤B中，还包括:h、渲染补偿:对某一帧图像进行存档后，在良好视觉条件下再次模拟捕捉同一摄像头同一视角的图像，然后根据捕捉到的图像对存档的图像进行后期渲染补偿，提供对比。在上述的视频监控智能分析检索方法中，在上述的步骤A中，所述的视频增强包括前端采集增强、屏幕展示增强和视频片段增强中的任意一种或多种；所述的前端采集增强通过在摄像头和存储装置之间连接用于视频增强的前端采集增强模块实现；所述的屏幕展示增强通过在存储装置和显示屏之间连接用于视频增强的播放增强模块实现；所述的视频片段增强通过将存储装置中选定的视频图像经用于视频增强的视频增强工作站处理后保存至存储装置中备用。上述的视频监控智能分析检索方法是在下述视频监控智能分析检索系统中实施的，本系统包括:视频增强模块，用于通过视频增强技术将摄像头采集到的视频图像中存在的图像黑暗、模糊、过亮中的任意一种或多种情况消除，获得视频增强的高质量视频文件；动态分析模块，用于利用基于运动分析的视频检索技术，将监控录像视频中的静止片断自动跳过或快进，对运动目标给出提示，并获得按帧截取的运动视频片段；编码重组模块，用于将按帧截取的运动视频片段进行视频重组，获得重组后的供重点分析的重组运动视频；结果标记模块，用于同时播放原始图像画面和重组运动视频画面，且将已播放的重组运动视频按照不同的运动目标在播放时间轴上做区分标记；行为分析模块，用于对重组运动视频中不同运动目标的运动状况进行分析，若运动目标的运动速度超过该运动目标设定的速度阀值，则发出报警信号；所述的动态分析模块与编码重组模块相连，所述的结果标记模块和行为分析模块均连接在编码重组模块上，所述的视频增强模块与动态分析模块或编码重组模块相连。在上述的视频监控智能分析检索系统中，本系统还包括:视频摘要模块，用于对不同时间出现的同一运动目标分别进行截图备份，形成摘要图片，并在摘要图片上显示具体时间，当选中某一摘要图片时，自动播放该摘要图片所在视频片段中连贯的前若干秒和后若干秒；跟踪标记模块，用于选定重组运动视频中的运动目标，并对该运动目标做出标记，且当选定的运动目标继续运动时，所述的标记跟随运动目标同步运动；GIS联动模块，用于利用地理信息并结合时间提取相关运动视频片段并自动对各个摄像头采集到的相关运动视频片段按照时间和空间进行重组，形成运动目标移动时刻的连续视频片段；渲染补偿模块，用于对某一帧图像进行存档后，在良好视觉条件下再次模拟捕捉同一摄像头同一视角的图像，然后根据捕捉到的图像对存档的图像进行后期渲染补偿，提供对比；所述的视频摘要模块、跟踪标记模块、GIS联动模块和渲染补偿模块分别与编码重组模块相连。与现有的技术相比，本视频监控智能分析检索方法及其系统的优点在于:跳过或快进视频中静止片断，将视频时间大幅缩短，能够方便地获取视频中所需要的信息，大幅节约时间，提高工作效率，并且能方便地对所需的信息进行检索和标记，在视频中不连续的信息间建立联系，易于操作实施。集图像增强、检索压缩、智能分析、摘要统计于一体，体现了先进、高效、可靠、方便和实用的五大特点，实现了对视频图像的增强、录像文件的检索压缩、人物车辆的行为智能分析等，从而准确快速地获得所需的信息，能为公安干警侦察破案提供强大有效的刑侦支撑。
图1是本发明提供的结构示意图。图2是本发明提供的前端视频增强结构示意图。图3是本发明提供的播放视频增强结构示意图。图4是本发明提供的视频工作台的视频增强结构示意图。图中，摄像头1、存储装置2、前端采集增强模块3、显示屏4、播放增强模块5、视频增强工作站6、视频增强模块7、动态分析模块8、编码重组模块9、结果标记模块10、行为分析模块11、视频摘要模块12、跟踪标记模块13、GIS联动模块14、渲染补偿模块15。
具体实施例方式本视频监控智能分析检索方法包括下述步骤:A、视频增强:通过视频增强技术将摄像头采集到的视频图像中存在的图像黑暗、模糊、过亮中的任意一种或多种情况消除，获得视频增强的高质量视频文件；B、视频检索:a、动态分析:利用基于运动分析的视频检索技术，将监控录像视频中的静止片断自动跳过或快进，对运动目标给出提示，并获得按帧截取的运动视频片段；b、编码重组:将按帧截取的运动视频片段进行视频重组，获得重组后的供重点分析的重组运动视频；C、结果标记:同时播放原始图像画面和重组运动视频画面，且将已播放的重组运动视频按照不同的运动目标在播放时间轴上做区分标记；d、行为分析:对重组运动视频中不同运动目标的运动状况进行分析，若运动目标的运动速度超过该运动目标设定的速度阀值，则发出报警信号。本发明中，如图2、3和4所示，视频增强包括前端采集增强、屏幕展示增强和视频片段增强中的任意一种或多种。前端采集增强通过在摄像头I和存储装置2之间连接用于视频增强的前端采集增强模块3实现；屏幕展示增强通过在存储装置2和显示屏4之间连接用于视频增强的播放增强模块5实现；视频片段增强通过将存储装置2中选定的视频图像经用于视频增强的视频增强工作站6处理后保存至存储装置2中备用。现阶段已建设的平安城市视频监控系统，前端采集设备部分较为落后，无法很好的捕捉到各种恶劣环境下的真实场景，在夜间黑暗低光照、大雾沙尘恶劣天气或者局部灯光过亮情况下图像质量大大降低，无法从中得到有用信息，且长期观看品质低下的视频可能会加重人们眼睛的负担，容易产生视觉疲劳，甚至会头晕目眩。在恶劣环境下景物图像的对比度和颜色都会被改变或退化，图像中蕴含的许多特征都被覆盖或模糊，得到的是退化图像。为此，图像增强技术的应用显得尤为迫切需要，能为办案侦察等提供有效的侦察工具，大大提高工作效率。如图2所示，前端采集增强模块3为FPGA板(支持BNC\HDMI接口)，从而使得后端存储时获得高质量的录像文件。播放增强模块5为加装到视频传输的最后节点上的FPAG板，可将关键视频图像投放到大屏幕上供探讨分析。视频增强工作站6用于将网络摄像机、硬盘录像机、视频服务器等存储装置2中的关键视频图像进行增强分析，还原真实场景和人物。其中，视频增强工作站6是现有技术中已有的设备。其中，上述各种视频增强的算法包括:图像黑暗增强；图像去雾增强；区域画面增强；宽动态处理；视频降噪；视频去抖动；图像去运动模糊；局部区域超分辨率增强。上述算法均可采用现有技术中已有的算法，本文不作赘述。在上述的步骤c中，设定已播放的仅有人物运动的时间段区分标记显示第一颜色，已播放的仅有车辆运动的时间段区分标记显示第二颜色，已播放的同时有人物和车辆运动的时间段区分标记显示第三颜色。例如蓝色时间段表示人物，红色时间段表示车辆等，人物和车辆同时出现时间段为绿色，其他时间段显示为黑色。在上述的步骤d中，设定人物正常走动的速度不大于2m/s，若达到或超过2m/s则为奔跑，且人物奔跑时发出警报信号；设定车辆正常行驶的速度不大于22m/s，若达到或超过22m/s则为车辆超速，且车辆超速时发出警报信号。针对车辆的检索分析可对车辆颜色、车辆体积、车牌号码(高清晰下)等特征进行归类摘要，对同一辆车在关联的时间内出现2次及以上的重点弹出报警。检索的条件可以自定义参数(灵敏度)，包括运动速度、物体大小、颜色、号码等等，不同的参数自动输出不同的配置文件，可以作为检索预案保存，方便对同一类型的案件进行比对分析。在上述的步骤B中，还包括:e、视频摘要:对不同时间出现的同一运动目标分别进行截图备份，形成摘要图片，并在摘要图片上显示具体时间，当选中某一摘要图片时，自动播放该摘要图片所在视频片段中连贯的前若干秒和后若干秒。本实施例中，自动播放该摘要图片所在视频片段中连贯的前十秒和后十秒。在上述的步骤B中，还包括:f、跟踪标记:选定重组运动视频中的运动目标，并对该运动目标做出标记，且当选定的运动目标继续运动时，所述的标记跟随运动目标同步运动。在上述的步骤B中，还包括:g、GIS联动:利用地理信息并结合时间提取相关运动视频片段并自动对各个摄像头采集到的相关运动视频片段按照时间和空间进行重组，形成运动目标移动时刻的连续视频片段。在上述的步骤B中，还包括:h、渲染补偿:对某一帧图像进行存档后，在良好视觉条件下再次模拟捕捉同一摄像头同一视角的图像，然后根据捕捉到的图像对存档的图像进行后期渲染补偿，提供对比。如图1-4所示，本视频监控智能分析检索系统包括:
视频增强模块7，用于通过视频增强技术将摄像头采集到的视频图像中存在的图像黑暗、模糊、过亮中的任意一种或多种情况消除，获得视频增强的高质量视频文件；动态分析模块8，用于利用基于运动分析的视频检索技术，将监控录像视频中的静止片断自动跳过或快进，对运动目标给出提示，并获得按帧截取的运动视频片段；编码重组模块9，用于将按帧截取的运动视频片段进行视频重组，获得重组后的供重点分析的重组运动视频；结果标记模块10，用于同时播放原始图像画面和重组运动视频画面，且将已播放的重组运动视频按照不同的运动目标在播放时间轴上做区分标记；行为分析模块11，用于对重组运动视频中不同运动目标的运动状况进行分析，若运动目标的运动速度超过该运动目标设定的速度阀值，则发出报警信号；动态分析模块8与编码重组模块9相连，所述的结果标记模块10和行为分析模块11均连接在编码重组模块9上，所述的视频增强模块7与动态分析模块8或编码重组模块9相连。本系统还包括:视频摘要模块12，用于对不同时间出现的同一运动目标分别进行截图备份，形成摘要图片，并在摘要图片上显示具体时间，当选中某一摘要图片时，自动播放该摘要图片所在视频片段中连贯的前若干秒和后若干秒；跟踪标记模块13，用于选定重组运动视频中的运动目标，并对该运动目标做出标记，且当选定的运动目标继续运动时，所述的标记跟随运动目标同步运动；GIS联动模块14，用于利用地理信息并结合时间提取相关运动视频片段并自动对各个摄像头采集到的相关运动视频片段按照时间和空间进行重组，形成运动目标移动时刻的连续视频片段；渲染补偿模块15，用于对某一帧图像进行存档后，在良好视觉条件下再次模拟捕捉同一摄像头同一视角的图像，然后根据捕捉到的图像对存档的图像进行后期渲染补偿，提供对比；视频摘要模块12、跟踪标记模块13、GIS联动模块14和渲染补偿模块15分别与编码重组模块9相连。本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。尽管本文较多地使用了摄像头1、存储装置2、前端采集增强模块3、显示屏4、播放增强模块5、视频增强工作站6、视频增强模块7、动态分析模块8、编码重组模块9、结果标记模块10、行为分析模块11、视频摘要模块12、跟踪标记模块13、GIS联动模块14、渲染补偿模块15等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。
权利要求
1.一种视频监控智能分析检索方法，其特征在于，本方法包括下述步骤: A、视频增强:通过视频增强技术将摄像头采集到的视频图像中存在的图像黑暗、模糊、过亮中的任意一种或多种情况消除，获得视频增强的高质量视频文件； B、视频检索: a、动态分析:利用基于运动分析的视频检索技术，将监控录像视频中的静止片断自动跳过或快进，对运动目标给出提示，并获得按帧截取的运动视频片段； b、编码重组:将按帧截取的运动视频片段进行视频重组，获得重组后的供重点分析的重组运动视频； C、结果标记:同时播放原始图像画面和重组运动视频画面，且将已播放的重组运动视频按照不同的运动目标在播放时间轴上做区分标记； d、行为分析:对重组运动视频中不同运动目标的运动状况进行分析，若运动目标的运动速度超过该运动目标设定的速度阀值，则发出报警信号。
2.根据权利要求1所述的视频监控智能分析检索方法，其特征在于，在上述的步骤c中，设定已播放的仅有人物运动的时间段区分标记显示第一颜色，已播放的仅有车辆运动的时间段区分标记显示第二颜色，已播放的同时有人物和车辆运动的时间段区分标记显示第三颜色。
3.根据权利要求1所述的视频监控智能分析检索方法，其特征在于，在上述的步骤d中，设定人物正常走动的速度不大于2m/s，若达到或超过2m/s则为奔跑，且人物奔跑时发出警报信号；设定车辆正常行驶的速度不大于22m/s，若达到或超过22m/s则为车辆超速，且车辆超速时发出警报信号。
4.根据权利要求1所述的视频监控智能分析检索方法，其特征在于，在上述的步骤B中，还包括: e、视频摘要:对不同时间出现的同一运动目标分别进行截图备份，形成摘要图片，并在摘要图片上显示具体时间，当选中某一摘要图片时，自动播放该摘要图片所在视频片段中连贯的前若干秒和后若干秒。
5.根据权利要求1所述的视频监控智能分析检索方法，其特征在于，在上述的步骤B中，还包括: f、跟踪标记:选定重组运动视频中的运动目标，并对该运动目标做出标记，且当选定的运动目标继续运动时，所述的标记跟随运动目标同步运动。
6.根据权利要求1所述的视频监控智能分析检索方法，其特征在于，在上述的步骤B中，还包括: g、GIS联动:利用地理信息并结合时间提取相关运动视频片段并自动对各个摄像头采集到的相关运动视频片段按照时间和空间进行重组，形成运动目标移动时刻的连续视频片段。
7.根据权利要求1所述的视频监控智能分析检索方法，其特征在于，在上述的步骤B中，还包括: h、渲染补偿:对某一帧图像进行存档后，在良好视觉条件下再次模拟捕捉同一摄像头同一视角的图像，然后根据捕捉到的图像对存档的图像进行后期渲染补偿，提供对比。
8.根据权利要求1-7中任意一项所述的视频监控智能分析检索方法，其特征在于，在上述的步骤A中，所述的视频增强包括前端采集增强、屏幕展示增强和视频片段增强中的任意一种或多种；所述的前端采集增强通过在摄像头(I)和存储装置(2)之间连接用于视频增强的前端采集增强模块(3)实现；所述的屏幕展示增强通过在存储装置(2)和显示屏(4)之间连接用于视频增强的播放增强模块(5)实现；所述的视频片段增强通过将存储装置(2)中选定的视频图像经用于视频增强的视频增强工作站(6)处理后保存至存储装置(2)中备用。
9.一种视频监控智能分析检索系统，其特征在于，本系统包括: 视频增强模块(7)，用于通过视频增强技术将摄像头采集到的视频图像中存在的图像黑暗、模糊、过亮中的任意一种或多种情况消除，获得视频增强的高质量视频文件； 动态分析模块(8)，用于利用基于运动分析的视频检索技术，将监控录像视频中的静止片断自动跳过或快进，对运动目标给出提示，并获得按帧截取的运动视频片段； 编码重组模块(9)，用于将按帧截取的运动视频片段进行视频重组，获得重组后的供重点分析的重组运动视频； 结果标记模块(10)，用于同时播放原始图像画面和重组运动视频画面，且将已播放的重组运动视频按照不同的运动目标在播放时间轴上做区分标记； 行为分析模块(11)，用于对重组运动视频中不同运动目标的运动状况进行分析，若运动目标的运动速度超过该运动目标设定的速度阀值，则发出报警信号； 所述的动态分析模块(8)与编码重组模块(9)相连，所述的结果标记模块(10)和行为分析模块(11)均连接在编码重组模块(9 )上，所述的视频增强模块(7 )与动态分析模块(8 )或编码重组模块(9)相连。
10.根据权利要求9所述的视频监控智能分析检索系统，其特征在于，本系统还包括: 视频摘要模块(12)，用于对不同时间出现的同一运动目标分别进行截图备份，形成摘要图片，并在摘要图片上显示具体时间，当选中某一摘要图片时，自动播放该摘要图片所在视频片段中连贯的前若干秒和后若干秒； 跟踪标记模块(13)，用于选定重组运动视频中的运动目标，并对该运动目标做出标记，且当选定的运动目标继续运动时，所述的标记跟随运动目标同步运动； GIS联动模块(14)，用于利用地理信息并结合时间提取相关运动视频片段并自动对各个摄像头采集到的相关运动视频片段按照时间和空间进行重组，形成运动目标移动时刻的连续视频片段； 渲染补偿模块(15)，用于对某一帧图像进行存档后，在良好视觉条件下再次模拟捕捉同一摄像头同一视角的图像，然后根据捕捉到的图像对存档的图像进行后期渲染补偿，提供对比； 所述的视频摘要模块(12)、跟踪标记模块(13)、GIS联动模块(14)和渲染补偿模块(15)分别与编码重组模块(9)相连。
全文摘要
本发明属于安防技术领域，涉及一种视频监控智能分析检索方法及其系统。它解决了现有技术设计不够合理等技术问题。本方法包括下述步骤A、视频增强；B、视频检索a、动态分析；b、编码重组；c、结果标记；d、行为分析。动态分析模块与编码重组模块相连，结果标记模块和行为分析模块均连接在编码重组模块上，视频增强模块与动态分析模块或编码重组模块相连。其优点在于集图像增强、检索压缩、智能分析、摘要统计于一体，体现了先进、高效、可靠、方便和实用的五大特点，实现了对视频图像的增强、录像文件的检索压缩、人物车辆的行为智能分析等，从而准确快速地获得所需的信息，能为公安干警侦察破案提供强大有效的刑侦支撑。
文档编号G06F17/30GK103106250SQ20131001275
公开日2013年5月15日 申请日期2013年1月14日 优先权日2013年1月14日
发明者何顺兰, 胡宏宇, 王程, 陈珂, 谢永兵 申请人:浙江元亨通信技术股份有限公司