专利名称：一种监控图像处理的方法、装置和系统的制作方法
技术领域：
本发明涉及视频监控技术领域，特别是涉及一种监控图像检索的方法、装置和系统。
背景技术：
监控是各行业重点部门或重要场所进行实时监控的物理基础，管理部门可通过它获得有效数据、图像或声音信息，对突发性异常事件的过程进行及时的监视和记忆，用以提供高效、及时地指挥和高度、布置警力、处理案件等。随着当前计算机应用的迅速发展和推广，全世界掀起了一股数字化浪潮，各种设备数字化已成为安全防护的首要目标。数码监控报警的性能特点是监控画面实时显示，录像图象质量单路调节功能，每路录像速度可分别设置，快速检索，多种录像方式设定功能，自动备份，云台/镜头控制功能，网络传输等。视频监控系统记录的视频数据，对一些事件的事后追溯或查询具有重要的意义。 然而，现实中，摄像机和现场背景的空间位置固定、运动目标比较稀少的情况是相当普遍的，调阅和回放视频需要花费大量的时间，其冗长的过程枯燥乏味、耗费人力，不利于在海量的视频数据中查到感兴趣的目标。
发明内容
本发明的目的在于提供一种监控图像处理的方法、装置和系统，其解决了现有技术中回放视频需要大量时间和精力的问题。为实现本发明目的而提供的一种监控图像处理的方法，包括步骤A.获取原始视频；B.对原始视频进行处理，将第一预设阈值个不同时间段内的视频融合到同一时间段内；C.将经过处理的视频输出。较优地，所述步骤B包括步骤Bi.将原始视频按照时间顺序分段；B2.提取每段视频的背景；B3.描述每段视频的运动对象的轨迹；B4.建立每段视频的所述背景和所述运动对象的轨迹的元数据；B5.将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融合。较优地，所述步骤B5包括B51.设置第一预设阈值；B52.将第一预设阈值个视频段的运动对象的每一帧图像对应叠加到同一背景。较优地，所述步骤B2之后，步骤B3之前还包括步骤B6.剔除没有运动对象的视频段。较优地，所述步骤B6包括
B61.将每一帧图像与背景相减，得到一个差值；B62.若所述差值小于第二预设阈值，则剔除此帧图像。为实现本发明目的还提供一种监控图像处理的装置，包括分段模块，用于将原始视频按照时间顺序分段；背景提取模块，用于提取每段视频的背景；描述模块，用于描述每段视频的运动对象的轨迹；数据存储模块，用于建立每段视频的所述背景和所述运动对象的轨迹的元数据；融合模块，用于将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融
I=I O为实现本发明目的还提供一种监控图像处理的系统，包括输入单元，用于获取原始视频；图像处理装置，用于对原始视频进行处理，将第一预设阈值个不同时间段内的视频融合到同一时间段内；输出单元，用于将经过处理的视频输出。较优地，所述图像处理装置包括分段模块，用于将原始视频按照时间顺序分段；背景提取模块，用于提取每段视频的背景；描述模块，用于描述每段视频的运动对象的轨迹；数据存储模块，用于建立每段视频的所述背景和所述运动对象的轨迹的元数据；融合模块，用于将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融合。较优地，所述输出单元包括原始视频播放窗口，用于控制播放速率，具有步进、回退和帧定位功能；融合后视频播放窗口，用于控制播放速率，设置融合对象的轨迹显示、融合对象的疏密程度和融合对象的颜色标记；元数据可视化窗口，用于建立元数据的树形或关系型的可视化表示，便于查询和增强显示。较优地，所述输入单元包括摄像机，用于记录图像；传输设备，用于传送图像；图像读取模块，用于建立原始视频的工程文件，并读取原始视频。本发明的有益效果是本发明的一种监控图像处理的方法、装置和系统，通过将多个时间段内的运动目标融合在同一个固定的背景上，能够在保持内容不变的前提下，有效而快速地浏览视频、定位目标，实现快速浏览长时间段视频。
图1为本发明的一种监控图像处理的方法的流程图；图2为本发明的一种监控图像处理的方法的步骤B的流程图；图3a为本发明的一种监控图像处理的方法的视频融合示意图北为本发明的一种监控图像处理的方法的视频融合示意图；图3c为本发明的一种监控图像处理的方法的视频融合示意图；图4为本发明的一种监控图像处理的装置的结构示意图；图5为本发明的一种监控图像处理的系统的结构示意图；图6为本发明的一种监控图像处理的系统的输出单元的示意图；图7为本发明的一种监控图像处理的系统的第一种应用场景；图8为本发明的一种监控图像处理的系统的第二种应用场景；图9为本发明的一种监控图像处理的系统的第三种应用场景。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种监控图像处理的方法、装置和系统进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。现实中，摄像机和现场背景的空间位置固定、运动目标比较稀少的情况是相当普遍的，在这种情况下，相应的视频表现为相对固定的背景与稀疏的运动物体的融合。因此， 对这类视频，可尝试将多个时间段内的运动目标融合在同一个固定的背景上，以缩短视频时间。由于场景中用户感兴趣的内容集中在相对固定的时间段内特定的运动物体上，这种融合的方法能够在保持内容不变的前提下，有效而快速地浏览视频、定位目标。本发明提供了一种监控图像处理的方法，如图1所示包括如下步骤A，获取原始视频。B，对原始视频进行处理，将第一预设阈值个不同时间段内的视频融合到同一时间段内。C，将经过处理的视频输出。如图2所示，其中步骤B包括Bi，将原始视频按照时间顺序分段。利用镜头检测技术，将原始视频切分成若干短时间段的、必要时允许有重叠的视频，每一段应包含一个运动对象从进入到移出场景的过程，且每一段均包含稳定的背景。 镜头检测技术是现有技术，具体说明参考文献Hong. Jiang Zhang, Atreyi Kankanhalli, Stephenff. Smoliar, Automatic Partitioning of Full—motion Video, Multimedia Systems,11 (1) :10-28, 1993 (Hong. JiangZhang, Atreyi Kankanhal1i, Stephen W. Smoliar,自动划分的全动态视频，多媒体系统，11 (1) 10-28，1993)，此处不再赘述。B2，提取每段视频的背景。背景提取的过程，可用以下公式描述Bn (i, j) = θ In(i, j) + (l-θ )6^(1, j),n> 1表示参考背景；^表示当前待处理帧的即时背景，它反映了当前背景的变化程度；θ为取值在0到1之间的系数，用来控制背景的更新速度和背景更新对图像变化的灵敏度；η(η > 1)和η-1分别表示当前待处理帧的帧号和前序相邻帧的帧号。其中，In可由如下公式描述
根据上面的公式，如果当前帧fn与前序相邻帧的参考背景Cn-I的差值大于给定阈值T，可判定对应像素术属于当前帧的活动区域，则使用前序相邻帧的参考背景对应的像素值作为I值。如果差分值小于或等于T，可认为该像素属于非运动区域，则直接使用当前帧相应位置处的像素作为I值。在本申请文件中，给定阈值T定义为第三预设阈值。背景提取技术主要目的是使系统所提取的背景在视频序列时间轴上能够逐渐更新，以减小甚至消除外界环境(光照、天气等)的变化对前景运动目标提取的影响。更佳地，应计算出每段视频的稳定背景。按照提取背景的方法，将逐段视频的背景放在一起计算出一个平均值，采用这个平均值与下一个识别出来的背景做差值计算，如果差值在一定范围内，则认为该背景较为稳定，即将该背景作为本段视频的稳定背景。更佳地，应剔除没有运动对象的视频段，基于背景识别的结果，将每一帧图像与背景相减，得到非背景的像素块，这些像素块组成了运动目标物体，即运动对象。如果得到的像素小于一个阈值m，我们就认为这一帧图像没有运动对象，则将其剔除。在本申请文件中将阈值m定义为第二预设阈值。B3,描述每段视频的运动对象的轨迹。运动对象的轨迹包括每一个运动对象运动起止时间，运动路径的起止点，运动过程中的关键帧。获取运动对象的方法与剔除没有运动对象的方式类似，均利用帧相减的方法计算得出。首先，在算法中设定一个数值作为一个运动对象的最小运动单位，如定义0. 02 秒(即频率为50帧/秒)为一个运动对象的最小运动时间单位，对一个时间段内的视频帧进行计算。算法检测从第I帧开始，如第I帧均有运动对象，则将第I帧作为运动路径的起点，再次检测1+1帧，如果1+1帧也具有运动目标，则继续检测1+2帧，依此类推，若检测到 I+n帧没有运动对象，则我们则将Ι+η-l帧作为该运动轨迹的终点。所以第I到第Ι+η-l帧则确定为一个运动轨迹。B4,建立每段视频的所述背景和所述运动对象的轨迹的元数据。将每一小段视频在原视频中的位置、每一个运动对象所在的帧位置等标注信息记录下来，建立元数据表(Metadata)。由于监控行业采用的是MPEG4/H. 264标准，支持基于对象的编码，视频场景可作为前景和背景对象单独处理，而不是被看成一系列完整的矩形帧。利用这种原理可对分析后的视频结合元数据进行存储，这样更有利于场景对象的重新利用、融合和大幅度的交互寸。B5，将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融合。融合可以直观地理解为对不同时刻的运动对象在同一帧内的叠加。如图3a、图北和图3c所示，图中方框代表视频中的固定背景，箭头表示一个运动对象的运动轨迹图3a 为9 00-9 20时段，图北为10 00-10 15时段，图3c为两个对象融合在时段9 00-9 20内。 这样，可以用近一半的时间浏览原来的两段视频。程序将所有运动轨迹都存储在一个数据元对象中，算法中定义了一个分段融合阈值，在本文中定义为第一预设阈值，如设定第一预设阈值为3，则表示将建立一个始终由3段运动轨迹进行融合的融合视频。按照运动轨迹的生成顺序，从第一个运动轨迹到第三个运动轨迹，同时叠加到背景上面。具体步骤为，首先对视频进行分析，得到运动段的起始帧数，保存在文件中；分析运动段，记录运动物体在图像中位置；叠加，当融合运动轨迹数量为3时，依次取3个运动轨迹进行叠加，如第1个运动轨迹，第2个运动轨迹和第3个运动轨迹的第1帧图像叠加在一起，第1个运动轨迹，第2个运动轨迹和第3个运动轨迹的第2帧图像叠加在一起，如果某个运动段已经叠加完，取下一个运动轨迹代替。第一预设阈值的定义是开放的，可以由本领域技术人员根据实际情况而定，例如， 当一段时间内，运动轨迹的数量较少，并且运动轨迹的间隔时间较长，那么我们认为其画面运动较为稀疏，此时，第一预设阈值可设置得大一些。如果一段时间内，运动轨迹数量较多、 运动轨迹时间间隔较短，那么，第一预设阈值可设置小一些。不同的运动轨迹可能来自于不同的时间段，当其原始的背景不同时，则在做处理的过程中，计算不同轨迹对应的背景，将各段背景再做一次平均值计算，得到一个适合该重合时间点上，对不同运动轨迹都适宜的背景帧。叠加处理时要处理好画面的疏密程度和融合的对象数量之间的关系。过密能够缩短浏览时间，但是会导致画面混乱；过疏有利于画面的布局，但是不能有效地缩短浏览时间。还要处理好空间不变的背景和动态因素之间的关系。将问题限定在背景在空间上是不变的，但是光照和天气状况等会导致背景的差异。融合需针对稳定的背景来进行。本发明还提供了一种监控图像处理的装置，如图4所示，包括分段模块，用于将原始视频按照时间顺序分段；背景提取模块，用于提取每段视频的背景；描述模块，用于描述每段视频的运动对象的轨迹；数据存储模块，用于建立每段视频的所述背景和所述运动对象的轨迹的元数据；融合模块，用于将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融合。本发明还提供了一种监控图像处理的系统，如图5所示，包括输入单元，用于获取原始视频；图像处理装置，用于对原始视频进行处理，将第一预设阈值个不同时间段内的视频融合到同一时间段内；输出单元，用于将经过处理的视频输出。其中，图像处理装置如上所述，包括分段模块、背景提取模块、描述模块、数据存储模块和融合模块。如图6所示，输出单元包括原始视频播放窗口，用于控制播放速率，具有步进、回退和帧定位功能；融合后视频播放窗口，用于控制播放速率，设置融合对象的轨迹显示、融合对象的疏密程度和融合对象的颜色标记；元数据可视化窗口，用于建立元数据的树形或关系型的可视化表示，便于查询和增强显示。原始视频播放窗口和融合后视频播放窗口均可控制播放速率，具有步进、回退、帧定位等功能。融合后视频播放窗口可设置融合对象的轨迹显示、融合对象的疏密程度、融合对象的颜色标记等，支持运动对象的鼠标事件，大部分与用户的交互体现在该窗口。三个窗口可两两间进行交互操作，同步实现内容更新。其中，原始视频播放窗口的主动交互很少。优选地，所述输出单元还包括存储单元，用于存储原始视频的分析结果，包括存储元数据和运动跟踪与识别的结果，以及存储交互浏览后用户查询到的感兴趣目标。
优选地，输出单元还包括编辑单元，用于浏览报告的编辑和打印输出。输入单元包括摄像机，用于记录图像；传输设备，用于传送图像；图像读取模块， 用于建立原始视频的工程文件，并读取原始视频。图7、图8和图9所示为本发明的监控图像处理的系统的三种应用场景。图7所示为数字硬盘录像机视频接入，服务器独立运行。这个场景的优点是智能视频摘要服务器可以独立运行。缺点是需要通过网络和硬盘录像机相连，设备种类多而且复杂，兼容性需要考虑。图8所示为数字信号接入，服务器与视频监控联网平台对接。这个场景的优点是智能视频摘要服务器可与平安城市，全球眼平台对接，潜在的市场巨大。缺点是不能独立运行，服务器的任务计划由平台发送指令，服务器处于监听状态，并且本机不能观看结果，需要把结果反馈到平台观看。图9所示为视频模拟信号接入，服务器独立运行。这个场景的优点是智能视频摘要服务器可单独运行，自己录像并制作视频摘要。缺点是不适应大型视频监控平台的要求。经过本发明所提供的方法处理过的视频，可参照如下方式进行回放1.主界面启动时直接初始化设备。2.进入回放界面后，先选择要回放的设备和相关通道。3.选择设备和通道后，如当月中某天有相应的摘要文件，则在下面的时间控件内， 当天可点击。如没有相应的摘要文件，则不能点击。4.点击后，如文件没有缺失，则开始播放摘要的视频文件。5.当想回放摘要视频文件中的某时间点时，先暂停此视频文件，之后会在视频上画上代表时间段内动作的框框，选中框框后双击。6.双击后，根据摘要配置文件的XML文件(Extensible Markup Language，可扩展标记语言)(如1011-1059. xml)找到是哪一帧的哪一个运动物体，之后再得到这个物体所在的帧数。然后再根据分段视频文件，得到一个帧的范围数，然后再根据MAP(地图)文件得到这个帧的范围对应的原文件的时间偏移，根据时间偏移和FILEDATA(文件数据)文件得到回放的具体时间段。7.登录相应设备。8.调用设备SDK (Software Development Kit，软件开发工具包)，并传入计算好的时间开始回放。9.可以做一些播放控件，如暂停开始等。10.不需要继续观看回放时，点击停止，就可以停止回放。本发明所提供的一种监控图像处理的方法、装置和系统，能够实现在保证不丢失视频信息的前提下，用较短时间浏览更多视频。最后应当说明的是，很显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型。
权利要求
1.一种监控图像处理的方法，其特征在于，包括步骤A.获取原始视频；B.对原始视频进行处理，将第一预设阈值个不同时间段内的视频融合到同一时间段内；C.将经过处理的视频输出。
2.根据权利要求1所述的方法，其特征在于，所述步骤B包括步骤 Bi.将原始视频按照时间顺序分段；B2.提取每段视频的背景；B3.描述每段视频的运动对象的轨迹；B4.建立每段视频的所述背景和所述运动对象的轨迹的元数据；B5.将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融合。
3.根据权利要求2所述的方法，其特征在于，所述步骤B5包括 B51.设置第一预设阈值；B52.将第一预设阈值个视频段的运动对象的每一帧图像对应叠加到同一背景。
4.根据权利要求2所述的方法，其特征在于，所述步骤B2之后，步骤B3之前还包括步骤B6.剔除没有运动对象的视频段。
5.根据权利要求4所述的方法，其特征在于，所述步骤B6包括 B61.将每一帧图像与背景相减，得到一个差值；B62.若所述差值小于第二预设阈值，则剔除此帧图像。
6.一种监控图像处理的装置，其特征在于，包括 分段模块，用于将原始视频按照时间顺序分段； 背景提取模块，用于提取每段视频的背景； 描述模块，用于描述每段视频的运动对象的轨迹；数据存储模块，用于建立每段视频的所述背景和所述运动对象的轨迹的元数据； 融合模块，用于将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融合。
7.一种监控图像处理的系统，其特征在于，包括 输入单元，用于获取原始视频；图像处理装置，用于对原始视频进行处理，将第一预设阈值个不同时间段内的视频融合到同一时间段内；输出单元，用于将经过处理的视频输出。
8.根据权利要求7所述的系统，其特征在于，所述图像处理装置包括 分段模块，用于将原始视频按照时间顺序分段；背景提取模块，用于提取每段视频的背景； 描述模块，用于描述每段视频的运动对象的轨迹；数据存储模块，用于建立每段视频的所述背景和所述运动对象的轨迹的元数据； 融合模块，用于将数量为第一预设阈值的不同的视频段的运动轨迹与同一背景融合。
9.根据权利要求7所述的系统，其特征在于，所述输出单元包括原始视频播放窗口，用于控制播放速率，具有步进、回退和帧定位功能；融合后视频播放窗口，用于控制播放速率，设置融合对象的轨迹显示、融合对象的疏密程度和融合对象的颜色标记；元数据可视化窗口，用于建立元数据的树形或关系型的可视化表示，便于查询和增强显不。
10.根据权利要求7所述的系统，其特征在于，所述输入单元包括 摄像机，用于记录图像； 传输设备，用于传送图像；图像读取模块，用于建立原始视频的工程文件，并读取原始视频。
全文摘要
本发明公开一种监控图像处理的方法，包括获取原始视频；对原始视频进行处理，将第一预设阈值个不同时间段内的视频融合到同一时间段内；将经过处理的视频输出。本发明还公开了一种监控图像处理的装置，包括分段模块、背景提取模块、描述模块、数据存储模块和融合模块。本发明还提供了一种监控图像处理的系统，包括输入单元、图像处理装置和输出单元。本发明所提供的一种监控图像处理的方法、装置和系统能够有效地提高浏览视频的效率。
文档编号H04N5/262GK102231820SQ20111015921
公开日2011年11月2日 申请日期2011年6月14日 优先权日2011年6月14日
发明者刘威, 张丛喆, 谢佳亮 申请人:广州嘉崎智能科技有限公司