一种基于可视化运动轨迹的视频信息处理方法与系统与流程

本发明涉及计算机视觉处理技术，尤其指一种基于可视化运动轨迹的视频信息处理方法与系统。

背景技术：

整个安防市场已经进入到了泛智能化时代，交通、能源、园区、学校、楼宇、银行包括中小企业、民用等都有智能化的应用需求。智能化的重要目标之一是使得对大容量多媒体数据的检索和回访更加便捷和高效。传统的回访方式是以摄像头标号(和/或名称)和时间作为检索条件。

但是这种方式往往仍然需要人工查看大量的视频数据以找到所需要的真正有用的信息。然后随着数据的爆发性增长，通过人工查看视频数据变得难以实现：世界上90％的数据是过去几年里产生的。而事实上，在过去三十年中，全世界的数据量大约每两年增加10倍，这一增长速率远远超过了计算机领域的摩尔定律。并且这个速率随着更多的数据获取工具的不断涌现正在日益变大。视频数据尤其如此。

市场调研机构ihs的分析报告显示，2014年，网络摄像头的出货量第一次超过了模拟摄像头。预计到2018年，网络摄像头的出货量将达到124亿台，2017年预计这些摄像头每天生成的数据将达到859tb。在未来5年内，视频产生的数据流量将占全部网络数据流量的80-90％。需要处理的数据会越来越多，这必须要有更好的解决方案来管理、存储这些数据。由于涉及各种各样的视频分析，因此，对视频的分析，解码、编码和转码等各种功能的集成，以及云计算，这些都将是非常重要的领域。毫无疑问，随着视频联网逐渐势起，以视频监控为核心的安防产业正向着更高清、更智能、大数据的方向快速演进。这也使得传统的以人海战术为主的视频线索查找犹如大海捞针。

在如今的数据爆炸时代，如何对视频在采集、存储、查询、回访的各个环节中进行优化，解决数据量爆发性增长带来的一系列问题，成为业界人士亟待解决的难题。

技术实现要素：

为解决上述问题，本发明提出了一种基于可视化运动轨迹的视频信息内容处理方法及系统。

第一方面，本发明提供了一种基于可视化运动轨迹的视频信息处理方法，包括，

根据预设识别条件对摄像头采集的视频中的跟踪目标进行识别跟踪，获取所述跟踪目标的运动轨迹特征；

将所述视频以及与所述视频中的跟踪目标运动轨迹特征存储到运动轨迹特征库中；

接收用户输入的检索条件，所述检索条件包括：第一运动轨迹特征；

从所述运动轨迹特征库中获取与所述第一运动轨迹特征相匹配的第二运动轨迹特征；

从所述视频中获取与所述第二运动轨迹特征相对应的目标视频。

在根据预设识别条件对摄像头采集的视频中的跟踪目标进行识别跟踪，获取所述跟踪目标的运动轨迹特征之前，还包括：

对摄像头进行标定，使得摄像头拍摄的视频中的图像与预设电子地图相对应，预设电子地图用于显示所述第二运动轨迹特征。

在于，在根据预设识别条件对摄像头采集的视频中的跟踪目标进行识别跟踪，获取所述跟踪目标的运动轨迹特征之前，还包括：

对摄像头采集的视频进行前景检测，去除所述视频中的背景图像，对所述视频进行去噪处理。

所述运动轨迹特征包括：所述摄像头的拍摄区域、所述跟踪目标进入所述拍摄区域的时间、所述跟踪目标离开所述拍摄区域的时间以及所述跟踪目标的运动速度。

第二方面，本发明还提供了一种基于可视化运动轨迹的视频信息处理系统，包括，

处理单元，用于预设识别条件对摄像头采集的视频中的跟踪目标进行识别跟踪，获取所述跟踪目标的运动轨迹特征；

存储单元，将所述视频以及与所述视频中的跟踪目标运动轨迹特征存储到运动轨迹特征库中；

接收单元，用于接收用户输入的检索条件，所述检索条件包括：第一运动轨迹特征；

检索单元，用于从所述运动轨迹特征库中获取与所述第一运动轨迹特征相匹配的第二运动轨迹特征；

视频获取单元，用于从所述视频中获取与所述第二运动轨迹特征相对应的目标视频。

所述系统还包括，标定单元，用于对摄像头进行标定，使得摄像头拍摄的图像与预设电子地图相对应，所述预设电子地图用于显示所述第二运动轨迹特征。

所述处理单元还用于对摄像头采集的视频进行前景检测，去除所述视频中的背景图像，对所述视频进行去噪处理。

所述运动轨迹特征包括：所述跟踪目标进入所述摄像头的拍摄区域、所述跟踪目标进入所述拍摄区域的时间、所述跟踪目标离开所述拍摄区域的时间以及所述跟踪目标的运动速度。

本发明通过研究视频中运动目标的运动轨迹，设置条件，重点关注视频之中的跟踪目标运动轨迹特征，对符合条件的视频进行存储并标记(即提取视频中的跟踪目标运动轨迹特征)，当对视频库进行回访时，设置检索条件检索出相应的视频片段，并调出视频片段进行回访；通过上述方法压缩了视频存储的数据量，并大大减小了视频回访时的工作量。

附图说明

图1为本发明的整体流程示意图；

图2为本发明中通过特征匹配的检索目标运动轨迹的示意图；

图3为本发明中多个目标不同运动轨迹的示意图；

图4为本发明中通过目标运动轨迹特征还原特定时刻摄像头图像的示意图；

图5为本发明所述多个摄像头画面映射至同一张电子地图的示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明提供了一种基于可视化运动轨迹的视频信息处理方法，包括，

根据预设识别条件对摄像头采集的视频中的跟踪目标进行识别跟踪，获取所述跟踪目标的运动轨迹特征；

将所述视频以及与所述视频中的跟踪目标运动轨迹特征存储到运动轨迹特征库中；

接收用户输入的检索条件，所述检索条件包括：第一运动轨迹特征；

从所述运动轨迹特征库中获取与所述第一运动轨迹特征相匹配的第二运动轨迹特征；

从所述视频中获取与所述第二运动轨迹特征相对应的目标视频。

从所述视频中在根据预设识别条件对摄像头采集的视频中的跟踪目标进行识别跟踪，获取所述跟踪目标的运动轨迹特征之前，对摄像头进行标定，利用摄像头所拍摄到的图像来还原预设的地图中的点和图像中对应点之间的关系。即建立摄像头拍摄的图像中像素点与地图上的位置的对应关系。

同时，将相关区域的地图电子化形成预设电子地图，通过预设电子地图显示所述跟踪目标的运动轨迹，以便于用户观测跟踪目标的运动轨迹特征。同时，还可在预设电子地图上设置不同等级的禁区，通过跟踪目标是否闯入禁区等因素作为s3中的检索条件。

对摄像头采集的视频进行前景检测，去除所述视频中的背景图像，对所述视频进行去噪处理。即除去摄像头采集的视频中静态不变的背景部分，提取出包含有限信息的内容，对一些非安防监控所观测的对象也进行过滤，具体地可以通过设置像素点灰度值范围，大于或小于灰度值阈值的像素点作为噪声去除。

事后可以在地图按照时间顺序播放目标的运动轨迹。点击任意轨迹可以播放当时对应的视频。也可以通过设置闯入时间、离开时间、闯入区间、速度、轨迹特征、是否有人员聚集等来检索所需要的轨迹，通过轨迹来找到对应的视频片断。

本发明还提供了一种基于可视化运动轨迹的视频信息处理系统，包括，

处理单元，用于预设识别条件对摄像头采集的视频中的跟踪目标进行识别跟踪，获取所述跟踪目标的运动轨迹特征；

存储单元，用于将所述视频以及与所述视频中的跟踪目标运动轨迹特征存储到运动轨迹特征库中；

接收单元，用于接收用户输入的检索条件，所述检索条件包括：第一运动轨迹特征；

检索单元，用于从所述运动轨迹特征库中获取与所述第一运动轨迹特征相匹配的第二运动轨迹特征；

视频获取单元，用于从所述视频中获取与所述第二运动轨迹特征相对应的目标视频。

所述系统还包括，标定单元，用于对摄像头进行标定，使得摄像头拍摄的图像与预设电子地图相对应，所述预设电子地图用于显示所述第二运动轨迹特征。

所述处理单元还用于对摄像头采集的视频进行前景检测，去除所述视频中的背景图像，对所述视频进行去噪处理。对摄像头采集的视频进行前景检测，去除所述视频中的背景图像，对所述视频进行去噪处理。即除去摄像头采集的视频中静态不变的背景部分，提取出包含有限信息的内容。对一些非安防监控所观测的对象也进行过滤，具体地可以通过设置像素点灰度值范围，大于或小于灰度值阈值的像素点作为噪声去除。

所述运动轨迹特征包括，所述跟踪目标进入所述摄像头的拍摄区域、所述跟踪目标进入所述拍摄区域的时间、所述跟踪目标离开所述拍摄区域的时间以及所述跟踪目标的运动速度。

本发明实施后的效果如下：由于监控画面中，大部分时刻都是相同的、静止不动的画面，在回放的过程中，会存在大量的并不重要的视频片段，对于不重要的视频，就可以直接跳过；甚至在视频存储时，设置一定条件将该部分视频直接不进行存储，减少不必要的数据产生量。

如果在事后回放的时候做选择目标特征进行图像识别处理，由于系统的处理能力有限，会增加用户每次查询时候的等待时间。本发明中提到的方法在录像的时候同时做视频的识别处理，在回放的时候，只需要在地图上设置条件，做简单的判断即可找到目标的运动轨迹，通过运动轨迹实现视频的检索回放。

当存在多个摄像头的时候，可以将多个摄像头可以同时映射到同一张地图上。事后检索回放的时候能够在一张地图上对所有的摄像头进行条件检索。

本发明中可以采用单个或多个摄像头对待监控区域进行监控，其工作原理相同。

单摄像头基于可视化轨迹编辑的视频检索与回访：在任一摄像头得到的二维视频中，经过跟踪系统可以得到关于任一目标在任意时间点上的位置、形状、轮廓和颜色等特征信息，基于外表信息可以判断目标的种类归属，而基于时间和空间(位置)信息就可以了解目标的运动轨迹。如图2，图3所示。

每一轨迹和一个目标紧密相关的，而每一目标是具备自有的形状、轮廓和颜色等特征的。本发明通过如下方式实现对跟踪目标运动轨迹特征的处理：

静态展示：本发明通过图2中的方式将一段时间的多帧视频通过一幅简单的轨迹图表示出来，本发明在这幅图上附加更多的关于目标本身的信息，轨迹的颜色可以是目标的颜色(主体颜色或整体颜色)，轨迹的粗细可以从一定程度上反应目标的大小，并且这个粗细可以随着目标大小的变化而变化，目标的出现和消失的时间也可以标记在相应轨迹的两端。

如图4所示，对于跟踪目标运动轨迹特征静态展示还可展示运动轨迹特征的附加信息：对于无法在轨迹上直接标记的信息呈现在附加的额外区域中，这些附加的信息可以包括(：当前显示在轨迹图上的所有目标的代表性图片列表，当前鼠标所在轨迹时刻点对应的相应目标在那一时刻的图片(并随着鼠标的移动而变动)，还可以让任一轨迹对应的目标动态自动播放。

动态编辑：对于电子地图展示的轨迹，可以通过在实际场景对安防监控区域中使用时间限制、空间限制，即对特定的区域是否允许进入设置时间和空间上的限制，；并通过上述这两种方式相混合的办法来对运动轨迹特征进行过滤，即搜索出包括违反时间限制、空间限制的跟踪目标运动轨迹特征，并调用回访对应地视频。具体地，空间限制可以通过在安防监控区域设置计数门或者其他空间限制等方式实现)，选择一条或几条轨迹，然后让系统在线播放这几条轨迹对应的目标同时融合(连同背景)在一个场景中的视频片段，这样有利于异常动作的快速定位和不同目标行动的对比。为这个操作还可以提供一个三维视图使得用户可以在时间轴上控制各个目标的开始呈现时间，甚至可以在时间轴上压缩轨迹长度实现某些目标的快速预览。针对上面两种操作的结果还可以生成二维视频予以保存。

除了通过单一摄像头对应一块区域及其预设电子地图的工作方式外，本发明还可通过多个摄像组成摄像头网络对一块平面区域或非平面区域进行视频监控处理：

1)对于平面多摄像头基于可视化轨迹编辑的视频检索与回访：

如图5所示，当运动目标经过两个视野重合的摄像头时，在地图上形成统一的运动轨迹，在多个摄像头监视一个统一平面区域的多摄像头网络中，通过映射系统，所有的目标轨迹可以映射到这一平面的预设电子地图中，从而形成目标在预设电子地图上运动的统一运动轨迹。

2)对于立体多摄像头基于可视化轨迹编辑的视频检索与回访：

如果多摄像头网络不是监视一个平面区域，而是监视比如一栋大楼这样的非平面区域，则可以把各层楼的地图合并至同一个平面上，整合成一张综合地图，而表示各个楼层之间的连接区域可通过拉直的楼梯或电梯相连，同样可以采用上面的方式。

视频中运动目标的轨迹可以有更多的应用。利用轨迹信息来基于事件规则，用扩展的文法分析器对感兴趣事件加以识别，从而提供一个完整的行为识别框架。提出将运动轨迹或形态变化运用于应用程序的用户界面，使用户界面具有更多更丰富的动态效果及艺术效果。在这两个专利中，和上面的视频浓缩一样，轨迹实际只是一个隐含的跳板工具。相反，在一个多摄像头网络监控系统中，基于摄像头间的拓扑关系，采用人工顺序访问的方式，试图构筑任一运动目标完整的多摄像头完整活动视频并在gis图上形成整体的运动轨迹。轨迹还可以被用于绊线判断中以自动检测运动目标的异常行动。

任一运动目标的轨迹变动，无论是在二维视频空间还是在预设电子地图空间甚或三维世界坐标空间，实际是反映了该目标的诸多运动特性，所以一方面可以利用它来对目标的运动进行编辑，另一方面可以通过轨迹发掘目标的异常动作。既然可以做自动的轨迹安排，那仿照对轨迹的分析判断，在轨迹信息上附加对应目标的多重信息(比如目标出现消失时间，颜色，大小甚至目标表象等)，手工地对多目标在单个或多个摄像头中的轨迹信息进行直观的编辑以更快地锁定需要查找的视频信息。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。