一种三维全景视频融合监控平台的制作方法

[0001]
本发明涉及视频监控系统的技术领域，尤其是涉及一种三维全景视频融合监控平台。


背景技术：

[0002]
监控是各行业重点部门或重要场所进行实时监控的物理基础，管理部门可通过它获得有效数据、图像或声音信息，对突发性异常事件的过程进行及时的监视和记忆，用以提供高效、及时地指挥和高度、布置警力、处理案件等。监控系统是由摄像、传输、控制、显示、记录登记等部分组成。摄像机通过同轴视频电缆将视频图像传输到控制主机，控制主机再将视频信号分配到各监视器及录像设备，同时可将需要传输的语音信号同步录入到录像机内。 通过控制主机，操作人员可发出指令，对云台的上、下、左、右的动作进行控制及对镜头进行调焦变倍的操作，并可通过控制主机实现在多路摄像机及云台之间的切换。
[0003]
监狱安防系统的工作内容繁杂、责任重大，因此必须设置监控系统，监控系统主要用作包括防止犯人越狱脱逃、打架斗殴、自伤自残、骚乱、暴乱、哄闹监狱、胁持伤害管教干部和工作人员、信息泄漏、外人非法进入、违禁物品持有和带入带出以及发生这些事件之后的处理、历史资料的保存备案等。
[0004]
但监狱当前安防系统普遍存在以下问题：现有视频监控系统不完善，一些区域视频监控设备不能覆盖，一旦发生突发事件，事后无法查证。入侵报警系统只能对全场所进行整体布撤防，无法实现分层分区域布撤防，传统分镜头监控由于缺少监控区域的整体场景信息，很难将二维的监控视频同重点地区实际三维环境进行有效关联，从而无法对大场景进行全局实时把握和控制，也不能真正为指挥者实现宏观指挥监测、整体关联、综合调度提供有效手段。


技术实现要素：

[0005]
本发明的目的是提供一种三维全景视频融合监控平台，具有能够对监控场景中离散的具有不同视场角的监控视频与监控场景的三维模型进行全景视频融合，形成场景内不同视频画面之间的空间关联，实现三维全景视频融合的一体化监控，并在单一画面中对整体区域的全局立体监控的优点。
[0006]
本发明的上述发明目的是通过以下技术方案得以实现的：一种三维全景视频融合监控平台，包括：接入部分，用于将摄像头采集的各种视频资源和数据接入，并整合各类不同来源、不同格式的图像资源；全景三维融合监控平台：将接入部分传送的视频根据需求经三维全景视频融合显示、智慧自动巡逻、三维全景历史视频回放、三维全景视频关联显示、三维测量与规划预演、警报联动挂屏显示、三维全景视频智能分析展现输出给显示设备；三维全景视频融合显示部分包括以下模块：
全景视频拼接模块：对采集部分提供的若干视频采取特征点匹配，找出各幅图像间的映射关系，根据坐标变化关系，将多幅图像变换至同一坐标系中，并进行变形校正以及边融合处理得到完整的全景三维视频并输出；三维全景融合模块：在三维地理信息框架下，将经全景视频拼接模块完成的多个视频融合显示在三维模型中所对应的真实位置，实现立体全局监控整体态势。
[0007]
通过采用上述技术方案，够对监控场景中离散的具有不同视场角的监控视频与监控场景的三维模型进行全景视频融合，形成场景内不同视频画面之间的空间关联，实现三维全景视频融合的一体化监控，用户可以在整个三维地图空间中漫游，快速精准捕获其关注的现场细节能够提高了监控系统的使用效率。
[0008]
本发明进一步设置为：所述三维模型的重建包括以下：采用无人机三维扫描对室外场景进行三维重建，将gps位置和图像视频跟踪相结合，测量摄像机的点位和姿态角，进行稠密点云的捕获，然后在高性能计算平台上进行三维点云重建。
[0009]
通过采用上述技术方案，建模采用无人机的室外扫描重建，实现低成本、准确的模型重建和虚实融合。
[0010]
本发明进一步设置为：所述以智慧巡逻部分以三维模型为基础，在三维模型上预设巡控路径，并基于图论搜索技术，以各视频点为节点，动态形成最佳巡控路径进行深度和广度巡逻，实现视频自动巡逻。
[0011]
通过采用上述技术方案，实现视频实时、快速、非重复、无遗漏的视频遍历巡航和“点线面”相结合的快速巡航，从根本上提高日常安保巡控能力和效率。
[0012]
本发明进一步设置为：所述三维全景历史视频回放部分用于读入存储中的多个摄像机历史视频，将历史视频可视化到整体三维模型场景里，根据需要将所有视频统一回调到过去某一时刻，实现在全时空环境下正向或反向播放搜索。
[0013]
通过采用上述技术方案，能够在全景场景显示模式下高效溯源，保证在全场景中对历史事件整体回放，以整体画面描述事件来龙去脉，提高对历史事件的查询能力及事件的全场景重现能力，三维全景历史视频回放功能保证了在全场景中对历史事件整体回放，改变了依赖分镜头零散倒查的传统工作模式，能够有效提升历史事件的回查效率，降低资源的投入量。
[0014]
本发明进一步设置为：所述全景视频关联显示部分在三维全景视频利用枪式摄像机与球式摄像机结合的方式进行监控，在全场景视频中通过锁定目标,球机进行自主追踪，实现对目标的联动跟踪。
[0015]
通过采用上述技术方案，监控人员无需预知球机位置及观测角度，在全景画面中点击视野范围内的目标兴趣点，在全景范围内的球机能够根据目标的位置进行自动缩放，调整视角进行细节监控。
[0016]
本发明进一步设置为：所述三维测量与规划预演部分在三维场景或二维全局地图上点击所要观测的目标或区域，提供在三维模型进行三维测量与规划预演。
[0017]
通过采用上述技术方案，用户可以根据跟踪和监控需求，通过在三维模型进行三维测量与规划预演，了解部署方案和布防方案的合理性。
[0018]
本发明进一步设置为：警报联动挂屏显示部分将三维虚拟现实显示与传统的矩阵
式视频进行有机的结合，将关键出入口等位置摄像头常驻在第二屏幕进行显示，动态报警的摄像头也将在第二屏幕进行动态显示，将全局态势和关键位置分屏细节相结合。
[0019]
通过采用上述技术方案，警报联动的挂屏显示超越传统视频监控系统单一空间中进行显示的局限，实现全局统一态势。
[0020]
本发明进一步设置为：三维全景视频智能分析部分利用计算机视觉和数据分析技术，对监控场景进行跨相机人员跟踪、绊线检测、定时禁区检测以及人数统计与密度估计。
[0021]
通过采用上述技术方案，可以进一步的增加监控平台的监控效果，并节省了用户的工作强度，提高了工作效率。
[0022]
本发明进一步设置为：跨相机人员跟踪功能采用基于传感器识别加视觉融合的方法，通过人脸比对报警通知进行合成，实现运动人员的跨相机跟踪。
[0023]
通过采用上述技术方案，可以使用户关注某一人员或对象的全局运动轨迹，在三维全景视频中进行连续跟踪，便于监控。
[0024]
本发明进一步设置为：绊线检测功能采用高斯模型用于背景建模，利用背景差分进行前景目标提取，扫描虚拟线上所有点，当检测目标穿越绊线后，若为双向绊线，系统直接报警；若为单向绊线，利用目标颜色直方图欧拉距离来确定目标运动方向，如果目标运动方向与禁止穿越方向一致，系统报警，用于对敏感区域或位置设置禁区报警。
[0025]
本发明进一步设置为：定时禁区检测功能根据用户需要对三维全景空间中某一区域设定禁区，在规定时间范围内，如果有运动对象进入禁区，则系统报警，并将巡航相机回调到报警区域进行警报确认和处理。
[0026]
通过采用上述技术方案，可以用于某一固定区域在固定时间范围内设置禁区报警，无需人员始终监控，减少了工作强度，且提高了监控的精准性。
[0027]
本发明进一步设置为：人数统计与密度估计功能基于机器学习进行人数统计，提取输入图像前景以获取不同特征，包括：边缘特征，前景特征，灰度共生矩阵，hog特征等；对获取到的特征做透视变换，增大距离远的图像像素特征的权值；针对不同的预估密度采取不同的回归方式做回归，得到对监控场景人数的统计。
[0028]
通过采用上述技术方案，可以用于对某场所重点路口或区域的人数进行统计，并对人口密度进行估计，对密度异常变化进行报警。
[0029]
本发明进一步设置为：三维模型中的摄像头与传感器均采用poi标签显示，保证在一个视角下能同时观测多个和物理位置相关联的摄像头情况。
[0030]
综上所述，本发明的有益技术效果为：1.将离散的具有不同视场角的传统监控视频与监控场景的三维模型进行全景视频融合，形成场景内不同视频画面之间的空间关联，实现三维全景视频融合的一体化监控体系，支持在单一画面中对整体区域的全局立体监控、分画面中监控细节展示、用户可自定义的视频智慧自动巡逻和智能分析等功能；2.实现视频实时、快速、非重复、无遗漏的视频遍历巡航和“点线面”相结合的快速巡航，从根本上提高日常安保巡控能力和效率；3.监控人员无需预知球机位置及观测角度，在全景画面中点击视野范围内的目标兴趣点，在全景范围内的球机能够根据目标的位置进行自动缩放，调整视角进行细节监控。
附图说明
[0031]
图1是本发明的架构示意图。
[0032]
图2是本发明的全景三维融合监控平台架构示意图。
具体实施方式
[0033]
以下结合附图对本发明作进一步详细说明。
[0034]
参照图1，本发明公开的一种三维全景视频融合监控平台，包括系统平台架构以及系统硬件架构。系统平台架构包括以下五个模块：数据层、接入层、数据管理调度层数据处理层以及应用层。
[0035]
一、数据层：主要负责整个平台基础数据的采集接入，可接入的数据种类丰富多样，包括视频数据（全景视频、网络枪击、网络球机以及其他平台资源）以及环境数据(三维模型、gis数据)，涵盖了结构化与非结构化的数据类型。
[0036]
二、接入层：包括视频数据接入以及多元数据接入，实现对接入视频的数据在数据格式以及控制信令方面的格式化、规范化及标准化处理，对接入的多源数据在数据格式、数据封装以及传输协议方面的格式化、规范化以及标准化处理，使系统内部按照统一的格式处理各种接入的数据，减少系统内部数据格式转化的复杂度，提高系统内部数据处理效率。
[0037]
三、数据管理调度层：主要完成系统内的数据管理和调度，实现各类数据的转分发、存储、数据之间的关联及联动关系配置等。
[0038]
四、数据处理层：负责对下层分发来的数据进行深度处理，通过系统内嵌的计算机图形图像处理算法完成对视频的优化处理，包括全景三维以及视频优化两方面，全景三维包括对视频拼接处理，模型数据优化，虚实融合处理；视频优化包括进行色差校正、视频增强、电子防抖、电子透雾的优化处理，为上层应用提供更为精细的数据服务。
[0039]
五、应用层：是终端用户与场所全景监控系统进行互动的唯一接口，以数据库、地图引擎、三维引擎为基础为用户提供业务运行的基础环境、与视频相关的基础应用（实时点播、录像回放）、基于全景视频的相关应用以及基于视频图像的智能应用等一系列应用（三维全景视频融合显示、智慧自动巡逻、三维全景历史视频回放、三维全景视频关联显示、三维测量与规划预演、警报联动挂屏显示、三维全景视频智能分析），并提供二次开发接口，满足用户的其他系统数据共享的需求。
[0040]
系统硬件架构包括以下三个系统：接入部分、基础服务平台以及全景三维融合监控平台。
[0041]
一、接入部分：用于国内外主流视频监控设备的无缝接入，将布设于监控场所内的各前端摄像头采集的各种不同来源和格式的视频资源和数据接入到全景视频监控管理系统，建成“统一编解码标准、统一联网协议、统一控制协议、统一编号规则、统一图像标注、统一位置标识”的视频管控系统，在系统中整合各类不同来源、不同格式的图像资源。
[0042]
二、基础服务平台：提供视频监控的基础服务，通过接入管理服务器对接入部分进来的多路视频通过视频分析服务器进行融合处理、图形处理等操作。
[0043]
三、全景三维融合监控平台：将经基础服务平台处理过的视频根据用户的实际需求，经处理并展现输出给显示设备。
[0044]
参照图2，全景三维融合监控平台包括以下七部分功能：
1、三维全景视频融合显示部分包括全景视频拼接模块以及三维全景融合模块。全景视频拼接模块针对拍摄的不同视频进行图像预处理，采取特征点匹配策略找出两幅图像之间的映射关系，然后根据坐标变化关系，将两幅图像变换到同一个坐标系中，通过变形校正、边缘融合处理，得到完整的大范围全景视频。为满足监控的实时性与精确性，将全景视频监控分为初始化和正常监控两个部分。初始化部分，通过图像匹配确定摄像机的空间位置关系，并引入最优化思想确定两幅图像的拼接缝隙位置；正常监控部分，根据初始化阶段确定的参数，针对每帧视频信息进行快速融合方案，实现实时精确的全景视频监控。
[0045]
三维全景融合模块在三维地理信息框架下，将经全景视频拼接模块完成的多个视频融合显示在三维模型中所对应的真实位置，实现立体全局监控整体态势。三维模型通过无人机三维扫描对室外场景进行三维重建，将gps位置和图像视频跟踪相结合，测量摄像机的点位和姿态角，进行稠密点云的捕获，然后在高性能计算平台上进行三维点云重建。对于大场景情况下，还可以动用无人机编队进行扫描整合。室内则采用手工建模和照片建模相结合的方法。从而解决了传统分镜头缺少监控区域的整体场景信息，很难将二维的监控视频同重点地区实际三维环境进行有效关联的问题，用户可以在整个三维地图空间中漫游，快速精准捕获其关注的现场细节，实现了能够对大场景进行全局实时把握和控制，可以真正为指挥者实现宏观指挥监测、整体关联、综合调度提供有效手段。
[0046]
另外将监控场景内的摄像头和传感器采用poi标签进行显示，保证在一个视角下能同时观测多个和物理位置相关联的摄像头情况。将多种类型的传感器标签化显示，传感器的数值可以在标签上进行表现，也可以在警报出现时出现和闪烁通知相应的标签。
[0047]
2、智慧自动巡逻部分以三维模型为基础，在三维模型上预设巡控路径，实现自动视频巡逻，将监控画面与三维模型有机结合，使用户以更加直观的方式进行全景视频的漫游和巡检，有助于巡看人员更为透彻地获取和理解信息，并快速准确地做出判断。另外基于图论搜索技术，以各视频点为节点，动态形成最佳巡控路径进行深度和广度巡逻，从根本上提高日常安保巡控能力和效率。根据监控场景实际情况和用户需求，可进一步实现自动漫游巡航、全覆盖巡航、点线面多方位巡航等，大大减轻巡视治安防控人员的视觉疲劳，提升监视效率和摄像头利用率。
[0048]
3、三维全景历史视频回放部分读入存储中的多个摄像机历史视频，将历史视频可视化到整体三维模型场景里，根据用户需要将所有视频统一回调到过去某一时刻，实现在全时空环境下正向或反向播放搜索，改变了传统视频的单路存储的方式，避免了历史视频的调取回放存在的局限性，减少了在存储的大量视频中查找某一路历史视频需要花费的大量人力、物力。在全景场景显示模式下高效溯源，保证在全场景中对历史事件整体回放，以整体画面描述事件来龙去脉，提高对历史事件的查询能力及事件的全场景重现能力。三维全景历史视频回放功能保证了在全场景中对历史事件整体回放，改变了依赖分镜头零散倒查的传统工作模式，能够有效提升历史事件的回查效率，降低资源的投入量。
[0049]
4、全景视频关联显示部分在三维全景视频利用枪式摄像机与球式摄像机结合的方式进行监控，在全场景视频中通过锁定目标,球机进行自主追踪，实现对目标的联动跟踪。从而使监控人员无需预知球机位置及观测角度，在全景画面中点击视野范围内的目标兴趣点，在全景范围内的球机能够根据目标的位置进行自动缩放，调整视角进行细节监控。
[0050]
5、三维测量与规划预演部分在三维场景或二维全局地图上点击所要观测的目标
或区域，提供在三维模型进行三维测量与规划预演，使用户可以根据跟踪和监控需求，了解部署方案和布防方案的合理性。
[0051]
6、警报联动挂屏显示部分将三维虚拟现实显示与传统的矩阵式视频进行有机的结合，实现全局统一态势，并将关键出入口等位置摄像头常驻在第二屏幕进行显示，动态报警的摄像头也将在第二屏幕进行动态显示，将全局态势和关键位置分屏细节相结合，保持二者的优点。
[0052]
7、三维全景视频智能分析部分包括智能分析与检测功能，利用计算机视觉和数据分析技术，对监控场景进行跨相机人员跟踪、绊线检测、定时禁区检测以及人数统计与密度估计，以满足某某场所运维和安保的具体要求。
[0053]
跨相机人员跟踪功能采用基于传感器识别加视觉融合的方法，通过人脸比对等报警通知进行合成，实现运动人员的跨相机跟踪，使用户关注某一人员或对象的全局运动轨迹，在三维全景视频中进行连续跟踪，实现跨越不同相机的人员运动轨迹连续观测。
[0054]
绊线检测功能根据用户自身需求，在视频图像上人为描绘虚拟线条作为绊线，当系统检测到有运动目标跨越绊线时，即图像前景目标像素点集和图像上的绊线像素点集有交集，系统发出报警。在绊线检测中，采用高斯模型用于背景建模，利用背景差分进行前景目标提取，扫描虚拟线上所有点，当检测目标穿越绊线后，若为双向绊线，系统直接报警；若为单向绊线，利用目标颜色直方图欧拉距离来确定目标运动方向，如果目标运动方向与禁止穿越方向一致，系统报警，用于对敏感区域或位置设置禁区报警。
[0055]
定时禁区检测功能根据用户需要对三维全景空间中某一区域设定禁区，在规定时间范围内，如果有运动对象进入禁区，则系统报警，并将巡航相机回调到报警区域进行警报确认和处理。用于某一固定区域在固定时间范围内设置禁区报警。
[0056]
人数统计与密度估计功能基于机器学习进行人数统计，提取输入图像前景以获取不同特征，包括：边缘特征，前景特征，灰度共生矩阵，hog特征等；对获取到的特征做透视变换，增大距离远的图像像素特征的权值；针对不同的预估密度采取不同的回归方式做回归，得到对监控场景人数的统计。人流密度估计的方法采用结合多种运动特征的方法，通过透视归一化算法，对特征进行校正。用于对某场所重点路口或区域的人数进行统计，并对人口密度进行估计，对密度异常变化进行报警。
[0057]
三维全景视频融合监控平台作为系统集成的核心系统，实现监控系统、门禁系统、消防系统和环境监测系统的联动功能，当上述任意一个系统出现异常警报时，三维全景视频监控平台可接受该系统发送的节点开关量信号并显示，警报可分为三种颜色显示，三种颜色分别代表三种不同的异常类型。然后将异常报警区域的视频在监控平台中显示，另外监控平台系统还可以提供报警音频提示、球型摄像机转向、中控室闪光警报灯实感提示等。
[0058]
本发明通过对某场所内重点区域的视频资源建设和优化，将离散的具有不同视场角的传统监控视频与监控场景的三维模型进行全景视频融合，形成场景内不同视频画面之间的空间关联，实现三维全景视频融合的一体化监控体系，支持在单一画面中对整体区域的全局立体监控、分画面中监控细节展示、用户可自定义的视频智慧自动巡逻和智能分析等功能。
[0059]
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。