基于全息位置地图的视频联动调度方法与流程

本发明属于计算机软件领域，具体涉及基于全息位置地图的视频联动调度方法。

背景技术

为了能够保障和维护城市的安全和良好的运行秩序,减少事故打击犯罪,城市管理者推广并广泛部署各种智能系统，例如视频监控系统、安防系统等，极大地提高了城市交通与安全管理领域的信息化水平。但由于多方面原因，各个子系统都是独立运行的，信息不能共享，相互之间没有关联，形成信息孤岛。一旦出现紧急事件，各系统之间无法及时关联联动，监控图像和其他安防资源不能共享，造成管理方不能直观对应，并快速高效地发挥预警和防范的作用，事后也难以统一核对和查找记录信息之间的相关性，浪费人力、物力，造成管理效率低下。

传统视频监控系统是由摄像、传输、控制、显示、记录登记5大部分组成。摄像机通过同轴视频电缆将视频图像传输到控制主机，控制主机再将视频信号分配到各监视器及录像设备，同时可将需要传输的语音信号同步录入到录像机内。通过控制主机，操作人员可发出指令，对云台的上、下、左、右的动作进行控制及对镜头进行调焦变倍的操作，并可通过控制主机实现在多路摄像机及云台之间的切换。利用特殊的录像处理模式，可对图像进行录入、回放、处理等操作，使录像效果达到最佳。

随着时代的发展，传统的视频监控系统体现出一系列的缺点。无论是早期的模拟电视监控系统(cctv)、后来的数字视频监控系统(dvr)及当前主流的网络视频监控系统(ipsurveillance),其核心大多仍然停留在“监”和“控”的应用，主要通过人员的实时监控及事后的录像回放来进行各种应用(早期主要应用于安防)，无法有效整合各类资源实现“智能化”的目的。

技术实现要素：

为了解决现有技术存在的上述问题，本发明目的在于提供基于全息位置地图的视频联动调度方法。

本发明所采用的技术方案为：

基于全息位置地图的视频联动调度方法，包括步骤；

s1、视频采集单元对监控区域进行监控或录像，结合全息位置地图生成ar实时视频图像，并同时执行步骤s2和s3；

s2、后端管理平台对视频采集单元采集的视频图像进行存储和分析；

s3、视频联动控制单元根据调度信息直接从视频采集单元获取相关位置ar实时视频图像或从后端管理平台获取相关位置特定时段的视频图像，发送到客户端或各监控终端进行实时画面展示，实现视频图像联动以及对摄像机运动进行控制。

本发明构建智慧城市全息位置地图：以位置为核心实现空间信息的动态关联与智能化服务，ar实时视频图像结构化分层分类显示。

具体地，所述视频采集单元包括高点视频单元和低点视频单元，高点视频单元和低点视频单元均包括摄像机；

所述高点视频单元对区域进行全局监控，在视频图像上迭加全息位置地图，对视野范围内的关注点进行可视化标注，将标签在实时视频图像中进行图像化展示，将实时视频图像中的背景信息进行结构化描述，并将地理位置、场景信息和视频流一起编码形成复合视频流发送至后台管理平台、监控终端或客户端；

所述低点视频单元与其中一个或多个关注点相关联，在低点不同角度查看监控区域细节，在视频图像上迭加全息位置地图，对视野范围内的标注物进行可视化标注，将标签在实时视频图像中进行图像化展示，将实时视频图像中的背景信息进行结构化描述，并将地理位置、场景信息和视频流一起编码形成复合视频流发送至后台管理平台、监控终端或客户端；

当摄像机旋转或焦距倍数变化时，利用坐标自标定算法使所标注的标签自动定于被标注的静态物体上，实现标签位置的实时更新。

作为优选地，所述步骤s3中，调度信息包括视频采集单元的区域信息、标识信息、视频采集时段信息和预置位置信息。

进一步地，所述步骤s3中，视频图像联动包括视频高低联动、鸟瞰视频分享和视频人力调度；

所述视频高低联动是在高点视频单元所监控的视频图像画面上鸟瞰关注点，自动查找关注点的关联摄像机并调看该关联摄像机的视频图像；或汇聚已有的低点摄像机的视频图像，在当前视频图像的画面上以画中画形式呈现目标摄像机的画面，并跳转至目标摄像机，实现高点统领、低点协同和高低联动；

所述鸟瞰视频分享是将当前鸟瞰视角的视频图像分享给其他监控终端管理人员；

所述视频人力调度是对管理人员携带的监控终端进行gps坐标映射，实时定位出管理人员在视频图像画面中的具体位置，指挥中心人员根据现场实际情况，调整管理人员分布。

再进一步地，所述对摄像机运动进行控制包括对摄像机的快速查询、单切、组切、速度的设置和云镜方向控制，预置位的设定和调用以及显示模式设定。

再进一步地，所述后端管理平台包括数据存储管理单元、视频分析单元和运维管理单元；

所述视频分析单元以视频采集单元采集实时视频图像信号作为信息数据进行分析，判断是否产生告警信息，若是则产生告警信息，将告警信息发送至告警单元；告警信息同时发送至视频联动控制单元；

运维管理单元实现系统故障自动检测、权限管理、日志记录、主动校时、远程维护及参数设置。

作为优选地，所述告警信息包括预案联动、存储联动、客户端窗口联动、监控终端窗口联动、语音对讲联动或预置位联动策略。

进一步地，所述告警单元还配合告警预案，执行告警预案内的各个告警联动操作实现告警联动。

再进一步地，所述告警联动包括实现视频图像联动和对摄像机运动进行控制。

本发明的有益效果为：

本发明构建智慧城市全息位置地图：以位置为核心实现空间信息的动态关联与智能化服务，实现高点统领、低点协同和高低联动。ar实时视频图像结构化分层分类显示。

本发明是以应用视频化，业务场景化，信息ar化为目标的基于全息位置地图的视频联动调度方法，紧密贴合视频用户的业务需求，采用分布式架构，内嵌ar增强现实智能标签算法，将用户应用相关的视频、图片、语音、文本、定位、事件等元素通过ar标签与视频建立业务应用模型，视频即应用、视频即服务，优化管理流程。

附图说明

图1是本发明-实施例的系统框图。

图2是全息位置地图的核心组成原理图。

图3是全息位置地图关键技术主要框架图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步阐述。

如图1所示，本实施例的基于全息位置地图的视频联动调度系统，包括视频采集单元、视频联动控制单元、告警单元、后端管理平台、客户端和监控终端。

视频采集单元包括摄像机和ar球机。视频采集单元与后端管理平台相连，实现视频图像信息的存储与分析；视频采集单元与监控终端相连，实现vr实时视频图像监控与查看；视频采集单元与客户端相连，为客户端提供全息位置地图和vr实时视频图像；

视频联动控制单元与视频采集单元、后台管理平台、客户端和监控终端相连，实现视频图像的调度和与视频图像联动，同时实现对摄像机运动进行控制；

告警单元与后端管理平台和客户端连接，实现告警信息的上传、接收、显示、查询与告警联动。

本实施例的基于全息位置地图的视频联动调度方法：包括如下步骤：

s1、视频采集单元对监控区域进行监控或录像，结合全息位置地图生成ar实时视频图像，并同时执行步骤s2和s3；

s2、后端管理平台对视频采集单元采集的视频图像进行存储和分析；

s3、视频联动控制单元根据调度信息直接从视频采集单元获取相关位置实时视频图像或从后端管理平台获取相关位置特定时段的视频图像，发送到客户端或各监控终端进行实时画面展示，实现视频图像联动即对视频图像的调度，以及对摄像机运动进行控制。

全息位置地图是指在泛在网环境下以位置为纽带动态关联事物或事件的多时态、多主题、多层次、多粒度的信息提供个性化的位置及与位置相关的智能服务平台。其宗旨是以人为本，根据用户的应用需求基于位置来集成和关联适宜的地理范围内容类型、细节程度、时间点或间隔的泛在信息。通过适应于特定用户的表达方式为用户提供信息服务。

其中泛在网涵盖了传感网、互联网、通信网、行业网等网络系统，它们既是全息位置地图的信息来源，又是其运行环境。泛在信息是在泛在网环境下获取的事物或事件本身及其相关信息(如位置、状态、环境等)，涵盖地球表面的基础地理信息、独立地理实体(如建筑物)的结构信息地理实体间的关联信息、各行业的信息、人的自身及其喜好信息等。泛在信息能够直接或间接地与空间位置相关联，形成描述特定事物或事件等的总体信息。

位置是指现实世界和虚拟环境中特定目标所占用的空间。在现实世界中，位置可以是用地理坐标表达的直接位置，也可以是地名、地址、相对方位和距离关系等表达的相对位置，用以描述地理实体或要素的所在地、社会事件发生地、移动目标的路径等；在虚拟环境下用ip地址，url，社交网络账户等形式描述用户登录或发布信息的位置等。

泛在信息通过位置进行关联，根据特定应用与需求，选择特定的时态、主题、层次和粒度来描述相关事物或事件的特征。“时态”反映了事物或事件随着时间变化的情形；“主题”是指从不同角度描述事物或事件；“层次”是基于事物或事件自身的层次或级别的划分来描述其相应层次的特征；“粒度”是指依据用户需求确定的描述事物或事件信息的详细程度。

全息位置地图强调以位置为核心将泛在信息到多维地图上进行汇聚、关联、分析、传递、表达。其核心组成如图2所示。

泛在信息是全息位置地图最重要的数据源，为全息位置地图提供数据支撑；语义位置作为泛在信息的核心元素，为全息位置地图提供有效的关联手段；多维动态场景应满足泛在信息及空间信息在时间尺度上的变化需求。因此，泛在信息、语义位置和多维动态场景表达构成了全息位置地图的三大核心组成部分。

通过对全息位置地图概念的理解，归纳了全息位置地图的五大特征，包括实时动态性、语义位置关联、室内外一体化、多维时空表达和自适应性。

其中，实时动态性是指实时、动态获取(接入)来源于互联网、传感网、行业网、通信网的泛在(位置关联)信息，为大众和专业领域用户的信息服务和应用，提供快速、准确的数据支持；语义位置关联，传统位置服务综合利用多源位置数据存在位置描述能力不足，而语义位置内涵丰富，基于语义位置建立人、事、物的关联关系，形成位置关联网络，为用户提供个性化、智能化位置服务；室内外一体化，实现全方位、多尺度和多粒度的室内外地上下一体化综合表达和可视化，促进室内外一体化导航等应用发展；多维时空表达，全息位置地图涵盖多个学科且跨领域，向大众、政府、社会和私人企业等提供二、三维、四维地图(三维空间+时间)等多维表达形式，三维场景与全景影像一体化融合表达结果；自适应性是指以人为本，自适应地满足用户需求，提供智能化的交互方式，以访问某实验室为例，当访问者进入大厅时，综合用户位置、朝向和角色分析，自动关联和推送用户感兴趣的信息，比如标志性的雕像、楼梯入口以及办公室方位等，这种关联和推送的内容随着位置以及用户角色的变化而不同。

作为一种新型的地图服务平台，全息位置地图的研究尚处于起步阶段，其关键技术框架如图3所示。语义位置关联以语义位置模型为基础，动态感知泛在信息中存在的位置信息，并基于度量、方位、拓扑和语义等简单的位置关联和通过时空分布、聚类模型和趋势预测等方法形成深层次的位置关联网络，实现全方位的语义位置关联。多维动态场景的技术框架则分别从场景模型与建模，表达与可视化四个方面构建。

由于地图数据服务主要来源于专业测试部门和地图提供商，提供信息相对单一；同时，大数据环境下的信息量越来越大，信息内容越来越丰富，亟需一种新型的泛在信息汇集和融合技术。多维地图作为全息位置地图泛在信息的重要表现形式，在传统地图模型与建模方法基础上，需研究室内外场景数据快速获取方法以及面向用户自适应构建地图表达模型；解决室内外一体化语义非一致性问题，实现室内外一体化实时、快速可视化。语义位置关联技术则是将来源广泛、类型复杂、时空参考异构的泛在信息，基于全息位置地图语义位置模型，在语义和知识层次上透过位置进行深度感知关联，实现目标对象的全方位发现。

在本实施例中，视频采集单元包括高点视频单元、低点视频单元。高点视频单元对区域进行全局监控，采用增强现实摄像机和vr球机，结合增强现实摄像机，对视野范围内的关注点进行可视化标注，达到对区域内的人、车、物一目了然的效果。

增强现实摄像机，将标签在实时视频图像中进行图像化展示，将视频图像中的背景信息进行结构化描述，并将地理位置、场景信息和视频流一起编码形成复合视频流发送至客户端或各监控终端。这样不仅可以提高现有高清网络摄像机显示信息的信息量小的缺点，还可以改善静态目标和动态目标展示不明显的缺点。

关注点包括高点视频单元监控范围内的道路、建筑物、标志物，视觉效果从一个普通的视频监控画面变成一个实时的全息位置地图。

具体实现方法如下：

高点视频单元采用多核arm硬件平台，包括核心开发板、外围扩展接口板和无线通讯模块，采用嵌入式c/s架构设计，包括底层服务器、通信传输、视频解码、图形化处理与通讯等模块。实现高清视频获取、视频流解码、图形化处理和自定义标签添加。

增强现实摄像机采用长焦距镜头实现超远距离监控，工作距离可达8公里，既可以大角度观察目标全貌，又可以放大观察局部；增强现实摄像机还采用激光照明，夜视最远距离可达3公里，支持光学透雾和增强现实功能。增强现实摄像机的镜头具备自动聚焦、激光同步跟踪变焦功能，当vr球机旋转、焦距倍数变化时，增强现实摄像机所标注的虚拟标签自动定位于被标注的静态物体上。增强现实摄像机内置高精度可变倍镜头，采用的3d自动定位技术，利用坐标自标定算法实现标签位置的实时更新，使得虚拟标签准确地跟踪物体。夜晚也能实现高效监测，配合360°旋转云台，真正实现24小时全方位监测。

低点视频单元与其中一个或多个关注点相关联，在低点不同角度查看监控区域细节，采用高像素高性能摄像机，支持宽动态、逆光补偿、透雾和增强现实功能。低点视频单元对视野范围内的标注物进行可视化标注，将标签在实时视频图像中进行图像化展示，将视频图像中的背景信息进行结构化描述，并将地理位置、场景信息和视频流一起编码形成复合视频流发送至后台管理平台、监控终端或客户端；

本实施例还包括其他监控设备。其他监控设备包括社会资源和交通资源，社会资源为部分标注在建筑物内的视频监控设备；交通资源包括卡口、4g执法记录仪、智能巡逻平衡车等视频图像监控录制的交通设备。其他监控设备的视频图像同样发送至后台管理平台、监控终端或客户端。

步骤s3中，调度信息包括视频采集单元的区域信息、标识信息、视频采集时段信息和预置位置信息。

视频图像联动包括视频高低联动、鸟瞰视频分享和视频人力调度。

视频高低联动的具体实现方法为：在高点视频单元所监控的视频图像画面上鸟瞰整个监控区域的道路、建筑物和标志物的关注点，自动查找某关注点的关联摄像机并调看该关联摄像机的视频图像，在正常情况下和发现突发事件时均可实现，例如：当发现突发事件时，立即在高点视频单元所监控的视频图像画面上通过视频接力的方式找到距离突发事件最近的低点摄像机进行快速调看；进一步地，还可汇聚已有的低点摄像机的视频图像，在当前视频图像的画面上以画中画形式呈现目标摄像机的监控画面，并跳转到目标摄像机。

鸟瞰视频分享的具体实现方法为：将当前鸟瞰视角的增强现实视频图像分享给其他监控终端管理人员，其他监控终端管理人员接收增强现实视频图像后快速查看视频图像，同样在正常情况下和发现突发事件时均可实现，便于应对突发事件。

视频人力调度的具体实现方法为：对管理人员携带的监控终端进行gps坐标映射，实时定位出管理人员在视频图像画面中的具体位置，指挥中心人员根据现场实际情况，调整管理人员分布。在正常情况下和发现突发事件时均可实现，当指挥中心人员在日常的视频巡逻过程中，一旦发生突发事件，指挥中心人员即可通过视频图像画面直观了解视频图像信息和位置信息，及时通知管理人员进行处理，指挥中心人员可点击标签获取管理人员相关信息，进行人力调配和视频联动。

步骤s2中，后端管理平台采用soa的软件架构，采用b/s客户端访问方式，支持国标gb/t28181-2011实现了平台的多级联网，为跨地区跨部门视频图像信息资源提供整合共享功能。系统具备较强的定制能力，能为客户提供个性化需求。包括数据存储管理单元、视频分析单元和运维管理单元。

数据存储管理单元对视频采集单元采集的实时视频图像进行24小时实时画面的存储、视频的查询与导出，对错误数据进行管理和删除，并记录管理人员的编号、时间和备注等信息。

系统采集的视频图像支持前端存储和中心集中存储，前端存储为摄像机内置的sd卡和监控终端内置的大容量硬盘进行存储，在前端即可实现数据的备份存储功能。中心集中存储为将视频图像数据存储在数据存储管理单元，数据存储管理单元采用大容量磁盘阵列。

视频分析单元，以前端的摄像机采集的视频图像信号作为信息数据，通过视频图像的分析针对监控区域的相关事件进行监控、识别、报警、记录、统计、数据关联分析，实现不同时间、空间的多维度分析并判断是否产生告警信息，若是则将告警信息发送至告警单元，告警单元配合告警预案，执行预案内的各个告警联动操作。

运维管理单元包括系统故障自动检测、权限管理、日志记录、主动校时、远程维护及参数设置。系统故障自动检测为自动检测系统故障并恢复正常工作。具有断电自动重启动、自动侦错报错、自动监测主要设备(摄像机、监控终端、后端管理平台等)和主要运行软件(采集识别软件、传输软件等)的工作状态等；权限管理对不同对象分配不同类型的使用权限，提供分级调度的能力，提供设备、用户、组的管理，为调度做好前期准备；日志记录为记录主要设备、网络状态和主要运行软件的工作日志，还能记录设备或者网络状态改变(重启、或者重新连接)、主要运行软件发生重启或故障等事件日志；主动校时为24h内设备的计时误差不超过1.0s。

告警单元对系统中各种告警信息自动处理并保存，根据接收的告警信息，配合告警预案，执行预案内的各个告警联动操作，将告警入库。

告警联动操作包括码流上送后端管理平台、自动录像、码流上墙、告警上送后端管理平台和地图联动。

告警联动包括视频图像联动和对摄像机运动进行控制，包括数字量告警联动与模拟量告警联动两种模式，应用于不同的监控场景。

开关量告警联动为当某个远端摄像机采集的vr实时视频图像发送至后端管理平台进行分析后，发出告警信息，客户端的主画面显示该远端摄像机告警点联动的vr实时视频图像，并有声音提示，通过视频联动控制单元实现自动查找关联摄像机、自动调整摄像机视角、自动弹出现场实时视频图像监控画面并记录当时现场的情况，用以提供告警现场实况；模拟量告警联动为后端管理平台根据预先设定的运行参数与前端视频采集单元发送的实时运行参数对比分析，若实时运行参数超过设置的告警阈值，则发生告警信息，并联动对应摄像机显示实时监控画面，通过监控画面直观了解视频信息及位置信息，终端用户在得到相应授权后，打开音频传输即可与该前端的管理人员进行语音对讲，及时通知相关工作人员进行处理。

所有告警信息存储可按时间、地点查询，并回放对应的录像。一条告警信息中包含多条联动策略，联动策略为视频图像数据调度控制的依据，包括预案联动、存储联动、客户端窗口联动、监控终端窗口联动、语音对讲联动、预置位联动；预案联动为特定警情发生后，系统启动相对应匹配的预案；存储联动为告警发生后启动摄像机进行监控区域的录像存储；客户端窗口联动为告警发生后将指定摄像机监控的实时视频图像画面或历史录像在客户端界面中显示；监控终端窗口联动为告警发生后将指定摄像机监控的实时视频图像在监控终端窗口中放大显示；语音对讲联动为告警发生后启动指定对讲机进行语音通讯；预置位联动为告警发生后将指定摄像机调整到指定的预置位。

步骤s3中，视频联动控制单元对摄像机运动进行控制包括：对摄像机的快速查询、单切、组切、速度的设置和云镜方向控制，预置位的设定和调用以及显示模式设定。实现视频调用和告警联动。

其中，客户端通过摄像机对监控范围内各道路、建筑物、标志物进行标注，视觉效果从一个普通的视频监测画面变成一个实时的全息位置地图，将视频图像中的背景信息进行结构化描述，基于全息位置地图引擎技术通过高点摄像机的鸟瞰视角掌握监控区域整体情况，通过调用低点摄像机从不同角度查看监控区域细节，所有重要信息都能在当前全局监控画面直观展示，使得背景信息可搜索、可定位，并能实现gps坐标映射、方位感知、视频联动等功能。形成纵览全局和掌控细节的全息运行监控系统，能大大改善用户体验、提高工作效率，增强信息的可读性。

客户端还接收告警信息，包括实时告警显示模块与历史告警查询模块，用户通过实时告警显示模块实时查看当前上报的告警信息，并通过历史告警查询模块查看历史的告警信息，历史的告警信息包括告警详细内容与其联动录像。

监控终端接收对应监控区域视频采集单元发送的实时视频图像信息并在监控终端界面上以多画面的形式展示，方便管理人员对监控区域的管理；监控终端支持各种类型的视频终端。

本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。