监视视频的处理方法、处理装置及电子设备与流程

本申请涉及图像数据处理技术领域，更具体而言，涉及一种监视视频的处理方法、处理装置及电子设备。

背景技术

视频监控是安全防范系统的重要组成部分，传统的监控系统包括前端摄像机、传输线缆、视频监控平台，它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。监控是各行业重点部门或重要场所进行实时监控的物理基础，管理部门可通过它获得有效数据、图像或声音信息，对突发性异常事件的过程进行及时的监视和记忆，用以提供高效、及时地指挥和高度、布置警力、处理案件等。随着当前计算机应用的迅速发展和推广，全世界掀起了一股强大的数字化浪潮，各种设备数字化已成为安全防护的首要目标。现阶段大量监控摄像头、或空中巡查监视传感器在公安、武警、环保等部门广泛应用，通过地面或空中机载摄像头生成的实时监视影像满足行业应用需求。

针对大量的地面或空中的监视视频，对视频中监视区域以及监视区域内的地物进行精确标注有助于监视目标的达成，而将监视区域内的地物信息和视频进行精确合成的过程可以称之为进行监视视频精准现实增强。大量的对地监视视频，特别是空中的监视视频，在视频覆盖的区域主要依赖于操作人员进行地物识别，如标志性的高楼、河流等，对监控视频操作人员要求比较高，需要操作人员非常熟悉监视区域，因此极大限制了监视视频的快速理解和行业应用。现有的方式多是通过电子地图的形式进行初步的位置显示，如将搭载摄像机平台的地理位置显示在电子地图上，并将摄像机朝向绘制在地图上，辅助操作人员进行监视视频理解，但是由于监视视频和电子地图分别属于不同的显示窗口，操作人员需要反复切换，使得操作繁琐。

技术实现要素：

有鉴于此，本申请的目的在于提供一种监视视频的处理方法、处理装置及电子设备，能够为视频图像中的地物目标准确地添加地物信息，不仅极大提高了视频的可理解性，还提升了地物目标的地物信息与视频中的图像匹配的准确率，降低了对操作人员的要求。

第一方面，本申请实施例提供了一种监视视频的处理方法，包括：根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息；为视频图像中的地物目标添加获取的地物信息。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数，包括：从遥感影像中确定n个特征点；其中，n≥3；根据n个特征点的坐标，计算视频采集设备的位置参数和姿态参数。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息，包括：根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；获取地理信息系统中覆盖区域内的地物目标的地物信息。

结合第一方面的第二种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，获取地理信息系统中覆盖区域内的地物目标的地物信息之后，还包括：根据视频采集设备的位置参数确定地物目标的位置等级；其中，位置等级为根据地物目标与视频采集设备的距离划分的等级；判断地物目标的位置等级是否大于或等于预设位置等级；若地物目标的位置等级大于或等于预设位置等级，则为视频图像中的地物目标添加获取的地物信息。

结合第一方面的第三种可能的实施方式，本申请实施例提供了第一方面的第四种可能的实施方式，其中，为视频图像中的地物目标添加获取的地物信息，包括：根据共线方程计算地物目标在视频图像中的位置；将地物信息添加至视频图像中地物目标的对应位置，以在视频图像中显示地物目标的地物信息。

本发明第二个方面的实施例提供了一种监视视频的处理装置，包括：计算模块，用于根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；获取模块，用于根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息；添加模块，用于为视频图像中的地物目标添加获取的地物信息。

结合第二方面，本申请实施例提供了第二方面的第一种可能的实施方式，其中，计算模块包括：确定模块，用于从遥感影像中确定n个特征点；其中，n≥3；计算模块，还用于根据n个特征点的坐标，计算视频采集设备的位置参数和姿态参数。

结合第二方面的第一种可能的实施方式，本申请实施例提供了第二方面的第二种可能的实施方式，处理装置包括：确定模块，还用于根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；获取模块，还用于获取地理信息系统中覆盖区域内的地物目标的地物信息。

结合第二方面的第二种可能的实施方式，本申请实施例提供了第二方面的第三种可能的实施方式，其中，处理装置包括：确定模块，还用于根据视频采集设备的位置参数确定地物目标的位置等级；其中，位置等级为根据地物目标与视频采集设备的距离划分的等级；判断模块，用于判断地物目标的位置等级是否大于或等于预设位置等级；添加模块，还用于若地物目标的位置等级大于或等于预设位置等级，则为视频图像中的地物目标添加获取的地物信息。

结合第二方面的第三种可能的实施方式，本申请实施例提供了第二方面的第四种可能的实施方式，处理装置包括：计算模块，还用于根据共线方程计算地物目标在视频图像中的位置；添加模块，还用于将地物信息添加至视频图像中地物目标的对应位置，以在视频图像中显示地物目标的地物信息。

第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线通信，机器可读指令被处理器运行时执行如上述任一项的监视视频的处理方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如上述任一项的监视视频的处理方法。

本申请实施例提供的监视视频的处理方法和装置，首先获取视频采集设备采集的视频图像，并通过视频图像匹配出遥感影像，通过视频图像和遥感影像共同计算视频采集设备的位置参数和姿态参数，其中，位置参数为视频采集设备的位置的空间坐标，进一步地，根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息，其中，地物信息包括地物目标的空间坐标和名称，再进一步地，为视频图像中的地物目标添加获取的地物信息。本申请实施例通过使用高分辨率的遥感影像和实时视频，能够准确的计算出视频采集设备的位置参数和姿态参数，进而能够为视频图像中的地物目标准确地添加地物信息，不仅极大提高了视频的可理解性，还提升了地物信息与视频图像中的地物目标匹配的准确率，降低了对操作人员的要求。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的一种监视视频的处理方法的流程图；

图2示出了本申请实施例所提供的另一种监视视频的处理方法的流程图；

图3示出了本申请实施例所提供的另一种监视视频的处理方法的流程图；

图4示出了本申请实施例所提供的另一种监视视频的处理方法的流程图；

图5示出了本申请实施例所提供的一种监视视频的处理装置的结构示意图；

图6示出了本申请实施例所提供的另一种监视视频的处理装置的结构示意图；

图7示出了本申请实施例所提供的另一种监视视频的处理装置的结构示意图；

图8示出了本申请实施例所提供的一种电子设备的结构示意图。

主要元件符号说明：

10、计算模块；20、获取模块；30、添加模块；40、确定模块；50、判断模块；100、处理器；200、存储器；300、总线。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

考虑到相关技术中依赖监控视频操作人员对地物目标进行识别，因而对操作人员的要求较高，需要操作人员非常熟悉监视区域，因此极大限制了监视视频的快速理解和行业应用；而将监视视频和电子地图分别在不同窗口进行显示，则需要操作人员需要反复切换，使得操作繁琐；而通过视频采集设备的位置参数和姿态参数直接计算视频覆盖区域进行区域内地物信息的查询和标注，这种方式由于视频采集设备的位置参数和姿态参数不准确导致标注的信息与地物出现偏差，影响视频理解、甚至造成错误理解。

有鉴于此，本申请实施例提供了一种监视视频的处理方法、处理装置及电子设备，进而能够为视频图像中的地物目标准确地添加地物信息，不仅极大提高了视频的可理解性，还提升了地物信息与视频图像中的地物目标匹配的准确率，降低了对操作人员的要求。

本申请第一方面的实施例，如图1所示，为本申请实施例提供的一种监视视频的处理方法的流程图，该处理方法包括：

s101，根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；

具体地，获取视频采集设备采集的视频图像，并对视频图像进行处理，得到多张单帧静态图片，根据多张单帧静态图片匹配出与其相对应的遥感影像，进一步地，根据视频图像和遥感影像共同计算得到视频采集设备的位置参数和姿态参数，其中，视频图像为实时监控视频图像，遥感影像是指记录各种地物电磁波大小的胶片或照片，主要分为航空像片和卫星相片，遥感影像需要与视频图像相匹配，即两者的覆盖区域为统一区域。

s102，根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息；

s103，为视频图像中的地物目标添加获取的地物信息。

本申请实施例提供的监视视频的处理方法，通过使用高分辨率的遥感影像和实时视频，能够准确的计算出视频采集设备的位置参数和姿态参数，进而能够为视频图像中的地物目标准确地添加地物信息，不仅极大提高了视频的可理解性，还提升了地物目标与视频图像匹配的准确率，降低了对操作人员的要求。

在本申请的一个实施例中，优选地，其中，根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数，包括：从遥感影像中确定n个特征点；其中，n≥3；根据n个特征点的坐标，计算视频采集设备的位置参数和姿态参数。

在该实施例中，获取视频采集设备采集的视频图像，并为视频图像匹配出与其相对应的遥感影像，进一步地，从遥感影像中确定n个特征点的坐标，并将n个特征点的坐标代入共线方程中，进而计算出视频采集设备的位置参数和姿态参数，其中，具体计算视频采集设备的位置参数和姿态参数的步骤如下：

步骤1，获取遥感影像中特征点的平面坐标和空间坐标，如第一特征点的平面坐标(x1,y1)、第二特征点的平面坐标(x2,y2)、第三特征点的平面坐标(x3,y3)；第一特征点的空间坐标(x1,y1,z1)、第二特征点的空间坐标(x2,y2,z2)、第三特征点的空间坐标(x3,y3,z3)；

步骤2，将上述第一特征点、第二特征点、第三特征点的平面坐标和空间坐标代入共线方程；其中，共线方程为：

其中，(x,y)为上述特征点的平面坐标，x0、y0、f为遥感影像中的内方位元素，(x,y,z)为上述特征点的空间坐标，(xs,ys,zs)为视频采集设备的位置参数，ai,bi,ci(i＝1,2,3)为视频采集设备的姿态参数矩阵中的元素，为视频采集设备的姿态参数矩阵；

步骤3，通过上述共线方程计算视频采集设备的位置参数(xs,ys,zs)和姿态参数

在本申请的一个实施例中，优选地，如图2所示，本申请实施例所提供的另一种监视视频的处理方法的流程图，包括：

s201，根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；

s202，根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；

在具体实施中，可以通过摄影测量方式将视频采集设备的位置参数和姿态参数代入共线方程，并反向计算出视频图像中边界的四个角点的坐标，进一步地，将四个角点的坐标进行连线确定视频图像的覆盖区域。

s203，获取地理信息系统中覆盖区域内的地物目标的地物信息；

在具体实施中，在地理信息系统中查询覆盖区域坐标范围内的地物目标的地物信息，具体地，可以通过查询兴趣点(pointofinterest，poi)的方式查询地物目标的名称和空间坐标，例如，财智大厦(位置：119.32455，39.6532，34.323)；

s204，为视频图像中的地物目标添加获取的地物信息。

在该实施例中，通过视频采集设备的位置参数和姿态参数，能够确定视频图像的覆盖区域，进而在地理信息系统中查询在覆盖区域内的地物目标的地物信息，达到获取地物目标的地物信息的目的，为视频图像中的地物目标准确地添加地物信息提供技术保障。

在本申请的一个实施例中，优选地，如图3所示，本申请实施例所提供的另一种监视视频的处理方法的流程图，包括：

s301，根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；

s302，根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；

s303，获取地理信息系统中覆盖区域内的地物目标的地物信息；

s304，根据视频采集设备的位置参数确定地物目标的位置等级；其中，位置等级为根据地物目标与视频采集设备的距离划分的等级；

s305，判断地物目标的位置等级是否大于或等于预设位置等级；

s306，若地物目标的位置等级大于或等于预设位置等级，则为视频图像中的地物目标添加获取的地物信息。

在该实施例中，通过设置预设位置等级，并为地物目标划分位置等级，进一步地，通过将预设位置等级与地物目标的位置等级进行比较，只获取距离视频采集设备所在位置较近的地物目标的地物信息，即为视频图像中满足预设距离范围内的地物目标添加地物信息，能够避免为距离视频采集设备较远且人的肉眼无法辨认的地物目标也添加地物信息，进而能够得到清晰明了的带有地物信息的监控视频图像，减少不必要的工作量。

在本申请的一个实施例中，如图4所示，本申请实施例所提供的另一种监视视频的处理方法的流程图，包括：

s401，根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；

s402，根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；

s403，获取地理信息系统中覆盖区域内的地物目标的地物信息；

s404，根据视频采集设备的位置参数确定地物目标的位置等级；其中，位置等级为根据地物目标与视频采集设备的距离划分的等级；

s405，判断地物目标的位置等级是否大于或等于预设位置等级；

s406，若地物目标的位置等级大于或等于预设位置等级，根据共线方程计算地物目标在视频图像中的位置；将地物信息添加至视频图像中地物目标的对应位置，以在视频图像中显示地物目标的地物信息。

在该实施例中，在获取到的满足预设位置等级的地物目标的地物信息后，为了准确地为视频图像中地物目标添加地物信息，需要根据共线方程计算出地物目标在视频图像中的位置，进一步地，将地物信息添加至视频图像中地物目标的对应位置，实现为实时监控视频中的地物目标添加地物信息的目的。本申请实施例通过使用高分辨率的遥感影像和实时视频，能够准确的计算出视频采集设备的位置参数和姿态参数，进而能够为视频图像中的地物目标准确地添加地物信息，不仅极大提高了视频的可理解性，还提升了地物目标与视频图像匹配的准确率，降低了对操作人员的要求。

基于同一发明构思，本申请第二方面的实施例中还提供了与监视视频的处理方法对应的处理装置，由于本申请实施例中的处理装置解决问题的原理与本申请实施例上述处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

本申请第二方面的实施例，如图5所示，为本申请实施例所提供的一种监视视频的处理装置的结构示意图，该装置包括：

计算模块10，用于根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；

获取模块20，用于根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息；

添加模块30，用于为视频图像中的地物目标添加获取的地物信息。

本申请提供的监视视频的处理装置，包括计算模块10、获取模块20和添加模块30，通过使用高分辨率的遥感影像和实时视频，能够准确的计算出视频采集设备的位置参数和姿态参数，进而能够为视频图像中的地物目标准确地添加地物信息，不仅极大提高了视频的可理解性，还提升了地物目标与视频图像匹配的准确率，降低了对操作人员的要求。

在本申请的一个实施例中，优选地，如图6所示，为本申请实施例所提供的另一种监视视频的处理装置的结构示意图，该装置包括：

计算模块10，用于根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；计算模块10包括确定模块40，用于从遥感影像中确定n个特征点；其中，n≥3；计算模块10还用于根据n个特征点的坐标，计算视频采集设备的位置参数和姿态参数；

获取模块20，用于根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息；

添加模块30，用于为视频图像中的地物目标添加获取的地物信息。

在本申请的一个实施例中，优选地，确定模块40，还用于根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；

获取模块20，还用于获取地理信息系统中覆盖区域内的地物目标的地物信息。

在本申请的一个实施例中，优选地，如图7所示，为本申请实施例所提供的另一种监视视频的处理装置的结构示意图，该装置包括：

计算模块10，用于根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；计算模块10包括确定模块40，用于从遥感影像中确定n个特征点；其中，n≥3；计算模块10还用于根据n个特征点的坐标，计算视频采集设备的位置参数和姿态参数；

确定模块40，还用于根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；

获取模块20，还用于获取地理信息系统中覆盖区域内的地物目标的地物信息；

确定模块40，还用于根据视频采集设备的位置参数确定地物目标的位置等级；其中，位置等级为根据地物目标与视频采集设备的距离划分的等级；

判断模块50，用于判断地物目标的位置等级是否大于或等于预设位置等级；

添加模块30，还用于若地物目标的位置等级大于或等于预设位置等级，则为视频图像中的地物目标添加获取的地物信息。

在本申请的一个实施例中，优选地，计算模块10，还用于根据共线方程计算地物目标在视频图像中的位置；

添加模块30，还用于将地物信息添加至视频图像中地物目标的对应位置，以在视频图像中显示地物目标的地物信息。

本申请第三方面的实施例中，优选地，如图8所示，为本申请实施例所提供的一种电子设备的结构示意图，该电子设备包括：处理器100、存储器200和总线300，存储器200存储有处理器100可执行的机器可读指令，当电子设备运行时，处理器100与存储器200之间通过总线300通信，机器可读指令被处理器100执行时执行如下执行指令：

根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数；

根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息；

为视频图像中的地物目标添加获取的地物信息。

在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，根据视频采集设备采集的视频图像以及与视频图像相匹配的遥感影像，计算视频采集设备的位置参数和姿态参数，包括：

从遥感影像中确定n个特征点；其中，n≥3；

根据n个特征点的坐标，计算视频采集设备的位置参数和姿态参数。

在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，根据视频采集设备的位置参数和姿态参数，获取视频图像覆盖区域内地物目标的地物信息，包括：

根据视频采集设备的位置参数和姿态参数，确定视频图像的覆盖区域；

获取地理信息系统中覆盖区域内的地物目标的地物信息。

在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，获取地理信息系统中覆盖区域内的地物目标的地物信息之后，还包括：

根据视频采集设备的位置参数确定地物目标的位置等级；其中，位置等级为根据地物目标与视频采集设备的距离划分的等级；

判断地物目标的位置等级是否大于或等于预设位置等级；

若地物目标的位置等级大于或等于预设位置等级，则为视频图像中的地物目标添加获取的地物信息。

在本申请的一个实施例中，优选地，上述处理器100执行的步骤中，为视频图像中的地物目标添加获取的地物信息，包括：

根据共线方程计算地物目标在视频图像中的位置；

将地物信息添加至视频图像中地物目标的对应位置，以在视频图像中显示地物目标的地物信息。

本申请第四方面的实施例中，优选地，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述监视视频的处理方法。

具体地，计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述监视视频的处理方法，通过使用高分辨率的遥感影像，并反算出视频采集设备的位置参数和姿态参数，进而能够为视频图像中的地物目标准确地添加地物信息，不仅极大提高了视频的可理解性，还提升了地物目标的地物信息与视频中的图像匹配的准确率，降低了对操作人员的要求。

本申请实施例所提供的监视视频的处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。