一种视频时空检索方法与流程

本发明涉及一种视频时空检索方法，特别涉及一种考虑视频拍摄时间、空间对象位置信息、空间对象被拍摄方向等时空信息的视频检索方法。

背景技术：

视频数据是一种包含视觉、听觉、时间、空间等综合信息的流媒体。随着监控摄像头布设增加、智能手机等视频获取设备普及，视频数据爆发式增长。视频数据的获取、共享和使用的爆发式增长给视频检索带来了巨大挑战。

当前视频检索可分为两类：基于内容的视频检索和基于元数据的视频检索。随着空间相关传感器(GPS、电子罗盘、重力传感器、陀螺仪等)和视频传感器的集成应用，视频传感器的拍摄位置、视频覆盖范围、相机运动轨迹等空间信息可被相机直接获取或者通过已有方法自动计算，当前利用地理信息检索视频数据的成为视频检索的新趋势，在地理视频数据模型、基于地理信息的视频检索等方面取得一定的研究成果，可获得满足空间检索目标的视频数据集。

近年来的研究则更关注视频数据视域的检索【Han,Z.,et al.Video Data Model and Retrieval Service Framework Using Geographic Information.Transactions in GIS，(2015)】。Open Geospatial Consortium(OGC)用视棱锥描述视频帧的视域，并设计了地理视频网络服务框架。

然而，视频数据在空间上具有空间上的聚集性和信息表达的冗余性，因为针对某一感兴趣的对象，通常会拍摄多个视频，自发式视频数据采集上传这些特点更为显著，这就导致检索结果数据集数量庞大，空间分布密集，为结果视频集合的可视化以及进一步的分析带来了困难。亟需一种视频时空检索方法，同时考虑视频数据采集的时间和拍摄空间约束，检索出满足刻画目标对象时间、空间、方向信息的视频集合，并对视频集合中视频对象的信息量进行度量并排序，从而使得用户能够从视频集合中获得目标对象的最全面的时空信息。

技术实现要素：

本发明所要解决的技术问题是提供一种视频时空检索方法，定量化表示视频刻画空间对象的时空信息，构建空间对象时空感知强度模型，实现视频时空检索及分类排序，从而使得视频检索方法从关注视频中对象的视觉信息发展到关注视频中对象的时空信息。

本发明为解决上述技术问题采用以下技术方案：

本发明以具有视频拍摄的成像设备参数、拍摄位置、拍摄姿态、拍摄时间等时空信息的视频集合为检索数据集，设定需要检索的目标对象的时空检索条件，首先根据时间检索条件，检索满足时间约束的视频集合；然后，将检索对象的抽样为多个抽样空间点，将拍摄方向抽样为多个方向单元；接着，判断抽样空间点是否在视频帧的视阈中、是否被障碍物遮且是否成像清晰，如满足条件则计算当前视频帧对当前空间点的感知强度；并计算视频帧拍摄抽样空间点的方向，将每一个视频帧归并到对应角度单元；然后，计算每个抽样空间点每个角度单元中属于同一视频的视频帧的感知强度之和，选定感知强度最大的视频作为目标视频，所有抽样空间点上方向单元中涉及的目标视频所构成的集合即为时空检索结果。在此基础上，将属于同一视频的感知强度相加，获得每一个目标视频的总感知强度，进行降序排列，即可获得全面描述空间对象信息的有序列表。

本发明提供一种视频时空检索方法，具体步骤如下：

步骤1、获取视频的时空信息；

步骤2、设定时空检索条件；

步骤3、设定空间目标对象的抽样步长，将空间目标对象抽样为多个抽样空间点，并设定视频记录空间目标对象的角度单元大小，形成多个角度单元；其中，每一个抽样空间点都具有多个角度单元；

步骤4、获得视频集合中满足时间检索条件的视频集合，形成候选视频集合；

步骤5、针对候选视频集合中的每一视频帧、每一个抽样空间点，计算当前视频帧对抽样空间点的感知强度；计算视频帧拍摄抽样空间点的方向，将每一个视频帧归并到对应角度单元；

步骤6、计算每个抽样空间点在每个角度单元中属于同一视频的视频帧的感知强度之和，选定感知强度最大的视频作为目标视频，所有抽样空间点上方向单元中涉及的视频所构成的集合为时空检索集合；

步骤7、针对步骤6中的时空检索集合，将属于同一视频的感知强度相加，获得每一个目标视频的总感知强度，再进行降序排列，获得全面描述空间对象信息的有序视频时空检索集合。

作为本发明的进一步优化方案，步骤1中视频的时空信息包括：

(1)各个视频信息：包括成像芯片尺寸、图像分辨率、光圈直径、对焦距离、相对孔径、弥散圈直径、视频拍摄开始时间、视频拍摄终止时间；

(2)各个视频中每一视频帧信息：包括视频帧拍摄位置(经纬度坐标、拍摄高度)、拍摄姿态(俯仰角、旋转角)、焦距、拍摄时间。

(3)所有视频信息及其对应的每一视频帧信息，构成了视频的完整时空信息。

作为本发明的进一步优化方案，步骤2设定时空检索条件具体为：在GIS平台中绘制检索空间目标对象的位置，并设置检索的空间目标对象的高度以及检索时间段。

作为本发明的进一步优化方案，步骤5中计算当前视频帧对抽样空间点的感知强度，具体步骤为：

(a)判断当前抽样空间点是否在视频帧的视阈中；

(b)判断当前抽样空间点是否被障碍物遮；

(c)判断当前抽样空间点是否成像清晰；

(d)若满足条件上述(a)、(b)和(c)，则计算当前视频帧对当前抽样空间点的感知强度，空间点的感知强度用视频帧的焦距与物距的比值表示。

作为本发明的进一步优化方案，步骤5中归并角度单元，具体步骤为：

(a)计算视频帧拍摄抽样空间点的方向，以拍摄位置和抽样空间点连线在地平面上的投影线，与正北方向的夹角表示；

(b)将每一个视频帧归并到对应角度单元。

作为本发明的进一步优化方案，步骤6中时空检索集合获得，其具体步骤为：

(1)计算每个抽样空间点、每个角度单元上，属于同一个视频的所有视频帧的感知强度之和；

(2)记录下视频序号、角度单元号、抽样空间点、对应的感知强度；

(3)选择同一抽样空间点同一角度单元上，感知强度之和最大值对应的所有视频，由所有视频构成的集合即为时空检索集合。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明公开了一种视频时空检索方法，其步骤为：获取视频的时空信息；设定时空检索条件；设定空间目标对象的抽样步长，并设定视频记录空间目标对象的角度单元大小；首先获得视频集合中满足时间检索条件的视频集合；其次，计算候选视频中每一帧对每一个检索对象抽样空间点的感知强度，并计算每一个视频帧感知空间点的角度单元；然后，选定每一空间点每一个感知单元上感知强度最大的视频作为目标视频；最后，获得每一个目标视频的感知强度，进行降序排列获得有序视频结果列表。本发明检索出来的视频集合，首先，满足检索时间需求；其次，能够满足能够在视频中成像且成像清晰；再次，顾及视频拍摄对象的方向性，保留每个方向上刻画目标对象最好的视频对象，去除同一方向上的冗余视频；最后，检索的结果根据视频感知对象的信息量进行排序，提高检索结果的可用性。本发明尤其适合视频数据量巨大、空间分布密集的情况下的时空检索。

附图说明

图1是本发明视频时空检索示意图。

图2是本发明目标对象抽样与感知示意图。

图3是本发明感知方向划分示意图。

图4是本发明视频帧对空间点的感知强度示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明一种视频时空检索方法的基本步骤，如图1所示，具体为：

第一步：获取视频的时空信息：

(1)获取各个视频信息，包括成像芯片尺寸、图像分辨率、光圈直径、对焦距离、相对孔径、弥散圈直径、视频拍摄开始时间、视频拍摄终止时间；

(2)获取各个视频中每一视频帧信息，包括视频帧拍摄位置(经纬度坐标、拍摄高度)、拍摄姿态(俯仰角、旋转角)、焦距、拍摄时间；

(3)所有视频信息及其对应的每一视频帧信息，构成了视频的完整时空描述信息。

第二步：设定时空检索条件：在GIS平台中绘制检索空间目标对象的位置，并设置检索的空间目标对象的高度以及检索时间段。

设定时空检索条件具体步骤为：

(1)设定需要检索的目标视频所在的目标时间段；

(2)在GIS软件中绘制一个目标空间点，并设置其高度；

(3)根据绘制空间点的位置，获得当前绘制点在地形数据上的三维空间位置，并根据设置的高度，获得当前目标对象的三维空间信息。

第三步：设定空间目标对象的抽样步长，将空间目标对象抽样为多个抽样空间点，并设定视频记录空间目标对象的角度单元大小，形成多个角度单元；每一个抽样空间点都具有多个角度单元。

设定空间目标对象的抽样步长及角度单元大小具体步骤为：

(1)将空间目标对象在高度方向上按固定步长，将空间目标对象抽样为多个抽样空间点，如图2中的四个空间点p₁、p₂、p₃、p₄；

(2)将刻画抽样空间点的方向范围[0,360)划分为多个等大的角度单元，角度单元个数记作A_num，如图2所示，A_num为4个角度单元，则分别为[0,90)、[90,180)、[180,270)、[270,360)4个单元。

第四步：获得视频集合中满足时间检索条件的视频集合，形成候选视频集合。

获得视频集合中满足时间检索条件的视频集合，具体步骤为：

(1)比较视频的起止时间，判断视频起止时间(记作vstart,vend)，满足条件(istart≤vstart≤iend)or(istart≤vend≤iend)，其中istart,iend分别表示目标检索起止时间；

(2)若满足上述条件，则保留当前视频及其按照以下公式记录目标时间段，其中vs、ve表示符合时间检索的视频起止时间，min(*)，max(*)分别表示取最小值和最大值；

vs＝min(istart,vstart)

ve＝max(iend,vend)

(3)形成候选视频集合，每一个候选视频片段的描述为：[videoID,vs,ve]。

第五步：针对候选视频集合中的每一视频帧，每一个抽样空间点，判断抽样空间点是否在视频帧的视阈中且是否被障碍物遮，若满足条件，则计算当前视频帧对抽样空间点的感知强度；计算视频帧拍摄抽样空间点的方向，将每一个视频帧归并到对应角度单元。

首先，计算每个抽样空间点的感知强度，具体步骤如下：

(a)判断当前抽样空间点是否在视频帧的视阈，如图2所示，p₁,p₂,p₃在视阈之内，而p₄不在；

(b)判断当前抽样空间点是否被障碍物遮，如图2所示，p₁被障碍物遮挡；而p₂,p₃未被遮挡；

(c)判断当前抽样空间点是否成像清晰，如图2中景深近平面线和景深远平面线范围表示成像清晰区域，如p₂远于景深远平面，因此成像不清晰，而p₃成像清晰。根据以下公式计算成像清晰区域，即D_min≤D≤D_max，其中，f为焦距，D为物距、N为相对孔径、c为弥散圈直径，α为光圈直径；

(d)计算当前视频帧对当前抽样空间点的感知强度，用视频帧的焦距与物距的比值表示，如图4所示，计算公式为：其中，I_f为感知强度。

其次，计算当前抽样空间点的角度单元，具体步骤如下：

(a)计算视频帧拍摄空间对象的方向，如图3所示，以拍摄位置和抽样空间点连线在地平面上的投影线，与正北方向的夹角表示，记作θ；

(b)将每一个视频帧归并到对应角度单元，A_f表示方向子单元序号，表示向上取整；

第六步：计算每个抽样空间点在每个角度单元中属于同一视频的视频帧的感知强度之和，选定感知强度最大的视频作为目标视频，所有抽样空间点上方向单元中涉及的视频所构成的集合为本发明无序视频时空检索集合。

计算每个抽样空间点每个角度单元中属于同一视频的视频帧的感知强度之和，具体步骤为：

(1)计算每个抽样空间点、每个角度单元上，属于同一个视频的所有视频帧的感知强度之和，记作I_pa，计算公式如下，其中，A_num表示角度个数，F_num表示由满足第四步的视频的数量，I_f(i,j)表示第i个角度上属于第j个视频的视频帧的感知强度；

(2)记录下视频序号、角度单元、抽样空间点、对应的感知强度，如下所示，

[videoID,角度单元，抽样空间点，I_pa]

(3)选择同一抽样空间点同一角度单元上，感知强度之和I_pa最大值对应的所有videoID，由所有视频构成的集合即为无序检索时空检索结果；

第七步：针对步骤6中的无序视频时空检索集合，将属于同一视频的感知强度相加，获得每一个目标视频的总感知强度，进行降序排列，获得全面描述空间对象信息的有序视频时空检索集合。

视频排序具体步骤为：

(1)计算每个视频的感知强度之和，记作I_videoID，计算公式如下，其中，num表示第六步(2)中videoID记录的条数，I_pa(k)表第六步(2)中的视频序号为videoID记录中第k个的感知强度；

(2)形成检索视频列表[videoID,I_videoID]，并按照I_videoID降序排列。

下面通过具体实施例对本发明的技术方案作进一步阐述：

第一步：相关数据准备。准确实验区域的地形数据，DEM或者DSM数据、障碍物图层数据，如shapefile矢量格式的建筑物等图层；准备视频时空数据，格式为如下：

[视频ID，视频拍摄开始时间、视频拍摄终止时间，图像分辨率、光圈直径、对焦距离、相对孔径、弥散圈直径等，及其视频的拍摄起止时间；

视频帧ID，相机x坐标、Y坐标、高程、焦距，俯仰角、旋转角、拍摄时间；

视频帧ID，相机x坐标、Y坐标、高程、焦距，俯仰角、旋转角、拍摄时间；

……….]

第二步：设置检索空间对象的位置及高度，设置检索时间。

(1)在GIS软件中，打开实验区的地形数据以及障碍物数据；

(2)在GIS软件中，采集一个空间点的位置坐标，并设置其高度属性；

(3)设置检索时间，格式为开始时间、终止时间；

第三步：设定空间目标对象的抽样步长及角度单元大小。

(1)设置空间对象的抽样步长，按照等间距的原则，从空间对象地面点到最高点将其抽样为若干个抽样空间点，获得每一个点的三维空间坐标；

(2)设置角度单元大小，按照等角度的原则，将[0,360)分为多个等大小的角度单元。

第四步：视频时空检索。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。