一种基于综合管廊视频监控系统的人员轨迹定位方法与流程

本发明涉及城市综合管廊计算机技术领域，尤其涉及一种基于综合管廊视频监控系统的人员轨迹定位方法。

背景技术：

管廊安全是管廊运维过程中的重要环节，视频监控信息是描述管廊内部安全中心状况最为直观的资料，也是管廊运维管理过程中核心数据的来源，传统的视频监控系统是管廊内部所有的视频探头投影到电脑屏幕上，进行平铺显示。

存在以下缺点：(1)用户无法直接了解管廊内部监控点摄像头安装的具体位置和周围环境，(2)由于监控点之间不存在拓扑依赖关系，无法整体还原管廊内部的现场情况，(3)由于管廊处于地下，受定位方式和信号强度的影响，人员在管廊内部巡检的过程中，一般无法精准的判定人员在管廊内部行进的具体路径和位置。

技术实现要素：

为了实现上述目的，本发明采用了如下技术方案：

一种基于综合管廊视频监控系统的人员轨迹定位方法，其特征在于：包括以下步骤：

s1、获取监控现场视频影像序列，对视频纹理进行增强显示处理并融合处理得到全景视频融合的视频序列；

s2、对视频影像序列进行标注和视频推流形成标记视频流；

s3、将标记视频流序列与地表三维模型进行配准，估算摄像头姿态；

s4、对视频影像序列进行纹理映射，实现视频流在三维场景下的集成渲染；

s5、根据渲染结构获取视频流中标注的行人坐标信息，并在二维地图上进行重绘显示。

其中，步骤s1具体为实时拉取摄像头的实时视频流，将视频流分解为视频影像序列，获取影像序列的相似点，通过相似点计算视频影像序列的变换矩阵，对视频影像序列做矩阵变换和图像融合操作，得到同一时段的全景视频融合的视频序列。

其中，通过rtsp协议实时拉取摄像头的实时视频流；

优选地，使用emgucv图像处理库将相关摄像头的视频流分解为视频影像序列；

优选地，通过sift获取影像序列的相似点。

其中，步骤s2具体为将全景视频融合的视频序列数据送入行人检测识别引擎中，动态标注目标对象，将标记后的全景视频融合的视频序列重新组装成标记视频流。

其中，步骤s3中标记视频流序列二维点与地表三维模型中三维点的配准通过筛选匹配特征点实现，具体为遍历计算标记视频流序列中的一个sift关键点到三维模型上的sift特征点的欧式距离，得到临近点d1和次临近点d2，当d1/d2<1时，认为这个sift关键点为匹配特征点。

优选地，采用ransac对匹配特征点进行二次筛选，得到精确匹配特征点。

其中，根据标记视频流序列二维点与地表三维模型中三维点对应关系估算摄像头姿态，假设相机矩阵为p，地表三维点为x，在影像上的对应点x＝[u,v,1]^t满足关系：

λx＝px(1)

令p¹，p²，p³分别为表示相机矩阵的一、二、三行，则：

令

则

ap＝0(4)。

优选地，当匹配点对个数大于7时，采用最小二乘法求解相机矩阵的解。

其中，步骤s4中纹理映射具体过程为：

s4-1根据摄像头姿态建立标记视频流序列二维点与地表三维模型中三维点的映射关系；

s4-2采用插值的方式得到当前屏幕像素对应的纹理坐标；

s4-3进行纹理拾取，将映射纹理投影到地表三维模型显示，根据视频的fps进行视频影像的刷新显示。

其中，根据行人像素坐标获取地理坐标，绘制行为轨迹；

优选地，行人在标记视频流中出现的位置为行人像素坐标，根据建立的世界坐标系和图像像素坐标系之间的函数关系确定地理坐标；

优选地，通过gis技术绘制行为轨迹。

与现有技术相比，本发明的有益效果是：

1.通过视频流投影技术，将视频流作为纹理数据投影在三维管廊模型的内表面，进行实时监控视频流的显示，2.采用视频流纹理融合技术消除多路视频之间的色差拼缝，充分还原三维管廊内部的动态信息，3.通过实时捕捉视频流中的人员对象，结合后台算法获取目标对象所在纹理的坐标信息，存储坐标信息，在地图上实时绘制目标对象的行进轨迹，进行动态显示，4.通过视频监控系统进行巡检人员定位能够克服地下环境定位不准确、延时过长、空间定位无法实现等难题，降低运营成本，提高工作效率，保障公共环境下人员安全风险。

附图说明

图1为本发明视频流与三维场景实时集成技术流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

一种基于综合管廊视频监控系统的人员轨迹定位方法，其特征在于：包括以下步骤：

s1、获取监控现场视频影像序列，对视频纹理进行增强显示处理并融合处理得到全景视频融合的视频序列；

s2、对视频影像序列进行标注和视频推流形成标记视频流；

s3、将标记视频流序列与地表三维模型进行配准，估算摄像头姿态；

s4、对视频影像序列进行纹理映射，实现视频流在三维场景下的集成渲染；

s5、根据渲染结构获取视频流中标注的行人坐标信息，并在二维地图上进行重绘显示。

其中，步骤s1具体为实时拉取摄像头的实时视频流，将视频流分解为视频影像序列，获取影像序列的相似点，通过相似点计算视频影像序列的变换矩阵，对视频影像序列做矩阵变换和图像融合操作，得到同一时段的全景视频融合的视频序列。具体可通过rtsp协议实时拉取摄像头的实时视频流，再使用emgucv图像处理库将相关摄像头的视频流分解为视频影像序列，最后通过sift获取影像序列的相似点。

其中，步骤s2具体为将全景视频融合的视频序列数据送入行人检测识别引擎中，动态标注目标对象，将标记后的全景视频融合的视频序列重新组装成标记视频流。

其中，步骤s3中标记视频流序列二维点与地表三维模型中三维点的配准通过筛选匹配特征点实现，具体为遍历计算标记视频流序列中的一个sift关键点到三维模型上的sift特征点的欧式距离，得到临近点d1和次临近点d2，当d1/d2<1时，认为这个sift关键点为匹配特征点。为了获得精准数据，采用ransac对匹配特征点进行二次筛选，得到精确匹配特征点。

再根据标记视频流序列二维点与地表三维模型中三维点对应关系估算摄像头姿态，假设相机矩阵为p，地表三维点为x，在影像上的对应点x＝[u,v,1]^t满足关系：

λx＝px(1)

令p¹，p²，p³分别为表示相机矩阵的一、二、三行，则：

令

则

ap＝0(4)。

当匹配点对个数大于7时，采用最小二乘法求解相机矩阵的解。相机参数值包括：视场角、经度、维度、高程、yaw航偏角、pitch倾斜角、roll横滚角。

其中，步骤s4中纹理映射具体过程为：

s4-1根据摄像头姿态建立标记视频流序列二维点与地表三维模型中三维点的映射关系；

s4-2采用插值的方式得到当前屏幕像素对应的纹理坐标；

s4-3进行纹理拾取，将映射纹理投影到地表三维模型显示，根据视频的fps进行视频影像的刷新显示。

其中，根据行人像素坐标获取地理坐标，通过gis技术绘制行为轨迹；行人在标记视频流中出现的位置为行人像素坐标，根据建立的世界坐标系和图像像素坐标系之间的函数关系确定地理坐标。

实施例：一种基于综合管廊视频监控系统的人员轨迹定位方法，包括以下步骤：

1)、系统搭建流程：首先对监控现场中视频监控设备的视频流，通过rtsp协议进行拉取，获取视频影像序列，并对多个视频纹理进行增强显示和融合处理，通过行人监测技术，将视频影像序列进行标注和视频推流，将推流的视频序列与地表三维模型进行配准，估算摄像头姿态，随后对视频影像序列进行纹理映射，最终实现视频流在三维场景下的集成渲染，渲染完成后，获取视频流中标注的行人坐标信息，通过gis技术，在二维地图上进行重绘显示；

2)、通过rtsp协议，实时拉取摄像头的实时视频流，使用emgucv图像处理库将相关摄像头的视频流分解为视频影像序列，通过sift获取影像序列的相似点，通过相似点计算视频影像序列的变换矩阵，依次对视频影像序列做矩阵变换和图像融合操作，得到相关摄像头同一时段的视频帧拼接结果；

3)、获取全景视频融合的视频序列数据，将相应的视频流数据送入行人检测识别引擎中，动态标注目标对象，将标记后的视频序列重新组装成视频流；

4)、对特征描述量进行匹配，精确定位特征点，对于视频影像序列中的某个sift关键点，遍历计算其到三维模型上的每个sift特征点的欧式距离，得到临近点和次临近点，其距离分别表示为d1和d2，当着小于某一阈值时，认为该点对为匹配点，在该项专利中，采用二者比值满足下列函数时为初匹配正确的点。

d1/d2<1

采用ransac(随机抽样一致算法)对初匹配的特征点进行二次筛选，进一步提出残差，得到最终的匹配结果；

s5、根据综合管廊模型上的三维点和视频影像序列上的二维点的对应关系，采用线性解算摄像头姿态。

假设相机矩阵为p，地表三维点为x，在影像上的对应点x＝[u,v,1]t满足关系：

λx＝px(1)

令p1，p2，p3分别为表示相机矩阵的一、二、三行，则：

令

则

ap＝0(4)

当匹配点对个数大于7时，采用最小二乘法求解相机矩阵的解。相机参数值包括：视场角、经度、维度、高程、yaw航偏角、pitch倾斜角、roll横滚角；

6)、在现已安装的摄像头状态的基础下，根据摄像头的姿态调整的参数值直接计算，得到需要映射的纹理坐标，纹理投影映射在可实现纹理与空间三维点的实时对应的同时，也有效避免了纹理的拉伸变形，映射过程为：根据估计得出的摄像头的位置姿态建立地表三维点和视频影像上纹理坐标的映射关系，采用插值的方式得到当前屏幕像素对应的纹理坐标，进行纹理拾取，将映射纹理投影到三维模型表面进行显示，根据视频的fps(视频帧率)进行视频影像的刷新显示。

7)、通过相机标定的方式，建立世界坐标系和图像像素坐标系之间的函数关系，通过行人在视频流出现的位置即行人的像素坐标，获取目标对象的地理坐标，通过gis技术，重绘目标对象的行为轨迹，实现目标对象的轨迹追溯。

本发明中，1.通过视频流投影技术，将视频流作为纹理数据投影在三维管廊模型的内表面，进行实时监控视频流的显示，2.采用视频流纹理融合技术消除多路视频之间的色差拼缝，充分还原三维管廊内部的动态信息，3.通过实时捕捉视频流中的人员对象，结合后台算法获取目标对象所在纹理的坐标信息，存储坐标信息，在地图上实时绘制目标对象的行进轨迹，进行动态显示，4.通过视频监控系统进行巡检人员定位能够克服地下环境定位不准确、延时过长、空间定位无法实现等难题，降低运营成本，提高工作效率，保障公共环境下人员安全风险。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。