一体化大场景全景视频监控装置制造方法
【专利摘要】本实用新型提供一种一体化大场景全景视频监控装置。所述装置包括前端视频采集编码设备和数据传输设备，大场景监控系统包括数据接收、视频解码、视频处理和输出编码等软硬件。拼接融合得到的全景监控图像序列通过HDMI/DVI连续输出到显示设备进行显示，同时支持对全景监控图像实时编码，并通过网络进行传输和存储。所述装置能够保证全景视频的拼接效果和拼接质量，提高视频拼接的效率，达到实时性的需求，得到的全景视频更为自然、真实。在实际应用中，既能很好的保证后续全景视频拼接的要求，又能简化现场设备的安装布置，可实施性强。
【专利说明】一体化大场景全景视频监控装置
【技术领域】
[0001] 本实用新型涉及视频监控【技术领域】，特别是涉及一种一体化大场景全景视频监控 装直。
【背景技术】
[0002] 近些年随着社会形势的发展，视频监控的意义不明而喻，应用越来越广泛，且繁衍 出各种具有特殊功能和针对不同应用场景的监控装置和系统。然而，适用于当下有迫切监 控需求的大场景实时视频监控却较为少见。如大型的广场、大型的活动现场、十字路口等， 安防工作人员不仅要清楚的看到某个角落的细节，而且还需一目了然地掌控大场景的整体 态势和活动主体的主要轨迹。针对大场景的应用场景，若采用传统的多摄像头监控系统，虽 能看清重要特定区域的细节，但缺乏连续性，且由于单个摄像头有效视域的限制而无法掌 控整体的全局态势；若采用全景监控摄像机或鱼眼摄像机，虽有超宽的视域可掌握整体的 态势，却存在无法查看细节、变形严重和不具实时性的缺点。
[0003] 现有技术中的高清全景视频拼接方法，由于高清视频源本身包含大数据量，且基 于在线的实时拼接，存在拼接效率低的问题，不能达到视频监控的实时要求。为此，有人设 计了一种实时高速高清全景视频的拼接方法，即首先获取满足拼接条件的多路实时视频图 像，然后经过视频图像拼接、选取投影面，建立单个视频与全景投影面的坐标映射关系，最 后直接使用坐标映射关系来实现几路视频实时拼接得到全景视频。该方法在实际应用过 程中存在一定的局限性，如：正式拼接前需反复判断任意两路视频是否满足拼接条件，如果 不满足需进一步调节前端摄像头的采集姿态；通过计算一次拼接投影参数并不能保证精准 性；缺少拼接视频间的同步，不能防止运动目标在拼接区域出现双影和凭空消失的情形； 最后的曝光融合重点针对重叠区域的亮度调整，不能确保最终全景拼接画面色彩归一化。 鉴于此，本实用新型有针对性的对其进行改进和扩展。
【发明内容】
[0004] 本实用新型的目的在于针对现有技术的不足，提出了一种面向大场景全景视频监 控的装置和系统。主要解决的技术问题为：
[0005] 1.提高全景视频拼接投影映射关系的精准性。通过计算一次拼接投影参数并不能 确保其精准性，特别是针对场景较为简单或者较为复杂的情形，特征点不足或者特征点过 于混杂均会影响到图像间的精确配准。
[0006] 2.同步多路视频内容，提高监控的真实性和合理性。前端视频采集设备在采集编 码时可能存在时钟不同步的情况，并且采集到的视频数据大多是经过IP网络进行传输，接 收端接收到的数据不乏存有乱序的情况，如果就此基础上做拼接会出现各种异常，特别是 在重叠区域处。
[0007] 3.提高全景视频拼接的效率，满足监控的实时性需求。目前监控对视频源的要求 越发趋于高清，高清视频源本身包含大数据量，进而也加大了拼接投影的计算量，故采用一 般的处理手段存在拼接效率低的问题，不能达到视频监控的实时要求。
[0008] 本实用新型的技术方案为：
[0009] 本实用新型包括一套大场景监控装置及系统。大场景监控装置包括前端视频采集 编码设备和数据传输设备，大场景监控系统包括数据接收、视频解码、视频处理和输出编码 等软硬件。
[0010] 本实用新型通过前端视频采集装置同时获取3-4个视频，这些视频对高达180° 范围的场景区域实现无缝隙覆盖，每个视频经过编码后分别加入统一的时间同步信号，经 发送模块传输到大场景监控系统。大场景监控系统完成视频数据接收、视频解码、视频配 准、GPU实时拼接和色彩融合，拼接融合得到的全景监控图像序列通过HDMI/DVI连续输出 到显示设备进行显示，同时支持对全景监控图像实时编码，并通过网络进行传输和存储。 [0011] 本实用新型的有益技术效果为：
[0012] 本实用新型提出一种一体化大场景全景视频监控装置，实现大范围实时全景视频 监控，所输出的全景画面为一个经过视频拼接和色彩融合的独立画面。与一般的全景视频 拼接装置，以及全景监控像机和鱼眼监控像机不同，本发明可以提供25fps以上帧率的流 畅全景监控画面以及最高达7680*1080的超高清视频分辨率。
[0013] 本实用新型所提供的一体化大场景全景视频监控装置，既能很好的保证后续全景 视频拼接的要求，又能简化现场设备的安装布置，可实施性强。
[0014] 本实用新型所提供的一体化大场景全景视频监控装置，其视频配准实现视频拼接 参数的自动计算和存储，用于确定最佳的视频自动配准参数，再结合人机交互的手动参数 配置，保证最终全景视频的拼接效果和拼接质量；其使用GPU高速并行处理特性，提高了视 频拼接的效率，输出帧率达到实时性的需求；其时间同步处理和色彩融合处理，使几路视频 经过拼接得到的全景视频更为自然、真实，恰如一个摄像机拍摄出来的一样。
【专利附图】
【附图说明】
[0015] 图1是本实用新型一体化大场景全景视频监控装置及系统的整体结构图
[0016] 图2是本实用新型中视频采集设备固定的刻度盘示意图
[0017] 图3是本实用新型中视频采集设备有效视域示意图
[0018] 图4是面向大场景的全景视频监控方法流程图
【具体实施方式】
[0019] 为详细说明本实用新型的技术方案，以下结合具体的实施方式并配合附图详细说 明。
[0020] 本实用新型所提出的一体化大场景全景视频监控装置系统总体结构可参见图1。 监控方案包含大场景监控装置和大场景监控系统。
[0021] 所述大场景监控装置，包括前端视频采集模块、视频编码模块和数据发送模块。
[0022] 所述前端视频采集模块，是封装在一个透明球形玻璃罩内的视频采集设备，由一 个水平刻度和四个具体的摄像机组成。用于获取前端监控区域的原始视频序列，并将其 传输给视频编码模块分别进行视频编码。水平刻度盘标注了摄像机设备放置的位置角度 信息，参见图2所示。固定各摄像机的扇形摆放角度，分别为22. 5°、67. 5°、112. 5°和 157. 5°，沿每个刻度线方向固定一个摄像机，一个刻度盘上固定4个视频摄像机。视频采 集设备中的摄像机按照一定角度水平扇形排列，使得各相机成像平面的法线交于同一个中 心点且在同一平面内。摄像机有效视域参见图3所示，单个摄像机的有效视域为45°，相邻 摄像机间视域重叠10°。
[0023] 所述视频编码模块，用于对各路视频采集结果分别进行编码。将视频采集设备中 每个子成像设备输出的视频帧进行H. 264编码，分别得到一路H. 264格式码流。
[0024] 所述数据发送模块，包括时钟模块和发送模块。时钟模块用于多路视频间的时间 同步，输出的时间信号以时间戳的形式加入到每个视频码流中。数据发送模块根据时间信 号先后顺序依次发送视频帧。
[0025] 其中，视频采集模块中各子成像设备与视频编码模块连接，视频编码模块与数据 发送模块连接。
[0026] 所述大场景监控系统，包括数据接收模块、视频解码模块、视频配准模块、数据库 模块、GPU实时拼接融合模块和输出编码模块。
[0027] 所述数据接收模块，用于接收每路视频的IP码流，并根据码流中的时间同步信号 依次提交视频帧，以保持同路视频内容的时间连续和多路视频间的空间同步。
[0028] 所述视频解码模块，用于将多路H. 264码流分别解码为视频帧序列，便于多路视 频间的逐帧拼接处理。
[0029] 所述视频配准模块，为离线处理模块，包括自动配准模块和参数调整模块。自动配 准模块实现视频拼接参数的自动计算和存储，主要用于确定最佳的视频自动配准参数。一 旦确定了最佳拼接效果的参数，便不再需要执行视频配准模块，因前端视频采集设备姿态 已固定；参数调整模块用于手动调节视频的拼接参数，对自动配准参数进行优化。通过自 动配准和手动调整相结合的方式计算得到的最终拼接参数，包括拼接单应矩阵和拼接边缘 Mask图像。计算得到的拼接参数存储在本地数据库文件中，供实时拼接模块调取使用。其 中，自动配准过程采用sift特征点匹配同名点，使用RANSC算法剔除误匹配点并计算得到 3*3单应矩阵。手动调整是指对单应矩阵中的9个元素分别进行调整，实现图像左右、上下 平移、缩放、旋转。
[0030] 所述数据库模块，采用数据库的方式保存各视频的配准拼接参数。视频配准模块 可以将各视频的配准拼接参数写入数据库中，参数配置模块可以对数据库中的各视频配准 参数进行读取和修改。数据库中的各视频配准拼接参数输入GPU拼接模块，实现全景视频 的拼接。
[0031] GPU实时拼接融合模块，采用硬件并行加速设计，实现对视频逐帧实时拼接。该模 块从视频解码模块获取实时视频帧，从视频拼接数据库获取拼接参数，利用GPU进行图像 映射和边缘融合，输出拼接后的整幅图像。其中，色彩融合采用三层金字塔分解模型，实现 拼接线融合处理。
[0032] 输出编码模块，包括实时显示模块和编码传输模块。实时显示模块实现将拼接所 得的全景监控图像通过HDMI/DVI连续输出显示，并实现用户交互控制。编码传输模块实现 拼接后全景监控图像的H. 264编码和网络传输，以便远程客户端的用户掌握实时的监控画 面。
[0033] 其中，数据接收模块与视频解码模块连接，视频解码模块分别与视频配准模块和 GPU实时拼接融合模块连接。视频配准模块与参数配置模块均通过连接数据库模块最终与 GPU实时拼接融合模块相连接。GPU实时拼接融合模块作为输入分别与实时显示模块和编 码输出模块连接。
[0034] 本实用新型还提出了一种相应的面向大场景的全景视频监控方法，参见图4所 示，包括如下具体处理步骤：
[0035] 步骤1，视频采集
[0036] 原始视频数据的采集要通过Vide04LinuX2来实现，该驱动提供了图片格式设置， 帧缓存区申请，内存映射等多种操作视频设备的接口函数。当采集过程开始后，驱动不停的 将视频数据写入已经分配的缓存区中，当一个缓冲的数据就绪之后，驱动便将其放入输出 队列中，等待应用程序的处理。读取数据时，驱动首先将一个缓存区出列，应用程序通过该 缓存区的序号值获取相应的缓存区在用户空间中的长度及偏移地址，从而达到访问数据的 目的，当处理完成之后，该缓存区会被重新放入采集队列中。采集模块的输出为YUV420视 频帧。
[0037] 步骤2,编码与发送
[0038] 使用H. 264编码器，对步骤1采集得到的原始视频数据进行编码。H. 264编码器中 的编码档次选取：H. 264编码器采用基本档次，参考帧数量选择1，选择CQP码率控制方式， 且量化参数QP = 26,选择DIA宏块搜索模式，运动估计的搜索范围设定为8像素，亚像素插 值LEVEL = 1，帧间编码时，选择P16xl6宏块划分模式。根据编码器方案设计时所选的参数 值，对H. 264参数选项进行配置，以YUV420格式视频帧作为编码器的输入，NALU作为编码 器的输出。
[0039] 编码得到ES视频流，经过PES打包器之后，被转换成PES包，再次经过PS打包后， 通过RTP协议进行传输。系统时钟定期向远程基准时钟进行同步，并作为唯一的时钟信息 (同步时间戳）嵌入视频流中用于视频解码及多个视频流之间的时间同步。其中，在PES头 信息中嵌入显示时间标签PTS (Presentation Time Stamp)和解码时间标签DTS (Decoding Time Stamp)，在PS头信息中嵌入系统时钟基准SCR (System Clock Reference)。
[0040] 步骤3，解码与同步
[0041] 对步骤2中发送的PS流进行逐层解析，最后得到ES流及同步时间戳。使用ffmpeg 解码器对ES流进行解码，得到YUV420格式视频帧。建立视频缓冲池，对每一路视频流缓 冲25帧，将YUV420格式视频帧和该帧对应的同步时间戳一并存入缓冲中。提交视频时，分 别读取每一路视频的当前同步时间戳，以第一路视频的同步时间戳0\)为基准，Tji = 2， 3…）为第i路视频的同步时间戳，视频帧的提交规则定义如下：
[0042] 1)取第一路视频的当前YUV420视频帧并提交；
[0043] 2) For i = 2, 3…
[0044] 如果1\-1\ > 20ms，则读取第i路视频上一个YUV420视频帧提交；
[0045] 如果-20ms彡MTi-IV彡20ms，则读取第i路视频当前YUV420视频帧提交；
[0046] 否则，读取第i路视频下一个YUV420视频帧提交；
[0047] 3)第一路视频读取位置下移一帧，重复1)，2)操作。
[0048] 步骤4,自动配准
[0049] 拼接参数及拼接线计算从步骤3获取视频帧后，采用Sift特征匹配的方式进行图 像自动配准。计算所得的每一个Sift特征点即为一个4X (4X4)维的描述符，同时将向量 归一化，对光照更具有鲁棒性。采用基于欧式距离的最近邻向量匹配法，对于低分辨率图像 中的特征点，利用K-D树搜索法在参考图像中找到与低分辨率图像特征点欧式距离最近的 前两个特征点。设最近距离为屯，次近距离为d2，阈值为w如果
【权利要求】
1. 一种一体化大场景全景视频监控装置，包括大场景监控装置和大场景监控系统，完 成视频数据接收、视频解码、视频配准、GPU实时拼接和色彩融合，其特征在于： 所述大场景监控装置包括前端视频采集模块、视频编码模块和数据发送模块，其中所 述数据发送模块包括时钟模块和发送模块，时钟模块用于多路视频间的时间同步，输出的 时间信号以时间戳的形式加入到每个视频码流中，数据发送模块根据时间信号先后顺序依 次发送视频帧； 所述大场景监控系统包括数据接收模块、视频解码模块、视频配准模块、数据库模块、 GPU实时拼接融合模块和输出编码模块，其中GPU实时拼接融合模块采用硬件并行加速设 计实现对视频逐巾贞实时拼接； 其中，视频采集模块中各子成像设备与视频编码模块连接，视频编码模块与数据发送 模块连接；数据接收模块与视频解码模块连接，视频解码模块分别与视频配准模块和GPU 实时拼接融合模块连接；视频配准模块与参数配置模块均通过连接数据库模块最终与GPU 实时拼接融合模块相连接；实时拼接融合模块作为输入分别与实时显示模块和编码输 出模块连接。
2. 根据权利要求1所述的一体化大场景全景视频监控装置，其特征在于，所述前端视 频采集模块，是封装在一个透明球形玻璃罩内的视频采集设备，用于获取前端监控区域的 原始视频序列，并捋其传输给视频编码模块分别进行视频编码，由一个水平刻度盘和四个 具体的摄像机组成； 其中，所述水平刻度盘标注了摄像机设备放置的位置角度信息，一个刻度盘上固定4 个视频摄像机，固定各摄像机的扇形摆放角度分别为22. 5°、67. 5°、112. 5°和157. 5 ;其 中，四个摄像机沿每个刻度线方向固定一个，按照一定角度水平扇形排列，使得各相机成像 平面的法线交于同一个中心点且在同一平面内，单个摄像机的有效视域为45°，相邻摄像 机间视域重叠10°。
3. 根据权利要求2所述的一体化大场景全景视频监控装置，其特征在于所述视频配准 模块，为离线处理模块，包括自动配准模块和参数调整模块： 其中自动配准模块实现视频拼接参数的自动计算和存储，用于确定最佳的视频自动配 准参数所述自动配准过程采用sift特征点匹配同名点，使用RANSC算法剔除误匹配点并计 算得到3*3单应矩阵； 参数调整模块用于手动调节视频的拼接参数，对自动配准参数进行优化，所述手动调 整是指对单应矩阵中的9个元素分别进行调整，实现图像左右、上下平移、缩放、旋转； 其中，由于前端视频采集设备姿态已固定，一旦确定了最佳拼接效果的参数，便不再需 要执行视频配准；通过自动配准和手动调整相结合的方式计算得到的最终拼接参数，包括 拼接单应矩阵和拼接边缘Mask图像；计算得到的拼接参数存储在本地数据库文件中，供实 时拼接模块调取使用。
【文档编号】H04N7/18GK204090039SQ201420597816
【公开日】2015年1月7日 申请日期:2014年10月16日 优先权日:2014年10月16日
【发明者】刘启芳, 黄美姜, 陶荣伟 申请人:北京十方慧通科技有限公司