超高清全景视频实时生成与多通道同步播放系统的制作方法
【专利摘要】一种超高清全景视频实时生成与多通道同步播放系统，涉及全景摄像【技术领域】，本发明基于对摄像机阵列成像采集并使用GPU高速并行处理特性，实现了高清图像实时的拼接、校正、调光、压码、传输功能，设计开发出多通道全景多摄像机及其应用系统，针对柱面和球面等不同拍摄模式自适应选择恰当的重投影模型，成功解决了国内现有的全景摄像设备普遍存在的稳定性不高、分辨率低、扩展性差、缺乏实时性等问题，产品分辨率最高可达：4320p～12960p，帧率：30fps。
【专利说明】超高清全景视频实时生成与多通道同步播放系统
【技术领域】
[0001]本发明涉及全景摄像【技术领域】，具体涉及一种超高清全景视频实时生成与多通道同步播放系统。
【背景技术】
[0002]在全景摄像领域，以Sony, CarlZeiss等发明了单镜头光学折射全景成像技术，但是分辨率有限，并且只能生成环形图像；通过软件实现全景图片的拍摄和旋转扫描式拍摄方式，都只能单张拍摄，不能拍摄视频，并且拍摄单张图片都需要较长耗时。目前国内制作的全景拼接设备，都存在拼接区域模糊、不清晰的问题，在处理拼接时，还通常使用AfterEffects，PS等后期软件手工完成，耗费大量时间。在还原超高清视频时，需要4?16台投影机拼接融合成环幕、球幕、BOX幕等形式，投影机数量多。国内在大屏幕融合技术已经发展了有十年，不过一直存在着融合区域模糊，黑场时存在暗度灰光无法融合，同帧亮暗度差较大时融合区域有亮带的问题。
【发明内容】
[0003]本发明所要解决的技术问题在于提供一种超高清全景视频实时生成与多通道同步播放系统。
[0004]本发明所要解决的技术问题采用以下技术方案来实现:
[0005]一种超高清全景视频实时生成与多通道同步播放系统，整个系统由超高清全景视频实时生成系统与应用播放系统两个部分组成，生成系统负责图像的采集与拼接；应用播放系统负责将全景视频应用于球幕或环幕影院等并进行播放；
[0006]所述生成系统由图像采集部分与智能拼接部分两部分组成，所述图像采集部分包括HCI交互模块、嵌入式摄像阵列电控系统和多路图像并行采集模块；
[0007]所述多路图像并行采集模块采用高清摄像机作为图像采集为输入，所采集到的图像信号交给嵌入式摄像阵列电控系统，以嵌入式系统为控制平台，经过程序控制，会让图像处理系统对采集的信号进行粗调、匹配、拼接、平滑处理；
[0008]所述嵌入式摄像阵列电控系统用于控制快门同步控制模块、曝光度反馈与控制条件系统和云台两自由度马达电动控制器；
[0009]所述HCI交互模块控制姿态、曝光、快门，使用基于硬件的多路采集设备以30fps速度传输到显示卡图像缓存中；
[0010]所述智能拼接部分包括基于GPU/OpenCLl.1的数据流控制模块和基于GPU的实时生成模块，所述基于GPU的实时生成模块包括智能拼接模块和基于GPU的H.265格式并行压缩模块；
[0011]所述GPU/OpenCLl.1的数据流控制模块实时的采集来自图像采集部分的多路高清图像，通过并行运算，经实现基于遗传算法的全景图像畸变校正、图片全方向切割、多遍次配准拼接、图像融合生成，经H.265格式并行压缩模块进行压缩，经图像传输、同步控制进行H.265格式并行解码，再经延迟渲染后对图像实现融合拼接，进行多幕拼接显示，通过移动设备播放控制，并将拼接得到相应的全景图像并压缩添加到视频数据中；
[0012]所述应用播放系统包括与多路图像并行采集模块通过网络连接的数据融合服务器，采集设备将采集的图像信息编码压缩以后，通过局域网(以太网)传给数据融合服务器，数据融合服务器对对台采集设备的图像进行融合，并将结果传输给多台显示终端显示；
[0013]所述多台显示终端显示均包括全景播放同步服务器，所述全景播放同步服务器经局域网连接有解码拼接整合器，经解码拼接整合器连接至全景式拼接投影阵列；
[0014]本发明基于对摄像机阵列成像采集并使用GPU高速并行处理特性，实现了高清图像实时的拼接、校正、调光、压码、传输功能，设计开发出多通道全景多摄像机及其应用系统，针对柱面和球面等不同拍摄模式自适应选择恰当的重投影模型，成功解决了国内现有的全景摄像设备普遍存在的稳定性不高、分辨率低、扩展性差、缺乏实时性等问题，产品分辨率最高可达:4320p?12960p，帧率:30fps。
[0015]本发明的有益效果是:
[0016]I)采用GPU/OpenCLl.1并行处理技术，通过对GPU的扩展，实现多GPU架构并发运算，解决了运算不即时的问题，基本可以达到在30ms内完成一次拼接融合与编码。
[0017]2)采取的基于遗传算法的全景图像畸变校正技术，满足了实时性要求，全景图像拍摄模式采用的是柱面和球面两种拍摄模式，将全景视频的单一柱面拍摄模式扩展到柱面和球面两种不同模式；利用多台摄像机来同步拍摄真实场景画面，多通道视频画面进行实时无缝拼接，获得超高分辨率全景视频。
[0018]3)采用分布式网络，使用多台电脑分割显示来解决。多台电脑协同播放时视频的精准同步就成了最大的问题，我们独创的引入了自适应同步算法，让每台投影机上显示的画面相差不超过两帧，达到人眼视觉上的同步。
[0019]4)基于GPU的逐像素亮度融合算法，并发的检索每个像素的亮度，动态的实现了快速融合，实现拼接区域的高质量清晰呈现。
【专利附图】
【附图说明】
[0020]图1为本发明生成系统模块构成图；
[0021]图2为本发明生成系统的异构运算的协作流程；
[0022]图3为本发明多台显示终端显示模块构成图；
[0023]图4为本发明应用播放系统模块构成图；
[0024]图5为本发明柱面模式切割示意图；
[0025]图6为本发明球面模式切割示意图；
【具体实施方式】
[0026]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0027]如图1所示，一种超高清全景视频实时生成与多通道同步播放系统，整个系统由超高清全景视频实时生成系统与应用播放系统两个部分组成，生成系统负责图像的采集与拼接；应用播放系统负责将全景视频应用于球幕或环幕影院等并进行播放；[0028]如图2所示，生成系统由图像采集部分与智能拼接部分两部分组成，图像采集部分包括HCI交互模块、嵌入式摄像阵列电控系统和多路图像并行采集模块；多路图像并行采集模块采用高清摄像机作为图像采集为输入，所采集到的图像信号交给嵌入式摄像阵列电控系统，以嵌入式系统为控制平台，经过程序控制，会让图像处理系统对采集的信号进行粗调、匹配、拼接、平滑处理；嵌入式摄像阵列电控系统用于控制快门同步控制模块、曝光度反馈与控制条件系统和云台两自由度马达电动控制器；HCI交互模块控制姿态、曝光、快门，使用基于硬件的多路采集设备以30fps速度传输到显示卡图像缓存中；
[0029]智能拼接部分包括基于GPU/OpenCLl.1的数据流控制模块和基于GPU的实时生成模块，基于GPU的实时生成模块包括智能拼接模块和基于GPU的H.265格式并行压缩模块；GPU/OpenCLl.1的数据流控制模块实时的采集来自图像采集部分的多路高清图像，通过并行运算，经实现基于遗传算法的全景图像畸变校正、图片全方向切割、多遍次配准拼接、图像融合生成，经H.265格式并行压缩模块进行压缩，经图像传输、同步控制进行H.265格式并行解码，再经延迟渲染后对图像实现融合拼接，进行多幕拼接显示，通过移动设备播放控制，并将拼接得到相应的全景图像并压缩添加到视频数据中；
[0030]如图3、4所示，应用播放系统包括与多路图像并行采集模块通过网络连接的数据融合服务器，采集设备将采集的图像信息编码压缩以后，通过局域网(以太网)传给数据融合服务器，数据融合服务器对对台采集设备的图像进行融合，并将结果传输给多台显示终端显示；多台显示终端显示均包括全景播放同步服务器，所述全景播放同步服务器经局域网连接有解码拼接整合器，经解码拼接整合器连接至全景式拼接投影阵列。
[0031]全方位图像切割:
[0032]是将多幅图像的感兴趣区域进行规则化的切割，通过每台摄像机之间的固定位置，可以算出每个摄像机的重叠区域大小，以切割线为边界，可以对柱面模式和球面模式进行切割，在柱面和球面两种不同的拍摄模式下，其切割的位置不同(如图5、图6)。
[0033]并行运算分析:
[0034]若在hX I尺寸的图像上均匀进行网格划分，设每个格子的基本尺寸aXb，那么图像被划分成[h/a] X [1/b]个矩形子块，在固定的切割区域B内，对各个子块进行并行切割运算。将存储在GPU纹理存储器中的图像进行分割，使用OpenCL指令在GPU中做并行运算，提闻运算速度。
[0035]多遍次配准拼接:
[0036]图像配准是确定图片之间的几何关系，以便将多幅图像变换到同一坐标系生成全景图像。本项目采用基于SIFT的图像对齐方法，可分为如下五个步骤:
[0037]I)从输入图片中检测SIFT特征点；
[0038]2)用k_d树查找每个特征点的k个最近相邻特征点，获得粗匹配点对；
[0039]3)根据两两图片之间的SIFT匹配点集用RANSAC算法计算出图片之间的单应矩阵(Homograph),同时去除几何不一致和误差较大的匹配点对；
[0040]4)根据单应矩阵(Homography)进行图像对齐，根据对齐结果决定是否进行再次计算单位应矩阵，获取精确匹配点集；
[0041]5)在获得精确匹配点集后，采用集束调整(BundleAdjustment)估算出每个相机三个旋转参数和焦距。[0042]图像拼接过程的基本流程:首先获取待拼接的图像，然后经过预处理(滤波等)，再进行统一坐标变换，将所有图像序列变换到统一的坐标系中，接着进行图像配准和图像融合，最终得到全景图像拼接。
[0043]图像融合生成:
[0044]为了实现两幅图像之间的平滑过渡，需要对重叠区域象素的灰度值进行局部线性插值。
【权利要求】
1.一种超高清全景视频实时生成与多通道同步播放系统，其特征在于:整个系统由超高清全景视频实时生成系统与应用播放系统两个部分组成，生成系统负责图像的采集与拼接；应用播放系统负责将全景视频应用于球幕或环幕影院等并进行播放； 所述生成系统由图像采集部分与智能拼接部分两部分组成，所述图像采集部分包括HCI交互模块、嵌入式摄像阵列电控系统和多路图像并行采集模块； 所述多路图像并行采集模块采用高清摄像机作为图像采集为输入，所采集到的图像信号交给嵌入式摄像阵列电控系统，以嵌入式系统为控制平台，经过程序控制，会让图像处理系统对采集的信号进行粗调、匹配、拼接、平滑处理； 所述嵌入式摄像阵列电控系统用于控制快门同步控制模块、曝光度反馈与控制条件系统和云台两自由度马达电动控制器； 所述HCI交互模块控制姿态、曝光、快门，使用基于硬件的多路采集设备以30fps速度传输到显示卡图像缓存中； 所述智能拼接部分包括基于GPU/OpenCLl.1的数据流控制模块和基于GPU的实时生成模块，所述基于GPU的实时生成模块包括智能拼接模块和基于GPU的H.265格式并行压缩模块； 所述GPU/OpenCLl.1的数据流控制模块实时的采集来自图像采集部分的多路高清图像，通过并行运算，经实现基于遗传算法的全景图像畸变校正、图片全方向切割、多遍次配准拼接、图像融合生成，经H.265格式并行压缩模块进行压缩，经图像传输、同步控制进行H.265格式并行解码，再经延迟渲染后对图 像实现融合拼接，进行多幕拼接显示，通过移动设备播放控制，并将拼接得到相应的全景图像并压缩添加到视频数据中； 所述应用播放系统包括与多路图像并行采集模块通过网络连接的数据融合服务器，采集设备将采集的图像信息编码压缩以后，通过局域网或以太网传给数据融合服务器，数据融合服务器对对台采集设备的图像进行融合，并将结果传输给多台显示终端显示； 所述多台显示终端显示均包括全景播放同步服务器，所述全景播放同步服务器经局域网连接有解码拼接整合器，经解码拼接整合器连接至全景式拼接投影阵列。
【文档编号】H04N5/04GK103905741SQ201410102802
【公开日】2014年7月2日 申请日期:2014年3月19日 优先权日:2014年3月19日
【发明者】王正前, 穆志昕, 陈星球, 汪攀 申请人:合肥安达电子有限责任公司