一种局部配准并行视频拼接方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种视频拼接方法及系统，尤其涉及一种局部配准并行视频拼接方法 及系统，属于计算机图像信息处理技术领域。
【背景技术】
[0002] 视频拼接技术，是对有重叠区域的多路视频数据，利用视频拼接算法进行拼接，消 除重叠区域，形成广角度的大型视频图像处理技术。由于图像采集设备的物理因素的局限 性，当前的摄像设备无法获取的广视野范围内的场景。而在日常生活中：在机场，码头，广 场，交通路口等视野开阔的大型场景中，通常需要同时显示全景的图像信息。通常可以通过 布设多台摄像设备来扩大监控范围，但是场景的显示被分割为多个子窗口，不能够自然直 接地反映真实场景。利用计算机图像拼接算法，对多路视频数据的视频拼接可以很好的解 决这一问题。
[0003] 视频拼接过程主要包括图像配准和图像融合两个步骤。同时视频拼接主要面对 的挑战是视频流的实时性需求。为了保证视频处理的实时性，需要对每帧图像的配准和融 合都进行优化处理。传统的图像配准算法，尺度不变的特征变换SIFT(Scale Invariant Feature Transform)以及快速鲁棒特征 SURF (Speeded Up Robust Features)方法，因为 较为复杂造成计算量大，难以满足实时性的需求。加速分割检测特征FAST (Features from Accelerated Segment Test)，由于设计简单所以特征检测速度较快。基于FAST算法，利用 具有方向性的 BRIEFF(Binary Robust Independent Elementary Features)特征算子，提 出了 oFAST (FAST Keypoint Orientation)检测算法，最终设计了 ORB (Oriented FAST and Rotated BRIEF)算法。由于视频采集设备空间重叠关联关系，图像配准检测可以只限定于 局部区域，基于图像兴趣区ROI (Region of Interest)的局部处理方法可以进一步提高视 频拼接的实时性。
[0004] 现在图像拼接技术已经成为计算机图形学的研究焦点，被广泛应用于空间探测、 遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。
【发明内容】
[0005] 本发明针对现有技术中全画幅配准检测的视频拼接实时性不足的问题，提出 一种基于oFAST特征点的能高效准确的将多路视频进行拼接处理的局部配准并行视 频拼接方法及系统，该方案具有采取分区域局部配准的计算方法，复杂度低、计算快 速、并行度高且扩展性好；同时将视频帧配准算法运行于CPU中，融合算法并行运行于 FPGA(Field-Programmat)Ie Gate Array)可编程逻辑模板中，将程序进行并行化，进一步提 高系统处理速度。
[0006] 本发明解决上述技术问题的技术方案如下：一种局部配准并行视频拼接方法，具 体包括以下步骤：
[0007] 步骤1 :对多路米集模块进行二维坐标视角标定，多路米集模块对同一物体同时 采集视频图像得到多路视频图像，多路视频图像分别分解为视频数据；
[0008] 步骤2 :将接收到的多个第N帧数据作为当前数据，N为自然数；
[0009] 步骤3 :对当前数据进行预处理，得到多个剪裁后的视频帧；
[0010] 步骤4 :判断剪裁后的视频帧的相邻关系，根据相邻关系建立相邻帧空间关系丰旲 型；执行步骤5,并同时接收第N+1帧数据作为当前数据，执行步骤3 ;
[0011] 步骤5 :对具有相邻关系的多个视频帧进行配准，得到相邻视频帧间的单应性矩 阵；
[0012] 步骤6 :根据单应性矩阵，进行视频帧场景拼接，完成并行视频拼接。
[0013] 本发明的有益效果是：本发明能高效准确的将多路视频进行拼接处理，复杂度低、 计算快速、并行度高且扩展性好；将程序进行并行化，进一步提高系统处理速度。
[0014] 在上述技术方案的基础上，本发明还可以做如下改进。
[0015] 进一步，所述步骤3具体包括以下步骤：
[0016] 步骤3. 1 :对当前数据进行视频解码处理得到处理后的视频帧，根据设定的三维 坐标视角标定，对处理后的视频帧进行坐标变换；
[0017] 步骤3. 2 :对坐标变换后的视频帧依次进行灰度变换和去噪处理；
[0018] 步骤3. 3 :对去噪后的每帧视频帧进行剪裁，每帧视频帧剪裁后得到大小相等的 左右两个视频帧。
[0019] 进一步，所述步骤3. 2中灰度变换采用的是256级灰度变换得到灰度图像，采用高 斯滤波器对灰度图像进行去噪处理。
[0020] 进一步，所述步骤4中根据步骤1中标定的三维坐标视角进行判断视频帧是否相 邻。
[0021] 步骤4中每一路采集模块间空间左右相邻关系，此处匹配结果为一组合，即空间 上左右相邻的两个视频帧。这里匹配只是一个相邻关系，并没有把相邻的两个帧图像拼接 起来。下面在此基础上继续判断两个相邻帧图像拼接重合的区域范围。
[0022] 进一步，所述步骤5具体包括以下步骤：
[0023] 步骤5. 1 :根据相邻帧空间关系模型选取任意两个具有相邻关系的视频帧，对每 帧视频帧计算生成对应的特征点区域，构成特征点集合；
[0024] 步骤5. 2 :针对每个特征点区域选取patch块，对patch块计算得到描述算子，对 应特征点集合得到描述算子集合；
[0025] 步骤5. 3 :对描述算子集合进行计算，得到相邻视频帧间的单应性矩阵。
[0026] 进一步，所述步骤5. 1中采用oFAST检测算法，对每帧视频帧生成对应的oFAST特 征点区域。
[0027] 进一步，所述步骤6中使用加权平滑法进行视频帧场景拼接。
[0028] 本发明解决上述技术问题的技术方案如下：一种局部配准并行视频拼接系统，包 括多路经三维坐标标定的采集模块、图像融合模块、中心处理模块和图像拼接模块；
[0029] 多路所述采集模块对同一物体同时采集视频图像得到多路视频图像，多路视频图 像分别分解为视频数据；
[0030] 所述图像融合模块依次将接收到的多路视频数据对进行预处理，得到多个剪裁后 的视频帧；判断剪裁后的视频帧的相邻关系，根据相邻关系建立相邻帧空间关系t旲型；
[0031] 所述中心处理模炔基于相邻帧空间关系模型对具有相邻关系的多个视频帧进行 配准，得到相邻视频帧间的单应性矩阵；
[0032] 所说图像拼接模块根据单应性矩阵，进行视频帧场景拼接，完成并行视频拼接。
[0033] 本发明的有益效果是：本发明能高效准确的将多路视频进行拼接处理，复杂度低、 计算快速、并行度高且扩展性好；将程序进行并行化，进一步提高系统处理速度。
[0034] 在上述技术方案的基础上，本发明还可以做如下改进。
[0035] 进一步，所述图像融合模块与中心处理模块同时独立运行，当中心处理模块对第N 帧视频帧进行配准时，所述图像融合模块对第N+1帧视频帧进行处理。
[0036] 进一步，还包括存储模块，所述存储模块用于存储融合后结果和存储算法运行时 的图像。
[0037] 复杂度低计算快速：
[0038] 本发明采用oFAST算法提取特征点来进行图像配准，相比以往的SIFT和SURF特 征点，它利用中心点和周围像素点的灰度值进行直接比较来检测特征点，特征点的提取速 度有很大的提升；而且streered BRIEF特征向量是由比特位串组成，相比浮点数组成的特 征向量所需的内存更小；另外该算法只对1/2画幅图像数据进行处理，进一步降低计算量； 从而使得图像拼接过程中的特征提取速度和匹配效果得到很大的提高，可以实时地对视频 图像进行全景拼接处理及高清显示。
[0039] 并行度高：
[0040] 采用FPGA和CPU两独立计算模块。当CPU进行第N个视频帧的融合工作时，FPGA 模块进行第N+1个视频帧的配准工作，流水化操作，提供计算的并行度，进而提高系统处理 量与处理速度。
[0041] 扩展性好：
[0042] 系统采用模块化设计，本发明中涉及的算法都可以替换为其他算法（如：Moravec 算子、Susan算子、Harris算子或Sift算子），处理过程互不影响。
【附图说明】
[0043] 图1为本发明所述的一种局部配准并行视频拼接方法流程图；
[0044] 图2为本发明所述的一种局部配准并行视频拼接系统结构框图；
[0045] 图3为本发明具体实施例所述的一种局部配准并行视频拼接方法流程图；
[0046] 图4为本发明具体实施例所述的局部配准实时视频拼接方法在时刻T时各模块数 据流并行工作示意图；
[0047] 图5为本发明具体实施例所述的局部配准实时视频拼接装置相机空间关系示意 图。
[0048] 附图中，各标号所代表的部件列表如下：
[0049] i、采集模块，2、图像融合模块，3、中心处理模块，4、图像拼接模块，5、存储模块。
【具体实