一种多视频融合方法、装置与系统与流程

本发明涉及视频处理领域，尤其涉及一种多视频融合方法、装置与系统。

背景技术：

现有视频融合方案，首先经过多路摄像头的采集，采集之后的图像进行特征提取，最后根据特征点的位置进行全景拼接。视频采集一般会采用多个摄像头，并且摄像头的布局通常会要求尽可能达到镜头焦点重合，这样才能保证后期过缝效应不明显。采集后的图像需要经过计算机视觉算法进行特征提取，该部分计算复杂度较高，为接下来的视频拼接提供依据。最后根据原图像和目标图像特征点的相对位置进行视频融合，融合过程中要去除两两摄像头因光心不能绝对重合而导致的视差现象。

现有的视频融合算法存在以下问题：

第一，现有的全景视频融合算法都仅仅是全景视频拼接算法，就是将多路视频按照上述系列步骤拼接成一个全景视频。这种做法只能保留一个大范围的视野，局部细节往往难以捕捉到。同时，由于相邻镜头间很难做到物理上的光心重合，因而导致视频拼接的接缝处出现失真，有时甚至会出现人物肢体的缺省。以上两点导致全景视频融合技术在很多应用场景下无法很好地替代传统摄像设备，尤其是在监控领域，视频画面的模糊以及人物的缺省将导致非常严重的后果。

第二，传统的监控视频融合仅仅只是将多个摄像头采集的不同角度的视频画面简单拼凑在一起。这样就需要布设很多的摄像头才能保证整个空间无死角监控，并且多个角度的画面在一个平面上显示会导致观看者失去空间位置感，这在一些需要远程指挥的应用场景中很难得到应用。

签与上述问题，提出本发明。

技术实现要素：

本发明的主要目的在于公开一种多视频融合方法、装置与系统，用于解决现有技术中视频融合所存在的失真，缺省和有死角等问题。

为达上述目的，根据本发明的一个方面，公开一种多视频融合方法，并采用如下技术方案:

一种多视频融合方法包括：获取全景视频信息以及多画面视频信息；根据预设融合算法与预设融合方式对所述全景视频信息以及所述多画面视频信息进行融合。

进一步地，所述获取全景视频信息以及多画面视频信息包括：通过多通道视频采集设备获取第一视频信息，以及通过全景视频采集设备获取第二视频信息；

对所述第二视频信息进行图像点特征提取，得到提取结果；基于所述提取结果对所述第二视频信息进行视频拼接，获取所述拼接结果；基于所述拼接结果对所述第二视频信息进行几何映射获取所述全景视频信息；以及对所述第一视频信息做全景中定位设置，得到定位结果；基于所述定位结果对所述第一视频信息进行几何映射，获取所述多画面视频信息。

进一步地，所述预设融合算法为辐射融合算法，具体包括：首先，计算接缝位置处pi的像素差值，计算公式为：，D(pi)＝IL(pi)-IR(pi)，其中IL(pi)和IR(pi)分别代表在pi位置左边图像的像素值和右边图像的像素值；然后，在pi位置处上部分和下部分各辐射n/2个点，总共n个点的差值，并乘以权重系数得到q位置像素差值，计算公式为：

其中，wi(q)为权重系数，且权重系数的计算公式为：

其中||pi-q||代表pi和q之间的欧氏距离；对所述全景视频信息以及所述多画面视频信息按照融合区域大小和q位置像素差值进行融合处理，计算公式为：

其中，IL(q)代表左边图像融合后的像素值，x代表q点和pi点的距离，xb代表融合区域的半径大小，I、R(q)代表右边图像融合后的像素值。

进一步地，所述预设融合方式至少包括如下之一：将所述多画面视频信息融合在所述全景视频信息中；将所述全景视频信息融合在所述多画面视频信息中；以及将所述全景视频信息融合在所述全景视频信息中。

根据本发明的另外一个方面，提供一种多视频融合装置，并采用如下技术方案：

一种多视频融合装置包括：获取模块，用于获取全景视频信息以及多画面视频信息；融合模块，用于根据预设融合算法与预设融合方式对所述全景视频信息以及所述多画面视频信息进行融合。

进一步地，获取模块包括：采集模块，用于通过多通道视频采集设备获取第一视频信息，以及通过全景视频采集设备获取第二视频信息；提取模块，用于对所述第二视频信息进行图像点特征提取，得到提取结果；拼接模块，用于基于所述提取结果对所述第二视频信息进行视频拼接，获取所述拼接结果；第一映射模块，用于基于所述拼接结果对所述第二视频信息进行几何映射获取所述全景视频信息；定位模块，用于以及对所述第一视频信息做全景中定位设置，得到定位结果；第二映射模块，用于基于所述定位结果对所述第一视频信息进行几何映射，获取所述多画面视频信息。

进一步地，所述融合模块包括计算模块，所述计算模块用于：首先，计算接缝位置处pi的像素差值，计算公式为：，

D(pi)＝IL(pi)-IR(pi)

其中IL(pi)和IR(pi)分别代表在pi位置左边图像的像素值和右边图像的像素值；然后，在pi位置处上部分和下部分各辐射n/2个点，总共n个点的差值，并乘以权重系数得到q位置像素差值，计算公式为：

其中，wi(q)为权重系数，且权重系数的计算公式为：

其中||pi-q||代表pi和q之间的欧氏距离；对所述全景视频信息以及所述多画面视频信息按照融合区域大小和q位置像素差值进行融合处理，计算公式为：

其中，I'L(q)代表左边图像融合后的像素值，x代表q点和pi点的距离，xb代表融合区域的半径大小，I、R(q)代表右边图像融合后的像素值。

进一步地，所述预设融合方式至少包括如下之一：将所述多画面视频信息融合在所述全景视频信息中；将所述全景视频信息融合在所述多画面视频信息中；以及将所述全景视频信息融合在所述全景视频信息中。

根据本发明的又一个方面，提供一种多视频融合系统，并采用如下技术方案：

一种多视频融合系统包括上述的多视频融合装置。

本发明通过预设融合算法，不但实现全景拼接还将多视角视频画面与全景视频无缝融合，这样用户既可以360度无死角观看，带来身临其境的感觉，同时也可以仔细观察多角度视频画面细节。同时，本申请技术方案可以让用户自主设定多角度视频画面在全景视频中的相对位置，按照用户设定的位置进行自动视频融合，使用者操作起来方便快捷。而传统的多角度视频仅仅是按照简单的固定位置摆放，将多画面视频拼凑在一起，既没有给用户留下自主选择的功能，更没有处理过多角度视频与全景视频的相对位置关系。而且，本申请既可以让用户自主选择融合方式：1)多画面视频融合在全景视频中；2)全景视频融合在全景视频中；3)全景视频融合在多画面视频中；又可以让用户选择以不同的几何映射方式展现多视融合视频。这样可以为用户提供更加个性化，更加多样的视频渲染效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的一种多视频融合方法的流程图；

图2为本发明实施所述的对采集的视频信息进行处理的流程图；

图3为本发明实施例所述的多画面视频融合在全景视频中的示意图；

图4为本发明实施例所述的全景视频融合在全景视频中的示意图；

图5为本发明实施例所述的全景视频融合在多画面视频中的示意图；

图6为本发明实施例所述的多视频融合装置的结构图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

图1为本发明实施例所述的一种多视频融合方法的流程图。

参见图1所示，一种多视频融合方法包括：

S101：获取全景视频信息以及多画面视频信息；

S103：根据预设融合算法与预设融合方式对所述全景视频信息以及所述多画面视频信息进行融合。

具体而言，在步骤S101中，获取全景视频信息以及多画面视频信息，首先进行视频采集，视频采集部分分为多路全景视频采集和多画面视频采集。多路全景视频采集是指多个摄像头尽可能以镜头焦点重合为目标进行布设，最终保证过缝效应不明显。多画面视频采集是指摄像头可以任意布设，布设位置取决于使用者想拍摄画面的角度，这样可使使用者布设简单、操作方便。在对采集的视频信息进行处理之后，执行步骤S103，即根据预设融合算法与预设融合方式对所述全景视频信息以及所述多画面视频信息进行融合。具体的，本发明所采用的预设融合算法为自主研发的辐射融合算法，该算法可以非常有效地处理融合图像的色差问题，使两幅图像能够完成无缝融合。预设融合方式不限于一种融合方式，也可以几种融合方式任意组合。

具体的，对采集的视频信息进行处理，可以参见图2所示，为如下步骤：

步骤20：多路全景视频采集；

步骤20a：多画面视频采集；

步骤21：特征提取；

步骤21a：全景中位置设定；

步骤22：视频拼接；

步骤22a:几何映射；

步骤23：几何映射；

步骤24：多视融合算法。

具体的说，对步骤20中通过多通道视频采集设备获取第一视频信息，以及步骤20a中通过全景视频采集设备获取第二视频信息进行一系列的处理，在步骤21中，对所述第二视频信息进行图像点特征提取，得到提取结果；在步骤22中，基于所述提取结果对所述第二视频信息进行视频拼接，获取所述全景视频信息；以及在步骤21a中，对所述第一视频信息做全景中定位设置，得到定位结果；在步骤22a中，基于所述定位结果对所述第二视频信息进行几何映射获取所述多画面视频信息，在步骤23中，基于拼接结果，对第一视频信息进行几何映射，得到全景视频信息，在步骤24中，通过预设融合算法进行视频融合。

进一步而言，几何映射球面映射，以保证多画面视频在全景播放器展示中不出现图像畸变。

更具体的，所述预设融合算法为辐射融合算法，具体包括：首先，计算接缝位置处pi的像素差值，计算公式为：，D(pi)＝IL(pi)-IR(pi)，其中IL(pi)和IR(pi)分别代表在pi位置左边图像的像素值和右边图像的像素值；然后，在pi位置处上部分和下部分各辐射n/2个点，总共n个点的差值，并乘以权重系数得到q位置像素差值，计算公式为：

其中，wi(q)为权重系数，且权重系数的计算公式为：

其中||pi-q||代表pi和q之间的欧氏距离；对所述全景视频信息以及所述多画面视频信息按照融合区域大小和q位置像素差值进行融合处理，计算公式为：

其中，I'L(q)代表左边图像融合后的像素值，x代表q点和pi点的距离，xb代表融合区域的半径大小，I`R(q)代表右边图像融合后的像素值。

优选地，所述预设融合方式至少包括如下之一：将所述多画面视频信息融合在所述全景视频信息中，如图3所示；将所述全景视频信息融合在所述多画面视频信息中，参见图5所示；以及将所述全景视频信息融合在所述全景视频信息中，参见图4所示。

图6为本发明实施例所述的多视频融合装置的结构图。

参见图6所示，一种多视频融合装置包括：获取模块60，用于获取全景视频信息以及多画面视频信息；融合模块62，用于根据预设融合算法与预设融合方式对所述全景视频信息以及所述多画面视频信息进行融合。

优选地，获取模块60包括：采集模块，用于通过多通道视频采集设备获取第一视频信息，以及通过全景视频采集设备获取第二视频信息；提取模块，用于对所述第二视频信息进行图像点特征提取，得到提取结果；拼接模块，用于基于所述提取结果对所述第二视频信息进行视频拼接，获取所述拼接结果；第一映射模块，用于基于所述拼接结果对所述第二视频信息进行几何映射获取所述全景视频信息；定位模块，用于以及对所述第一视频信息做全景中定位设置，得到定位结果；第二映射模块，用于基于所述定位结果对所述第一视频信息进行几何映射，获取所述多画面视频信息。

优选地，所述融合模块包括计算模块，所述计算模块用于：首先，计算接缝位置处pi的像素差值，计算公式为：，

D(pi)＝IL(pi)-IR(pi)

其中IL(pi)和IR(pi)分别代表在pi位置左边图像的像素值和右边图像的像素值；然后，在pi位置处上部分和下部分各辐射n/2个点，总共n个点的差值，并乘以权重系数得到q位置像素差值，计算公式为：

其中，wi(q)为权重系数，且权重系数的计算公式为：

其中||pi-q||代表pi和q之间的欧氏距离；对所述全景视频信息以及所述多画面视频信息按照融合区域大小和q位置像素差值进行融合处理，计算公式为：

其中，I'L(q)代表左边图像融合后的像素值，x代表q点和pi点的距离，xb代表融合区域的半径大小，I`R(q)代表右边图像融合后的像素值。

优选地，所述预设融合方式至少包括如下之一：将所述多画面视频信息融合在所述全景视频信息中；将所述全景视频信息融合在所述多画面视频信息中；以及将所述全景视频信息融合在所述全景视频信息中。

本发明提供的一种多视频融合系统包括上述的多视频融合装置。

本发明通过预设融合算法，不但实现全景拼接还将多视角视频画面与全景视频无缝融合，这样用户既可以360度无死角观看，带来身临其境的感觉，同时也可以仔细观察多角度视频画面细节。同时，本申请技术方案可以让用户自主设定多角度视频画面在全景视频中的相对位置，按照用户设定的位置进行自动视频融合，使用者操作起来方便快捷。而传统的多角度视频仅仅是按照简单的固定位置摆放，将多画面视频拼凑在一起，既没有给用户留下自主选择的功能，更没有处理过多角度视频与全景视频的相对位置关系。而且，本申请既可以让用户自主选择融合方式：1)多画面视频融合在全景视频中；2)全景视频融合在全景视频中；3)全景视频融合在多画面视频中；又可以让用户选择以不同的几何映射方式展现多视融合视频。这样可以为用户提供更加个性化，更加多样的视频渲染效果。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。