实时高速高清全景视频的拼接装置及其方法
【专利摘要】本发明公开了一种实时高速高清全景视频的拼接装置及其方法，其中，该方法包括步骤：S10、获取待拼接的多路实时视频序列；S20、判断任意两路视频序列中同一时刻的视频图像是否满足图像拼接条件；S30、计算图像拼接参数；S40、选取投影面，并根据拼接参数将多路实时视频序列中的视频图像映射至同一投影面上，然后确定全景投影面；S50、建立视频图像上的像素点与全景投影面的坐标点的映射表；S60、曝光融合处理全景投影面上所有坐标点的像素值，并根据像素值输出全景视频图像。本发明能够极大地提升图像的拼接速率，保证图像的输出质量，满足实时高速高清全景视频的要求。
【专利说明】实时高速高清全景视频的拼接装置及其方法
【技术领域】
[0001]本发明涉及图像处理【技术领域】，尤其涉及一种实时高速高清全景视频的拼接装置及其方法。
【背景技术】
[0002]在监控系统快速发展的今天，高清摄像机的出现让人们可以看得更清楚，获得更多的细节，但是，人们又提出了另一方面的要求，即在同一个场景中能看到更多的东西。原来的做法是通过用几个摄像头覆盖一个区域，或用快球来回巡航扫描去解决。但在某些场合，这些方法还不能完全满足用户的要求，比如需要在同一个画面里确定人的移动，或需要用同一个场景中监看到的事物去说明一些问题，这个时候就需要全景摄像机。现有技术中的全景摄像机硬件分五大模块:视频采集SENSOR模块、视频处理ISP模块、图像拼接模块、编码传输模块和电源模块。视频采集SENSOR模块用于采集多路视频图像、视频处理ISP模块用于对图像进行初步处理，图像拼接模块用于对多路视频图像进行拼接，编码传输模块用于对拼接的视频图像进行编码输出，电源模块为各部件供电。
[0003]现有技术中的图像拼接方法，由于高清图像数据多，处理图像拼接所需的时间长，拼接效率不高。为此，有人设计了一种图像拼接方法，如申请日为:2010年06月07日公开的专利申请号为:CN201010199450.X的中国专利公开了一种专利名称为:生成全景图像的方法及装置，其中，该生成全景图像的方法包括:获取经手机拍摄得到的多张图像，并将获取到的图像进行柱面投影；根据任意两个相邻投影图像之间的像素相关性，确定所述任意两个相邻投影图像之间的重叠范围；根据所述任意两个相邻投影图像之间的重叠范围对所述任意两个相邻投影图像进行无缝拼接，得到全景图像。该方法通过对经手机拍摄的图像进行柱面投影，并在确定任意两个相邻投影图像之间的重叠范围后，进行无缝拼接，从而生成全景图像。上述的全景图像的像素低，无法满足高清的可视要求；相邻投影图像的拼接效果不好，致使整个全景图像的成像质量较差。有鉴于此，有必要对上述的图像拼接方法进行进一步的改进。
【发明内容】
[0004]本发明提出了一种实时高速高清全景视频的拼接装置及其方法，主要解决的是现有技术中的图像拼接方法的图像拼接时间长，拼接效率低的问题。
[0005]为解决上述技术问题，本发明采用的一个技术方案是:提供一种实时高速高清全景视频的拼接方法，包括步骤:
[0006]S10、获取待拼接的多路实时视频序列；
[0007]S20、判断任意两路视频序列中同一时刻的视频图像是否满足图像拼接条件，若否，则调整视频序列的采集角度，并返回步骤S10，若是，则进入步骤S30 ；
[0008]S30、计算图像拼接参数；
[0009]S40、选取投影面，并根据拼接参数将多路实时视频序列中的视频图像映射至同一投影面上，然后确定全景投影面；
[0010]S50、建立视频图像上的像素点与全景投影面的坐标点的映射表，使视频图像的同一行数据的像素点分布于全景投影面的多行坐标点中，以及根据视频图像至全景投影面的逆变换及映射表，计算实时全景投影面中所有坐标点的像素值；
[0011]S60、曝光融合处理全景投影面上所有坐标点的像素值，并根据像素值输出全景视频图像。
[0012]其中，所述步骤S20具体包括步骤:
[0013]S21、判断各路视频序列中的视频图像是否完整，若否，则调整视频序列的采集角度，并返回步骤SlO ;若是，则执行步骤S22 ；
[0014]S22、判断任意两路视频序列中的视频图像是否存在预设的重叠区域，若否，则调整视频序列的采集角度，并返回步骤SlO ;若是，则进入步骤S30。
[0015]其中，所述步骤S40中根据拼接参数将多路实时视频序列中的视频图像映射至同一投影面上之后，确定全景投影面之前还包括对映射于全景投影面上裁剪图像步骤，将全景投影面上的图像裁剪成预设的形状。
[0016]其中，所述预设的形状为矩形或者正方形。
[0017]其中，所述投影面为圆柱面或球面。
[0018]其中，所述步骤S60曝光融合处理全景投影面上所有坐标点的像素值的步骤具体为包括如下步骤:
[0019]S61、判断全景投影面上的像素点是否处于视频图像的重叠区域，若是，则曝光处理重叠区域，计算视频图像重叠区域的亮度均值，获取输出图像的像素点，若否，则进入步骤 S62 ；
[0020]S62、判断经视频图像至全景投影面的逆变换得出的像素值是否为整数点，若否，则通过插值算法计算出像素值为整数的输出图像的像素点；若是，则直接将像素值作为输出图像的像素点。
[0021]为解决上述技术问题，本发明采用的另一个技术方案是:提供一种实时高速高清全景视频的拼接，包括
[0022]视频采集模块，用于获取待拼接的多路实时视频序列；
[0023]图像处理模块，用于判断任意两路视频序列中的视频图像是否满足图像拼接条件，若否，则调整视频序列的采集角度，若是，则计算图像拼接参数；
[0024]图像拼接模块，用于将多路实时视频序列中的视频图像映射至同一投影面上后确定全景投影面的大小；以及采集视频图像同一行的数据形成映射表并通过映射表使视频图像的一行数据分布于全景投影面的多行数据中，以及根据视频图像至全景投影面的逆变换及映射表，计算实时全景投影面中所有坐标点的像素值；
[0025]图像融合模块，用于曝光融合处理全景投影面上所有坐标点的像素值；
[0026]图像输出模块，用于输出全景视频图像。
[0027]其中，所述图像处理模块包括:
[0028]第一判断单元，用于判断各路视频序列中的视频图像是否完整，若否，则调整视频序列的采集角度；
[0029]第二判断计算单元，用于判断任意两路视频序列中的视频图像是否存在预设的重叠区域，若否，则调整视频序列的采集角度并计算焦距以及旋转矩阵。
[0030]其中，所述图像拼接模块还包括图像裁剪单元，用于将全景投影面上的图像裁剪成预设的形状。
[0031]其中，所述图像融合模块包括，
[0032]第三判断计算单元，判断全景投影面上的像素点是否处于视频图像的重叠区域，若是，则曝光处理重叠区域，计算视频图像重叠区域的亮度均值，获取输出图像的像素点；
[0033]第四判断计算单元，用于判断经视频图像至全景投影面的逆变换得出的像素值是否为整数点，若否，则通过插值算法计算出像素值为整数的输出图像的像素点；若是，则直接将像素值作为输出图像的像素点。
[0034]本发明的有益技术效果是:区别于现有技术中高清图像数据复杂，处理图像拼接所需的时间长，拼接效率不高的问题，本发明提供了一种实时高度高清全景视频的拼接方法，采用将多路实时视频序列中的视频图像映射至同一投影面上后确定全景投影面的大小，而后采集视频图像同一行的数据形成映射表并通过映射表使视频图像的一行数据分布于全景投影面的多行数据中，然后根据视频图像至全景投影面的逆变换及映射表计算出实时全景投影面中所有坐标点的像素值，该映射表充当全景投影面至视频图像的缓存作用，在计算全景投影面中一行的像素值时，不需要遍历各路视频图像的所有数据，只需要通过映射表缓存几行数据即可，能够减少图像数据缓存行数的问题，对于高清图像数据而言，能够极大地提升拼接速率。另外，为了更好地消除拼接缝隙，本发明采用融合处理的方式处理视频图像的叠加区域，能够消除拼接接缝，保证输出全景图像的成像质量。
[0035]本发明还提供了一种实时高速高清全景视频的拼接装置，应用上述的全景视频的拼接方法，能够有效的提升拼接速率，增加输出全景图像的成像质量，满足人们对实时高速高清全景视频的需求。
【专利附图】
【附图说明】
[0036]图1是本发明实时高速高清全景视频的拼接方法的流程图；
[0037]图2是本发明中同一行数据变换示意图；
[0038]图3是本发明中视频图像重叠的示意图；
[0039]图4是本发明中两个视频图像融合的示意图；
[0040]图5是本发明中一实施例中的示意图；
[0041 ] 图6是本发明一实施例的流程图；
[0042]图7是本发明另一实施例的流程图；
[0043]图8是本发明实时高速高清全景视频的拼接装置的方框图。
[0044]标号说明:
[0045]11-视频采集模块、12-图像处理模块、13-图像拼接模块、14-图像融合模块、15-图像输出模块。
【具体实施方式】
[0046]为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。[0047]请参阅图1，本实施例提供了一种实时高速高清全景视频的拼接方法，包括步骤:
[0048]S10、获取待拼接的多路实时视频序列。利用采用若干个固定焦距的镜头组成，各镜头间夹角固定，采集某一区域的实时视频序列。
[0049]S20、判断任意两路视频序列中的视频图像是否满足图像拼接条件，若否，则调整视频序列的采集角度，并返回步骤SlO ;若是，则进入步骤S30。当采集的视频图像不满足拼接调节时，重新调整镜头组采集视频序列的角度。对拼接条件的判断具体包括步骤:S21、判断各路视频序列中的视频图像是否完整，若否，则调整视频序列的采集角度，并返回步骤SlO ;若是，则执行步骤S22 ;S22、判断任意两路视频序列中的视频图像是否存在预设的重叠区域，若否，则调整视频序列的采集角度，并返回步骤SlO ;若是，执行步骤S30。
[0050]S30、计算拼接参数，该拼接参数为焦距以及旋转矩阵。对视频图像完整度的判断以及相邻视频图像重叠区域的判断为保证输出全景视频图像质量的前提。每个画面对应一个焦距f和一个3 X 3的旋转矩阵R:
[0051]S40、选取投影面，根据拼接参数将多路实时视频序列中的视频图像映射至同一投影面上，然后确定全景投影面，进而可以确定全景视频的监控范围的大小。
[0052]S50、建立视频图像上的像素点与全景投影面的坐标点的映射表，使视频图像的同一行数据的像素点分布于全景投影面的多行坐标点中，以及根据视频图像至全景投影面的逆变换及映射表，计算实时全景投影面中所有坐标点的像素值。由于视频图像序列是实体景物在不同坐标系下的二维投影，直接对多路视频序列进行拼接无法满足视觉一致性，所以需要将待拼接的图像分别投影到同一坐标系下，然后再进行图像拼接。该全景投影面包括:平面型全景投影面、柱面型全景投影面和球面型全景投影面。在曝光融合过程中，需先将多路图像投影到同一坐标系下，选取适合的投影模型，使全景图像呈现在投影平面上，能表现出真实场景效果。平面投影在拼接多路视频时边缘畸变较严重，柱面投影和球面投影在水平拼接时无明显区别，在有垂直方向的拼接时，考虑使用球面性全景投影面。每个画面通过柱面或球面公式映射到柱面或球面，此时剪裁边缘、确定各画面的重叠接缝位置。上述的映射表主要记录的是坐标位置，每一个未拼接的原始画面对应2张映射表，一张保存X坐标，一张保存y坐标。参阅图2，上述同一数据，左边矩形图像中的每一行图像数据在经过柱面变换后为一条弧形，图右边的两长线为剪裁线，最终2条剪裁线形成的矩形区域才是全景图像的一部分。全景图像的每一行数据来自于原始图像多行数据计算获取。参阅图3，全景中的一行数据是由左边的“+号”计算获取的，那么在为全景图像保存相应映射表的时候，我们是可以计算出全景图像中每行数据在对应序号原始图像中的X、y坐标。在设备安装固定好之后，这个只需计算一次，后面的拼接过程中可以直接调用该映射表。
[0053]S60、曝光融合处理全景投影面上所有坐标点的像素值，并根据像素值输出全景视频图像；步骤S60曝光融合处理全景投影面上所有坐标点的像素值的步骤具体包括S61、判断全景投影面上的像素点是否处于视频图像的重叠区域，若是，则曝光处理重叠区域，计算视频图像重叠区域的亮度均值，获取输出图像的像素点，若否，则执行步骤S62。其目的在于消除重叠区域的拼接接缝。曝光融合过程可以通过计算相邻图像重叠区域的亮度均值获取亮度补偿参数，亮度补偿后，可以采用渐入渐出的融合规则，消除拼接接缝。参阅图3，确定全景图像大小及各接缝坐标后，对于Al、A2、A3、A4区域，可以通过前面的投影变换的逆变换，计算出全景图像中每个像素在原始图像中的位置，然后获取该位置的像素值；参阅图4，对于重叠区域B1、B2、B3:在使用同非重叠区域相同的算法后计算出Pixel_L和Pixel_R，
[0054]Src_dst=K*Pixel_L+(l_k)*Pixel_R
[0055]通常情况下0〈k〈l，即在重叠区域中，沿图像I向图像2的方向，k由I渐变为0，从而实现重叠区域的平滑拼接。
[0056]S62、判断经视频图像至全景投影面的逆变换得出的像素值是否为整数点，若否，则通过插值算法计算出像素值为整数的输出图像的像素点；若是，则直接将像素值作为输出图像的像素点。其目的在于，计算出非重叠区域的视频图像中像素点的像素值，为输出全景视频图像准备。在图像融合过程中，通过投影关系计算画布中每个像素在原始图像中的位置，对于非重叠区域，可以直接计算获取，如果计算的位置为非整数点，可以采用插值获取整数像素值的像素点。常见插值算法有最近邻算法、双线性插值等。最近邻算法:插值像素通过直接使用与之最接近的原有像素的颜色生成，也就是说照搬旁边最近的像素。
[0057]参阅图5，双线性插值算法:p点位映射后非整数点，Ql1、Q12、Q21、Q22为p点四周整数点，利用如左下公式计算:
【权利要求】
1.一种实时高速高清全景视频的拼接方法，其特征在于，包括步骤: S10、获取待拼接的多路实时视频序列； S20、判断任意两路视频序列中同一时刻的视频图像是否满足图像拼接条件，若否，则调整视频序列的采集角度，并返回步骤S10，若是，则进入步骤S30 ; S30、计算图像拼接参数； S40、选取投影面，并根据拼接参数将多路实时视频序列中的视频图像映射至同一投影面上，然后确定全景投影面； S50、建立视频图像上的像素点与全景投影面的坐标点的映射表，使视频图像的同一行数据的像素点分布于全景投影面的多行坐标点中，以及根据视频图像至全景投影面的逆变换及映射表，计算实时全景投影面中所有坐标点的像素值； S60、曝光融合处理全景投影面上所有坐标点的像素值，并根据像素值输出全景视频图像。
2.根据权利要求1所述的实时高速高清全景视频的拼接方法，其特征在于，所述步骤S20具体包括步骤: S21、判断各路视频序列中的视频图像是否完整，若否，则调整视频序列的采集角度，并返回步骤SlO ;若是，则执行步骤S22 ； S22、判断任意两路视频序列中的视频图像是否存在预设的重叠区域，若否，则调整视频序列的采集角度，并返回步骤SlO ;若是，则进入步骤S30。
3.根据权利要求1所述的实时高速高清全景视频的拼接方法，其特征在于，所述步骤S40中根据拼接参数将多路实时视频序列中的视频图像映射至同一投影面上之后，确定全景投影面之前还包括对映射于全景投影面上裁剪图像步骤，将全景投影面上的图像裁剪成预设的形状。
4.根据权利要求3所述的实时高速高清全景视频的拼接方法，其特征在于，所述预设的形状为矩形或者正方形。
5.根据权利要求3所述的实时高速高清全景视频的拼接方法，其特征在于，所述投影面为圆柱面或球面。
6.根据权利要求1所述的实时高速高清全景视频的拼接方法，其特征在于，所述步骤S60曝光融合处理全景投影面上所有坐标点的像素值的步骤具体包括如下步骤: S61、判断全景投影面上的像素点是否处于视频图像的重叠区域，若是，则曝光处理重叠区域，计算视频图像重叠区域的亮度均值，获取输出图像的像素点，若否，则进入步骤S62 ； S62、判断经视频图像至全景投影面的逆变换得出的像素值是否为整数点，若否，则通过插值算法计算出像素值为整数的输出图像的像素点；若是，则直接将像素值作为输出图像的像素点。
7.一种实时高速高清全景视频的拼接装置，其特征在于，包括视频采集模块，用于获取待拼接的多路实时视频序列； 图像处理模块，与图像视频采集模块连接，用于判断任意两路视频序列中的视频图像是否满足图像拼接条件，若否，则调整视频序列的采集角度，若是，则计算图像拼接参数； 图像拼接模块，与图像处理模块连接，用于将多路实时视频序列中的视频图像映射至同一投影面上后确定全景投影面的大小；以及采集视频图像同一行的数据形成映射表并通过映射表使视频图像的一行数据分布于全景投影面的多行数据中，以及根据视频图像至全景投影面的逆变换及映射表，计算实时全景投影面中所有像素点的像素值； 图像融合模块，与图像拼接模块连接，用于曝光融合处理全景投影面上所有像素点的像素值； 图像输出模块，与图像融合模块，用于输出全景视频图像。
8.根据权利要求7所述的实时高速高清全景视频的拼接装置，其特征在于，所述图像处理模块包括: 第一判断单元，用于判断各路视频序列中的视频图像是否完整，若否，则调整视频序列的米集角度； 第二判断计算单元，与第一判断单元连接，用于判断任意两路视频序列中的视频图像是否存在预设的重叠区域，若否，则调整视频序列的采集角度并计算焦距以及旋转矩阵。
9.根据权利要求7所述的实时高速高清全景视频的拼接装置，其特征在于，所述图像拼接模块还包括图像裁剪单元，用于将全景投影面上的图像裁剪成预设的形状。
10.根据权利要求7所述的实时高速高清全景视频的拼接装置，其特征在于，所述图像融合模 块包括， 第三判断计算单元，判断全景投影面上的像素点是否处于视频图像的重叠区域，若是，则曝光处理重叠区域，计算视频图像重叠区域的亮度均值，获取输出图像的像素点； 第四判断计算单元，与第三判断计算单元连接，用于判断经视频图像至全景投影面的逆变换得出的像素值是否为整数点，若否，则通过插值算法计算出像素值为整数的输出图像的像素点；若是，则直接将像素值作为输出图像的像素点。
【文档编号】H04N5/262GK103763479SQ201310753721
【公开日】2014年4月30日 申请日期:2013年12月31日 优先权日:2013年12月31日
【发明者】彭俊, 林小晖, 吴雪梅, 阎妍 申请人:深圳英飞拓科技股份有限公司