垂直方向宽视域的360度拼接式全景摄像的制造方法
【专利摘要】本发明属于全景拼接领域，提供了一种垂直方向宽视域的360度拼接式全景摄像机，包括若干个相同的竖直排列的图像传感器，传感器的型号、数量和相对位置根据全景拼接应用对视场大小的需求确定。本发明还提供了基于所述全景摄像机的标定方法和拼接方法，通过进行标定，将各路图像投影在同一平面上；再利用动态规划方法和梯度域融合方法完成全景图像的拼接。由于本发明可在单排传感器排列的情况下获得较大的垂直视角，仅需要在横向上运行图像拼接算法，能够简化拼接算法的设计，降低算法复杂度。本发明每组相邻图像之间的拼接操作相互独立，可以采用多处理器并行执行，可以在FPGA上实现多路视频的实时拼接，具有广阔的市场前景。
【专利说明】垂直方向宽视域的360度拼接式全景摄像机
【技术领域】:
[0001]本发明属于全景图像拼接领域，尤其涉及一种垂直方向宽视域的360度拼接式全景摄像机。
【背景技术】:
[0002]采用全景拼接方式构建的拼接式全景摄像机，可以克服单图像传感器相机硬件条件的限制，对场景同时实现大视场和高分辨率的拍摄。与鱼眼全景和折反射全景相比，拼接全景具有图像失真小，分辨率高和各位置分辨率均匀的优势。
[0003]拼接式全景摄像机无论在民用还是军用领域都有广阔的应用前景。
[0004]在民用领域，因其大视场和高分辨率的特性，拼接全景受到越来越多的关注和青睐。拼接式全景摄像机已广泛应用于安防监控、艺术摄影、虚拟现实以及街景拍摄的工程实际中，并在日益增长的需求驱动下获得快速发展。
[0005]在军用领域，机载的全景摄像机可以实现对地面目标的大范围、高精度侦查。美国国防部先进研究项目局(DARPA)主导的先进宽视场架构图像重构与开发(AWARE)工程利用300个1400万像素微型相机拼接的方式成功构建了具有120度视角20亿像素分辨率的图像采集系统。基于全景拼接技术的360度全景摄像机可以代替传统的潜艇光学潜望镜，美军Type-18型潜艇已正式装备360度全景潜望成像系统，大大提高了潜艇的态势感知能力，为潜艇提供潜在的战术优势。类似的系统也可以应用于坦克的火控系统，代替传统的周视瞄准镜，不仅可以简化机械结构，而且能够获得更好的观察效果。
[0006]然而目前拼接式全景摄像机的拼接方法大多基于横向排列的图像传感器阵列，单排拼接的全景图像虽然可以具有360度的水平视角，但其垂直视角却很小。对于如图1所示具有50度水平视角的设置为标准1080P模式的相机CMOS，其垂直视角只有28.125度。为了获得更大的垂直视角，目前的方法是使用多排图像传感器阵列。而多排图像的无缝拼接需要同时考虑横向和纵向两个方向，基于图像在存储器中实质上的一维存储方式，双向的拼接算法需要较多的随机读取，势必会增加算法的时间复杂性。
[0007]在安防监控、街景拍摄以及军事上的坦克火控瞄准等应用场合，关注重点为水平方向的大范围场景，且需要较大的垂直视角，横向单排拼接的全景摄像机难以满足需求。本发明采用将普通图像传感器竖置的方式进行全景拼接，为了获得同样宽度的水平视角，单排竖置的排列方式需要更多的图像传感器数量，但其在垂直视角上相对于横向排列方式具有明显优势。以需要360度水平视角、50度垂直视角的应用场合为例，使用图1所示CMOS，若采用图像传感器横向排列的方案，则需要两排CMOS才能满足需求，如图2所示。若采用图像传感器纵向排列的方案，则仅需单排CMOS即能满足需求，如图3所示。由此可见，在特定应用场合下，本发明提出的垂直方向宽视域的360°拼接式全景摄像机不仅在装置结构上更为简单，而且能够降低对应的拼接算法的复杂度，进而降低处理器成本。
【发明内容】
:[0008]本发明从实际应用需求出发，考虑到传统横向排列的全景拼接方法在构建较大垂直视角全景图像时的复杂性，即需要进行多排图像的拼接，提出了一种基于图像传感器竖置排列的全景拼接方案，并以此构建垂直方向宽视域的360°拼接式全景摄像。该摄像机应用的场合是360度全景图像的采集，由于可在单排图像传感器排列的情况下获得较大的垂直视角，仅需要在横向上运行图像拼接算法，能够简化拼接算法的设计，降低算法时间复杂度。
[0009]为实现上述目的，本发明提供了如下技术方案:
[0010]一种垂直方向宽视域的360度拼接式全景摄像机，包括若干个相同的竖直排列的图像传感器，每个所述图像传感器有效图幅的长边对应的视角不小于全景图像需要的垂直视角，相邻图像传感器形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述图像传感器的数量满足使所有图像传感器有效图幅的短边对应的视角叠加后不小于360度。
[0011]进一步地，任意两个所述图像传感器的镜头光心之间的距离小于最小景深的1/10 ;并且每个所述图像传感器采用相同的曝光参数。
[0012]本发明还提供了一种用于上述的360度拼接式全景摄像机的标定方法，采用基于特征点的标定方法，包括以下步骤:
[0013]S101.所述360度拼接式全景摄像机采集一组图像数据；
[0014]S102.对所述图像数据中的各个图像传感器形成的图像进行特征点查找与匹配；
[0015]S103.根据步骤S102得到的特征点匹配关系解算各个图像传感器形成的图像之间的投影关系；
[0016]S104.将所有由各个图像传感器形成的图像投影到同一观察平面内，对于由各个图像传感器形成的图像在所述观察平面内的投影图像，其任意位置的像素值采用查找表的方式，通过双线性插值从对应图像传感器形成的图像的相应位置获取。
[0017]本发明还提供了一种用于上述的360度拼接式全景摄像机的图像拼接方法，包括以下步骤:
[0018]S201.获取所述360度拼接式全景摄像机采集的图像数据经过标定后的投影图像，进一步从所述投影图像中确定每组相邻图像传感器形成的图像之间的重叠部分；
[0019]S202.利用动态规划方法在每个所述重叠部分确定一条拼接缝；
[0020]S203.利用梯度域融合方法在每条所述拼接缝两侧位置对相应的相邻图像进行融合；
[0021]S204.将融合图像分别与对应相邻图像的其他部分图像整合，输出全景图像。
[0022]进一步地，所述步骤S202的具体方法为:
[0023](I)计算每个所述重叠部分在Lab颜色空间下的图像差异，得到该重叠部分的差异矩阵；
[0024](2)利用前后帧之间该重叠部分的相关信息重新计算差异矩阵:以前一时刻该重叠部分中所计算的拼接缝位置为基准，以水平方向向两边扩展，根据重叠部分内每个像素点与该拼接缝的水平直线距离计算一个权值矩阵，将这个权值矩阵与步骤(I)得到的差异矩阵求和，结果作为该重叠部分最终的差异矩阵；所述前一时刻该重叠部分中所计算的拼接缝的初值，即初始时刻该重叠区域的拼接缝为该重叠区域的中线；
[0025](3)根据步骤(2)得到的最终的差异矩阵，采用动态规划算法计算拼接缝。[0026]进一步地，所述步骤(3)的具体方法为:从当前时刻该重叠部分的上端到下端，搜索一条最优路径，使该最优路径经过的像素点位置的图像差异值之和最小，所述图像差异值是指最终的差异矩阵中该像素点位置对应的值，该最优路径即为该重叠部分的拼接缝；在搜索最优路径时，对于当前位置像素点，不仅搜索下一行中与当前位置相邻的三个像素点，同时还搜索同一行中与当前位置像素点相邻的两个像素点。
[0027]进一步地，所述步骤(2)中根据每个像素点距离该拼接缝的水平直线距离计算一个权值矩阵的方法为:首先计算每个像素点位置距离该拼接缝的水平距离d ;然后计算该像素点的权值C2 = Aebd，其中A与b为预设的参数；则得到了由每个像素点的权值组成的权值矩阵。
[0028]进一步地，所述步骤S201至S204均在FPGA中实现。
[0029]可见，在拼接式全景摄像机的实现上，本发明取得的有益效果是:基于拼接代价较低的单排图像传感器结构，对拼接性能进行了进一步挖掘和提升。通过将图像传感器竖置，以适当增加图像传感器数量为代价，有效提高了全景图像的垂直视角。本发明选取适当方法，将图像拼接的处理范围限制在重叠部分内，使每组相邻图像之间的拼接操作相互独立，可以采用多处理器并行执行，因此并不会由图像传感器数量的增加而影响拼接速度。
【专利附图】
【附图说明】:
[0030]图1为水品视角为50度的设置为标准1080P模式的CMOS示意图。
[0031]图2为横向双排CMOS拼接形成360 X 50度视场，拼接所用CMOS为图1所示型号。
[0032]图3为纵向单排CMOS拼接形成360X 50度视场，拼接所用CMOS为图1所示型号。
[0033]图4是基于前一帧缝合线的当前帧差异矩阵更新示意图。L表示前一帧视频图像所计算出的缝合线，图中虚线表示水平方向上，每个像素点位置距离缝合线的远近。
[0034]图5是图像缝合线示意图。其中，S表示缝合线的起点，T表示缝合线的终点，粗线表示缝合线。粗线经过的位置的差异值之和是所有路线中差异最小的。
[0035]图6是最优缝合线查找的数学模型。
[0036]图7是传统动态规划算法搜索方向。只能搜索下一行与当前位置相邻的三个点。
[0037]图8是改进的动态规划算法搜索方向。可以搜索下一行与当前相邻的三个点以及同一行与当前位置相邻的两个点。
【具体实施方式】
[0038]下面将结合附图和实例对本发明的【具体实施方式】作进一步的详细说明。
[0039]本发明为一种垂直方向宽视域的360°拼接式全景摄像机。其优势是在使用单排图像传感器的情况下，比传统的图像传感器横向排列的全景摄像机具有更大的垂直视角。在特定应用场合，可以用单排图像传感器获得横向排列方案下需要双排图像传感器才能获得的视场，仅需要在一个方向进行图像拼接，简化了拼接算法的复杂度。
[0040]首先需要根据全景拼接应用对视场大小的需求确定图像传感器的型号、数量和相对位置；然后对全景摄像机进行标定，将各路图像投影在同一平面上；最后利用动态规划方法和梯度域融合方法完成全景图像的拼接。
[0041 ] 本发明提供了 一种垂直方向宽视域的360度拼接式全景摄像机，包括若干个相同的竖直排列的图像传感器，每个所述图像传感器有效图幅的长边对应的视角不小于全景图像需要的垂直视角，相邻图像传感器形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述图像传感器的数量满足使所有图像传感器有效图幅的短边对应的视角叠加后不小于360度。
[0042]本发明中任意两个所述图像传感器的镜头光心之间的距离小于最小景深的1/10 ；并且每个所述图像传感器采用相同的曝光参数。
[0043]本发明中拼接式全景摄像机的设计，应基于一定视场大小的全景拼接需求，包括水平视角和垂直视角大小的需求。对于360度拼接式全景摄像机，其水平视角要求为360度。根据全景图像垂直视角大小的需求，选取合适的镜头和图像传感器型号，使图像传感器有效图幅的长边对应的视角不小于需要的垂直视角。
[0044]已知全景拼接应用对视场大小的需求，设所需视场大小为0WX0H，其中0W为水平视角，本实施例中0W = 36O°，eH为垂直视角。则应选取合适的镜头和图像传感器型号，使图像传感器有效图幅的长边对应的视角不小于需要的垂直视角。设图像传感器有效图幅对应的视场大小为Q ' ffx 0 1 H,对于传统的横向排列的方案,有0 ' ffx 0 1 H,则上述视角约束可表示为
[0045]0 ' w ≥ 0 H(I)
[0046]若图像传感器设置为标准的16:9模式，则可进一步得到
【权利要求】
1.一种垂直方向宽视域的360度拼接式全景摄像机，其特征在于包括若干个相同的竖直排列的图像传感器，每个所述图像传感器有效图幅的长边对应的视角不小于全景图像需要的垂直视角，相邻图像传感器形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述图像传感器的数量满足使所有图像传感器有效图幅的短边对应的视角叠加后不小于360度。
2.根据权利要求1所述的垂直方向宽视域的360度拼接式全景摄像机，其特征在于:任意两个所述图像传感器的镜头光心之间的距离小于最小景深的1/10 ;并且每个所述图像传感器采用相同的曝光参数。
3.一种用于权利要求1所述的360度拼接式全景摄像机的标定方法，其特征在于采用基于特征点的标定方法，包括以下步骤: 5101.所述360度拼接式全景摄像机采集一组图像数据； 5102.对所述图像数据中的各个图像传感器形成的图像进行特征点查找与匹配； 5103.根据步骤S102得到的特征点匹配关系解算各个图像传感器形成的图像之间的投影关系； 5104.将所有由各个图像传感器形成的图像投影到同一观察平面内，对于由各个图像传感器形成的图像在所述观察平面内的投影图像，其任意位置的像素值采用查找表的方式，通过双线性插值从对应图像传感器形成的图像的相应位置获取。
4.一种用于权利要求1所述的360度拼接式全景摄像机的图像拼接方法，其特征在于包括以下步骤: 5201.获取所述360度拼接式全景摄像机采集的图像数据经过标定后的投影图像，进一步从所述投影图像中确定每组`相邻图像传感器形成的图像之间的重叠部分； 5202.利用动态规划方法在每个所述重叠部分确定一条拼接缝； 5203.利用梯度域融合方法在每条所述拼接缝两侧位置对相应的相邻图像进行融合； 5204.将融合图像分别与对应相邻图像的其他部分图像整合，输出全景图像。
5.根据权利要求4所述的图像拼接方法，其特征在于所述步骤S202的具体方法为: (1)计算每个所述重叠部分在Lab颜色空间下的图像差异，得到该重叠部分的差异矩阵； (2)利用前后帧之间该重叠部分的相关信息重新计算差异矩阵:以前一时刻该重叠部分中所计算的拼接缝位置为基准，以水平方向向两边扩展，根据重叠部分内每个像素点与该拼接缝的水平直线距离计算一个权值矩阵，将这个权值矩阵与步骤(1)得到的差异矩阵求和，结果作为该重叠部分最终的差异矩阵；所述前一时刻该重叠部分中所计算的拼接缝的初值，即初始时刻该重叠区域的拼接缝为该重叠区域的中线； (3)根据步骤(2)得到的最终的差异矩阵，采用动态规划算法计算拼接缝。
6.根据权利要求5所述的图像拼接方法，其特征在于所述步骤(3)的具体方法为:从当前时刻该重叠部分的上端到下端，搜索一条最优路径，使该最优路径经过的像素点位置的图像差异值之和最小，所述图像差异值是指最终的差异矩阵中该像素点位置对应的值，该最优路径即为该重叠部分的拼接缝；在搜索最优路径时，对于当前位置像素点，不仅搜索下一行中与当前位置相邻的三个像素点，同时还搜索同一行中与当前位置像素点相邻的两个像素点。
7.根据权利要求5所述的图像拼接方法，其特征在于所述步骤(2)中根据每个像素点距离该拼接缝的水平直线距离计算一个权值矩阵的方法为:首先计算每个像素点位置距离该拼接缝的水平距离d ;然后计算该像素点的权值C2 = Aebd，其中A与b为预先设置的参数；则得到了由每个像素点的权值组成的权值矩阵。
8.根据权利要求 4所述的图像拼接方法，其特征在于所述各步骤均在FPGA中实现。
【文档编号】G06T5/50GK103533266SQ201310459441
【公开日】2014年1月22日 申请日期:2013年10月1日 优先权日:2013年10月1日
【发明者】张茂军, 熊志辉, 徐玮, 李靖, 谭树人, 王炜, 刘煜, 张政, 尹晓晴, 彭杨 申请人:中国人民解放军国防科学技术大学, 湖南源信光电科技有限公司