本发明涉及虚拟现实技术和计算机视觉领域，尤其涉及一种可共光心的摄像机装置、全景无缝拼接组件及方法。
背景技术：
近年来，虚拟现实技术热潮席卷全球，它可以被广泛应用于娱乐、教育、通讯、科研、军事、医疗等多个行业，不仅带来了大规模的技术革命，而且改变了人们的思维习惯和生活方式。全球各大公司纷纷进军虚拟现实领域，大批创业团队也涌入了虚拟现实行业，出现了各式各样的虚拟现实设备。但是，优质的虚拟现实内容依然十分缺乏，这使得虚拟现实技术空有一身本领却无用武之地。
全景视频是虚拟现实的主要内容之一。目前，用于拍摄全景视频的多个摄像机大都没有共光心，所以拍摄的各个视频之间存在着视差，导致拼接而成的全景视频并非完全无缝的。小的视差会导致图像模糊，大的视差则会出现对不齐和重影的问题。特别地，当有运动物体穿过全景视频的拼接缝时，这些问题会变得更加严重，给用户带来非常糟糕的体验。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
技术实现要素：
为解决上述技术问题，本发明提出一种可共光心的摄像机装置、全景无缝拼接组件及方法，可以使得多个摄像机的光心重叠在一起，从而拍摄无视差的视频，进而进行无缝的全景拼接。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种可共光心的摄像机装置，包括摄像机、第一平面镜和第二平面镜，所述第一平面镜和第二平面镜的镜面相互平行，均垂直于所述摄像机的主光轴；其中：所述第一平面镜位于所述摄像机的前方的预设距离处，镜面朝向所述摄像机；所述第二平面镜位于所述摄像机的镜头位置处，镜面朝向所述第一平面镜，在所述第二平面镜上设有孔洞，用于供所述摄像机拍摄图像。
优选地，所述第一平面镜的镜面大小刚好完全覆盖所述摄像机的成像的视野。
优选地，所述第二平面镜的镜面大小完全覆盖所述摄像机通过所述第一平面镜反射所拍摄的视野。
优选地，所述孔洞设置在所述第二平面镜的中心处，所述孔洞的尺寸大于或等于所述摄像机的主透镜的尺寸。
优选地，所述第二平面镜的背面紧贴所述摄像机的镜头位置处，所述孔洞的尺寸为刚好不遮挡所述摄像机的拍摄视野。
本发明还公开了一种全景无缝拼接组件，包括多个上述的摄像机装置，多个所述摄像机装置背对设置围成一个圈，各个所述摄像机装置中的所述摄像机的光心到所述圈的中心的距离分别等于相应的所述摄像机的光心到所述第一平面镜的距离与所述第一平面镜到所述第二平面镜的距离之和。
优选地，包括5～10个所述摄像机装置。
优选地，各个所述摄像机装置中的所述摄像机的光心位于同一个圆上，且各个所述摄像机分别等间距排列。
本发明另外还公开了一种全景无缝拼接方法，包括以下步骤：
s1：采用上述的全景无缝拼接组件拍摄视频，对所述全景无缝拼接组件中的各个所述摄像机装置拍摄的视频的第一帧分别进行特征提取与特征匹配；
s2：对各个视频的第一帧进行单应性对齐，分别计算出各个所述摄像机装置的参数；
s3：根据各个所述摄像机装置的参数，分别将各个摄像机装置拍摄的图像投影至以所述圈的中心为球心的球面上；
s4：对投影后的图像进行融合，将多个图像融合为单个全景图像；
重复步骤s3和步骤s4，依次投影和融合每一帧图像，得到无缝的全景图像帧，生成无缝的全景视频。
优选地，步骤s1中具体包括：采用sift、surf或orb特征提取算法，提取出各个所述摄像机装置拍摄的视频的第一帧图像的特征点，并对各个视频的第一帧图像的特征点进行匹配；优选地，步骤s4中对投影后的图像进行融合采用多频段融合方法。
与现有技术相比，本发明的有益效果在于：本发明公开的可共光心的摄像机装置通过在摄像机的前方和镜头位置处分别设置相互平行的第一平面镜和第二平面镜，使得摄像机的光心通过两次反射移动至摄像机的物理尺寸以外，从而使得多个摄像机的光心重合成为可能，进而可以在此基础上形成本发明的基于多个摄像机共光心的全景无缝拼接组件，让该全景无缝拼接组件中的各个摄像机拍摄的视频之间不会存在视差，并且拥有共同的重叠区域，可以进行无缝拼接，并且实现拼接后重叠区域处没有模糊或重影问题，拼接缝处也没有对不齐的问题，大大改善全景视频的拼接效果；更进一步实现拍摄无视差的视频，进而进行无缝的全景拼接。与此同时，通过基于摄像机装置的全景无缝拼接组件拍摄的多个图像之间没有视差，无需进行接缝寻找等步骤，可以提高拼接速度，进而提高全景视频的帧率，从而可以提升虚拟现实的体验。
附图说明
图1是本发明优选实施例的可共光心的摄像机装置的结构示意图；
图2是图1中摄像机的图像传感器的非中心区域的成像光路示意图；
图3是图1中摄像机的图像传感器的非中心区域的成像光路的等效图；
图4是图1中摄像机的图像传感器的中心区域的成像光路示意图；
图5是本发明优选实施例的全景无缝拼接组件的结构示意图；
图6是本发明优选实施例的全景无缝拼接方法的流程图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示，是本发明优选实施例的可共光心的摄像机装置的结构示意图，该摄像机装置包括摄像机a1、第一平面镜a2、第二平面镜a3，第一平面镜a2和第二平面镜a3相互平行，均垂直于摄像机a1的主光轴，其中：第一平面镜a2位于摄像机a1的前方的预设距离处，其镜面朝向摄像机a1；第二平面镜a3位于摄像机a1的镜头位置处，其镜面朝向第一平面镜a2，在第二平面镜a3上开设有孔洞，用于供摄像机a1拍摄图像。
进一步地，第一平面镜a2的镜面大小刚好完全覆盖摄像机a1的成像的视野范围，也就是说，进入摄像机a1内部进行成像的光线只能来自于第一平面镜a2反射的光线。第二平面镜a3的镜面大小完全覆盖摄像机a1通过第一平面镜a2反射所拍摄的视野，也就是说，进入摄像机a1内部进行成像的光线只能是经过第二平面镜a3和第一平面镜a2两次反射的光线；其中第二平面镜a3上的孔洞开设在其中心处，该孔洞的尺寸越小越小，以不遮挡摄像机a1的拍摄视野为前提，其中第二平面镜a3的背面可以紧贴在摄像机a1的镜头位置处，孔洞的尺寸可以等于或稍大于摄像机a1的主透镜的尺寸。
摄像机a1的光心位于主透镜的中心，在不采用特殊装置的情况下是无法使得多个摄像机的光心重叠在一起的，而且，由于摄像机的感光元件具有一定的大小，只能对一定视野范围进行成像。而本发明优选实施例中的可共光心的摄像机装置中的摄像机a1经过两个平面镜的反射，相当于移动至正后方进行拍摄，让摄像机a1的光心往后移，从而可以使得多个摄像机能够同时位于空间中同一点对多个不同方向进行拍摄，使多路视频的无缝拼接成为可能。
如图2所示，光线经过两次镜面反射，在摄像机a1的图像传感器a5的非中心区域上进行成像，其中，经过第一平面镜a2的边缘反射的光线刚好落于图像传感器a5的边缘，即第一平面镜a2刚好完全覆盖了摄像机a1的拍摄视野。凸透镜a4代表摄像机a1的主透镜，摄像机a1的光心位于凸透镜a4的中心，第二平面镜a3的所有入射光线的延长线刚好相交于一点，这正好是摄像机a1的光心移动至正后方的位置，即为虚拟光心。
如图3所示，移开第一平面镜a2和第二平面镜a3，将凸透镜a4移动至后方的虚拟光心的位置处，同时保持图像传感器a5与凸透镜a4的相对位置不变。和图2对比可以看出，图像传感器a5的非中心区域接收的光线与图2中的完全一致，所成的像也完全一致；也就是说，第一平面镜a2和第二平面镜a3的作用正是将摄像机a1移动到正后方的虚拟光心的位置处进行拍摄。
如图4所示，图像传感器a5的中心区域接收的光线，则经过多于两次的镜面反射，越靠近图像传感器a5中心的光线，反射的次数越多，可能会出现德罗斯特效应；而由于中心区域不是相邻摄像机的重叠区域，因此不会对拼接产生影响。
结合图1至图4，摄像机a1的光心通过两次镜面反射移动至正后方的虚拟光心处，从成像原理可以得出，摄像机a1的光心到虚拟光心的距离等于摄像机a1的光心到第一平面镜a2的距离与第一平面镜a2到第二平面镜a3的距离之和。
如图5所示，本发明的全景无缝拼接组件包括多个上述的摄像机装置，多个摄像机装置背对着围成一个圈，各个摄像机装置的虚拟光心均位于该圈的中心处，即各个摄像机装置中的摄像机的光心到该圈的中心的距离分别等于相应的摄像机的光心到第一平面镜的距离与第一平面镜到第二平面镜的距离之和，从而使得各个摄像机装置共光心设置。
进一步，各个摄像机装置中的摄像机的光心位于同一个圆上，通过调整每组平面镜之间的距离，使各个摄像机装置的光心后移的距离等于该圆的半径大小，即可使得所有摄像机装置的虚拟光心位于该圆的圆心(即前述的圈的中心)上，此时，相当于所述摄像机移动至该圆心处对多个不同方向进行拍摄，从而获得多路无视差的视频。在一些实施例中，该全景无缝拼接组件可以包括5～10个摄像机装置，各个摄像机装置分别等间距排列。
在图5所示的硬件装置保证输入视频质量的基础上，本发明优选实施例公开了一种全景无缝拼接方法，如图6所示，包括以下步骤：
s1：采用如图5所示的全景无缝拼接组件拍摄视频，对全景无缝拼接组件中的各个摄像机装置拍摄的视频的第一帧(首帧)进行特征提取与特征匹配，具体地，可以采用sift(尺寸不变特征变换)、surf(加速稳健特征)或orb特征提取算法，提取出各个所述摄像机装置拍摄的视频的第一帧图像的特征点，并对各个视频的第一帧图像的特征点进行匹配；
s2：对各个视频的第一帧(首帧)进行单应性对齐，具体地，使用一个全局的单应性变换矩阵，将匹配上的特征点进行对齐，从而计算出各个摄像机装置的内参数和外参数；
s3：根据各个摄像机装置的内参数和外参数，分别将各个摄像机装置拍摄的图像投影至以虚拟光心为球心的球面上，由于各个摄像机装置已经共光心了，所以各摄像机装置拍摄的图像将会投影至同一球面上，并且是无视差的；
s4：对投影后的图像进行融合，将多个图像融合为单个全景图像，具体地，可以采用多频段融合方法，由于各图像之间是无视差的，所以融合而成的全景图也是无缝的；
重复步骤s3和步骤s4，依次投影和融合每一帧图像，得到无缝的全景图像帧，进而生成无缝的全景视频。
采用图5所示的全景无缝拼接组件拍摄的图像视频经过上述步骤后合成的全景图像或视频是完全无缝的，其中由于多个图像之间没有视差，无需进行接缝寻找等步骤，从而可以提高拼接速度，进而提高全景视频的帧率，这对虚拟现实的体验至关重要。
本发明的可共光心的摄像机装置通过在摄像机的前方和镜头位置处增加一组平面镜，使得摄像机的光心后移至摄像机的物理尺寸以外，从而使得多个摄像机的光心重合成为可能，进而设计了一种共光心的全景无缝拼接组件。由于共光心的全景无缝拼接组件获取的视频具有无视差的优点，所以不仅可以改善全景视频的拼接效果，获得无缝的全景视频，而且可以简化视频拼接的算法，提高视频拼接的速度和全景视频的帧率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。