一种全景摄像头的制作方法

本发明涉及摄像头技术领域，具体涉及一种全景摄像头。

背景技术：

网络直播正在进入全民时代，就连小米科技创始人雷军、万达董事长王健林等企业大咖也于近期曝光镜头前，亲自参与直播。一边是企业大咖争做网红，另一边则是资本推手频频涌入网络直播领域，掀起“烧钱大战”。行业报告显示，2015年直播行业市场规模约为150亿元，到2020年，总规模还将上升至1060亿元。

现有的网络直播均为一个普通摄像头，随着直播行业的飞速发展，迫切需要一个全新的播放视角，此外，今后的直播将更加真实化，其必将产生更多的室外直播，于是乎实时全景VR直播摄像头应运而生。

现有的全景摄像头非常笨拙，虽然可以提供高清图像，但是不仅重量大，且能耗高，便携性差，不适合直播行业发展。

技术实现要素：

本发明的目的主要是为了解决上述技术问题，而提供一种全景摄像头。

本发明包括壳体和全景摄像头组件，所述壳体的前后两面上分别设有用于安装摄像头的开口，所述全景摄像头组件包括一对摄像头座和一对摄像镜头，所述一对摄像头座分别螺接在壳体前后两面上用于安装摄像头的开口处，所述摄像镜头固定安装在摄像头座上。

还有设置于壳体外部的全景成像模块，所述全景成像模块包括一对CMOS图像传感器、PCB驱动电路板和主控芯片，所述一对CMOS图像传感器分别通过有线数据传输或无线数据传输的方式与一对摄像镜头通信连接，接受一对摄像镜头拍摄的图像信息，并分别通过驱动PCB驱动电路板与主控芯片通讯相连。

所述有线数据传输方式采用数据线，所述无线数据传输方式采用无线WIFI网络或无线4G网络传输。

所述一对摄像镜头分别是鱼眼摄像头。

所述一对摄像镜头的可视角度为210°-230°

所述壳体由一对半壳扣合组成。

所述壳体的前后两面上分别设有用于扩展摄像镜头可视角度的工艺凹槽。

还有支杆和底座，所述壳体通过支杆安装在底座上。

它的图像处理方法包括以下步骤：

S1.摄像镜头获得图像数据，并分别通过一对CMOS图像传感器传输给主控芯片；

S2.主控芯片分别对摄像镜头获得图像数据进行预处理，并扫描生成其特征点；

S3.从画面边缘开始，通过移动窗口对多个画面中的特征点进行匹配；

S4.对于匹配到的特征点，使用集束调整方法进行位置估计、坐标变化、融合；

S5.主控芯片拼接度路图像；

S6.主控芯片对步骤S5中拼接的图像进行裁剪、矫正和坐标系变化；

S7.记录S1-S6步操作及其参数，从而加速拼接；

S8.使用多线程、异步操作和向量指令进一步加速拼接。

本发明优点是：本发明提供一种全景摄像头，全景成像模块与全景摄像头组件采用分体式设计，在满足全景摄像需求的同时，体积小，发热少，造价低，满足直播市场对于全景摄像头的功能需求，具有很好的推广及应用价值。

附图说明

图1是本发明结构正面结构示意图。

图2是图1的俯视结构示意图。

图3是本发明结构示意图。

图4是本发明鱼眼镜头原始图像。

图5是本发明鱼眼镜头映射模型示意图。

图6是本发明视球面到二维平面的转换示意图。

图7是本发明鱼眼镜头矫正流程示意图。

图中：1、壳体；1-1、工艺凹槽。2、一对摄像头座；3、一对摄像镜头；4、一对CMOS图像传感器；5、主控芯片；6、支杆；7、底座；8、PCB驱动电路板。

具体实施方式

下面结合附图对本发明做进一步说明。

如图1、2、3、4、5、6、7所示，本发明包括壳体1和全景摄像头组件，所述壳体1的前后两面上分别设有用于安装摄像头的开口，所述全景摄像头组件包括一对摄像头座2和一对摄像镜头3，所述一对摄像头座2分别螺接在壳体1前后两面上用于安装摄像头的开口处，所述摄像镜头3固定安装在摄像头座2上。

还有设置于壳体1外部的全景成像模块，所述全景成像模块包括一对CMOS图像传感器4、PCB驱动电路板8和主控芯片5，所述一对CMOS图像传感器4分别通过有线数据传输或无线数据传输的方式与一对摄像镜头3通信连接，接受一对摄像镜头3拍摄的图像信息，并分别通过驱动PCB驱动电路板8与主控芯片5通讯相连。

所述有线数据传输方式采用数据线，所述无线数据传输方式采用无线WIFI网络或无线4G网络传输。

所述一对摄像镜头3分别是鱼眼摄像头。

所述一对摄像镜头3的可视角度为210°-230°

所述壳体1由一对半壳扣合组成。

所述壳体1的前后两面上分别设有用于扩展摄像镜头可视角度的工艺凹槽1-1。

还有支杆6和底座7，所述壳体1通过支杆6安装在底座7上。

它的图像处理方法包括以下步骤：

S1.摄像镜头3获得图像数据，并分别通过一对CMOS图像传感器4传输给主控芯片5；

S2.主控芯片5分别对摄像镜头3获得图像数据进行预处理，并扫描生成其特征点；

S3.从画面边缘开始，通过移动窗口对多个画面中的特征点进行匹配；

S4.对于匹配到的特征点，使用集束调整方法进行位置估计、坐标变化、融合；

S5.主控芯片5拼接度路图像；

S6.主控芯片5对步骤S5中拼接的图像进行裁剪、矫正和坐标系变化；

S7.记录S1-S6步操作及其参数，从而加速拼接；

S8.使用多线程、异步操作和向量指令进一步加速拼接。

工作方式及原理：一对摄像头座2分别分别位于壳体1中心线的两侧，并分别拍摄210°-230°范围内的半个区域，全景成像模块设置在壳体1外部，优选设置在电脑主机上，或者设置在其他微型主机上，通过分开布局，可以降低摄像头的重量及能耗。摄像头与主机之间通过数据线或者无线WIFI网络或者4G网络进行双向通讯，主机可以是家用、商用电脑主机，也可以是能够随身携带的微型主机(surface之类的)。通过此方式实现了散热、高效数据处理等问题。

PCB驱动电路板8驱动一对摄像头座2运行，对摄像头座2运行拍摄的图像数据通过一对CMOS图像传感器4传输给主控芯片5，主控芯片5完成拍摄图像的处理，并拼接成全景图像后通过数据线输出显示。

其具体的图像处理方法如下：

S1.矫正鱼眼摄像头拍摄图像数据；

鱼眼镜头的成像原理通常可以用球面透视成像模型来描述：鱼眼镜头的表面可以看成是一个球面，外界景物的光线投射到球面上，形成一幅外界景物球面映射图，景物光线通过光心之后，伴随光的折射，以不同于入射光线直射的方向投射于相机的感光部件，从而形成一幅鱼眼图像。

而鱼眼镜头为获得大的视场角(本发明优选为220度)，会使光线经历复杂的折射过程，从而使感光元件所成的像包含很大的径向畸变。所以我们首先要对经过畸变的鱼眼图像进行矫正，目的是消除其畸变从而获得一张未经畸变的正常图像。

由于我们已知鱼眼镜头的映射设计模型与折射关系，据次可以设计鱼眼镜头的矫正算法。鱼眼镜头成像的矫正主要可分为三个步骤：

A.提取鱼眼图像的成像区域；

由于鱼眼镜头的成像是圆形的，而感光元件(CCD传感器)所成的像必须为方形的，所以鱼眼镜头摄取的原始图像通常如图4所示，显然圆形图像周边的黑色区域没有我们所需要的图像信息，所以我们需要首先提取出传感器获得的每帧图像中的圆形区域。这里我们使用了变角度的线扫描法，从圆形图像的轮廓(灰度变化最快的地方)开始向圆心方向进行扫描，从而获取到圆心的坐标以及园的半径，接下来我们把提取出的圆形区域进行矫正。

B.利用鱼眼镜头的成像模型将畸变的图像还原到单位视球面上；

鱼眼镜头的投影模型(等立体角投影)为：

r＝2fsin(θ/2)

其映射模型如图5所示，通过鱼眼镜头的映射模型，我们可以把传感器所成的像反向投影到一个球面上去。具体算法为：鱼眼镜头的等距映射模型及图像圆域半径R已知，有ρ＝r＝fθ，由于鱼眼镜头的半视场角θ_m是已知的，于是我们可以确定出参数f＝R/θ_m，因此我们可以得到：

经由上式可得到圆形图像上任一点(u,v)所对应的单位视球上的球面坐标参数α和θ(极坐标)。

C.将单位视球面通过特定的映射关系，变换成为我们通常所见的二维图像。

这一步骤我们使用纵向压缩柱面投影对单位视球面上的图像进行再一次的矫正，其基本原理如图6所示，我们把单位视球面经度上的每一个像素条投影到二位平面中相应的竖条上去，这样就会得到一个以经纬方式(VR视频通常所用的存储方式)储存的二维图像。这一步骤类似于把一个地球仪变成一幅地图。

鱼眼镜头的矫正过程可由图7直观的表示；

S2.对多路(两路)矫正完的图像进行预处理，并扫描生成其特征点；

由于本发明需要两个鱼眼镜头同时获取视屏帧，所以我们用两个线程分别进行其中一个镜头的图像获取与矫正工作。当获取到两路经矫正的鱼眼图像后，我们首先对它们分别进行预处理以便提取特征点，这里的预处理具体为对图像进行灰度化操作。然后对生成的灰度图像进行扫描，从而提取它们的特征点。

S3.从画面边缘开始，通过移动窗口对多个画面中的特征点进行匹配

S4.对于匹配到的特征点，使用集束调整方法进行位置估计、坐标变化、融合

S5.主控芯片5拼接多路图像；

S6.主控芯片5对步骤S5中拼接的图像进行裁剪、矫正、坐标系变化；

这三个步骤都是拼接后图像的一个后续处理步骤。

因为拼接的过程其实是通过两幅图像上对应的特征点算出这两幅图像的仿射矩阵，然后把其中一幅图像固定，然后把另一幅图像经过仿射变换映射到固定的那幅图像的坐标系上，然后再根据重叠的特征点进行拼接。这样拼接成的全景图像在上下边缘部分会出现角度很小的弯曲，直观上来讲就是在全景图像的上下边缘会出现黑边。而裁剪就是为了裁掉多出的黑色区域，从而保证最终的全景图像是一个平直的长方形。

矫正和坐标系变换也是为了保证最终的全景图像是一个平直的长方形，以便显示。由于匹配的误差，拼接完的图像可能会上下边缘有一定弯曲的情况，这样就要根据弯曲的曲率与上下边缘的对应关系，给弯曲的特征点算出一个变化矩阵，根据这个变换矩阵，我们可以把弯曲的线条投影成平直的线条，从而保证最终的全景图像是一个平直的长方形。

S7.记录S1-S6步操作及其参数，从而加速拼接；

由第一点矫正原理的说明可知，鱼眼图像的矫正过程就是把原始圆形图像上的每一个像素点经过特定的映射关系投影到一副普通的二维图像上，也就是说原始图像上的一个像素点X一定对应矫正后的图像上的某个像素点X’，既然它们的映射关系不变，那么原始图像上X点的像素永远都会出现在矫正后的图像的X’点的位置上。既然原始图像上的每个像素点的位置与矫正完后图像上的每个像素点的位置都有一个确定的对应关系，那么我们就可以在初始化的时候把这个对应关系保存下来，以后捕获到每个图像帧后不用再经计算，只要查表就可以知道每个原始像素点应该出现在矫正后图像的什么位置上，这样就把大量的运算简化成了查表操作，从而极大的提升了运行速度。

本质上两幅图像的拼接过程可以看成是先把其中一幅图像的位置固定，再计算两幅图像的重叠区域，然后把第二幅图像覆盖重叠区域扩展到第一幅图像上，从而形成一幅完整的全景图像。只要两个摄像头的相对位置固定，那么它们所拍摄到的场景的重合区域也是固定的，那么两幅待拼接图像上每个像素点的位置与拼接后全景图像上的每个像素点的位置都有固定的映射关系，所以同上理，图像的拼接也可以用查表进行。由于拼接过程包含特征点提取、匹配等运算量很大的过程，那么用查表法可以极大的减少运算量，提高实时性。

由上面两段说明可知，原始图像经矫正获得正常的二维图像的过程，以及把这两幅二维图像拼接成一幅全景图像的过程都可以使用查表法来替代大量运算，那么我们只要在初始化时把这两个过程的像素映射关系整理到一个表上并保持，那么以后从获取原始鱼眼图像到最终的全景图像都只要查表就能完成。这大大的提高了运行速度与实时性。

S8.使用多线程、异步操作和向量指令进一步加速拼接。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。