一种高清多相机全景立体成像系统的制作方法

本实用新型涉及图像通信技术领域，具体是一种高清多相机全景立体成像系统及方法。

背景技术：

随着相机技术的不断发展，传统的视频监控只能采用单相机对特定的方向进行监视，这样很容易存在监控死角，带来较大的安全隐患。采用全景相机，对周围环境进行全向无死角监视，大大的提高了监控范围，减小安全隐患，是下一代安防监控的趋势。

现有的全向视觉产品主要包括以下几类：鱼眼式、折反式、旋转拼接式和多相机拼接式。其中，鱼眼式和折反式全向视觉系统拍摄的图像存在极大的几何畸变，一方面导致图像理解困难，另一方面导致图像分辨率不一致，中间分辨率高、边缘处分辨率大幅降低；旋转拼接式拍摄的全向图像质量最高，但是由于其机械结构复杂，获取一景图像所需拍摄和几何校正时间较长，难以适应移动机器人实时的要求。多相机拼接方式获取全景图像，虽然能避免畸变，大大提高全景图像分辨率，但会存在多幅图像拼缝问题，并且由于多相机拍摄图像带来的数据量大，给视频的压缩和传输带来巨大负担，并且相机成本较高。

现有的全景相机基本上都只是获取图像，进行简单视频监控，不能对周围环境进行三维建模及三维量测，对环境建图，实现对机器人的定位与导航。

技术实现要素：

本实用新型为了克服现有技术中存在的上述缺陷，提供了一种高清多相机全景立体成像系统及方法，采用6相机环形排列构架，采用高清模拟相机，配备6路图像采集卡，采集以环形框架为中心的360°环境图像，并对图像进行压缩传输，实现远端实时对周围环境无死角监控。另一方面主要是利用相机之间拍摄图像的重叠区域以及联合每两帧图像之间的重叠区域基于SFM的三维重建，以实现全景相机的周围环境的三维重建功能。

为解决上述问题，本实用新型提出的高清多相机全景立体成像系统，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，所述模拟相机模组呈环形排列构架在所述相机固定架上，所述图像采集卡分别与所述模拟相机模组电性相连，所述镜头分别固定在所述模拟相机模组上，所述电源与模拟相机模组均电性相连，所述主机上安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟相机模组的采集图像，所述主机与服务器相连，所述服务器与客户端相连。

上述技术方案中，所述模拟相机模组采用索尼super hard 1/3英寸CCD，额定电压为12V，额定电流为50mA，有效像素为720(H)*576(V)。

上述技术方案中，所述电源的输出电压为12V，输出电流为1A。

上述技术方案中，所述主机的CPU为酷睿双核或以上，内存等于或大于2G，硬盘等于或大于256G，主机的系统为Windows 10、windows7以及windows xp中的任意一种。

上述技术方案中，所述相机固定架包括六个环形分布的固定板，相邻固定板之间呈120°固定相连，所述固定板的中心均设置有一相机安装孔。

上述技术方案中，所述相机固定架采用3D打印机打印。

上述技术方案中，所述主机采用快速的jpeg压缩编码库JPEG-turbo编码，对获取的图像帧进行压缩编码，所述服务器采用boost asio TCP进行图像传输，将压缩后的图像传输到客户端，所述客户端采用对应的boost asio TCP接收压缩图像，并采用JPEG-turbo解码显示，boost asio TC是指boost库中的TCP网络通信接口。

本实用新型提出的基于高清多相机全景立体成像系统的高清多相机全景立体成像方法，包括以下步骤：

步骤一、通过全景相机获取以环形框架为中心的360°环境图像，并对图像进行压缩传输；

步骤二、采用SFM算法对多相机从不同角度拍摄的图像重叠区域进行单帧全景图像三维重建；

步骤三、对相邻两帧全景图像进行特征点匹配，获得同名点，采用SFM算法进行多帧全景图像的三维重建，获得多帧全景图像的三维点云；

步骤四、根据单帧全景图像中各个相机匹配获得的同名点与多帧全景图像匹配获得的同名点进行比较，进而获得单帧全景图像的同名点对应的到多帧全景图像的同名点，找出同名点对应的三维坐标，解出单帧三维点云与多帧三维点云坐标系之间的转换关系，实现单帧三维点云与多帧三维点云的点云融合；

步骤五、将全局的表面二维图像分割成一个个较小的连续而不重叠的三角片面，贴到三维模型表面，实现全景图像的三维模型表面渲染。

所述步骤二具体包括以下子步骤：

子步骤S21、首先采用SIFT算法对六个相机拍摄的六幅图像提取出SIFT特征点，并对SIFT特征点采用SIFT特征描述，用于下一步的特征匹配；

子步骤S22、找出第一幅图像中的特征点与第二幅图像中对应特征向量欧式距离最近的两个特征点，计算最近距离与次近距离的比值，将所述比值与设定的比例阈值进行对比，如果这个比值小于比例阈值，则这一对点为一对匹配点，否则不视为匹配点；

子步骤S23、利用同名像对的像素坐标，根据公式x'^T Fx＝0求解出基础矩阵F，再根据正规化系数矩阵还原基础矩阵F；

子步骤S24、根据公式E＝K'^T FK以及事先标定出的相机的内部参数矩阵K和K’计算出本质矩阵E；

子步骤S25、根据公式E＝T_×R，利用本质矩阵分解得到旋转参数R和平移参数T，根据P＝K[I|0]，P'＝K[R|T]得到相机的投影矩阵；

子步骤S26、获得准确的投影矩阵后，联立方程x＝PX和x'＝P'X求解出X；其中x＝λ[u_i,v_i,1]^T，x'＝λ[u_i',v_i',1]^T，λ为比例系数。

所述子步骤S22中SIFT算法特征点匹配时使用KD树加快匹配计算速度，并且采用RANSAC算法进行优化，去除粗匹配，精确匹配结果。

本实用新型与现有技术方案相比具有以下有益效果和优点：

本实用新型不仅能够获取实时的高清全景图像，实现基本的全景监控功能，并且利用对相机之间的重叠区域进行基于单帧全景图像基于SFM算法的三维重建，进而联合相邻两帧或多帧图像的重叠区域基于SFM算法的三维重建，实现对周围环境全景立体感知，全景相机拍摄的图像具有更高的分辨率，多帧之间重叠度极高，能获取稠密点云，表面纹理渲染效果更加精细。

附图说明

图1是本实用新型中相机固定架的结构示意图。

图2是本实用新型中由本质矩阵分解得到的四种可能相机投影位姿示意图。

图中编号说明：1、固定板；2、安装孔。

具体实施方式

以下结合附图和具体实施例对本实用新型作进一步的详细描述：

本实施例中，本实用新型提出的高清多相机全景立体成像系统，包括：六个模拟相机模组、相机固定架、六路图像采集卡、六个镜头、电源、主机、服务器、客户端，模拟相机模组呈环形排列构架在相机固定架上，图像采集卡分别与模拟相机模组电性相连，镜头分别固定在模拟相机模组上，电源与模拟相机模组均电性相连，主机上安装有图像采集卡驱动，采用图像采集卡配套的SDK开发接口，编程同步获取六个模拟相机模组的采集图像，主机与服务器相连，服务器与客户端相连。

模拟相机模组采用索尼super hard 1/3英寸CCD，额定电压为12V，额定电流为50mA，有效像素为720(H)*576(V)。

电源的输出电压为12V，输出电流为1A。

主机的CPU为酷睿双核或以上，内存等于或大于2G，硬盘等于或大于256G，主机的系统为Windows 10、windows7以及windows xp中的任意一种。

相机固定架包括六个环形分布的固定板1，相邻固定板1之间呈120°固定相连，固定板1的中心均设置有一相机安装孔2。

相机固定架采用3D打印机打印。

主机采用快速的jpeg压缩编码库JPEG-turbo编码，对获取的图像帧进行压缩编码，服务器采用boost asio TCP进行图像传输，将压缩后的图像传输到客户端，客户端采用对应的boost asio TCP接收压缩图像，并采用JPEG-turbo解码显示。

本实用新型提出的基于高清多相机全景立体成像系统的高清多相机全景立体成像方法，包括以下步骤：

步骤一、通过全景相机获取以环形框架为中心的360°环境图像，并对图像进行压缩传输；

步骤二、采用SFM算法对多相机从不同角度拍摄的图像重叠区域进行单帧全景图像三维重建；

步骤三、对相邻两帧全景图像进行特征点匹配，获得同名点，采用SFM算法进行多帧全景图像的三维重建，获得多帧全景图像的三维点云；

步骤四、根据单帧全景图像中各个相机匹配获得的同名点与多帧全景图像匹配获得的同名点进行比较，进而获得单帧全景图像的同名点对应的到多帧全景图像的同名点，找出同名点对应的三维坐标，解出单帧三维点云与多帧三维点云坐标系之间的转换关系，实现单帧三维点云与多帧三维点云的点云融合；

步骤五、将全局的表面二维图像分割成一个个较小的连续而不重叠的三角片面，贴到三维模型表面，实现全景图像的三维模型表面渲染。

步骤二具体包括以下子步骤：

子步骤S21、因六个相机拍摄的图像之间具有较明显的角度变化，需要采用具有旋转不变形的特征，所以本实用新型采用的图像特征提取方法是SIFT算法，首先采用SIFT算法对六个相机拍摄的六幅图像提取出SIFT特征点，并对SIFT特征点采用SIFT特征描述，用于下一步的特征匹配；

子步骤S22、找出第一幅图像中的特征点与第二幅图像中对应特征向量欧式距离最近的两个特征点，计算最近距离与次近距离的比值，将所述比值与设定的比例阈值进行对比，如果这个比值小于比例阈值，则这一对点为一对匹配点，否则不视为匹配点，降低这个阈值，SIFT算法提取出的匹配点会越来越少，但匹配点会更加稳定。另外SIFT算法特征点匹配时使用KD树加快匹配计算速度，并且采用RANSAC算法进行优化，去除粗匹配，精确匹配结果；

子步骤S23、利用同名像对的像素坐标，根据公式x'^T Fx＝0求解出基础矩阵F，再根据正规化系数矩阵还原基础矩阵F，八点法计算基础矩阵具体描述如下：

给定匹配点x(u,v,1)和x'(u',v',1)，均已转换为其次坐标。令则依据公式x'^T Fx＝0，可得：u'uf₁+u'vf₂+u'f₃+v'uf₄+v'vf₅+v'f₆+uf₇+vf₈+f₉＝0，其中f₁、f₂、f₃、f₄、f₅、f₆、f₇、f₈、f₉均为未知数，令fx＝[f₁,f₂,f₃,f₄,f₅,f₆,f₇,f₈,f₉]^T为未知数矩阵，令A＝[u'u,u'v,u',v'u,v'v,v',u,v,1]为系数矩阵，即是解方程A*fx＝0。当匹配点数目大于或等于8时，即对系数矩阵A进行奇异值分解A＝USV^T，取出V矩阵的最后一列，即令fv＝V(:,9)，利用列向量fv中的九个元素构造一个3*3矩阵，令对矩阵Fv进行奇异值分解，即Fv＝U_vS_vV_v^T，令列正交矩阵Sv的最后一个元素为零，以保证计算出的基础矩阵行列式的值为零，即S_v(3,3)＝0。则可由获得的Uv、Sv、Vv计算出基础矩阵F，F＝U_vS_vV_v^T。

通常首先需对匹配点x和x’(至少包含8对匹配点)进行归一化处理：首先对点集去中心化，将点集中心平移至原点；对点集进行缩放处理，使其到远点的平均距离为分别对x和x’进行归一化处理，由此归一化得到的归一化矩阵TD和TD'，如公式

和

根据归一化后的x和x’计算基础矩阵F，最终需要将F去归一化得到最终的基础矩阵FT＝TD'*F*TD。

通过归一化八点法计算基础矩阵通常会引入RANSAC算法来求得较准确地基础矩阵。

子步骤S24、根据公式E＝K'^T FK以及事先标定出的相机的内部参数矩阵K和K’计算出本质矩阵E；

子步骤S25、根据公式E＝T_×R，利用本质矩阵分解得到旋转参数R和平移参数T，根据P＝K[I|0]，P'＝K[R|T]得到相机的投影矩阵，在采用E进行奇异值分解求解旋转和平移参数时，采用的是SVD分解,分解公式为E＝T_×R和E＝USV^T，其中

由于是进行的SVD分解所以无法判断平移矩阵的正负，并且旋转矩阵只是获得的一种相对的旋转量，旋转方向亦无法确定，所以旋转矩阵和平移矩阵均会产生两种不同的分解结果：T＝U(:,3)或T＝-U(:,3)，R＝UWV^T或R＝UW^TV^T，其中

在获得旋转和平移参数后，通常是以其中最开始拍摄时相机的像空间辅助坐标系为全局的世界坐标系，将后来拍摄时相机的像空间辅助坐标系转换到最先拍摄时的像空间辅助坐标系，其旋转和平移量即为估计出的相对于最先拍摄时相机的旋转和平移位姿变化参数。所以在获得位姿参数后，令P＝K[I|0]，P'＝K[R|T]，而有E分解得到的旋转和平移矩阵分别有两种可能取值，所以构造的投影矩阵就有四种可能，如图2所示，其中只有(a)中的结果才能保证计算出来的三维点在相机C和C’的前方，才是正确的结果，所以通常依此来判断计算出来的四种结果中那种结果是正确的。判断方法通常是将同名点代入依次计算四种结果对应的三维坐标的Z值(深度值)，然后判断在两次拍摄中是否均大于0；

子步骤S26、获得准确的投影矩阵后，联立方程x＝PX和x'＝P'X求解出X；其中x＝λ[u_i,v_i,1]^T，x'＝λ[u_i',v_i',1]^T，λ为比例系数，令P＝[p₁,p₂,p₃]^T，P'＝[p₁',p₂',p₃']^T，则有：和经化简可得：次方程中只有三个未知数，但有四个方程，即可用最小二乘法来求解X。令A为系数矩阵，即对A进行归一化处理，即利用每行除以该行的模，得到A_norm，将公式的求解问题转化为求解归一化系数矩阵A_norm^TA_norm的最小特征值和特征向量，对A_norm进行奇异值分解，A_norm＝USV^T，则：X＝V(:,4)，至此我们已经可以实现利用两个不同视角拍摄图像计算同名点的三维坐标，三维坐标是以第一次拍摄时相机的像空间辅助坐标系为基准的，要实现多幅序列图的三维重建，即SFM算法，需要经过迭代过程，迭代过程中不断引入新的图像，并且可引入RANSAC和相应的优化函数，排除错误匹配点，求得更精确的三维模型。其具体算法如下：计算第一幅图像与第二幅图像的同名点M_1,2，第二幅图像的投影矩阵P₂，同名点M_1,2对应的的三维坐标X_1,2；当i大于等于3时，计算第i幅图像与第i+1幅图像的同名点M_i,i+1，找出M_i-1,i与M_i,i+1中图像i共同的特征点S_i及S_i在X_i-1,i中对应的三维坐标XS_i，找出M_i,i+1中与S_i对应的第i+1幅图像的特征点MS_i+1，采用RANSAC计算XS_i投影成MS_i+1的投影矩阵P_i+1，即为第i+1幅图像的投影矩阵，由第i幅图像的投影矩阵P_i，即可计算出M_i,i+1中剩余的匹配点的三维坐标X_i,i+1，更新三维点云，以此循环，直至所有图像均已处理完毕。

由以上SFM算法可以由不同视角拍摄的图像序列，得到重叠区域匹配点的三维点云，迭代过程中加入RANSAC可有效剔除误匹配点的干扰，提高三维重建精度。

最后说明的是，以上实施例仅用以说明本实用新型的技术方案而非限制，尽管参照较佳实施例对本实用新型进行了详细说明，本领域的普通技术人员应当理解，可以对本实用新型的技术方案进行修改或者等同替换，而不脱离本实用新型技术方案的宗旨和范围，其均应涵盖在本实用新型的权利要求范围中。