一种鱼眼全景图像合成处理方法及装置与流程

本发明实施例涉及计算机技术领域，具体涉及一种鱼眼全景图像合成处理方法及装置。

背景技术：

鱼眼图像合成技术是近年发展起来的一种基于图像的全景图合成处理技术，这种技术的特点是它的处理和场景的复杂度无关，并且能够达到照片级的真实感。使用这种技术，用户首先通过鱼眼相机拍摄到某一场景的一组待合成鱼眼图像，然后对待合成鱼眼图像进行合成处理得到最终的全景图像。

目前全景图像的处理方法较多，比如柱形全景的处理，用户在同一位置不同角度拍摄多张水平方向有大量重叠的图像，通过合成软件合成全景图像，其拍摄过程复杂，合成难度高，效果差。也有的全景图像处理是基于两张可视范围为183度的鱼眼图像，合成时通过人为的反复设定合成界线和各种图像合成参数，其自动化程度不高，合成效率低下，且由于人为因素的过多参与，生成全景图像质量没有保证。其它的合成处理工具通过在不同的图像上景物重叠部分选取控制点，但一般都极难使用。

在实现本发明实施例的过程中，发明人发现现有的鱼眼全景图像合成处理方法存在着原始图像拍摄复杂、图像合成过程自动化程度低、耗时长等缺点。

技术实现要素：

由于现有的鱼眼全景图像合成处理方法存在着原始图像拍摄复杂、图像合成过程自动化程度低、耗时长等缺点的问题，本发明实施例提出一种鱼眼全景图像合成处理方法及装置。

第一方面，本发明实施例提出一种鱼眼全景图像合成处理方法，包括：

获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到拍摄所述若干张第一测试鱼眼图像的鱼眼相机的内部参数；

获取环形标靶的若干张第二测试鱼眼图像，提取标靶角点，包括棋盘格角点和圆斑点，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；

获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与等距投影全景图展开像素坐标的对应关系；

根据所述对应关系，处理所述若干张待合成鱼眼图像，得到鱼眼展开图像。

优选地，所述根据所述对应关系，处理所述若干张待合成鱼眼图像，得到合成后全景图像，进一步包括：

根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。

优选地，所述根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像，进一步包括：

获取目标图像区域大小，并根据所述对应关系和所述目标图像区域大小，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。

优选地，所述获取目标图像区域大小进一步包括：

根据预设的初始图像区域面积，计算得到所述初始图像区域面积对应的初始图像占用空间；

若判断获知所述初始图像占用空间小于所述FPGA的片上随机存取存储器的空间，则所述目标图像区域大小为所述初始图像区域面积，否则按照预设规则降低所述初始图像区域面积。

优选地，所述内部参数包括主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离关系。

第二方面，本发明实施例还提出一种鱼眼全景图像合成处理装置，包括：

内部参数获取模块，用于获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到鱼眼相机的内部参数；

外部参数获取模块，用于获取环形标靶的若干张第二测试鱼眼图像，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；

对应关系获取模块，用于获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；

鱼眼图像合成模块，用于根据所述对应关系，处理所述若干张待合成鱼眼图像，得到合成后全景图像。

优选地，所述鱼眼图像合成模块进一步用于根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。

优选地，所述鱼眼图像合成模块进一步用于获取目标图像区域大小，并根据所述对应关系和所述目标图像区域大小，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。

优选地，所述鱼眼图像合成模块中获取目标图像区域大小进一步包括：

根据预设的初始图像区域面积，计算得到所述初始图像区域面积对应的初始图像占用空间；

若判断获知所述初始图像占用空间小于所述FPGA的片上随机存取存储器的空间，则所述目标图像区域大小为所述初始图像区域面积，否则按照预设规则降低所述初始图像区域面积。

优选地，所述内部参数包括主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离关系。

由上述技术方案可知，本发明实施例通过获取鱼眼相机的内部参数和外部参数，能够得到待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系，便于根据对应关系处理得到合成后全景图像，原始图像拍摄简单、图像合成过程自动化程度高且图像合成速度较快。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种鱼眼全景图像合成处理方法的流程示意图；

图2为本发明一实施例提供的基本硬件架构的示意图；

图3为本发明一实施例提供的内参标定拍摄点集标靶示例图；

图4为本发明一实施例提供的外参标定环形标靶示例图；

图5为本发明一实施例提供的采用最近点迭代法进行点集配的结果；

图6为本发明一实施例提供的鱼眼相机拍摄的原图与展开图示意；

图7为本发明一实施例提供的映射表的生成流程示意图；

图8为本发明一实施例提供的的全景图像示意图；

图9为本发明一实施例提供的一种鱼眼全景图像合成处理装置的结构示意图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种鱼眼全景图像合成处理方法的流程示意图，包括：

S101、获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到拍摄所述若干张第一测试鱼眼图像的鱼眼相机的内部参数；

其中，在获取环形标靶的若干张第二测试鱼眼图像进行外参标定之前，首先标定鱼眼相机的内参，可以为自制的棋盘格标靶。外参标靶类型包括两类，一类为正方形的棋盘格，另一类为随机分布的圆斑。

具体地，本实施例的鱼眼相机和计算机系统对应的硬件体系结构如图2所示，其中，主要的处理模块包括：

I2C模块，实现对图像传感器工作时的帧频，输出数据模式，图像窗口等进行设置。

Fish2Sphere模块，利用标定的鱼眼相机内部参数和相机外部参数，对采集到的圆形扭曲图像展开为等距投影模式的全景图像。此模块的实现包含三个主要的过程，分别为基于棋盘格的鱼眼相机内参标定，采用最近点迭代(ICP)方法进行点集配准获取相机的外参，和基于以上两步骤的结果进行FPGA工作参数提取。

ISP功能模块，线性/非线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，并对图像数据进行视频编码以便于进行存储和传输。结合ISP处理和增强，能在不同的光学条件下较好地还原现场细节，ISP功能在很大程度提升了本智能摄影设备的成像质量。

具体地，采用基于棋盘格的鱼眼相机进行内部参数标定的过程中，对单个鱼眼相机采集图像不少于20幅，内参标定示例如图3所示，并采用张正友标定算法对相机内部参数进行求解。

本实施例包括三个鱼眼相机和用于查询、回放拍摄场景的计算机系统。通过三个鱼眼相机实现360度无死角拍摄，采用网络传输接口对摄影数据进行传输，可便捷地接入互联网，实现远端数据获取。同时鱼眼相机自带存储功能，可实现野外拍摄时进行数据存储。在进行全景图像合成时，主要分为两个主要的环节：首先是基于现场可编程门阵列(FPGA)的图像采集与全景图初步合成，然后采用专用视频处理芯片(ISP)实现图像处理功能，并进行本地存储或通过网络接口传输。

S102、获取环形标靶的若干张第二测试鱼眼图像，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；

其中，计算鱼眼相机的外部参数的方法为可以通过最近点迭代(ICP)方法进行点集配准获取鱼眼相机的外部参数。点集标靶具体排布方式为三组棋盘格和两组散列圆斑相间排布。

具体地，采用最近点迭代方法进行点集配准获取相机的外参，通过对计算机设计的点集空间位置和实际拍摄的制作点集标靶图像，进行配准，获得该子相机的外部参数。如图4所示，分别为相机1、相机2和相机3拍摄的鱼眼图像。计算机设计的点集空间位置点集X＝{x_i,i＝0,1,2,...,k}，相机1实际拍摄制作的标靶散列圆斑得到一组点集U＝{u_i,i＝0,1,2,...,n}。其中U和X不要求具有相同数量的元素。对集合U中的一个点u_i，集合X中与u_i的距离最短的点被称为最近点。采用ICP方法进行点集配准就是通过两个坐标系之间的旋转和平移，使得成对同源散列圆斑的距离最小。对空间点对u_i＝(u_i1,u_i2,u_i3)和x_i＝(x_i1,x_i2,x_i3)，为了使它们配准起来，就是找到最优的旋转矩阵R和平移向量T，满足目标表达式散列圆斑的匹配结果如图5所示。

其中，R是3×3的旋转矩阵；T是3×1的平移矩阵。对一组选定点集对进行迭代搜索的最大次数限定为50次，并在搜索过程中采用K-D树结构，提高搜索速度。

此时得到的旋转矩阵R和平移向量T作为相机1的外部参数。同样的方法对相机2和相机3进行匹配，可得到另外两组旋转矩阵和平移向量。

基于以上三个相机内参和外参的标定结果，对鱼眼图像进行展开。可以采用的鱼眼展开投影模型为非标准的Thoby鱼眼投影方式，投影模型为，R＝k₁*f*sin(k₂*θ)。

其中，R为投影点与主点的距离，f为镜头焦距，参数k₁、k₂依据内参标定时得到的随入射光线入射角度的增加，对应像点与主点的距离关系，进行调整。

S103、获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；

S104、根据所述对应关系，处理所述若干张待合成鱼眼图像，得到展开后全景图像。

本实施例通过获取鱼眼相机的内部参数和外部参数，能够得到待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系，便于根据对应关系处理得到合成后全景图像，原始图像拍摄简单、图像合成过程自动化程度高且图像合成速度较快。

进一步地，在上述方法实施例的基础上，S104进一步包括：

根据所述对应关系，在FPGA上处理所述若干张鱼眼展开图像，得到合成后全景图像。

具体地，采用一片FPGA采集三个鱼眼相机的图像，并对圆形扭曲图像展开为等距投影全景图像。展开的主要过程为，依据对鱼眼相机内部参数和外部参数标定的结果，求得展开前后图像像素坐标的对应关系。即完成与校正图像中每个像素对应的畸变图像中的相应像素坐标的计算,从而将相应的像素值重采样至校正后图像中。鱼眼图像的展开示例如图6所示，图6(A)为展开前图像，图6(B)为展开后图像。

通过在FPGA上处理待合成鱼眼图像，能够便于处理，且提高处理速度。

进一步地，在上述方法实施例的基础上，S104中所述获取目标图像区域大小进一步包括：

S1041、根据预设的初始图像区域面积，计算得到所述初始图像区域面积对应的初始图像占用空间；

S1042、若判断获知所述初始图像占用空间小于所述FPGA的片上随机存取存储器的空间，则所述目标图像区域大小为所述初始图像区域面积，否则按照预设规则降低所述初始图像区域面积。

具体地，在PC机上确定原图与展开图像素坐标与像素值的对应关系后，可进行鱼眼图象的展开。该过程在FPGA上进行实时矫正时，需要改变算法的实现方式。通常在计算机或者DSP上实现时，可以直接使用数组结构，但是在FPGA中定义数组是非常消耗资源的，尤其是当数组成员的位宽很大时。但是FPGA器件提供了一类很好的组件可以处理这类问题，就是Block RAM。

进一步地，在上述方法实施例的基础上，S104进一步包括：

获取目标图像区域大小，并根据所述对应关系和所述目标图像区域大小，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。

具体地，在FPGA上进行鱼眼图像矫正的基本思路是采用映射表进行原始图像与矫正图像间的映射，生成FPGA映射表的流程如图7所示，具体步骤包括：

A1、矫正图像初始区块大小设置为64*64，根据计算得到的映射关系对应一个原始图像区域；

A2、如果原始图像区域大于FPGA内部RAM,则减小矫正输出图像大小；

A3、矫正输出图像大小64*64->64*32->32*64->32*32….的顺序缩小，直到对应原始图像可缓存于FPGA内部RAM。保证临时缓存数据不超过FPGA内部的RAM存储空间。全部映射表项不超过1024个。

最终的合成处理后的全景图像如图8所示。

通过获取目标图像区域大小，能够在FPGA内部RAM允许范围内，达到最大的处理速度。

更进一步地，在上述方法实施例的基础上，所述内部参数包括主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离关系。

通过获取主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离关系这些鱼眼相机的内部参数，能够便于后续的鱼眼全景图像合成处理。

图9示出了本实施例提供的一种鱼眼全景图像合成处理装置的结构示意图，所述装置包括：内部参数获取模块901、外部参数获取模块902、对应关系获取模块903和鱼眼图像展开模块904，其中：

所述内部参数获取模块901用于获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到鱼眼相机的内部参数；

所述外部参数获取模块902用于获取环形标靶的若干张第二测试鱼眼图像，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；

所述对应关系获取模块903用于获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；

所述鱼眼图像合成模块904用于根据所述对应关系，处理所述若干张待合成鱼眼图像，得到等距投影全景图像。

具体地，所述内部参数获取模块901获取棋盘格标靶的若干张第一测试鱼眼图像，并根据张正友标定算法对所述若干张第一测试鱼眼图像进行处理，得到鱼眼相机的内部参数；所述外部参数获取模块902获取环形标靶的若干张第二测试鱼眼图像，根据最近点迭代算法对所述若干张第二测试鱼眼图像进行处理，得到所述鱼眼相机的外部参数；所述对应关系获取模块903获取若干张待合成鱼眼图像，根据所述内部参数和所述外部参数得到所述若干张待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系；所述鱼眼图像合成模块904根据所述对应关系，处理所述若干张待合成鱼眼图像，得到等距投影全景图像。

本实施例通过获取鱼眼相机的内部参数和外部参数，能够得到待合成鱼眼图像的像素坐标与鱼眼图非标准Thoby展开图像素坐标的对应关系，便于根据对应关系处理得到合成后全景图像，原始图像拍摄简单、图像合成过程自动化程度高且图像合成速度较快。

进一步地，在上述装置实施例的基础上，所述鱼眼图像合成模块904进一步用于根据所述对应关系，在FPGA上处理所述若干张待合成鱼眼图像，得到等距投影全景图像。

进一步地，在上述装置实施例的基础上，所述鱼眼图像合成模块904进一步用于获取目标图像区域大小，并根据所述对应关系和所述目标图像区域大小，在FPGA上处理所述若干张待合成鱼眼图像，得到合成后全景图像。

进一步地，在上述装置实施例的基础上，所述鱼眼图像合成模块904中获取目标图像区域大小进一步包括：

根据预设的初始图像区域面积，计算得到所述初始图像区域面积对应的初始图像占用空间；

若判断获知所述初始图像占用空间小于所述FPGA的片上随机存取存储器的空间，则所述目标图像区域大小为所述初始图像区域面积，否则按照预设规则降低所述初始图像区域面积。

进一步地，在上述装置实施例的基础上，所述内部参数包括主点坐标、畸变系数、入射光线随入射角度的增加以及对应像点与主点的距离关系。

本实施例所述的鱼眼全景图像合成处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。