全景鱼眼相机影像校正、合成与景深重建方法与系统与流程

本发明涉及光学图像处理技术领域，更明确地说，涉及一种通过全景鱼眼相机拍摄全景光学标靶空间取得一景像合成参数模型(亦即外部校正参数模型)与空间景深转换参数模型，并搭配全景鱼眼相机一内部校正参数以进行全景影像校正的一种全景鱼眼相机影像校正、合成与景深重建方法与其系统。

背景技术：

从照相机问世以来，人们开始利用影像记录生活点滴或时代大事件。而摄影技术与器材也从低画质的黑白照片，演进到高画质高彩度的彩色照片，甚至每秒可拍摄二十亿帧(frame)的高速摄影机。而视觉效果也不仅止步于平面影像，甚至能拍摄具有立体视觉的影像。

现有技术中，若要拍摄具有立体视觉的影像，可用双镜头的双眼相机，或立体相机来拍摄。但受限于器材的拍摄范围，只能拍摄某个范围内，亦即，视角内的立体影像。又或者是，通过掌镜者手持立体相机原地绕圈来拍摄360度的环绕全景影像。但是此方法需要时间让掌镜者原地绕圈才能拍摄全景影像。于是，利用多台立体相机同时对四周进行拍摄，以拍摄全景影像的技术被提出。目前的全景相机，从三台相机的组态到十数台相机的组态都有，然而所述组态中的相机都属于单眼视觉系统，再加上各台相机之间所重叠拍摄的范围复杂或相机模型复杂，而无法利用视差来计算或取得景深数据。而为了使虚拟现实(virtualreality)以及增强现实(augmentedreality)的信息立体化，也必须取得景深数据，是以，如何利用相机以获取立体景深数据也相应重要。

技术实现要素：

为了因应前述问题，本发明的一实施例提供一种全景鱼眼相机影像校正、合成与景深重建方法，用以将一全景鱼眼相机所拍摄的一全景影像，校正为一包含景像深度信息的全景立体影像，全景鱼眼相机包含有四个鱼眼镜头与四个感光模块，每一鱼眼镜头搭配有一感光模块。其包含有以下步骤：建立一全景光学标靶空间；利用全景鱼眼相机拍摄全景光学标靶空间的全景影像；建立鱼眼相机的一内部校正参数模型；建立全景影像与全景光学标靶空间的一景像合成参数模型(外部校正参数模型)；建立全景影像与全景光学标靶空间的一空间景深转换参数模型；以及利用景像合成参数模型、空间景深转换参数模型与内部校正参数模型得到包含全景景深信息的全景立体影像。

其中，空间景深转换参数模型是一种二维平面影像与三维空间景像深度之间的换算模型；内部校正参数模型是鱼眼相机的鱼眼镜头与感光模块之间的坐标换算模型，景像合成参数模型(外部校正参数模型)是从全景鱼眼相机所拍摄的影像之间计算四个鱼眼镜头之间的物理实体与空间坐标的关系，做为全景影像合成的参数模型。

其中，本发明进一步包含步骤：最佳化参数。通过不断的搜集已产生的全景鱼眼相机各自的内部校正参数模型，景像合成参数模型(外部校正参数模型)以及空间景深转换参数模型并累积一参数数据，再以机器学习(machinelearning)的方式进行参数最佳化得到最佳模型。

而本发明的另一实施例提供一种全景鱼眼相机影像校正、合成与景深重建系统，用以产出全景影像与全景深度信息，并将一全景影像与全景深度信息，校正为一全景立体影像，其包含：一全景鱼眼相机、一全景影像与全景深度信息产生模块、以及一运算模块。其中运算模块得为一云端运算模块，亦得设置于相机之中。

其中，全景鱼眼相机包含有四个鱼眼镜头以及四个感光模块，每一鱼眼镜头搭配有一感光模块。其中相邻的鱼眼镜头的摄影方向的夹角为90度；全景影像与全景深度信息产生模块与全景鱼眼镜头模块电性连结，其包含有一内部校正参数模型，一景像合成模块以及一空间景深转换参数模块。

其中，内部校正参数模块，储存有一内部校正参数模型，可以提供鱼眼镜头与感光模块之间的坐标换算模型所需的参数；景像合成模块，储存有一景像合成参数模型，可将全景鱼眼相机所拍摄的全景影像加以合成为一张全景图；空间景深转换参数模块，储存有一空间景深转换参数模型，用以提供全景鱼眼相机一二维平面影像与三维空间景像深度之间的换算模型，来得到全景影像里面每个像素的全景深度信息；最后运算模块与全景影像与全景深度信息产生模块电性连结，用以将全景图与全景深度信息校正合成，以输出全景立体影像。

其中，本发明进一步包含一最佳化模块，最佳化模块与全景影像与全景深度信息产生模块电性连结。通过搜集每一台全景鱼眼相机各自的内部校正参数模型，景像合成参数模型(外部校正参数模型)，以及空间景深转换参数模型并累积参数数据，再以机器学习(machinelearning)的方式进行参数最佳化得到最佳化参数模块。

相较于现有技术，本发明可以快速地一次取得全景的影像与景深数据，并通过累积一定数据利用机器学习的方式，可以对校正参数最佳化，一则可以针对相机进行参数更新，同时可以提升全景合成图的品质与全景景深信息的精确度的改善，进而简化立体景深的演算法，提升运算效率。而未来可将简化后的立体景深演算法移至单芯片上执行，让全景鱼眼相机影像校正系统具有校正实时性与便携性，同还可以简化产生时需要的校正流程与所需要耗费的时间。

附图说明

图1示出的了根据本发明的一具体实施例的步骤流程图。

图2示出的了根据本发明的一具体实施例的步骤流程图。

图3示出的了根据本发明的另一具体实施例的全景鱼眼相机的前视图。

图4示出的了根据本发明的另一具体实施例的全景鱼眼相机的上视图。

图5示出的了根据本发明的另一具体实施例的系统功能方框图。

附图标记说明：

1：全景鱼眼相机影像校正、合成与景深重建方法

2：全景鱼眼相机影像校正、合成与景深重建系统

21：全景鱼眼相机212：鱼眼镜头

214：感光模块

22：全景影像与全景深度信息产生模块

221：内部校正参数模块222：景像合成模块

223：空间景深转换参数模块23：运算模块

24：最佳化模块

i1：全景深度信息p1：全景图

s1～s73：步骤

具体实施方式

首先请参阅图1至图4，图1与图2示出的了根据本发明的一具体实施例的步骤流程图。图3示出的了根据本发明的另一具体实施例的全景鱼眼相机的前视图。图4示出的了根据本发明的另一具体实施例的全景鱼眼相机的上视图。

本发明的一实施例提供一种全景鱼眼相机影像校正、合成与景深重建方法1，用以将一全景鱼眼相机21所拍摄的一全景影像，校正为一全景立体影像，全景鱼眼相机21包含有四个鱼眼镜头212与四个感光模块214，每一鱼眼镜头212搭配有一感光模块214。其包含有以下步骤：步骤s1：建立一全景光学标靶空间；步骤s2：利用全景鱼眼相机拍摄全景光学标靶空间的全景影像；步骤s3：建立全景鱼眼相机的一内部校正参数模型；步骤s4：建立全景影像与全景光学标靶空间的一景像合成参数模型(外部校正参数模型)；步骤s5：建立全景影像与全景光学标靶空间的一空间景深转换参数模型；以及步骤s6：利用景像合成参数模型、空间景深转换参数模型与内部校正参数模型得到包含有一全景深度信息的全景立体影像。其中，步骤s4与步骤s5的执行顺序并不以前述顺序为限，步骤s4与步骤s5得同时进行，或是步骤s5早于步骤s4执行。

以下将说明各步骤的细节。首先，因为单眼视觉的相机所拍摄的影像都无法直接从影像内容判断出物体的景深，再加上鱼眼镜头212的崎曲外型，经由鱼眼镜头212所拍摄的影像都会被扭曲，变的更难判断实际景深。因此，为了确立三维空间内物体景像深度与二维拍摄平面影像之间的关系，发明人先进行步骤s1：建立全景光学标靶空间，在一空间内摆设多个标示有与全景鱼眼相机21之间距离的标靶。再进行步骤s2：利用全景鱼眼相机21拍摄全景光学标靶空间的全景影像，用以找出空间中标靶，与全景影像中的标靶之间的对应关系。

而在找出空间中标靶，与全景影像中的标靶之间的对应关系之前。由于鱼眼镜头212本身的球状外型，经由鱼眼镜头212所拍摄的影像都会被扭曲。于是，亦需要找出鱼眼相机21内鱼眼镜头212与感光模块214之间的对应关系，亦即，找出内部校正参数。于是本发明进行了步骤s3：建立全景鱼眼相机的一内部校正参数模型。其中，为了说明方便，而将装设于全景鱼眼相机21内的感光模块214的装设位置标示于上视图中。

首先，由于鱼眼镜头212大致成一半球形，而感光模块214仅为一平面。所以要先进行球坐标系与直角坐标系的坐标转换，找出鱼眼镜头212(球坐标系)上的任意一点坐标xs与感光模块214(直角坐标系的xy平面)的影像平面坐标xd的投影对应关系。在找出投影对应关系之后，接着利用以下公式，将感光模块214的影像平面坐标xd与感光模块214上散布的每个像素(pixel)之间建立对应关系。

其中，xp代表感光模块214上的像素(pixel)坐标；mu与mv代表每个像素在平面上产生的位移量；u0与v0代表感光模块影像平面坐标的原点，也就是坐标换算的起算点。经由以上手续，本发明得以完成步骤s3：建立全景鱼眼相机的一内部校正参数模型，将鱼眼镜头212上的任意一点-坐标xs换算成感光模块214上的像素(pixel)坐标xp，以进行内部校正。

为了建立个别鱼眼所拍摄的景像与实际全景影像间的对应关系以便合成全景图，进行步骤s4：建立全景影像与全景光学标靶空间的景像合成参数模型(外部校正参数模型)。先利用外型如西洋棋棋盘盘面样式的四格黑白相间的样式的标靶，通过检测标靶上的特征点来建立四个鱼眼镜头的物理位置与影像平面坐标的关系，再利用四个鱼眼镜头212所拍摄的景像求得四个鱼眼镜头212的物理实体与空间坐标的关系，做为景像合成参数模型。

其中，如图3所示，于本实施例中全景鱼眼相机21包含有四个鱼眼镜头212。为了统合四个鱼眼镜头212所拍摄的影像，亦需要对四个鱼眼镜头212之间的相对位置做一统整。于此，发明人利用以下公式将四个鱼眼镜头212之间的位置关系作一整理。

xc＝rx+t

其中x代表某一个镜头的影像平面(xy平面)在三维空间中的位置；xc代表三维空间中的其余任意一个与前述某镜头视角有相交的影像平面的位置；r代表镜头光学轴(大约等同于拍摄方向，z轴)的旋转幅度，以矩阵表示；t代表景像平面经旋转后需要与有相交平面的特征点相符所需要平移的距离。简而言之就是，以其中一个鱼眼镜头的影像平面位置为原点，镜头光学轴为z轴，影像平面为xy平面。建立一个公共坐标系，决定其他鱼眼镜头的光学轴方向与影像平面位置。以方便处理来自四个鱼眼镜头的影像。

统整了四个鱼眼镜头212之间的相对位置之后，即可进行景像合成参数模型(外部校正参数模型)的建立。请参阅图3，如图3所示，全景鱼眼相机21中相邻的鱼眼镜头212的摄影方向(以虚线表示)的夹角为90度，再加上鱼眼镜头212的视角可达180度，所以相邻的鱼眼镜头212所分别拍摄的影像势必有至少一个重复景物。而步骤s4所进行的是在相邻的鱼眼镜头212所分别拍摄的影像找出重复景物，首先，先在其中一架鱼眼镜头212拍摄的影像中任意找一个像素(pixel)，再根据该像素(pixel)周围的颜色变化，定义出一个特征描述向量，之后在相邻的鱼眼镜头212拍摄的影像中寻找对应像素。在建立了至少一个特征描述向量与像素(pixel)对应关系后，即完成步骤s4，也就建立了景像合成参数模型(外部校正参数模型)。

接着进行步骤s5：建立全景影像与全景光学标靶空间的一空间景深转换参数模型。利用全景鱼眼相机21拍摄全景光学标靶空间的全景影像后，已取得全景光学标靶空间的全景影像，且由于全景光学标靶空间的标靶位置与全景鱼眼相机21之间的距离也已知，是以步骤s5旨在建立能让软件系统判读的，全景影像中的标靶(亦即二维平面影像)与全景光学标靶空间中标靶(亦即三维空间)景像深度之间相对应关系的换算模型，以获取一全景深度信息，让利用本发明之全景鱼眼相机影像校正、合成与景深重建方法1的全景鱼眼相机21，能够从其所拍摄的全景影像中判读出影像中物件与全景鱼眼相机21之间之距离(亦即景深)，以提供之后校正全景立体影像使用。

经由前述步骤s1至s5，已取得有由全景鱼眼相机21拍摄的全景影像，全景鱼眼相机的内部校正参数模型，全景影像与全景光学标靶空间的景像合成参数模型(亦即外部校正参数模型)、与空间景深转换参数模型。接着进行步骤s6：利用景像合成参数模型、空间景深转换参数模型与内部校正参数模型得到包含有全景深度信息的全景立体影像。

另一方面，由于全景鱼眼相机21在制造上的差异，针对每个全景鱼眼相机21，都要进行一次如前所述步骤s1至s5所公开公开的流程，使得全景鱼眼相机21不能在制造完成后直接出厂，若进行量产，则需要大量的测量校正人力与时间成本。于是，本发明全景鱼眼相机影像校正、合成与景深重建方法1进一步包含有步骤s7：最佳化参数。步骤s7包含有步骤s71：从各全景鱼眼相机搜集内部校正参数模型、景像合成参数模型以及空间景深转换参数模型。s72：利用机器学习对内部校正参数模型、景像合成参数模型以及空间景深转换参数模型进行最佳化。以及s73：更新该内部校正参数模型、该景像合成参数模型以及该空间景深转换参数模型。

通过不断的搜集全景鱼眼相机21用于调整自体鱼眼镜头212与感光模块214之间关系的内部校正参数模型，与用于判读外在环境影像的景像合成参数模型与空间景深转换参数模型，并累积参数数据，再以机器学习(machinelearning)的方式进行各项参数的自动最佳化，并将以最佳化的参数传送给每台全景鱼眼相机21进行参数模型的更新，用以降低测量校正人力与时间成本。其中机器学习所用的演算法包含了支持向量机器(supportvectormachine,svm)。

接着请参阅图3至图5，图3示出的了根据本发明的另一具体实施例的全景鱼眼相机的前视图。图4示出的了根据本发明的另一具体实施例的全景鱼眼相机的上视图。图5示出的了根据本发明的另一具体实施例的系统功能方框图。本发明的另一实施例提供了一种全景鱼眼相机影像校正、合成与景深重建系统2，用以将一全景影像，校正为一包含有一全景深度信息的全景立体影像，其包含：一全景鱼眼相机21、一全景影像与全景深度信息产生模块22(包含一内部校正参数模块221、一景像合成模块222、以及一空间景深转换模块223)，以及一运算模块23。

其中全景鱼眼相机21包含有四个鱼眼镜头212与四个感光模块214，每一鱼眼镜头212搭配有一感光模块214。而相邻的鱼眼镜头212的摄影方向的夹角为90度；全景影像与全景深度信息产生模块22与全景鱼眼相机21电性连结，其内部包含有内部校正参数模块221、景像合成模块222、以及空间景深转换模块223用以提供全景鱼眼相机21将全景影像，校正为全景立体影像所需的所有参数；运算模块23与全景影像与全景深度信息产生模块22电性连结，用以根据全景深度信息产生模块22所包含的各项参数将全景影像校正为全景立体影像。

其中，内部校正参数模块221用以储存前述的内部校正参数模型，并根据前述参数模型针对因鱼眼镜头212本身外型所产生的拍摄影像畸变，进行鱼眼镜头212与感光模块214之间的坐标换算。景像合成模块222用以储存前述的景像合成参数模型(外部校正参数模型)，来进行将经过内部校正参数模块221所修正的全景影像加以合成，以输出一张全景图p1的作业。空间景深转换模块223用以储存前述的空间景深转换参数模型，以找出全景鱼眼相机21所拍摄的二维平面影像与实际三维空间景像深度之间的对应关系，并获取全景影像里面每个像素(pixel)的全景深度信息i1。

在上述各模型均建立之后，运算模块23便将全景图p1与全景深度信息i1校正合成，并输出全景立体影像。

而本发明的全景鱼眼相机影像校正、合成与景深重建系统2进一步包含有最佳化模块24，最佳化模块24与全景影像与全景深度信息产生模块22电性连接，通过不断搜集每台全景鱼眼相机21各自的全景影像与全景深度信息产生模块22所储存的内部校正参数模型，景像合成参数模型以及空间景深转换参数模型并累积一参数数据，再以机器学习(machinelearning)的方式进行内部校正参数模型，景像合成参数模型以及空间景深转换参数模型的参数最佳化。参数最佳化完成之后，再将这些最佳化的参数去替换内部校正参数模型、景像合成参数模型以及空间景深转换参数模型，以使运算模块23所合成输出的全景立体影像更趋完善。

其中，运算模块23得为一云端运算模块也可存在鱼眼全景相机里。因此，得以将全景影像利用运算模块来校正为一全景立体影像。而内部校正参数模块221，景像合成模块222与空间景深转换模块223可整合成一单芯片，或分别独立为一单芯片。机器学习所用的演算法包含了支持向量机器(supportvectormachine,svm)。

综上所述，本发明提供了一种全景鱼眼相机影像校正、合成与景深重建方法与其系统，通过找出全景鱼眼相机内半球状鱼眼镜头与平面感光模块之间的一内部校正参数模型，以及通过全景鱼眼相机拍摄一全景光学标靶空间，推算出全景影像合成(外部校正参数)模型，同时借由建立二维平面影像与三维空间景像深度之间的一空间景深转换参数模型，最后，利用内部校正参数模型，全景影像合成(外部校正参数)模型与空间景深转换参数模型，将全景鱼眼相机所拍摄的一全景影像修正成全景立体影像。

相较于现有技术，本发明可以快速第一次取得全景的影像与景深数据，并通过累积一定数据利用机器学习的方式，可以对校正参数最佳化，进而简化立体深度的演算法，提升运算效率，改善精确度。而未来可将简化后的立体深度演算法移至单芯片上执行，让全景鱼眼相机影像校正系统具有校正实时性与便携性。

通过以上较佳具体实施例的详述，是希望能更加清楚描述本发明的特征与精神，而并非以上述所公开公开的较佳具体实施例来对本发明的实施例加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求的范围内。