一种基于立体视觉数学模型的空间点三维坐标求解方法与流程

本发明涉及摄影测量的三维重建技术领域，具体涉及一种基于立体视觉数学模型的空间点三维坐标求解方法。

背景技术：

摄影测量技术广泛用于人工智能、视觉测量和机器人技术。视觉测量双目三维重建包括图像采集，摄像机标定，图像矫正，图像特征提取和匹配，三维点计算等过程。摄像机标定有典型的介于传统标定和自标定之间棋盘格标定法；针对非线性畸变，可以引入反映畸变影响的修正参数，然后基于控制点或其他方法求解修正系数来对图像进行校正；特征提取和匹配典型的如sift点的提取和匹配算法。通过以上过程得出空间三维点在图像平面上的投影坐标。

作为三维重建最后一步，三维点的计算在双目立体视觉系统中通常采用基于视差方法求解，它是利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。但在两个相机位置摆放不做特别要求时，尤其是平视双目立体视觉系统中由于操作关系两个相机上下位置差异较大时，使用校正矩阵使相机两平面完全行对准后，基于视差和重投影矩阵求解的方法有时无法高精度求解空间点三维坐标，尤其是深度方向信息。

刘洪霞等人专利申请号为cn201610429820.1的专利中提出一种基于双目视觉的大尺寸几何量测量方法，该方法首先采用平面靶标和主动视觉相结合的标定方法，精确标定出视觉系统参数，在根据双目立体视觉模型求出目标点的空间坐标。但该方案在求解的过程中左、右相机只考虑一个有效焦距，且没有考虑到相机坐标系相机光轴在图像坐标系中的偏移量因素。

浙江大学杜歆等人专利申请号为cn200810120794.x的专利中提出了一种基于泰勒级数模型的全向立体视觉三维重建方法，该方法利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参，在外极线校正中对所拍摄的全向立体图像对进行外极线校正，使校正后的极二次曲线与图像扫描线重合，对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。

北京大学李仁举等人专利申请号为cn200810224347.9的专利中提出了一种基于图像的三维重建方法，先获取一组图像并指定其中一幅图像上的一点为待重建点，再计算目标点的128维描述子，然后根据所述描述子反求所述特征点的三维坐标。

华南理工大学徐晓等人专利申请号为cn201210543958.6的专利中提出了一种双目三维重建的方法，该方案根据图像特征线的强弱对图像进行分层特征提取和匹配，匹配的次数由复原要求决定，在利用双目视差的原理和已知的双目镜头的参数计算物理空间的三维坐标。

但在实际中，由于数码相机传感器的缺陷、后处理中图像被非均匀缩放、相机透镜导致的无意的失真、相机使用了失真的格式，透镜将宽屏场景压缩到标准大小的传感器中、相机校准的误差等原因，相机有两个不同的焦距参数；由于成像仪和光轴的交点不可能在成像仪中心，必定有一定的偏移量。在使用一个等效焦距计算空间点三维坐标时，会影响空间点三维坐标点的精度，进而影响整个三维重建过程的效果。

技术实现要素：

鉴于现有技术存在的上述问题，本发明的目的在于提供一种基于立体视觉数学模型的空间点三维坐标求解方法，实现世界坐标系下空间点三维坐标的高精度求解。

本发明目的是实现双目立体视觉下空间点三维坐标的高精度求解。本发明基于双目立体视觉，针对目前双目立体视觉数学模型中，左、右相机只考虑一个有效焦距，且没有考虑到相机坐标系相机光轴在图像坐标系中的偏移值。在标定得出双目立体视觉系统中内参数矩阵和外参数初始值后，对双目立体视觉系统中内参数矩阵和外参数进行优化。对同一目标点进行拍摄，在双目立体视觉数学模型中充分考虑左相机内参不等焦距、右相机内参不等焦距以及左、右相机坐标系相机光轴在左、右图像坐标系中的偏移量等值，减少对恢复目标点三维信息的影响。并建立所述左图像坐标系ol-xlyl与所述世界坐标系o-xyz间关系、建立右相机坐标系or-xryrzr与所述世界坐标系o-xyz间关系、建立右图像坐标系or-xryr与右相机坐标系or-xryrzr间关系，通过左图像坐标系、右图像素坐标系、世界坐标系、右相机坐标系间关系实现空间点三维坐标的高精度求解。

具体地，为了实现上述目的，本发明提供的一种基于立体视觉数学模型的空间点三维坐标求解方法，该方法基于双目立体视觉系统，包括：

s1、通过标定得出双目立体视觉系统中左相机和右相机的相机参数；

s2、根据图像重投影误差最小化原则对相机的相机参数进行优化，分别得到所述左相机和所述右相机的最终的相机参数；

s3、通过所述双目立体视觉系统在同一时刻拍摄目标点，并得到匹配后的所述目标点在左相机拍摄的左图像中的坐标点(xl，yl)，以及得到匹配后的所述目标点在右相机拍摄的右图像中的坐标点(xr，yr)；

s4、根据摄像机透视变换模型建立左图像坐标系ol-xlyl与世界坐标系o-xyz间关系，若比例因子为sl，根据所述左相机和所述右相机的相机参数得到目标点的三维坐标(x，y，z)与比例因子sl间关系；

s5、建立右相机坐标系or-xryrzr与所述世界坐标系o-xyz间关系，若比例因子为sr，根据所述左相机和右相机的相机参数，以及目标点的三维坐标(x，y，z)与比例因子sl间关系，获得所述右相机坐标系与空间点三维坐标中z关系；

s6、根据摄像机透视变换模型建立右图像坐标系or-xryr与右相机坐标系or-xryrzr间关系，以及根据右相机坐标系与空间点三维坐标中z关系，建立所述左相机和所述右相机的像面之间对应关系；

s7、根据左右像面之间对应关系得到目标点的三维坐标中z的两个值z1和z2；

s8、根据目标点的三维坐标中z的两个值z1和z2，获得目标点的三维坐标中z的期望值，再根据目标点的三维坐标(x，y，z)与比例因子sl间关系，得到目标点的三维坐标中x、y值。

在一些实施例中，所述左相机和所述右相机的相机参数包括：所述左相机焦距flx、fly，所述左相机坐标系的相机光轴在左图像坐标系中的偏移位置clx、cly；所述右相机焦距frx、fry，所述右相机坐标系的相机光轴在右图像坐标系中的偏移位置crx、cry以及所述左相机和右相机的坐标系统的旋转矩阵r、平移向量t。

在一些实施例中，在s2步骤中，根据标定结果进行目标点的二维投影计算，对计算结果与实际的测量数值进行比较，并基于使其差值最小的原则，建立非线性全局优化目标函数：

式中mij是实际的图像坐标，是通过相机内外参数反求得出的图像坐标，a是内参数矩阵，k1、k2表示径向畸变参数，w是外参数矩阵，mj是图像点mij相匹配的世界坐标系下的空间点。

在一些实施例中，目标点的三维坐标(x，y，z)与比例因子sl间关系为：

x＝sl(xl-clx)/flx(1)

y＝sl(yl-cly)/fly(2)

z＝sl(3)。

在一些实施例中，右相机坐标系与空间点三维坐标中z关系为：

。

在一些实施例中，所述左相机和所述右相机的像面之间对应关系为：

。

在一些实施例中，目标点的三维坐标中z的两个值z1和z2通过如下方式得出：

其中，a、b是内参数矩阵。

在一些实施例中，目标点的三维坐标通过如下方式确定：

x＝az(11)

y＝bz(12)。

在一些实施例中，所述左相机焦距分为flx、fly，且flx≠fly，所述右相机焦距分为flx、fly，且frx≠fry。

在一些实施例中，步骤s4中，建立左图像坐标系ol-xlyl与世界坐标系o-xyz间关系时，使左相机坐标系与所述世界坐标系重合，则建立所述左图像坐标系ol-xlyl与所述世界坐标系o-xyz间关系等同于建立所述左图像坐标系ol-xlyl与所述左相机坐标系间关系。

与现有技术比较，本发明具有以下优点：

(1)本方法不仅可应用在平视双目立体视觉系统中，也可应用在双目立体视觉系统两个相机位置摆放不做特别要求时。尤其是平视双目立体视觉系统中由于操作关系两个相机非严格平视时，基于视差的方法有时无法高精度求解空间点三维坐标，本发明利用图像坐标系、右图像坐标系、世界坐标系、右相机坐标系间相互关系实现空间点三维坐标的高精度求解。

(2)在实际中，由于多方面原因，单个像素的在成像仪上是矩形而不是正方形，本发明引入了两个不同的焦距参数和相机光轴偏移量，图像重投影误差最小化原则优化相机参数，极大提升了相机参数的准确性。结合双目立体视觉数学模型，减少了左、右相机焦距不等因素以及左、右相机坐标系相机光轴在图像坐标系中的偏移量因素对从图像坐标系二维像素点坐标恢复到目标点三维信息的影响。

(3)求解空间点三维坐标过程中，根据不同公式的计算结果得出坐标z期望值，实际计算结果表明，本发明在平视双目立体视觉系统中进一步提高空间点三维坐标的求解精度；也实现双目立体视觉系统中两个相机位置摆放不做特别要求时空间点三维坐标的高精度求解。

附图说明

图1为本发明的基于立体视觉数学模型的空间点三维坐标求解方法的流程图。

图2为双目立体视觉的数学模型示意图。

具体实施方式

下面，结合附图对本申请的具体实施例进行详细的描述，但不作为本申请的限定。

应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

下面，将参考附图1、附图2及下文给出的具体方法步骤对本发明方法做出具体说明。

具体地，在一些实施例中，本发明的方法包含以下步骤：

步骤一：通过标定得出双目立体视觉系统中所述左右相机初始参数，所述左右相机初始参数包括：所述左相机焦距flx、fly，所述左相机坐标系相机光轴在左图像坐标系中的偏移位置clx、cly，所述右相机焦距frx、fry，所述右相机坐标系相机光轴在右图像坐标系中的偏移位置crx、cry以及所述两个相机坐标系统的旋转矩阵r、平移向量t；

步骤二：根据极大似然估计，通过建立非线性最小化模型优化解得值与真实值的差异，即重投影误差最小原则，根据标定结果进行空间点二维投影计算，对计算结果与实际的测量数值进行比较，并使其差值最小的原则，建立非线性全局优化目标函数：

式中mij是实际的图像坐标，是通过相机内外参数反求得出的图像坐标，a是内参数矩阵，k1、k2表示径向畸变参数，w是外参数矩阵，mj是图像点mij相匹配的世界坐标系下的空间点；

步骤三：如附图2双目立体视觉的数学模型示意图，通过所述双目立体视觉系统在同一时刻拍摄目标点p，并得到匹配后的目标点在左图像坐标点(xl，yl)，匹配后的目标点在右图像坐标点(xr，yr)；

步骤四：根据摄像机透视变换模型建立左图像坐标系ol-xlyl与所述世界坐标系o-xyz间关系，若比例因子为sl，根据步骤一得出的所述两个相机参数得到空间点三维坐标(x，y，z)与比例因子sl间关系；

x＝sl(xl-clx)/flx(1)

y＝sl(yl-cly)/fly(2)

z＝sl(3)；

步骤五：建立右相机坐标系or-xryrzr与所述世界坐标系o-xyz间关系，若比例因子为sr，根据步骤一得出的所述两个相机坐标系统的旋转矩阵r、平移向量t，步骤三得出的公式(1)(2)(3)，推导出右相机坐标系与空间点三维坐标中z关系；

；

步骤六：根据摄像机透视变换模型建立右图像坐标系or-xryr与右相机坐标系or-xryrzr间关系，根据步骤四得出的公式(4)，建立所述左相机和所述右相机像面之间对应关系；

步骤七：根据步骤五所得公式(5)左右矩阵对应行相等可推导出空间点三维坐标中z的两个表达式；

a、b是内参数矩阵；

步骤八：由步骤六所得公式(6)(7)所得z1、z2，计算空间点三维坐标中z的期望值，再由步骤一所得公式(1)(2)，可推导出空间点三维坐标中x、y值；

x＝az(11)

y＝bz(12)。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。