一种双目三维重建方法
【专利摘要】本发明公开了一种双目三维重建方法，包括以下步骤：1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像和右图像；2)采用棋盘法标定所述图像采集设备，计算所述图像采集设备的内外参数和镜头畸变系数，对两图像分别进行处理，去除图像中的畸变；3)对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点对；5)对得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对；6)利用保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三维坐标。本发明的三维重建方法，可有效降低非正常点，获得准确的三维重构模型。
【专利说明】一种双目三维重建方法 【技术领域】
[0001 ]本发明涉及计算机视觉，特别是涉及一种双目三维重建方法。 【【背景技术】】
[0002] 三维模型重建是计算机视觉中一个非常重要的研究领域，已经开始被广泛应用于 工业、医疗、娱乐三大领域。当前，三维模型重建，按照技术方法分为四大类，采用结构光重 建方法、采用断层扫描的重建方法、采用飞行时间的重建方法、采用立体成像的重建方法。 其中，立体成像重建方法主要分为两类，即采用单幅图像的重建方法和采用多幅图像的重 建方法。采用单幅图像重建的方法可以归纳为shape from X类，如shape from contour(基 于轮廓的重构），shape from shading(基于阴影的重构），shape from focusing(基于焦距 的重构）。但采用单幅图像重建的方法，受制于图像信息量不足，图像深度还原准确度不足。 采用多幅图像重建的方法可以避免这一问题。双目三维模型重建方法，即属于采用多幅图 像的重构方法。通常的双目三维重建方法，基本过程包括：（1)图像采集、（2)特征提取、（3) 特征匹配、（4)三维坐标计算，其重建后存在的问题是步骤(4)三维坐标计算中容易出现非 正常点，进而影响三维模型重建效果。 【
【发明内容】
】
[0003] 本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种双目三维重 建方法，可有效降低非正常点，获得准确的三维重构模型。
[0004] 本发明的技术问题通过以下的技术方案予以解决：
[0005] -种双目三维重建方法，包括以下步骤：1)采用两台相同型号的图像采集设备采 集待重构的物体的图像分别获得左图像和右图像;2)采用棋盘法标定所述图像采集设备， 计算所述图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头畸变系数 对两图像分别进行处理，去除图像中的畸变;3)对步骤2)处理后的两图像进行特征提取，得 到两幅图像的特征点;4)利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点 对;5)对步骤4)中得到的特征点对，进行对极几何约束检测，去除误匹配的特征点对;6)利 用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对应点的三 维坐标。
[0006] 本发明与现有技术对比的有益效果是：
[0007] 本发明的双目三维重建方法，通过进行特征点对的极几何匹配约束检测，标定不 符合对极几何约束的特征点对为误匹配点，去除这些误匹配的特征点对后进行三维模型重 构，从而有效降低误匹配率，减少三维坐标计算过程中的非正常点，得到较为准确的三维重 构模型。 【【附图说明】】
[0008] 图1是本发明【具体实施方式】的双目三维重建方法的流程图；
[0009] 图2是本发明【具体实施方式】的双目三维重建方法中所涉及的对极几何的原理示意 图。 【【具体实施方式】】
[0010] 下面结合【具体实施方式】并对照附图对本发明做进一步详细说明。
[0011] 本发明的构思是:双目三维模型重建方法中，三维模型重建主要的误差来自于三 维模型中不符合实际情况的点。在重建过程中，特征提取过程容易受到环境中广泛存在的 各种噪声及双镜头畸变校正误差影响，导致特征匹配过程中由于特征相似而出现误匹配， 进而导致重构时出现上述不符合实际情况的点。本发明中通过采用对极几何约束检测，从 而有效去除误匹配的特征点对。
[0012] 如图1所示，为本【具体实施方式】的三维模型重建方法的流程图，包括以下步骤：
[0013] 1)采用两台相同型号的图像采集设备采集待重构的物体的图像分别获得左图像 和右图像。
[0014] 具体地，设置双目成像系统，图像采集设备可为相机或者投影仪。采集图像时，确 保两台图像采集设备具有相同的CCD尺寸、相同镜头参数，其镜头水平平行放置，摆放时，镜 头的光轴在同一平面内，且在平面内两镜头光轴之间的夹角小于等于30°，且采集的两图像 中均包含所述待重构的物体。
[0015] 2)标定并校准:采用棋盘法标定所述图像采集设备，计算图像采集设备的内外参 数和镜头畸变系数，并根据所述内外参数和镜头畸变系数对两图像分别进行处理，去除图 像中的畸变。
[0016] 3)提取特征点:对步骤2)处理后的两图像进行特征提取，得到两幅图像的特征点。
[0017] 该步骤中，提取图像中的特征点，可采用亮度函数的自相关矩阵检测图像兴趣点 作为特征点。具体地：
[0018] 每幅图像中，给定图像点(x，y)，其灰度值用I(x，y)表示，设定局部平移向量（A x， Ay)，则自相关函数为：
[0019] G(x,y) = E[I(x,y)-I(x+Ax,y+Ay)]2
[0020] 其中，[I(x,y)_I(x+A x,y+A y)]2为亮度图像梯度值。给定g(x,y)为高斯窗函数， 则特征点检测函数为：
[0021] R( Ax, Ay) = Eg(x,y)[I(x,y)-I(x+Ax,y+Ay)]2
[0022] 在窗函数g(x,y)内，如果特征值R( A x, A y)大于设定阈值，则说明发现特征点。需 说明的是，提取特征点的方法较多，不限于上述亮度函数的自相关矩阵检测方法，其它方法 不再 列举。
[0023] 4)匹配特征点：利用步骤3)中两幅图像中的特征点，进行特征点匹配，得到特征点 对。例如可采用最近邻域匹配方法进行特征点匹配，得到特征点对。
[0024] 5)对步骤4)中得到的特征点对，进行极线约束检测，去除误匹配的特征点对。
[0025] 该步骤中，对前述匹配后得到的特征点对进行对极几何约束检测，去除由噪声或 者畸变引起的不满足约束的特征点对，从而提高后续三维重建的准确性。
[0026] 本【具体实施方式】中，对极几何约束检测包含极线约束过程。具体地，判断特征点对 中两个特征点的极线约束值是否均小于设定阈值，如是，则保留；如否，则为误匹配的特征 点对。
[0027]如图2所示，为三维重建方法中所涉及的对极几何的基本原理图。其中，nu，m2为匹 配得到的一对特征点对，Xw为特征点对nu，m2在世界坐标系中的对应点，则点Xw在左右两视 图图像中的投影点分别为mi，m2。xi -y 1是左视图中的对极几何坐标系，X2-y 2是右视图中的对 极几何坐标系。L1、L2分别为两图像采集设备的镜头的光轴，0^02为镜头光心所在位置，ei、 e 2分别为(h、02在另一视图中的投影点（也称极点），即的为出在左视图图像中的投影点，的为 0:在右视图图像中的投影点。0^1，石分别为极线，为基线。极线约束条件即是： 点Xw在左视图图像上投影点m在右侧视图图像上的投影点（设为m/)必然在右侧视图极线 上或与极线间隔一较短距离，点Xw在右视图图像上投影点m2在左侧视图图像上 的投影点（设为m/)必然在左侧视图极线上或与极线mrir上间隔一较短距离。如果距 离超出一定范围，则视为误匹配的特征点对。
[0028] 根据对极几何原理，将特征点对mi，m2的坐标进行归一化，mi = [XI，yi]T归一化为 码=[為,力,1]7'，1112=|^，7:]1'归一化为两=[：^,}^,1]7'。同理，将特征点在另一视图中的投 影点坐标进行归一化，m/ 归一化为?i'、而'，将特征点对在世界坐标系中的对应点Xw 的三维坐标进行归一化，XW= [X，Y，Z]T归一化为％ =[尤r, Z, I]7'，将投影点ei、的的坐标也 归一化为苟、e~2。根据步骤2)校准及标定相机过程中得到的内外参数，内部参数中的基础 矩阵h、内和外部参数矩阵&、Q 2，可得如下关系式： {m-r = F2Q2Xw
[0030]根据图2所示位置关系可知，存在平面线性方程矩阵丹、P2使得：
[0031] \n)^- ,,
[0032]为便于计算，定义向量pi = Pi(l 1 0)T，P2 = P2(1 1 0)T，则得到特征点mi所在的左 视图图像上极线值&以及特征点所在的右视图图像上的极线值C2分别为： rnrml (ci = ~ eoY/trip^J) lC2 = \PArn' -
[0034] 设定Cthres为极线约束阈值，当其满足&彡Cthres，C2彡Cthres时，判定该特征点对满足 极线约束，予以保留。反之，则认为该特征点对为误匹配特征点对，去除。
[0035] 综上，通过对极几何约束检测中极线约束检测，根据特征点nu在右侧视图图像上 的投影点(设为m/ )必然在右侧视图极线上或与极线间隔一较短距离，特征点!!12 在左侧视图图像上的投影点（设为m/)必然在左侧视图极线TTII可上或与极线TTT^T上间隔 一较短距离的原则，进行上述过程的检测判断，可将不符合上述原则的特征点对进行去除， 从而去除误匹配的特征点对。
[0036] 优选地，对极几何约束检测还包括特征点的深度连续性检测过程。具体地，判断特 征点对中两个特征点是否均满足深度连续条件，如是，则保留；如否，超出误差允许范围，则 视为误匹配的特征点对。
[0037] 本【具体实施方式】中，设定基准视图为特征点m所在的视图，参考视图为特征点肥所 在的视图。对于基准视图上的给定特征点nu，设其坐标为( X1，y〇,计算深度信息，可得到该 点的深度值为d(X1，y〇。同样地，对于参考视图上的特征点m2,设其坐标为(Xr，y r)，计算深度 信息，可得到该点的深度值为d(xr，yr)。
[0038] 设置k个特征方向，在第s个特征方向上，假定给定特征点mi周围存在的具有深度 信息的点在(xi+ A Xs，yi+ A ys)的范围内，计算A Ei = ( A Xs+ A ys)2，标定使A ￡3值最小的点 为该第s个特征方向上的待检测点。如有k个特征方向，则有k个待检测点，分别对应第1个特 征方向，第2个特征方向，......，第s个特征方向，......，第k个特征方向，其中s = l，2,3,...... k〇
[0039] 定义乃=nt^Ax^AyDAAxVAyJ]为第s个特征方向上的连续性约束方向特 征，设定Tthru作为方向阈值，计算出满足TsSTthm条件的最大n，将具有最大n值时对应的n 组A xi，A yi的值作为待求角军的各A xi，A yi的值。此处的n即表示特征点对mi，m2在世界坐标 系中的对应点在第S个特征方向上对应的可满足上述KTthres条件时所能选取偏移点的最 大个数，A Xi表示n个点中的第i个点的横向偏移量，A yi表示n个点中的第i个点的纵向偏移 量。
[0040] 在第s个特征方向上，定义基准图像特征点mi，坐标为(xi，yi)的深度连续性检测值 为：
[0042]定义参考图像上特征点m2,坐标为(xr，yr)的深度连续性检测值为：
[0044] 其中，d(xi+ A xi，yi+ A yi)表示求解得到的n个点中的第i个点在基准视图上的深 度值，(1(&+八11，3^ +八71)表示求解得到11个点中的第1个点在参考视图上的深度值。
[0045] 设定Dthres为深度连续性检测阈值。在第S个特征方向上，当满足Ds ( XI，yi )彡Dthres， 则基准图像上的特征点mi在第S个特征方向上具有深度连续性;当其满足Ds(Xr，yr) SDthres， 则参考图像上的特征点1112在第S个特征方向上具有深度连续性。
[0046] 当特征点对mi，m2，在s = l，2,3,……k情况下，均满足相同的深度连续性时，判定该 对特征点对满足连续性约束。反之，则认为该对特征点对为误匹配特征点对，予以去除。 [00 47] -般地，若特征点mi在基准图像上满足在某特征方向上深度连续，则特征点m2在参 考图像上满足在该特征方向上深度连续;若特征点肥在参考图像上满足在某特征方向上深 度连续，则特征点m在基准图像上也满足在该特征方向上深度连续。根据这一原则，进行上 述进一步设置的连续性检测判断，可将不符合上述原则的特征点对进行去除，从而可去除 误匹配的特征点对。
[0048]进一步优选地，对极几何约束检测还包括顺序约束检测过程:对两对特征点对m， m2和wi，W2，判断当特征点mi的横坐标大于特征点wi的横坐标时，是否存在特征点m2的横坐标 大于特征点W2的横坐标;且当特征点mi的纵坐标大于特征点wi的纵坐标，是否存在特征点m2 的纵坐标大于特征点W2的纵坐标。如均是，则保留特征点对mi，m2;如否，则特征点对mi，m2为 误匹配的特征点对。由于在基准图像与参考图像的无遮挡部分，任意两对特征点，满足具有 相同的相对位置关系，因此根据该原则进行上述过程的顺序约束检测判断，可将不符合上 述原则的特征点对进行去除，从而去除误匹配的特征点对。
[0049] 综上，通过步骤5)中设置的对极几何约束检测过程，可有效去除误匹配的特征点 对，从而提高后续重构结果的准确性。
[0050] 6)利用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中 的对应点的三维坐标。计算得到的三维坐标后，即可重构出三维模型。
[0051] 综上，本【具体实施方式】的双目三维重建方法，通过进行特征点对的极几何匹配约 束检测，标定不符合对极几何约束的特征点对为误匹配点，去除这些误匹配的特征点对后 进行三维模型重构，从而有效降低误匹配率，减少三维坐标计算过程中的非正常点，得到较 为准确的三维重构模型。
[0052] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为 属于本发明的保护范围。
【主权项】
1. 一种双目三维重建方法，其特征在于:包括以下步骤：1)采用两台相同型号的图像采 集设备采集待重构的物体的图像分别获得左图像和右图像;2)采用棋盘法标定所述图像采 集设备，计算所述图像采集设备的内外参数和镜头畸变系数，并根据所述内外参数和镜头 畸变系数对两图像分别进行处理，去除图像中的畸变;3)对步骤2)处理后的两图像进行特 征提取，得到两幅图像的特征点；4)利用步骤3)中两幅图像中的特征点，进行特征点匹配， 得到特征点对;5)对步骤4)中得到的特征点对，进行对极几何约束检测，去除误匹配的特征 点对;6)利用步骤5)后保留的特征点对的二维坐标计算得到特征点对在世界坐标系中的对 应点的三维坐标。2. 根据权利要求1所述的双目三维重建方法，其特征在于:所述步骤5)中，对极几何约 束检测包括极线约束检测：判断特征点对中两个特征点的极线约束值是否均小于设定阈 值，如是，则保留；如否，则为误匹配的特征点对。3. 根据权利要求2所述的双目三维重建方法，其特征在于:根据如下公式计算特征点对 mi，m2的极线约束值Ci，C2:其中，％表示对极几何中左视图中极点的归一化坐标，巧表示对极几何中右视图中极点 的归一化坐标； ST1' fir/根据如下公式计算得到：F1, F2分别为步骤2)中计算得到的两台图像采集设备的内部参数中的基础矩阵，Q1, 〇2分 别为步骤2)中计算得到的两台图像采集设备的外部参数矩阵;Xw为特征点对!^，!^在世界坐 标系中的对应点;％为点Xw的三维坐标归一化后得到的矩阵； P1，P2根据如下方程求解得到计管彳县5丨丨.每!为特征点mi的二维坐标归一化后得到的矩阵;:興为特征点Ι?2的二维坐标归一化后得 到的矩阵； 向量pi=Pi(l I 〇)τ，向量P2=P2(1 I 0)τ。4. 根据权利要求1所述的双目三维重建方法，其特征在于:所述步骤5)中，对极几何约 束检测还包括特征点的深度连续性检测:判断特征点对中两个特征点是否均满足深度连续 条件，如是，则保留；如否，则为误匹配的特征点对。5. 根据权利要求4所述的双目三维重建方法，其特征在于:根据如下公式计算特征点对 nu，m2在选取的第s个特征方向的深度连续性检测值：其中，S取1~k之间的正整数，k表示选取的特征方向的个数；（XI，yI)表示特征点mi的坐 标，（Xr，yr)表示特征点m2的坐标;d (Xi，yi)表示特征点mi的深度值，d(xr，yr)表示特征点m2的 深度值； 求解方程ni=n[(Ax;MyD/Ux,MyJ] 5 得到n，AXi，Ayi的值，将使n取到最大值 时的一组解作为最终的η，Δ Xi，Δ yi的值；（Δ xs, Δ ys)为在第s个特征方向上存在深度信息 的点中使（A Xs+ Δ ys )2具有最小值的点的坐标偏移量，Tthres为第S个特征方向上的设定阈 值； d(xi+A Xi，yi+A yi)表示求解得到的η个点中的第i个点在基准视图上的深度值，d(xr+ AXl，yr+Ay1)表示求解得至Ijn个点中的第i个点在参考视图上的深度值;其中，基准视图为 特征点m所在的视图，参考视图为特征点m 2所在的视图。 计算后，判断特征点对mi，im的k个特征方向上的深度连续性检测值是否均小于设定阈 值，如是，则保留；如否，则为误匹配的特征点对。6. 根据权利要求1所述的双目三维重建方法，其特征在于:所述步骤5)中，对极几何约 束检测还包括顺序约束检测过程:对两对特征点对mi，m2和Wi，W2，判断当特征点mi的横坐标 大于特征点Wl的横坐标时，是否存在特征点Π 12的横坐标大于特征点W2的横坐标;且当特征点 mi的纵坐标大于特征点Wi的纵坐标，是否存在特征点m2的纵坐标大于特征点W2的纵坐标，如 均是，则保留特征点对m，m 2;如否，则特征点对m，!112为误匹配的特征点对。7. 根据权利要求1所述的双目三维重建方法，其特征在于:所述步骤3)中，采用亮度函 数的自相关矩阵检测图像兴趣点作为特征点。8. 根据权利要求7所述的双目三维重建方法，其特征在于:计算图像中像素点（x，y)的 特征值R( Δχ, Ay)， R( Δχ, Ay)=Eg(x,y)[I(x,y)-l(x+Ax,y+Ay)]2 其中，g(x，y)表示高斯窗函数;I(x，y)表示像素点(x，y)的灰度值；（Ax，Ay)表示设定 的局部平移向量;I(x+Ax，y+Ay)表示像素点(x+Ax，y+Ay)的灰度值； 计算后，判断像素点(x，y)的特征值R(AX，Ay)是否大于设定阈值，如是，则为特征点； 如否，则不是特征点。9. 根据权利要求1所述的双目三维重建方法，其特征在于:所述步骤4)中采用最近邻域 匹配方法进行特征点匹配，得到特征点对。
【文档编号】G06T17/00GK105894574SQ201610195387
【公开日】2016年8月24日
【申请日】2016年3月30日
【发明人】马建设, 魏云峰, 刘彤, 苏萍
【申请人】清华大学深圳研究生院