基于复杂背景下可见外壳的三维重建方法
【专利摘要】本发明介绍了一种基于复杂背景下可见外壳的三维重建方法，首先提出一种基于图像侧影轮廓线相机自标定的方法，该方法无需对相机运动方式作任何限定，结合对极几何理论对图像轮廓的限制条件确定相机投影参数，计算投影矩阵；再用可视外壳技术拟合出物体三维模型，用两幅图像重建物体模型；最后用自然抠图方法从复杂背景中提取重建物体轮廓，这种抠图方法打破了阈值法的单一局限性。该发明比较简单实用，重建精度高，重建速度快，生成的三维模型准确真实，不需要通过实验室条件下的特殊仪器进行标定即可实现目标三维重建，具有很强的实用价值。
【专利说明】 基于复杂背景下可见外壳的三维重建方法
【技术领域】
[0001]本发明主要涉及一种基于复杂背景下可见外壳的三维重建方法，特别是涉及相机自标定，可见外壳理论与自然图像抠图方法。
【背景技术】
[0002]在机械加工、虚拟现实、三维通讯以及医学诊断等领域，三维重建技术都有着广泛的应用前景。传统的重建方法需要用标定板标定相机，并基于双目相机模型下，匹配特征点，通过特征点重建，而且在提取物体轮廓时经常用到阈值法，这种传统的方法精度不高，而且耗时。基于此本发明提出了一种基于复杂背景下可见外壳的三维重建方法。
[0003]在图像测量过程以及机器视觉领域中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性，做好相机标定是做好后续工作的前提。其中自标定就是很好的标定方法，它通过物体之间的平行于正交约束关系得到内外参数。自标定的优点在于无需使用标定板对相机参数进行标定，不需要高密度的图像采集，较之其他方法有着速度上的优势。
[0004]可见外壳重建的方法是基于真实物体在照片上的侧影轮廓线实现了物体的三维重建。在不断的完善中，可采用计算机视觉中的极线几何技术来加速可见外壳的计算。在可见外壳建模方法中，侧影轮廓线是物体在投影图像的边缘线条，是理解物体几何形状的一条重要依据，也是重建物体模型的重要前提。轮廓线作为图像基本特征，易于计算并能够精确地反应出物体的几何边缘。可见外壳可以认为是目标物体的一个合理逼近，当拍摄视角足够多的时候，目标物体的合理逼近就会越准确。
[0005]在一般的物体轮廓提取方法中，对物体拍摄时常常把物体与背景颜色区分开，这样便于更好的物体轮廓提取。基于此本发明介绍了一种自然图像抠图的方法，它是一种把图像的前景部分从背景中分离出来的技术，它通过用户交互，指定图像中的少量部分前景和背景区域，并根据这些线索按照一定的判定逻辑自动、准确地分离出所有的前景物体。在重建过程中，物体轮廓提取是一个重要的因素，决定了重建模型的逼近程度。这种方法打破了尽量用颜色差异来精确提取物体轮廓的局限性。能够在复杂颜色背景下提取轮廓，为后续重建过程打下很好基础。
【发明内容】
[0006]发明目的
本发明涉及一种基于复杂背景下可见外壳的三维重建方法，其目的在于设计一种快速准确重建物体三维模型的方法，使重建物体效果好，精度高，速度快。
[0007]技术方案一种基于复杂背景下可见外壳的三维重建方法，其特征在于:该方法步骤如下:
(1)相机自标定:
相机自标定来确定每幅参考图像所对应的相机拍摄方位及其内部参数；
(2)用可视外壳算法重建三维模型:
得到相机的内外参数后，利用可视外壳算法重建三维模型；可见外壳生成方法也叫做侧影轮廓的三维重建方法，可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的空间包络；利用每个视点的投影矩阵构建从二维到三维空间的投影锥，利用投影锥之间的交集计算得到物体的三维信息；
(3)自然图像抠图:
用自然图像抠图提取物体轮廓，在给定的源图像上，每一个像素点颜色值C都由前景分量F和背景分量B线性组合形成，抠图过程为已知像素值C，求解未知分量F值和B值的过程。
[0008]该方法基本设备构成主要包括水平面、平面镜a、平面镜b、数码相机、重建的物体、O度图片、90度图片、O度图片的轮廓提取图片、90度图片的轮廓提取图片；
平面镜a与平面镜b成一定角度立在水平面上，夹角在70-75度之间，把需要重建的物体放在这两个平面镜之间，固定数码相机的焦距，用相机拍摄物体两次；第一次与水平面接近O度拍摄第一幅图片，设为O度图片；第二次水平面角度接近90度拍摄第二幅图片，设为90度图片；照片包括I个真实的物体和4个虚像，通过自然抠图法对90度图片进行提取轮廓处理，对O度图片进行提取轮廓处理；通过提取轮廓处理后的图片计算相机参数，完成相机自标定；把相机的参数求出·之后，用可见外壳的方法处理90度图片的轮廓提取图片与O度图片的轮廓提取图片，得到基于复杂背景下可见外壳的三维重建模型。
[0009]用自然抠图法提取O度图片与90度图片边缘，边缘内的像素值为255，边缘外的像素值为0，得到O度图片的轮廓提取图片与90度图片的轮廓提取图片。
通过O度图片的轮廓提取图片与90度图片的轮廓提取图片之间的约束关系计算数码相机的参数矩阵和焦距，完成自标定。
[0010]通过O度图片的轮廓提取图片与90度图片的轮廓提取图片的可见外壳算法计算物体的合理逼近模型。
[0011]优点及效果
本发明提出了一种基于复杂背景下可见外壳的三维重建方法，具有如下优点及有益效
果:
1、对比传统标定方法，本发明提出的双平面镜成像自标定方法，该方法高包含的物体信息量更大，重建效果好。
[0012]2、自标定方法简单易操作，避免使用专业标定板带来的不便。
[0013]3、双平面镜成像可在I幅图片上呈现5个角度的物体角度信息。并且方便于用可见外壳投影理论重建物体。
[0014]4、可见外壳算法较传统双目重建方法更精确。
[0015]5、自然图像抠图方法对比传统阈值法更能适应复杂背景，用时更短，精度更高。
[0016]6、本发明符合精确快速重建物体的理念，操作方便，效率高。【专利附图】
【附图说明】
[0017]图1为本发明中极线几何的示意图；
图2为本发明计算四个极点示意图；
图3为本发明计算转换参数矩阵示意图；
图4为本发明计算数码相机焦距示意图；
图5为本发明可见外壳的二维图像示意图；
图6为本发明重建物体杯子与水平面夹角接近90度的示意图；
图7为本发明复杂背景下用抠图法分离出的杯子示意图；
图8为本发明重建物体杯子与水平面夹角接近O度的示意图；
图9为本发明复杂背景下用抠图法分离出的杯子示意图；
图10为本发明重建的物体模型示意图；
图11为本发明重建的物体模型示意图；
【具体实施方式】:
下面结合附图和具体的实施例对本发明做进一步的说明:
本发明提出了一种基于复杂背景下可见外壳的三维重建方法，如图f图11中所示，该方法步骤如下:
(1)相机自标定:
相机自标定来确定每幅参考图像所对应的相机拍摄方位及其内部参数；
(2)用可视外壳算法重建三维模型:
得到相机的内外参数后，利用可视外壳算法重建三维模型；可见外壳生成方法也叫做侧影轮廓的三维重建方法，可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的空间包络；利用每个视点的投影矩阵构建从二维到三维空间的投影锥，利用投影锥之间的交集计算得到物体的三维信息，当拍摄视角足够多时，可见外壳就可以被认为是空间物体的一个合理的逼近；
(3)自然图像抠图:
用自然图像抠图提取物体轮廓，在给定的源图像上，每一个像素点颜色值C都由前景分量F和背景分量B线性组合形成，抠图过程为已知像素值C，求解未知分量F值和B值的过程。
[0018]相机自标定是用来确定每幅参考图像所对应的相机拍摄方位及其内部参数。目前出现的自标定算法中主要是利用相机运动的约束。利用场景约束主要是利用场景中的一些平行或者正交的信息。自标定方法灵活性强，标定效果较好。
[0019]在得到相机内外参后，利用可视外壳算法重建三维模型。可见外壳生成方法也叫做侧影轮廓的三维重建方法，可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的空间包络。可视外壳算法的基本运算思想是利用每个视点的投影矩阵构建从二维到三维空间的投影锥，利用投影锥之间的交集计算得到物体的三维信息，当拍摄视角足够多时，可见外壳就可以被认为是空间物体的一个合理的逼近。基于可见外壳的物体重建方法具有较强的鲁棒性，能够较好地保证几何和拓扑结构的一致性，并且可以通过增加视点数目来得到越来越精确的二维模型。[0020]在提取物体轮廓的过程中，自然图像抠图法是一种有效提取物体边缘的方法。在给定的源图像上，每一个像素点颜色值C都由前景分量F和背景分量B线性组合形成。抠图过程则可以表示为已知像素值C，求解未知分量F值和B值的过程。
[0021]本发明包括水平面1、平面镜a 2、平面镜b 3、数码相机、重建的物体5、0度图片、90度图片、O度图片的轮廓提取图片、90度图片的轮廓提取图片；
基本的操作过程为:平面镜a 2与平面镜b 3成一定角度立在水平面I上，夹角在70-75度之间。水平面I的背景可以单一也可以复杂。数码相机为普通的数码相机，并且固定焦距，通过平面镜a 2与平面镜b 3成像原理，用数码相机拍摄物体，一幅图片中应包含5个重建物体。把需要重建的物体5放在这两个平面镜之间，固定数码相机的焦距，用相机拍摄物体两次；第一次数码相机与水平面I夹角接近O度拍摄第一幅图片，设为O度图片，如图8所示；第二次数码相机4与水平面I夹角接近90度拍摄第二幅图片，设为90度图片，如图6所示；通过自然抠图法对90度图片和O度图片进行提取轮廓处理；即用自然抠图法提取O度图片与90度图片边缘，边缘内的像素值为255，边缘外的像素值为0，得到O度图片的轮廓提取图片与90度图片的轮廓提取图片。通过O度图片的轮廓提取图片与90度图片的轮廓提取图片之间的约束关系计算数码相机的参数矩阵和焦距，完成相机自标定。把相机的参数求出之后，最后通过可见外壳算法对O度图片的轮廓提取图片与90度图片的轮廓提取图片计算物体的合理逼近模型，实现了快速简单的三维重建。
[0022]用数码相机拍摄重建的物体5时应正对重建的物体5。
[0023]具体如下:
相机自标定
图f图4所示为自标定的过程，其中极线几何是自标定过程中涉及的一种重要方法，极线几何最初是从双目视觉中的对应问题开始考虑的，是研究同一场景若干幅图像之间约束关系的重要工具。在双视点结构下，图像点间的对应点遵循极线几何关系。它包括摄像机的所有的内外参数信息，因此它对摄像机的标定具有重要意义。极线几何关系可表示为一幅图像上的特征点在其他图像上的匹配点一定在对应极线上，其中极线是成像平面与空间点和两个相机中心决定的平面的交线。两幅或多幅图像上对应点之间存在着极线约束关系，它由极线几何确定。如图1所不，M是平面镜，C1是真实相机中心位置，C2是C1在平面镜中的虚像屯和E2是CdP C2连线在各自成像平面上的交点，即极点。它们在成像平面上的投影是与两个侧影轮廓线分别相切的直线。若找到满足条件的两条直线，即可以计算出对应极点的位置。如图2所示，五个圆圈为物体通过平面镜成像后的实像与虚像，E1 ,E12、E21、E2为四个极点位 置。如图3所示，利用给定平面镜成像的10幅图像确定拍摄这些图像时相机的空间方位。该方法首先选取图像序列中的两幅图像建立一个初始的重建框架，然后将后续图像逐一加入上述框架，从而确定图像序列中每一幅参考图像的拍摄方位与确定旋转向量。设Π为通过所有相机中心的平面，它与真实相机的成像平面相交于一条直线，则这条直线通过极点E1, E2, E3, E4，即四点共线，可在平面上求相机焦距LE1C和E4B分别是与E4A和E1A平行的直线，C是E1C与AE3延长线的交点，B是E4D与AE2延长线的交点，CAE1是等腰三角形。同理AE4B也是等腰三角形。AE垂直于E1E4，线段E1E2' E2 E3及E3E4的长度在成像平面上已知，并分别记为a1; a2，a3。计算一下公式可得到相机参数。
【权利要求】
1.一种基于复杂背景下可见外壳的三维重建方法，其特征在于:该方法步骤如下: (1)相机自标定: 相机自标定来确定每幅参考图像所对应的相机拍摄方位及其内部参数； (2)用可视外壳算法重建三维模型: 得到相机的内外参数后，利用可视外壳算法重建三维模型；可见外壳生成方法也叫做侧影轮廓的三维重建方法，可见外壳是由空间物体的所有已知侧影轮廓线决定的该物体的空间包络；利用每个视点的投影矩阵构建从二维到三维空间的投影锥，利用投影锥之间的交集计算得到物体的三维信息； (3)自然图像抠图: 用自然图像抠图提取物体轮廓，在给定的源图像上，每一个像素点颜色值C都由前景分量F和背景分量B线性组合形成，抠图过程为已知像素值C，求解未知分量F值和B值的过程。
2.根据权利要求1所述的基于复杂背景下可见外壳的三维重建方法，其特征在于:该方法基本设备构成主要包括水平面(I)、平面镜a (2)、平面镜b (3)、数码相机、重建的物体(5)、0度图片、90度图片、O度图片的轮廓提取图片、90度图片的轮廓提取图片； 平面镜a (2)与平面镜b (3)成一定角度立在水平面(I)上，夹角在70-75度之间，把需要重建的物体(5)放在这两个平面镜之间，固定数码相机的焦距，用相机拍摄物体两次；第一次与水平面(I)接近O度拍摄第一幅图片，设为O度图片；第二次水平面(I)角度接近90度拍摄第二幅图片，设为90度图片；照片包括I个真实的物体和4个虚像，通过自然抠图法对90度图片进行提取轮廓处理，对O度图片进行提取轮廓处理；通过提取轮廓处理后的图片计算相机参数，完成相机自标定；把相机的参数求出之后，用可见外壳的方法处理90度图片的轮廓提取图片与O度图片的轮廓提取图片，得到基于复杂背景下可见外壳的三维重建模型。
3.根据权利要求2所述的基于复杂背景下可见外壳的三维重建方法，其特征在于:用自然抠图法提取O度图片与90度图片边缘，边缘内的像素值为255，边缘外的像素值为0，得到O度图片的轮廓提取图片与90度图片的轮廓提取图片。
4.根据权利要求2或3所述的基于复杂背景下可见外壳的三维重建方法，其特征在于:通过O度图片的轮廓提取图片与90度图片的轮廓提取图片之间的约束关系计算数码相机的参数矩阵和焦距，完成自标定。
5.根据权利要求2或3所述的基于复杂背景下可见外壳的三维重建方法，其特征在于:通过O度图片的轮廓提取图片与90度图片的轮廓提取图片的可见外壳算法计算物体的合理逼近模型。
【文档编号】G06T17/00GK103854301SQ201210495803
【公开日】2014年6月11日 申请日期:2012年11月29日 优先权日:2012年11月29日
【发明者】张志佳, 王博实 申请人:沈阳工业大学