专利名称：基于图像分割和网格细分的脚型三维表面重建方法
技术领域：
本发明涉及三维表面重建的方法，特别是基于图像分割和网格细分的脚型三维表面重建方法，可用于脚型测量、鞋及楦定制、足部医疗等多个领域。
背景技术：
脚型表面三维重建的方法，目前较为流行的是激光测量等三坐标测量设备，但是这些三坐标测量设备往往输出离散点，需要后续的逆向工程处理才能得到目标对象的三维表面，并且不适用于 人体肌肤等对象的测量；而其他从图像重建目标的方法，往往思路单一，对不同形状的脚型适应性差、不能自动达到图像所提供信息量的最高重建精度。中国专利200510061271. 9面向稀疏网格的基于曲面细分的三维脚型数据测量方法，利用网格细分方法，在统计变形模型对脚型进行初估计之后，重建目标对象的细节部分，捕捉不同脚型的个性特点，能够根据多幅照片自动还原原真实脚型的三维表面，但诸多环节需要手工操作，没有实现全自动化，实用效果有限。
发明内容
本发明所要解决的技术问题在于，提供一种全自动化、能适应各种脚型、基于图像分割和网格细分的脚型三维表面重建方法，能保证重建表面完整、精确。为解决上述技术问题，本发明采用一种基于图像分割和网格细分的技术方案，其特征是包括有以下步骤
1)接收来自至少六个不同视角的相机所采集的视图像；
2)生成初始网格用鞋楦的统计变形模型拟合各视图像，生成了初步估计模型，并把初步估计模型转换成初始网格；
3)将网格投影到各视图像来分割图像；
4)采用特征检测算法，检测各视图像中的特征并切割特征生成平面特征点，其中特征检测算法采用多分辨率方法，分辨出的特征等级由特征检测算法的参数确定；
5)针对平面特征点，在其它视图像对应的图像分割区内搜索平面特征点的匹配点，生成新增空间点，然后用新增空间点细分网格，其中搜索特征点的匹配点结合了对极约束、空间网格对图像投影分割图像约束、光照一致性约束来保证匹配点的准确性；
6)不断减小特征检测算法参数，重复步骤3)、4)、5)直到图像中没有更细节的特征， 网格迭代细分逼近目标对象；
7)网格各顶点重定位至亚像素精度；
8)网格整理优化，生成Delaunay三角网格；
9)输出重建网格模型。本发明基于图像分割和网格细分的脚型三维表面重建方法，先采集视图像，然后对视图像进行网格重投影，再用多分辨率的图像特征提取方法提取特征，并把特征按距离分割成特征点，再提取各图像分块上的特征点重建空间点，利用新空间点细分网格，整个过程迭代进行，网格从粗变细，网格投影对图像的分割也逐步细化，所提取的特征逐渐细化， 网格逐步逼近目标对象的过程也是从大特征到小特征自动进行特征重建的过程。这种方法能重建不同形状的脚型、能自动达到图像可分辨特征的最大分辨精度，与图像的信息量是自动适应的，并且可以在网格上敷贴纹理，重建成具有色彩等信息的三维模型，具有明显的优势。本发明还具有以下优点
1)不需要激光等设备，只需要多个相机及计算机等硬件，成本低廉；
2)不需要扫描，多个相机同时成像，数据采集步骤上耗时少，对人体等生物进行测量时特别适合；
3)统计变形模型完成对目标脚型的初始估计，捕捉目标脚型的大致外形轮廓，而本发明从统计变形模型开始进行处理，从粗到精地捕捉目标脚型的特征，自动重建到图像信息所能提供的最细节特征，与图像内容是自动适应的；
4)从粗到精地捕捉目标脚型特征的处理顺序，使得重建网格从粗到精自动捕捉目标对象的表面特征，与之相配合的网格生长机制保证网格的拓朴结构能自动与目标对象的外形一致；
5)把网格重投影回各视图像，网格投影分割图像，并且这种方法分割的图像区域，不同视之间是相互一致的，同一空间区域在不同视被划分成同一平面分区，能够抗仿射变换，在为特征点搜索匹配点时，缩小了范围；并且由此匹配出的新增空间点就细分此三角形，无需搜索。因此这种方法降低了生成错误点的机率，提高了处理速度，增加了重建的精度；
6)统计变形模型、网格细分、图像分块与图像特征检测四个方法相互配合，保证网格从粗到精地捕捉目标脚型的特征、每一等级上有特征在不同视图像上的分块能相互自动吻合、检测到相应等级的图像特征，然后用与特征等级相配合的半径去切割特征，生成平面特 iiE ’
7)采用了对极约束、空间网格对图像投影分割图像约束、光照一致性约束等多种约束来保证匹配点的准确性，提高新增空间点的可靠性。
图1为本发明方法流程图； 图2为本发明细化的方法流程图3为三角形的可见视与主视的示意图； 图4为特征点与匹配点的约束关系示意图。
具体实施例方式—种基于图像分割和网格细分的脚型三维表面重建方法的具体实施方式
，如图1、 图2所示，包括有以下步骤
1) 接收来自至少六个不同视角的相机所采集的视图像； 为了分析相机采集视图像的位置布置问题，对人眼的观察机制进行总结，正常状态时观察人时只需要正面一张照片，就可得知此人是谁；但即使是熟人，如果仅有特征不明显的侧面照片，那么就很难猜到此人是谁的内容；如果是背面照片，更难得知，这说明不同的视有不同的信息量，从信息量丰富的视可以获得较多的三维重建线索，因此，视布置的主要任务就是让每个视包含的信息尽量多，视间重复的信息尽量少。对于鞋楦样本的统计变形模型有以下关系式中P是主形状因子，b3D是主形状因子向量，SP0是平均鞋楦，SPi为样本鞋楦。每只鞋楦的形状分成共性和个性两部分，SPtlR表共性部分，pb3DR表个性部分。主形状因子是从鞋楦样本集中各个样本去除掉共性之后得到个性部分的变化因子，主形状因子按主形状因子向量b3D进行线性组合得到个性形状部分。主形状因子向量b3D发生变化，对应模型的个性部分发生变化，再加上共性部分就成为一只鞋楦。统计变形模型中的主形状因子向量b3D有许可变化范围，这种变化范围限定了模型还具有鞋楦的形状。一组主形状因子向量b3D对应一个唯一的形状。因此，能尽量反映地主形状因子向量b3D的视就是信息含量大的视。相机布置就是取信息含量尽量大、并且视间信息冗余尽量少的相机位置。
权利要求
1. 一种基于图像分割和网格细分的脚型三维表面重建方法，其特征是包括有以下步骤1)接收来自至少六个不同视角的相机所采集的视图像；2)生成初始网格用鞋楦的统计变形模型拟合各视图像，生成了初步估计模型，并把初步估计模型转换成初始网格；3)将网格投影到各视图像来分割图像；4)采用特征检测算法，检测各视图像中的特征并切割特征生成平面特征点，其中特征检测算法采用多分辨率，分辨出的特征等级由特征检测算法的参数确定；5)针对平面特征点，在其它视图像对应的图像分割区内搜索平面特征点的匹配点，生成新增空间点，然后用新增空间点细分网格，其中搜索特征点的匹配点结合了对极约束、空间网格对图像投影分割图像约束、光照一致性约束来保证匹配点的准确性；6)不断减小特征检测算法参数，重复步骤3)、4)、5)直到图像中没有更细节的特征， 网格迭代细分逼近目标对象；7)网格各顶点重定位至亚像素精度；8)网格整理优化，生成Delaunay三角网格；9)输出重建网格模型。
2.根据权利要求1所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是所述步骤5)中优先用最靠近空间三角形中心的新增空间点细分空间三角形，然后其余新增空间点再细分被分解出的三角形，保证每次细分后网格中各个三角形的大小相近、三角形之间不相互纠缠。
3.根据权利要求1或2所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是所述步骤5)中不同视的平面特征点与匹配点映射产生的多个空间点的中心点作为新增空间点。
4.根据权利要求1或2所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是所述步骤5)中还包括有对网格边和网格点优化选择的过程检测网格边在视图像的投影，限制最长边和最短边的比例，如果边长超过比例，则在长边的1/3-2/3范围内，取灰度梯度最大值的位置作为切割点；删除接近网格点投影的一定范围内的切割点。
5.根据权利要求3所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中还包括有对网格边和切割点优化选择的过程检测网格边在视图像的投影，限制最长边和最短边的比例，如果边长超过比例，则在长边的1/3-2/3范围内，取灰度梯度最大值的位置作为切割点；删除接近网格点投影的一定范围内的切割点。
6.根据权利要求1或2所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。
7.根据权利要求3所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。
8.根据权利要求4所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。
9.根据权利要求5所述的基于图像分割和网格细分的脚型三维表面重建方法，其特征是在所述步骤5)中计算现有空间网格中每个三角形在所述步骤1)中至少六个不同视角中的可计算视和主视，在每个三角形的主视中进行以下处理对主视中相应投影三角形内的特征点，在其它可计算视中寻找匹配点，特征点与匹配点生成新增空间点，然后用新增空间点细分网格。
全文摘要
本发明涉及一种基于图像分割和网格细分的脚型三维表面重建方法，对鞋楦样本集进行统计分析得到统计变形模型，用多个相机获得人脚的图像，再用统计模型拟合脚型图像，得到稀疏的网格模型，再从各个图像中分割出图像特征点，并把平面特征点还原成空间点，最后用空间特征点细分网格模型并迭代进行，从而得到与目标对象一致的脚型模型。本发明不需要在脚上设置标记点，也不需要高精度的激光测量设备，不需要人工参与，只使用相机和计算机等器件，重建任务由软件全自动完成。重建网格能够自动与目标脚型的形状相一致，能够自动捕捉到图像中的细节特征，能够与图像提供的信息自动适应。
文档编号G06T17/00GK102222357SQ20101014658
公开日2011年10月19日 申请日期2010年4月15日 优先权日2010年4月15日
发明者罗胜 申请人:温州大学