一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
【专利摘要】本发明涉及一种利用RGB-D摄像机快速获取足部三维脚型信息及三维重建模型的测量方法，该方法将RGB-D摄像机应用到足部表面三维信息的快速获取与足部表面模型的精细重建中，在不借助任何标记点的情况下，快速采集足部曲面的三维坐标。利用RGB-D摄像机扫描脚型曲面，实时获取深度信息，融合不同时序的深度图数据并重建出脚型曲面的全局模型，并可根据实际需要，提取测量脚型特征参数。该方法不仅测量效率高，实时性好，而且易于实现，测量成本低，容易操作，使用效果好。
【专利说明】—种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法
【技术领域】
[0001]本发明涉及三维曲面测量【技术领域】，特别是一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法。
【背景技术】
[0002]目前，鞋型鞋号是依据大量统计、分析、归纳出的标准鞋型系列来设计的，这使得有相当一部分正常脚型者，他们应穿的鞋型鞋号处于标准鞋型鞋号的中间值上，但也只能穿用近似的鞋型鞋号。而绝大多数畸形脚型者，则根本就没有适合的鞋型鞋号。据调查统计，我国畸形脚的比例约占15%左右，其中后天性畸形居多，大多是因为鞋不适合造成的。因此根据不同的脚型设计出更适合的鞋，并实现这个过程的现代化、自动化，使穿鞋由“大众系列化”变为“个体适合化”的转变一直是制鞋业追求的目标之一。
[0003]准确和高效率的脚型测量方法不仅是鞋楦设计和方便人们选鞋、穿鞋不可缺少的，而且也是大规模脚型测量、脚型矫正等所必须的。现有的脚型测量方法分接触式测量和非接触式测量两种:
1、接触式测量:接触式测量主要是使用一些机械式的手工测量仪器或由接触式传感器组成的电子测量仪器，其中以手工测量为主。手工测量的工具主要包括:布带尺、钢卷尺、划笔、量高仪、踏脚印器和量脚卡尺。手工测量从测量方法上又分为直接法和间接法。直接法比较简单。首先用笔在脚的特征部位上标出有关测量点，利用布带尺、量高仪等工具可以直接测量出脚的各个有关数据。间接法利用脚印器踏出脚印并绘制出脚的轮廓线，然后再进行测量分析。接触式脚型测量的优点是投资少、操作步骤简单、灵活性强、方便携带、便于短时间内在不同的测量地点进行测量。缺点是接触式测量方式会对脚部产生压力，引起脚部形变，造成测量误差，测量时间长，而且测量的脚部参数有限，有些较复杂的参数或曲线无法测量，工作效率低、劳动强度大、重复再现性差、测量者之间的误差大，同时，这种测量方式难以获得脚部整体的数据信息。也不能对脚的截面形态进行数据采集。无法进行更深层次的研究；
2、非接触式测量:在计算机、光学等学科发展的带动下。光学非接触式测量作为近年来兴起的一门测量技术受到越来越多的重视。目前，光学非接触式测量方法主要有构光测量、立体视觉测量、激光测量等:
(1)结构光测量:结构光三维视觉基于光学三角法原理，其基本原理是由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器(如摄像机)获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。结构光测量方法具有计算简单、体积小、价格低、便于安装和维护的特点，在实际三维轮廓测量中被广泛使用。但是测量精度受物理光学的限制，存在遮挡问题，测量精度与速度相互矛盾，难以同时得到提高；
(2)立体视觉测量:在计算机视觉系统中，利用两台位置相对固定的摄像机或一个摄像机在两个不同的位置，从不同角度同时获取同一景物的两幅图像，通过计算空间点在两幅图像中的视差来获得其三维坐标值。立体视觉方法最大的特点是拍摄速度快，可以在不到一秒时间内完成拍摄任务，适合于需要快速测量场合。但立体视觉方法数据处理量大，处理时间长，而且需要进行两幅图像的匹配，在物体表面灰度和面形变化不大时，会影响匹配和测量精度；
(3)激光测量:由一个多边形镜头定位的一根直线可视激光束，通过高频扫描来对物体表面进行扫描测量；应用三角定律，激光束在物体表面经反射后由激光接受器接收，然后经计算获得物体表面的坐标。激光扫描可以精确地提供三维环境信息，数据处理简单，受环境影响小。但成本高，精度、测距与扫描速率存在矛盾关系。
[0004]获取足部三维模型不仅能够实现消费者的鞋类定制、智能选鞋，而且在矫形鞋定制、假肢生产、医学诊断和手术辅助等医疗领域也有重要应用:
1、矫形鞋定制:采集患者脚型数据并传到矫形中心，矫形中心根据患者的脚型数据生产加工出矫形鞋；
2、假肢生产:扫描患者的另一只健康的脚，快速得到这只脚的完整三维模型，然后利用镜像得到另外一只脚的三维模型，再利用得到的脚的模型数据生产出假肢，确保两只脚外形相同；
3、医学诊断:快速采集患者的脚底三维数据，足科医生可根据采集到的三维数据准确判断患者的足病类型，以便于采取更科学有效的治疗方法；
4、手术辅助:采集患者的脚部三维数据，通过在电脑中仔细观察患者脚型，研究最佳手术方案，确保手术的成功率。
[0005]利用深度相机进行场景深度信息测量是近年来兴起的技术，这主要得益于深度图摄像机的成本降低，特别是微软推出的一款RGB-D摄像机:Kinect，极大地激发了研究者将RGB-D摄像机应用到医学、娱乐、机械等各研究领域。
[0006]Kinect包含3个摄像机，中间的镜头为RGB彩色摄像机，左右两边镜头分别为红外线发射器和红外线COMS摄像机，传感器可以同时获取RGB和深度图像数据。Kinect深度成像的原理是利用光编码(Light Coding)技术,其中，红外线发射器与红外线COMS摄像机成一定角度对准目标场景，而不均匀透明介质放置于激光发射器镜头前，红外线发射器发射一束红外线透过不均匀介质后在场景中形成激光散斑，CMOS红外接收器获取散斑图像，并根据Kinect内部参数运用数学三角关系换算成深度值。传感器以每秒30帧的速度生成深度图像流，结合深度图图像坐标和小孔成像原理，实时获取测量视场内的物体表面的三维信息。
[0007]与人工测量和其他三维扫描测量相比，Kinect深度相机的优势在于:(I)无需借助识别其它标记点便可一次性获取场景中所有点的三维信息；(2)采集数据的实时性好；
(3)Kinect拍摄获取的深度图分辨率较高；(4)获取深度信息时受光照和表面纹理影响小；
(5)Kinect价格低廉，使用成本低；(6)操作简单，用户可手持摄像机进行扫描。
【发明内容】
[0008]针对现有技术的缺陷，本发明的目的在于提供一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法，该方法不仅测量效率高，实时性好，而且易于实现，测量成本低，容易操作，使用效果好。[0009]为实现上述目的，本发明的技术方案的特征在于:
(1)利用RGB-D摄像机散斑测距原理对脚型三维曲面进行测量=RGB-D摄像机红外发射器发射出雷射光，通过红外发射器镜头前的光栅，均匀地投射到足部表面，足部表面的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过计算便得到足部深度图像的信息；
(2)不借助任何标记点，手持RGB-D摄像机自由扫描脚型曲面，实时获取深度数据的基础上，结合X、Y坐标信息，重建出脚型曲面的全局三维模型；同时利用图像超分辨率技术对深度图进行了细节优化，提高模型的重建细节；
(3)将三维模型导入到三维模型处理软件中，获取足部曲面三维信息并得到脚型特征参数，如足长、足宽、足趾高、足弓宽、足弓围、内踝高、外踝高、足跟宽、足后跟高等脚型参数。
[0010]所述步骤(2)包括以下步骤:
(2.1)在不粘贴任何标记点的情况下，根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据；
(2.2)使用迭代最近点算法匹配不同视角下的三维点云，逐帧计算不同朝向的点集的相关度，获得RGB-D摄像机的六自由度姿态(上下、左右、前后和俯仰、摇动、滚动)，采用体集成方法将已配准的点云数据进行处理，在全局坐标系中生成一个三维体素网格，并不断更新摄像机当前姿态，通过ICP (Iterative Closest Point,迭代最近点)算法实时融合新采集的三维点云数据，形成重建立方体模型；
(2.3)通过平滑算法进行了去噪，优化测量的三维数据，提高三维数据的精度，并利用图像超分辨率技术对深度图进行了细节优化，随着摄像机更接近脚面，通过使用新的更高精度的数据，脚型三维曲面会被持续优化，从而提高三维曲面的精度。
[0011]所述步骤(3)包括如下步骤:
(3.1)将权利要求书I中的步骤(2)获得的三维模型转换为STL点云格式；
(3.2)将STL格式的点云导入到三维模型处理软件中进行处理，将无用点剔除，保存整个足部的不规则曲面三维信息；
(3.3)将处理后的足部曲面三维信息导入到三维模型处理软件中，根据实际测量需要，提取出相应特征点、线、局部曲面在三维模型中的位置；
(3.4)根据提取的特征测量对象，利用软件的测量工具，对其进行长度、高度、宽度等参数的测量，获取相应的脚型特征参数。
[0012]相较于现有技术，本发明的有益效果是将RGB-D摄像机应用于获取脚型表面参数信息及快速重建中，其优点在于:
1)容易实现:只需一个RGB摄像机即可一次性采集到脚型三维曲面点的三维坐标；
2)采集实时性好=RGB-D摄像机采用光编码技术，使用的是连续照明，不需要特制的感光材料，只需普通的CMOS感光芯片，因此可大大降低成本；与传统的结构光技术不同的，RGB-D摄像机的光源打出去的并不是周期性变化的二维的图像编码，而是具有三维纵深的激光散斑，受光照和物体表面纹理的影响小；
3)容易操作:只需手持摄像机便可扫描出完整的脚型曲面；测量效率高，具有很强的实用性和广阔的应用前景。
【专利附图】
【附图说明】
[0013]图1是本发明实施例中RGB-D摄像机测量脚型曲面模型图。
[0014]图2是本发明实施例中需要测量的脚型参数示意图。
[0015]图3是本发明实施例中通过RGB-D摄像机获取的足部表面点云图(左)及三维重建模型图(右)。
【具体实施方式】
[0016]本发明利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法，包括以下步骤:
(1)利用RGB-D摄像机散斑测距原理对脚型三维曲面进行测量=RGB-D摄像机红外发射器发射出雷射光，通过红外发射器镜头前的光栅，均匀地投射到足部表面，足部表面的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过计算便得到足部深度图像的信息；
(2)不借助任何标记点，手持RGB-D摄像机自由扫描脚型曲面，实时获取深度数据的基础上，结合X、Y坐标信息，重建出脚型曲面的全局三维模型；同时利用图像超分辨率技术对深度图进行了细节优化，提高模型的重建细节；
(2.1)在不粘贴任何标记点的情况下，根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据；
(2.2)使用迭代最近点算法匹配不同视角下的三维点云，逐帧计算不同朝向的点集的相关度，获得RGB-D摄像机的六自由度姿态(上下、左右、前后和俯仰、摇动、滚动)，采用体集成方法将已配准的点云数据进行处理，在全局坐标系中生成一个三维体素网格，并不断更新摄像机当前姿态，通过ICP (Iterative Closest Point,迭代最近点)算法实时融合新采集的三维点云数据，形成重建立方体模型；
(2.3)通过平滑算法进行了去噪，优化测量的三维数据，提高三维数据的精度，并利用图像超分辨率技术对深度图进行了细节优化，随着摄像机更接近脚面，通过使用新的更高精度的数据，脚型三维曲面会被持续优化，从而提高三维曲面的精度；
(3)脚型参数测量:将三维模型导入到三维模型处理软件中，获取足部曲面三维信息，同时根据实际需要，提取并测量脚型特征参数，如足长、足宽、足趾高、足弓宽、足弓围、内踝高、外踝高、足跟宽、足后跟高等，具体包括如下步骤:
(3.1)将权利要求书I中的步骤(2)获得的三维模型转换为STL点云格式；
(3.2)将STL格式的点云导入到三维模型处理软件中进行处理，将无用点剔除，保存整个足部的不规则曲面三维信息；
(3.3)将处理后的足部曲面三维信息导入到三维模型处理软件中，根据实际测量需要，提取出相应特征点、线、局部曲面在三维模型中的位置；
(3.4)根据提取的特征测量对象，利用软件的测量工具，对其进行长度、高度、宽度等参数的测量，获取相应的脚型特征参数。[0017]下面结合附图及具体实施例对本发明作进一步说明。
[0018]1、如图1所示，RGB-D摄像机选用微软开发的Kinect型号RGB-D摄像机，将测量脚放到合适的地方。
[0019]2、分别标定Kinect的深度摄像机和彩色摄像机，获取它们的内部参数:焦距、主点坐标、畸变参数。
[0020]3、利用RGB-D摄像机散斑测距原理对脚型三维曲面进行测量，红外发射器发射出雷射光，通过红外发射器镜头前的光栅，均匀地投射到测量空间，测量空间的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过晶片的计算便得到深度图像。
[0021]4、手持RGB-D摄像机自由扫描脚型曲面，在实时获取深度数据的基础上，结合X、Y坐标信息，即可在不借助任何标记点的情况下，重建出脚型曲面的全局三维模型。同时利用图像超分辨率技术对深度图进行了细节优化，从而提高模型的重建细节表现；
4.1三维点云获取:在不粘贴任何标记点的情况下，根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据；
4.2多视角点云配准:使用迭代最近点算法匹配不同视角下的三维点云，逐帧计算不同朝向的点集的相关度，获得RGB-D摄像机的六自由度姿态(上下、左右、前后和俯仰、摇动、滚动)，采用体集成方法将已配准的点云数据进行融合处理，在全局坐标系中生成一个三维体素网格，并不断更新摄像机当前姿态，通过ICP (Iterative Closest Point,迭代最近点)算法实时融合新采集的三维点云数据，形成重建立方体模型；
4.3优化模型表面质量:通过平滑算法进行了去噪，优化测量的三维数据，提高三维数据的精度，并利用图像超分辨率技术对深度图进行了细节优化，随着摄像机更接近脚面，通过使用新的更高精度的数据，脚型三维曲面会被持续优化，从而提高三维曲面的精度。
[0022]5、将三维模型导入到三维模型处理软件中，获取足部曲面三维信息，同时根据实际需要，提取并测量脚型特征参数；
5.1将步骤(4)获得的三维模型转换为STL点云格式；
5.2将STL格式的点云导入到三维模型处理软件中进行处理，将无用点剔除，保存整个足部的不规则曲面三维信息；
5.3将处理后的足部曲面三维信息导入到三维模型处理软件中，根据实际测量需要，提取出相应特征点、线、局部曲面在三维模型中的位置，图2为一些常用的脚型特征参数定义；1一足宽；2—足弓宽；3—足跟宽；4一足长；5—足趾闻；6一足弓围；7—足后跟闻；8一内踝高；
5.4根据提取的特征测量对象，利用软件的测量工具，对其进行长度、高度、宽度等参数的测量，获取相应的脚型特征参数。
[0023]以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
【权利要求】
1.一种利用RGB-D摄像机测量足部三维脚型信息及三维重建模型的方法，其特征在于: (1)利用RGB-D摄像机散斑测距原理对脚型三维曲面进行测量=RGB-D摄像机红外发射器发射出雷射光，通过红外发射器镜头前的光栅，均匀地投射到足部表面，足部表面的粗糙物体反射，形成随机的散斑，再通过红外摄影机记录空间的每个散斑，通过计算便得到足部深度图像的信息； (2)不借助任何标记点，手持RGB-D摄像机自由扫描脚型曲面，实时获取深度数据的基础上，结合X、Y坐标信息，重建出脚型曲面的全局三维模型；同时利用图像超分辨率技术对深度图进行了细节优化，提高模型的重建细节； (3)将三维模型导入到三维模型处理软件中，获取足部曲面三维信息并得到脚型特征参数，如足长、足宽、足趾高、足弓宽、足弓围、内踝高、外踝高、足跟宽、足后跟高等脚型参数。
2.根据权利要求1所述的一种利用RGB-D摄像机快速获取足部三维脚型信息及三维重建模型的测量方法，所述步骤(2)其特征在于: (2.1)在不粘贴任何标记点的情况下，根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据； (2.2)使用迭代最近点算法匹配不同视角下的三维点云，逐帧计算不同朝向的点集的相关度，获得RGB-D摄像机的六自由度姿态(上下、左右、前后和俯仰、摇动、滚动)，采用体集成方法将已配准的点云数据进行处理，在全局坐标系中生成一个三维体素网格，并不断更新摄像机当前姿态，通过ICP (Iterative Closest Point,迭代最近点)算法实时融合新采集的三维点云数据，形成重建立方体模型； (2.3)通过平滑算法进行了去噪，优化测量的三维数据，提高三维数据的精度，并利用图像超分辨率技术对深度图进行了细节优化，随着摄像机更接近脚面，通过使用新的更高精度的数据，脚型三维曲面会被持续优化，从而提高三维曲面的精度。
3.根据权利要求1所述的一种利用RGB-D摄像机快速获取足部三维脚型信息及三维重建模型的测量方法，所述步骤(3)其特征在于: (3.1)将权利要求书I中的步骤(2)获得的三维模型转换为STL点云格式； (3.2)将STL格式的点云导入到三维模型处理软件中进行处理，将无用点剔除，保存整个足部的不规则曲面三维信息； (3.3)将处理后的足部曲面三维信息导入到三维模型处理软件中，根据实际测量需要，提取出相应特征点、线、局部曲面在三维模型中的位置； (3.4)根据提取的特征测量对象，利用软件的测量工具，对其进行长度、高度、宽度等参数的测量，获取相应的脚型特征参数。
【文档编号】G06T17/00GK103971409SQ201410216433
【公开日】2014年8月6日 申请日期:2014年5月22日 优先权日:2014年5月22日
【发明者】何炳蔚, 雷阿唐, 沈恒华, 赵强 申请人:福州大学