一种基于多台rgb-d摄像机下的足部表面三维信息获取方法
【专利摘要】本发明涉及一种基于多台RGB-D摄像机下的足部表面三维信息获取方法，该方法将多台RGB-D摄像机所搭建的全方位测量系统应用到足部表面三维信息的快速获取与足部表面模型的快速重建中，可在不借助任何标记点的情况下，一次性采集完整的足部曲面三维坐标。利用多RGB-D摄像机全方位测量系统快速获得各个视角下脚型曲面的深度信息，并转换为三维点云，通过对不同RGB-D摄像机获得的局部足部曲面三维点云进行配准，重建出脚型曲面的全局模型，并可根据实际需要，提取测量脚型特征参数。该方法不仅重建速度快，测量效率高，而且易于实现，测量成本低，使用效果好。
【专利说明】—种基于多台RGB-D摄像机下的足部表面三维信息获取方法
【技术领域】
[0001]本发明涉及三维曲面测量【技术领域】，特别是一种基于多台RGB-D摄像机下的足部表面二维信息获取方法。
【背景技术】
[0002]近年来，许多工业生产线系统正在由大规模批量型生产向用户定制的、个性化、小规模型生产转变。而快速设计生产技术对个性化生产系统不可或缺。在一个典型的面向客户定制要求的生产系统中，客户在线地提供所需产品的详细数据，随后下订单。几天后客户定购的产品就能按照客户的个性要求被生产出来，邮寄到客户手中。我们将这种思想应用到我们的制鞋工业。要制作出为每一位顾客量身定制的个性化鞋子，快速为顾客设计、生产出个性化的鞋楦是关键。每个人的脚型、尺寸以及个人偏好的款式大相径庭，因而面向客户的鞋业生产系统应用将展现出巨大的生命力。
[0003]个性化定制的制鞋系统的优势在于顾客在满足合脚、舒适要求的同时还可以选择自己喜欢的鞋子样式。从制造商的角度来看，个性化定制的制鞋系统不仅意味着更小的库存，而且扫描获得的顾客足部三维模型和相关信息也可以保存下来备用。个性化定制的制鞋系统不仅能够实现消费者的鞋类定制、智能选鞋，而且在矫形鞋定制、假肢生产、医学诊断和手术辅助等医疗领域也有重要应用。
[0004]准确和高效率的脚型测量方法不仅是鞋楦设计和方便人们选鞋、穿鞋不可缺少的，而且也是大规模脚型测量、脚型矫正等所必须的。现有的脚型测量方法分接触式测量和非接触式测量两种。
[0005]1、接触式测量:接触式测量主要是使用一些机械式的手工测量仪器或由接触式传感器组成的电子测量仪器，其中以手工测量为主。手工测量的工具主要包括:布带尺、钢卷尺、划笔、量高仪、踏脚印器和量脚卡尺。手工测量从测量方法上又分为直接法和间接法。直接法比较简单。首先用笔在脚的特征部位上标出有关测量点，利用布带尺、量高仪等工具可以直接测量出脚的各个有关数据。间接法利用脚印器踏出脚印并绘制出脚的轮廓线，然后再进行测量分析。接触式脚型测量的优点是投资少、操作步骤简单、灵活性强、方便携带、便于短时间内在不同的测量地点进行测量。缺点是接触式测量方式会对脚部产生压力，引起脚部形变，造成测量误差，测量时间长，而且测量的脚部参数有限，有些较复杂的参数或曲线无法测量，工作效率低、劳动强度大、重复再现性差、测量者之间的误差大，同时，这种测量方式难以获得脚部整体的数据信息。也不能对脚的截面形态进行数据采集。无法进行更深层次的研究。
[0006]2、非接触式测量:在计算机、光学等学科发展的带动下。光学非接触式测量作为近年来兴起的一门测量技术受到越来越多的重视。目前，光学非接触式测量方法主要有构光测量、立体视觉测量、激光测量等。
[0007](I)结构光测量:结构光三维视觉基于光学三角法原理，其基本原理是由结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器(如摄像机)获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。结构光测量方法具有计算简单、体积小、价格低、便于安装和维护的特点，在实际三维轮廓测量中被广泛使用。但是测量精度受物理光学的限制，存在遮挡问题，测量精度与速度相互矛盾，难以同时得到提闻。
[0008](2)立体视觉测量:在计算机视觉系统中，利用两台位置相对固定的摄像机或一个摄像机在两个不同的位置，从不同角度同时获取同一景物的两幅图像，通过计算空间点在两幅图像中的视差来获得其三维坐标值。立体视觉方法最大的特点是拍摄速度快，可以在不到一秒时间内完成拍摄任务，适合于需要快速测量场合。但立体视觉方法数据处理量大，处理时间长，而且需要进行两幅图像的匹配，在物体表面灰度和面形变化不大时，会影响匹配和测量精度。
[0009](3)激光测量:由一个多边形镜头定位的一根直线可视激光束，通过高频扫描来对物体表面进行扫描测量；应用三角定律，激光束在物体表面经反射后由激光接受器接收，然后经计算获得物体表面的坐标。激光扫描可以可以精确地提供三维环境信息，数据处理简单，受环境影响小。但成本高，精度、测距与扫描速率存在矛盾关系。
[0010]近年来，传统二维图像/视频帧的应用遇到瓶颈，RGB-D深度摄像机能够获取图像/视频帧的深度信息，具有解决真实世界中计算机视觉问题的巨大潜力。随着传感器价格的下降和计算机视觉技术的发展，RGB-D深度摄像机(如微软的Kinect、华硕的Xt1n等)取得了巨大的成功，在研究领域得到了较多研究，其被应用到三维重建、姿态识别、对象识别、场景理解和动作识别等研究课题中。
[0011]RGB-D深度摄像机包含3个摄像机，包含RGB彩色摄像机、红外线发射器和红外线COMS摄像机。RGB-D摄像机可以同时获取RGB图像和深度图像数据。RGB-D摄像机深度成像的原理是利用光编码(Light Coding)技术,其中，红外线发射器与红外线COMS摄像机成一定角度对准目标场景，而不均匀透明介质放置于激光发射器镜头前，红外线发射器发射一束红外线透过不均匀介质后在场景中形成激光散斑，CMOS红外接收器获取散斑图像，并根据RGB-D摄像机内部参数运用数学三角关系换算成深度值。最终生成深度图像流，结合深度图图像坐标和小孔成像原理，可以实时获取测量视场内的物体表面的三维信息。
[0012]与人工测量和其他三维扫描测量相比，RGB-D摄像机深度相机的优势在于:(I)无需借助识别其它标记点便可一次性获取场景中所有点的三维信息；(2)采集数据的实时性好，三维模型重建速度快；(3)RGB-D摄像机拍摄获取的深度图分辨率较高；(4)获取深度信息时受光照和表面纹理影响小；(5)RGB-D摄像机价格低廉，使用成本低；(6)用户可根据需要，增加RGB-D摄像机的数量，从而获得更多的细节信息。
【发明内容】
[0013]本发明的目的在于提供一种基于多台RGB-D摄像机下的足部表面三维信息获取方法，该方法不仅重建速度快，测量效率高，而且易于实现，测量成本低，使用效果好。
[0014]为实现上述目的，本发明的技术方案是:
一种基于多台RGB-D摄像机下的足部表面三维信息获取方法，其特征在于，包括以下步骤: (1)RGB-D摄像机标定:根据用户需要，选取至少3台数量的RGB-D摄像机，进行空间排布，分别标定多台RGB-D摄像机获得内部参数，并以其中一台RGB-D摄像机为基准，采用两两标定的方法进行标定，获得它们之间的位置关系；
(2)重建三维模型:利用RGB-D摄像机获取深度图像，并根据内部校准矩阵，将深度图像变换为三维顶点，得到三维模型。将三维模型进行分割、去噪处理，获得局部足部曲面三维模型，根据RGB-D摄像机之间的相对位置，进行配准，获得完整的足部曲面三维模型；
(3)脚型参数测量:将完整的足部曲面三维模型导入到三维模型处理软件中，获取足部曲面三维信息，提取特征并测量出相应的脚型参数。
[0015]进一步的，所述步骤(I)包括以下步骤:
(1.1)选取不同个数的RGB-D摄像机可获得不同的细节信息，用户可根据需要，选取至少3台数量的RGB-D摄像机，根据RGB-D的视场角进行空间排布，使所有视点下获取的信息的组合能够完整表达整个足部表面信息；
(1.2)分别标定多台RGB-D摄像机的深度摄像机和彩色摄像机，获取它们的内部参数:焦距、主点坐标、畸变参数；
(1.3)选定其中一个RGB-D摄像机作为基准摄像机，其他RGB-D摄像机分别与基准摄像机进行外部参数的标定，获得其它RGB-D摄像机与基准摄像机之间的旋转矩阵R和平移矩阵T，从而得到RGB-D摄像机之间的空间位置关系，将多台RGB-D摄像机的坐标系统一到基准摄像机的坐标系下。
[0016]进一步的，所述步骤(2)包括以下步骤:
(2.1)获取深度数据:在不粘贴任何标记点的情况下，直接利用RGB-D摄像机散斑测距原理快速获取脚型三维曲面的深度信息，并将深度信息保存为深度图像；
(2.2)重建三维模型:根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据；
(2.3)点云分割、去噪:将不同RGB-D摄像机获得的三维模型通过分割处理获得局部足部曲面三维模型，通过平滑算法进行去噪处理，将不包含足部信息的点去除，从而获得更优的局部足部曲面三维模型；
(2.4)点云配准:根据RGB-D摄像机之间的相对位置变换矩阵，将处理后的局部足部曲面三维模型进行配准，从而获得完整的足部曲面三维模型。
[0017]进一步的，所述步骤(3)包括以下步骤:
(3.1)提取脚型特征:将完整的足部曲面三维数据导入到三维模型处理软件中，重建出足部的完整三维模型，根据实际测量需要，提取出相应特征点、线、局部自由曲面在三维模型中的位置；(3.2)测量脚型参数:根据提取的脚型特征，利用三维模型处理软件中的测量工具，对足长、足宽、足趾高、足弓围、内踝高、外踝高信息进行测量分析，获取相应的脚型特征参数，对局部自由曲面进行拟合，获取局部曲面模型。
[0018]本发明的优点:本发明重建速度快，能够一次性获得用户脚型，不用考虑在扫描过程中因用户足部移动而使重建出的模型产生偏差；采集实时性好；RGB-D摄像机采用LightCoding技术，使用的是连续照明，不需要特制的感光材料，只需普通的CMOS感光芯片，能廉价而有效的捕捉到深度信息，因此可大大降低成本；与传统的结构光技术不同的，RGB-D摄像机的光源打出去的并不是周期性变化的二维的图像编码，而是具有三维纵深的激光散斑，受光照和物体表面纹理的影响小；测量效率高，具有很强的实用性和广阔的应用前景。
【专利附图】
【附图说明】
[0019]图1是本发明实施例中三个RGB-D摄像机测量脚型曲面模型图。
[0020]图2是本发明实施例中需要测量的脚型参数示意图。
[0021 ] 其中:I代表RGB-D摄像机I，2代表RGB-D摄像机2，3代表RGB-D摄像机3 (基准)。
【具体实施方式】
[0022]，本发明利用RGB-D摄像机快速获取足部三维脚型信息及三维重建模型的测量方法，包括以下步骤:
(I)RGB-D摄像机标定:根据用户需要，选取不同数量的RGB-D摄像机(至少3台)，进行空间排布。分别标定多台RGB-D摄像机获得内部参数，并以其中一台RGB-D摄像机为基准，采用两两标定的方法进行标定，获得它们之间的位置关系。
[0023]具体包括以下步骤:
(1.1)选取不同个数的RGB-D摄像机可获得不同的细节信息，用户可根据需要，选取不同数量的RGB-D摄像机(至少3台)，根据RGB-D的视场角进行空间排布，使所有视点下获取的信息的组合能够完整表达整个足部表面信息；
(1.2)分别标定多台RGB-D摄像机的深度摄像机和彩色摄像机，获取它们的内部参数:焦距、主点坐标、畸变参数；
(1.3)选定其中一个RGB-D摄像机作为基准摄像机，其他RGB-D摄像机分别与基准摄像机进行外部参数的标定，获得其它RGB-D摄像机与基准摄像机之间的旋转矩阵R和平移矩阵T，从而得到RGB-D摄像机之间的空间位置关系，将多台RGB-D摄像机的坐标系统一到基准摄像机的坐标系下。
[0024](2)重建三维模型:利用RGB-D摄像机获取深度图像，并根据内部校准矩阵，将深度图像变换为三维顶点，得到三维模型。将三维模型进行分割、去噪处理，获得局部足部曲面三维模型。根据RGB-D摄像机之间的相对位置，进行配准，获得完整的足部曲面三维模型。
[0025]具体包括以下步骤:
(2.1)获取深度数据:在不粘贴任何标记点的情况下，直接利用RGB-D摄像机散斑测距原理快速获取脚型三维曲面的深度信息，并将深度信息保存为深度图像；
(2.2)重建三维模型:根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据；
(2.3)点云分割、去噪:将不同RGB-D摄像机获得的三维模型通过分割处理获得局部足部曲面三维模型，通过平滑算法进行去噪处理，将不包含足部信息的点去除，从而获得更优的局部足部曲面三维模型；
(2.4)点云配准:根据RGB-D摄像机之间的相对位置变换矩阵，将处理后的局部足部曲面三维模型进行配准，从而获得完整的足部曲面三维模型。
[0026](3)脚型参数测量:将完整的足部曲面三维模型导入到三维模型处理软件中，获取足部曲面三维信息，提取特征并测量出相应的脚型参数，如足长、足宽、足趾高、足弓围、内踩闻、外踩闻等。
[0027]具体包括以下步骤:
(3.1)提取脚型特征:将完整的足部曲面三维数据导入到三维模型处理软件中，重建出足部的完整三维模型，根据实际测量需要，提取出相应特征点、线、局部自由曲面在三维模型中的位置；(3.2)测量脚型参数:根据提取的脚型特征，利用三维模型处理软件中的测量工具，对足长、足宽、足趾高、足弓围、内踝高、外踝高等信息进行测量分析，获取相应的脚型特征参数，对局部自由曲面进行拟合，获取局部曲面模型。
[0028]下面结合附图及具体实施例对本发明作进一步说明。
[0029]1、如图1所示,RGB-D摄像机选用微软开发的Kinect for windows型号RGB-D摄像机。
[0030]2、选择三台Kinect for windows型号RGB-D摄像机。分别标定这三台Kinect forwindows摄像机获得内部参数,并以其中一台Kinect for windows摄像机为基准,采用两两标定的方法进行标定，获得它们之间的位置关系。
[0031]2.1选取三台Kinect for windows型号摄像机,安装在垂直于地面并相互间成120°排布，选择一个合适的地方用于放置测量脚，使得三个不同视点下获取的信息进行组合能够完整表达整个足部表面信息。
[0032]2.2分别标定三台Kinect for windows摄像机的深度摄像机和彩色摄像机,获取它们的内部参数:焦距、主点坐标、畸变参数。
[0033]2.3选定最下方的Kinect for windows摄像机作为基准摄像机，其他两台Kinect for windows摄像机分别与基准摄像机进行外部参数的标定，获得其它Kinectfor windows摄像机与基准摄像机之间的旋转矩阵R和平移矩阵T,从而得到Kinect forwindows摄像机之间的空间位置关系,将三台Kinect for windows摄像机的坐标系统一到基准摄像机的坐标系下。
[0034]3、利用Kinect for windows摄像机获取深度图像，并根据内部校准矩阵，将深度图像变换为三维顶点，得到三维模型。将三维模型进行分割、去噪处理，获得局部足部曲面三维模型。根据Kinect for windows摄像机之间的相对位置,进行配准,获得完整的足部曲面三维模型。
[0035]3.1在不粘贴任何标记点的情况下,直接利用Kinect for windows摄像机散斑测距原理快速获取脚型三维曲面的深度信息，并将深度信息保存为深度图像。
[0036]3.2根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据。
[0037]3.3将不同Kinect for windows摄像机获得的三维模型通过分割处理获得局部足部曲面三维模型，通过平滑算法进行去噪处理，将不包含足部信息的点去除，从而获得更优的局部足部曲面三维模型。
[0038]3.4根据Kinect for windows摄像机之间的相对位置变换矩阵,将处理后的局部足部曲面三维模型进行配准，从而获得完整的足部曲面三维模型。
[0039]4、将完整的足部曲面三维模型导入到三维模型处理软件中，获取足部曲面三维信息，提取特征并测量出相应的脚型参数，如足长、足宽、足趾高、足弓围、内踝高、外踝高等。
[0040]4.1将完整的足部曲面三维数据导入到三维模型处理软件中，重建出足部的完整三维模型，根据实际测量需要，提取出相应特征点、线、局部自由曲面在三维模型中的位置；图2为一些常用的脚型特征参数定义:L1 一足长；L2—足宽；H1—足趾高；H2—外踝高；H3—内踩闻；C1一足弓围。
[0041]4.2根据提取的脚型特征，利用三维模型处理软件中的测量工具，对足长、足宽、足趾高、足弓围、内踝高、外踝高等信息进行测量分析，获取相应的脚型特征参数，对局部自由曲面进行拟合，获取局部曲面模型。
[0042]以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
【权利要求】
1.一种基于多台RGB-D摄像机下的足部表面三维信息获取方法，其特征在于，包括以下步骤: (1)RGB-D摄像机标定:根据用户需要，选取至少3台数量的RGB-D摄像机，进行空间排布，分别标定多台RGB-D摄像机获得内部参数，并以其中一台RGB-D摄像机为基准，采用两两标定的方法进行标定，获得它们之间的位置关系； (2)重建三维模型:利用RGB-D摄像机获取深度图像，并根据内部校准矩阵，将深度图像变换为三维顶点，得到三维模型； 将三维模型进行分割、去噪处理，获得局部足部曲面三维模型，根据RGB-D摄像机之间的相对位置，进行配准，获得完整的足部曲面三维模型； (3)脚型参数测量:将完整的足部曲面三维模型导入到三维模型处理软件中，获取足部曲面三维信息，提取特征并测量出相应的脚型参数。
2.根据权利要求1所述的一种基于多台RGB-D摄像机下的足部表面三维信息获取方法，其特征在于，所述步骤(I)包括以下步骤: (1.1)选取不同个数的RGB-D摄像机可获得不同的细节信息，用户可根据需要，选取至少3台数量的RGB-D摄像机，根据RGB-D的视场角进行空间排布，使所有视点下获取的信息的组合能够完整表达整个足部表面信息； (1.2)分别标定多台RGB-D摄像机的深度摄像机和彩色摄像机，获取它们的内部参数:焦距、主点坐标、畸变参数； (1.3)选定其中一个RGB-D摄像机作为基准摄像机，其他RGB-D摄像机分别与基准摄像机进行外部参数的标定，获得其它RGB-D摄像机与基准摄像机之间的旋转矩阵R和平移矩阵T，从而得到RGB-D摄像机之间的空间位置关系，将多台RGB-D摄像机的坐标系统一到基准摄像机的坐标系下。
3.根据权利要求1所述的一种基于多台RGB-D摄像机下的足部表面三维信息获取方法，其特征在于，所述步骤(2)包括以下步骤: (2.1)获取深度数据:在不粘贴任何标记点的情况下，直接利用RGB-D摄像机散斑测距原理快速获取脚型三维曲面的深度信息，并将深度信息保存为深度图像； (2.2)重建三维模型:根据内部校准矩阵将图像坐标系下的深度图像变换为摄相机坐标系下的三维顶点，根据顶点坐标表示出法线贴图，并根据刚体变换矩阵将三维顶点和法线贴图转换为全局坐标，获取足部表面的三维点云数据； (2.3)点云分割、去噪:将不同RGB-D摄像机获得的三维模型通过分割处理获得局部足部曲面三维模型，通过平滑算法进行去噪处理，将不包含足部信息的点去除，从而获得更优的局部足部曲面三维模型； (2.4)点云配准:根据RGB-D摄像机之间的相对位置变换矩阵，将处理后的局部足部曲面三维模型进行配准，从而获得完整的足部曲面三维模型。
4.根据权利要求1所述的一种基于多台RGB-D摄像机下的足部表面三维信息获取方法，其特征在于，所述步骤(3)包括以下步骤: (3.1)提取脚型特征:将完整的足部曲面三维数据导入到三维模型处理软件中，重建出足部的完整三维模型，根据实际测量需要，提取出相应特征点、线、局部自由曲面在三维模型中的位置；(3.2)测量脚型参数:根据提取的脚型特征，利用三维模型处理软件中的测量工具，对足长、足宽、足趾高、足弓围、内踝高、外踝高信息进行测量分析，获取相应的脚型特征参数，对局部自由曲面进行拟合，获取局部曲面模型。
【文档编号】G06T17/00GK104126989SQ201410367191
【公开日】2014年11月5日 申请日期:2014年7月30日 优先权日:2014年7月30日
【发明者】何炳蔚, 雷阿唐, 沈恒华, 赵强 申请人:福州大学