从2d图像序列导出准确身体尺寸测量的系统和方法
【技术领域】
[0001]本发明涉及身体扫描和服装系统领域。更具体地，本发明涉及用于身体扫描以通过自动尺寸推荐和增强现实可视化改善服装购买体验的系统和方法。
【背景技术】
[0002]全身扫描仪——激光扫描仪/深度摄像机阵列(比如微软公司的Kinect)可以被用于捕捉身体表面上的三维(3D)点，它们可以被用于将身体形状表示为点形式(例如点云)、表面形式(三角形网格)或者其他模型。可以分析这种模型来提取所需的测量值。例如，可以根据身体比例计算腰部位置并且在腰部高度的横截面能够用于提取点列表或者表示在该点的周界的轮廓。然后从所述3D点列表/轮廓计算周长。
[0003]构造全身扫描仪的成本和复杂性对于在商店中大规模部署和/或消费者在家使用而言是不可行的。因此，若干现有技术描述了如何从单个二维(2D)图像(通常是正面图)和可选地几个其他额外的受控姿势视图(例如侧视图)提取具体的身体测量值。例如考虑腰围，显然一个或两个视图不能提供足够的信息而无需进一步假设或者近似一一例如，在腰部区域的身体的椭圆截面来计算确切腰围。显然，这样的近似在涉及真实主体时不能提供确切的测量。
[0004]此外，这些方法有赖于用户假想确切姿势的能力并且另外不能产生完全的3D模型。通过诸如受控转盘或者身体上标记的手段控制/测量用户的确切姿势增加了复杂水平，这阻止这些方法在家中或者在多个商店位置使用。
[0005]本发明的目的是提供一种系统，该系统能够用单个静态二维摄像机捕捉运动中的人类主体的2D图像序列，从多个这样的2D图像提取2D形状或者尺寸相关的描述符并且将所述描述符集成到3D尺寸测量和/或3D形状要素中。
[0006]随着继续描述，本发明的其他目标和优点将变得明显。
【发明内容】
[0007]本发明涉及从二维(2D)图像序列导出用户的准确身体尺寸的方法，其包括以下步骤:a)通过获取摄像机捕捉的所述用户的原始2D图像序列，扫描所述用户的身体；b)通过在扫描之前和扫描期间跟踪所述用户的位置、姿势/旋转和姿态，分析所述用户的行为；c)通过使用2D形状分析器(2DSA)，从所述图像序列提取和编码2D形状数据描述符；d)接收所述2D形状数据描述符以及用户的位置、姿势和旋转数据，并且将它们集成到3D形状模型中，其中所述集成包括分配旋转值给所述图像序列，其中所述值是相对于整个前部位置的绝对值或者相对于所述序列中的参考图像的相对值。
[0008]根据本发明的实施例，所述方法进一步包括提供用户反馈和指导模块(UFGM)，用于在扫描期间和用户交互，包括在扫描期间提供初始以及进一步的用户指导/帮助。
[0009]根据本发明的实施例，用户行为分析器被进一步用于验证用户正在遵循用户反馈和指导模块提供的指令。
[0010]根据本发明的实施例，所述方法进一步包括通过用户外观分析器(UAA)提取和编码用户的可视非形状描述符，其中所述非形状描述符表示和所述用户的外观相关的属性，并且可包括肤色、头发颜色和发型。
[0011]根据本发明的实施例，所述UAA进一步包括提取和编码用户的面部外观描述符。
[0012]根据本发明的实施例，所述方法进一步包括提取3D尺寸测量值，这些测量值和用户外观数据一起将被存储在用户体形和外观数据库中，因此当之前已扫描的用户经由虚拟试衣间应用程序的界面登录到系统中时，存储的用户身体尺寸特征能够被用于过滤/查找服装数据库和推荐将良好适合所述用户的服装和其特定尺寸。
[0013]根据本发明的实施例，分析所述用户的行为是基于二进制身体剪影图像，该图像是从前景检测过程和图像序列获取，其中用户行为分析的一个关键属性是所述用户的参考地板位置。
[0014]根据本发明的实施例，贯穿扫描过程，请求用户在指定的区域机动。例如，地板标记可以用于指导用户通过扫描过程。
[0015]根据本发明的实施例，所述方法进一步包括估计用户的图像高度和用户的实际高度之间的距离作为单个尺寸值，该单个尺寸值可以通过输入装置手工提供给系统，或者距离/位置能够从图像序列被自动提取。
[0016]根据本发明的实施例，通过UBA分析用户行为的过程包括以下步骤:a)通过搜索二进制身体剪影图像中的底行，用于检测所述用户的足部位置并且提取所述用户距检测的足部的距离，从而检测用户位置，其中所述用户位置由y底部坐标和X重心确定；b)利用足部尺寸的平均值和(可选的)身体旋转角度将足部距离的底部转换为身体中心距离，由此分配确切的距离值到旋转中心，以及c) 一旦检测到底行，构造围绕所述用户的足部的计算窗口并且将X重心转换为地板上(on-floor)水平位置。
[0017]根据本发明的实施例，y底部坐标和X重心都在时域上滤波，从而避免在足部区域处目标段的不稳定而影响位置准确性。
[0018]根据本发明的实施例，所述方法进一步包括通过应用人体检测和跟踪技术，检测靠近水平重心(X)、在二进制形状的顶部的用户头部的头。
[0019]根据本发明的实施例，所述方法进一步包括通过应用手检测算法，检测用户的手。根据本发明的实施例，手检测算法开始于从估计的肩部位置搜索手臂，然后向上移动来检测作为手臂形状的端点的手。
[0020]根据本发明的实施例，通过处理二进制身体剪影图像使得它变薄为I像素宽的骨骼图像来获得手检测算法，在骨骼图像中，手尖在从中心身体位置跟踪的手臂骨骼的端部处被检测为I连接的像素。
[0021]根据本发明的实施例，所述方法进一步包括通过跟踪检测的用户的手引导用户旋转一整圈，使得一旦在正面位置检测到两只手，就通过应用数字图像相关和跟踪(DIC/DDIT)方法来逐帧跟踪它们，DIC/DDIT方法采用跟踪和图像对准技术用于图像变化的准确2D和3D测量以及在手和头部剪影合并时的预测。
[0022]根据本发明的实施例，所述方法进一步包括通过跟踪二进制图像的演化宽度序列并且利用插值技术估计中间的旋转角度，检测作为身体旋转的关键的用户身体剪影宽度演化。
[0023]根据本发明的实施例，通过2DSA分析2D形状的过程包括以下步骤:a)在多个旋转序列图像检测用户的特定身体部分的位置；和b)在每个所述图像测量所述身体部分的边缘或者轮廓点。
[0024]根据本发明的实施例，所述方法进一步包括从2D形状数据构造3D尺寸度量和形状数据。
[0025]根据本发明的实施例，分析用户的行为进一步包括验证用户的图像不超过摄像机的视场。
[0026]根据本发明的实施例，所述方法进一步包括UFGM 120，UFGM 120包括多个场景内容和用户行为分析算法，用于检测场景和摄像机设置和用户行为中的常见问题。
[0027]根据本发明的实施例，所述方法进一步包括跟踪特殊服装图案和肌理中身体剪影内的可视内容。
[0028]根据本发明的实施例，所述方法进一步包括通过利用建议引擎向用户提供服装建议。
[0029]根据本发明的实施例，所述建议包括利用非形状用户特性(比如肤色、眼睛颜色、头发颜色)。
[0030]根据本发明的实施例，所述方法进一步包括根据扫描的用户2D形状数据和/或计算的3D形状数据构建替身。
[0031]根据本发明的实施例，所述方法进一步包括，该替身包括非形状用户特性(比如肤色、眼睛颜色、头发颜色)。
[0032]根据本发明的实施例，所述替身被用于在扫描过程期间用户的可视化。
[0033]根据本发明的实施例，所述替身被用于选择的服装在用户身上的可视化，其中所述可视化是静态或者通过利用预定义/随机产生的运动之一使替身行动而是动态的。
[0034]根据本发明的实施例，所述替身可视化被修改，以改进在扫描期间的用户体验。
[0035]根据本发明的实施例，所述替身可视化被修改，以改进在购买阶段期间的服装显不O
[0036]根据本发明的实施例，所述方法进一步包括扫描用户和分析3D形状数据以产生某些健康相关的参数/度量，比如用于医疗应用的肥胖、脂肪分布。
[0037]根据本发明的实施例，重复进行扫描并且比较用户3D形状数据和参考扫描或者一个或更多之前的扫描，使得所述比较过程产生某些形状参数的重大变化的指示。
[0038]在另一方面，本发明涉及用于从2D图像序列导出用户的准确身体尺寸测量的系统，其包括:a)摄像机，用于通过捕获所述用户的原始2D图像序列来扫描所述用户的身体；b)用户行为分析器(UBA)，通过在身体扫描之前和期间跟踪所述用户的位置、姿势/旋转和姿态，分析所述用户的行为；c) 2D形状分析器(2DSA)，用于从所述图像序列提取和编码2D形状数据描述符；和(1)处理单元，其被编程用于接收所述2D形状数据描述符以及用户的位置、姿势和旋转数据，并且将它们集成到3D形状模型中，其中所述集成包括分配旋转值给所述图像序列，其中所述值是相对于完全正面位置的绝对值或者相对于所述序列中的参考图像的相对值。
[0039]根据本发明的实施例，所述系统进一步包括用户反馈和指导模块，用于在扫描期间和用户交互，包括在扫描期间提供初始以及进一步的用户指导/帮助。
[0040]根据本发明的实施例，所述系统进一步包括用户外观分析器(UAA)，用于提取和编码用户的可视非形状描述符。
[0041]根据本发明的实施例，所述系统进一步包括用户形状和外观数据库，用于存储用户身体的3D尺寸测量值和用户外观数据。
[0042]根据本发明的实施例，所述系统进一步包括服装数据库，用于存储服装相关的数据。
[0043]根据本发明的实施例，所述系统进一步包括服装建议引擎(GRE)，用于向用户提供服装建议。
【附图说明】
[0044]在附图中:
[0045]图1示意性图解说明根据本发明的实施例的通过虚拟试衣间应用用于身体扫描和服装选择的系统；
[0046]图2是流程图，其大体图解说明现有技术中已知的前景检测的方法；
[0047]图3描述扫描过程要求的分析用户行为的方法；
[0048]图4图解说明从足部图像位置检测提取用户距离；
[0049]图5A和5B描述根据本发明的实施例，作为身体旋转检测线索的手检测和跟踪；
[0050]图6A和6B示意性图解说明作为身体旋转关键的身体剪影宽度演化；
[0051]图7描述根据本发明的实施例的2D形状分析器；
[0052]图8A-8C示意性图解说明能够由图像分析方法执行的垂直腰部位置