估计受试者的身体或身体部位的表面积和/或体积的制作方法

1.本公开涉及估计受试者的身体或身体部位的表面积和/或体积，例如，以用于要对身体或身体部位执行的处理操作，并且本公开具体涉及用于估计受试者的身体或身体部位的表面积和/或体积的计算机实现的方法、装置和计算机程序产品。


背景技术：

2.在成年人中，受试者的身体或皮肤表面积(bsa)可以是大范围(通常为约1.4至2.6平方米(m2))内的任何地方。受试者的身体体积(bv)同样可以在大范围内变化。
3.三维(3d)人体形状测量或模型的使用可能以各种各样的方式改变受试者与世界交互的方式。该技术的应用可以在诸如医疗保健、网上购物和纺织行业之类的几个领域有所帮助。例如，在医疗保健领域，了解3d身体形状可以帮助评价银屑病面积和严重程度指数(pasi)，或根据bsa来配给化疗或其他药物。
4.显然，对于这些应用，期望对bsa、bv和身体形状预测的估计尽可能准确。用于估计bsa或bv或估计特定身体部位的表面积和/或体积的最准确技术中的一种技术使用受试者的全身3d扫描和处理来标识不同的身体部位。然而，全身3d扫描所需的技术价格昂贵，并且通常在例如家庭环境中不可用，因此会影响其中可能使用bsa、bv或身体部位表面积和/或体积的场景。
5.因此，期望能够以更具成本效益和更简单的方式(例如，使用受试者可容易得到的和/或可通过受试者获得的信息)估计bsa、bv或特定身体部位的表面积和/或体积。
6.存在一些技术，尽管这些技术通常不提供对于许多应用而言足够准确的表面积和/或体积值，但是在这些技术中，可以从可用元数据和身体测量中确定受试者的身体或受试者的特定身体部位的3d模型，该可用元数据诸如为年龄、性别、体积、血压、孩子数目、体重指数(bmi)等，身体测量诸如为身高、腿长、臂围等。在以下文档中找到了这样的技术的一个示例：s.wuhrer和c.shu的“estimating 3d human shapes from measurements”，mach.vis.appl.，第24卷，第6期，第1133页至第1147页，2013年。
7.因此，需要在估计受试者的身体部位或身体的表面积和/或体积方面进行改进，而无需受试者的3d身体扫描或3d身体部位扫描。


技术实现要素：

8.根据第一具体方面，提供了一种用于估计受试者的身体或身体部位的表面积和/或体积的计算机实现的方法。该方法包括：获得至少一个图像，其中该至少一个图像包括受试者的面部；处理该至少一个图像以确定受试者的面部的一个或多个面部图像参数的值；确定受试者的一个或多个特性的值，其中该一个或多个特性包括以下一项或多项：受试者的年龄、受试者的体重、受试者的身高和受试者的性别；使用面部参数模型和所确定的一个或多个面部图像参数的值，来确定受试者的面部的一个或多个面部形状参数的值，其中面部参数模型将一个或多个面部图像参数的具体值与具有一个或多个面部形状参数的相应
值的面部的相应3d表示相关联；利用所确定的一个或多个特性的值和所确定的一个或多个面部形状参数的值，使用预测模型来预测受试者的全身的3d表示；以及分析所预测的受试者的全身的3d表示以估计受试者的身体或身体部位的表面积和/或体积。因此，身体或(一个或多个)身体部位的表面积和/或体积可以仅使用受试者的一个或多个图像以及年龄、体重、身高和性别中的一项或多项来确定。
9.在一些实施例中，面部参数模型为线性模型。在一些实施例中，预测模型为非线性模型，例如，非线性回归模型，诸如三次多项式。
10.在一些实施例中，使用预测模型来预测全身的3d表示的步骤包括：根据所确定的一个或多个特性的值和所确定的一个或多个面部形状参数的值，使用预测模型来预测一个或多个身体形状参数的值；以及使用身体参数模型和所预测的一个或多个身体形状参数的值来预测全身的3d表示，其中身体参数模型将一个或多个身体形状参数的具体值与身体的相应3d表示相关联。在这些实施例中，身体参数模型可以为线性模型。
11.在一些实施例中，该方法还包括：根据群体数据集确定预测模型，其中群体数据集包括多个测试受试者的3d扫描和测试受试者中的每个测试受试者的一个或多个特性的值，并且预测模型通过以下方式确定：将身体参数模型配准到3d扫描中的每个3d扫描，其中身体参数模型将身体的3d表示与一个或多个身体形状参数的具体值相关联；确定经配准的身体参数模型中的每个经配准的身体参数模型的一个或多个身体形状参数的值；将面部参数模型配准到3d扫描中的每个3d扫描，其中面部参数模型将面部的3d表示与一个或多个面部形状参数的具体值相关联；确定经配准的面部参数模型中的每个经配准的面部参数模型的一个或多个面部形状参数的值；以及根据所确定的一个或多个身体形状参数的值、所确定的一个或多个面部形状参数的值和测试受试者中的每个测试受试者的一个或多个特性的值，形成预测模型。
12.在一些实施例中，预测模型特定于受试者的要针对其估计表面积和/或体积的身体部位，其中预测模型基于所确定的一个或多个面部形状参数的值和一个或多个特性的相应子集，来预测全身的3d表示。以这种方式，可以针对(一个或多个)感兴趣身体部位定制预测模型，从而只需特性中的一些特性的值。
13.在一些实施例中，形成预测模型的步骤包括：形成多个候选预测模型，其中每个候选预测模型使用一个或多个特性的相应子集；评估候选预测模型中的每个候选预测模型在预测全身或一个或多个身体部位的3d表示时的准确性；以及将预测模型形成为如下候选预测模型，该候选预测模型提供以下中的一项：候选预测模型的最高准确性，和/或利用最小数目的特性的足够的准确性。
14.在一些实施例中，该方法还包括：接收受试者的要针对其估计表面积和/或体积的身体或身体部位的指示；其中分析步骤包括：分析所预测的受试者的全身的3d表示，以估计受试者的所指示的身体或身体部位的表面积和/或体积。
15.在这些实施例中，该方法还可以包括：请求输入，该输入指示受试者的要针对其估计表面积和/或体积的身体或身体部位。
16.在这些实施例中，指示可以作为与显示在用户接口上的一个或多个身体部位相对应的输入来接收。
17.在一些实施例中，该方法还可以包括：请求输入，该输入指示由预测模型针对所指
示的身体部位而使用的一个或多个特性的相应子集的值。
18.在一些实施例中，可以在接收到指示之后执行形成预测模型的步骤。以这种方式，用户能够指示要针对其估计表面积和/或体积的任何期望的(一个或多个)身体部位或(一个或多个)身体部位的组合，并且可以确定适用于建模该/那些身体部位的预测模型。
19.在一些实施例中，受试者的要针对其估计表面积和/或体积的身体部位包括多个非连续身体部位。
20.在一些实施例中，确定多个特性的值的步骤包括：处理至少一个图像以确定多个特性中的一个或多个特性的值。这具有以下优点：一个或多个特性的值不必由用户或受试者手动输入。
21.在备选实施例中，确定一个或多个特性的值的步骤包括：从受试者接收指示该一个或多个特性中的一个或多个特性的值的输入。
22.在一些实施例中，受试者的至少一个特性是受试者的多个特性，该多个特性包括以下两项或更多项：年龄、体重、身高和性别。
23.在一些实施例中，身体部位为以下一项或多项：一条手臂、两条手臂、一条腿、两条腿、一只脚、两只脚、一只手、两只手、手的一个手掌、两个手掌、一个乳房或两个乳房、腰部、臀部、胸部、躯干、腹部、以及背部。
24.根据第二方面，提供了一种提供关于处理设备的处理操作的反馈的计算机实现的方法。该方法包括：根据第一方面或其任何实施例，估计受试者的身体或身体部位的表面积和/或体积，该身体或身体部位要在使用处理设备的处理操作中被处理；以及使用所估计的表面积和/或体积来确定关于处理操作的反馈。
25.在一些实施例中，反馈为以下中的任一项：关于处理操作的进度的反馈；在处理操作中处理身体或身体部位所需的处理的数目；在处理操作中处理身体或身体部位所需的剩余处理的数目；对处理设备的用户处理身体或身体部位的指导。
26.根据第三方面，提供了一种计算机程序产品，其包括在其中体现有计算机可读代码的计算机可读介质，该计算机可读代码被配置为使得：在由合适的计算机或处理器执行时，使得该计算机或处理器执行根据第一方面、第二方面或其任何实施例的方法。
27.根据第四方面，提供了一种用于估计受试者的身体或身体部位的表面积和/或体积的装置。该装置包括处理单元，该处理单元被配置为：从成像单元获得至少一个图像，其中该至少一个图像包括受试者的面部；处理该至少一个图像以确定受试者的面部的一个或多个面部图像参数的值；确定受试者的一个或多个特性的值，其中该一个或多个特性包括以下一项或多项：受试者的年龄、受试者的体重、受试者的身高和受试者的性别；使用面部参数模型和所确定的一个或多个面部图像参数的值来确定受试者的面部的一个或多个面部形状参数的值，其中面部参数模型将一个或多个面部图像参数的具体值与具有一个或多个面部形状参数的相应值的面部的相应3d表示相关联；利用所确定的一个或多个特性的值和所确定的一个或多个面部形状参数的值，使用预测模型来预测受试者的全身的3d表示；以及分析所预测的受试者的全身的3d表示以估计受试者的身体或身体部位的表面积和/或体积。因此，身体或(一个或多个)身体部位的表面积和/或体积可以仅使用受试者的一个或多个图像以及年龄、体重、身高和性别中的一项或多项来确定。
28.在一些实施例中，面部参数模型为线性模型。在一些实施例中，预测模型为非线性
模型，例如，非线性回归模型，诸如三次多项式。
29.在一些实施例中，处理单元被配置为：根据所确定的一个或多个特性的值和所确定的一个或多个面部形状参数的值，使用预测模型来预测一个或多个身体形状参数的值；以及使用身体参数模型和所预测的一个或多个身体形状参数的值来预测全身的3d表示，其中身体参数模型将一个或多个身体形状参数的具体值与身体的相应3d表示相关联。在这些实施例中，身体参数模型可以为线性模型。
30.在一些实施例中，处理单元还被配置为：根据群体数据集确定预测模型，其中群体数据集包括多个测试受试者的3d扫描和测试受试者中的每个测试受试者的一个或多个特性的值，并且处理单元被配置为通过以下方式确定预测模型：将身体参数模型配准到3d扫描中的每个3d扫描，其中身体参数模型将身体的3d表示与一个或多个身体形状参数的具体值相关联；确定经配准的身体参数模型中的每个经配准的身体参数模型的一个或多个身体形状参数的值；将面部参数模型配准到3d扫描中的每个3d扫描，其中面部参数模型将面部的3d表示与一个或多个面部形状参数的具体值相关联；确定经配准的面部参数模型中的每个经配准的面部参数模型的一个或多个面部形状参数的值；以及根据所确定的一个或多个身体形状参数的值、所确定的一个或多个面部形状参数的值以及测试受试者中的每个测试受试者的一个或多个特性的值，形成预测模型。
31.在一些实施例中，预测模型特定于受试者的要针对其估计表面积和/或体积的身体部位，其中预测模型基于所确定的一个或多个面部形状参数的值和一个或多个特性的相应子集来预测全身的3d表示。以这种方式，可以针对(一个或多个)感兴趣身体部位定制预测模型，从而只需特性中的一些特性的值。
32.在一些实施例中，处理单元被配置为通过以下方式形成预测模型：形成多个候选预测模型，其中每个候选预测模型使用一个或多个特性的相应子集；评估候选预测模型中的每个候选预测模型在预测全身或一个或多个身体部位的3d表示时的准确性；以及将预测模型形成为如下候选预测模型，该候选预测模型提供以下中的一项：候选预测模型的最高准确性，和/或利用最小数目的特性的足够的准确性。
33.在一些实施例中，处理单元还被配置为：接收受试者的要针对其估计表面积和/或体积的身体或身体部位的指示；其中处理单元被配置为：分析所预测的受试者的全身的3d表示，以估计受试者的所指示的身体或身体部位的表面积和/或体积。
34.在这些实施例中，处理单元还被配置为：请求输入，该输入指示受试者的要针对其估计表面积和/或体积的身体或身体部位。
35.在这些实施例中，指示可以作为与显示在用户接口上的一个或多个身体部位相对应的输入来接收。
36.在一些实施例中，处理单元还被配置为：请求输入，该输入指示由预测模型针对所指示的身体部位而使用的一个或多个特性的相应子集的值。
37.在一些实施例中，处理单元被配置为在接收到指示之后形成预测模型。以这样的方式，用户能够指示要针对其估计表面积和/或体积的任何期望的(一个或多个)身体部位或(一个或多个)身体部位的组合，并且可以确定适用于建模该/那些身体部位的预测模型。
38.在一些实施例中，要针对其估计表面积和/或体积的受试者的身体部位包括多个非连续身体部位。
39.在一些实施例中，处理单元被配置为：通过处理至少一个图像以确定多个特性中的一个或多个特性的值，来确定多个特性的值。这具有以下优点：一个或多个特性的值不必由用户或受试者手动输入。
40.在备选实施例中，处理单元被配置为：通过从受试者接收指示一个或多个特性中的一个或多个特性的值的输入，来确定一个或多个特性的值。
41.在一些实施例中，受试者的至少一个特性是受试者的多个特性，该多个特性包括以下两项或更多项：年龄、体重、身高和性别。
42.在一些实施例中，身体部位为以下一项或多项：一条手臂、两条手臂、一条腿、两条腿、一只脚、两只脚、一只手、两只手、手的一个手掌、两个手掌、一个乳房或两个乳房、腰部、臀部、胸部、躯干、腹部、以及背部。
43.根据第五方面，提供了一种用于提供关于处理设备的处理操作的反馈的装置。该设备包括处理单元，该处理单元被配置为：根据第四方面或其任何实施例，估计受试者的身体或身体部位的表面积和/或体积，该身体或身体部位要在使用处理设备的处理操作中被处理；以及使用所估计的表面积和/或体积来确定关于处理操作的反馈。
44.在一些实施例中，反馈为以下中的任一项：关于处理操作的进度的反馈；在处理操作中处理身体或身体部位所需的处理的数目；在处理操作中处理身体或身体部位所需的剩余处理的数目；对处理设备的用户处理身体或身体部位的指导。
45.根据第六方面，提供了一种系统，其包括：根据第四方面、第五方面或其任何实施例的装置；以及用于获得至少一个图像的成像单元。
46.参考下文所描述的(一个或多个)实施例，这些和其他方面将显而易见并且得以阐明。
附图说明
47.现在，参考以下附图，将仅通过示例的方式对示例性实施例进行描述，其中：
48.图1是包括根据一个实施例的装置和成像单元的示例性系统的框图；
49.图2图示了通常可以针对身体测量或获得的各种身体形状参数；
50.图3图示了五个不同身体部位，针对这五个不同身体部位，可以使用本文中所描述的技术来估计表面积和/或体积；
51.图4示出了身体和面部的模板网格；
52.图5示出了图示了身体和面部的pca系数的标准偏差的两个曲线图；
53.图6是图示了全身掩模的四个不同模型的均值绝对顶点误差的表；
54.图7是图示了腰带掩模的四个不同模型的均值绝对顶点误差的表；
55.图8是图示了臀带掩模的四个不同模型的均值绝对顶点误差的表；
56.图9是图示了乳房掩模的四个不同模型的均值绝对顶点误差的表；
57.图10是图示了腿部掩模的四个不同模型的均值绝对顶点误差的表；
58.图11是图示了针对年龄、性别、体重和身高特征的不同组合的全身掩模的四个不同模型的均值绝对顶点误差的表；
59.图12是图示了针对年龄、性别、体重和身高特征的不同组合的腰带掩模的四个不同模型的均值绝对顶点误差的表；
60.图13是图示了针对年龄、性别、体重和身高特征的不同组合的臀带掩模的四个不同模型的均值绝对顶点误差的表；
61.图14是图示了针对年龄、性别、体重和身高特征的不同组合的乳房掩模的四个不同模型的均值绝对顶点误差的表；
62.图15是图示了针对年龄、性别、体重和身高特征的不同组合的腿部掩模的四个不同模型的均值绝对顶点误差的表；
63.图16是图示了根据一个示例性实施例的方法的流程图；以及
64.图17是图示了根据另一示例性实施例的方法的流程图。
具体实施方式
65.如上文所指出的，存在各种应用，针对这些应用，关于(总)身体表面积(bsa)、身体体积(bv)或身体部位(例如，一条腿、两条腿、一条手臂、两条手臂、胸部、背部、躯干等)的表面积和/或体积的信息是有用的。然而，在这些应用中的许多应用中，由于全身3d扫描所需的技术在成本和处理资源这两个方面都很昂贵并且通常在家庭环境中不可用，所以期望能够获得对身体/皮肤表面积/体积的可靠估计，而不必对受试者或(一个或多个)相关身体部位执行全身3d扫描。
66.高效处理全身3d模型的问题中的一个问题是数据量大。通过系统
‘
学习
’‘
通用’人形状空间的统计表示，可以显著降低所需的成本和数据量，这意味着仅需结合学习空间的关于受试者的稀疏数据来重建受试者的全身3d模型，而非受试者本身的密集表示。本文中所描述的技术提供了对受试者的bsa、bv、(一个或多个)身体部位的表面积和/或体积的估计，该估计要使用通用人形状空间的统计表示和有限但可容易获得的关于受试者的附加信息来获得。具体地，已经发现，受试者的面部的形状的特征(其可以从受试者的面部的图像来观察或推断)与诸如年龄、体重、身高和/或性别之类的受试者的一个或多个特性的值组合，可以提供对受试者的bsa、bv、(一个或多个)身体部位的表面积和/或体积的足够可靠的估计。
67.图1是示例性系统2的框图，该示例性系统2可以用于估计受试者的身体或身体部位的表面积和/或体积。系统2包括用于实现本文中所描述的技术的示例性实施例的装置4，并且系统2还可以包括用于获得受试者的面部的图像的成像单元6。在该图示的实施例中，装置4被示为与成像单元6物理分开，但是将领会，在系统2的一些实施例中，装置4或由装置4提供的功能可以是成像单元6的一部分或与成像单元6集成。
68.成像单元6可以包括或可以是用于捕获图像的任何合适部件(例如，电荷耦合器件(ccd))，并且可以包括一个或多个透镜和/或反射镜。在一些实施例中，成像单元6为电子设备中的相机或相机中的一个相机，该电子设备诸如为智能电话、智能手表、平板计算机、膝上型计算机、数码相机或智能反射镜。成像单元6能够将所获得的图像或一系列所获得的图像输出到装置4。
69.装置4包括处理单元8，该处理单元8用于根据本文中所描述的技术估计身体或特定身体部位的表面积和/或体积。处理单元8可以通过软件和/或硬件以众多方式来实现，以执行本文中所描述的各种功能。处理单元8可以包括一个或多个微处理器或数字信号处理器(dsp)，该一个或多个微处理器或dsp可以使用软件或计算机程序代码而被编程，以执行
所需功能和/或控制处理单元8的部件以实现所需功能。处理单元8可以实现为用以执行一些功能的专用硬件(例如，放大器、前置放大器、模数转换器(adc)和/或数模转换器(dac))和用以执行其他功能的处理器(例如，一个或多个经编程的微处理器、控制器、微控制器、dsp和相关联电路装置)的组合。可以在本公开的各种实施例中采用的部件的示例包括但不限于传统微处理器、dsp、专用集成电路(asic)和现场可编程门阵列(fpga)。
70.处理单元8连接到存储器单元10(在备选实施例中，存储器单元10可以是处理单元8的一部分)，并且存储器单元10可以存储数据、信息和/或信号，以供处理单元8在估计身体或特定身体部位的表面积和/或体积时使用。例如，存储器单元10可以存储受试者的一个或多个图像。在一些实现方式中，存储器单元10存储计算机可读代码，该计算机可读代码可以由处理单元8执行，使得处理单元8执行一个或多个功能，该一个或多个功能包括本文中所描述的操作。存储器单元10可以包括任何类型的非暂态机器可读介质，诸如：高速缓存或系统存储器，该高速缓存或系统存储器包括以存储器芯片的形式实现的易失性和非易失性计算机存储器，诸如随机存取存储器(ram)、静态ram(sram)、动态ram(dram)、只读存储器(rom)、可编程rom(prom)、可擦除rom(eprom)和电可擦除rom(eeprom)；光盘(诸如紧凑碟(cd)、数字多功能碟(dvd)或蓝光碟)；硬盘；磁带存储解决方案；或固态设备，该固态设备包括存储器棒、固态驱动器(ssd)、存储器卡等。
71.装置4还可以包括接口电路装置12。接口电路装置12可以使得装置4能够与成像单元6通信(例如，以接收由成像单元6获得的图像)。在装置4或由装置4提供的功能是成像单元6的一部分或与成像单元6集成的实施例中，可以省略装置4中的接口电路装置12。
72.装置4中的接口电路装置12用于实现与另一设备/装置/单元(如果存在于系统2中)的数据连接和/或与另一设备/装置/单元的数据/信息交换，该另一设备/装置/单元包括成像单元6。连接可以是直接连接或间接连接(例如，经由互联网)，因此接口电路装置12可以实现在装置4与诸如互联网之类的网络之间的连接，或经由任何期望的有线或无线通信协议而直接在装置4与另一设备/装置/单元之间的连接。例如，接口电路装置12可以使用wifi、蓝牙、zigbee或任何蜂窝通信协议(包括但不限于全球移动通信系统(gsm)、通用移动电信系统(umts)、长期演进(lte)、lte
‑
advanced等)操作。在无线连接的情况下，接口电路装置12(以及因此装置4)可以包括一个或多个合适天线，以用于通过传输介质(例如，空气)进行发送/接收。可替代地，在无线连接的情况下，接口电路装置12可以包括使得接口电路装置12能够连接到装置4外部的一个或多个合适天线的组件(例如，连接器或插头)，以用以通过传输介质(例如，空气)进行发送/接收。接口电路装置12连接到处理单元8，以使得能够将接口电路装置12所接收的信息或数据提供给处理单元8，和/或使得来自处理单元8的信息或数据(例如，对身体或身体部位的表面积的估计)能够通过接口电路装置12被发送。
73.在一些实施例中，装置4包括用户接口14，该用户接口14包括一个或多个部件，该一个或多个部件使得装置4的用户(例如，受试者)能够将信息、数据和/或命令(诸如应当估计表面积和/或体积的身体部位的指示)输入到装置4中，和/或使得装置4能够向装置4的用户输出信息或数据(例如，对身体或身体部位的表面积和/或体积的估计)。用户接口14可以包括(一个或多个)任何合适输入部件，包括但不限于键盘、小键盘、一个或多个按钮、开关或拨盘、鼠标、跟踪板、触摸屏、触笔、相机、麦克风等，并且用户接口14可以包括(一个或多个)任何合适输出部件，包括但不限于显示屏、一个或多个灯或光元件、一个或多个扬声器、
振动元件等。
74.装置4可以是任何类型的电子设备或计算设备。在一些实现方式中，装置4可以为膝上型计算机、平板计算机、计算机、智能电话、智能手表、智能反射镜等，或可以存在于或用于受试者/用户的家庭或护理环境中的其他类型的电子设备，或是其一部分。在其他实现方式中，装置4是远离受试者/用户并且远离受试者/用户的家庭或护理环境的装置。例如，装置4可以是服务器，例如，数据中心中的服务器(还称为“在云中”)。
75.应当指出，图1仅示出了对于实现本文中所描述的技术有用的系统2和装置4的元件，并且典型系统2和装置4将包括另外的元件。例如，装置4将还包括诸如电池之类的电源或使得装置4能够连接到市电电源的元件。
76.如上文所指出的，本文中所描述的技术提供了对受试者的bsa、bv、(一个或多个)身体部位的表面积和/或体积的估计，该估计要使用以下项来获得：通用人形状空间的统计表示，具体地，身体参数模型；以及受试者的面部的形状的(可以从受试者面部的图像中观察或推断的)特征以及诸如年龄、体重、身高和/或性别之类的受试者的一个或多个特性的值。具体地，处理受试者的面部的一个或多个图像以确定一个或多个面部图像参数的值，并且面部参数模型用于从根据(一个或多个)图像确定的面部图像参数来确定受试者的一个或多个面部形状参数。(一个或多个)面部形状参数与一个或多个特性的值一起输入到预测模型中，以确定全身的3d表示。预测模型根据一个或多个特性的具体值和一个或多个面部形状参数的具体值，来预测一个或多个身体形状参数的值。身体参数模型(其可以是预测模型的一部分)用于基于所确定的一个或多个身体形状参数的值来确定受试者全身的3d表示。可以根据全身的3d表示来确定全身和/或一个或多个身体部位的表面积和/或体积。
77.在一些优选实施例中，本文中所描述的技术使得能够(例如，由用户使用图形用户界面)选择感兴趣的一个或多个身体部位，并且估计该/那些被选择的身体部位的表面积和/或体积。在一些另外的实施例中，由于用户可以动态选择感兴趣的一个或多个身体部位，所以在选择了(一个或多个)身体部位之后，可以确定预测模型，该预测模型特定于估计表面积和/或体积，并且用以接收特性中的(一个或多个)具体特性作为输入。
78.以下描述提供了可以在本文中所描述的技术的实施例中使用的面部参数模型、身体参数模型和预测模型的一些另外的细节，并且具体指示了示例性面部参数模型和示例性身体参数模型可以如何根据包括测试受试者群体的数据(3d扫描)的群体数据集而被导出，以及这些示例性模型在基于各种输入参数的值来估计全身或身体部位的表面积时的有效性。本领域技术人员将领会，下文所提供的技术和信息可以容易地适于基于各种输入参数的值来估计全身或身体部位的体积。具体地，根据感兴趣受试者的全身的3d表示来估计表面积，并且还可以根据这样的3d表示来估计体积。
79.首先，图2图示了通常可以针对身体20而被测量或获得的各种身体形状参数。因此，典型身体形状参数包括身高22、腿长24、腿(股四头肌)围26、腰围28、臀围30、臂长32、臂围34、上身高度36、颈围38和面部形状参数40。如果需要，则可以测量或获得其他身体形状参数。
80.图3图示了五个不同的身体部位，针对这五个不同的身体部位，表面积和/或体积可以使用本文中所描述的技术来估计(尽管这些技术不仅限于这些身体部位，并且例如可以估计其他身体部位、这五个身体部位的部分(例如，小腿而非整条腿)或身体的不同部位
surveys，2014年)。
85.如图4(a)所示，尽管本领域技术人员将领会顶点的数目可以显著不同，但是具有大约n
p
≈53000个顶点的模板网格可以用于身体。如图4(b)所示，尽管再次本领域技术人员将领会顶点的数目可以不同，但是具有大约n
q
≈23000个顶点的模板网格可以用于面部。
86.然后，两个模板网格可以用于配准全群体数据集，该全群体数据集包括3d全身扫描。可以经由视觉检查和其他措施来评价配准的质量(例如，如论文“registration of 3d point clouds and meshes:a survey from rigid to nonrigid”中所描述的)。对于n≈3750次左右的全身3d扫描，两个配准都示出低拟合误差(例如，针对面部网格的配准，低于作为表面距离的0.5毫米(移动测量)的均方根误差(rmse)，以及针对全身的配准，低于1.0mm的rmse)。
87.配准导致将群体数据集中的每个测试受试者表示为两个变形模板网格。令为群体受试者i∈n的顶点j∈n
p
的全身变形坐标。此外，扫描i∈n的所有顶点的变形坐标可以写为单个扁平向量，从而将所有顶点的坐标堆在一起，如
[0088][0089]
其中i是测试受试者，r表示经配准的数据而非(原始)受试者数据，n
p
表示身体模板的顶点总数，并且表示测试受试者i的所有顶点。将所有参与者收集到矩形矩阵中产生：
[0090][0091]
其中p
r
为矩阵，该矩阵包括所有测试受试者和全身的所有顶点。以相同的方式，面部表示的定义为
[0092][0093]
其中q
r
为矩阵，该矩阵包括所有测试受试者和面部的所有顶点，并且n
r
表示面部模板的顶点总数。
[0094]
参数空间——经配准的网格可以使用身体的多个(例如，200个)特征向量和面部的多个(例如，180个)特征向量、通过主成分分析(pca)变换进行参数化。本领域技术人员将领会，可以使用不同数目的特征向量。pca变换可以以矩阵形式写为：
[0095][0096]
其中是n次重复平均网格坐标的矩阵
[0097][0098]
是约化特征向量矩阵，由协方差矩阵的200个
‘
主’特征向量(即，具有最高特征值的特征向量)组成，是pca系数的约化矩阵，并且是残差，即
[0099]
[0100]
等式(6)中的变换给出了具有200维pca系数向量y的顶点坐标p
r
的53000个3d向量的紧凑表示。以相同的方式，pca变换应用于经配准的面部网格：
[0101][0102]
其中是n次重复平均网格坐标的矩阵，d
q
由协方差矩阵的180个
‘
主’特征向量组成，为面部pca系数。两个模型的编码结果如图5所示。图5示出了编码的显著性，即，身体(图5(a))和面部(图5(b))的pca系数的标准偏差。尽管本领域技术人员将领会可以使用其他数目的主成分，但是使用身体的200个主成分和面部的180个主成分是一种启发式决策，它在充分表示所有形状空间的要求与不对噪声进行编码的要求之间寻求折衷。最后一个pca身体形状成分的标准偏差为0.18mm，并且对于面部，则该标准偏差为0.025mm。p
r
与p之间的残差小于2.5mm，该残差使用下文的等式(15)来计算，并且在题为
‘
拟合度度量’的章节中进行解释。类似地，面部的残差小于1.0mm。
[0103]
预测模型——本章节解释了如何使用受试者的特征和面部形状空间x
q
来预测身体形状系数y，受试者的特征表示为(其中
‘
+1’对应于回归模型中的自由项)。作为受试者特征，考虑所报告的体重、年龄、性别和从经配准的网格中提取的身体测量结果(诸如身高、臂长、腰围)。该集通过包括它们高达d＝3
rd
程度的交互而得到增强。因此，考虑到总计n
f
个个人特征，扩展集对应于多项式的项，其中程度d由它们构建。这适用于所有特征，除了允许较低交互的特征(如性别)之外。在下文中，经增强的特征集由表示，其中读者可以使用基本组合技术导出n
g
的一般公式，如下：
[0104][0105]
在包括(二元)性别特征的情况下，该一般等式变为：
[0106][0107]
等式(8)和(9)为了完整性而给出，但对于理解本文中所描述的技术中的其余技术或运行算法来说并不需要，该算法可以简单对组合进行计数或使用诸如星形和条形组合技术之类的简单统计技术。为便于记法，常数项包括在x
f
和x
g
两者中，但它不计入n
f
和n
g
中。
[0108]
然后，对身体系数y执行多元线性回归：
[0109]
y＝xb+ε
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0110]
其中利用自变量x的四个设置：有和没有交互和有和没有面部系数：
[0111]
(a)
[0112]
(b)
[0113]
(c)
[0114]
(d)
[0115]
接下来，使用图3所示的分割掩模来评估具体身体部位的预测。由于群体数据集中的测试受试者在手臂位置方面具有可见变化，并且没有姿势模型，所以手臂从分割掩模(包括全身掩模)中排除。为了改进针对每个身体部位的预测，不是求解基本回归等式(10)，而
是求解如下文所示的加权版本。令为掩模m的对角矩阵，其中当且仅当顶点是分割掩模的一部分时，i
m
(j，j)＝1。根据等式(6)回想一下，并且注意到，对于每个身体部位m，期望具有被准确预测的i
m
p。然后，假设回归模型y＝xb，获得以下等式：
[0116]
y∑
m
＝xb∑
m
+ε∑
m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)
[0117]
其中对于每个掩模m，上述等式中的b的最小均方估计是：
[0118][0119]
拟合度度量——对于每个模型和掩模，对n个测试受试者执行留一法交叉验证。换言之，每次都进行了的估计，留出测试受试者进行预测。一旦计算出预测的身体系数就需要使用等式(6)中的pca变换来转换回去、解码，以得到预测的顶点如下：
[0120][0121]
为了评估预测，预测的首先与具有加权procrustes的原始坐标对准(如f.l.bookstein的“principal warps:thin
‑
plate splines and the decomposition of deformations”，ieee transactions on pattern analysis and machine intelligence，1989年中所描述的)，然后针对每个顶点v
i，j
与其预测位置利用所有测试受试者计算逐顶点的rmse
[0122][0123]
作为掩模的拟合度的最终度量，均值绝对误差e用于所有顶点：
[0124][0125]
上述误差度量还惩罚表面上的身体部位点的错位，因此可以被认为更准确。
[0126]
结果——评估了两个特征组，它们在下面的表1中列出，其中总共有12个特征。
[0127]
名称类型均值+标准差源性别男性[1]或女性[2]1.53
±
0.5cq年龄岁38.00
±
12.59cq体重kg74.56
±
18.09cq身高y
‑
长度[mm]1701.38
±
100.78pm腰部周长[mm]889.83
±
150.45pm手臂周长[mm]306.00
±
43.45pm臀部周长[mm]1037.99
±
106.07pm腿部周长[mm]614.94
±
67.91pm颈部周长[mm]364.09
±
43.33pm腿部y
‑
距离[mm]764.41
±
55.67pm
手臂距离[mm]557.64
±
40.59pm上身y
‑
距离[mm]750.72
±
42.90pm
[0128]
表1
[0129]
第一组由所报告的性别、年龄和体重(没有衣服)组成，所有这些都在上文所提及的论文“the caesar project:a 3
‑
d surface anthropometry survey”中获取。第二组包括从经配准的身体网格计算的参数测量结果：计算为头到地板的身高；计算为头到骨盆的最高可触点的上身高度；计算为肩峰(肩)与中指远端之间的距离的臂长；从胯部到地板的腿长；计算为最后可触知肋骨的下缘与髂嵴的顶部之间的中点的腰部周长；在臀肌的最大放松水平处，并且在大转子上、在最突出的点处执行的臀围；取自在肩峰与鹰嘴之间的手臂的总长度的中点的臂围；取自大腿的总长度的中点的腿部股四头肌周长；取自颈部的总长度的中点的颈围。
[0130]
所有特征的特征相关矩阵呈现在下文的表2中。
[0131][0132]
表2
[0133]
每个特征的重要性通过对集x
f
的所有可能组合执行搜索来评价，从而产生2
12
＝4096个可能特征子集。空子集被视为与群体数据集的平均值相比较的误差。对于每个子集，比较四种不同的特征设计：x
f
(年龄、性别、身高和体重)，x
g
(其是根据上文的等式(8)和(9)确定的增强特征集，例如，如果x
f
＝{年龄，体重}，则x
g
＝{年龄，年龄2，年龄3，年龄*体重2，年龄2*体重，体重，体重2，体重3等})，[x
f
，x
q
](年龄、性别、身高和体重、以及面部系数x
q
)和[x
g
，x
q
](x
g
和面部系数x
q
)。没有面部的模型所达到的最大特征数目是n
g
减去性别的所有组合。在该示例中，最大特征数目为n
f
＝12，并且来自二阶的性别的所有组合为n
f
+1。因此，等式(9)提供了：当使用交互时，回归量的最大数目为n
g
＝441。代替地考虑具有年龄、性别、体重和身高的示例，其中n
f
＝4，n
g
＝29。
[0134]
在下文中，呈现了全身掩模(没有手臂)的均值绝对顶点误差e(以mm为单位)，以及由图3中的掩模所表示的所有其余四个身体部位的误差e。
[0135]
没有手臂的全身掩模——图6中的表示出了：针对x
f
的每个基数，全身掩模(没有
手臂)的x＝x
g
的最佳模型以及使用其他三个输入矩阵的误差。可以看出，最准确的单个特征是误差e＝20.89mm的身高，因为它是身体尺寸的主要指标。实际上胜过身高的唯一特征是身体体积。然而，身体体积在现实生活场景中不易测量，因此本文中所描述的实施例中，可以使用所导出的3d全身表示来估计身体体积或身体部位体积。两个特征的最佳组合是身高和体重，产生e＝17.93mm的残差。使用所有12个特征实现最小误差，并且对于x
g
，该最小误差为13.92mm，并且对于[x
g
，x
q
]，该最小误差为13.00mm。这12个最佳模型的平均误差减少为1.33mm，并且添加面部系数x
q
的平均效果是误差下降8.12％。
[0136]
为了评估添加面部形状的显著性，考虑具有x＝[x
g
，x
q
]的模型，其中x
g
根据＝[年龄，性别，体重，身高]而被增强。该模型的误差为15.91mm，该误差优于没有面部参数的具有n
f
＝4个最佳预测器的模型的误差。因此，这指示可以使用面部形状代替详细参数测量。因此，例如，与年龄、性别和体重特征组合的面部系数给出了比使用腰围、臀围和腿长特征的预测更低的误差。根据图6可以看出，包括与面部相关的特征对所有可能特征子集的预测可靠性具有显著的积极贡献。事实上，当把x
g
扩展到[x
g
，x
q
]时，平均误差下降为0.98mm或9.72％。另一方面，所考虑的特征越多，在它们之间添加交互的效果就越大，这当将x
f
列与x
g
列进行比较时可以看出。
[0137]
其他身体部位——图7至图10的表示出了：针对x
f
的每个基数，其他身体部位掩模(图7腰带、图8臀带、图9乳房和图10腿部)的x＝x
g
的最佳模型以及使用其他三个输入矩阵的误差。
[0138]
图7和图8中可以看出，虽然身高为全身(不包括手臂)的最为可靠的单个特征，但是臀带和腰带预测并非如此，其中在单个特征预测器之中，体重给出了更好的准确性。正如预期的那样，与全身掩模相比较，周长在具体掩模中起到显著得多的作用。
[0139]
对于腰部掩模和臀部掩模两者，表现最佳的特征是臀围，从而针对腰部表面积配准12.59mm的误差e，并且针对臀部表面积配准11.70mm的误差e。针对腰部掩模，使用所有特征达到的最低误差为8.59mm，而臀部掩模实现的最小误差为8.00mm。
[0140]
对于乳房掩模，其结果如图9所示，最佳单个特征是提供9.30mm的误差的腰围，并且正如预期的那样，性别也起着重要作用。对于该掩模，使用所有特征实现的最低误差为6.50mm。
[0141]
最后，根据针对腿部掩模配准的误差(图10)，可以看出，腿长是最有用的单个参数，提供了13.94mm的误差。其次是腿围和身高。使用所有特征在该掩模中实现的最小误差为10.12mm。
[0142]
总之，对于臀带，使用面部特征对估计改善最大，其中对于最佳的12个模型，减少为10.45％(0.99mm)。对于腰部掩模，平均减少为9.71％(0.98mm)，并且对于全身，下降为8.12％(1.33mm)。最后，对于腿部，减少为7.32％(0.84mm)，并且面部实现了针对乳房区域的为7.14％(0.54mm)的最低减少。
[0143]
图11的表示出了：针对x
f
的每个基数，全身掩模(没有手臂)的x＝x
g
的最佳模型、以及针对子集的所有可能组合的使用其他三个输入矩阵的误差。如图6至图10中那样，误差e根据x
g
进行排序。图12至图15的表示出了其他身体部位掩模的对应结果(图12腰带、图13臀带、图14乳房和图15腿部)。
[0144]
因此，根据图6至图15，可以看出，当确定身体模型或身体部位模型时，面部参数为
有用添加，并且面部参数与其他可容易测量或获得的特性(例如，年龄、性别、体重和/或身高)组合，提供了与使用身体的较直接的测量结果(诸如腰围/臀围、腿长等)可比拟的(或足够的)准确性。
[0145]
而且，根据图11至图15，可以看出，虽然使用年龄、性别、体重和身高所有这四者提供的误差最低，但是这些特征的不同子集的性能依赖于所考虑的身体掩模而变化。例如，体重和身高向全身掩模(没有手臂)和腿部提供第4佳结果，但它们只向腰带掩模和臀带掩模提供第5佳结果，并且向乳房掩模提供第6佳结果。因此，依赖于正被评估的受试者的身体部位，可以使用来自年龄、性别、体重和身高的集的特性中的被选择的一个或多个特性与面部参数组合，以实现足够准确的输出。当然，年龄、性别、体重和身高全部都可以与面部参数组合使用，以提供最佳准确性(无需扩展建模以使用身体的其他具体测量结果)。
[0146]
估计表面积和/或体积——该描述的这一部分涉及用于估计身体部位或全身的表面积和/或体积的技术，该技术利用上文所描述的预测模型，该预测模型基于受试者的面部形状空间和特性年龄、性别、体重和身高中的一个或多个特性来预测身体形状系数。
[0147]
图16的流程图图示了用于提供身体参数模型、面部参数模型和预测模型的示例性方法，这些模型可以用于确定身体或(一个或多个)身体部位的3d表示，根据该3d表示，可以估计受试者的身体或身体部位的表面积和/或体积。视情况而定，该方法的步骤中的一个或多个步骤(尽管不一定是所有步骤)可以由装置4中的处理单元8结合存储器单元10、接口电路装置12、用户接口14和成像单元6中的任何项来执行。处理单元8可以响应于执行计算机程序代码而执行一个或多个步骤，该计算机程序代码可以存储在计算机可读介质(诸如例如，存储器单元10)上。
[0148]
在第一步骤(步骤101)中，身体参数模型(例如，形式为化身)配准到3d身体扫描集(例如，包含在群体数据集中，该群体数据集包括多个不同测试受试者的3d身体扫描)中，该3d身体扫描集包括(一个或多个)感兴趣身体部位(例如，手臂、腿部、全身等)。步骤101可以例如使用以下论文中描述的技术来执行：上文所提及的“the space of human body shapes:reconstruction and parameterization from range scans”，或allen,b.、curless,b.和z.的“exploring the space of human body shapes:data
‑
driven synthesis under anthropometric control”，sae international proc.digital human modeling for design and engineering conference 2004。身体参数模型将一个或多个身体形状参数的值与全身(或可替代地，一个或多个具体身体部位)的3d表示相关联。身体参数模型可以为线性模型。步骤101与上文的
‘
配准’章节相对应。
[0149]
在步骤103中，将每个经配准的化身(即，适于特定测试受试者的3d扫描的身体参数模型)转换为多个身体形状参数(例如，200个形状参数)。这些身体形状参数可以以毫米准确性对3d身体表面进行编码，例如，对应于pca系数，因此针对测试受试者中的每个测试受试者，存在身体形状参数的值集。步骤103可以按照“the space of human body shapes:reconstruction and parameterization from range scans”和“exploring the space of human body shapes:data
‑
driven synthesis under anthropometric control”中的描述来执行。步骤103与上文的
‘
参数空间’章节相对应。
[0150]
在步骤105中，面部参数模型(例如，形式为面部的化身)配准到3d面部扫描集(例如，位于群体数据集中)中。例如，步骤105可以使用“the space of human body shapes:
reconstruction and parameterization from range scans”和“exploring the space of human body shapes:data
‑
driven synthesis under anthropometric control”中所描述的技术来执行。面部参数模型将一个或多个面部形状参数的值与面部的3d表示相关联。面部参数模型可以为线性模型。步骤105与上文的
‘
配准’章节相对应。
[0151]
在步骤107中，每个经配准的面部化身(即，适于特定测试受试者的3d扫描的面部参数模型)被转换为多个面部形状参数(例如，180个面部形状参数)。这些面部形状参数可以以毫米准确性对3d面部表面进行编码，例如，对应于pca系数，因此针对测试受试者中的每个测试受试者，存在面部形状参数的值集。步骤107可以按照“the space of human body shapes:reconstruction and parameterization from range scans”和“exploring the space of human body shapes:data
‑
driven synthesis under anthropometric control”中的描述来执行。步骤107与上文的
‘
参数空间’章节相对应。
[0152]
在步骤109中，作为一个或多个特性和面部形状参数的函数，构建、训练或形成要用于预测每个受试者的形状表示(形式为一个或多个身体形状参数的值)的预测模型。经训练或形成的预测模型要接收受试者的面部形状参数的值和受试者的一个或多个特性的值作为输入，并且预测受试者的一个或多个身体形状参数的值(或其中预测模型包括身体参数模型，通过将(一个或多个)身体形状参数的预测值输入到身体参数模型中来预测全身或身体部位的3d表示)。根据在步骤103中获得的身体形状参数集、在步骤107中获得的面部形状参数集以及群体数据集中的针对测试受试者的一个或多个特性的值，来构建、训练或形成预测模型。
[0153]
预测模型可以为非线性模型。例如，预测模型可以为回归模型，诸如三次多项式。步骤109与上文的
‘
预测模型’章节相对应。
[0154]
预测模型是其函数的一个或多个特性可以是以下中的任何一项或多项：受试者的年龄、受试者的性别、受试者的体重和受试者的身高。在一些实施例中，除了年龄、性别、体重和身高中的一个或多个之外，特性还可以包括受试者身体的一个或多个其他测量结果，诸如腿长、腿部(股四头肌)周长、腰围、臀围、臂长、臂围、上身高度、颈围(全都如图2所示)。添加这些另外的特性可以提高预测模型在预测身体形状参数时的准确性。
[0155]
在一些实施例中，在步骤109中，可以形成多个候选预测模型，其中每个候选预测模型使用一个或多个特性的相应子集。例如，可以形成使用年龄、性别和身高的第一候选预测模型，可以形成使用性别和体重的第二候选预测模型，可以形成仅使用身高的第二候选预测模型等。然后，评估候选预测模型中的每个候选预测模型在预测全身或一个或多个感兴趣身体部位的3d表示时的准确性(即，误差)(例如，其中结果如图11至图15所示)。在一些实施例中，在步骤109中形成的预测模型可以为提供候选预测模型的最高准确性(最低误差)的候选预测模型。在其中期望使预测模型所需的特性的数目最小的备选或另外的实施例中，在步骤109中形成的预测模型可以为如下候选预测模型，该候选预测模型利用最小数目的特性提供足够的准确性。
[0156]
图17中的流程图图示了用于估计感兴趣受试者(即，不在测试受试者群体中的受试者)的身体或身体部位的表面积或体积的示例性方法。该方法利用在图16的流程图中导出的身体参数模型、面部参数模型和预测模型。视情况而定，图17中的方法的步骤中的一个或多个步骤(尽管不一定是所有步骤)可以通过装置4中的处理单元8与存储器单元10、接口
电路装置12、用户接口14和成像单元6中的任何项结合来执行。处理单元8可以响应于执行计算机程序代码而执行一个或多个步骤，该计算机程序代码可以存储在计算机可读介质(诸如例如，存储器单元10)上。
[0157]
在第一步骤(步骤111)中，获得受试者的至少一个图像。该至少一个图像应包括(即，示出)受试者的面部。在一些实施例中，可以获得多个图像，或可以获得受试者的视频序列(其中视频序列的帧与图像相对应)。优选地，从受试者的正面拍摄至少一个图像(即，(一个或多个)图像示出面部
‘
正面(front
‑
on)’)。然而，可以获得从不同方向示出受试者的面部的多个图像(例如，示出面部的左侧的图像、示出右侧的图像等)。在步骤111中，可以从成像单元6获得(一个或多个)图像，即，成像单元6用于捕获受试者的面部的(一个或多个)图像，并且该(一个或多个)图像被提供给处理单元8。可替代地，在步骤111中，处理单元8可以从存储器单元10获得(一个或多个)图像，例如，如果(一个或多个)图像先前通过成像单元6或另一成像单元/设备获得。在一些实施例中，(一个或多个)图像可以是所谓的
‘
自拍’，该自拍由受试者使用成像单元6、他们的智能电话或具有面向用户的成像单元的其他电子设备获得。一个或多个图像可以是彩色图像或单色图像。
[0158]
在步骤113中，处理单元8处理至少一个图像以确定受试者的面部的一个或多个面部图像参数的值。一个或多个面部图像参数的值表示受试者的面部的3d几何形状。
[0159]
在该步骤中，可以处理受试者的面部的图像(其可以是单个图像或视频序列中的帧)，以提取表示面部几何形状的二维(2d)点集。xuehan xiong fernando de la torre(机器人研究所，卡内基梅隆大学，宾夕法尼亚州匹兹堡，15213)的论文“supervised descent method and its applications to face alignment”提供了可以用于从面部的图像中提取表示面部几何形状的2d点的示例性技术。然后，这些2d点可以用于计算3d点集，以提供表示受试者的面部的化身。wo 2017/085075中描述了以这种方式使用2d点。
[0160]
可替代地，在步骤113中，可以处理包括受试者的面部的视频序列，以提取表示面部几何形状的3d点集。这些3d点提供了表示受试者的面部的化身。该步骤可以使用以下文档中所描述的技术：l
′
aszl
′
o a.jeni(机器人研究所，卡内基梅隆大学，宾夕法尼亚州匹兹堡，美国)、jeffrey f.cohn(机器人研究所和心理学系，匹兹堡大学，宾夕法尼亚州匹兹堡，美国)和takeo kanade(机器人研究所)的“dense 3d face alignment from 2d videos in real
‑
time”。
[0161]
在步骤115(其可以在步骤111之前、步骤113之前或步骤113之后执行)中，确定受试者的一个或多个特性的值。该一个或多个特性包括以下一项或多项：受试者的年龄、体重、身高和性别。步骤115可以包括受试者或另一个人例如使用用户接口14将一个或多个特性的(一个或多个)值手动录入到装置4中。例如，受试者或另一个人可以手动录入受试者的年龄、体重、身高和性别中的任何一项或多项。可替代地，步骤115可以包括：从存储器单元10获得或检索一个或多个特性的(一个或多个)值，例如，如果该(一个或多个)值先前已经存储在存储器单元10中，或者从另一数据库获得或检索该(一个或多个)值(例如，受试者的健康记录)。可替代地，步骤115可以包括：通过分析在步骤111中获得的(一个或多个)图像来确定一个或多个特性的(一个或多个)值。例如，可以处理(一个或多个)图像以估计受试者的年龄、估计受试者的体重(尽管将领会，(一个或多个)图像应优选示出受试者的面部和其身体的至少一个部位)、估计受试者的性别并且估计受试者的身高(尽管将领会，(一个或
多个)图像应示出受试者的身体)。图像处理技术领域的技术人员将知道可以用于处理(一个或多个)图像或视频序列以确定年龄、性别、体重和身高中的任何项的合适技术。将领会，在其中需要多个特性的值的一些实施例中，可以使用上述实施例的组合，例如，受试者或另一用户可以输入特性中的一个或多个特性(例如，身高)的值，特性中的另一特性(例如，年龄或出生日期)的值可以存储在存储器单元10中，和/或特性中的另一特性(例如，性别)的值可以从(一个或多个)图像或视频序列中确定。
[0162]
在步骤115中确定其值的具体特性可以依赖于要在后续步骤中用于预测身体形状参数的预测模型的要求。例如，在一些实现方式中，预测模型可能需要所有四个特性的值，而在其他实现方式中，预测模型可能需要两个具体特性(例如，身高和年龄)的值。如下文所进一步指出的，在一些实施例中，预测模型所使用的(一个或多个)特性可以依赖于要针对其估计表面积和/或体积的(一个或多个)身体部位。
[0163]
在步骤117中，面部参数模型和在步骤113中从(一个或多个)图像中提取的一个或多个面部图像参数的值用于确定受试者的面部的一个或多个面部形状参数的值。面部参数模型将一个或多个面部图像参数的具体值与具有一个或多个面部形状参数的相应值的面部的相应3d表示相关联。面部形状参数可以是例如pca系数。面部参数模型可以为线性模型，如上文所描述的。应当指出，一些类型的面部图像参数可以被认为是面部形状参数，并且在步骤117中，面部参数模型可能无需将面部图像参数的所有值都与面部形状参数相关联。
[0164]
在步骤117的特定实施例中，面部参数模型配准到如由步骤113中确定的一个或多个面部图像参数表示的受试者的面部的(一个或多个)图像中，并且经配准的面部参数模型被转换为一个或多个面部形状参数。
[0165]
在步骤119中，使用预测模型(例如，如在步骤109中确定的)、在步骤105中确定的一个或多个特性的值以及在步骤107中确定的一个或多个面部形状参数的值，来预测受试者的全身的3d表示。在步骤119中预测的全身的3d表示指示全身的表面形状。
[0166]
如上文所指出的，在一些实施例中，预测模型使用受试者的面部形状参数的值和受试者的一个或多个特性的值作为输入，并且预测受试者的一个或多个身体形状参数的值。在这些实施例中，一个或多个身体形状参数的值用于使用身体参数模型(例如，如上文参考步骤101/103所描述的)来预测全身的3d表示，该身体参数模型将3d表示与身体形状参数的值相关联。
[0167]
在备选实施例中，预测模型还可以包括身体参数模型，在这种情况下，预测模型通过将(一个或多个)身体形状参数的预测值输入到身体参数模型中来确定全身的3d表示。
[0168]
在步骤121中，受试者的全身的预测3d表示被分析，以估计受试者的身体或身体部位的表面积和/或体积(根据需要)。具体地，3d表示的表面将由(大量)多个多边形(例如，通过对参数身体模型中的平均顶点位置进行三角形划分而获得的三角形)构成，并且身体或身体部位的表面积可以通过对构成该身体或身体部位的多边形的面积进行求和来估计。同样，3d表示可以由大量体素(例如，通过对参数身体模型中的平均顶点位置进行四面体化而获得的四面体)构成，并且身体或身体部位的体积可以通过对构成该身体或身体部位的体素的体积进行求和来估计。
[0169]
一旦确定，所估计的身体或身体部位的表面积和/或体积就可以以多种不同方式
中的一种或多种方式被使用。
[0170]
在一些实施例中，所估计的表面积和/或体积可以经由用户接口14输出给受试者或另一用户。例如，所估计的表面积和/或体积可以显示在显示屏上，经由扬声器作为音频输出等
[0171]
在一些实施例中，所估计的表面积和/或体积可以从装置4传达到另一电子设备(例如，经由接口电路装置12)，它可以被存储在该另一电子设备处(例如，在健康记录数据库中)或由该电子设备使用。
[0172]
在一些实施例中，所估计的表面积和/或体积可以用于或应用于特定领域，诸如医疗保健(包括个人护理)、网上购物和纺织工业。在后两个示例中，所估计的表面积和/或体积用于选择适合受试者尺寸的衣物物品。
[0173]
在医疗保健领域，所估计的表面积可以用于评价患有银屑病的受试者的银屑病面积和严重程度指数(pasi)。所估计的表面积和/或体积还可以或可替代地用于确定药物剂量，诸如化疗剂量。
[0174]
在个人护理领域，设备可以用于对受试者进行处理操作。许多类型的设备可用，其可以用在受试者的身体上以提供对身体的处理操作或对身体的个人护理操作。例如，存在用于使用各种技术移除不想要的毛发的设备，该各种技术诸如为刮剃、电解、拔毛、激光和光疗法(称为脱毛)以及治疗性抗雄激素注射。包括减少毛发生长和处理痤疮在内的其他类型的皮肤病处理还可以使用基于光的技术。设备还可以用于向受试者提供按摩、提供指甲处理、提供理疗、向受试者应用贴片(例如，心电图电极等)。另一类型的设备为超声探头。
[0175]
对于这些类型中的任何类型的设备或处理操作，了解身体或相关身体部位的表面积和/或体积可能很有用，因为这可以用于提供关于处理设备的处理操作的反馈。因此，提供了一种提供反馈的方法，其中使用(一种或多种)上述方法确定全身或感兴趣身体部位的表面积和/或体积，并且所估计的表面积和/或体积用于确定关于处理操作的反馈。例如，了解腿部的表面积将使得能够计算出使整条腿脱毛所需的光脉冲/闪光的平均数目。这对于难以监测皮肤的哪些面积已被处理的应用特别有用(例如，在光脱毛中，经过处理的区域对人眼不可见)，并且该信息可以用于向受试者或用户提供关于处理进度的(实时)反馈。因此，在一些实施例中，处理单元8基于所估计的表面积和每次处理所处理的表面积(例如，每个脉冲/闪光所处理的面积)，来确定处理特定身体部位(或整个身体)所需的处理(例如，光脉冲/闪光)的数目。处理的数目还可以考虑处理之间的重叠量(例如，一次处理的面积可以与先前处理面积重叠一定量，例如，20％)。在这些实施例中，处理单元8可以使用所确定的处理身体部位(或整个身体)所需的处理的数目以及关于已经给予的处理的数目的信息，向受试者或用户指示需要多少处理(例如，闪光/脉冲)以完成处理操作。处理单元8可以以任何期望形式(例如，剩余处理的数目、完成百分比等)向受试者或用户呈现该信息。该信息(包括关于所执行的处理的数目和/或所处理的身体部位/身体的量的信息)可以存储在受试者的处理记录中。
[0176]
除了关于处理进度的反馈之外，还可以使用所谓的
‘
智能调度’，其中具体身体部位的表面积已知，并且受试者或处理设备的其他用户可以基于诸如可用处理时间(比如，由受试者或用户设置的)和/或闪光设备电量之类的因素而被指导通过某个处理方案。
[0177]
在一些实施例中，图17中的估计表面积和/或体积的方法还包括以下步骤：其中处
理单元8接收要针对其估计表面积和/或体积的身体的(一个或多个)什么部位的指示。该指示可以指示是要针对以下项来估计表面积和/或体积：整个身体、不包括头的整个身体、不包括手臂的整个身体、两条腿、一条腿、两条手臂、一条手臂、一只脚、两只脚、一只手、两只手、手的一个手掌、两个手掌、乳房、腰部、臀部、胸部、躯干、腹部、背部、上身、下身等。指示可以是例如经由用户接口14从受试者或用户接收的输入。在一些实施例中，可以通过受试者或用户从经由用户接口14呈现或显示的身体部位列表中选择身体或身体部位来提供指示。在备选实施例中，用户接口14可以用于显示在步骤119中确定的受试者身体的3d表示(或可替代地，它可以显示身体的通用3d表示)，并且受试者或用户可以选择所显示的身体的一个或多个部位。然后，处理单元8可以计算由受试者或用户选择的(一个或多个)部位的表面积和/或体积。例如，受试者或用户可以突出显示(例如，通过触摸在触摸屏上)所显示的身体的一个或多个部位，并且处理单元8可以确定该/那些经突出显示的部位的表面积和/或体积。在一些实施例中，用户接口14可以使得受试者或用户能够仅突出显示预先确定的身体部位(或全身)，例如，类似于图3所示的模板。然而，在其他实施例中，用户接口14可以使得受试者或用户能够选择或突出显示身体的任何期望部位或部位组合。例如，用户或受试者可以仅突出显示图3的模板所示的身体部位的一部分、或身体的多个部分或部位(例如，用户或受试者可以选择下臂、或左臂和左腿等)。在这方面，受试者或用户可以能够选择非连续(即，彼此不相邻或接触)的多个身体部位。受试者或用户可以突出显示或选择与特定处理操作相关的身体部位。
[0178]
如上文关于图11至图15所示的性能度量所指出的，虽然使用年龄、性别、体重和身高所有这四者(与面部形状参数组合)提供最低误差，但是这些特征的不同子集的性能依赖于所考虑的身体掩模而变化。因此，在一些实施例中，基于要针对其估计表面积和/或体积的身体部位(包括全身)，可以适配步骤115中确定或需要的一个或多个特性。更具体地，用于预测3d表示的预测模型可以基于(一个或多个)要评估的身体部位来进行适配(或选择在步骤109的实施例中确定的适当候选预测模型)。以这种方式，可以减少需要由受试者或其他用户导出或输入的信息量，同时仍然向表面积和/或体积估计提供可接受的准确性。可替代地，可以确定要由受试者或其他用户导出或输入的最小信息量，该最小信息量向表面积和/或体积估计提供某个准确性水平。
[0179]
例如，如果期望在步骤115(和后续步骤)中仅使用两个特性，那么如果要估计腿部或全身(不包括手臂)的表面积和/或体积，则步骤115可以包括确定体重和身高，因为它们向这两个掩模提供最准确的两特性结果。然而，如果要估计臀部、腰部或乳房的表面积和/或体积，则步骤115可以代替地包括确定性别和体重。作为另一示例，当与(一个或多个)特性的另一组合相比较时，可以确定特性的特定组合是次优的，在这种情况下，代替地使用(一个或多个)特性的该/那些其他组合可能更好。例如，对于臀带，体重提供比年龄、性别和身高组合起来更加准确的3d表示。在那种情况下，优选使用体重作为用于该预测模型的特性，而不是其他三个特性，或至少确保体重包括在特征组合中。
[0180]
因此，依赖于要评估的受试者的身体的部位，可以使用从年龄、性别、体重和身高的集中选择的一个或多个特性与面部形状参数组合，以实现足够准确的输出，或使需要手动输入、从另一信息源检索和/或从(一个或多个)图像确定的信息量最少。
[0181]
如上文所指出的，在一些实施例中，用户或受试者可以例如通过在用户接口14上
突出显示或选择身体的一个或多个部分或部位，来动态选择要针对其估计表面积和/或体积的身体的一个或多个部位。在这种情况下，用于估计该/那些身体部位的3d表示的
‘
最优’输入特性集可能未知。因此，在这些实施例中，在进行图17中的方法之前，方法可以执行步骤109以确定能够预测(一个或多个)被突出显示或选择的身体部位的3d表示的预测模型。预测模型将是特性中的具体的一个或多个特性的函数，该具体的一个或多个特性被确定为对于(一个或多个)被选择的身体部位和面部形状参数而言最为适当或最为可靠。一旦确定了预测模型，就可以从用户或受试者接收该预测模型所需的(一个或多个)特性的值(在一些实施例中，可以在向用户或受试者请求提供那些特性的(一个或多个)值之后接收该/这些值)，或该预测模型所需的(一个或多个)特性的值可以以其他方式在步骤115中确定。因此，在这些实施例中，算法能够基于用户或受试者对一个或多个身体部位的选择，根据需要来确定新预测模型。
[0182]
在一些实施例中，还可以通过使用在步骤115中确定的一个或多个特性的值来确定一个或多个面部形状参数的值，来提高在步骤117中确定的(一个或多个)面部形状参数的准确性。在这些实施例中，可以在图16的步骤107中确定面部预测模型，该面部预测模型接收面部图像参数(例如，面部图像参数可以从受试者的面部的图像获得)和一个或多个特性(即，年龄、性别、体重和/或身高)作为输入，并且输出面部形状参数的预测值。
[0183]
因此，提供了用于在无需受试者的3d身体扫描或3d身体部位扫描的情况下估计受试者的身体部位或身体的表面积和/或体积的改进技术。代替地，所公开的技术需要受试者的面部的图像和关于受试者的有限(但可容易获得的)信息，诸如年龄、性别、体重和/或身高。
[0184]
通过研究附图、公开内容和所附权利要求，本领域技术人员在实践本文中所描述的原理和技术时可以理解和实现对所公开的实施例的变化。在权利要求中，单词“包括”不排除其他元件或步骤，不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的几个项的功能。在相互不同的从属权利要求中叙述某些措施的简单事实并不表示不能有利地使用这些措施的组合。计算机程序可以存储或分布在合适介质上，该合适介质诸如为与其他硬件一起供应或作为其他硬件的一部分供应的光存储介质或固态介质，但计算机程序还可以以诸如经由互联网或其他有线或无线电信系统之类的其他形式分布。权利要求中的任何附图标记不应被解释为限制范围。