本发明涉及一种用于基于测试对象的图像数据来估计测试对象、特别是人脸或人脸的部分的绝对尺寸大小的方法。在另外的方面中，本发明涉及一种被配置为执行所述方法的对应的设备。在又一方面中，本发明涉及一种包括用于使计算机执行所述方法的程序代码模块的计算机程序。
本发明的应用领域是出于适配和/或选择患者接口(诸如用于气道正压治疗的面罩)的目的而基于未缩放的图像数据来估计绝对脸部尺寸。
背景技术：
患者接口，诸如压力支持系统中的面罩，被用于将气体递送至用户(在本文中也被称为“人”或“患者”)。如空气、清洁空气、氧气或者其任何修改的这样的气体经由患者接口以加压或非加压方式被提供给用户。
对于若干慢性病和疾病，使用这样的患者接口是必要的或者至少是可取的。
这样的疾病的一个非限制性范例是阻塞性睡眠呼吸暂停或阻塞性睡眠呼吸暂停综合征(osa)。osa通常是由上气道阻塞所引起的。其特征在于在睡眠期间的重复的呼吸暂停，并且通常与血氧饱和度的下降相关联。呼吸中的这些暂停被称为呼吸暂停，通常持续20秒至40秒。上气道的阻塞通常是由睡眠期间发生的身体的肌肉张力下降所引起的。人类气道由软组织的壁构成，该软组织的壁可能在睡眠期间塌陷并由此阻碍呼吸。在睡眠期间，舌组织向咽喉后部移动，并由此阻塞空气通道。osa因此通常伴有打鼾。已知针对osa的不同的侵入性和非侵入性处置。最强有力的非侵入性处置之一是使用持续气道正压通气(cpap)或双气道正压通气(bipap)，其中患者接口(例如，面罩)被附接到软管和机器上，该机器将加压气体(优选为空气)鼓送到患者接口中并通过患者的气道以便保持其打开。因此，通过被连接到由患者佩戴的患者接口或呼吸接口(诸如面罩)的软管将正气压提供给患者。结果是前述长期使用患者接口，因为患者接口的佩戴通常发生在患者的睡眠时间期间。
针对患者接口的范例是：
-鼻罩，其适配在鼻子上方并且通过鼻通道来递送气体，
-口罩，其适配在嘴部上方并且通过嘴部来递送气体，
-全面罩，其适配在鼻子和嘴部两者上方并且将气体递送到这两者，
-总面罩，其覆盖整个脸部或基本上覆盖整个脸部，包围鼻子、嘴部以及眼睛，并且将气体递送到嘴部和鼻子，以及
-鼻枕(也被称为备选面罩)，其被认为是也在本发明的范围之内的面罩，并且其由直接将气体递送到鼻通道的小的鼻插入物组成。
为了确保设备的可靠操作，患者接口(面罩)需要紧密适配在患者的脸部上以在面罩至脸部接口处提供气密密封。通常，使用具有围绕患者头后部的条带的头帽来穿戴患者接口。在实践中，患者接口或面罩通常包括被用作面罩至患者接口的软衬垫，即，当佩戴面罩时接触患者的脸部，并且其通常包括所谓的面罩壳体，所述面罩壳体用于构建刚性或半刚性保持结构，以将衬垫保持在位并且为患者接口(面罩)提供机械稳定性。
为了增加患者的舒适度并保证患者脸部上的柔软感，衬垫通常包括由凝胶或硅树脂或者任何其他柔软材料制成的一个或多个垫。后面提到的面罩壳体通常还包括适于将空气供应软管连接到面罩的软管接口。取决于面罩的类型，其可能还包括这样的机构，所述机构具有在前额上的额外的衬垫支撑体，以平衡面罩围绕人脸的气道入口特征的面罩所施加的力。
显而易见的是，对于设备的可靠操作最重要的是患者接口的紧密度和正确的适配。患者接口的不正确适配不仅可能导致面罩-脸部接口处的不希望的空气泄漏，而且还可能导致患者脸部皮肤上的过度压力点，这再次可能在患者的脸部引起令人不快和痛苦的红色印记。因此，患者接口需要精确地适配到患者的个人脸部轮廓。存在各种类型的患者接口，即，不仅是不同的大小和形状，而且还有不同类型的患者接口。由于脸部的解剖特征因患者而异，所以最适配的患者接口也因患者而异。换言之，需要对患者接口的个性化适配或选择，并且显而易见的是，对患者接口的良好适配或选择依赖于对患者的绝对脸部尺寸的正确测量或估计。
从us2006/0235877a1获知了利用简化的适配技术的面罩适配系统。其中，所描述的面罩适配系统和方法利用模板或标尺来确定患者头部的尺寸。备选地，捕获患者的一幅或多幅图像，并且然后，使用必须由患者填写的调查问卷来将患者头部的尺寸手动键入到系统中。在任何情况下，绝对脸部尺寸都需要手动测量或者由患者填写调查问卷而输入到系统中。当然，这对用户而言是麻烦且耗时的。除此之外，对脸部尺寸的手动测量需要受过教育的人执行测量，并且容易出现对生理性脸部标志的错误的主观解释。
在许多实际器具中，脸部尺寸不能手动测量(因为没有时间)，或者事先不知道用户脸部的绝对尺寸，因此在us2006/0235877a1中所提出的设备和方法不仅不利，而且也不能应用于许多实际情况。
备选地，也能够使用校准的光学扫描器来接收绝对的脸部尺寸。然而，这样的校准的光学扫描器的使用尚不能被视为商品。除此之外，这样的校准的光学扫描器的生产相当昂贵，并且至少到目前为止，其似乎不适合作为私人或半专业环境中的日常设备。
因此，如果能够根据“常规”照片或视频来重建或估计脸部尺寸，则将是灵活的。现代计算机视觉技术允许使用单个(单色)视频相机来准确重建脸部形状(例如参见jeni,l.a.等人在theroboticsinstitute，carnegiemellonuniversity，pittsburgh，pa，usa，zface.org上的dense3dfacealignmentfrom2dvideosinreal-time一文)。通过使用这样的技术，对用于建议、选择和/或适配患者接口的应用的输入可以是利用普通智能手机(单色)照相机拍摄的单幅照片(自拍)或短视频。然而，重要的是要注意，前文提到的方法仅允许准确重建人脸的形状，而不是重建人脸的绝对尺寸。换言之，由于尺度模糊性，不能够对重建的脸部模型进行直接测量，因为不能够使用单个(单色)相机装置来恢复重建对象的绝对尺寸。因此，当使用前文所提到的方法时，脸部模型的真实尺度可能不能够以自动的方式来确定。
因此，仍存在改进的空间。
用于脸部对齐的最流行的局部纹理模型之一是被称为主动形状模型(asm)的模型。该模型应用在许多领域中，包括在图像中定位脸部特征的领域，以及脸部合成的领域。lehoangthai、vonhattruong等人：“facealignmentusingactiveshapemodelandsupportvectormachine”，internationaljournalofbiometricandbioinformatics，2011年2月1日，第224-234页，xp055277739，涉及改进asm以提高asm用于模型的脸部对齐应用的性能。所述改进包括使用支持向量机(svm)对图像中检测到的人脸上的标志进行分类，并且基于输入图像的大小来自动地调节多级模型中的2d轮廓。在此过程中，执行在图像的脸部上的模型的对齐(缩放、旋转和平移)。
xiongxuehan等人：“superviseddescentmethodanditsapplicationstofacealignment”，ieeecomputersocietyconfrenceoncomputervisionandpatternrecognition.proceedings,ieeecomputersociety，us，2013年6月23日，第532-539页，xp032492802，涉及用于使非线性最小二乘(nls)函数最小化的监督下降法(sdm)。在训练期间，sdm学习一系列下降方向，其使得在不同点所采样的nls函数的均值最小化。在测试中，sdm使用所学习的下降方向使nls目标最小化，而无需计算jacobian或hessian。特别地，其展示了sdm如何在脸部特征检测的领域中实现最先进的性能。
技术实现要素：
本发明的目的是提供一种用于基于测试对象的图像数据来估计测试对象、特别是人脸部或人脸部的部分的绝对尺寸大小的经改进的方法和设备。具体地，本发明的目的是提供一种方法和设备，其允许基于被用作输入的未缩放的图像数据以估计的尺度来重建脸部模型。
在本发明的第一方面中，提出了一种用于基于测试对象的图像数据来估计测试对象的绝对尺寸大小的方法，所述测试对象是测试人员的脸部或脸部的部分，所述方法包括以下步骤：
-接收所述测试对象的图像数据；
-基于接收到的图像数据来确定所述测试对象的第一模型，其中，所述第一模型具有未知尺度；
-将所述测试对象的所述第一模型对齐和缩放到第一平均模型，其中，所述第一平均模型包括参考对象的多个第一模型的平均结果，所述参考对象是参考人员的脸部或脸部的部分，其中，所述参考对象的所述第一模型与所述测试对象的所述第一模型是相同类型的并且具有未知的尺度；
-通过确定所述测试对象的对齐和缩放的第一模型与第一平均模型之间的差异，来确定所述测试对象与参考对象的平均结果之间的形状差异；
-基于(i)所确定的形状差异、(ii)指示所述参考对象的形状与尺寸大小之间的统计学相关性的统计学算子以及(iii)第二平均模型，利用所估计的尺度来确定所述测试对象的第二模型，其中，所述第二平均模型包括所述参考对象的多个第二模型的平均结果，其中，所述参考对象的所述第二模型与所述测试对象的所述第二模型是相同类型的并且具有已知的尺度；并且
-基于所述测试对象的第二模型来确定所述测试对象的尺寸大小。
在本发明的另外的方面中，提出了一种用于基于测试对象的图像数据来估计测试对象的绝对尺寸大小的对应的设备，所述测试对象是测试人员的脸部或脸部的部分，所述设备包括：
-接收单元，其用于接收所述测试对象的图像数据；以及
-处理单元，其被配置为：
-基于接收到的图像数据来确定所述测试对象的第一模型，其中，所述第一模型具有未知的尺度；
-将所述测试对象的第一模型对齐和缩放到第一平均模型，其中，所述第一平均模型包括参考对象的多个第一模型的平均结果，所述参考对象是参考人员的脸部或脸部的部分，其中，所述参考对象的所述第一模型与所述测试对象的所述第一模型是相同类型的并且具有未知的尺度；
-通过确定所述测试对象的对齐和缩放的第一模型与第一平均模型之间的差异，来确定所述测试对象与参考对象的平均结果之间的形状差异；
-基于(i)所确定的形状差异、(ii)指示所述参考对象的形状与尺寸大小之间的统计学相关性的统计学算子以及(iii)第二平均模型，利用所估计的尺度来确定所述测试对象的第二模型，其中，所述第二平均模型包括所述参考对象的多个第二模型的平均结果，其中，所述参考对象的所述第二模型与所述测试对象的所述第二模型是相同类型的并且具有已知的尺度；并且
-基于所述测试对象的第二模型来确定所述测试对象的尺寸大小。
在本发明的另外的方面中，提出了一种包括程序代码模块的计算机程序，当所述计算机程序在计算机上执行时，所述程序代码模块使所述计算机执行前述方法的步骤。
在从属权利要求中定义了本发明的优选实施例。应当理解，所要求保护的设备和计算机程序具有与所要求保护的方法以及如在从属权利要求中所定义的相似和/或相同的优选实施例。
所提出的方法基于人脸部的形状和真实大小之间的所发现的统计学相关性。所提出的方法可以说是利用了大的脸部与小的脸部之间的无尺度形状的统计学差异。
申请人的大量实验和统计学评估表明，小的脸部和大的脸部的形状通常具有不同的外观。换言之，可以基于所示的脸部的形状，将自然的大的脸部(以真实尺度测量为相对较大的脸部)的图片与示出天然小的脸部的图片(以真实尺度测量为相对较小的脸部)区分开。即使通过将这样的脸部的图片放大或缩小至具有未知尺度的标准大小来缩放所述图片，对应于自然的小的脸部和大的脸部的特征形状也保持不同。
例如，申请人的统计学评估已经表明，相对较大的脸部的鼻子的鼻尖更向下弯曲，而相对较小的脸部中的鼻尖更向上弯曲。在较大的脸部中在鼻子和上唇之间的空间通常也比相对较小的脸部更向下弯曲。在较大的脸部中下巴通常看起来比较小的脸部中的下巴更倾斜。较小的脸部的下巴具有规则的更平滑的轮廓，并且通常相对于嘴部大小相对较小(相对大小)。应当注意，这些仅仅是这样的统计学证明的在较小的脸部与较大的脸部的形状之间差异的一些范例。
在本文中所提出的方法以接收测试对象的图像数据开始，例如，测试人员的脸部的部分或完整脸部的图片或视频。如果这样的图像或视频是由“普通”(单色)相机拍摄的，则本身不存在关于图像或视频中所示的测试人员的脸部的尺寸的信息。
因此，该方法在下一步骤中使用脸部模型，其在此被称为“第一模型”。应当注意，术语“第一模型”仅仅是针对特定种类的模型的名称，而并不意味着任何时间或等级次序，也不暗示任何特定类型的模型。术语“第一模型”主要用于将其与另一类型的模型区分开来，在本文中将另一类型的模型称为“第二模型”并在下文进一步详细解释。
基于接收到的图像数据来确定测试对象的第一模型。如之前所解释地，由于所述图像数据通常作为具有未知尺度的像素坐标中的像素数据来提供，所以适配到图像数据的第一模型因此也具有未知的尺度。
在另外的步骤中，将测试对象的所述第一模型对齐并缩放到包括参考对象的多个第一模型的平均结果的所谓“第一平均模型”。参考对象与测试对象的类型相同。在本发明的上文所提到的主要应用领域中，参考对象例如表示参考人员的脸部或脸部的部分。参考对象的第一模型与测试对象的第一模型类型相同，这意味着这些模型具有相同的结构和一般约束。如果例如测试对象的第一模型是包括2d脸部界标的模型，则参考对象的模型是使用相同量和相同类型的识别出的脸部界标的相同类型的模型。
第一平均模型可以基于例如预先存储在数据库中的参考对象的图像数据来预先确定。第一平均模型也可以预先存储在数据库中。第一平均模型可以在学习阶段期间生成。在参考对象的第一模型是包括不同对象点的集合的界标模型的情况下，第一平均模型可以是通过针对每个不同对象点确定所有参考对象中的各自对象点的(线性)平均结果来确定的模型。当然，每次将新的参考对象的图像数据相加到数据库时，可以重新计算第一平均模型，使得该过程被重复若干次。可以使用加权平均结果来替代线性平均结果。
测试对象的第一模型与第一平均模型的前述对齐优选包括刚性对齐。将测试对象的第一模型缩放为第一平均模型优选基于模型适配，该模型适配包括测试对象的第一模型与第一平均模型之间的差异的均方根的最小化。然而，应当注意的是，在该缩放操作之后，测试对象的第一模型具有与第一平均模型相同的尺度。第一平均模型的尺度能够被认为是已知的。因此，在缩放操作之后，测试对象的第一模型获得第一模型的平均结果的已知的但是不正确的尺度。
在下一步骤中，计算测试对象的对齐和缩放的第一模型与第一平均模型之间的差异。由于测试对象的第一模型和第一平均模型两者具有相同(未知)的尺度，因此，这种差异不包括在测试对象与参考对象的平均结果之间的“大小差异”，但是主要或者仅包括在测试对象与参考对象的平均结果之间的形状差异。
然后，可以计算测试对象的第二模型，所述第二模型具有估计的尺度。测试对象的第二模型的尺度事先是不知道的，但是可以进行确定/估计。测试对象的该第二模型可以说是需要被确定的测试对象的目标输出模型，以便能够测量测试对象的大小。
基于(i)所确定的形状差异、(ii)指示参考对象的形状与尺寸之间的统计学相关性的统计学算子以及(iii)第二平均模型来确定测试对象的第二模型。
与前述第一平均模型相似，第二平均模型包括参考对象的多个第二模型的平均结果，其中，参考对象的第二模型与测试对象的第二模型的类型相同。然而，与参考对象的第一模型相反，参考对象的这些第二模型具有已知的尺度。换言之，在第二模型中所表示的测试对象的尺寸是已知的。第二平均模型因此也可以被表示为实际大小平均模型。
与前述第一平均模型相同或类似的，第二平均模型和统计学算子可以被预先地确定(通过所提出的方法在评估测试对象的图像数据之前)。第二平均模型和统计学算子可以在统计学“训练阶段”期间找到并且被预先存储在数据库中。
根据本发明的实施例，可以通过以下方式来确定统计学算子：
–针对参考对象中的每个参考对象接收与测试对象的第一模型是相同类型的第一模型；
-针对参考对象中的每个参考对象接收与测试对象的第二模型是相同类型并且具有已知的尺度的第二模型；
-将每个参考对象的第一模型与第一平均模型对齐和缩放；
-将每个参考对象的第二模型与第二平均模型对齐；
-针对每个参考对象，通过确定每个参考对象的对齐和缩放的第一模型与第一平均模型之间的差异，来确定参考对象中的每个参考对象与参考对象的平均结果之间的未缩放的形状差异；
-针对每个参考对象，通过确定每个参考对象的对齐的第二模型与第二平均模型之间的差异，来确定参考对象中的每个参考对象与参考对象的平均结果之间的缩放的形状差异；并且
-针对所有参考对象，以表示所述统计学算子的公共数学算子来确定从所确定的未缩放的形状差异到所确定的缩放的形状差异的变换。
因此，如上文针对测试对象所解释的，针对所述参考对象中的每个参考对象来执行相似的操作。首先，针对参考对象中的每个参考对象接收与测试对象的第一模型是相同类型的第一模型。这些第一模型可以例如分别根据参考对象中的每个参考对象的图像或视频而导出。针对参考对象中的每个参考对象还接收与测试对象的第二模型是相同类型的并且具有已知的尺度的第二模型。参考对象的第一模型然后被依次对齐并缩放到第一平均模型。当这被重复若干次时，每次新的参考对象的新的第一模型被对齐并缩放到第一平均模型时，可以基于新的参考对象的所述新的第一模型来更新第一平均模型。由于参考对象的第二模型具有已知的尺度，并且可以说是以真实尺度提供的，所以其“仅”必须与第二平均模型对齐，但是不必对其缩放。
在接下来的步骤中，计算在每个参考对象的对齐和缩放的第一模型与第一平均模型(分别针对每个参考对象)之间的差异。类似地，计算每个参考对象的对齐的第二模型与第二平均模型(分别针对每个参考对象)之间的差异。由于第一模型的对齐和缩放以及第二模型的对齐是事先执行的，所以这两种类型的差异再次仅包括关于形状差异(而不是大小差异)的信息。然而，在参考对象的对齐和缩放的第一模型与第一平均模型之间的差异导致未缩放的形状差异(具有未知的尺度)，而在参考对象的第二模型与第二平均模型之间的差异导致缩放的形状差异(具有已知的尺度)。
然后，针对所有参考对象，通过以公共数学算子确定从所确定的未缩放的形状差异到所确定的缩放的形状差异的变换来确定统计学算子。能够以矩阵形式表示的这种公共数学算子就是所谓的统计学算子。
根据优选实施例，基于最小均方方法来确定统计学算子，该最小均方方法使在所有参考对象的缩放的形状差异与应用于所有参考对象的所确定的未缩放的形状差异的统计学算子的应用结果之间的均方根残差最小化。
特别优选的是针对未缩放的形状差异、统计学算子和缩放的形状差异之间的依赖性使用线性方法。这如下所示：
v-avgvgt＝p*(lgts-avglgt)；(1)
其中，v表示参考对象的第二模型，avgvgt表示第二平均模型，p表示统计学算子，lgts表示参考对象的对齐且缩放的第一模型，并且avglgt表示第一平均结果。这也意味着v-avgvgt表示上述缩放的形状差异(在参考对象的对齐的第二模型与第二平均模型之间的差异)；并且lgts-avglgt表示上述未缩放的形状差异(在参考对象的对齐和缩放的第一模型与第一平均模型之间的差异)。
因此，可以通过求解上述线性系统来找到统计学算子p。在找到统计学算子p之后，测试对象的第二模型(具有估计的尺度的测试对象的目标模型)可以通过重新布置的形式的相同类型的线性方程来找到：
v＝avgvgt+p*(lgts–avglgt)；(1’)
其中，v表示测试对象的第二模型，avgvgt表示第二平均模型，p表示统计学算子，lgts表示测试对象的对齐和缩放的第一模型，并且avglgt表示第一平均结果。应当注意的是，与如上所解释的用于确定p的等式1的使用相反，v这次在等式1’中表示测试对象(不是参考对象)的第二模型；而lgts表示测试对象(不是参考对象)的对齐和缩放的第一模型。
所述方法能够通过事先选择与测试对象相似的参考对象来进行改进。在最优选的应用领域中，在测试对象表示测试人员的脸部并且参考对象表示参考人员的脸部的情况下，申请人的实验已经表明，在形状特性与人脸部的真实大小之间的统计学相关性对于相同种族和/或相同性别的人的脸部尤其如此。人的年龄也可能是可以用于改善统计学相关性的相关信息因素。
根据本发明的实施例，所述方法包括以下步骤：从与测试对象相同类型的对象的第一模型的集合中选择参考对象的多个第一模型，其中，所选择的参考对象的多个第一模型是所述集合的子集，并且其中，所述参考对象的所述多个第一模型是基于以下内容来选择的：
(i)所述测试对象的第一模型与包含在所述集合中的第一模型的比较；和/或
(ii)对预的定义的问卷的回答。
换言之，可以预先确定参考对象集合的子组以便识别参考对象，基于该参考对象来计算第一平均模型、第二平均模型和统计学算子。可以借助于对测试对象的第一模型的自动分析(该自动分析包括测试对象的所述第一模型与包含在所述集合中的所有对象的第一模型的比较)和/或基于对包括关于上述因素(如种族、性别、年龄和/或其他个人信息)的问题的预定义问卷的回答来识别这些特别相关的参考对象。
根据另外的实施例，将测试对象的第一模型缩放到第一平均模型是基于模型适配，所述模型适配包括使测试对象的第一模型与第一平均模型之间的差异的均方根最小化。可以例如使用加权n点对齐算法来完成测试对象的第一模型与第一平均模型的这种缩放和对齐，例如在kabsch,w.:asolutionforthebestrotationtorelatetwosetsofvectors，actacrysta1976；32；9223以及kabschw.:adiscussionofthesolutionforthebestrotationtorelatetwovectors，actacrysta1978；34；8278中描述了所述算法。
优选地，所述测试对象的第一模型、所述参考对象的模型、所述测试对象的第二模型以及所述参考对象的第二模型包括2d界标的集合、3d界标的集合或者2d界标的网格或3d界标的网格。例如可以在xiong,x.等人：superviseddescentmethodanditsapplicationstofacealignment，theroboticsinstitute，carnegiemellonuniversity，pittsburgh，pa15213或者jeni,la等人：dense3dfacealignmentfrom2dvideosinrealtime，roboticsinstitute，carnegiemellonuniversity，pittsbrugh，pa，usa中找到这样的模型。
即使第二模型通常可能与第一模型是相同类型的，但优选的是第二模型是比第一模型更密集的模型，包括更多的界标或模型顶点。还应当注意的是，第一模型的界标/顶点不必与第二模型的界标/顶点相同。
根据另外的实施例，通过将预定模型模板适配到所接收到的图像数据来确定测试对象的第一模型。可以以相同的方式，即，通过适配参数模型，来确定参考对象的第一模型、测试对象的第二模型以及参考对象的第二模型。
参考对象的第一模型和第二模型可以根据从3d扫描器、mri设备、ct设备、超声设备或x射线设备接收到的3d图像数据中导出。参考对象的第二模型与测试对象的第二模型相反，优选不是以上述方式使用关于形状与大小差异之间的统计学相关性的知识来估计，而是优选直接根据具有已知的尺度和尺寸的图像数据中直接导出。
附图说明
参考下文所描述的实施例，本发明的这些和其他方面将变得显而易见并得以阐述。在以下附图中：
图1示出了示意性图示根据本发明实施例的设备的框图；
图2示出了示意性图示根据本发明实施例的方法的流程图；
图3a和3b示意性图示了重新缩放到相同尺寸的两个示范性脸部，其中，在图3a中所图示的脸部实际上大于在图3b中所图示的脸部；
图4示出了在本文中被表示为“第一模型”的脸部模型的示范性实施例；
图5示出了在本文中被表示为“第二模型”的脸部模型的示范性实施例；
图6a和6b示意性图示了数学运算以及其逆运算；并且
图7图示了用于验证根据本发明的方法的结果的四幅统计图。
具体实施方式
下文所解释的实施例仅被理解为在本文中所提出的方法和设备的范例性实施例。描述这些实施例是出于基于目前认为最实用和优选的内容来进行说明的目的。然而，相反地，其旨在覆盖在所附权利要求的主旨和范围内的修改和等同布置。
图1示意性图示了根据本发明的设备的示范性实施例。其中的设备整体由附图标记10来表示。
设备10包括接收单元12和处理单元14。设备10还可以包括存储器单元16和输出单元18。更进一步地，所述设备可以包括输入单元(未示出)，诸如键盘、鼠标、触摸屏和/或若干控制按钮。
接收单元12被配置为接收图像数据。这些图像数据可以包括2d或3d图像数据。所述图像数据可以示范性地包括2d图像/照片、3d图像、2d或3d扫描、和/或2d或3d视频(图像序列)。取决于设备10的实施方式的类型，接收单元12可以被实施为数据接口，其可以是硬接线数据接口(例如，usb接口或lan接口)或者无线数据接口(例如，
存储器单元16可以包括适用于永久或暂时地保留数字数据的任何类型的数据存储设备。存储器单元16可以包括任何类型的易失性或非易失性存储器，并且还可以指代通过网络、互联网或云计算可访问的外部数据库(设备10的外部)。
输出单元18可以包括能够并被配置为以可听、可见和/或可触知的形式输出信息的任何类型的设备。输出单元18例如可以包括显示监视器和/或扬声器。
处理单元14通常可以被想象为设备10的“大脑”。处理单元14可以包括以下中的一个或多个：数字处理器、模拟处理器、被设计为处理信息的数字电路、状态机和/或用于电子地处理信息的其他机制。处理单元14可以实施为cpu或者在其上存储有软件的其他种类的计算机硬件，所述软件被配置为执行用于控制和/或操控设备10的逻辑过程。处理单元14可以被实施为例如芯片或者与接收单元12、存储器单元16和/或输出单元18(在它们被实施为外围设备的情况下)进行接口的独立设备。
处理单元14被配置为执行根据本发明的方法。在图2中的流程图中示意性地图示了该方法的示范性实施例。
图2中示出的根据本发明的实施例包括方法步骤s101-s107，其中，应当理解，并非所有方法步骤s101-s107都是强制的方法步骤。例如，方法步骤s103和s104是被认为是可选的方法步骤。
在本文中所提出的方法通常基于经统计学证明的假设，即：在人脸的形状和真实大小之间存在统计学相关性，这导致在较大的脸部与较小的脸部之间的无缩放特性脸部形状中出现差异的事实。申请人的大量实验和统计学评估已经表明，小的脸部和大的脸部通常具有关于其形状的不同的外观。这些特性形状差异即使在实际的大的脸部上的图片被缩放为与实际较小的脸部的图片相同的尺寸时也被保留。
图3a和图3b示意性图示了重新缩放到同一尺寸的两个示范性脸部。在图3a中所图示的脸部实际上比在图3b中所示的脸部更大(具有更大的尺寸)。
根据对图3a和图3b的比较，可以观测到在自然较大和自然较小的脸部之间的以下典型形状差异：较大的脸部的鼻尖20通常更向下弯曲，而较小的脸部中的鼻尖20'更向上弯曲。在鼻子与上唇之间的空间22通常也比相对较小的脸部(参见附图标记22'周围的区域)更向下弯曲并且更加起皱。较大的脸部的下巴24通常看起来比较小的脸部中的下巴24'更倾斜。较小的脸部的下巴24'具有规则的更平滑的轮廓，并且通常相对于嘴部大小相对较小。通常可以在脸颊26、26'的区域中以及眼睛28、28'周围的区域中观测到在较大与较小的脸部之间的其他特性差异。
应当指出的是，前述差异仅仅是那些容易第一眼观测到的差异。然而，应当清楚的是，现代计算机视觉技术允许以更准确和统计学相关的方式来确定这些和其他差异。
下文将详细解释在图2中示意性图示的方法的实施例。
所述方法从步骤s101开始。在该步骤中，获取测试对象(意指测试中的对象)的图像数据。这例如可以包括采集测试人员的视频或图像。
下一步骤s102包括将参数模型适配到测试对象。该参数模型在本文中通常表示为“第一模型”，并缩写为l。第一模型l优选是包括表示测试对象的轮廓的大约40-200个点的2d或3d的界标/顶点模型。
图4示出了被应用于测试人员的脸部32的这样的第一模型l(参见附图标记30)的范例。这样的第一模型l的一般范例可以是(i)2d界标的集合，如在图4中示意性示出的或者由xiong,x.等人提出的：superviseddescentmethodanditsapplicationstofacealignment，roboticsinstitute，carnegiemellonuniversity，pittsburgh，pa，15213，(ii)3d界标的密集网格，如由jeni,l.a.提出的：dense3dfacealignmentfrom2dvideosinrealtime,roboticsinstitute，carnegiemellonuniversity，pittsburgh，pa，usa。
任选地，在步骤s102中所确定的测试对象的第一模型l然后可以在步骤s103和s104中被分类为对象的特定子组的成员。所述分类可以根据如测试对象的性别、种族和/或年龄的标准来进行。这些标准可以基于对预定问卷的回答来确定(参见步骤s103)。备选地或额外地，所述分类能够通过自动分析进行，所述自动分析将测试对象的第一模型与相同类型的对象的其他第一模型进行比较。与文本对象相同类型的对象的这样的第一模型可以被包含在第一模型的集合中，例如被存储在存储器单元16中。显然，第一模型的这样的集合，例如，他人的脸部界标/顶点模型l的集合，必须被创建并预先存储在存储器单元16中。同样清楚的是，该集合必须包含他人的足够大数量的这样的第一模型l，以便能够执行根据本发明的方法所需进行统计学相关的评估。
还应当注意的是，所有这些第一模型l应当与测试人员的第一模型l是相同类型的。由于第一模型l通常基是于具有未知的尺度的图片或视频来确定的，所以第一模型l本身不具有已知的尺度，而是通常以未缩放的像素坐标来表示。
步骤s103和s104的结果是将相关参考对象、或者更具体而言参考对象g的第一模型l识别为被存储在存储器单元16中的对象的第一模型的所述集合的子集。应当注意的是，参考对象g的第一模型l的所述子集还应当包含用于统计学相关评估的足够数量的第一模型。
然后，将测试对象的第一模型l与所识别的参考对象的多个第一模型平均结果刚性地对齐，并且针对最佳均方根适配进行缩放。所述平均结果在本文中被表示为第一平均模型avglgt。测试对象的第一模型l对第一平均模型avglgt的所述刚性对齐和缩放导致测试对象的对齐和缩放的第一模型lgts(参见步骤s105)。对齐和缩放能够使用例如在kabsch,w.:asolutionforthebestrotationtorelatetwosetsofvectors,actacryst1976；32；9223以及kabsch,w.：adiscussionofthesolutionforthebestrotationtorelatetwovecors,actacrysta1978；34；8278中所描述的加权n点对齐算法来进行。
接下来的步骤s106包括两个子步骤。第一子步骤是通过确定测试对象的对齐和缩放的第一模型lgts与参考对象g上的第一平均模型avglgt之间的差异，来确定测试对象与参考对象的平均之间的形状差异。这种差异被表示为“形状差异”的原因在于大小差异不再出现，因为测试对象的第一模型lgts已经被对齐并且被缩放到参考对象g的第一平均模型avglgt。第一平均模型avglgt的尺度能够被认为是已知的，因为在训练阶段能够计算该尺度。因此，在缩放操作之后，测试对象的第一模型获得已知但不是第一模型的平均的正确尺度。
在步骤s106的下一子步骤中，将计算出的形状差异lgts-avglgt与转换矩阵p相乘，并且将结果相加到第二平均模型avgvgt，以基于以下公式以估计的尺度来计算测试对象的第二模型v：
v＝avgvgt+p*(lgts–avglgt)；(1’)
在本文中，转换矩阵p通常表示为统计学算子。该统计学算子表示参考对象的形状与大小之间的统计学相关性。第二平均模型avgvgt包括参考对象g的多个第二模型的平均结果，其中，参考对象的所述第二模型与测试对象的第二模型v是相同类型的。所述第二模型与所述第一模型之间的主要区别在于第二模型、特别是参考对象的第二模型具有已知的尺度。换言之，参考对象的第二模型的实际尺寸是已知的。第一平均模型avglgt的尺度能够与第二平均模型avgvgt的尺度相同、更大或更小，和/或以不同单位来表示(例如，avglgt的像素坐标而不是avgvgt的mm)。
步骤s106的最终结果是确定具有估计尺度的测试对象的第二模型v。在图5中示出了这样的模型v的范例，并且由附图标记34来指示。应当注意，第二模型v涉及相同的测试对象，即，与在图4中示出的测试人员32的相同的脸部。
图4和图5之间的大小差异将示意性地指示从具有未知尺度的测试对象的第一模型l重新缩放到具有所估计的“真实”尺度的测试对象的第二模型v。
还应当注意的是，第二模型34在图5中被图示为3d网格模型。然而，这仅仅是这样的第二模型v的多个可能范例中的一个。对于第二模型v，能想到不同类型的实施例：(i)在一个实施例中，v的表示可以被认为是与第一模型l的表示是相同类型的；(ii)在另一实施例中，v的表示能够对应于详细的3d模型，而l的表示对应于2d或3d坐标(在图4和图5中图示的实施例)中的有限的一组脸部界标。应当注意，当v的表示是详细的3d模型并且l的表示是2d界标模型时，所提出的方法导致2d到3d转换算法。
在步骤s106中用于确定测试对象v的第二模型的上述公式由于数学原因优选如下重新表述：
v＝avgvgt+txyz(p*t1d(lgts-avglgt))(1”)
其中，t1d是通过将x、y、z坐标列彼此堆叠而从3列(xyz)矩阵制作单列向量的操作。在图6a中示意性图示了该数学运算。txyz是逆操作，其将单个列向量分解为x、y、z分量，并且从其制作3列矩阵(xyz)。在图6b中示意性图示了该逆数学运算。
在本文中所提出的方法的最后的步骤s107中，可以基于测试对象的估计的第二模型v来确定测试对象的大小。换言之，例如即使最初仅提供了测试人员的常规(单色)照片图像，那么也能够测量测试人员的脸部的特定尺寸。该大小确定例如可以随后用于为测试人员选择最适合他/她的患者接口。
下面的文本段落包括解释统计学算子p和第二平均模型avgvgt是如何确定的。应当注意，在评估测试人员的图像数据之前，最好预先做出所有这些确定。因此，优选在设备10的学习阶段期间进行以下确定。
针对每个参考对象g，即，存储于存储器单元16中的集合的对象的子集，分别执行以下动作：
(1)接收与测试对象的第一模型是相同类型的第一模型。
(2)接收与测试对象的第二模型是相同类型的并且具有已知尺度的第二模型。第一模型l以及第二模型v两者都可以以与为测试对象生成这些模型相同的方式为每个参考对象生成。然而，区别在于参考对象的实际尺寸大小是已知的。
(3)通过最佳均方根拟合将每个参考对象g的第一模型l对齐并缩放到第一平均模型avglgt，使得其分别为每个参考对象产生经对齐和经缩放的第一模型lgts。对齐和缩放能够通过使用加权的n点对齐算法再次完成。
(4)每个参考对象g的第二模型v与第二平均模型avgvgt对齐。该对齐导致针对每个参考对象的对齐的第二模型vgt。缩放是不必要的，因为参考对象的第二模型v已经具有共同的和已知的尺度。
(5)然后，针对每个参考对象确定未缩放的形状差异，其中，所述未缩放的形状差异包括参考对象中的每个参考对象与参考对象的平均结果之间的形状差异。该未缩放的形状差异可以通过计算每个参考对象的对齐和缩放的第一模型lgts与第一平均模型avgvgt之间的差异来确定。差异向量lgts-avglgt可以被写成矩阵
(6)针对每个参考对象确定缩放的形状差异，其中，所述缩放的形状差异是通过计算对齐的第二模型vgt与第二平均模型avgvgt之间的差异来确定的。向量vgt-avgvgt也被写成矩阵
(7)最后，统计学算子p可以被确定为将在矩阵
任选地(例如，当参考对象g的数量小于向量lgts中的元素的数量时)，将尺寸降低技术(例如，主分量分析)应用于对齐和缩放的第一模型lgts，作为第一平均模型avglgt和有限数量的模态向量mk的线性组合：
lgts≈avglgt+sum_{k＝1,…n}ck*mk
其中，模态向量mk的数量小于或等于参考对象g的数量。
上述近似能够被写成矩阵形式：
其中，对应于参考对象的第一模型的系数ck被写为矩阵
例如，矩阵
系数矩阵
因此，每个lgts能够用系数向量ck，k＝1,...n来表示。
然后，通过求解好的/过度定义的线性系统来找到转换矩阵t。
这允许估计：
vgt≈avgvgt+sum_{k＝1,…n}ck*tk
其中，tk是变换矩阵t的列，并且其中，通过求解(过度定义的)线性系统来找到系数ck：
lgts-avglgt＝sum_{k＝1,…n}ck*mk
在一些实施例中，矩阵
这直接给出：
其中，转换矩阵(统计学算子p)：
利用所确定的统计学算子p，然后可以以上述方式来计算第二模型v(参见公式(1’)或(1”))。
图7示出了借助于在本文中所提出的方法分析的数千个脸部的评估。在图7中可视化的四个图的每幅图个示出了基于在本文中所提出的方法计算出的脸部尺寸与“真实”脸部尺寸(地面实况)之间的关系。测试中的脸部尺寸是嘴部宽度、鼻子宽度、脸部高度和鼻子高度。作为用于所述方法验证的输入模型l，使用对完整脸部的无尺度3d重建。
从所有这些图中可以看出，可以观测到估计的脸部尺寸与地面实况之间的相当好的相关性。在本文中所提出的方法可能因此被认为是非常有效的。
尽管已经在附图和前述描述中详细说明和描述了本发明，但是这样的说明和描述被认为是说明性的或范例性的而非限制性的；本发明不限于所公开的实施例。根据研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他元素或步骤，并且不定冠词“一”或“一个”不排除多个。单个元件或其他单元可以实现权利要求中记载的若干项的功能。在相互不同的从属权利要求中记载了特定措施这一事实并不表示这些措施的组合不能被有利地使用。
计算机程序可以存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的一部分的光存储介质或固态介质，但是也可以以其他形式分布，例如经由互联网或其他有线或无线电信系统。
权利要求中的任何参考符号不应当被解释为限制范围。