交互式系统设置概念的制作方法

文档序号:15570026发布日期:2018-09-29 04:14阅读:217来源:国知局

本发明可用作导向系统设置过程。例如,其可由已连接的个人护理装置(诸如例如牙刷、毛发移除装置等)的消费者与移动装置(诸如例如智能电话、移动相机等)结合使用。个人护理装置可经由无线连接例如经由蓝牙与移动装置通信。移动装置运行连接到个人护理装置的应用程序。

ep15184240.8描述了此类系统,ep15184240.8示例性地提及与牙刷结合的智能电话。例如,本发明可用于ep15184240.8中描述的系统,例如以便为电动牙刷的刷牙位置确定提供导向系统设置过程。图14示例性地描绘了在ep15184240.8中作为示例描述的系统。所述系统包括具有集成3d加速度传感器1402和无线蓝牙无线电接口的电动牙刷1401、智能电话1403、将电话1403附连到浴室镜1405的智能电话支架1404以及智能电话应用程序。智能电话应用程序连接到电动牙刷1401,从牙刷1401接收传感器数据1406,从智能电话的内置前置相机1408收集视频帧1407并且处理这些数据流。

该处理也在ep15184240.8中进行了描述。该处理包括基于来自牙刷1401的处理后传感器数据1406和来自前置相机1404的处理后图像数据1407的结果来确定刷牙位置。最后,这两个结果在数学上进行融合以得到最准确、最精确和最稳定的刷牙位置信息。

ep15184240.8中描述的系统需要来自消费者1409的某种配合以便正确地工作。根据示例,该系统可由已连接的电动牙刷1401、智能电话1403、移动应用程序、具有吸盘的智能电话支架1404以及用户1409本身组成。

所有部件均需要布置在某些位置中。这些是用于训练系统算法的位置。只有所有部件均正确地布置,才能正确处理收集的传感器数据。

因此,期望用户在使用现有系统时改善用户对所述系统的可用性。

根据本发明,根据权利要求1所述的装置以及根据权利要求11所述的方法满足了这种期望。

根据第一方面,表明提供了一种用于确定用户的身体部位的位置的装置,该装置包括相机和显示器,该相机被构造成捕捉用户的身体部位以获得用户的身体部位的图形表示,该显示器用于向该用户提供视觉反馈。装置还包括至少一个传感器,该至少一个传感器用于确定装置的侧倾角、俯仰角和偏航角中的至少一者。此外,装置包括接口,该接口用于接收与由相机捕捉的身体部位的图形表示相关的图片数据,并且用于接收与由至少一个传感器确定的装置的确定角度相关的传感器数据。更进一步地,装置包括分析器。该分析器被构造成基于图片数据来分析被捕捉身体部位是否在由相机捕捉的图片的预定区域内。该分析器还被构造成基于传感器数据来分析装置的侧倾角和/或俯仰角和/或偏航角是否在预定角度范围内。根据该概念,装置能够检测用户的某个身体部位,当用户正在剃须或者刷洗他/她的牙齿时,该身体部位可为例如该用户的面部。该显示器使得装置能够向用户提供即时的视觉反馈。例如,如果用户希望相机捕捉他的面部,但是装置被布置成使得相机的焦点可指向用户的胸部,则该显示器通过在显示器上显示用户的胸部来向用户提供即时反馈。除此之外或另选地,可在显示器上显示图像和/或消息以便向用户提供视觉反馈。例如,如果用户的焦点指向用户的胸部而不是用户的面部,则可显示指向上的箭头以向用户提供视觉反馈,从而通知他/她相机被调整得太低。例如,消息诸如在弹窗中的文本消息也可显示在显示器上,该文本消息可通知用户重新调整相机。因此,用户可借助于以下视觉反馈接收对应信息:他/她与装置之间的相对位置应当被调整以便捕捉他的面部,例如,用户可将他的面部向下移动,即,移动到相机的焦点的方向,并且/或者装置可向上移动,即,移动到用户的面部的方向。如果相机捕捉到用户的面部,则装置向用户提供进一步的视觉反馈,以便帮助他/她确定用户与装置之间的相对定向,其中所述相对定向与期望的或预定的相对定向相同或近似。为了检查用户与装置之间的当前相对定向是否和/或在何种程度上匹配预定相对定向,分析器被构造成分析被捕捉身体部位例如用户的面部是否在由相机捕捉的图片的预定区域内。用户可经由显示器接收即时的视觉反馈。通过所述即时反馈,如果需要,可提示用户调整相对定向使得他/她将被提示将他/她的身体部位例如面部移动到图片的所述预定区域中。如果分析器分析用户的面部可至少部分地位于图片的预定区域之外,则作为示例,可在显示器上显示指向预定区域的中心的箭头,以便向用户提供视觉反馈,从而通知他/她将他/她的面部移动到箭头所指的方向,即,移动到图片的预定区域中。除此之外或另选地,可在显示器上显示被捕捉身体部位本身例如用户的面部以便向用户提供视觉反馈。在这种情况下,用户直接在显示器上看到相机当前正在捕捉哪个身体部位。装置提供了另一种机制来帮助用户确定某个相对定向。即,分析器还通过分析由至少一个传感器提供的角度数据来分析装置是否可正确地朝向用户成某个角度。至少一个传感器可提供关于装置的侧倾角、俯仰角和偏航角中的至少一者的信息。用户还可经由可显示当前确定的相应角度的显示器来得到即时反馈。分析器分析当前确定的相应角度是否在预定角度范围内。所述预定角度范围也可经由显示器在视觉上显示给用户,以便向用户提供关于当前角度的视觉反馈。如果需要,用户可调整他/她与装置之间的相对定向,如果需要,使得当前确定的相应角度(至少部分地)对应于预定的相应角度范围。因此,所表明的概念可提供一种装置,该装置被构造成提供导向系统设置过程以用于帮助用户设置装置使得其可按需使用。

根据示例,分析器可包括身体部位检测算法以确定身体部位在相机的焦点内的位置。因此,分析器可检测期望的身体部位,例如,用户的手臂、腿或面部。分析器还可被构造成当用户将被检测身体部位移动到相机的焦点内时跟踪所述身体部位。因此,装置能够检测并且跟踪被检测身体部位在由相机捕捉的图片内的最近位置。

根据另一个示例,用户的身体部位可为用户的面部,并且分析器可包括面部检测算法以确定面部在相机的焦点内的位置。因此,装置能够检测并且跟踪在由相机捕捉的图片内的用户的面部。常规的面部跟踪算法诸如fraunhofershore算法可用于检测和跟踪面部。

根据另一个示例,分析器被构造成至少基于图片数据并且可选地基于角度数据来确定装置相对于用户的被检测身体部位的相对定向,其中所述相对定向是被检测身体部位与装置之间的相对距离和/或被检测身体部位与装置之间沿着与相机的定向基本上垂直的平面的相对位置。换句话说,装置能够确定用户是向前还是向后移动他/她的身体部位,即,朝向装置还是远离装置。此外,装置能够确定用户是否可将他/她的身体部位相对于装置向左、向右、向上或向下移动到方向中的一个或多个。

根据另一个示例,分析器可被构造成将身体部位的图形表示与图片的预定区域叠加,并且如果分析器分析身体部位至少部分地位于图片的预定区域之外,则装置被构造成在显示器上显示消息和/或图像以便提示用户改变身体部位与装置之间的相对定向。换句话说,装置被构造成借助于图形表示来检查被捕捉身体部位是位于图片的预定区域内部、至少部分地位于图片的预定区域之外还是完全位于图片的预定区域之外。图片的预定区域可为位于被捕捉图片内部的某个尺寸的点。图形表示(即,身体部位的被捕捉图片)与预定区域叠加。换句话说,图片的预定区域例如某个尺寸的点以及被捕捉身体部位的图片可共同示出在公共图片或帧内。换句话说,图片的预定区域可示出在与当前由相机捕捉的图片相同的图像内。当前捕捉的图片和图片的预定区域可在显示器上相互显示。该可视化可帮助用户改变身体部位与装置之间的相对定向,直到身体部位位于图片的预定区域内。

根据另一个示例,至少一个传感器可被构造成确定装置的侧倾角、俯仰角和偏航角中的至少一者,并且在显示器上显示装置的确定的侧倾角和/或俯仰角和/或偏航角。例如,至少俯仰角和侧倾角可借助于水平条来显示。取决于由至少一个传感器确定的相应角度,水平条可改变其在屏幕上的位置和/或定向。水平条可与预定角度范围的图形表示一起显示,该图形表示可为某个尺寸的点,例如水平延伸的矩形区域。该可视化可帮助用户改变装置的定向。

根据另一个示例,如果至少一个传感器确定侧倾角和/或俯仰角和/或偏航角位于预定角度范围之外,则装置可被构造成在显示器上显示图像和/或消息,从而提示用户将装置定位成使得装置包括位于所述预定角度范围内的侧倾角和/或俯仰角和/或偏航角。例如,该消息可为在显示器上显示的文本消息,该文本消息通知用户调整装置的相应角度。除此之外或另选地,可显示图像,从而通知用户关于当前角度与预定角度的偏差。例如,图像可为所显示的水平条的颜色开关。例如,如果装置包括在预定角度范围内的相应角度,则水平条可以绿色显示。然而,如果装置可能不包括在预定角度范围内的相应角度,则水平条可以红色显示。

根据示例,侧倾角和/或俯仰角和/或偏航角的预定角度范围可位于+3°和-3°之间。换句话说,预定角度可为零度,其中与所述预定角度的+3°至-3°的偏差可表示预定角度范围。因此,总角度范围可具有6°的值或量值。

根据另一个示例,图片的预定区域可覆盖相机的焦点的约60%至80%,并且优选地75%。换句话说,预定区域覆盖由相机捕捉的图片的约60%至80%,并且优选地75%。例如,预定区域可为具有相机的焦点的约60%至80%、并且优选地75%的尺寸的点。因此,捕捉的被检测身体部位优选地还应当覆盖由相机捕捉的图片的约60%至80%,并且优选地75%。身体部位相对于整个图片的该百分比有助于确定身体部位在图片内的当前位置。

根据另一个示例,装置可包括通信接口,该通信接口被构造成与个人护理装置通信以从所述个人护理装置接收信息。通信接口可为使用无线通信协议诸如wifi、蓝牙、zigbee、wimax等的无线通信接口。

根据另一个方面,提供了一种用于确定用户的身体部位的位置的方法,该方法包括捕捉用户的身体部位以便获得用户的身体部位的图形表示,以及向用户提供视觉反馈。该方法还包括接收对应于装置的侧倾角、俯仰角和偏航角中的至少一者的角度数据,借助于装置捕捉图形表示。此外,该方法包括接收与身体部位的图形表示相关的图片数据,并且基于图片数据来分析被捕捉身体部位是否在由装置捕捉的图片的预定区域内。更进一步地,该方法包括基于角度数据来分析装置的侧倾角和/或俯仰角和/或偏航角是否在预定角度范围内。

根据另一个方面,提供了一种计算机程序,该计算机程序当在计算机上运行时用于执行上述方法。

在下文中,参考附图更详细地描述本发明的实施方案,其中:

图1示出了装置的实施方案的示例,

图2a至图2c示出了装置的侧倾角、俯仰角和偏航角,

图3a至图3c示出了可在显示器上显示以便可视化装置的侧倾角、俯仰角和偏航角的屏幕的示例,

图4a至图4c示出了当要确定用户的身体部位的位置时可在显示器上显示的屏幕的示例,

图5a至图5e示出了当用户可改变他/她沿着与相机的定向基本上垂直的平面相对于装置的位置时可在显示器上显示的屏幕的示例,

图6a至图6e示出了当用户可改变他/她相对于装置的距离时可在显示器上显示的屏幕的示例,

图7a至图7e示出了当在示例性刷牙阶段期间可确定用户的身体部位时可在显示器上显示的屏幕的示例,

图8示出了当在显示器上显示所述被检测身体部位的图形表示时使用户的被检测身体部位逐渐消失的示例,

图9a至图9d示出了当用户的身体部位可移动到某些区之外时可在显示器上显示的屏幕的示例,

图10a至图10e可示出图9a至图9d的这些特定区,

图11示出了取决于用户与装置之间的相对距离而可在显示器上显示的一些示例性屏幕,

图12a至图12c示出了当用户的身体部位不可检测时可在显示器上显示的屏幕的示例,

图13a至图13g示出了当在示例性刷牙阶段期间用户的身体部位不可检测时可在显示器上显示的屏幕的示例,并且

图14示出了被构造成与牙刷通信的常规系统的示例。

在下面的描述中用相同或等同的附图标记来表示具有相同或等同功能的相同或等同元件。

图1示出了用于确定用户3的身体部位2的位置的装置1。装置1包括相机4,该相机4被构造成捕捉用户3的身体部位2以获得用户3的身体部位2的图形表示。

装置1还包括显示器6,该显示器6用于向用户3提供视觉反馈。

装置1还包括至少一个传感器7,该至少一个传感器7用于确定装置1的侧倾角、俯仰角和偏航角中的至少一者。

装置1还包括接口8,该接口8用于接收与由相机4捕捉的身体部位2的图形表示5相关的图片数据,并且用于接收与由至少一个传感器7确定的装置1的确定角度相关的传感器数据。

装置1还包括分析器9,该分析器9基于图片数据来分析被捕捉身体部位2是否在由相机4捕捉的图片的预定区域33内,并且基于传感器数据来分析装置1的侧倾角和/或俯仰角和/或偏航角是否在预定角度范围内。

在图1中所示的示例中,用户3的身体部位2是用户的头部。相机4指向用户的头部2。选择用户的头部2与相机4之间的相对位置或距离,使得相机4的焦点10基本上捕捉用户3的整个头部2。

相机4获得用户的头部2的图形表示。与图形表示相关的图片数据被馈送到接口8。为此,相机4可经由物理或无线数据传输信道12连接到接口8。数据传输信道12可被构造用于单向或双向数据传输。

接口8还接收与装置1的确定角度相关的传感器数据。传感器数据可由传感器7与接口8之间的物理或无线数据传输信道13提供。数据传输信道13可被构造用于单向或双向数据传输。

为了确定装置1的角度,提供至少一个传感器7。传感器7可例如为惯性传感器,该惯性传感器被构造成确定装置1的侧倾角、俯仰角和偏航角中的至少一者。惯性传感器可优选地被构造成确定所有三个角度。装置1也可能包括用于前述三个角度中的每一个的单独传感器,即,用于确定装置1的侧倾角的第一传感器、用于确定装置1的俯仰角的第二传感器、以及用于确定装置1的偏航角的第三传感器。在任何情况下,接口8均被构造成接收与俯仰角、侧倾角和偏航角中的相应一者相关的相应传感器数据。

因此,接口8被构造成接收与由相机4捕捉的图形表示相关的图片数据以及与装置1的当前角度相关并且由至少一个传感器7确定的传感器数据。

装置1还包括分析器9。分析器9还可经由物理或无线数据传输信道连接到接口8。数据传输信道可被构造用于单向或双向数据传输。分析器9可例如为被构造成分别处理图片数据和传感器数据的cpu或任何其它类型的逻辑单元。

基于与用户3的图形表示相关的图片数据,分析器9被构造成分析被捕捉身体部位(即,用户的头部2、特别是用户的头部2的图形表示)是否在由相机4捕捉的图片的预定区域内。如图1示例性所示的,图片的所述预定区域可为十字形、矩形、圆圈33等。它也可显示在显示器6上。然而,例如参考图4b,将参考以下附图更详细地解释图片的所述预定区域。

基于与装置1的确定角度相关的传感器数据,分析器9被构造成分析确定的侧倾角和/或俯仰角和/或偏航角是否在预定角度范围内。

装置1可例如为移动电话。接口8可与移动电话1内已经可用的传感器7连接。接口8还可与移动电话1内已经可用的相机4连接。此外,接口8可与移动电话1内已经可用的显示器6连接。分析器9可为移动电话的cpu。接口8可与cpu9连接或者是cpu9的一部分。

图2a、图2b以及图2c描绘了装置1可沿着其定向的上述三个角度,即,俯仰角、侧倾角和偏航角。附图中的每一个示出了具有x轴21、z轴22以及y轴23的坐标系20。此外,附图中的每一个示例性地示出了装置1在所述坐标系20内的定向。

如从图2a中可看出,装置1被示出在第一或初始位置1a。如果装置1沿着x轴21旋转,则其移动到虚线所示的第二或偏转位置1b。装置1的第一位置1a与第二位置1b之间的角度可被称为俯仰角α。

如从图2b中可看出,装置1被示出在第一或初始位置1a。如果装置1沿着z轴22旋转,则其移动到虚线所示的第二或偏转位置1b。装置1的第一位置1a与第二位置1b之间的角度可被称为侧倾角β。

如从图2c中可看出,装置1被示出在第一或初始位置1a。如果装置1沿着y轴23旋转,则其移动到虚线所示的第二或偏转位置1b。装置1的第一位置1a与第二位置1b之间的角度可被称为偏航角γ。

装置1可被构造成在显示器6上显示相应的角度,以便向用户3提供视觉反馈。例如,装置1可被构造成在显示器6上显示水平条。图3a和图3b示出了水平条和视角指示的可能方式的示例。

如图3a所示,显示器6可显示水平条31和一个或多个指示器标记32,以便向用户3提供关于装置1的当前俯仰角和/或当前侧倾角的视觉反馈。指示器标记32可由布置在显示器6的左侧和右侧的细线表示。指示器标记32可表示预定角度范围。

当装置1围绕x轴21(图2a)旋转时,俯仰角α增大。如从图3a中可看出,俯仰角α的这种变化可通过水平条31的上下移动来表示。例如,当装置1如图2a所描绘沿向前方向旋转时,俯仰角α沿正方向增大,并且水平条31向下移动。当装置1沿相反方向向后旋转时,俯仰角α沿负方向减小或增大,并且水平条31向上移动。水平条31也可能随着俯仰角α沿正方向增大而向上移动,并且水平条31随着俯仰角α沿负方向增大而向下移动。

当装置1围绕z轴22(图2b)旋转时,侧倾角β增大。如从图3b中可看出,侧倾角β的这种变化可通过水平条31的左右倾斜来表示。例如,当装置1向左旋转时,水平条31也可向左倾斜,如图3b所描绘。否则,如果装置1右转,则水平条31也可向右倾斜。

可为偏航角选择不同的可视化。如从图3c中可看出,可在显示器6上显示两种不同类型的圆圈33、34,以便向用户3提供关于装置1的当前偏航角的视觉反馈。第一圆圈33的外径可基本上对应于第二圆圈34的内径。换句话说,第一圆圈33可配合到第二圆圈34中。这两个圆圈33、34仅作为视觉反馈的示例而提及。其它几何形状、箭头、颜色、文本消息等也可显示在显示器6上,以便向用户3提供适当的反馈。

只要装置1在其初始位置(图2c-附图标记1a)内,第一圆33就布置在第二圆圈34内(图3c)。当装置1围绕y轴23旋转时,偏航角γ增大。如图3c示例性所示,偏航角γ越增大,第一圆圈33越向第二圆圈34之外移动。例如,如果装置1向左旋转,如图2c所示,则第一圆圈33可移动到第二圆圈34之外的左侧,并且反之亦然。然而,如果装置向左旋转,则第一圆圈33也可能移动到第二圆圈34之外的右侧,并且反之亦然。

以下附图可示例性地示出装置1的显示器6上的一些可能的可视化,以便向用户3提供关于装置1的当前俯仰角和/或侧倾角和/或偏航角的视觉反馈以及关于当前由装置1的相机4捕捉的身体部位的视觉反馈。

在该示例中,装置1可用于指导用户3进行设置过程,以便相对于用户3布置装置1,使得装置1可由用户3按需使用。对于参考以下附图的以下描述,假定装置1将被设置为随后与可被构造成与装置1通信的个人护理装置例如牙刷一起使用。因此,装置1被构造成确定用户3的身体部位2的位置。在以下关于牙刷的示例中,用户3的所述身体部位2仅仅是例如用户的面部可能是方便的。因此,装置1可例如被构造成确定用户的面部相对于装置1的位置。

图4a示出了当装置首次启动时可在装置1的显示器6上显示的屏幕。在显示器6上,显示弹窗消息41,该弹窗消息41可向用户提出问题。在该示例中,询问用户他/她是否喜欢用他/她的左手或用他/她的右手来刷洗他/她的牙齿。用户可通过点击相应的按钮来选择并且输入他的选择。显示器6可为常规的触摸屏装置。在选择并且点击相应按钮之后,用户的选择可用于可由装置执行的位置检测算法中。

图4b示出了显示器6可向用户3显示的另一个屏幕。图4b示出了用户3的图形表示5,该图形表示5可例如显示在显示器6上以便向用户3提供关于当前由相机4捕捉的身体部位的视觉反馈。作为示例,即使在附图中连续地描绘,用户3的被捕捉身体部位的图形表示被显示在显示器6上,用户3的被捕捉身体部位的图形表示也可能不会显示在显示器6上。

图形表示5是由装置1的相机4捕捉的用户3的图片或图像。优选地,相机4捕捉用户3的移动图像序列,例如,电影,并且在装置1的显示器6上即时地(即,实时地)显示用户的图像。因此,当用户3相对于装置1移动时,则该相对移动即时地示出在显示器6上,使得用户3总是可看到他相对于装置1的当前位置。

图4b示出了先前参考图3a、图3b和图3c所描述的视觉元件,即,水平条31、指示器标记32、第一圆圈33以及第二圆圈34。

例如,指示器标记32可显示在显示器6的左侧和右侧。具体地,可显示上部指示器标记32a和下部指示器标记32b。如上所述,水平条31和指示器标记32a、32b可用于指示装置1的俯仰角和/或侧倾角。上部指示器标记32a与下部指示器标记32b之间的区域可表示预定角度范围。

在图4b所示的示例中,水平条31基本上是水平的,即,不倾斜。水平条31定位在指示器标记32a、32b的下方,特别是在下指示器标记32b的下方。因此,可通知用户装置1可包括在预定角度范围内的侧倾角,但是不包括在预定角度范围之外的俯仰角。

装置1被构造成在显示器6上显示消息42,从而提示用户3定位装置1,使得装置1包括位于预定角度范围内(即,在上部指示器标记32a与下部指示标记32b之间)的侧倾角。根据该示例,装置在显示器6上显示消息42,从而通知用户3将相机4向前倾斜,或者分别将包括相机4的装置1向前倾斜。

替代地,如果水平条31可定位在上部指示器标记32a上,则装置可替代地在显示器6上显示消息42,从而通知用户3将相机4向后倾斜,或者分别将包括相机4的装置1向后倾斜。

除文本消息42之外或作为文本消息42的替代,可向用户3呈现图像诸如指向上或指向下的箭头等。

一旦装置1已经检测到它已经被移动使得水平条31位于由指示器标记32a、32b指示的预定角度范围内,或者在某个时间之后(例如,在3秒之后,而无论哪个更长),消息42和/或图像可被消除。根据示例,消息42和/或图像一旦被第一次消除就不再显示在显示器6上。

此外,上述用户的关于他/她对喜欢的手的选择仍然可借助于软键按钮43、44在显示器6上显示。可选地,可在显示器6上显示另一个软键按钮45。通过点击所述按钮45,即使相应的确定角度(侧倾、俯仰、偏航)可能尚未处于预定角度范围内,用户3也可向装置1输入他/她的希望并且发出表明他/她的希望的信号来继续运行装置1。

仍然参考图4b,在显示器6上显示先前参考图3c所讨论的第一圆圈33和第二圆圈34以便向用户3提供视觉反馈。在该示例中,装置1并且具体地分析器9包括面部检测算法以确定用户的面部在相机4的焦点内的位置。作为一个示例,分析器9可使用来自fraunhofer的所谓的shore面部检测算法。再次,即使在附图中不断地描绘,用户5的身体部位也可能不一定显示在显示器6上。分析器9被构造成处理与用户3的捕捉的图形表示相关的图片数据,而不在显示器6上示出任何图片数据或图形表示。分析器9被构造成通过使用图片数据来运行身体部位检测算法,具体地面部检测算法,而不在显示器6上显示它们。

换句话说,如果装置1将确定不同的身体部位(诸如例如腿或手臂),则装置1并且具体地分析器9可包括相应的身体部位检测算法,该身体部位检测算法被构造成检测相机4的焦点内的相应身体部位。

返回参考图4b,面部检测算法使得分析器9能够检测由相机4捕捉的图形表示5内的用户3的面部。先前讨论的第一圆圈33被叠加到用户3的图形表示5上,使得第一圆圈33基本上覆盖用户3的被检测面部。该算法还被构造成一旦已经检测到用户3的面部就优选地实时跟踪用户3的面部。因此,如果用户3相对于相机4移动他的面部,则该算法被构造成连续检测用户的面部以便跟随用户的移动。

在该示例中,用户的面部(即,第一圆圈33)至少部分地位于第二圆圈34之外。第二圆圈34的内径可表示由相机4捕捉的图像的预定区域,用户的面部(即,第一圆圈33)应当定位在该预定区域内部。

如从图4b中所示的示例中可看出,装置1并且具体地分析器9被构造成将用户3的图形表示5与由相机4捕捉的图片的预定区域叠加。换句话说,如图4b示例性所示,用户3的图形表示5和由第二圆圈34表示的预定区域一起显示在显示器6上的同一图像内。

如上所述,面部检测算法使得分析器9能够检测用户的面部,该检测由可在显示器6上显示的第一圆圈33表示。在本示例中,分析器9分析用户的面部是否在预定区域内。换句话说,分析器9分析第一圆圈33是否在第二圆圈34内。如果分析器9分析面部至少部分地位于图片的预定区域之外,则装置1被构造成在显示器6上显示消息和/或图像46,以便提示用户3改变面部与装置1之间的相对定向。

在图4b所示的示例中,装置1显示指向用户3将移动他/她的面部的方向的三个连续箭头的图像46。因此,该图像46(例如,箭头)被显示在显示器6上,以便向用户3提供视觉反馈,从而通知他/她:他/她应当沿哪个方向移动以便将他/她的身体部位移动到由相机4捕捉的图片的预定区域33内部。

图像46可指向第二圆圈34的中心的方向。因此,可提示用户3相对于装置1或者至少相对于相机4改变他/她的面部的位置。除此之外或另选地,可改变装置1本身的位置。在该示例中,装置1可向上和向右移动。因此,可提示用户3相对于他/她的面部改变装置1的位置。然而,在后面的示例中,用户应当注意,在重新定位装置1之后,水平条31位于指示器标记32a、32b之间。

只要被检测身体部位(即,本示例中的用户的面部)至少部分地位于预定区域34之外,就可显示图像46和/或消息。换句话说,只要第一圆圈33至少部分地位于第二圆圈34之外,就可显示图像46和/或消息。因此,如果分析器9分析装置1相对于用户3的位置被调整为使得用户的面部在预定区域内,则可不再显示图像46和/或消息。

一旦分析器9分析被捕捉身体部位(即,用户3的面部)在由相机4捕捉的图片的预定区域内,并且装置1的侧倾角和/或俯仰角和/或偏航角在预定角度范围内,设置过程就可终止。作为示例,装置1然后可切换到操作模式,在该操作模式中,装置1与个人装置诸如牙刷通信,以便经由显示器6向用户呈现刷牙指令。

图4c描绘了另一个示例,该示例示出了如果用户3分别距装置1或相机4太远则在显示器6上显示的消息47。在这种情况下,所述消息47提示用户3要移动得更靠近。因此,消息47被显示在显示器6上以便向用户3提供视觉反馈。在该显示状态期间,先前讨论的软键中的任一个可能均不起作用。换句话说,如果用户3分别移动远离装置1或相机4,则将图4c所示的屏幕叠加在来自用户的当前图片上,并且将消息47显示在显示器6上。

如上所述,装置1并且具体地分析器9被构造成确定相机4与用户3之间的相对距离或相对距离的变化(例如,由用户3相对于相机4的向前或向后移动引起的)。装置1并且具体地分析器9还被构造成确定用户3在相机4前方的移动,该移动可为左、右、向上和向下指向的移动中的任一者。装置1并且具体地分析器9也被构造成检测前述移动的组合。

更一般地说,分析器9被构造成至少基于图片数据并且可选地基于传感器数据来确定装置1相对于用户3的被检测身体的相对定向,其中所述相对定向是被检测身体部位(分别)与装置1(或相机4)之间的相对距离和/或被检测身体部位(分别)与装置1(或相机4)之间沿着与相机4的定向基本上垂直的平面的相对位置中的至少一者。

将参考以下附图更详细地解释相机4与用户3之间的相对定向的这些变化。

图5a示例性地示出了显示用户3的图像或图形表示5的屏幕6。显示器6上显示的屏幕还示出了指示器标记32a、32b和水平条31。此外,屏幕示出表示用户3的被检测面部的第一圆圈33和表示由相机4捕捉的图片内的预定区域的第二圆圈34。

由于用户3的面部至少部分地位于预定区域34之外,所以还显示图像46,该图像46为提示用户3将他/她的面部移动到第二圆圈34的中心的方向上的三个连续箭头的形式。

所有这些图形元件(即,水平条31、指示器标记32a、指示器标记32b、第一圆圈33、第二圆圈34、箭头46、用户3的图形表示)均被叠加在相机馈送上,即,叠加在由相机4捕捉的图片上,并且可用于向用户3提供视觉反馈。

第二圆圈34是基本上位于屏幕的中间的固定圆圈。第二圆圈34指示用户3他/她的面部应当所处的位置。

每当用户的面部至少部分地位于第二圆圈34之外时,显示第一圆圈33。第一圆圈33被显示为叠加在用户3的面部上的半透明圆圈或点。如果用户3相对于相机4移动,则第二圆圈33跟随用户的面部。

指向箭头46从被检测面部位置指向第二圆圈34的中心。箭头46将提示用户3分别改变他/她的面部与装置1或相机4之间的相对位置。如上所述,用户3可改变他的位置,以便在装置1本身不移动的同时将他的面部移动到对准圆圈34中。除此之外或另选地,可改变装置1的位置使得用户的面部出现在对准圆圈34内。

图5b示出了可在显示器6上显示的另一个屏幕。与图5a相比,改变装置1与用户3之间的相对位置。具体地,用户的面部的位置已经从先前的右侧(图5a)移动到第二圆圈34的左侧。半透明第一圆圈33跟随用户的面部的移动。箭头46再次指向第二圆圈34的中心的方向。

如图5b进一步所描绘,水平条31位于下部指示器标记32b的下方,并且水平条31也向左倾斜。这向用户3指示装置1包括在预定角度范围之外的俯仰角,并且装置1还包括也在预定角度范围之外的侧倾角。如上所述,预定角度范围由上部指示器标记32a与下部指示器标记32b之间的区域表示。

换句话说,水平条31测量电话的侧倾和俯仰使得电话可正确地垂直并且面朝用户3。水平条31应当作为水平面并且随着俯仰改变而上下移动(例如,随着装置1向后倾斜,水平条31将如此处所示般下降)。如果电话被侧倾并且不再垂直于地板,则水平条31也应当对角地倾斜(例如,不管电话的定向如何,它应当总是保持平行于地板)。指示器标记32a、32b是固定的导向器。水平条31必须在这两个导向器32a、32b之间对准。

图5c描绘了可在显示器6上显示的屏幕的另一个示例。水平条31现在位于上部指示器标记32a与下部指示器标记32b之间。因此,这向用户3指示装置1包括位于预定角度范围内部的侧倾角和俯仰角。为了对满足预定角度范围进行进一步视觉指示,水平条31可改变其颜色或对比度。如图所示,水平条31可将其外观从明亮对比度改变为较暗对比度。

此外,与图5b相比,用户3已经将他的面部更多地朝向第二圆圈34的内部移动。如从图5c中可看出,用户的面部位于第二圆圈34内部达某个或临界程度。因此,对准导向器50显示在第二圆圈34内部。具体地,显示第一水平对准导向器51、第二水平对准导向器52以及垂直对准导向器53。

换句话说,如果分析器9分析被检测身体部位(即,本示例中的用户的面部)位于图片的预定区域内(即,在第二圆圈34内)达预定程度,则分析器9被构造成在显示器6上显示对准导向器51、52、53,优选地第一水平对准导向器51、第二水平对准导向器52以及垂直对准导向器53。

将在下面参考图9a至图9d进一步更详细地解释上述‘预定程度’的大小。

对准导向器51、52、53应当帮助用户3将他的面部正确地对准在第二圆圈34内部。具体地,应当提示用户3将他/她的眼睛区域与第一水平对准导向器51对准,将他/她的嘴部区域与第二水平对准导向器52对准,并且将他/她的面部的垂直中心区域(例如,他/她的鼻梁)与垂直对准导向器53对准。

换句话说,当用户的面部在对准圆圈34中时,用于眼睛、鼻子和嘴部的对准导向器51、52、53可被显示在显示器6上。

图5d示出了如果用户3已将他的面部与如上所述的对准导向器51、52、53对准则可在显示器6上显示的屏幕的另一个示例。如图可看出,用户的眼睛区域与第一水平对准导向器51基本上对准,用户的嘴部区域与第二水平对准导向器52基本上对准,并且用户的鼻梁与垂直对准导向器53基本上对准。

换句话说,分析器9被构造成分析用户3(分别)与装置1(或相机4)之间的相对位置,使得被检测身体部位与显示器6上显示的对准导向器50对准。

如图可看出,如果被检测身体部位(即,本示例中的用户的面部)与对准导向器50对准,则第二圆圈34可例如通过切换到不同的颜色或对比度来改变其外观。在该示例中,第二圆圈34可切换到较暗的对比度。

此外,当用户的面部与对准导向器50对准并且当水平条31位于指示器标记32a、32b内时,可显示软键按钮54。通过点击所述软键按钮54,屏幕可切换到不同的状态,诸如例如图5e所示的状态。

换句话说,对准圆圈34和水平面31可改变颜色以指示正确对准。一旦用户的面部和电话1正确地对准,就应当启用继续按钮54。例如,用户3可点击按钮54以转到位置检测或刷牙挑战计时器(图5e)。

如从图5a至图5d中可看出,在所有上述状态期间可显示另外两个软键按钮55、56。软键按钮55可由用户3点击以打开首次安装指令。无论用户3来自哪里,软键按钮56均可由用户3点击以关闭校准相机并且返回到位置检测或刷牙挑战计时器(图5e)。

图5e示出了可在显示器6上显示的屏幕的另一个示例。在已经完成了上面参考图5a至图5d描述的校准之后,可在被校准并且准备开始的计步器上显示位置检测查看叠加(positiondetectioninsightoverlay)57。

图5a至图5d示出了如何确定装置1与用户3之间沿着与相机4的定向基本上垂直的平面的相对位置的示例。具体地,图5a至图5d可描述分析器9如何被构造成至少基于图片数据并且可选地基于传感器数据(装置1的相应角度)来确定装置1相对于用户3的被检测身体部位的相对定向,其中所述相对定向是被检测身体部位与装置1之间沿着与相机4的定向基本上垂直的平面的相对位置。换句话说,与相机4的定向基本上垂直的所述平面可为用户3可在相机4前方左、右、上和下移动而不改变相距相机4的距离的平面,即,诸如图5a至图5d所描绘的平面。

图6a至图6e示出了可如何确定装置1与用户3之间的相对距离的示例。具体地,图6a至图图6e可描述分析器9如何被构造成至少基于图片数据并且可选地基于传感器数据(装置1的相应角度)来确定装置1相对于用户3的被检测身体部位的相对定向,其中所述相对定向是被检测身体部位与装置1之间的相对距离。当用户3分别相对于装置1或相机4向前或向后移动时,可实现相对距离的变化。因此,取决于用户3是远离还是朝向相机4移动,用户3的图形表示(即,由相机4捕捉的用户3的图片)在显示器6上可变得更小或更大。

图6a示出了可在显示器6上显示的屏幕的示例。该屏幕基本上对应于图5a所描绘的屏幕,即,该屏幕示出水平条31、指示器标记32a、指示器标记32b、叠加在用户的面部上的第一圆圈31、第二圆圈34以及指向第二圆圈34的中心的方向的箭头46,以便向用户3提供视觉反馈。如图可看出,第一圆圈33的外径可包括与第二圆圈34的内径基本上相同或至少类似的尺寸。这可向用户3指示他/她的面部(分别)与装置1(或相机4)之间的相对距离可能是正确的,使得分析器9能够分析用户的面部是否在图片的预定区域内,即,是否在第二圆圈34内。如上所述,当用户的面部未对准时,箭头46应当将他/她的面部重新指向正确的位置。

图6b示出了与图6a所描绘情况相比用户3已经远离装置1或相机4移动的情况。如从图6b中可看出,面部检测仍检测用户3的面部并且叠加第一圆圈33。然而,随着用户3远离相机4移动,用户3的被检测面部的图形表示5变得更小。因此,第一圆圈33的外径也得变小。

换句话说,随着用户3离相机4越远,跟踪他/她的面部的点33应当变得越小。如果用户的面部离得太远,则不应当再次显示对准箭头46。

图6c示出了与图6b中所描绘情况相比用户3已经更进一步远离装置1或相机4移动的情况。如从图6c中可看出,面部检测仍检测用户3的面部并且叠加第一圆圈33。然而,随着用户3更进一步远离相机4移动,用户3的被检测面部的图形表示5变得更小。因此,第一圆圈33的外径仍得变小。

换句话说,如果用户的面部在第二圆圈34内部,则当用户3距离足够远时应当出现面部跟踪点33以保证警告他/她需要更靠近以用于对准。对于关于在用户的面部仍然在第二圆圈34中的同时何时触发该跟踪点33的细节,参考图11。

在某个点处,即,在检测到第一圆圈33的某个最小尺寸时,可在显示器6上显示诸如图6d所示的屏幕。可在显示器6上显示消息61和/或图像,从而提示用户3要移动更靠近相机4。

换句话说,如果用户3足够远离使得装置1可能很快就不能跟踪他/她了,则可在显示器6上显示全屏错误消息61,从而提示用户3要移动得更靠近。

图6e示出了如果用户3太靠近相机4则可在显示器6上显示的屏幕的示例。关于以上所述,用户3的图形表示在由相机4捕捉的图片内可变得越大,用户3朝向相机4移动得就越靠近。这同样适用于第一圆圈33的外径。

在某个点处,即,在检测到第一圆圈33的某个最大尺寸时,可在显示器6上显示屏幕(未示出)。可在显示器6上显示消息61和/或图像,从而提示用户3要移动更进一步远离相机4。

换句话说,随着用户3离相机4越靠近,跟踪他/她的面部的点33就应当变得越大。如果用户的面部离得太靠近,则不应当显示对准箭头46。

图7a至图7e示出了在装置1的使用期间可在显示器6上显示的屏幕的另一个示例。这些屏幕示出了位置检测和刷牙挑战计时器,其可在个人护理装置诸如牙刷的使用期间显示。

在图7a至图7e所示的示例中,显示第二圆圈34。围绕第二圆圈34,在该示例中布置六段71、72、73、74、75、76。上面三段71、72、73可表示用户的上部牙齿组,而下面三段74、75、76可表示用户的下部牙齿组。具体地,上部中间段72可表示用户的牙齿的前上部。上部左段71可表示用户的牙齿的左上部,等等。

图7a所示的屏幕可在装置1已经确定用户3的相应身体部位的位置之后显示,诸如以上参考图5a至图5e所描述的。具体地,图7a所示的屏幕可对应于图5e所示的屏幕的状态。

图7b示出了当被检测身体部位移动到由相机4捕捉的图片的预定区域之外时可在显示器6上显示的屏幕的示例。如果在刷牙阶段期间用户的头部移出位置,则可向用户3提供对应的视觉反馈:他/她的面部应当显示在圆圈31中,并且箭头46应当指引他/她回到第二个圆圈34的中心。

如之前参考图6a至图6d所述,在刷牙阶段期间用户3可能远离相机4移动。这种情况在图7c中示出,其中可在显示器6上显示消息61和/或图像,从而提示用户3要分别移动更靠近相机4或装置1。如图7c所示,在显示器6上显示相应的全屏消息。

如之前参考图6e所述,在刷牙阶段期间用户3也可能远离相机4移动。这种情况在图7d中示出,其中可在显示器6上显示消息77和/或图像,从而提示用户3要往回移动,即,分别远离相机4或装置1移动。如图7d所示,在显示器6上显示相应的消息77。替代地,可在显示器6上显示相应的全屏消息。

图7e示出了当用户的面部不可检测时,例如当用户不在相机4的焦点内时可在显示器6上显示的屏幕的示例。这种情况在图7e中示出,其中可在显示器6上显示消息78和/或图像,从而提示用户3他/她的面部不再是可检测的。如图7e所示,在显示器6上显示相应的消息78。替代地,可在显示器6上显示相应的全屏消息。

换句话说,无论何时头部超出范围并且根本不能检测到面部,均可以显示如图7e所描绘的计时器79使得位置当前由于用户3超出范围而未被跟踪是显而易见的。而且,可显示所示的消息78。只要牙刷启动,计时器79就应当继续计数。一旦再次检测到面部,另一个消息和/或图像就可显示至少两秒。所述消息可包括诸如“哎呀,我们看不到你的面部。面部要总是朝前以便得到最准确结果”等信息。

如果用户的面部可显示在显示器6上(诸如先前参考图7b和图7d以举例的方式讨论),则用户的面部可在屏幕上逐渐消失以便避免闪烁。用户面部的此类逐渐消失在图8中示例性地示出并且适用于每个被检测身体部位。

现在参考图9a至图9d和图10a至图10e,这些图描绘了可在显示器6上显示的屏幕的示例。参考所述附图,将解释在哪些情况下会触发某些屏幕。

图10a示出了面部检测模型的示例,其中用户的头部2在公差区内。可在该模型中提供内圈1010和外圈1011,其中这两个圆圈1010、1011均可不显示在显示器6上。第一矩形1012可围绕内圈1010外接。第一矩形1012的内部区域可表示公差区。只要分析器9分析出用户的面部2在所述公差区1012内,则可将用户的面部2视为在由相机4捕捉的图片的预定区域内部。因此,显示器6上显示的屏幕只示出定时器79,如图9a所描绘。

图10b示出了当用户的头部2移出公差区时(即,移出先前描述的第一矩形1012时)的面部检测模型的示例。可不在显示器6上显示的第二矩形1013可围绕外圈34外接。第二矩形1013的内部区域可表示过渡区。只要分析器9分析出用户的面部2在所述过渡区1013内部,就可将用户的面部2视为部分地在由相机4捕捉的图片的预定区域内部。如果分析器9分析出用户的面部2在所述过渡区1013内部超过三秒,则除了计时器79之外,显示器6上显示的屏幕还可示出第一圆圈33内部的用户的面部,如图9b所描绘,以便向用户3提供对应的视觉反馈。屏幕还可示出指向第二圆圈34的中心的方向的上文讨论的箭头46,并且可选地示出消息77和/或图像,从而提示用户3往回移动到第二圆圈34的中心。

图10c示出了当用户的头部2移出过渡区时(即,移出先前描述的第二矩形1013时)的面部检测模型的示例。可不在显示器6上显示的第三矩形1014可布置在第二矩形1013之外。第三矩形1014的内部区域可表示错误区。只要分析器9分析出用户的面部2在所述错误区1014内部,就可将用户的面部2视为在由相机4捕捉的图片的预定区域之外。只要分析器9分析出用户的面部2在所述错误区1014内部,除了计时器79之外,显示器6上显示的屏幕还立即示出第一圆圈33内部的用户的面部,如图9c所描绘。屏幕还可示出指向第二圆圈34的中心的方向的上文讨论的箭头46,并且可选地示出消息77和/或图像,从而提示用户3往回移动到第二圆圈34的中心。

图10d示出了当用户的头部2移出错误区时(即,移出先前描述的第三矩形1014时)的面部检测模型的示例。第三矩形1014的外部区域也可表示错误区。只要分析器9分析出用户的面部2在第三矩形1014之外,就可将用户的面部2视为在由相机4捕捉的图片的预定区域之外。只要分析器9分析出用户的面部2在第三区域1014之外,除了计时器79之外,显示器6上显示的屏幕还可立即示出消息78和/或图像,如图9d所描绘。消息和/或图像78可通知用户他的面部不可检测。

图10e示出了用户3已经根据其沿第一或第二方向转动该用户的头部2的示例。如果用户3沿方向1015、1016中的一个方向转动他的头部2直到用户的面部2不可检测,则可在显示器6上显示与图9d所示相同的屏幕。例如,当用户的面部不可检测至少三秒时,可显示图9d的屏幕。

图11示出了取决于用户3分别与装置1或相机4之间的相对距离而可在显示器6上显示的屏幕的示例。装置1可例如安装在浴室镜1111上。

第一距离区域1101是与相机4相距介于0cm和约30cm之间的距离区域。该距离太靠近而无法正确检测用户的面部。如果分析器9分析出用户的面部在所述第一距离区域1101内预定时间,例如,超过三秒钟,则可在显示器6上显示屏幕1106。该屏幕可对应于先前参考图7d所讨论的屏幕。

第二距离区域1102是与相机4相距介于约30cm和约90cm之间的距离区域。该距离对于正确地检测用户的面部而言是准确的。如果分析器9分析出用户的面部在所述第二距离区域1102内,则可在显示器6上显示屏幕1107。该屏幕可对应于先前参考图7a所讨论的屏幕。

第三距离区域1103是与相机4相距介于约90cm和约110cm之间的距离区域。该距离太远而无法正确地检测用户的面部。如果分析器9分析出用户的面部在所述第三距离区域1103内预定时间,例如,超过三秒钟,则可在显示器6上显示屏幕1108。该屏幕可对应于先前参考图6b所讨论的屏幕。

第四距离区域1104是与相机4相距介于约110cm和约140cm之间的距离区域。该距离太远而无法准确地检测用户的面部。如果分析器9分析出用户的面部在所述第四距离区域1104内,则可在显示器6上立即显示屏幕1109。该屏幕可对应于先前参考图6c所讨论的屏幕。

第五距离区域1105是与相机4相距超过约140cm的距离区域。该距离太远而无法正确地检测用户的面部。如果分析器9分析出用户的面部在所述第五距离区域1105内,则可在显示器6上立即显示屏幕1110。该屏幕可对应于先前参考图6d所讨论的屏幕。

例如,如果用户的头部或面部超过30秒未检测到,则该阶段将被视为正常刷牙阶段而不是位置检测。诸如图12a描绘的屏幕可显示在显示器6上。该阶段没有记录任何位置检测数据。

例如,对应消息78和/或图像可显示10秒,并且然后将被自动消除。用户也可经由右上方的退出按钮56来消除它。如图12b所示,只示出刷牙计时器79的屏幕可显示在显示器6上。

在消除之后,一旦再次检测到用户的头部,装置可能会返回到位置检测屏幕。当该阶段完成时,如图12c所示的常规阶段摘要屏幕可显示在显示器6上,随后是解释错误的弹窗1201。

这将参考图13a至图13g更详细地解释。

图13a描绘了当用户3开启牙刷开始刷牙时可在显示器6上显示的屏幕的示例。显示牙刷计时器79,并且以特定颜色或阴影显示第二圆圈34以便通知用户已正确地检测到他/她的面部。

图13b描绘了可在刷牙阶段期间显示的屏幕的示例。突出显示左上段71以便通知用户3应当刷洗他的左上牙齿部分。

图13c描绘了当分析器9分析出用户3移出先前已经参考图10b讨论的过渡区1013时可在显示器6上显示的屏幕的示例。牙刷计时器79与第一圆圈33内部的用户的面部、第二圆圈34、指向第二圆圈34的中心的方向的箭头46、以及提示用户3往回移动到中心的可选消息77一起显示。所有这些图形元件均可被显示在显示器6上以便向用户3提供视觉反馈。

图13d描绘了当用户的面部不再在要检测的范围内时可在显示器6上显示的屏幕的示例。刷牙计时器79可以较浅的颜色或阴影显示,并且可显示可选的消息78,从而通知用户他/她的面部不可检测。

图13e描绘了当用户的面部在某个时间内(例如,超过30秒)不能被检测到时可在显示器6上显示的屏幕的示例。刷牙计时器79可以较浅的颜色或阴影显示,并且可显示可选的错误消息78,从而通知用户他/她的面部不可检测。此外,还可在显示器6上显示向用户解释错误的弹窗1201。优选地,错误消息78和错误弹窗1201可显示某个时间,例如,十秒。

图13f描绘了当用户的面部不可检测但是用户继续刷牙时可在显示器6上显示的屏幕的示例。如图13f所描绘的屏幕可显示在显示器6上以便向用户呈现当前刷牙阶段的当前状态。

图13g描绘了当用户的面部太长时间不可检测时可在显示器6上显示的屏幕的示例。如图13g所描绘的屏幕可显示在显示器6上以便提供当前刷牙阶段的摘要。换句话说,因为当前刷牙阶段由于用户3超出范围太长时间而不会记录位置数据,所以可在显示器6上显示常规摘要屏幕。如图13g所描绘,可在摘要屏幕上显示错误消息1301。

换句话说,在总结本发明时,本发明可为指导用户安装刷牙位置确定系统的交互式系统设置过程。该系统可考虑来自智能电话1的传感器数据以在设置期间连续测量电话1的定向,并且向用户3提供对应的反馈以便使得他/她能够正确地安装所有内容。

这同样适用于对于智能电话的前置相机4要求用户的面部的位置始终可见的情况。如果他开始离开焦点,则他将被警告不要离开焦点,并且最终得到以下消息:如果他离开焦点,则系统不能再工作了。另外,他需要和相机4保持某个距离。在刷牙应用程序的使用期间,系统指导用户设置并且不断地检查面部位置和智能电话位置。

为了使得消费者能够配合,智能电话应用程序指示/指导/教导消费者正确地设置整个系统。在指导消费者遵循指令的同时,系统同时检查正确的安装。

系统可检测消费者何时完成任务。提供适当的反馈。完成的设置任务触发系统开始工作并且在刷牙期间提供实际反馈。如果消费者在使用期间改变调整,则系统将会检测到这样的改变并且提供对应的指令或动作。

为了使系统按要求工作,当满足以下标准时是有利的:

•消费者可站在直立的位置,直视前置相机4

•智能电话1可附连到垂直墙壁,其中前置相机4位于消费者鼻子水平的高度水平处

•电话的侧倾理想地应当为0°,但是可能具有例如+/-3°的公差,这取决于视频处理算法的灵敏度。

•电话的俯仰理想地应当为0°,但是可能具有例如+/-3°的公差,这取决于视频处理算法的灵敏度。

•消费者的面部与前置相机4之间的距离取决于相机4的镜头,但是应当结束于面部,从而覆盖相机的传感器区域的大约75%(有利的是:完整的消费者的面部,尤其是嘴部区域,包括牙刷主体的部分以及消费者的手对于相机4始终可见)

•电动牙刷与智能电话之间应当建立蓝牙连接

•照明条件应当在某个水平以上照亮面部。太亮或太暗的房间可能会不利地影响结果。

•应当执行智能电话应用程序

例如,下面描述的过程可用于在使用系统之前设置系统,而且也可在刷牙应用程序的使用期间用作反馈系统。如果智能电话的位置或定向在系统使用期间会发生变化,则由至少一个传感器收集的所有数据都会很差,因此需要在使用期间有适当的反馈。传感器测量的灵敏度(例如,电话的侧倾和俯仰、面部距离、面部位置)在刷牙应用程序的使用期间可不同于设置期间的灵敏度。

智能电话的侧倾、俯仰、偏航以及头部位置测量

这是智能电话在系统的设置和使用期间用该智能电话的至少一个传感器,例如用内置惯性传感器测量的内容的定义。头部/面部对准由智能电话1的前置相机4测量,并且可使用fraunhofershore面部检测算法来确定面部在相机焦点内的位置。

所有测量均可具有理想值范围、公差值范围以及超出范围的值范围。只要所需的面部位置/智能电话定向处于理想值范围内,系统就会指示可采取下一步骤,例如,启动刷牙应用程序。如果值处于公差值范围中,则提示用户修正电话的定向/面部的位置/相距相机的距离。如果值超出范围,则另一个消息将要求用户修正位置/定向,并且系统根本无法工作。

设置期间的屏幕上指令

用户可能被问到他更喜欢使用哪只手来刷牙。这可帮助该算法减少可能提高反馈质量的图像处理的差异。

屏幕上指导可提供消费者需要对智能电话1做什么的即时反馈以便正确地定位该智能电话。电话1的每次移动和定向改变可连续测量并且反馈给用户。在这种情况下,可测量侧倾和俯仰。

系统并行地确定相机焦点中的面部,并且提供关于用户应当站立多远以及电话1是否安装在正确高度处的指导。

如果环境照明条件对于系统正确且稳定地检测面部而言太差,则系统可提供以下反馈:用户应当开启灯或关闭百叶窗/禁用将相机遮蔽的直接面部照明/背景光。

使用期间的屏幕上指令

无论何时头部超出范围并且不能检测到面部,均可以显示dzm计时器使得位置当前由于用户超出范围而未被跟踪是显而易见的。而且,可示出对应的消息。牙刷的柄部可能每秒都会触发振动,同时无法检测到用户的面部。只要牙刷启动,计时器就应当继续计数。一旦用户的面部再次被看到,用于位置、修正消息、以及振动的已禁用ui(用户界面)应当被自动消除。一旦面部被再次检测到,可示出另一个消息,例如示出两秒钟,诸如包括以下信息的消息:“哎呀,我们看不到你的面部。面部要总是朝前以便得到最准确结果”。

2.如果无法检测到用户的牙刷位置,则即使他/她的头部可检测到,也可禁用位置检测,但是计时器可继续计数。可以显示dzm计时器使得位置当前由于用户超出范围而未被跟踪是显而易见的。无消息。

3.例如,如果用户的头部超过30秒未检测到,则该阶段将被视为正常刷牙阶段而不是位置检测。该阶段没有记录任何位置检测数据。例如,对应的消息(诸如图12c所示的消息1201)可例如显示十秒,并且然后被自动消除。用户也可经由右上方的退出按钮56来消除它。在消除之后,一旦再次检测到用户的头部,该系统可能会返回到位置检测ui。当该阶段完成时,示出常规阶段摘要屏幕,然后显示解释错误的弹窗。

尽管一些方面已经以设备为背景进行了描述,但是应当清楚,这些方面也表示对相应方法所作的说明,其中方框或装置对应于方法步骤或方法步骤的特征。类似地,以方法步骤为背景来描述的方面也表示对相应设备的相应方框或项或特征所作的说明。

本发明的分解信号可存储在数字存储介质上,或者可在传输介质诸如无线传输介质或有线传输介质诸如因特网上传输。

根据某些实施方式的要求,本发明的实施方案可以在硬件或软件中实现。该实施方式可使用数字存储介质来执行,例如,软盘、dvd、cd、rom、prom、eprom、eeprom、或闪存存储器,该介质上存储了电可读控制信号,其与(或能够与)可编程计算机系统配合,使得相应方法得以执行。

根据本发明的一些实施方案包括具有电可读控制信号的非暂态数据载体,该数据载体能够与可编程计算机系统配合,使得本文所述方法中的一个方法得以执行。

通常,本发明的实施方案可以作为计算机程序产品来实现,该计算机产品具有程序代码,当计算机程序产品在计算机上运行时,该程序代码可操作用于执行这些方法中的一个方法。程序代码可例如存储在机器可读载体上。

其它实施方案包括存储在机器可读载体上的计算机程序,该计算机程序用于执行本文所述方法中的一个方法。

换句话说,本发明方法的实施方案因此是具有程序代码的计算机程序,当计算机程序在计算机上运行时,该计算机程序用于执行本文所述方法中的一个方法。

本发明方法的另一个实施方案因此是数据载体(或数字存储介质、或计算机可读介质),该数据载体包括记录在其上的用于执行本文所述方法中的一个方法的计算机程序。

本发明方法的另一个实施方案因此是数据流、或表示用于执行本文所述方法中的一个方法的计算机程序的信号序列。数据流或信号序列可例如被构造成经由数据通信连接(例如,经由互联网)传输。

另一个实施方案包括处理部件,例如,计算机或可编程逻辑装置,其被构造成或适于执行本文所述方法中的一个方法。

另一个实施方案包括在其上安装有用于执行本文所述方法中的一个方法的计算机程序的计算机。

在一些实施方案中,可编程逻辑装置(例如,现场可编程门阵列)可用于执行本文所述方法的功能中的一些或全部。在一些实施方案中,现场可编程门阵列可以与微处理器配合,以便执行本文所述方法中的一个方法。通常,这些方法优选地可由任何硬件设备来执行。

上述实施方案仅仅是为了说明本发明的原理。应当理解,本文所述的布置和细节的修改与变型对于本领域其他技术人员而言将是显而易见的。因此,其意图在于仅仅受到所附专利权利要求书的范围的限制,而非受到通过说明与解释本文实施方案而呈现的具体细节的限制。

本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反,除非另外指明,否则每个这样的量纲旨在表示所述值以及围绕该值功能上等同的范围。例如,公开为“40mm”的量纲旨在表示“约40mm”。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1