用于操作个人梳理器具或家用清洁器具的设备和方法与流程
背景技术：
需要一种“智能”梳理或家用器具及相关联的系统利用内部传感器数据和图像数据的组合的使用来改善用户与梳理或家用器具相关的体验的能力。
技术实现要素：
本公开的第一方面提供了用于操作个人梳理/家用器具的系统和方法，包括：提供个人梳理/家用器具，该个人梳理/家用器具包括(a)电动且电控的梳理/清洁工具，和(b)至少一个物理传感器，该至少一个物理传感器选自由以下项组成的组：取向传感器、加速度传感器、惯性传感器、全球定位传感器、压力传感器、负载传感器、音频传感器、磁传感器、湿度传感器和温度传感器；提供与该个人梳理/家用器具相关联的相机；使用对该物理传感器数据和该图像数据进行分类的一个或多个分类器导出增强分类；以及基于该增强分类修改该梳理/家用器具或工具的操作。
在一个详细的实施方案中，相机位于个人梳理/家用器具上。
另选地或除此之外，个人梳理/家用器具还包括通过计算机网络发送和接收数据的计算机网络接口，并且相机位于计算机化装置上，该计算机化装置包括至少通过计算机网络发送图像数据的计算机网络接口。在另一个详细的实施方案中，操作修改步骤还基于由至少部分地在计算机化装置上操作的软件应用程序实施的处理方案。在另一个详细的实施方案中，针对梳理器具的用户定制处理方案。另选地或除此之外，根据处理方案协调增强分类以确定相对于处理方案的处理进展。另选地或除此之外，增强分类至少部分地用于建立处理方案。
在第一方面的另一个详细的实施方案中，导出增强分类的步骤由单个分类器实施。另选地，该方法包括使用受过训练的机器学习分类器对从物理传感器接收的传感器数据进行分类以生成物理分类；以及使用受过训练的机器学习分类器对从相机接收的图像数据进行分类以生成图像分类；其中导出增强分类的步骤基于物理分类和图像分类的组合。
在第一方面的另一个详细的实施方案中，器具为牙科器具；梳理工具为刷子、流体喷嘴和/或牙线洁齿带；并且增强分类涉及梳理工具相对于用户口部的位置。在另一个详细的实施方案中，当增强分类指示梳理工具处于用户口部之外时，修改操作步骤停用梳理工具。另选地或除此之外，梳理工具为电动刷，并且修改操作基于梳理工具相对于用户口部的位置来调节刷速度设定，如至少部分地由增强分类所指示的那样。
在第一方面的另一个详细的实施方案中，增强分类至少部分地涉及是否正在实施梳理/清洁工具，并且修改操作的步骤基于正在实施梳理/清洁工具的时间量来更新维护设置。
在第一方面的另一个详细的实施方案中，增强分类至少部分地涉及梳理工具相对于用户身体部位的位置，并且修改操作的步骤至少部分地基于梳理工具相对于用户的身体部位的位置修改梳理工具的操作，如至少部分地由增强分类所指示的那样。在另一个详细的实施方案中，梳理工具为牙科器具，并且梳理工具为电动刷；并且修改操作的步骤基于梳理工具相对于用户口部的位置来调节电动刷的速度设定，如至少部分地由增强分类所指示的那样。另选地，梳理工具为剃刮器具，并且梳理工具为机动化剃刮头部；并且修改操作的步骤基于梳理工具相对于用户面部的位置来调节剃刮头部的速度设定，如至少部分地由增强分类所指示的那样。另选地，梳理工具为剃刮器具，并且梳理工具为剃刮刀片架；并且修改操作的步骤基于梳理工具相对于用户面部的位置来调节剃刮刀片架的迎角设定，如至少部分地由增强分类所指示的那样。另选地，修改操作的步骤基于梳理工具相对于用户的身体部位的位置来调节梳理工具的压敏度设定，如至少部分地由增强分类所指示的那样。
另选地，增强分类还包括用户的身体部位的表面状况；并且修改操作的步骤基于梳理工具相对于用户面部的位置处的表面状况来调节梳理工具的性能设定，如至少部分地由增强分类所指示的那样。在另一个详细的实施方案中，梳理器具为牙科器具，并且表面状况至少部分地涉及用户牙齿上牙斑的存在。另选地，梳理器具为剃刮器具，并且表面状况至少部分地涉及用户面部上晶须的存在。
在第一方面的另一个详细的实施方案中，增强分类至少部分地涉及清洁工具相对于家用目标表面的位置，并且修改操作的步骤至少部分地基于清洁工具相对于家用目标表面的位置修改清洁工具的操作，如至少部分地由增强分类所指示的那样。
在第一方面的另一个详细的实施方案中，增强分类检测梳理/家用器具的用户的身份标识，并且修改操作步骤应用针对所识别的用户定制的操作设定。
本公开的第二方面提供了一种用于操作个人梳理器具的系统和方法，包括：提供个人梳理/家用器具，该个人梳理/家用器具包括至少一个物理传感器，该至少一个物理传感器选自由以下项组成的组：取向传感器、加速度传感器、惯性传感器、全球定位传感器、压力传感器和负载传感器、音频传感器、湿度传感器和温度传感器；提供与该个人梳理/家用器具相关联的相机；使用至少一个受过训练的机器学习分类器对从该物理传感器和从该相机接收的数据进行分类以生成增强分类；以及基于该增强分类提供用户反馈信息；其中该增强分类涉及关于梳理/家用器具相对于用户的身体部位或家用目标表面的位置的第一状态的组合，并且还涉及不同于该第一状态的第二状态。在一个实施方案中，第二状态涉及用户的身份标识。在一个另选实施方案中，第二状态涉及梳理器具的身份标识。
在一个实施方案中，第二状态涉及用户的身体部位的表面状况。在另一个详细的实施方案中，用户的身体部位为用户的牙齿，并且表面状况涉及患者牙齿上牙斑的存在。另选地，表面状况是用户的身体部位上晶须或硬茬的存在。另选地或除此之外，第一状态还涉及个人梳理器具的移动方向。在另一个详细的实施方案中，第二状态是从来自相机的图像数据导出的图像分类。在又一个详细的实施方案中，图像分类至少部分地涉及正在使用的剃刮润滑剂的身份标识。另选地或除此之外，第二状态是从物理传感器导出的笔划压力分类。
在一个实施方案中，第二状态是从来自相机的图像数据导出的图像分类。在另一个详细的实施方案中，图像分类涉及梳理器具的用户的情绪。在又一个详细的实施方案中，图像分类涉及梳理器具的用户的负面情绪，并且反馈信息提供用于改善用户对梳理器具的体验的建议。
在一个实施方案中，图像分类涉及预处理或后处理状况中的至少一者。在另一个详细的实施方案中，图像分类涉及预处理状况，并且反馈信息基于预处理状况和梳理/家用器具的位置的组合来提供处理说明。
在一个实施方案中，图像分类涉及与进行梳理/家用清洁的梳理/家用器具一起使用的对象的身份标识。在另一个详细的实施方案中，反馈信息包括与对象相关的营销信息(例如，优惠券、促销、广告等)。
在一个实施方案中，反馈信息包括与图像分类相关的营销信息。在一个详细的实施方案中，图像分类涉及用户的皮肤状况，并且反馈信息包括用于处理皮肤状况的推荐产品。在另一个详细的实施方案中，反馈信息还包括使用梳理器具的产品应用技术。
在一个实施方案中，图像分类涉及用户的身体部位的状况，并且反馈信息包括对待应用于身体部位的产品连同使用梳理器具的产品应用技术的推荐。
在一个实施方案中，第二状态涉及梳理/家用器具的运动。另选地或除此之外，生成增强分类的步骤由单个分类器实施。
本公开的第三方面提供了一种用于操作个人梳理器具的系统和方法，包括：提供个人梳理器具，该个人梳理器具包括选自由以下项组成的组的至少一个运动传感器：取向传感器、加速度传感器和惯性传感器；提供与该个人梳理器具相关联的相机；使用至少一个受过训练的机器学习分类器对从该运动传感器和从该相机接收的数据进行分类以生成增强分类；以及基于该增强分类提供用户反馈信息；其中该增强分类涉及关于梳理器具相对于用户的身体部位的位置的第一状态的组合，并且还涉及不同于第一分类的第二状态。在另一个详细的实施方案中，第二状态涉及用户的身份标识。另选地，第二状态涉及梳理器具的身份标识。另选地或除此之外，第二状态涉及用户的身体部位的表面状况。另选地或除此之外，第一状态还涉及个人梳理器具的移动方向。
在一个实施方案中，第二状态是从来自相机的图像数据导出的图像分类。在另一个详细的实施方案中，图像分类涉及梳理器具的用户的情绪。另选地，图像分类涉及预处理或后处理状况中的至少一者。在另一个详细的实施方案中，图像分类涉及预处理状况，并且反馈信息基于预处理状况和梳理器具的位置的组合来提供处理说明。
本公开的第四方面提供了一种用于操作个人梳理器具的系统和/或方法，包括：提供与个人梳理器具相关联的相机或与个人梳理器具相关联的生物传感器中的至少一者；提供个人梳理器具，该个人梳理器具具有至少一个运动传感器诸如取向传感器、加速度传感器和/或惯性传感器；使用第一学习网络分类器对从所述相机接收的图像数据或从所述生物传感器接收的生物传感器数据中的至少一者进行分类，以对用户的身体结构的表面的表面状况进行分类，从而生成初始表面状况分类；基于所述初始表面状况分类生成用户处理信息并将所述用户处理信息传送给所述用户；使用第二学习网络分类器来对从该运动传感器接收的运动数据进行分类以对该个人梳理器具相对于该用户的身体结构的该表面的运动进行分类以生成关系运动分类或关系位置分类中的至少一者；基于后续表面状况分类并基于所述至少一个关系运动分类或关系位置分类生成用户处理进展信息；以及将该用户处理进展信息传送给该用户。
在一个实施方案中，个人梳理器具还包括通过计算机网络发送和接收数据的计算机网络接口；并且相机位于计算机化装置上，该计算机化装置包括至少通过计算机网络发送图像数据的计算机网络接口。在另一个详细的实施方案中，该方法还包括基于用户处理进展信息来修改梳理器具的操作的步骤。另选地或除此之外，基于表面状况分类生成用户处理信息的步骤包括至少部分地基于表面状况信息生成处理方案。在另一个详细的实施方案中，处理方案由至少部分地在计算机化装置上操作的软件应用程序来实施。在另一个详细的实施方案中，针对梳理器具的用户定制处理方案。另选地或除此之外，根据处理方案协调用户处理进展信息以确定相对于处理方案的处理进展。另选地或除此之外，该方法还包括至少部分地基于用户处理进展信息修改处理方案的步骤。在一个实施方案中，修改步骤在确定初始表面状况分类不正确的步骤之后。在一个实施方案中，该方法还包括将修改的处理方案传送给用户的步骤。
本公开的第五方面是提供一种用于操作个人梳理器具的系统和/或方法，包括：提供计算机化装置，该计算机化装置包括相机和网络接口，该网络接口通过计算机网络从相机发送图像数据；提供个人梳理器具，该个人梳理器具包括(a)取向传感器、加速度传感器、惯性传感器、压力传感器和/或负载传感器，和(b)通过计算机网络发送和接收数据的计算机网络接口；提供至少部分地在计算机化装置上操作的软件应用程序；使用一个或多个学习网络分类器对从相机接收的图像数据进行分类以生成图像分类；至少部分地基于图像分类生成处理方案；基于软件应用程序可访问的用户信息来定制处理方案；由软件应用程序实施定制的处理方案的至少一部分；使用一个或多个学习网络分类器来对从该至少一个传感器接收的传感器数据进行分类以相对于用户的身体结构的表面对个人梳理器具的使用进行分类，从而生成关系梳理器具使用分类；以及基于关系梳理器具使用分类生成用户处理方案进展信息并将该用户处理方案进展信息传送给该用户。
在另一个详细的实施方案中，对图像数据进行分类的步骤包括鉴别用户的身体结构。另选地或除此之外，生成关系梳理器具使用分类的步骤基于对图像数据和传感器数据的组合进行分类。另选地或除此之外，该方法还包括基于关系梳理器具使用分类修改梳理器具的操作的步骤。另选地或除此之外，根据处理方案协调用户处理进展信息以确定相对于处理方案的处理进展。另选地或除此之外，软件应用程序可访问的用户信息包括由软件应用程序收集的用户配置文件信息。另选地或除此之外，软件应用程序可访问的用户信息包括从关系梳理器具使用分类导出的信息。另选地或除此之外，该方法还包括基于用户如何操作梳理器具来训练该一个或多个学习网络分类器的步骤。另选地或除此之外，该方法还包括基于由软件应用程序收集的用户信息来训练该一个或多个学习网络分类器的步骤，其中可由软件应用程序收集的用户信息至少部分地基于用户与软件应用程序的交互。
本公开的第六方面是提供一种用于处理用户的身体部位的表面的方法，包括：使用一个或多个状况传感器诸如光学传感器和/或生物传感器从用户的身体部位表面获得目标表面状况信息；使用机器学习分类器对该目标表面状况信息进行分类以确定初始目标表面状况分类；使用运动传感器数据和来自该一个或多个状况传感器的表面状况信息的组合来获得处理进展信息；以及使用机器学习分类器对该处理进展信息进行分类，以确定用于处理初始目标表面状况分类的进展分类。
在第六方面的更详细的实施方案中，该一个或多个状况传感器设置在检查器械或梳理器具中的至少一者上。另选地或除此之外，该方法还包括显示处理进展信息的表示。在一个实施方案中，所显示的表示是延时表示；或者，在另一个实施方案中，所显示的表示是实时表示。
在第六方面的更详细的实施方案中，该方法包括至少部分地基于处理进展分类修改处理系统的设定。在另一个详细的实施方案中，修改步骤在处理系统正在处理用户的身体部位表面时基本上实时发生。在另一个详细的实施方案中，该一个或多个状况传感器设置在处理系统的处理器械上。在又一个详细的实施方案中，处理器械为口腔护理器械。
在第六方面的更详细的实施方案中，该方法包括基于目标表面状况分类修改处理系统的设定。另选地或除此之外，该方法还包括基于连续的目标表面状况分类来评估用户的身体部位表面状况随时间的变化。另选地或除此之外，进展分类指示初始目标表面状况分类不正确。在这种情况下，该方法还可包括基于初始处理分类生成初始处理方案，以及在确定初始目标表面状况分类不正确时修改初始处理方案。
通过以下描述、所附权利要求和附图，本公开的这些和其他方面以及目的将变得显而易见。
附图说明
在下文中，结合附图更详细地描述本公开的实施方案，其中
图1示出了根据本公开的一个实施方案的设备的示意性框图，
图2示出了待使用可移动处理装置处理的目标表面的一个示例，
图3示出了待使用可移动处理装置处理的目标表面的另一个示例，
图4示出了可用于本文所公开实施方案中的递归神经网络的示意性框图，
图5示出了可用于本文所公开实施方案中的gru神经网络的示意性框图，
图6a示出了可用于本文所公开实施方案中的lstm神经网络的示意性框图，
图6b示出了在不同时间例的具有一层的lstm神经网络的示意性框图，
图7示出了在不同时间例的具有两层的lstm神经网络的示意性框图，
图8示出了根据本公开的一个实施方案的方法的框图，
图9示出了根据本公开的一个实施方案的设备的示意性框图，
图10示出了根据本公开的另一个实施方案的设备的示意性框图，
图11示出了根据本公开的另一个实施方案的设备的示意性框图，
图12示出了根据本公开的一个实施方案的方法的框图，
图13是根据本公开的一个实施方案的联网系统的框图表示，
图14是根据本公开的一个实施方案的决策树的流程图表示，
图15是根据本公开的一个实施方案的利用增强或混合机器学习分类的联网系统的框图表示，并且
图16是根据本公开的一个实施方案的利用增强或混合机器学习分类的另选联网系统的框图表示。
具体实施方式
具有相等或等同功能的相等或等同的元件或元件可在以下描述中用相等或等同的附图标号表示。然而，基于该实施方案，类似或等同的元件也可由不同的附图标号表示。
下文中，将提及个人梳理器具和/或家用器具作为“可移动处理装置”的非限制性示例。例如，个人梳理器具可包括剃刮器具(手动剃刀、电动剃刀、修剪器、脱毛器、基于化学品的毛发移除等)、牙科器具(手动牙刷、电动牙刷、抛光机、喷水器、超声器具、牙线洁齿器具等)、涤气器(剥脱刷等)、化妆品施用装置以及毛发定型器具(毛发刷、修剪器/切割器、电吹风、直发器、卷发夹等)。此类梳理器具也可具有某些医学和/或牙齿检查/诊断/处理用途，并且将在本文中描述。在这些示例中，待处理的表面是用户身体结构的一部分，诸如用户的牙齿、面部、腿部等。另外，家用器具可包括表面清洁器、抛光机、压力清洗器、地板清洁器、真空清洁器、窗户清洁器等。在这些示例中，待处理的表面可以是家用表面，诸如地板、墙壁、台面、水槽、窗户、镜子、车辆表面等。
此外，方法的任何方法步骤的次序可仅作为非限制性示例描述。因此，除非明确地指明以特定次序实施，否则如本文所述的任何方法步骤也可以除所述之外的任何其他次序实施。
尽管一些方面将以设备或装置为背景进行说明，但是应当理解，这些方面也表示对相应方法所作的说明，其中一个方框或装置对应于一个方法步骤或方法步骤的特征。类似地，以方法或方法步骤为背景来描述的方面也表示对相应设备或装置的相应方框或项或特征所作的说明。
图1示出了根据一个示例性实施方案的设备或系统10。描绘了可移动处理装置11。可移动处理装置11可包括惯性传感器13。此外，可移动处理装置11可被配置成处理目标表面12。如下文将描述的，相机22也可与装置11相关联(如下文将描述的，相机是“相关联的”，因为相机可被包括作为处理装置11的一部分，或者相机可与处理装置分开，诸如在手持式智能电话中或在智能显示器或镜子中—实质上，任何联网或无线连接的相机)。
如可以看到的，可移动处理装置11可定位在相对于目标表面12的某些位置处，例如，在目标表面12中、目标表面12处、目标表面12上或紧邻目标表面12。目标表面12本身可分为一个或多个区域211,212,213,…,21n。可移动处理装置11可在相对于所述区域211,212,213,…,21n中的至少一个区域的某个位置处移动或定位。
如图1中所描绘的，设备10可被配置成实施可移动处理装置11相对于目标表面12的定位。
设备10可包括运动模式识别装置14。运动模式识别装置14可被配置成区分包含在可移动处理装置11的运动模式集合15中的两个或更多个运动模式，诸如运动模式151、152、153、…、15n。换句话讲，可移动处理装置11可以例如由使用所述可移动处理装置11的使用者在不同的线性和/或转动方向上移动。据此，可移动处理装置11的每一运动可表示对应或单独的运动模式。运动模式识别装置14可包括不同运动模式的集合15。运动模式集合15可包括所述前述相应或单独运动模式151,152,153,…,15n中的两个或更多个运动模式。运动模式识别装置14可被配置成区分这两个或更多个运动模式151、152、153、…、15n。也就是说，运动模式识别装置14可被配置成区别第一运动模式151与第二运动模式152。
可移动处理装置11的移动可由至少一个惯性传感器13检测。惯性传感器13为基于惯性的传感器，并且可包括加速度计、陀螺仪及磁力计中的至少一者。惯性传感器13可提供表示线速度、角速度、线加速度、角加速度和重力中的至少一者的传感器数据。惯性传感器13可以为包括一个或多个惯性传感器的惯性测量单元的一部分。
设备10可包括接口16，该接口用于接收来自惯性传感器13的至少一个惯性传感器数据171,172,173,…,17n并且用于将至少一个惯性传感器数据171,172,173,…,17n提供到运动模式识别装置14。至少一个惯性传感器数据171,172,173,…,17n表示可移动处理装置11的移动。换句话讲，当可移动处理装置11移动时，惯性传感器13感测这一运动并生成至少一个惯性传感器数据171,172,173,…,17n。据此，至少一个惯性传感器数据171,172,173,…,17n表示移动的处理装置11的对应运动。
运动模式识别装置14可包括神经网络18。神经网络18可以是深度学习网络。神经网络18可被配置成接收至少一个惯性传感器数据171、172、173、…、17n，并且将至少一个惯性传感器数据171、172、173、…、17n映射到包含在运动模式集合15中的运动模式151、152、153、…、15n中的至少一个运动模式。该映射在图1中借助于虚线和实线箭头191,192,193,194指示。以实线绘制的箭头193可示例性地指示，神经网络18成功地将至少一个惯性传感器数据171,172,173,…,17n映射到第三运动模式153。
包含在集合15中的不同运动模式151、152、153、…、15n由不同的几何形状(圆形、矩形、三角形、星形)示例性地符号化表示，仅用于例证目的。当然，可移动处理装置11的运动模式不限于这些特定几何形状。
根据本发明的原则，运动模式151、152、153、…、15n各自与目标表面12的一个或多个不同区域211、212、213、…、21n相关联。这借助于虚线和实线箭头201,202,203,…,20n指示。如可以看到的，第一运动模式151可与目标表面12的第一区域211相关联，如由虚线箭头201指示的。第二运动模式152可与目标表面12的第二区域212相关联，如由虚线箭头202指示的。第三运动模式153可与目标表面12的第三区域213相关联，如由以实线绘制的箭头203指示的。第四运动模式154可与目标表面12的第四区域214相关联，如由虚线箭头204指示的。
以实线绘制的箭头203可示例性地指示，第三运动模式153(至少一个惯性传感器数据171,172,173,…,17n被神经网络18成功地映射至这一运动模式)与目标表面12的第三区域213相关联。
据此，至少一个惯性传感器数据171、172、173、…、17n与至少一个运动模式151、152、153、…、15n的映射指示对可移动处理装置11相对于目标表面12的一个或多个区域211、212、213、…、21n的定位的评估。在本示例中，至少一个惯性传感器数据171,172,173,…,17n与第三运动模式153的映射指示对可移动处理装置11相对于目标表面12的第三区域213的定位的评估。
换句话讲，神经网络18将所接收的至少一个惯性传感器数据171,172,173,…,17n成功地映射到第三运动模式153。根据这一示例，由于第三运动模式153与第三区域213相关联，因此设备10检索可移动处理装置11定位在第三区域213的信息或可移动处理装置11至少在当生成至少一个惯性传感器数据171,172,173,…,17n时的时间被定位在第三区域213的信息。
因此，设备10可被配置成简单地借助于可移动处理装置11的执行运动或运动模式将所述可移动处理装置11相对于目标表面12进行定位。
根据一个实施方案，可移动处理装置11可以为个人梳理器具，并且目标表面12可以为待通过所述可移动处理装置11处理的身体部位。
例如，可移动处理装置11可以是剃刀或梳毛器，其用于对使用者身体的身体部位进行剃刮或梳毛。在这种情况下，用户的身体(或身体的部位)可以为目标表面12。使用者身体12可分为不同的区域，例如，左颊区域、右颊区域、下巴区域等。通过使用剃刀11执行预定的运动模式，设备10可将剃刀11相对于使用者身体定位。例如，如果剃刀11执行指向左上角的运动模式，其中剃刀11向左倾斜，则设备10可将剃刀11定位成例如定位在左颊区域中。据此，设备10可简单地通过剃刀11执行的运动模式将其定位在使用者的面部处。
另举一例，可移动处理装置11可以是家用器具，并且目标表面12可以是地板、墙壁、家具等的表面。例如，可移动处理装置11可以为真空吸尘器，并且目标表面12可以为房间的地板。房间12可分为不同的区域，例如，房间的左上角、房间的右下角、房间的中心、定位在房间内的床下等。通过使用真空吸尘器11执行预定的运动模式，设备10可将真空吸尘器11相对于房间的地板定位。例如，如果真空吸尘器11执行当真空吸尘器11的吸管被降低到接近地面时仅向前和向后的运动模式时，设备10可将真空吸尘器11定位成例如被定位在“床下”区域中。据此，设备10可简单地通过真空吸尘器11执行的运动模式将其在房间内定位。
根据另一个实施方案，可移动处理装置11可以是口腔护理装置，并且目标表面12可以为牙列，其中牙列12被分为不同的牙齿区域211、212、213、…、21n，其中至少一个惯性传感器数据171、172、173、…、17n与至少一个运动模式151、152、153、…、15n的映射指示对口腔护理装置11相对于牙列12的一个或多个牙齿区域211、212、213、…、21n的定位的评估。
口腔护理装置可为牙刷，具体地为电动牙刷。口腔护理装置也可为牙线、抛光机、牙斑去除装置、超声装置和喷水装置中的至少一者。在一些实施方案中，口腔护理装置也可为口腔检查装置。
根据这一示例，通过使用口腔护理装置11执行预定运动模式，设备10可将口腔护理装置11相对于牙列定位。例如，如果口腔护理装置11执行仅指向上和指向下的运动模式，其中口腔护理装置11向左倾斜，则设备10可将口腔护理装置11定位成例如定位在例如上颚的左上牙齿区域中。据此，设备10可简单地通过口腔护理装置11执行的运动模式将其相对于使用者的牙列定位。
根据一个实施方案，牙列可分为九个牙齿区域，其中第一牙齿区域对应于上颚和下颚牙列的左颊面，第二牙齿区域对应于左侧和右侧上颚牙列的咬合面，第三区域对应于左侧和右侧下颚牙列的咬合面，第四牙齿区域对应于上颚和下颚牙列的左舌面，第五牙齿区域对应于上颚和下颚牙列的右颊面，第六牙齿区域对应于上颚和下颚牙列的右舌面，第七牙齿区域对应于上颚和下颚牙列的唇面，第八牙齿区域对应于上颚牙列的颚面，第九牙齿区域对应于前下颚牙列的口腔面。
根据另一个实施方案，可附加地包含在运动模式集合15中的至少一个预定运动模式15nb可与目标表面12外部的区域21nb相关联或与目标表面12无关，其中至少一个惯性传感器数据171、172、173、…、17n与至少一个预定运动模式15nb的映射指示可移动处理装置11被定位在目标表面12外部的所述区域21nb中或与目标表面12无关。
换句话讲，目标表面12外部的区域21nb可以为不直接与目标表面12有关的区域。例如，如果可移动处理装置11可以为牙刷，则目标表面12外部的所述区域21nb可以为牙列外部的区域。据此，这一区域21nb可指示用户没有在刷牙。因此，这一区域也可称为“没有在刷牙”区域，简称“nb”。这一区域21nb可以为目标表面12的至少一个区域，或这一区域21nb可以为除目标表面的一个或多个区域211、212、213、…、21n以外的附加区域。然而，目标表面12外部的这一具体区域21nb不限于上述刷牙的示例。
图2示出了用于例证上述示例的牙列12。牙列12可以为目标表面。牙列12可分为九个牙齿区域1a至9a。任选地，可存在第十区域nb。这一第十区域nb为牙列12外部的区域。因此，这一第十区域nb未在图2中明确例证。由于这一第十区域nb与牙列12的牙齿区域之一无关，并且因此不涉及刷洗牙列12的牙齿，这一第十区域nb也可称为“没有在刷牙”区域。
如图2中可见，第一牙齿区域1a可对应于上颚和下颚牙列12的左颊面。第二牙齿区域2a可对应于左侧和右侧上颚牙列12的咬合面。第三区域3a可对应于左侧和右侧下颚牙列12的咬合面。第四牙齿区域4a可对应于上颚和下颚牙列12的左舌面。第五牙齿区域5a可对应于上颚和下颚牙列12的右颊面。第六牙齿区域6a可对应于上颚和下颚牙列12的右舌面。第七牙齿区域7a可对应于上颚和下颚牙列12的唇面。第八牙齿区域8a可对应于上颚牙列12的颚面。第九牙齿区域9a可对应于前下颚牙列12的口腔面。
图3示出了用于例证另一示例的牙列12。牙列12可以为目标表面。牙列12可分为十六个牙齿区域1b至16b。任选地，可存在第十七区域nb。这一第十七区域nb为牙列12外部的区域。因此，这一第十七区域nb未在图3中明确例证。由于这一第十七区域nb与牙列12的牙齿区域之一无关，并且因此不涉及刷牙列12的牙齿，这一第十七区域nb也可称为“没有在刷牙”区域。
如图3中可见，第一牙齿区域1b可对应于上颚牙列12的左颊面。第二牙齿区域2b可对应于左侧上颚牙列12的咬合面。第三牙齿区域3b可对应于左侧下颚牙列12的咬合面。第四牙齿区域4b可对应于上颚和下颚牙列12的左舌面。第五牙齿区域5b可对应于上颚和下颚牙列12的右颊面。第六牙齿区域6b可对应于右侧上颚牙列12的咬合面。第七牙齿区域7b可对应于右侧下颚牙列12的咬合面。第八牙齿区域8b可对应于上颚牙列12的颚面。第九牙齿区域9b可对应于上颚牙列12的唇面。第十牙齿区域10b可对应于下颚牙列12的唇面。第十一牙齿区域11b可对应于上颚牙列12的颚面。第十二牙齿区域12b可对应于前下颚牙列12的口腔面。第十三牙齿区域13b可对应于下颚牙列12的左颊面。第十四牙齿区域14b可对应于下颚牙列12的左舌面。第十五牙齿区域15b可对应于下颚牙列12的右颊面。第十六牙齿区域16b可对应于下颚牙列12的右舌面。
图2和图3仅作为非限制性示例描述。目标表面12也可包括多于或少于示例性所述九个或十六个牙齿区域。此外，目标表面12外部的第十/第十七牙齿区域nb为任选的。牙列12的一个或多个牙齿区域的确切分布可从上述示例有所改变。
关于可移动处理装置相对于目标表面12的定位，设备10可以是自学习的。设备10可例如通过采用深度学习网络来利用人工智能。例如，设备10可利用人工智能和/或学习网络开发的分类器；此外，设备10(以及本文所述的系统)还可以教导此类分类器。据此，用于实施可移动处理装置11相对于目标表面12的定位的设备10可通过使用神经网络18随时间增强其性能。
根据一个实施方案，神经网络18可以为递归神经网络(rnn)。
例如，神经网络可以为长短时记忆(lstm)网络或门控递归单元(gru)网络。
rnn可能遭遇所谓的梯度消失问题，其中梯度随着层数的增加而快速消失。梯度消失可导致训练速度相当慢。因此，可使用lstm网络和/或gru网络以避免梯度消失问题。
lstm网络是除了常规网络单元之外还包含lstm区块的人工神经网络。lstm区块包含门，该门确定何时输入足够显著以记住、何时应继续记住或何时应忘记该值以及何时应输出该值。
图4示出了处于其最一般形式的rnn的示例。可在某个时间点t将输入41馈入神经单元40中。输入41可以为单个值或包含两个或更多个值的向量。在某个时间点t的输入41也可用xt来符号化表示。
神经单元40也可任选地包括另一输入42。这另一输入42可从前一时间点t-1的神经单元(这里未示出)提供。
神经单元40可包含至少一个门43，其可提供数学运算。在这一示例中，门43为单个tanh门。
神经单元40可包括至少一个输出46。输出46可包含已经被馈入输入41和任选地另一输入42的tanh门43的运算结果。输出46可导致隐含状态45，其将在后文解释。
神经单元40可任选地包含另一输出分支46，其自上述被馈入输入41和任选地另一输入42的tanh门43的运算输出结果分支出去。
在图4中，每条绘制线可携带从一个节点的输出到其他节点的输入的完整向量。线合并(例如在47处)表示关联，而线分叉(例如在48处)表示其成分被复制并且拷贝行进到不同的位置。这对于将在下文中参照以下附图描述的其他神经网络也适用。
图5示出了gru网络的示例。gru网络包括神经单元50。除了上述rnn神经单元40之外，gru神经单元50可包括另外两个门，也就是第一sigmoid门53和第二sigmoid门54。此外，gru神经单元50可包含点运算55、56、57、58、59，举例而言，如向量加法58。
图6a示出了lstm网络的示例，其可用来作为设备10的神经网络18。lstm可包括神经单元60，就lstm网络而言，该神经单元也可被称为lstm区块。除了上述神经单元40,50之外，所描绘lstm网络的神经单元60可包括单元格状态，其为运行穿过神经单元60顶部的水平线61。神经单元60可接收单元格状态输入62，并且可生成单元格状态输出66。
神经单元60还可包括四个门43,53,54,63。例如，与上述gru网络相比，它可包括另一个sigmoid门63。借助于这些门43,53,54,63，可将信息从单元格状态(水平线61)去除或加入到该单元格状态。
图6b示出了其中描绘了神经单元的前一状态和后续状态(相对于时间点t)的另一个示例。具体地，描绘了处于时间点t的神经单元60t。此外，描绘了处于前一时间点t-1的另一神经单元60t-1。再进一步，描绘了处于后续时间点t+1的另一神经单元60t+1。所描绘的神经单元60t-1、60t、60t+1可表示处于不同的时间点的相同神经单元，也就是处于时间点t、处于前一时间点t-1和处于后续时间点t+1。
上述输入41，也符号化为字母x，可包括来自惯性传感器13的至少一个传感器数据171,172,173,…,17n。输入x可以为时间依赖性的，因此x＝x(t)。具体地，所描绘的输入xt可包括在所考虑的时间点t期间获取的传感器数据172，所描绘的输入xt-1可包括在前一时间点t-1期间获取的传感器数据171，并且所描绘的输入xt+1可包括在后续时间点t+1期间获取的传感器数据173。
如还可从图6b中看到，神经单元60t-1、60t、60t+1可在各自所描绘的时间点t-1、t、t+1例如通过预测提供相应的输出值yt-1、yt、yt+1。输出值y(t)可以为单个值或包括一个或多个向量元素的向量。
输出值y(t)可计算为：
yt＝softmax(why·ht+b)
输出值y(t)可例如包括概率值，如将参照图7更详细解释的。例如，输出值y(t)可为包括一个或多个向量元素的向量，其中每个向量元素可表示运动模式151、152、153、…、15n中的一个运动模式，或更详细地其中每个向量元素可表示概率值，该概率值指示输入x(t)(即惯性传感器数据171、172、173、…、17n)可对应于运动模式151、152、153、…、15n中的一个运动模式的可能性如何。
此外，所描绘的神经单元60t-1、60t、60t+1可排列在相同层也就是第一层中。一些示例可包括一个或多个其他层，其中每一层可包括其自己的神经单元。此类示例可在后文中参照例如图7描述。然而，具有至少第一层的示例和实施方案将进一步参照图6b描述。
根据这一实施方案，神经网络18可包括第一层，其中所述第一层包括神经单元60t，其中在第一时间点t处，至少一个惯性传感器数据xt172被输入到第一层的神经单元60t中。在后续的第二时间点t+1处，第二惯性传感器数据xt+1173和前一第一时间点t的神经单元60t的至少一个输出ht46被输入到第一层的神经单元60t+1中。
图7示出了另一示例，其中神经网络18可包括至少两层，也就是第一层71和第二层72。第一层71包括至少第一神经单元60t，并且第二层72包括至少第二神经单元70t。
如可以看到的，在不同时间例t-1、t、t+1期间获取的传感器数据171、172、173可作为输入xt-1、xt、xt+1被馈入到第一层71的相应神经单元60t-1、60t、60t+1中。
第一层71的每个神经单元60t-1、60t、60t+1的输出46t-1、46t、46t+1可作为输入被馈入到第二层72的相应神经单元70t-1、70t、70t+1中。
第一层71的神经单元60t-1、60t、60t+1和第二层72的神经单元70t-1、70t、70t+1可以为相同的。另选地，第一层71的神经单元60t-1、60t、60t+1的内部结构和第二层72的神经单元70t-1、70t、70t+1可以彼此不同。
根据图7所示的实施方案，神经网络18可包括至少第一层71和第二层72，其中第一层71可包括第一神经单元60t并且其中第二层72可包括第二神经单元70t，其中在第一时间点t处，至少一个惯性传感器数据xt172被输入到第一层71的第一神经单元60t中，并且其中第一神经单元60t的输出ht46被输入到第二层72的神经单元70t中。
到目前为止，已经描述了垂直方向的信号路径，即，从底部的第一层71到顶部的第二层72。然而，在图7的实施方案中也示出了水平方向上的信号路径。
如可以看到的，在第一时间点t处的第一神经单元60t的单元格状态输出ct66和/或在第一时间点t处的第一神经单元60t的输出ht46可作为输入被再次馈入到第一神经单元60中，也就是被馈入到在后续时间点t+1的第一神经单元60t+1中。如上所述，神经单元60本身可以为相同的神经单元，但为了简便例证神经单元60在不同时间例t-1、t、t+1的状态起见，其在附图中可仅被描述为多个串联神经单元60t-1、60t、60t+1。换句话说，水平信号路径可描述神经单元60在不同的后续时间例t-1,t,t+1的信号路径。这对于第二层72和任何其他层也适用。
据此，所描绘的后续时间例t-1、t、t+1可表示长度77，在所述长度期间，神经网络18可采样并处理所获取的传感器数据171、172、173、…、17n。所述长度77可因此被称为运行长度、样本长度或采样周期。例如，采样长度77可对应于一秒，其中时间例t-1、5t、t+1可以为所述一秒的分数。例如，采样周期77可具有五十个样本即五十个时间例的长度。神经网络18可在采样周期内运行一次，或神经网络18可在两个或更多个采样周期内一直运行。
因此，根据另一个实施方案，神经网络18可包括至少第一层71和第二层72，其中第一层71可包括第一神经单元60t并且其中第二层72可包括第二神经单元70t，其中在第一时间点t处，至少一个惯性传感器数据xt172可被输入到第一层71的第一神经单元60t中，并且其中第一神经单元60t的至少一个输出ht46可被输入到第二层72的神经单元70t中。到目前为止，它可与上述相同。然而，此外，在后续第二时间点t+1处，第二惯性传感器数据xt+1173和在第一时间点t处的第一神经单元60t的至少一个输出ht46被输入到在后续第二时间点t+1的第一神经单元60t+1中。
如上所述，可通过神经网络18在门43、53、54、63中执行若干数学运算。在图7所示的示例中，可在不同阶段执行下述数学运算：
其中
·i(t)为输入门激活向量
·f(t)为遗忘门激活向量
·o(t)为输出门激活向量
·c(t)为单元格状态向量
·h(t)为lstm区段或神经单元60,70的输出向量
根据这一示例，输入传感器数据xt172可以为元素向量
此外，权重w(t)和偏置值b(t)描绘于图7中，其中在该示例中：
·权重
·偏置
此外，输出向量y(t)可被计算为：
yt＝softmax(why·ht+b)
所描绘的隐含状态h(t)也可以是元素向量，例如包含256个元素
此外，所描绘的隐含状态c(t)也可以是元素向量，例如包含256个元素
如上所述，输入惯性传感器数据xt172可以为包含六个向量元素的元素向量
根据一个实施方案，至少一个惯性传感器数据171可包含组的至少三个惯性传感器数据部分，所述组包括在x、y和z方向上的线速度，相对于x轴、y轴和z轴的角速度，在x、y和z方向上的线加速度，以及相对于x轴、y轴和z轴的角加速度。
换句话说，惯性传感器13可提供一个或多个时间例t-1、t、t+1的惯性传感器数据171、172、173、…、17n，其中惯性传感器数据171、172、173、…、17n可取决于可移动处理装置11在一个可观察的时间例t-1、t、t+1的当前取向和运动。每个惯性传感器数据171,172,173,…,17n可以为包括至少三个，或在其他示例中至少六个向量元素的向量，其中所述向量元素表示上述惯性传感器数据部分，其中所述惯性传感器数据部分的至少一个可以为零。
据此，惯性传感器数据171,172,173,…,17n(向量)(具体地传感器数据部分(向量元素))可表示，随着在包括一个或多个后续时间例t-1,t,t+1的采样周期77内采样，可移动处理装置11的当前运动模式。
根据图7中描绘的实施方案，至少一个惯性传感器数据172(向量)可包括一个或多个惯性传感器数据部分(向量元素)，其中输入到第一时间点t的神经单元60t的输入是包括在所述第一时间点t期间检索的一个或多个惯性传感器数据部分的相应惯性传感器数据172。至少一个惯性传感器数据171,172,173,…,17n可在采样时间77期间被采样。
神经网络18可将已经在采样时间77期间被采样的至少一个采样的惯性传感器数据171,172,173,…,17n映射到包含在运动模式集合15中的至少一个运动模式151,152,153,…,15n，如最初参照图1描述的。在映射之后，所选择的一个运动模式可称为映射的运动模式。
换句话说，神经网络18可接收惯性传感器数据171、172、173、…、17n作为输入x(t)，并且它可输出一个或多个概率值作为输出y(t)。如上所述，在图7所示的示例中，输出值y(t)也可以为包含例如至少三个、或至少六个、或至少十二个向量元素的元素向量。输出向量y(t)的每个向量元素可表示可能与类或区域211、212、213、…、21n相关联的运动模式151、152、153、…、15n的概率值。在一些实施方案中，输出值y(t)可为元素向量，该元素向量包括例如至少两个至尽可能多的所需类或区域，例如九个区域、十二个区域或十六个区域。
据此，输出向量y(t)可表示目标表面12的不同区域211、212、213、…、21n。例如，如果目标表面12可包括十二个区域(例如，十一个牙齿区域和第十二个“没有在刷牙”区域‘nb’)，则元素输出向量y(t)可包括十二个向量元素，诸如图7的示例中所示，其中
如前所提及，向量元素可表示概率值。这些概率值可表示目标表面12的不同区域211,212,213,…,21n中的每个区域的概率值。换句话讲，神经网络18可接收至少一个惯性传感器数据171、172、173、…、17n并将至少一个惯性传感器数据171、172、173、…、17n映射到至少一个运动模式151、152、153、…、15n，并且由于所述运动模式151、152、153、…、15n可各自与目标表面12的一个或多个不同区域211、212、213、…、21n相关联，因此概率值可指示所获取的至少一个惯性传感器数据171、172、173、…、17n可对应于目标表面12的不同区域211、212、213、…、21n中的一个区域的可能性如何。这被称为至少一个惯性传感器数据171、172、173、…、17n到运动模式151、152、153、…、15n中的至少一个运动模式的映射。
由于每个运动模式151、152、153、…、15n可与目标表面12的一个或多个不同区域211、212、213、…、21n相关联，因此至少一个惯性传感器数据171、172、173、…、17n与至少一个运动模式151、152、153、…、15n的映射指示对可移动处理装置11相对于目标表面12的一个或多个区域211、212、213、…、21n的定位的评估。例如，可以评估处理装置11的定位，因为与来自gps的绝对值地理数据相比，本发明的定位检测可基于以上提及的概率值。
换句话讲，设备10可通过简单地接收传感器数据171、172、173、…、17n并将所述传感器数据171、172、173、…、17n映射到与目标表面12的一个或多个区域211、212、213、…、21n相关联的运动模式151、152、153、…、15n，从神经网络18推导出可移动处理装置11被定位在目标表面12的哪个区域211、212、213、…、21n内的评估。
因此，根据一个实施方案，神经网络18的输出y(t)可包括一个或多个概率值，这些概率值用于对可移动处理装置11相对于目标表面12的一个或多个区域211、212、213、…、21n的定位的评估。
根据另一个实施方案，运动模式识别装置14可被配置成由至少一个惯性传感器数据171、172、173、…、17n确定可移动处理装置11和目标表面12的相互移动，并且从可移动处理装置11的所确定移动中移除目标表面12的所确定移动。
例如，可移动处理装置11可以为牙刷，并且目标表面12可以为使用者的牙列。使用者可能在刷牙时转动头部。在这种情况下，惯性传感器13将感测使用者的头部和牙刷的相互移动，因为牙刷与头部一起移动。这可导致错误的运动检测，因此导致错误的映射，并且最终导致基于映射的错误定位。
然而，根据上述实施方案，可从感测到的头部和牙刷的相互移动中移除感测到的或确定的使用者头部(目标表面)12的移动。因此，仅保留牙刷(处理装置)11的期望移动。如下文将进一步详述的，用户头部(目标表面)12的这种移动可由与设备10相关联的相机检测，其中相机的图像和/或视频输出可由神经网络18(或由单独的学习网络)进行分类。
图8示出了用于实施将可移动处理装置11相对于目标表面12定位的方法示例的框图，其中可移动处理装置11包括惯性传感器13，并且其中可移动处理装置11被配置成处理目标表面12。
在方框801中，方法包括区分包含在可移动处理装置11的运动模式集合15中的两个或更多个运动模式151,152,153,…,15n的步骤。
在方框802中，方法包括接收来自惯性传感器13的至少一个惯性传感器数据171、172、173、…、17n的步骤，至少一个惯性传感器数据171、172、173、…、17n表示可移动处理装置11的移动。
在方框803中，方法包括借助于神经网络18接收并处理至少一个惯性传感器数据171、172、173、…、17n并且将至少一个惯性传感器数据171、172、173、…、17n映射到/分类为包含在运动模式集合15中的至少一个运动模式151、152、153、…、15n的步骤，其中包含在运动模式集合15中的所述运动模式151、152、153、…、15n各自与目标表面12的一个或多个不同区域211、212、213、…、21n相关联，使得至少一个惯性传感器数据171、172、173、…、17n与至少一个运动模式151、152、153、…、15n的映射/分类指示对可移动处理装置11相对于目标表面12的一个或多个区域211、212、213、…、21n的定位的评估。
图9示出了根据本公开的另一个示例性设备100。设备100可类似于上述设备10。此外，相对于设备10的上述全部特征与下述设备100组合，反之亦然。
设备100可不同于设备10(参阅图1)，其中运动模式151、152、153、…、15n可映射到/分类成不同类101、102、103、104的一个或多个类成员101a、101b、…、104a、104b而不是目标表面12的不同区域211、212、213、…、21n。
因此，设备100被配置用于对可移动个人器具11(在本文中也称为可移动处理装置11)的运动进行分类，该可移动个人器具包括惯性传感器13。设备100包括运动模式识别装置14，该运动模式识别装置被配置成区分包含在可移动个人器具11的运动模式集合15中的两个或更多个运动模式151、152、153、…、15n。
此外，设备100包括接口16，该接口用于将来自惯性传感器13的至少一个惯性传感器数据171,172,173,…,17n提供到运动模式识别装置14，其中至少一个惯性传感器数据171,172,173,…,17n表示可移动个人器具11的运动。
运动模式识别装置14包括神经网络18，该神经网络被配置成接收至少一个惯性传感器数据171、172、173、…、17n并且将至少一个惯性传感器数据171、172、173、…、17n映射到/分类为包含在运动模式集合15中的至少一个运动模式151、152、153、…、15n，其中至少一个映射的运动模式151、152、153、…、15n与一个或多个类101、102、103、104的至少一个类成员101a、101b、102a、102b、103a、103b、104a、104b相关联，使得至少一个类成员101a、101b、…、104a、104b基于可移动个人器具11的运动来选择。
换句话讲，神经网络18可例如以前文参考图1至图8所述的方式将至少一个惯性传感器数据171、172、173、…、17n映射到/分类为至少一个运动模式151、152、153、…、15n。由于映射的运动模式151、152、153、…、15n可各自与一个或多个类101、102、103、104的至少一个类成员101a、101b、…、104a、104b相关联，因此至少一个类成员101a、101b、…、104a、104b可基于可移动个人器具11的至少一个映射的运动模式151、152、153、…、15n，即基于可移动个人器具11的运动来选择。
图9的非限制性示例示出了四个类101、102、103、104，其中每个类包括两个类成员101a、101b、…、na、nb。然而，可存在至少一个类，并且每个类可包括至少两个类成员。也可存在超过两个类或甚至超过示例性描绘的四个类。
如在图9的示例中可以看到，第一映射的/分类的运动模式151可与第一类101的类成员101a相关联。第n个映射的/分类的运动模式154可与第四类104的类成员nb相关联。第二映射的/分类的运动模式152可与不同类的两个类成员相关联，例如与第一类101的类成员101b相关联并且与第二类102的类成员102a相关联。第三映射的/分类的运动模式153可与相同类的两个类成员相关联，例如与第三类的两个类成员103a、103b相关联。
通常，至少一个映射的/分类的运动模式151、152、153、…、15n可与一个或多个类101、102、103、104的至少一个类成员101a、101b、102a、102b、103a、103b、104a、104b相关联。
下文中，将描述类和类成员的一些示例。
根据一个实施方案，一个或多个类101、102、103、104中的至少一个类101可包括至少一个类成员101a，其中所述一个类101可表示用户组，并且其中所述至少一个类成员101a可表示所述用户组的至少一个用户，其中至少一个映射的运动模式151、152、153、…、15n可与至少一个类成员101a相关联，以用于基于可移动个人器具11的运动来鉴别所述至少一个用户。
换句话讲，类101,102,103,104中的一个类可表示使用者组，即，一组使用可移动个人器具11的使用者。相对应的类可包括至少一个类成员，该至少一个类成员可表示所述使用者组的一个具体使用者。例如，第一类101可表示使用者组，其中所述使用者组可以是单个家庭。在这一示例中，使用者组101可仅含有一个类成员101a，即，一个人。本发明的设备100可被配置成简单地基于可移动个人器具11的运动来鉴别所述至少一个使用者101a。因此，本发明的设备100可关于所述一个被鉴别的使用者101a将任何动作或互动个人化，如后文中将使用一些示例描述的。
根据另一个实施方案，一个或多个类101、102、103、104中的至少一个类101可包括至少两个类成员101a、101b，其中所述一个类101可表示用户组，并且其中所述至少两个类成员101a、101b可表示所述用户组的至少两个用户，其中至少一个映射的运动模式151、152、153、…、15n可与所述至少两个类成员101a、101b中的一个类成员相关联，以用于基于可移动个人器具11的运动来鉴别用户组中的至少一个用户。
换句话讲，类101,102,103,104中的一个类可表示使用者组，即，一组使用可移动个人器具11的使用者。相对应的类可包括至少一个类成员，该至少一个类成员可表示所述使用者组的一个具体使用者。例如，第一类101可表示使用者组，其中所述使用者组可以是家庭。所述类101的类成员101a,101b可表示家庭成员。例如，使用者组101可包括一个或多个家庭成员，例如其中第一类成员101a可表示家庭中的母亲，并且第二类成员101b可表示家庭中的孩子。
设备100可被配置成简单地基于可移动个人器具11的运动来鉴别至少一个用户。如果每个用户可以不同的或单独的方式使用1个可移动个人器具11，则可实现这一点。
例如，在可移动个人器具11可以是可移动口腔护理装置诸如牙刷具体地电动牙刷的实施方案中。可移动口腔护理装置也可以为牙线、牙斑去除装置、超声装置和喷水装置中的至少一者。
举上面的示例，母亲101a可以不同于孩子101b的方式使用牙刷11。牙刷11的惯性传感器13可将其惯性传感器数据171,172,173,…,17n提供到包括神经网络18的运动模式识别装置14。神经网络18可将惯性传感器数据171、172、173、…、17n映射到/分类为至少一个运动模式151、152、153、…、15n。
例如，如图9所示，母亲可具有对应于第一运动模式151的刷牙风格。这一运动模式151可与表示母亲的类成员101a相关联。而孩子可具有不同于母亲的刷牙风格，例如，对应于第二运动模式152的刷牙风格。这一运动模式152可与表示孩子的类成员101b相关联。
因此，设备100可简单地基于可移动个人器具11的运动来鉴别用户组中的用户。如上所述，本发明设备100可将任何动作或互动关于所鉴别的使用者个人化。
根据一个实施方案，运动模式识别装置14可被配置成基于鉴别所述至少一个使用者101a的步骤来选择特定于使用者的运动模式预设集合115，该运动模式预设集合包括可移动个人器具11的两个或更多个特定于使用者的运动模式1151,1152,1153,…,115n，这些运动模式是所述被鉴别的至少一个使用者101a的特征。
此类示例示于图10中。该实施方案也可被称为两步法。在第一步121中，鉴别了使用者。所鉴别的使用者可具有已经由神经网络18单独训练的特定于使用者的运动模式预设集合115。在第二步骤122中，神经网络18使用来自特定于用户的运动模式预设集合115的特定于用户的运动模式1151、1152、1153、…、115n。因此，本发明设备100然后可单独动作并且可与每个被鉴别的用户互动。
在图10中示出了第一步骤121，其中神经网络18接收至少一个惯性传感器数据171、172、173、…、17n并将该至少一个惯性传感器数据映射到包含在运动模式集合15中的运动模式151、152、153、…、15n中的至少一个运动模式。该至少一个映射的运动模式，例如第n个运动模式154可与第一类101的类成员101b相关联。这一过程可对应于上文参照图9所述的过程。
类101可为使用者组，并且类成员101b可为所述使用者组的使用者。举上面的例子，被鉴别的使用者101b可以为家庭中的孩子。设备100可能已经存储特定于使用者的运动模式。也就是说，被鉴别的用户，即孩子101b，可具有存储在设备100中的运动模式1151、1152、1153、…、115n的其自己的特定于个体用户的预设集合115。对于在第一步骤121中的鉴别之后的任何其他动作，运动模式识别装置14，并且具体地神经网络18，可使用属于先前鉴别的用户的这些特定于用户的运动模式1151、1152、1153、…、115n。
因此，神经网络18可在鉴别所述至少一个用户101b的步骤121之后选择至少一个特定于用户的运动模式预设集合115，该运动模式预设集合包括可移动个人器具11的两个或更多个特定于用户的运动模式1151、1152、1153、…、115n，该运动模式是所述被鉴别的至少一个用户101b的特征。
据此，在鉴别使用者的第一步121之后的第二步122中，神经网络18可使用特定于使用者的运动模式1151,1152,1153,…,115n的特定于使用者的预设集合115代替运动模式151,152,153,…,15n的集合15。也就是说，本文所述的可由设备10、100通过利用运动模式151、152、153、…、15n的集合15而执行的全部动作也可由设备10、100通过利用特定于用户的运动模式1151、1152、1153、…、115n的预设集合115代替运动模式151、152、153、…、15n的集合15而关于每个被鉴别的用户个体化地或个人化地执行。
因此，根据一个实施方案，神经网络18可被配置成，在鉴别所述至少一个用户101b的第一步骤121之后，将运动模式集合15替换为所选择的特定于用户的运动模式预设集合115，并且将包含在运动模式集合15中的两个或更多个运动模式151、152、153、…、15n替换为包含在特定于用户的运动模式预设集合115中的两个或更多个特定于用户的运动模式1151、1152、1153、…、115n。
此外或另选地，设备100可包括至少两个神经网络。图11示出了这样一个示例。
图11的设备100的示例可基本上对应于图10中示出示例的设备100。图11的设备与图10的设备的不同之处在于，图11的设备可包括第二神经网络182。
如在图11中可以看到，在第一步骤121中，第一神经网络181可执行上述动作，例如，鉴别用户组101中的用户101b。然而，在第二步骤122中，可将惯性传感器数据171、172、173、…、17n馈入到所述第二神经网络182中。第二神经网络182可使用如上所述的特定于用户的运动模式1151、1152、1153、…、115n的预设集合115。
换句话讲，在鉴别所述至少一个用户101b的第一步骤121之后，运动模式识别装置14可使用第二神经网络182，其中第二神经网络182可被配置成接收至少一个惯性传感器数据171、172、173、…、17n并且将至少一个惯性传感器数据171、172、173、…、17n映射到包含在特定于用户的运动模式预设集合115中的至少一个特定于用户的运动模式1151、1152、1153、…、115n，其中所述特定于用户的运动模式1151、1152、1153、…、115n各自与一个或多个类101、…、104的至少一个类成员102a、102b相关联，使得至少一个类成员102a、102b是基于可移动个人器具11的运动选择的。换句话讲，神经网络18可以是特定于使用者训练的神经网络。
据此，运动模式识别装置14可被配置成，使用特定于用户的运动模式1151、1152、1153、…、115n的特定于用户的预设集合115，借助于至少一个惯性传感器数据171、172、173、…、17n将个人器具11的运动进行特定于用户地分类。
如图10和图11的示例中所示，设备100可包括用于将目标物在第二步122中分类的至少一个类102。然而，在第二步122中，设备100可包括超过一个类，如图9的示例中所示。
在所述第二步122中，例如，已经在第一步121中鉴别具体使用者之后，可通过个人器具11实施不同的动作。例如，个人器具11可基于所鉴别的使用者而改变其操作模式。例如，个人器具11可以为电驱动的并且可包括马达(参见图15和图16)，其中个人器具11可基于所鉴别的用户改变一个或多个特定于马达的特征，诸如频率、振幅或脉动。此外或另选地，个人器具11可包括一个或多个用于与使用者通讯或向使用者提供反馈的元件，例如，视觉元件诸如灯例如led，或触觉元件诸如振动马达。例如，通过改变所述用于通讯的元件的运算模式，例如通过基于所鉴别的使用者将led灯变为不同颜色或通过使用振动马达提供不同的脉冲反馈，个人器具11可基于所鉴别的使用者改变使用者体验。
此外或另选地，为了鉴别使用者组中的具体使用者，例如家庭中的家庭成员，设备100可被配置成鉴别具体使用者类型。例如，如果个人器具11为牙刷，一些人从他们的门牙或门齿开始刷牙，而另一些人从后牙或臼齿开始刷牙。在另一示例中，如果个人器具为剃刀，一些人可能沿纹理剃刮，而另一些人可能逆纹理剃刮。总结使用者类型可以为以具体方式使用个人器具11的使用者的类型。可能有两个或更多个使用者可被归类到使用者类型组中。前述的使用者鉴别的示例反而个体地鉴别了每个使用者。
根据用于鉴别用户类型的一个实施方案，一个或多个类101、102、103、104中的至少一个类104可包括至少两个类成员na、nb，其中所述一个类104可表示可移动个人器具11的用户类型，其中第一类成员na可表示可移动个人器具11的第一用户类型并且其中第二类成员nb可表示可移动个人器具11的第二用户类型，其中至少一个映射的运动模式151、152、153、…、15n可与第一类成员na或第二类成员nb相关联，以用于基于可移动个人器具11的运动来鉴别可移动个人器具11的用户类型。
根据另一个实施方案，运动模式识别装置14可被配置成在鉴别所述用户类型的步骤后选择特定于用户类型的运动模式预设集合115，该预设集合包括可移动个人器具11的两个或更多个特定于用户类型的运动模式1151、1152、1153、…、115n，这些运动模式是所述被鉴别的用户类型的特征，并且其中神经网络18可被配置成在鉴别所述用户类型的步骤后将运动模式集合15替换为所选择的特定于用户类型的运动模式预设集合115并且将包含在运动模式集合15中的两个或更多个运动模式151、152、153、…、15n替换为两个或更多个特定于用户类型的运动模式1151、1152、1153、…、115n。
上文关于特定于使用者的运动模式1151,1152,1153,…,115n的特定于使用者的预设集合115所解释的一切对于特定于使用者类型的运动模式1151,1152,1153,…,115n的特定于使用者类型的预设集合115也适用。
如上所述，被鉴别的使用者类型可归类为一类或一组使用者类型。因此，设备100可实施聚类分析，其中使用者可在这一使用者被归类为具体使用者类型组之前使用个人器具11预定次数。例如，使用者可在连续五天内使用其剃刀五次。五天中有四天使用者可逆纹理剃刮。因此，在第五天之后，设备100可将这一使用者归类为一个使用者类型组，在所述组中聚集了全部逆纹理剃刮的使用者。
聚类分析也可以较短的时间间隔实施，即可以直接连续地打开和关闭牙刷11。例如，使用者可第一次启动其电动牙刷11，关掉，第二次打开它以再次重启牙刷11。在重启牙刷11时，本发明设备100，具体地，神经网络18，也可被重启。当牙刷11被启动时，它可采集用于聚类分析的信息。然而，每一次在用于聚类分析的信息被采集之前，至少神经网络18应该重启。总之，在最终将使用者归类为具体使用者类型组之前，设备100可重复地(例如，五次)实施聚类分析。
在已经将使用者归类为具体特定于使用者类型的组之后，神经网络18可使用被关联的特定于使用者类型的运动模式1151,1152,1153,…,115n的特定于使用者类型的预设集合115。
根据这样一个实施方案，运动模式识别装置14可被配置成重复地实施预定次数的聚类分析，其中在每一所述聚类分析中，神经网络18可被配置成重启并且在重启之后实施接收至少一个惯性传感器数据171、172、173、…、17n并将至少一个惯性传感器数据171、172、173、…、17n映射到包含在运动模式集合15中的至少一个运动模式151、152、153、…、15n的步骤，并且其中神经网络18可被配置成在实施预定次数的聚类分析之后选择特定于使用者类型的运动模式预设集合115。
本发明的设备100可提供甚至更多方案用于对可移动个人器具11的运动进行分类。因此，应再次参照图9。
根据一个实施方案，一个或多个类101、102、103、104中的至少一个类102可包括至少两个类成员102a、102b，其中所述一个类102可表示对可移动个人器具11的处置评估，其中第一类成员102a可表示对可移动个人器具11的正确处置，并且其中第二类成员102b可表示对可移动个人器具11的错误处置，其中至少一个映射的运动模式151、152、153、…、15n可与第一类成员102a或第二类成员102b相关联，以用于基于可移动个人器具11的运动评估可移动个人器具11的处置。
换句话讲，设备100可被配置成检查可移动个人器具11的使用者是否可以正确地使用可移动个人器具11。当然，在上述图10和图11的两步过程中，例如，在鉴别使用者和/或使用者类型之后，所述表示处置评估的一个类102也可作为类用于第二步122中。
根据另一个实施方案，一个或多个类101、102、103、104中的至少一个类103可包括至少两个类成员103a、103b，其中所述一个类103可表示可移动个人器具11的运动执行质量，其中第一类成员103a可表示可移动个人器具11的运动执行良好，并且其中第二类成员103b可表示可移动个人器具11的运动执行差，其中至少一个映射的运动模式151、152、153、…、15n可与第一类成员103a或第二类成员103b相关联，以用于基于可移动个人器具11的运动评估可移动个人器具11的运动执行质量。
换句话讲，设备100可被配置成检查可移动个人器具11的使用者是否可以良好的方式或以差的方式使用可移动个人器具11。良好的方式可以为按预期实施可移动个人器具的运动的方式，而差的方式可以为未按预期实施可移动个人器具11的运动的方式。例如，如果个人器具11为牙刷，则设备可检查使用者是否可具有良好或差的刷牙技术。
当然，在上述图10和图11的两步过程中，例如，在鉴别使用者和/或使用者类型之后，所述表示运动实施质量的一个类103也可作为类用于第二步122中。
设备100的另一个实施方案可类似于如参照图1至图8所述的设备10。
根据这样一个实施方案，一个或多个类101、102、103、104中的至少一个类104可包括至少两个类成员na、nb，其中所述一个类104可表示可移动个人器具11相对于目标表面12的定位，其中第一类成员na可表示可移动个人器具11相对于目标表面12的第一定位区域211，并且其中第二类成员nb可表示可移动个人器具11相对于目标表面12的第二定位区域212，其中至少一个映射的运动模式151、152、153、…、15n可与第一类成员na和第二类成员nb中的至少一者相关联，以用于基于可移动个人器具11的运动将可移动个人器具11定位在第一定位区域211和第二定位区域212中的至少一者中。
换句话讲，一个类104可表示目标表面12。所述一个类104的类成员na、nb可表示所述目标表面12的不同区域211、212。据此，可移动个人器具11相对于目标表面12的定位可由设备10以与上文参考图1至图8的设备10所述相同或至少类似的方式来执行。
当然，在上述图10和图11的两步过程中，例如，在鉴别使用者和/或使用者类型之后，所述表示可移动个人器具11相对于目标表面12的定位的一个类104也可作为类用于第二步122中。
根据一个实施方案，一个或多个类101、102、103、104中的至少一个类101可包括至少一个类成员101a，其中所述一个类101可表示器具类型(例如，剃刮器具、牙科器具、扫帚)，并且其中所述至少一个类成员101a可表示器具类型组中的至少一种特定器具，其中至少一个映射的运动模式151、152、153、…、15n可与至少一个类成员101a相关联，以用于基于可移动个人器具11的运动来鉴别所述至少一种特定器具。
设备100的神经网络18可包括与已经参照图4至图7描述的设备10的神经网络18相同或相似的特征。因此，将再次简要参考图7。
根据一个实施方案，神经网络18可包括至少第一层71和第二层72，其中每个层可包括神经单元60、70，其中在第一时间点t处，至少一个惯性传感器数据xt172可被输入到第一层71的神经单元60中，并且其中在后续第二时间点t+1处，第二惯性传感器数据xt+1173和先前第一时间点t的至少一个输出ht46可被输入到第一层71的神经单元60中，并且/或者其中在后续第二时间点t+1处，第一时间点t的至少一个输出ht46可被输入到第二层72的神经单元71中。
上文已经关于如图4至图7所示设备10的神经网络18的任何特征描述的一切对于如参照图9至图11描述的设备100的神经网络18也适用。
图12示出了本发明用于对包括惯性传感器13的可移动个人器具11的运动进行分类的方法的框图。
在方框1201中，方法包括区分包含在可移动个人器具11的运动模式集合15中的两个或更多个运动模式151,152,153,…,15n的步骤。
在方框1202中，方法包括将来自惯性传感器13的至少一个惯性传感器数据171、172、173、…、17n提供到运动模式识别装置14的步骤，至少一个惯性传感器数据171、172、173、…、17n表示可移动个人器具11的运动。
在方框1203中，方法包括借助于神经网络18接收并处理至少一个惯性传感器数据171、172、173、…、17n并将至少一个惯性传感器数据171、172、173、…、17n映射到包含在运动模式集合15中的至少一个运动模式151、152、153、…、15n的步骤，其中至少一个映射的运动模式151、152、153、…、15n与至少一个类101、102、103、104的至少一个类成员101a、101b、102a、102b、…、na、nb相关联，使得至少一个类成员101a、101b、102a、102b、…、na、nb是基于可移动个人器具11的运动来选择的。
根据设备10、100的又一个示例，可移动处理装置11可以为个人梳理器具，并且目标表面12可以为待通过可移动处理装置11处理的身体部位。
根据本发明的设备10,100的又一个示例，可移动处理装置11或可移动个人器具11可包括用于感测通过个人器具被施加到目标区域上的压力的压力传感器和/或用于感测可驱动个人器具的马达的马达负载的负载传感器。
除了至少一个惯性传感器数据171,172,173,…,17n之外或作为另一种选择，压力传感器和/或负载传感器的对应传感器数据也可作为输入被馈入到神经单元18中。
根据本发明的设备10的又一个示例，设备10可包括输出接口，以用于向使用者输出将可移动处理装置11定位在其中的目标表面12的一个或多个区域211、212、213、…、21n。
根据本发明的设备100的又一个示例，设备100可包括用于向使用者输出信息的输出接口，所述信息与一个或多个类101,102,103,104有关和/或与一个或多个类101,102,103,104的一个或多个类成员101a,101b,…,na,nb有关。
在本文所述的实施方案中的每个实施方案中，传感器数据171,172,173,…,17n可存储在可移动个人器具或处理装置11上，并且晚些时候可以上述方式被馈入设备10,100中。这一存储的传感器数据171,172,173,…,17n到不同区域或类中的任何后处理可用来在仪表板上向消费者或使用者显示他们覆盖得多好或覆盖哪些区域、他们遗忘了什么、什么在目标内与目标外。这一数据可在每次使用时示出或随时间在使用后汇总(即，向消费者或使用者提供简单仪表板，显示他们在一周内是如何刷牙的)。
还可包括以下特征：
·注意机制(添加到rnn)
·前置过滤工作
·避免头部位置依赖性(查看线性加速度)
·针对用户id的动态时间规整(指纹)
·局部高频采样和8位fft以区分舌面和颊面(基于信号的颊阻尼—这将通过简单的装置上分类器，之后是原始信号+装置分类器到rnn中来完成)
·不仅训练位置预测器，而且训练“正确刷牙与否”
·进行聚类分析(在将用户分组之前让用户刷牙1-5次)以将用户放置在针对该类型的用户使用定制训练的rnn的限定空间中
图13公开了根据本公开的示例性联网器具系统1000。该联网器具系统包括梳理器具1003，该梳理器具在该示例中被示出为剃刀器具。但是该器具可为本文所公开的任何梳理器具、家用器具或处理装置11。在当前示例中，剃刀器具1003包括梳理工具，诸如可移除剃刀刀片架1006、剃刀柄部1002、内部电源1118、任选的多色led显示器1050和任选的相机1082。
如上文和本文所述，剃刀器具1003可包括多个内部传感器，诸如与柄部1002和/或剃刀刀片架1006相关联的运动传感器、取向传感器、刀片架顶出传感器、新刀片架检测传感器和/或压力传感器。剃刮器具1003也可包括器具电路1052，该电路被连接以从包含在剃刀器具1003内的多个传感器接收(经由数据连接)传感器信号。在本实施方案中，网络器具系统1000还包括基站1301，其中基站包括用于接收并接合剃刀器具1003的柄部1002的座1056。在本实施方案中，基站1301可经由电线1058由电力供电，该电线可插入到标准电源插座中。座1056可包括适于与剃刀器具柄部1002上的对应电极(未示出)接合和/或配合的电极(也未示出)。通过此类电极，基站1301可提供功率以对剃刀器具1003中的电源(诸如可再充电电池)1118充电和/或可提供电连接以便将数据信号从剃刀柄部1002内的传感器电路1052传输到驻留在基站1301内的基站电路1060。亦在本公开的范围内的是，可通过如本领域已知的非连接的电容耦合或已知的用于将功率从第一电源无线地/非接触地传输到可再充电电源的任何其他无线机构来将功率从基站1052提供给剃刀的电源1118。亦在本公开的范围内的是，电源1118可为可移除的，诸如由基站1301之外的某物充电的一次性电池和/或可再充电电池。此外，在本公开的范围内，在剃刀1003和基站1301之间发送/接收的数据可经由无线数据连接，诸如蓝牙连接等。亦在本公开的范围内的是，如本文所述的基站1301的机构、电路和/或功能中的一些或全部可驻留在剃刀1003内。应当理解，虽然基站1301在该示例中被描述为与剃刀1003相关联，但类似的基站和基站功能也可与本文所公开的其他器具相关联。
在本实施方案中，基站1301包括基站电路1060，该基站电路包括处理器和对应的电路以用于接收传感器信号(和/或来源于传感器信号的信息)并且将传感器信号/信息转换成相关联的分析/映射/分类信息，如本文所述。在本实施方案中，基站电路1060还包括用于与计算机网络1062诸如蜂窝网络和/或互联网网络进行无线数据通信(例如，诸如蜂窝和/或wifi连接)的网络电路。基站1301还可包括视觉显示器1064，诸如lcd显示器和/或如普通技术人员已知的类似的文本或图像显示装置，其中此类显示装置1064可由基站电路1060控制。基站1301还可包括也由基站电路1060控制的声音致动器1066，其中声音致动器1066可包括扬声器或类似的发声部件。
联网剃刮器具系统1000也包括计算机化且联网的用户界面装置1080。计算机化且联网的用户界面装置1080可以是智能电话、平板电脑、个人助理设备、膝上型或台式计算机、智能显示器、智能反射镜、计算机化可穿戴器具诸如智能手表或智能眼镜等的形式。计算机化且联网的用户界面装置1080可包括显示器1066和用户输入装置，诸如光标控制装置1068(或本领域易得的触摸屏或语音激活控件、或运动传感器、或眼移动传感器等)、相机1070和相关联的处理电路1072。计算机化且联网的用户界面装置1080可用于实施各种软件应用程序，诸如计算机化工具，该计算机化工具可为与器具11相关联的个人应用程序1073(参见图15和图16)的形式，如本文将进一步详细讨论的。在本实施方案中，应用程序1073是个人剃刮应用程序并且可包括图形用户界面1074，该图形用户界面可被显示在显示屏1066上并且可被控制和/或从其中接收来自用户输入装置诸如光标控制装置1068和/或触摸屏的用户输入。用户装置电路1072可包括用于与计算机网络1062无线连接以用于通过计算机网络1062接收和/或发送数据的网络电路。
同样如图13所示，计算机网络1062可具有也可访问其的各种计算机服务器和/或分布式计算装置(统称为1076)，并且可另外包括通过数据连接操作地耦接到其的各种数据存储装置1077。例如，软件应用程序1073可包括在计算机服务器/装置1076中的一者或多者上和/或在装置电路1072上实施的操作。同样，与软件应用程序1073相关联的数据存储装置可在数据存储装置1077中的一者或多者内和/或在装置电路1072上。
在非常高的水平上，器具电路1052、基站电路1060、用户装置电路1072和/或与分布式计算环境1076相关联的处理器中的一者或多者包括用于从剃刀器具1003接收传感器信号并且用于分析/映射/分类传感器信号的传感器电路，如本文所述。同样，同样在非常高的水平上，器具电路1052、基站电路1060、用户装置电路1072和/或与分布式计算环境1076相关联的处理器中的一者或多者包括用于从相机1082和/或1070接收图像数据并且用于分析/映射/分类图像数据的图像处理电路，如本文所述。该分析、映射和/或分类信息也将通过计算机网络1062传送，使得可为在联网用户界面装置1080上操作的软件应用程序1073形式的计算机化工具可从网络1062接收与计算机化装置1080的用户相关联的分析、映射和/或分类信息(或其至少部分)。软件应用程序1073形式的计算机化工具还可被配置成经由软件应用程序1073提供的图形用户界面1074接收来自用户的用户配置文件数据信息。此外，软件应用程序1073可利用由用户通过软件应用程序提供的用户配置文件数据来处理从计算机网络1062接收的分析、映射和/或分类信息，以生成与用户对器具11(在该示例中为剃刀1003)的体验相关联的用户反馈信息，如本文所述；最后，经由也如本文所述的计算机化工具提供的图形用户界面1074和/或经由剃刀1003上的led1050和/或经由基站上的视觉显示器1064，以及/或者经由基站上的声音致动器1066，将该用户反馈信息传送给用户。
如图14所示，剃刀1003的测量信息或剃刮事件信息的具体示例可包括(但不限于)基于从三轴加速度计1110接收的传感器数据导出的在x、y和z方向上的加速度的剃刀移动信息1102；基于从三轴陀螺仪1130接收的传感器信号导出的角度信息的剃刀取向信息1104；基于与从三轴磁力计1210接收的传感器信号导出的磁北的关系的剃刀前进方向信息1106；基于从三轴磁力计1160接收的传感器信号导出的磁体相对于枢转柱塞的关系的刀片架枢转移动信息1108(也包括刀片架存在、刀片架触点和/或修剪器接触)；基于从电容式传感器1420接收的传感器信号导出的气压的手中剃刀信息(对应于用户抓握柄部1002的信息)1110；以及从气压传感器1440接收的传感器信号导出的剃刀姿态信息1112。
同样如图14所示，剃刀姿态信息1114可以从剃刀移动信息1102、剃刀取向信息1104和剃刀前进方向信息1106的组合导出。刀片架触点信息1116可从枢转移动信息1108导出。笔划事件信息可从剃刀姿态信息1114、剃刀接触信息1116、手中剃刀信息1110和剃刀姿态信息1112的组合导出。
如图14进一步所示，测量和剃刮事件信息也可包括由相机提供的图像信息和相关联的分析、标测和/或分类。例如，如下文将进一步详细描述的，毛发生长方向信息1120可由通过相机1082/1070以及通过使用本文所述的适当计算机学习或统计分析仪、映射器和/或分类器对图像信息实施的硬茬分析1122接收的图像信息来提供。因此，可从由图像分析提供的剃刀姿态信息1114、笔划事件信息1118和毛发生长方向信息1120的组合导出相对笔划方向信息1124(其确定笔划方向是否与用户面部上的毛发生长方向有关)。类似地，可基于从多个相同传感器获取的传感器读数与用于剃刮方向信息和/或相对剃刮方向信息的图像信息的组合来确定顺向/逆向胡须的过度笔划信息或过度笔划。
如本文所述，附加传感器可包括用于感测柄部操作温度和/或柄部内温度的热敏电阻器；用于感测手中剃刀的电容传感器；用于感测夹持位置的多电容传感器；用于感测时间的时钟；用于感测剃刮性能(诸如顺向或逆向胡须)的声学传感器等。
本公开的另一方面是，剃刮事件信息可以是从系统感测或者被告知新的剃刮刀片架1006附接到剃刀1003时开始的累积剃刮事件信息。可通过接收与剃刀器具1003上的刀片架顶出按钮相关联的传感器信号来提供新的刀片架确定。类似地，新的刀片架确定信息可通过使新的刀片架传感器在刀片架顶出发生时变为活动的(诸如机械开关被设定成当刀片架顶出时启动)来提供，其中新的刀片架传感器可随后在新的刀片架被插入时被致动。新的刀片架信息也可由用户手动指示，诸如通过软件应用程序1073或通过用户按下例如基站1301上的复位按钮(等)来指示。此外，可由剃刀器具1003通过检测附接到柄部1002的每个剃刀刀片架的唯一id来检测新的刀片架信息。例如，唯一id可以为由柄部上的相关联的条形码读取器感测的刀片架上的条形码；可以为由柄部上的相关联的rfid读取器感测的刀片架上的rfid标签；可以为通过磁、电或电容数据通信与柄部连通的刀片架上的id；可以为物理id，诸如由柄部1002感测的刀片架1006上的物理键；等。基本上，器具1003或系统1000检测或被告知新的剃刀刀片架1006何时联接到柄部1002(新刀片架事件)的任何已知方式将开始累积剃刮事件数据的采集点，其中该累积剃刮事件数据将在此后与新的剃刀刀片架1006的寿命相关联。该累积剃刮事件信息可用于计算或估计例如包含在刀片架1006内的相关联的刀片的锋利度。
本文的系统和方法可包括训练一个或多个卷积神经网络(“cnn”)以用于确定处理目标表面12的方法。cnn可用于鉴别与由cnn确定的处理方法相关的目标表面12、处理工具11和从业者信息。cnn可利用训练图像和/或音频数据来训练卷积神经网络，并且可接收一个或多个训练图像或音频文件以被cnn利用来确定限定表面类型、处理工具和从业者的元素。一旦cnn被训练，相机22就可捕获目标表面、工具、从业者的图像(例如，数字图像)以用于通过cnn进行分析。相机22然后可提供用于分析、映射和/或分类的图像数据23，如本文所述。所捕获图像数据23的分析可包括确定目标表面12类型、目标表面12状况、目标表面诊断、工具11类型、用户信息以及处理方法、附加的相关处理产品和处理方案信息。可以依次或并行地使用cnn和rnn结构来评估数据并确定表面。
相机22的图像捕获逻辑和以计算机应用程序1073形式的软件工具可包括和/或利用软件组件、硬件电路、固件和/或其他计算基础结构，如本文所述。如下文更详细地描述的，图像捕获逻辑可有利于对数字图像数据23的捕获、存储、预处理、分析、传输和/或实施其他功能。应用程序1073可被配置用于向用户提供一个或多个用户界面1074，该一个或多个用户界面可包括问题、选项等。
由分析/映射/分类系统检测到的特征可包括边缘、形状、颜色，其可用于识别年龄、性别、情绪、皮肤类型、毛发类型、地板类型、织物类型、牙齿颜色、皮肤颜色、粉刺/痤疮、发红、皮肤和毛发光泽。产品/装置—牙刷、梳子、毛发刷、prox、剃刀、梳理装置、swiffer、美容/化妆品器具。因此，远程处理服务器和/或计算机1076包括存储器部件1077，该存储器部件存储训练逻辑和分析逻辑。训练逻辑可有利于cnn的创建和/或训练，并且从而可有利于卷积神经网络的创建和/或操作。分析逻辑可导致处理服务器和/或计算机1076从移动计算装置1080(或其他计算装置)接收数据并且通过用户界面1074处理所接收的数据以用于提供处理产品推荐等。
训练计算机或服务器1076可耦接到网络1062以有利于cnn的训练。例如，训练者可经由训练计算机或服务器1076向cnn提供一个或多个图像。训练者还可提供信息和其它指示，以告知cnn哪些评估是正确的以及哪些评估是不正确的。基于来自训练者的输入，cnn可自动地适应，如下文更详细所述。
还应当理解，尽管将训练计算机或服务器1076描述为实施卷积神经网络处理，但这仅为一个示例。rnn或多层感知器(mlp)可用作替代网络架构，并应用于视频或包括音频数据在内的其他数字数据。可使用这些网络中的任何网络，因为它们能够分析、映射和/或分类视频和/或传感器信息。所述卷积神经网络处理可根据需要由任何合适的计算装置执行。
本发明系统可包括用作表面处理专家系统的卷积神经网络(“cnn”)。例如，cnn可作为逻辑存储在计算装置的存储器部件中。cnn可被构造成接收训练图像(或多个训练图像)并从训练图像获取原始图像像素作为输入并且自动学习与由捕获的数字图像确定表面、工具和从业者类型相关的特征提取器。被称为深度学习的机器学习技术的最新进展已导致神经网络领域的突破性性能，诸如美国专利号8,582,807中所述。深度学习型神经网络利用受人类视觉皮层启发的多个层。
可使用预定义的特征和/或自动学习特征来训练cnn。在训练cnn之后，其可用于由学习到的特征从用户的捕获图像来确定表面处理选项。在一些情况下，cnn可学会通过被称为监督学习的过程来识别图像中的重要特征。监督学习一般意指通过分析其中已预定义表面处理选项的图像的示例来训练cnn。根据期望的准确度，训练图像的数量可从少量图像到连续输入图像变化，以提供连续训练。无论如何，在训练后，cnn学习关键特征以用于准确预测各种表面类型的处理方法。
cnn可包括多个阶段。第一阶段可包括预处理，并且第二阶段可包括卷积神经网络训练。在预处理期间，可在所接收的图像中检测到大多数场景和用户共有的一个或多个特征(“锚特征”)。可基于边缘检测、形状检测和/或类似的检测机制来进行检测，如已知的。基于一个或多个锚特征的位置，可缩放和旋转图像以使图像基本上水平，并且一个或多个锚特征布置在最终图像中的预定位置。通过这样做，训练图像可一致地对准，从而提供更一致的结果。然后可将图像裁剪至预定面积的像素作为输入以作进一步处理。
在预处理期间，还可执行数据扩充以从训练图像创建附加样本。例如，输入图像可随机放大和/或收缩、沿顺时针方向和/或逆时针方向随机旋转、随机修剪、和/或相对于饱和度和/或曝光随机变化。在一些情况下，输入图像可经受随机垂直读出，其随机地读出图像的像素列(特征图)。层越高，读出覆盖的元素的面积就越大。通过读出输入图像中的整个像素列，cnn可学会依赖于用于表面处理评估的多个特征，而不是一个具体特征。随机垂直读出还可防止对cnn的过度训练，从而保持期望的准确度水平。不考虑具体实施的技术，数据扩充允许cnn针对输入图像中的变化变得更稳健。通过这种方式，cnn学会在由人们拍摄图像的方式、拍摄图像的条件和拍摄图像所用的硬件所导致的预期环境变化下提取重要的特征。
预处理还可包括归一化。例如，可利用全局对比度归一化来标准化训练图像(和/或用户图像)。类似地，图像可用固定(或预定)尺寸卵形掩模来掩蔽，以最小化其他特征的影响。这还迫使cnn学习而不仅仅依赖于图像的更固定空间位置中的信息。
在训练期间，本文所述的实施方案可利用具有nesterov动量(和/或其他算法)的小批量随机梯度下降(sgd)来训练cnn。利用随机梯度下降的示例公开于us8,582,807中。目标函数可包括均方误差。在一些实施方案中，可保留约10％的训练对象。可监测关于保留集的训练错误和验证错误，以用于训练进度。
一旦训练cnn，就可固定cnn参数中的一个或多个。如下文更详细地描述的，捕获的图像可向前传播通过cnn以获得确定的表面处理方案，所述表面处理方案可任选地在例如移动计算装置上显示给用户。
cnn可包括输入图像、一个或多个卷积层c1、c2、一个或多个二次采样层s1和s2、完全集成的层以及输出。为了开始分析或训练cnn，将图像输入cnn(例如，用户图像)中。cnn可对图像的一个或多个部分进行采样以在第一卷积层c1中创建一个或多个特征图。例如，cnn可对图像的六个部分进行采样以在第一卷积层c1中创建六个特征图。接下来，cnn可对第一卷积层c1中的特征图的一个或多个部分进行二次采样以创建第一二次采样层s1。在一些情况下，特征图的二次采样部分可以是特征图的一半区。例如，如果特征图包括来自图像的28×28像素的样本区，则二次采样区可为14×14像素。cnn可实施一个或多个另外级别的采样和二次采样，以提供第二卷积层c2和第二二次采样层s2。应当理解，根据需要，cnn可包括任意数量的卷积层和二次采样层。在完成最终二次采样层后，cnn生成完全连接的层f1，其中每个神经元连接到每个其他神经元。从完全连接的层f1，cnn可生成输出，诸如预测年龄或热图。
在一些情况下，本文所述的图像和其它数据中的至少一些可存储为历史数据供稍后使用。例如，可基于此历史数据来确定用户进展跟踪。根据实施方案，还可对此历史数据执行其它分析。
在一个实施方案中，基于cnn的模型用于检测和跟踪消费者视频中的梳理工具11。该模型利用多个cnn和其他神经网络部件(诸如完全连接的网络或rnn)来完成该任务。以消费者视频形式的图像数据23作为一系列图像帧被馈入到模型中。每个图像帧首先由cnn处理以提取一组特征图(图像的高级特征)。第二cnn，区域建议网络，用于在可包含梳理工具的特征图中提出一系列可能的区域。然后提取建议区域内的特征图，以进一步向完全连接的网络建议，以确定该建议区域是否包含梳理工具，细化建议区域位置并将建议区域的坐标映射到原始图像。最终结果是，对于每个图像帧，模型能够确定梳理工具是否存在，并且如果存在，则能够确定梳理工具在图像内的位置。同时，消费者的面部也可使用包括cnn在内各种面部识别算法或任何其他面部检测器算法定位。还可将面部作为在所述区域建议网络中检测到的对象的一部分。还可重叠递归神经网络以捕获视频的时间信息。通过组合梳理工具和消费者面部的位置信息，工具可相应地响应以提供最佳梳理体验。在一个实施方案中，工具的操作参数可根据用户剃刮或换句话讲梳理自身或他人的方式来改变。在一个实施方案中，系统可向用户提供与梳理工具和目标表面的当前以及历史使用相关的信息。
可将一个或多个图像，以及来自神经网络的一个或多个输出传递到数据库，并且与来自该方法的其他用户的相似数据聚集在一起。可对聚集的数据进行评估并使用已知的群集方法分类为各群集。然后可基于用户、表面和工具的数据，将即时用户、表面和工具与一个或多个现定义的聚集人群相关联。然后，与特定聚集人群的关联可导致向用户提供群集特异性信息，作为方法的一部分。例如，可根据年龄、种族和性别对用户进行分类，并且将用户的数据与具有相同性别、年龄和种族的聚集人群的数据进行的比较结果可在它们作为该方法的一部分提供时，为从业者提供使用见解。
在一个实施方案中，用于治疗目标表面12的方法包括以下步骤：自动地评估目标表面12的数字图像数据23。数字图像数据23(其可为图像集合)可被提供给机器学习分类器以用于评估。图像的集合还可包括与图像的内容或情景相关联的附加数据。也可以将与图像同时捕获的包括音频、温度、湿度或其他环境数据的数据提供给分类器。该分类器可先前已被训练以通过向分类器呈现训练数据来鉴别目标表面12的性质，该训练数据包括单独的或连同如上所述的其他数据一起的代表性目标表面的图像。目标表面12的性质可包括下列属性：表面的分类，诸如皮肤、面部皮肤、牙齿、织物、皮革、塑料、木材、玻璃、陶瓷、石头或其他硬质表面或软质表面，以及表面12的当前状况，面部毛发、牙斑、污垢、污渍、以及它们的组合在目标表面上的存在可经由包括表面的图像对表面进行分析来确定。还可确定表面粗糙度或表面光洁度。
所述至少一个图像的分析还可识别或确定至少一种可用的处理工具。在一个实施方案中，该确定可包括确定手持式处理工具的存在。在一个实施方案中，该确定可通过将当前图像中的内容与存在于训练数据集中的适宜工具的图像进行匹配来进行。在一个实施方案中，确定可通过推断来进行，其中根据可用于分析的先前定义，将特定工具与某些表面相关联。在该实施方案中，牙刷可与牙齿、剃刀和具有皮肤-身体毛发的工具、具有硬质表面的硬毛刷等相关联。
所述至少一个图像和附加数据的进一步分析可确定与所识别的目标表面相关联的至少一种表面处理，其是单独的或与所识别的处理工具结合。这种确定可利用对表面、处理工具、从业者、或它们的组合的性质的确定来进行。例如，可确定适合于梳理工具和皮肤与毛发的组合的梳理方案。然后，分析可确定在完成所识别的表面处理中使用所识别的工具。
在确定之后，可经由显示系统向用户提供类似于所确定使用的信息。此类信息可包括关于下列的具体说明：在进行治疗时工具的处理和使用、进行治疗的可能结果、在一系列处理过程中由该方法所评估的处理进展、与执行处理相关的工具状况等。该信息可经由一个或多个数字显示屏、来自工具或来自不同扬声器的听觉提示、或视觉提示诸如指示器灯或治疗环境中的其他照明变化来提供。在一个实施方案中，提供信息的步骤包括提供类似于所确定工具和所确定表面之间的空间交互的提示。在一个实施方案中，提供信息的步骤包括提供类似于所确定工具和所确定表面的时间交互的信息。在一个实施方案中，提供信息的步骤包括通过更改所确定工具的特性提供信息。
在一个实施方案中，待呈现的信息可存储在数据库中并响应于cnn的输出被调用。所呈现的信息可为处理期间收集的实时信息、来自数据库的信息以及上述两者的混合组合。例如，可将上齿和下齿的显示模板与实时数据重叠地呈现给用户，从而示出在当前会话期间用户的牙齿的哪些部分已经和尚未被刷洗。可呈现来自数据库的示出用户刷牙历史趋势的数据。
在一个实施方案中，提供信息的步骤可包括提供与所确定的使用、产品或工具相关联的信息以及与用户的社交网络相关联的信息。使用由用户提供的账户信息访问的社交网络信息可使得能够呈现关于由用户的社交网络的成员所进行的类似处理的信息，包括由用户所进行的处理和由用户的社交网络的其他成员所进行的那些处理之间的相似性和差异。社交网络信息也可用作哪些社交影响者最有可能对用户产生影响的指示。该信息可用于选择呈现给用户的名人或社会影响者的指导内容，以及来自所识别的影响者或所识别影响者的最接近类似者的产品评论和证明信息。
在一个实施方案中，该方法还包括提供关于与所确定的表面或表面处理相关的处理工具的信息的步骤，其中该工具在数据分析中未检测到。例如，数据的分析可指示使用梳理工具但不使用可改善或增强处理活性的补充产品。在该示例中，可将关于缺失产品的信息提供给用户。
在一个实施方案中，提供信息的步骤可包括游戏化方面。可将待提供的信息以游戏的形式呈现给用户。游戏可包括以下方面，诸如点得分、与其他人竞争和游戏规则。例如，使用口腔护理工具诸如牙刷可涉及呈现与刷洗花费的时间相关的信息，并且迄今为止已经治疗过的口腔i的区域(包括牙齿表面、舌和牙龈)以及待治疗的剩余部分，其可以游戏的形式呈现，其中在计时器向上或向下计数时，用户必须以从显示器清除物体的方式来移动工具。在该实施方案中，用于移除所呈现的图形元素可与待清洁的表面重合，并且仅在使用者在处理/清洁那些表面中花费足够的时间之后才可从显示器移除。
在一个实施方案中，该方法还可包括根据对至少一个图像的评估来确定处理从业者的一个或多个特性的步骤。包括从业者性别、惯用手、皮肤状况、胡须状况在内的特性可通过分析数据和数据的情景连同关于用户和使用环境的其他信息来确定。所确定的从业者的特性可用作在评估处理活性时确定要提供哪些信息的输入。可提供具体适用于用于的性别、惯用手、皮肤状况、胡须状况、以及它们的组合的信息。
在一个实施方案中，可将关于用户的信息与关于产品的信息(包括品牌、包装数量和用于每个处理的数量)组合，以计算剩余的产品数量，从而向用户提供当前产品何时可能用完的指示以及何时应使用用户获取产品的典型方式来更换或重新订购产品的指示。
在一个实施方案中，该方法还包括根据所述一个或多个图像的评估连同至少一个附加数据源来确定一个或多个环境特性的步骤。例如，该方法可确定从业者和表面的位置、一天中的时间、在该位置处可用的照明以及本地或外部环境的其他特征。所确定的环境特性可用作在确定待提供给用户哪些信息(作为方法的一部分)中的输入。
在一个实施方案中，该方法还可包括以下步骤：跟踪所确定目标表面的初始确定的处理；提供类似于所确定的处理的信息，跟踪并评估目标表面的后续处理；以及根据对跟踪的初始处理和后续确定处理的机器学习评估和先前提供的信息来更改后续提供的信息。例如，用户可使用该方法评估其剃刮体验。可向用户提供信息以增强其剃刮体验。后续评估可指示先前提供的信息的一部分已被成功地遵循或包括在剃刮活动中，然而其他部分还未被成功地添加。在该确定之后，所提供的信息可被定制成仅包括与尚未成功地添加到处理活动中(在该示例中为剃刮)的部分相关的信息。信息类型包括剃刮或处理趋势、持续处理结果(用户剃刮的程度、还有哪些机会来改善其体验、以及与用户的梳理工具及其剃刮活动相关的诊断信息)。
在一个实施方案中，该方法还可包括以下步骤：跟踪所确定目标表面的初始确定的处理；跟踪相同的所确定处理表面的至少一个后续确定的处理；在评估所述确定目标表面的跟踪的所确定处理的组合中使用机器学习；并且根据所述跟踪的确定处理的组合的评估来提供类似于所确定目标表面的所确定处理的信息。提供的信息可包括对梳理活动的改进的指示以及基于梳理结果的进展而进一步改进的优越机会。
在该实施方案中，在评估所确定目标表面的跟踪的所确定处理的组合中的机器学习步骤可包括使用处理的环境背景连同由用户提供的任何信息评估该组合中的从业者。
在该实施方案中，在评估所确定目标表面的跟踪的所确定处理的组合中的机器学习步骤可包括评估组合中的工具，所述工具可根据制造商和工具模型以及在完成表面处理中工具的性能方面所考虑的工具的操作条件来评估。例如，随着工具的操作条件下降，完成任务所必需的工作也将改变。
在该实施方案中，在评估所确定目标表面的跟踪的确定处理的组合中的机器学习步骤可包括评估该组合中的表面。可评估表面的性质以提供输入来确定待提供的信息。对用户面部的评估可指示毛发的轻度或重度生长，从而导致根据处理时存在的面部毛发来提供不同的信息。
在一个实施方案中，该方法还包括更改工具的性能特征的步骤。在该实施方案中，工具的驱动频率可被改变以更改性能或向从业者提供关于使用该工具处理表面的听觉提示。
用于实施方法的系统可包括网络，所述网络可体现为广域网(诸如移动电话网络、公共交换电话网络、卫星网络、互联网等)、局域网(诸如无线保真度、wi-max、zigbeetm、bluetoothtm等)和/或其他形式的联网功能。耦合到网络的是计算装置、远程计算装置、信息亭计算装置和训练计算装置。
计算装置可为移动电话、平板电脑、膝上型计算机、个人数字助理、仪表镜或智能镜、和/或被构造用于捕获、存储和/或传输图像诸如数字照片和视频的其他计算装置。因此，移动计算装置可包括图像捕获装置，诸如数字相机，包括深度感测相机和/或可被构造成从其他装置接收图像。移动计算装置可包括存储器部件，所述存储器部件存储图像捕获逻辑和界面逻辑。存储器部件可包括随机存取存储器(诸如sram、dram等)、只读存储器(rom)、寄存器和/或其他形式的计算存储硬件。
被称为深度学习的机器学习技术的最新进展已导致神经网络领域的突破性性能。深度学习神经网络的示例包括卷积神经网络(cnn)和复发神经网络(rnn)。
cnn利用受人类视觉皮层启发的多个层。cnn由输入层和输出层以及多个隐藏层组成。cnn的隐藏层通常由卷积层、池化层、完全连接的层和归一化层组成。它们在图像和视频应用程序中具有广泛范围的应用，诸如图像分类、对象检测、定位、分割等。
可在称为监督学习的过程中使用预定义特征和/或自动学习特征来训练cnn。监督学习通常意指通过分析其中已预定义图像分类/定位/检测/分割等的图像的示例来训练cnn。根据期望的准确度，训练图像的数量可从少量图像到连续输入图像变化，以提供连续训练。无论如何，在训练之后，cnn学习用于实施图像相关任务的关键特征。
在cnn被训练之后，其可用于生成与个人梳理器具的操作相关的图像分类、定位、检测和/或分割。在一些情况下，cnn可学习鉴别面部/口腔特征结构、识别和定位梳理器具装置、鉴别处理区域和处理选项，以及评估处理结果。
复发神经网络(rnn)是一类深度学习神经网络，其中节点之间的连接沿序列形成有向图。这允许其在某一时间序列内表现出时间动态行为。rnn使用其内部状态(存储器)来处理输入数据的序列。这使得它们适用于任务诸如机器翻译、语音识别、视频分析、声音检测和运动跟踪等。
类似于cnn，可使用监督学习来训练rnn。rnn的监督学习通常意指通过分析序列数据的示例来训练rnn，序列数据诸如文本、语音、声音、视频、传感器数据流，其中已预定义已翻译字词、声音的含义、视频的动作和对应的物理测量值。取决于期望的准确度，训练样本的数量可从数个简短的数据流片段到数据流的连续输入之间变化，以提供连续训练。无论如何，在训练之后，rnn学习用于实施涉及序列数据的任务的关键特征。
在rnn被训练之后，其可用于分析来自相机或物理传感器的数据流，并且提供与个人梳理器具的操作相关的附加信息。在一些情况下，rnn可学习定位梳理施用装置、鉴别梳理施用装置的移动模式和/或评估施用装置的使用。
通常同时使用多种类型的深度学习神经网络来增强彼此，以便实现更高的性能。在一些情况下，cnn和rnn可独立地用于分析相同或不同的数据流，并且来自不同神经网络的输出被联合考虑以驱动用户反馈。在其他情况下，可采用混合神经网络架构—由cnn和rnn分支或层两者组成的一个混合神经网络。在一种类型的混合网络中，cnn和rnn的中间结果被联合馈入到神经网络的附加层中以产生最终输出。在其他类型的混合网络中，在获得最终结果之前，将一个网络(例如，cnn)的输出馈入到网络(例如，rnn)的附加层中以用于进一步处理。
在一个实施方案中，cnn和rnn用于分析来自外部相机的图像以及来自电动剃刀的运动和压力传感器。cnn首先基于面部区域和面部毛发的自然状况来鉴别处理选项，例如推荐的剃刮技术，rnn然后提供牙刷运动的实时跟踪以确保消费者遵循推荐，并且cnn用于最后提供剃刮后评估。
在另一个实施方案中，混合cnn/rnn模型用于在刷牙期间提供高度准确的牙齿定位。牙刷配备有口内相机和运动传感器，并向混合网络馈送视频流和运动传感器流两者。混合网络的cnn和rnn部件分别分析视频流和运动传感器流，以提供刷头在口部内的定位的中间结果。中间定位结果由神经网络的附加层进一步处理以产生刷头的增强定位，作为向用户反馈的一部分以获得更好的刷洗结果。
因此，应当理解，内部传感器数据171、172、173、…、17n不一定限于运动传感器数据，并且对应的分类151、152、153、…、15n不一定限于运动模式。例如，内部传感器数据171、172、173、…、17n可包括来自一个或多个压力传感器、负载传感器、温度传感器、音频传感器/接收器、电池使用传感器、湿度传感器、生物传感器等的数据(器具的此类内部传感器也可被称为“物理传感器”)。同样，对应的分类151、152、153、…、15n可以是对来自这些传感器中的一个或多个传感器或这些传感器中的两个或更多个传感器的组合的数据进行分类的结果。此外，如下面将进一步详细讨论的，在本公开的范围内，分类151、152、153、…、15n可包括基于内部传感器数据171、172、173、…、17n和图像数据22的组合的分类的混合或增强分类。
图15提供了根据本公开的实施方案的利用此类混合或增强分类的示例性系统的示意性框图表示。如图15所示，提供了相机1082/1070，其产生馈入到分类器1504的图像数据1502。同样，一个或多个传感器1506提供馈入到相同分类器1504的传感器数据1508。分类器1504具有对基于本文所述的各种机器学习技术已被训练(和/或正在被训练)的知识库1510的访问权限。由分类器1504访问受过训练的知识库1510以对图像数据1502和传感器数据1508的组合进行分类，从而提供可由软件应用程序1073访问的混合分类1512。分类器1504可以是任何类型的机器学习分类器，并且可以利用本文所述的神经网络(诸如cnn和/或rnn)，并且知识库1510包括一组受过训练的(或训练的)潜在分类151、152、153、…、15n和/或类成员101a、101b、102a、102b、…、na、nb，用于根据分类器的输入进行匹配/分类。
例如，分类器1504可用于分析来自与智能电话或智能反射镜相关联的相机1070的图像，并且传感器数据1508可包括来自电动剃刀的压力传感器数据。由分类器1504产生的该混合分类1512可以提供位置和压力信息的组合以供应用程序1073用于剃刀运动和压力的实时跟踪，以确保例如消费者遵循推荐的剃刮/处理程序。分类器1504接收图像数据1502并且还接收到图像数据1502和传感器数据1508的组合，还可以基于跟踪分类与剃刮后图像分类的组合来提供剃刮后评估。又如，分类器1504可用于在刷牙期间提供高度准确的牙齿定位。牙刷可配备有口内相机1082和运动传感器1506两者，并且分类器1504可接收相机数据1502和运动传感器数据1508的组合以提供混合分类1512，其中该混合分类可使用运动传感器和口内图像信息的组合来提供牙刷头部位置在口部内的准确定位。软件应用程序1073可利用这种混合分类来向用户生成反馈以获得更好的刷洗结果。
该反馈可被提供给例如显示装置1064/1066、提供给声音致动器装置1067和/或提供给一个或多个led1050。软件应用程序1073还可利用混合分类1512来调节或修改器具的操作。例如，软件应用程序1073可调节存在于梳理器具中的马达1514的操作。如本文所述，修改马达1514的操作可用于例如改变电动牙刷操作的速度、改变电动剃刮器具操作的速度、改变剃刀刀片架上的迎角、修改控制家用器具的刷子或类似部件的旋转或振动的马达的操作速度或频率等。同样，软件应用程序可利用混合分类信息1512来改变各种设定1516以用于操作梳理器具和/或用于操作软件应用程序1073。例如，取决于混合分类信息1512，可改变装置警告或通知设定(例如，可根据剃刮器具相对于用户的面部或身体部位的位置将过压警告设定设定在不同的压力下)。
同样如图15所示，软件应用程序可利用混合分类信息1512作为进一步训练知识库1510的训练过程的一部分。例如，基于用户如何与软件应用程序1073交互，训练过程1520可使用该用户交互信息1518来进一步训练知识库。
图16提供了根据本公开的实施方案的利用以不同方式生成的混合或增强分类的示例性系统的示意性框图表示。现在参见图16，提供了另选系统的示意性框图表示。在该示例性系统中，来自一个或多个传感器1506的传感器数据1508被馈入到传感器分类器1602，而从相机1082/1070接收的图像数据1502被馈入到单独的图像分类器1604。传感器分类器基于对受过训练的知识库1606的访问对传感器数据进行分类，而图像分类器通过访问训练知识库1608对图像数据1502进行分类。分类器1602/1604可以是任何类型的机器学习分类器，并且可以利用本文所述的神经网络(诸如cnn和/或rnn)，并且知识库1606/1608包括受过训练(或训练的)组的潜在分类(诸如潜在分类151、152、153、…、15n和/或类成员101a、101b、102a、102b、…、na、nb)，以根据分类器1602/1604的输入进行匹配/分类。
传感器分类器1602生成馈入到调解器1612的一个或多个传感器分类1610，而图像分类器1604生成也被发送到调解器1612的一个或多个图像分类1614。调解器1612接收传感器分类1610和图像分类1614(并且在一些实施方案中，接收相关联的置信度值)，并且基于传感器分类1610和图像分类1614的组合生成混合分类1616。调解器1612可利用本文所述的任何神经网络(诸如cnn和/或rnn)分类，或者可利用其他形式的分类，诸如利用统计分类的形式，诸如多项逻辑回归、方法(或另选分类方法)，如普通技术人员已知的。然后软件应用程序1073可访问该混合分类1616信息以用于如本文所述的操作。同样，知识库1606可由训练模块1618进一步训练，而知识库1608可由训练模块1620进一步训练。这些训练模块1618/1620可基于从软件应用程序1073接收的用户交互信息来进一步训练相应的知识库1606/1608。
调解器1612可以为单独的模块或者可结合到软件应用程序1073中。另外，在所有实施方案中，可以不存在调解器。例如，传感器分类1610和图像分类1614可以单独提供给软件应用程序1073，其中软件应用程序1073可以不一定基于传感器分类和图像分类的组合生成混合分类1616。例如，如本文所讨论的各种用例中所述，软件应用程序1073可初始利用图像分类来鉴别用户的身体部位的表面状况(诸如检测用户牙齿上牙斑的存在或检测用户面部或腿部上的晶须)，然后基于图像分类开发处理计划表，其中处理计划表可经由软件应用程序1073提供给用户。在处理程序的开发(诸如关于如何刷牙、如何施用化妆品或如何剃刮的建议)之后，软件应用程序可利用传感器分类信息1610来遵循用户处理表面状况的进展(诸如刷牙、施用化妆品、剃刮面部或另一个身体部位)。然后，软件应用程序1073可用于基于所接收的传感器分类向用户传送进展信息。
亦在本公开的范围内的是，处理方案可仅基于图像分类1614，而进展信息可基于混合分类1616。例如，图像分类1614可用于确定表面状况，并且基于该表面状况，软件应用程序可建立处理方案。此后，软件应用程序可使用混合分类1616(其利用后续传感器分类1610和后续图像分类1614的组合)来遵循表面状况的处理进展。此后，基于用户相对于初始建立的处理方案进展如何，软件应用程序1073可向用户传送用户相对于处理方案如何实施、可修改处理方案或可校正初始图像分类(指示初始图像分类可能已检测到不正确的表面状况)并基于所修改的指示开发新的处理方案。
图15和图16所示的示例性系统可用于许多用例，包括但不限于梳理器具和家用器具用例。本文将仅讨论多个潜在用例，但应当理解，可设想更多种情况并且这些情况在本公开的范围内。
在第一用例中，图像数据1502可用于指示正在使用的润滑产品(即，剃刮凝胶)(诸如通过品牌或类型)；并且也可指示被剃刮的面部毛发区域、剃刮的方向和/或施用剃刮润滑剂和剃刮动作之间的延迟时间。在同一示例中，传感器数据1508可为mems(微电子机械系统)运动信息、速度信息、剃刀在面部上的压力信息和/或位置信息。在该示例中，混合分类1512/1616可由软件应用程序1073用于各种益处。例如，当剃刀磨损时，功效降低并且消费者通常加速笔划并施加附加的压力来补偿。软件应用程序1073可检测用户例程的细微变化(剃刮度量)和剃刮组件的变化(例如剃刮凝胶类型)以推荐用户例程和/或组件的变化以确保成功的剃刮体验。另选地，软件应用程序可使用混合分类1512/1616来检测对剃刮刀片架的不同迎角或剃刮刀片架的枢转中的不同阻力水平的需要，并且相应地修改部件1514的操作和/或修改器具的设定1516。
在另一个示例性用例中，图像数据1502可为用户面部的图像，而传感器数据1508可包括涉及梳理器具相对于用户面部的位置的mems传感器信息。软件应用程序1073可分析图像分类1614或混合分类1512/1616，以确定用户在使用梳理器具(诸如剃刮器具、牙科器具或化妆品施用装置)时的情绪响应；并且同样，使用存在于传感器分类1610或混合分类1512/1616中的位置信息来确定在经历情绪反应时梳理器具所处的位置(和/或梳理器具是如何使用的)。应用程序1073然后可使用该信息组合来向用户提供反馈或修改部件1514的操作和/或修改器具的设定1516。例如，如果用户在剃刮他的颈部时显示出负面情绪，并且混合分类1512/1616指示在那时正在使用某个压力和剃刮方向，则应用程序1073可向用户建议不同的方式以在下一次来剃刮他的颈部。
在另一个示例性用例中，图像数据1502可用于提供剃刮前和/或剃刮后信息，而传感器数据1508可包括剃刮装置的位置信息、移动速度信息和/或压力信息。使用如上所述的信息的这种组合，应用程序1073可在剃刮之前分析图像以确定晶须的方向，并且可分析最佳处理方法以获得贴面剃刮。此后，来自传感器信息1508和/或混合分类1512/1616的数据可指示与推荐相比剃刮实施得如何。然后可分析剃刮后图像信息，并且应用程序可细化其指导以供用户下次尝试使用剃刮器具时进行更好的剃刮。例如，如果剃刮后图像显示出刺激并且遵循了指导，则应用程序可提供剃刮后选项(诸如剃刮球)或推荐剃刮前例程(诸如使用暖毛巾、新刀片和/或不同的剃刮泡沫)以帮助最小化问题。应用程序1073也可为消费者贴标签以供将来的产品开发随访(例如，如果消费者在剃刮之后趋于获得生长中的毛发，则应用程序1073可向用户提供可用于避免将来生长中的毛发的市场营销信息)。
在下一个示例性用例中，图像分类和传感器分类的组合可用于营销环境中。例如，图像数据1502可在刷牙期间提供用户所使用的产品信息(电动牙刷与手动、牙刷、牙膏类型、漱口水、牙线等)，而传感器数据1508可在刷牙活动期间提供位置、速度和压力信息。利用混合分类1512/1616和上下文数据(诸如用户的身份标识、用户的年龄、用户的种族、用户习惯、存在的产品等)的应用程序1073可交叉销售消费者以不同的产品。例如，用手动牙刷刷牙并使用敏感牙膏的消费者可接受具有软刷毛的电动牙刷和/或用于最小化将来敏感问题的不同牙膏的消息推送、优惠券、样品。
在另一个用例中，图像数据1502可被软件应用程序1073用于在产品使用之前对皮肤年龄分析进行分类，并且还可在使用期间用于位置信息。传感器数据1508可为被使用的美容产品施用装置的各种性能状况，诸如使用速度、压力等。然后，基于该信息组合，应用程序1073可通过应用程序1073向用户推荐美容和施用技术以使性能最大化。应用程序1073可利用来自施用装置的传感器数据的数据来理解产品如何(压力和运动)被施用、轻拍、摩擦、点搽。应用程序1073可跟踪并协调技术以鼓励使用该应用程序来遵守引导。
在另一个用例示例中，位于牙科器具的前端上的相机1082可用于识别牙斑在用户牙齿上的存在和位置。基于对用户牙齿上的牙斑的位置和存在的这种鉴别，软件应用程序1073随后可生成将被传送给用户的处理方案。该处理方案可提供关于如何使用手动牙刷或电动牙刷刷洗用户的牙齿的建议，并且也可在刷洗期间将用户实时引导至各种牙齿位置(诸如经由智能反射镜装置上的显示器1066)。例如，当用户在智能反射镜装置前刷牙时，在装置的角落上可存在动画显示，该动画显示向用户显示用户已刷洗的位置和用户未刷洗的位置以及仍然指示存在牙斑的位置，使得用户将知道用户口部的哪些部分在完成刷牙活动之前完成刷洗。因此，在刷牙期间，混合分类1616/1512可以是来自传感器数据1508和图像数据1502的位置数据的混合组合，以向应用程序1073提供关于用户刷牙活动进行得如何的进展信息。
在类似的示例中，位于计算机化智能电话或智能反射镜1080上的外部相机1070可用于分析目标，诸如房间、地板、窗户等，并且应用程序1073可用于确定目标的状态。使用该信息，软件应用程序1073可设定目标或用于使用梳理器具或家用器具来处理目标的处理方案。此后，一旦实施，软件应用程序1073就可利用传感器信息1602(其可包括运动传感器数据)或混合分类1512/1616来监视器具相对于目标的使用，以确定是否达到了处理目标状态的目标。
在另一个示例中，图像分类器1604可用于确定目标的鉴别和相对于该目标正在使用的器具(用户的面部和剃刮器具)。此后，传感器分类1610或混合分类1512/1616可用于确定梳理器具如何与目标接合。软件应用程序1073可利用混合分类1512/1616来获得工具和目标如何交互的细化确定，并且基于该混合分类信息可实时地或在使用之后提供用户反馈。
作为一些附加示例，当作为牙刷操作时，应用程序可利用混合分类1512/1616来确定牙刷何时处于用户的口部之外，并且基于该确定，可禁用或关闭装置，或者至少禁用或关闭操作电动牙刷的马达1514。又如，基于该混合分类信息1512/1616，软件应用程序1073可基于软件应用程序利用混合分类1512/1616来改变多色led1050(诸如智能环)的颜色以确定用户的身份标识或其他特性。在另一个示例中，混合分类1512/1616可用于检测梳理器具的刷头类型，然后用于确定是否要改变刷的速度设定1516(检测到软刷毛可导致将默认速度设定为“轻柔的”)。又如，混合分类1512/1616可用于检测相对于用户的刷洗位置，然后软件应用程序1073可通过修改马达1514的操作或通过修改速度设定1516来自动调节刷洗速度(例如，当混合分类指示刷子定位在用户的舌部上时，基于舌部清洁设定修改装置的操作)。又如，混合分类1512/1616可用于确定剃刮器具相对于用户皮肤的位置，然后根据梳理装置相对于用户的区域来调节压力警告设定(例如，如果梳理装置处于皮肤的不太可能敏感的位置，则设定1516可被修改，使得如果混合分类指示剃刮装置位于高敏感度区域中，与较低水平相比，由扬声器1066产生的压力警告将仅在较高水平的压力下被激活)。又如，混合分类1512/1616可用于确定自梳理工具诸如剃刀刀片架或牙刷头部已被改变以来该梳理器具已被使用了多长时间。因此，如果器具已被使用了长于推荐的置换计划表，则应用程序1073可使用该信息来告知用户是时候更换牙刷上的刷头或剃刀上的剃刮刀片架。
如上所述，软件应用程序1073可使用混合分类1512/1616来以许多不同的方式调节梳理器具或家用器具的操作。例如，软件应用程序1073可打开或关闭包含在器具中的梳理器具或工具；可调节梳理/家用器具的工具的速度；可在警告梳理/家用器具之前调节允许的压力设定；可基于梳理器具/家用器具的操作来激活灯、led、颜色等；可针对维护相关问题诸如补偿维护的缺失(旧剃刮金属薄片、旧刷子等)调节器具的操作；可向用户提供建议更换工具的反馈，诸如推荐更换用过的刷子或剃刮刀片架等；可基于面部位置调节操作设定，诸如剃刮装置的迎角；并且可调节器具工具的刚度或可操纵性(诸如剃刀刀片架的枢转刚度)。
如上所述，应用程序1073可向器具的用户提供各种形式的反馈。此类反馈可以是视觉的(诸如通过联网用户界面装置1080诸如智能电话、平板电脑、个人助理或智能反射镜装置提供)、来自器具本身或来自一些其他装置诸如个人助理装置的音频(语音、声音等)、来自器具或来自一些其他来源的触觉反馈等。当然，反馈可以是视觉、听觉和触觉的任何组合。例如，反馈可以是在使用器具之前、期间和/或之后在装置1080上呈现的动画视频的形式。
训练模块1520/1618/1620可基于与应用程序1073的用户交互来训练分类器，如上所述。但训练也可基于个人对器具的使用(例如，左手使用与右手使用)。该训练还可以是基于人群的训练，其中多个用户基于总体习惯和使用情况来训练分类器。
应用程序1073还可基于用户如何遵循(或未遵循)处理建议或其他反馈的方式来训练分类器。
本文所公开的实施方案可使用增强或混合分类1512/1616来确定目标表面的相对方位/位置以及受试者的目标表面的性质。一个实施方案提供了一种器具，包括配备有传感器的器具，该器具用于采集和传输传感器数据1508并且用于接收和处理传感器数据以确定目标表面的相对位置和目标表面的性质。
对目标表面的评估包括采集和处理目标表面的至少一个数字图像1502及其性质，该性质由口腔状况、问题和疾病的信息组成，该疾病包括但不限于牙斑、色斑、牙结石、变色、龋齿的早期和晚期、白斑病变、氟中毒、脱矿质、齿龈炎、出血、齿龈凹陷、牙周炎、瘘、齿龈磨损、口疮、粘膜的其他病变，以及舌部的结构和清洁度。对目标表面的评估还包括确定健全的牙齿、齿龈、粘膜和舌部，以及确定缺失的牙齿、牙齿排列和人造材料，如牙科植入物、假牙、牙冠、镶嵌物、填充物、托槽和其他牙齿位置校正器具。对目标表面的评估也可为确定口腔健康指数的一部分，该口腔健康指数经由口内相机和基于但不限于机器学习、深度学习和人工智能的智能分析系统来生成。
随时间分析的来自位置、目标表面及其性质的评估(数据)有助于驱动端点如牙斑、齿龈炎和上文列出的其他端点的分析的稳健性。为了采集数据，配备有传感器的装置可使用传感器，诸如但不限于光学传感器、相机、生物传感器和神经测量单元。为了采集数据，配备有传感器的装置可使用附加光源以允许检测终点(例如但不限于牙斑)并且优化传感器的环境状况。配备有传感器的装置可在传输之前使用预处理或过滤方法来改变传感器数据。为了处理所获取的位置、目标表面和目标表面的性质(数据)，系统内的软件可使用数学方法，诸如但不限于统计分析、机器学习、深度学习、人工智能等，诸如本文所述的那些。
在一个实施方案中，装置可包含用于操作该装置并用于处理和显示位置、目标表面和目标表面性质(数据)的软件。在一个实施方案中，在数据采集期间或在数据处理之后实时显示目标表面的位置、目标表面和性质。在该设置中，目标表面和目标表面性质数据可单独显示或可与待投影到真实或抽象模型中的位置数据组合显示。
相对于图15和图16的实施方案，生物传感器可用于代替相机1082/1070，使得增强或混合分类1512/1616可基于生物传感器数据和内部传感器数据1508的组合的分类。在一个示例中，该系统可检测上颊齿区的齿龈炎。该信息被传送到口腔护理清洁系统，以便当在指定区域刷洗时，应用程序1073将刷洗模式设定1516改变为“敏感”，并且“压力阈值”设定1516将被设定为更低的。
作为另一种修改用例，医学病症的诊断结合该病症的位置也可导致器具在该位置的操作的修改。例如，当混合分类1512/1616确定牙刷处于口部中已经(或正在)诊断出齿龈炎的位置时，电动牙刷的操作可自动调节到“敏感”操作模式。
将显而易见的是，在不脱离如下所要求保护的范围的情况下，可对示例性实施方案进行改变或修改。此外，也不必存在本文所讨论的任何目的或优点均落入该范围内，因为可以存在许多优点而不必在本文中公开。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。
除非明确排除或换句话讲有所限制，本文中引用的每篇文献，包括任何交叉引用或相关专利或专利公布，均据此以引用方式全文并入本文。对任何文献的引用均不是承认其为本文公开的或受权利要求书保护的任何文献的现有技术、或承认其独立地或以与任何其它一个或多个参考文献的任何组合的方式提出、建议或公开任何此类实施方案。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。
- 还没有人留言评论。精彩留言会获得点赞！