本发明涉及用于处理或更改表面的方法。具体地，本发明涉及用于使表面的处理随时间推移而变化以及表面的重复处理的方法。
背景技术：
消费者通过使用消费产品与表面相互作用。在一些情况下，消费者在消费产品的使用寿命期间和消费者自身的生活过程中与特定表面重复相互作用。尽管重复的相互作用以及伴随的对表面和相互作用的熟悉，但在如何利用消费产品以及经由相互作用实现的表面处理的所得功效方面，通常存在对相互作用进行改善的空间。需要一种用于评估相互作用或一系列相互作用的方法，所述方法包括在改变或修改相互作用的细节方面向消费者提供反馈，以便实现与目标表面的更有效的相互作用和处理，经由游戏化增强处理体验，以及提供从来源于社交网络的当前处理和时尚趋势提取的信息重叠。
技术实现要素：
在一个方面，用于处理表面的方法包括：自动评估包括目标表面的至少一个数字图像；根据所述至少一个数字图像的评估来确定所述目标表面的性质；根据所述至少一个图像的评估来确定至少一种可用的处理工具；根据所述至少一个图像的评估来确定所述表面处理的性质；自动确定在所确定表面的所确定处理中使用所确定工具；以及提供类似于处理工具的所确定使用的信息，或旨在通过在处理发生期间分散使用者注意力或进行处理方案的游戏来增强处理活性的信息。
具体实施方式
如本文所用，术语：机器学习、高级机器学习、人工智能和深度学习是指计算方法，其包括在模拟有机智能功能的数学模型中创建和互连多个模拟神经元。计算结构可包括此类模拟神经元的多个层，其中不仅在特定层中的神经元之间存在连接，而且在层以及结构之间存在连接，所述层或结构在系统经历训练时，能够通过暴露于与整个网络旨在执行的一个或多个任务相关的数据，从每个层向前传播信息到下一层，并且还通过所述层向后传播信息。计算结构可包括递归神经网络，诸如长短期记忆(lstm)和门控递归单元(gru)神经网络结构。网络的输出可从最终层或任何中间层获得，这取决于任务的性质和网络的整体结构。
本文的系统和方法可包括训练一个或多个卷积神经网络(“cnn”)以用于确定处理表面的方法。cnn可用于识别与由cnn确定的处理方法相关的目标表面、处理工具和从业者信息。cnn可利用训练图像和/或音频数据来训练卷积神经网络，并且可接收一个或多个训练图像或音频文件以被cnn利用来确定限定表面类型、处理工具和从业者的元素。一旦cnn被训练，用户就可捕获目标表面、工具、从业者的图像(例如，数字图像)以用于通过cnn进行分析。被捕获图像的分析可包括确定目标表面类型、工具类型、从业者信息以及处理方法、附加的相关处理产品和处理方案信息。可以依次或并行地使用cnn和rnn结构来评估数据并确定表面。
用于实施本发明方法的系统可包括网络，所述网络可体现为广域网(诸如移动电话网络、公共交换电话网络、卫星网络、互联网等)、局域网(诸如无线保真度、wi-max、zigbeetm、bluetoothtm等)、和/或其他形式的联网功能。耦合到网络的是计算装置、远程计算装置、信息亭计算装置和训练计算装置。
计算装置可为移动电话、平板电脑、膝上型计算机、个人数字助理、仪表镜或智能镜、和/或被构造用于捕获、存储和/或传输图像诸如数字照片和视频的其他计算装置。因此，移动计算装置可包括图像捕获装置，诸如数字相机，包括深度感测相机和/或可被构造成从其他装置接收图像。移动计算装置可包括存储器部件，所述存储器部件存储图像捕获逻辑和界面逻辑。存储器部件可包括随机存取存储器(诸如sram、dram等)、只读存储器(rom)、寄存器和/或其他形式的计算存储硬件。如本文所述，图像捕获逻辑和界面逻辑可包括软件部件、硬件电路、固件和/或其他计算基础结构。如下文更详细地描述的，图像捕获逻辑可有利于捕获、存储、预处理、分析、传送和/或执行用户的数字图像上的其他功能。界面逻辑可被构造用于向用户提供一个或多个用户界面，所述用户界面可包括问题、选项等。移动计算装置还可被构造用于经由网络与其他计算装置通信。
远程计算装置还可耦合到网络并且可被构造为服务器(或多个服务器)、个人计算机、移动计算机和/或被构造用于创建并训练卷积神经网络的其他计算装置，所述卷积神经网络用于特征检测和处理方法确定。由系统检测到的特征可包括边缘、形状、颜色，其可用于识别年龄、性别、皮肤类型、毛发类型、地板类型、织物类型、牙齿颜色、皮肤颜色、粉刺/痤疮、发红、皮肤和毛发光泽。产品/装置—牙刷、梳子、毛发刷、prox、剃刀、梳理装置、swiffer、美容/化妆品器具。因此，远程计算装置可包括存储器部件，所述存储器部件存储训练逻辑和分析逻辑。训练逻辑可有利于cnn的创建和/或训练，并且从而可有利于卷积神经网络的创建和/或操作。分析逻辑可导致远程计算装置从移动计算装置(或其他计算装置)接收数据并且处理所接收的数据用于提供处理产品推荐等。
训练计算装置可耦合到网络100以有利于cnn的训练。例如，训练者可经由训练计算装置向cnn提供一个或多个图像。训练者还可提供信息和其它指示，以告知cnn哪些评估是正确的以及哪些评估是不正确的。基于来自训练者的输入，cnn可自动地适应，如下文更详细所述。
还应当理解，尽管将远程计算装置描述为执行卷积神经网络处理，但是这仅仅是一个示例。rnn或多层感知器(mlp)可用作替代网络架构，并应用于视频或包括音频数据在内的其他数字数据。可使用这些网络中的任一种，因为它们能够分析视频。所述卷积神经网络处理可根据需要由任何合适的计算装置执行。
本发明系统可包括用作表面处理专家系统的卷积神经网络(“cnn”)。例如，cnn可作为逻辑存储在计算装置的存储器部件中。cnn可被构造成接收训练图像(或多个训练图像)并从训练图像获取原始图像像素作为输入并且自动学习与由捕获的数字图像确定表面、工具和从业者类型相关的特征提取器。被称为深度学习的机器学习技术的最新进展已导致神经网络领域的突破性性能，诸如美国专利号8,582,807中所述。深度学习型神经网络利用受人类视觉皮层启发的多个层。
可使用预定义的特征和/或自动学习特征来训练cnn。在训练cnn之后，其可用于由学习到的特征从用户的捕获图像来确定表面处理选项。在一些情况下，cnn可学会通过被称为监督学习的过程来识别图像中的重要特征。监督学习一般意指通过分析其中已预定义表面处理选项的图像的示例来训练cnn。根据期望的准确度，训练图像的数量可从少量图像到连续输入图像变化，以提供连续训练。无论如何，在训练后，cnn学习关键特征以用于准确预测各种表面类型的处理方法。
cnn可包括多个阶段。第一阶段可包括预处理，并且第二阶段可包括卷积神经网络训练。在预处理期间，可在所接收的图像中检测到大多数场景和用户共有的一个或多个特征(“锚特征”)。可基于边缘检测、形状检测和/或类似的检测机制来进行检测，如已知的。基于一个或多个锚特征的位置，可缩放和旋转图像以使图像基本上水平，并且一个或多个锚特征布置在最终图像中的预定位置。通过这样做，训练图像可一致地对准，从而提供更一致的结果。然后可将图像裁剪至预定面积的像素作为输入以作进一步处理。
在预处理期间，还可执行数据扩充以从训练图像创建附加样本。例如，输入图像可随机放大和/或收缩、沿顺时针方向和/或逆时针方向随机旋转、随机修剪、和/或相对于饱和度和/或曝光随机变化。在一些情况下，输入图像可经受随机垂直读出，其随机地读出图像的像素列(特征图)。层越高，读出覆盖的元素的面积就越大。通过读出输入图像中的整个像素列，cnn可学会依赖于用于表面处理评估的多个特征，而不是一个具体特征。随机垂直读出还可防止对cnn的过度训练，从而保持期望的准确度水平。不考虑具体实施的技术，数据扩充允许cnn针对输入图像中的变化变得更稳健。通过这种方式，cnn学会在由人们拍摄图像的方式、拍摄图像的条件和拍摄图像所用的硬件所导致的预期环境变化下提取重要的特征。
预处理还可包括归一化。例如，可利用全局对比度归一化来标准化训练图像(和/或用户图像)。类似地，图像可用固定(或预定)尺寸卵形掩模来掩蔽，以最小化其他特征的影响。这还迫使cnn学习而不仅仅依赖于图像的更固定空间位置中的信息。
在训练期间，本文所述的实施方案可利用具有nesterov动量(和/或其他算法)的小批量随机梯度下降(sgd)来训练cnn。利用随机梯度下降的示例公开于us8,582,807中。目标函数可包括均方误差。在一些实施方案中，可保留约10％的训练对象。可监测关于保留集的训练错误和验证错误，以用于训练进度。
一旦训练cnn，就可固定cnn参数中的一个或多个。如下文更详细地描述的，捕获的图像可向前传播通过cnn以获得确定的表面处理方案，所述表面处理方案可任选地在例如移动计算装置上显示给用户。
cnn可包括输入图像、一个或多个卷积层c1、c2、一个或多个二次采样层s1和s2、完全集成的层以及输出。为了开始分析或训练cnn，将图像输入cnn(例如，用户图像)中。cnn可对图像的一个或多个部分进行采样以在第一卷积层c1中创建一个或多个特征图。例如，cnn可对图像的六个部分进行采样以在第一卷积层c1中创建六个特征图。接下来，cnn可对第一卷积层c1中的一个或多个特征图的一个或多个部分进行二次采样以创建第一二次采样层s1。在一些情况下，特征图的二次采样部分可以是特征图的一半区。例如，如果特征图包括来自图像的28x28像素的样本区，则二次采样区可为14x14像素。cnn可执行一个或多个另外级别的采样和二次采样，以提供第二卷积层c2和第二二次采样层s2。应当理解，根据需要，cnn可包括任意数量的卷积层和二次采样层。在完成最终二次采样层后，cnn生成完全连接的层f1，其中每个神经元连接到每个其他神经元。从完全连接的层f1，cnn可生成输出，诸如预测年龄或热图。
在一些情况下，本文所述的图像和其它数据中的至少一些可存储为历史数据供稍后使用。例如，可基于此历史数据来确定用户进展跟踪。根据实施方案，还可对此历史数据执行其它分析。
在一个实施方案中，基于cnn的模型用于检测和跟踪消费者视频中的梳理工具。该模型利用多个cnn和其他神经网络部件(诸如完全连接的网络或rnn)来完成该任务。消费者视频作为一系列图像帧被馈入到模型中。每个图像帧首先由cnn处理以提取一组特征图(图像的高级特征)。第二cnn，区域建议网络，用于在可包含梳理工具的特征图中提出一系列可能的区域。然后提取建议区域内的特征图，以进一步向完全连接的网络建议，以确定该建议区域是否包含梳理工具，细化建议区域位置并将建议区域的坐标映射到原始图像。最终结果是，对于每个图像帧，模型能够确定梳理工具是否存在，并且如果存在，则能够确定梳理工具在图像内的位置。同时，消费者的面部也可使用包括cnn在内各种面部识别算法或任何其他面部检测器算法定位。还可将面部作为在所述区域建议网络中检测到的对象的一部分。还可重叠递归神经网络以捕获视频的时间信息。通过组合梳理工具和消费者面部的位置信息，工具可相应地响应以提供最佳梳理体验。在一个实施方案中，工具的操作参数可根据用户剃刮或换句话讲梳理自身或他人的方式来改变。在一个实施方案中，系统可向用户提供与梳理工具和目标表面的当前以及历史使用相关的信息。
可将一个或多个图像，以及来自神经网络的一个或多个输出传递到数据库，并且与来自该方法的其他用户的相似数据聚集在一起。可对聚集的数据进行评估并使用已知的群集方法分类为各群集。然后可基于用户、表面和工具的数据，将即时用户、表面和工具与一个或多个现定义的聚集人群相关联。然后，与特定聚集人群的关联可导致向用户提供群集特异性信息，作为方法的一部分。例如，可根据年龄、种族和性别对用户进行分类，并且将用户的数据与具有相同性别、年龄和种族的聚集人群的数据进行的比较结果可在它们作为该方法的一部分提供时，为从业者提供使用见解。
在一个方面，用于处理目标表面的方法包括以下步骤：自动评估包括目标表面的至少一个数字图像。可将包括目标表面的交互的数字图像或数字图像的集合或数字视频提供给机器学习系统以进行评估。图像的集合还可包括与图像的内容或情景相关联的附加数据。包括音频、温度、湿度或其他环境数据的数据与图像同时捕获。该系统可先前已被训练以通过向系统呈现训练数据来识别目标表面的性质，所述训练数据包括单独的或连同如上所述的其他数据一起的代表性目标表面的图像。目标表面的性质可包括下列属性：表面的分类，诸如皮肤、面部皮肤、牙齿、织物、皮革、塑料、木材、玻璃、陶瓷、石头或其他硬质表面或软质表面，以及表面的当前状况，面部毛发、牙斑、污垢、污渍、以及它们的组合在目标表面上的存在可经由包括表面的图像对表面进行分析来确定。还可确定表面粗糙度或表面光洁度。
所述至少一个图像的分析还可识别或确定至少一种可用的处理工具。在一个实施方案中，该确定可包括确定手持式处理工具的存在。在一个实施方案中，该确定可通过将当前图像中的内容与存在于训练数据集中的适宜工具的图像进行匹配来进行。在一个实施方案中，确定可通过推断来进行，其中根据可用于分析的先前定义，将特定工具与某些表面相关联。在该实施方案中，牙刷可与牙齿、剃刀和具有皮肤-身体毛发的工具、具有硬质表面的硬毛刷等相关联。
所述至少一个图像和附加数据的进一步分析可确定与所识别的目标表面相关联的至少一种表面处理，其是单独的或与所识别的处理工具结合。这种确定可利用对表面、处理工具、从业者、或它们的组合的性质的确定来进行。例如，可确定适合于梳理工具和皮肤与毛发的组合的梳理方案。然后，分析可确定在完成所识别的表面处理中使用所识别的工具。
在确定之后，可经由显示系统向用户提供类似于所确定使用的信息。此类信息可包括关于下列的具体说明：在进行治疗时工具的处理和使用、进行治疗的可能结果、在一系列处理过程中由该方法所评估的处理进展、与执行处理相关的工具状况等。该信息可经由一个或多个数字显示屏、来自工具或来自不同扬声器的听觉提示、或视觉提示诸如指示器灯或治疗环境中的其他照明变化来提供。在一个实施方案中，提供信息的步骤包括提供类似于所确定工具和所确定表面之间的空间交互的提示。在一个实施方案中，提供信息的步骤包括提供类似于所确定工具和所确定表面的时间交互的信息。在一个实施方案中，提供信息的步骤包括通过所确定工具的特性的更改来提供信息。
在一个实施方案中，待呈现的信息可存储在数据库中并响应于cnn的输出被调用。所呈现的信息可为处理期间收集的实时信息、来自数据库的信息以及上述两者的混合组合。例如，可将上齿和下齿的显示模板与实时数据重叠地呈现给用户，从而示出在当前会话期间用户的牙齿的哪些部分已经和尚未被刷洗。可呈现来自数据库的示出用户刷牙历史趋势的数据。
在一个实施方案中，提供信息的步骤可包括提供与所确定的使用、产品或工具相关联的信息以及与用户的社交网络相关联的信息。使用由用户提供的账户信息访问的社交网络信息可使得能够呈现关于由用户的社交网络的成员所进行的类似处理的信息，包括由用户所进行的处理和由用户的社交网络的其他成员所进行的那些处理之间的相似性和差异。社交网络信息也可用作哪些社交影响者最有可能对用户产生影响的指示。该信息可用于选择呈现给用户的名人或社会影响者的指导内容，以及来自所识别的影响者或所识别影响者的最接近类似者的产品评论和证明信息。
在一个实施方案中，该方法还包括提供关于与所确定的表面或表面处理相关的处理工具的信息的步骤，其中该工具在数据分析中未检测到。例如，数据的分析可指示使用梳理工具但不使用可改善或增强处理活性的补充产品。在该示例中，可将关于缺失产品的信息提供给用户。
在一个实施方案中，提供信息的步骤可包括游戏化方面。可将待提供的信息以游戏的形式呈现给用户。游戏可包括以下方面，诸如点得分、与其他人竞争和游戏规则。例如，使用口腔护理工具诸如牙刷可涉及呈现与刷洗花费的时间相关的信息，并且迄今为止已经治疗过的口腔i的区域(包括牙齿表面、舌和牙龈)以及待治疗的剩余部分，其可以游戏的形式呈现，其中在计时器向上或向下计数时，用户必须以从显示器清除物体的方式来移动工具。在该实施方案中，用于移除所呈现的图形元素可与待清洁的表面重合，并且仅在使用者在处理/清洁那些表面中花费足够的时间之后才可从显示器移除。
在一个实施方案中，该方法还可包括根据对至少一个图像的评估来确定处理从业者的一个或多个特性的步骤。包括从业者性别、惯用手、皮肤状况、胡须状况在内的特性可通过分析数据和数据的情景连同关于用户和使用环境的其他信息来确定。所确定的从业者的特性可用作在评估处理活性时确定要提供哪些信息的输入。可提供具体适用于用于的性别、惯用手、皮肤状况、胡须状况、以及它们的组合的信息。
在一个实施方案中，可将关于用户的信息与关于产品的信息(包括品牌、包装数量和用于每个处理的数量)组合，以计算剩余的产品数量，从而向用户提供当前产品何时可能用完的指示以及何时应使用用户获取产品的典型方式来更换或重新订购产品的指示。
在一个实施方案中，该方法还包括根据所述一个或多个图像的评估连同至少一个附加数据源来确定一个或多个环境特性的步骤。例如，该方法可确定从业者和表面的位置、一天中的时间、在该位置处可用的照明以及本地或外部环境的其他特征。所确定的环境特性可用作在确定待提供给用户哪些信息(作为方法的一部分)中的输入。
在一个实施方案中，该方法还可包括以下步骤：跟踪所确定目标表面的初始确定的处理；提供类似于所确定的处理的信息，跟踪并评估目标表面的后续处理；以及根据对跟踪的初始处理和后续确定处理的机器学习评估和先前提供的信息来更改后续提供的信息。例如，用户可使用该方法评估其剃刮体验。可向用户提供信息以增强其剃刮体验。后续评估可指示先前提供的信息的一部分已被成功地遵循或包括在剃刮活动中，然而其他部分还未被成功地添加。在该确定之后，所提供的信息可被定制成仅包括与尚未成功地添加到处理活动中(在该示例中为剃刮)的部分相关的信息。信息类型包括剃刮或处理趋势、持续处理结果(用户剃刮的程度、还有哪些机会来改善其体验、以及与用户的梳理工具及其剃刮活动相关的诊断信息)。
在一个实施方案中，该方法还可包括以下步骤：跟踪所确定目标表面的初始确定的处理；跟踪相同的所确定处理表面的至少一个后续确定的处理；在评估所述确定目标表面的跟踪的所确定处理的组合中使用机器学习；并且根据所述跟踪的确定处理的组合的评估来提供类似于所确定目标表面的所确定处理的信息。提供的信息可包括对梳理活动的改进的指示以及基于梳理结果的进展而进一步改进的优越机会。
在该实施方案中，在评估所确定目标表面的跟踪的所确定处理的组合中的机器学习步骤可包括使用处理的环境背景连同由用户提供的任何信息评估该组合中的从业者。
在该实施方案中，在评估所确定目标表面的跟踪的所确定处理的组合中的机器学习步骤可包括评估组合中的工具，所述工具可根据制造商和工具模型以及在完成表面处理中工具的性能方面所考虑的工具的操作条件来评估。例如，随着工具的操作条件下降，完成任务所必需的工作也将改变。
在该实施方案中，在评估所确定目标表面的跟踪的确定处理的组合中的机器学习步骤可包括评估该组合中的表面。可评估表面的性质以提供输入来确定待提供的信息。对用户面部的评估可指示毛发的轻度或重度生长，从而导致根据处理时存在的面部毛发来提供不同的信息。
在一个实施方案中，该方法还包括更改工具的性能特征的步骤。在该实施方案中，工具的驱动频率可被改变以更改性能或向从业者提供关于使用该工具处理表面的听觉提示。
根据本文所述的实施方案，本发明的方法可使用远程计算装置来实施。远程计算装置可包括处理器、输入/输出硬件、网络接口硬件、数据存储部件(其存储图像数据、产品数据和/或其他数据)、以及存储器部件。存储器部件可被构造成易失性和/或非易失性存储器，并且因此可包括随机存取存储器(包括sram、dram和/或其他类型的ram)、闪存存储器、安全数字(sd)存储器、寄存器、光盘(cd)、数字通用盘(dvd)、和/或其他类型的非暂态计算机可读介质。取决于具体实施方案，这些非暂态计算机可读介质可驻留在远程计算装置内，和/或驻留在远程计算装置的外部。
存储器部件可存储操作逻辑、训练逻辑以及分析逻辑。训练逻辑和分析逻辑可各自包括多个不同的逻辑块，其中每一个逻辑块可被体现为例如计算机程序、固件和/或硬件。系统还可包括本地通信接口，其可被实施为总线或其他通信接口以促进在远程计算装置的部件之间进行通信。
处理器可包括任何处理部件，所述处理部件能够操作以接收并执行指令(诸如来自数据存储部件和/或存储器部件)。如上所述，输入/输出硬件可包括和/或被构造成与所述部件交接。
网络接口硬件可包括任何有线或无线联网硬件和/或被配置成与任何有线或无线联网硬件进行通信，包括天线、调制解调器、lan端口、无线保真(wi-fi)卡、wimax卡、bluetoothtm模块、移动通信硬件和/或用于与其他网络和/或装置通信的其他硬件。通过该连接，可有利于在远程计算装置和其他计算装置之间通信。通信能力还可以扩展到与具体处理工具的通信，出于确定和/或更改工具的操作参数的目的，此类工具还包括如上所述的通信元件。
操作系统逻辑可包括操作系统和/或用于管理远程计算装置的部件的其他软件。如上面所讨论，训练逻辑可驻留在存储器部件中，并且可被构造成导致处理器训练卷积神经网络。类似地，分析逻辑可用于分析用于皮肤年龄预测的图像。
应当理解，虽然本文中所述的部件被示出为驻留在远程计算装置内，但是这仅仅是一个示例。在一些实施方案中，一个或多个部件可驻留在远程计算装置外部，和/或远程计算装置可被构造成移动装置。还应当理解，虽然远程计算装置被示出为单一装置，但是这也仅仅是一个示例。在一些实施方案中，训练逻辑和分析逻辑可驻留在不同计算装置中。例如，本文描述的一个或多个功能和/或部件可由移动计算装置和/或可通信地耦合到远程计算装置的其他装置来提供。这些计算装置还可包括用于执行在本文描述的功能的硬件和/或软件。
另外，虽然远程计算装置被描述为具有作为单独逻辑部件的训练逻辑和分析逻辑，但是这也是一个示例。在一些实施方案中，单个逻辑块可促使远程计算装置提供所述功能。
所述方法可使用围绕中央处理单元、图形处理单元、现场可编程门阵列、张量处理单元、深度学习加速器、以及它们的组合构建的计算机系统来实现。所述方法可使用一个或多个深度学习库进行编程，所述深度学习库包括tensorflow、tensorflowlite、torch、pytorch、caffe、caffe2、mxnet、theano、以及它们的组合。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反，除非另外指明，否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如，公开为“40mm”的量纲旨在表示“约40mm”。
除非明确排除或以其它方式限制，本文中引用的每一篇文献，包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利，均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可，或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外，当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时，应当服从在本发明中赋予该术语的含义或定义。
虽然已举例说明和描述了本发明的具体实施方案，但是对于本领域技术人员来说显而易见的是，在不脱离本发明的实质和范围的情况下可作出多个其它变化和修改。因此，本文旨在于所附权利要求中涵盖属于本发明范围内的所有此类变化和修改。