利用人工智能进行个性化处理的系统和方法与流程

1.所公开的概念总体上涉及用于使用人工智能技术来为用户确定和提供个性化处理的设备和方法。


背景技术：

2.习惯和活动以多种方式影响人们。许多人想要引导更健康的生活方式，并且通常可以获得用于引导更健康的生活方式的一般建议。然而，这种一般建议针对特定的人不是最有效的。例如，建议某人吃得更健康，睡得更多，以及锻炼得更多，而良好的建议可能不会导致特定的人遵循该建议。此外，针对除了过更健康的生活方式之外还具有更特定目标的人，这种一般类型的建议不是最佳的，并且没有考虑到其特定情况和目标。
3.许多人想要改善的事情的一个示例是睡眠质量。各种习惯和活动影响睡眠质量。通过媒体和教育，人们越来越意识到这种习惯和活动。然而，只是告诉一个人改变他们的行为通常是不够的。行为改变是更复杂的过程。告诉人们停止他们的行为以提高睡眠质量的冷火鸡法(cold-turkey)不是最有效的。通过中间步骤和该过程中的持续指导，人们的行为改变可能更有效。
4.提供睡眠卫生和习惯建议的当前数字平台通知用户应该改变其习惯中的哪些内容，并且一些甚至提供如何改变这些的计划。然而，这些计划基于基本人口统计和当前习惯信息被推广到用户组。其基于启发式和先验知识以锁定用户类型。这是一种低效的解决方案，因为它假设一个大小适合所有模型。即使当考虑个性类型时，这些类型的解决方案也不是最佳的。在心理学领域中，人格类型被用于将不同的人分类为具有一些共同特征。这些个性类型可以被使用以针对该个性类型的方式对人进行治疗或与人交互。然而，最终结果仍然是将用户概括成组。
5.作为数字平台的备选，私人教练、教练或处理师被发现在帮助行为改变方面比一般计划或甚至集体教练更有效。这是因为他们可能花费时间来首先理解特定个人并且设计对该个人的个性化计划，并且基于进度随时间修改该计划。该计划可以基于多个因素，其可以包括用户的当前行为、人口统计、身体和情绪属性、目标和对辅导指令的接收。在推荐计划之前，数字辅导平台进行的基本机上调查通常没有覆盖这些内容。然而，即使使用个人教练，有效性仍然受到特定个人教练的知识的限制。
6.因此，需要针对用户改进个人处理计划的开发。


技术实现要素：

7.因此，所公开概念的目的是提供一种开发和提供个性化处理计划以帮助用户实现其期望目标的设备和方法。
8.作为所公开概念的一个方面，提供个性化处理的方法包括：收集与用户相关联的第一信息；基于与用户相关联的第一信息来确定第一用户简档向量；确定将用户从第一用户简档向量向目标用户简档向量移动的第一处理计划；以及向用户提供第一处理计划。
9.作为所公开概念的一个方面，一种系统包括：用户设备，其被构造为收集与用户相关联的第一信息；后端系统，其被构造为接收第一信息，基于与用户相关联的第一信息来确定第一用户简档向量，确定将用户从第一用户简档向量向目标用户简档向量移动的第一处理计划，以及将第一处理计划提供给用户设备，其中用户设备被构造为将第一处理计划提供给用户。
10.作为所公开的概念的一个方面，提供了一种非瞬态计算机可读介质，其上具有计算机可读代码，当由处理器执行该计算机可读代码时，该计算机可读代码使得处理器实现提供个性化处理的方法。该方法包括：收集与用户相关联的第一信息；基于与用户相关联的第一信息来确定第一用户简档向量；确定将用户从第一用户简档向量向目标用户简档向量移动的第一处理计划；以及向用户提供第一处理计划。
11.在参考附图考虑以下描述和所附权利要求时，所公开的概念的这些和其他目的、特征和特性，以及结构的相关元件的操作方法和功能以及部分的组合和制造的经济性将变得更加明显，所有附图形成本说明书的部分，其中在各个附图中相同的附图标记表示相应的部分。然而，应当清楚地理解，附图仅用于说明和描述的目的，而不旨在作为对本发明的限制的定义。
附图说明
12.图1是根据所公开概念的实施例的开发个性化处理计划并且向用户提供个性化处理计划的方法的流程图；
13.图2是根据所公开概念的实施例的确定目标用户简档向量的方法的流程图；
14.图3是根据所公开概念的实施例的选择处理计划的方法的流程图；
15.图4是根据所公开概念的实施例开发用户简档向量的概念图；
16.图5是根据所公开概念的实施例的用户从初始用户简档向量移动到目标简档向量的概念图；
17.图6是根据所公开概念的实施例的用于开发和提供个性化处理计划的系统的示意图。
具体实施方式
18.根据需要，本文公开了所公开概念的详细实施例；然而，应当理解，所公开的实施例仅仅是本发明的示例，本发明可以以各种形式被实施。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为权利要求的基础以及作为用于教导本领域技术人员在实际上任何适当的详细结构中以不同地方式采用所公开的概念的代表性基础。
19.如本文所使用的，单数形式的“一”、“一个”和“该”包括复数指代，除非上下文另有明确说明。如本文所使用的，两个或更多个部分或组件被“耦合”的表述将意味着这些部分被直接地或间接地(即，通过一个或多个中间部分或组件)被连接或一起操作，只要发生链接。
20.本文使用的方向短语，诸如，例如但不限于，顶部、底部、左、右、上、下、前、后及其派生词，涉及附图中示出的元件的取向，并且不限制权利要求，除非在其中明确陈述。
21.根据所公开概念的实施例，与用户相关联的客观和主观信息以及与用户的目标相
关联的信息被收集。客观信息被认为是直接通过接触和非接触传感器从用户收集的信号(例如，但不限于，用于从数字连接设备收集的活动数据、生物信号数据、地理位置、面部数据、语音信号(以确定情绪、警觉等)、睡眠数据、身高、体重等的健康跟踪可穿戴物)。主观信息被认为是通过用户直接回答的问题从用户导出的任何信息，因此它们由用户通过直接数字输入问题(例如但不限于是/否、等级、比例、多选等类型的问题或开放式文本输入/自由文本问题)主观地输入。基于客观和主观信息针对用户确定用户简档向量。目标用户简档向量也被确定。用户简档向量是在特定时间点处用户的状态的数学表示。目标用户简档向量是用户基于其目标的期望的状态的数学表示。根据所公开的概念的实施例，处理计划被确定以沿着最佳路径将用户从其初始用户简档向量向目标用户简档向量移动。该过程可以是迭代的。例如，用户可以从初始用户简档向量移动到中间用户简档向量，在该中间用户简档向量处重新评估他们的处理计划。处理计划的确定可以例如通过增强的机器学习来被确定。根据所公开概念的实施例，用于用户的辅导和/或处理被数学地驱动和个性化，导致处理计划在帮助用户达到其目标方面更有效。在一个实施例中，所公开的概念被应用于改善用户睡眠和呼吸健康。然而，应当理解，所公开的概念可应用于各种辅导和/或处理应用。本文将更详细地描述所公开概念的一些实施例。
22.图5是根据所公开概念的实施例的用户从初始用户简档向量移动到目标简档向量的概念图。在图5中，用户在处理计划的时间上的进展被描绘。图6是根据所公开的概念的实施例的用于开发和提供个性化处理计划的系统的示意图。在整个描述中将偶尔参考图5和6中的概念图以提供对所公开的概念的方面的更清楚的解释。通常将关于提供与睡眠质量相关的辅导和/或处理来描述所公开的概念。然而，如上所述，所公开的概念也适用于许多其它领域。
23.图1是根据所公开概念的实施例的开发个性化处理计划并且向用户提供个性化处理计划的方法的流程图。该方法开始于100处，其中与用户400(图4所示)相关联的信息被收集。该信息可以包括与用户400相关联的客观信息402和主观信息404。在一个实施例中，收集的信息的类型与用户目标相关。例如，在睡眠质量的情况下，收集的信息可以包括人口统计信息，诸如年龄和性别。年龄影响推荐的睡眠持续时间、睡眠需求、睡眠能力和睡眠模式。性别影响睡眠需求和睡眠问题。收集的信息还可以包括情绪属性，其可以影响睡眠和用户对行为改变的态度。
24.可以收集的其它类型的信息是咖啡因摄入量。咖啡因的时间和量影响睡眠。另外，其它已知和未知的因素如遗传学影响咖啡因如何影响使用者的睡眠。锻炼活动也可以被收集，因为锻炼的定时和类型影响睡眠。压力水平还可以被收集，因为这些也影响睡眠。用户的饮食也是可以收集的信息，因为它也可以影响睡眠。此外，关于用户的个人日程的信息可以被收集，因为用户的晚间活动，诸如在睡觉之前使用电子设备，可以影响睡眠。虽然这些是可以收集的信息类型的示例，但是应当理解，所公开的概念不限于此。在不脱离所公开的概念的范围的情况下，其它类型的信息可以被收集。
25.可以收集的一些附加类型的信息是对用户的直接问题的主观回答，诸如他们的体验、他们感觉如何等。可以收集的一些其它客观信息是情绪检测、来自语音的警觉检测、面部识别等。还应当理解，在除了睡眠质量之外的应用中，不同类型的信息可以被收集而不脱离所公开概念的范围。
26.可以使用各种不同的方法来收集信息。例如，用户输入可以是一种方法。例如，用户或其他人可以提供信息，例如响应于调查表。诸如心率、呼吸信号数据、睡眠数据和锻炼数据的信息可以从诸如智能手表或其他智能设备的可穿戴设备被收集。用户的社交媒体交互活动或通过第三方应用的其他用户活动也可以是收集的信息的来源。此外，信息可以从用户设备被收集，诸如用户的智能电话或电视可以被收集。这种信息可以指示用户在特定时间处的位置、用户在特定时间处的电子设备使用，或者用户的习惯和可能影响他们睡眠的其他事情。这种类型的信息还可以影响针对用户最有效的处理计划的类型。
27.此外，可以基于用户的自然语言处理来收集信息。例如，可以通过交互设备提示用户，并且可以处理用户的回答。这种信息可以被用于确定用户的心理或情绪状态。这种信息也可以被用于确定用户的目标。虽然已经描述了各种信息源，但是应当理解，所公开的概念不限于这些类型的信息源，并且所公开的概念不需要使用所有这些类型的信息源。信息源可以基于各种因素来被确定，诸如它们的适用性、可用性和用户在提供信息或使信息源可用时的同意。
28.一旦与用户400相关联的信息被收集，该方法进行到102。在102处，用户简档向量500被确定。用户简档向量500是用户400在特定时间点处的数学表示。用户简档向量500基于与用于用户400的辅导和/或处理的类型相关的信息。例如，在睡眠辅导和/或处理的情况下，用户信息向量500基于与用户400的睡眠相关的信息。
29.在一个实施例中，多模态机器学习和知识映射技术被用于融合来自各种不同输入源的数据，以在特定时间点处创建用户400的高维数字表示。例如，不同类型的信息可以基于它们对用户400的睡眠的影响来被加权。用户简档向量500可以包括多个变量，每个变量包括一个或多个加权或未加权的信息段。例如，用户简档向量500(如图4所示)包括五个变量，当用户简档向量500被确定时，每个变量具有一个数值。
30.用户简档向量500提供用户400在特定时间点处的数学表示，其可以被用于将用户400与其它用户进行比较并且识别用户400可以改变以满足其目标的区域。
31.在所公开概念的实施例中，目标用户简档向量506(图5所示)也被开发。现在转到图2，图2是根据所公开概念的实施例的确定目标用户简档向量的方法的流程图。图2的方法从200处开始，从用户400接收与用户400的目标相关联的输入。可以从先前描述的各种信息源中的一个或多个信息源接收输入。在202处，用户400的目标被确定。在一些情况下，用户400的目标可以明确地被提供，但是在其他情况下，可以通过使用自然语言处理或其他技术来被确定。用户400的目标可以是直接的，诸如一晚上睡了八小时，或者它可以是更主观的，诸如在白天期间具有更多的精力。
32.一旦用户400的目标被确定，该方法进行到204，其中目标用户简档向量506被确定。目标用户简档向量506可以通过参考包含来自其它用户的用户简档向量的数据库来被确定，其它用户例如在其它方面可以类似于用户400，但已经满足用户400的目标。在这方面，所公开的概念可以具有预先部署阶段，其中关于用户的数据被收集并且通过辅导和/或处理为用户确定用户简档向量。一旦足够的数据被收集以有效地对数据使用机器学习，所公开的概念就可以移动到部署后阶段，在该阶段中它可以应用于一般用户。然而，应当理解，在部署后阶段，数据可以连续地被收集到一个或多个数据库中。随着更多的数据被收集，用于开发用户简档向量、目标用户简档向量以及处理和/或辅导计划的机器学习技术可
以不断地改进。如本领域技术人员将理解的，机器学习识别数据中的模式并且其结果可以随着更多的数据而不断地改进。例如，当更多数据被收集时，可以更好地确定关于用户的信息对相关目标(例如睡眠)的影响。类似地，可以更好地确定处理对睡眠或其它目标的影响。
33.返回到图1，在步骤102处确定用户简档向量500之后，方法前进到104，其中用户400向目标用户简档向量506移动的最佳处理计划被确定。应当理解，在先前未确定目标用户简档向量506的情况下，可以将图2的方法整合到图1的方法中。因为这可以是迭代过程，所以目标用户简档向量506可能已经在先前的迭代中被确定。
34.图3是根据所公开概念的实施例的选择处理计划的方法的流程图。可以在图1的步骤104中应用图3的方法。图3的方法开始于300处，其中用户简档向量500和目标用户简档向量506被接收。该方法在302处继续，其中处理对用户简档向量500的影响被确定。该效果可以是例如处理将用户简档向量500向目标用户简档向量506移动的距离。在304处，最佳处理被选择。在一个实施例中，最佳处理计划可以被确定为如下处理极化，该处理计划使用户简档向量500移动最接近目标用户简档向量506。应当理解，最佳处理的选择可以使用强化机器学习来确定，诸如基于强化学习的优化方法，其中选择处理的问题被限定为马尔可夫决策过程。
35.图5提供了从用户简档向量500向目标用户简档向量506移动的概念性表示。在图5中，有两个中间用户简档向量502、504。在第一次迭代中，用户400的第一处理计划使用户简档向量500移动到第一中间用户简档向量502。从那里，第二处理计划使第一中间用户简档向量502移动到第二中间用户简档向量504。最后，第三处理计划使第二中间用户简档向量506移动到目标用户简档向量506。在每次迭代中，对应于用户400的用户简档向量被移动得更靠近目标用户简档向量506。为了在每次迭代处确定处理计划，可以使用强化学习算法。
36.作为确定最佳处理计划的示例，假设存在成本函数c:f,s
p,t
,g
p
→
r(其中c是成本，f是处理，s是时间t处用于用户p的用户简档向量，g是目标，并且r是回报)，其可以被用于对处理的有效性进行分级。还假设在特定时间t处在状态s
p,t
.let f*＝fj*(s
p,t
)处存在针对用户p的最佳处理是最佳处理，而不保证f*的唯一性。然后在上述过程中，在每个时间步骤处，被选择应用于用户的处理fj是f*。换种说法，在每个时间步骤处，处理应用来自可能处理的最有效的处理，即排名高的处理。
37.成本函数c:f,s
p,t
,g
p
→
r的假设被做出。虽然该功能不容易被访问，但是强化学习可以被应用来学习其变体。特别地，考虑c':f,p,g
p
→
r(其中p是人物角色类型)。针对接近度的充分定义，如果s1和s2(用户简档向量)彼此接近，则它们属于相同的人物角色类型或群集。实质上，p是在彼此一定距离内的一组状态。因此，当试图实现目标g时，该函数将《处理f，人物角色类型p，目标g》元组映射到表示用于该人物角色类型p的处理f的成本c'的数字。为了确定函数c'，使用基于回报的反馈系统的强化学习框架被使用。
38.在一个实施例中，群集分析可以被用于将用户与该用户落入的通用群集简档进行比较。通用群集简档可以被使用以确定用于用户的目标用户向量简档和基于与群集中其他用户的处理的成功的最佳处理计划。可以对来自系统的一些或全部用户的匿名数据库的客观和主观数据进行群集分析。
39.在强化学习系统的实施例中，每个状态s(即，用户简档向量)被分配值vs，以及可能的动作集合a(处理/挑战)，连同应用从a到s的处理之后的结果状态的随机模型。例如，在
中，回报函数由应用的处理、开始位置和结果位置来参数化，并且还考虑了适当的折扣率。接下来，可以应用简单的策略提取来确定用户到达目标用户简档向量的最佳路径。虽然这是可以被用于确定特定处理计划的技术的示例，但是应当理解，在不脱离所公开的概念的范围的情况下可以进行修改。
40.在一个实施例中，最佳处理计划可以基于若干因素。例如但不限于，最佳处理计划可以基于用户简档向量、用户的习惯和行为相关信息、就健康/益处结果而言对处理的历史用户响应(即，朝向目标用户简档向量的移动)以及针对处理的主观反馈(例如，偏好)。该信息可以与用户或用户群集相关。这些类型的信息的全部或子集可以被用于决定最佳处理。另外，可以给予信息不同的权重。
41.返回参考图1，一旦在104处确定了最佳处理计划，该方法进行到106，在106将处理计划提供给用户400。可以使用任何合适的手段(例如但不限于，视觉、音频、文本等)来提供处理计划。处理计划可以包括供用户400追求的一个或多个任务或目标，例如但不限于锻炼一定量、在一定时间处将电子设备的使用减少一定量、用于改善饮食的特定建议等。
42.在106处向用户400提供处理计划之后，该方法可以返回到100进行另一次迭代。在每次迭代之间可以经过一段时间。该周期可以是固定的或流动的。例如，用户400可以在限定的周期之后，诸如一周，在满足限定的处理计划目标之后，根据用户自己的判断处等启动第二迭代。
43.图6是根据所公开概念的实施例的用于开发和提供个性化处理计划的系统的示意图。图6的系统是可以被用于实现关于图1－3描述的方法的系统的示例。
44.图6的系统包括用户设备412。用户设备412可以是用户400可以与之交互的电子设备，诸如智能电话或计算机。用户设备412也是收集信息的用户，诸如与用户400及其目标相关联的客观402和主观404输入。用户设备412可以经由诸如网络600的通信方式被连接到后端系统800。其他用户设备700也可以经由网络600被连接到后端系统800。
45.后端系统800可以包括一个或多个设备，诸如计算机或服务器。后端系统800可以包括一个或多个处理单元802和存储器804。处理单元802可以是例如但不限于与存储器接口的微处理器、微控制器或一些其它合适的处理设备或电路。存储器804可以是各种类型的内部和/或外部存储介质中的任何一种或多种，例如但不限于ram、rom、(多个)eprom、(多个)eeprom、flash等，其提供存储寄存器，即机器可读介质，用于诸如以计算机的内部存储区域的形式的数据存储，并且可以是易失性存储器或非易失性存储器。
46.后端系统800可以被配置为执行诸如确定用户简档向量和确定用户的最佳处理计划的功能。后端系统800可以存储来自用户400和其他用户的各种信息，并且实现用于确定用户简档向量和最佳处理计划的机器学习算法。当后端系统800随着时间收集越来越多的数据时，机器学习算法将改进，并且更精确的用户简档向量和更优化的处理计划可以被确定。虽然后端系统800是可以实现图1－3的方法的系统的示例，但是本领域普通技术人员将理解，在不脱离所公开的概念的范围的情况下，这些方法可以用其它架构来被实现。
47.本文描述的所公开的概念提供了用户简档向量的数据驱动生成，用户简档向量是用户在各个时间点处的语义上合理的数学表示。所公开的概念还允许将用户简档向量与其他用户的用户简档向量进行比较，以及向用户给出基于强化学习的建议以最好地完成辅导
任务。该数据驱动和基于机器学习的方法和系统可以提供数字平台，用于开发和向期望实现一个或多个目标的用户提供处理和/或辅导。利用所公开的概念，处理和/或辅导比现有的数字平台和个性化处理或辅导两者都更有效。所公开的概念提供了比现有数字平台更多的个性化，并且可以比个人教练所能获得的更多的知识和数据。
48.虽然已经关于提供辅导和/或处理以改善用户的睡眠描述了所公开的概念的示例，但是所公开的概念可以被应用于许多领域。此外，虽然所公开的概念是相对于向用户提供辅导和/或处理来描述的，但是所公开的概念也与诸如研究或评估的其它应用相关。例如，所公开的概念可以被用于研究不同类型的处理的有效性或理解用户的特征和行为与诸如睡眠质量的各种状况之间的关联。因此，本领域普通技术人员将理解，所公开的概念具有广泛的应用。
49.应当理解，所公开的概念也可以被体现在非瞬态计算机可读介质上。例如，所公开的概念可以被体现在非瞬态计算机可读介质上，非瞬态计算机可读介质具有被体现在其上的计算机可读代码，当由处理器执行时，计算机可读代码可以使处理器实现本文所示和所述的任何方法。
50.尽管为了说明的目的，基于当前被认为是最实用和优选的实施例详细地描述了所公开的概念，但是应当理解，这种细节仅用于该目的，并且所公开的概念不限于所公开的实施例，而是相反，旨在覆盖在所附权利要求的精神和范围内的修改和等同布置。例如，应当理解，所公开的概念预期在可能的程度上，任何实施例的一个或多个特征可以与任何其他实施例的一个或多个特征被组合。
51.在权利要求中，括号中的任何附图标记不应解释为限制权利要求。词语“包括”或“包括为”不排除权利要求中所列出的元件或步骤之外的元件或步骤的存在。在列举了几个方式的设备权利要求中，这些方式中的几个方式可以由相同的硬件来实现。元件之前的词语“一”或“一个”不排除多个这种元件的存在。在列举了几个方式的任何设备权利要求中，这些方式中的几个方式可以由相同硬件来实现。在相互不同的从属权利要求中叙述某些元件的事实并不表示这些元件不能组合使用。