使用统计偏好分析自动应用医生偏好工作流程的制作方法

使用统计偏好分析自动应用医生偏好工作流程
1.相关申请的交叉引用
2.本专利申请要求2019年3月21日提交的第62/821,858号题为“automatic application of doctor's preferences workflow using statistical preference analysis(使用统计偏好分析自动应用医生偏好工作流程)”的美国临时专利申请的优先权，其全部内容通过引用的方式并入本文。
3.援引加入
4.本说明书中提到的所有出版物和专利申请都通过引用整体并入本文，如同每个单独的出版物或专利申请被具体和单独地指出通过引用并入那样。
技术领域
5.用于正畸治疗规划的方法和装置。


背景技术：

6.使用一系列患者可移除的器具(例如，正畸矫治器、扩腭器等)的正畸和牙科治疗对于治疗患者(特别是治疗咬合不正)非常有用。通常，通过以下步骤配合牙科专业人员(例如，牙医、正畸医生、牙科技术人员等，本文称为“用户”)执行治疗规划：生成最终配置时患者牙齿的模型，然后将治疗计划分为对应于顺序佩戴的各个器具的多个中间阶段(步骤)。此过程可以是交互式的，可以基于牙齿移动的限制和牙科专业人员的喜好来调整分期(staging)，有时还可以调整最终目标位置。一旦最终确定了最终的治疗计划，就可以对应于治疗规划制造一系列矫治器。
7.该治疗规划过程可能包括许多手动步骤，这些手动步骤复杂且可能需要高水平的正畸规范知识。此外，由于步骤是顺序执行的，因此该过程可能需要大量时间。手动步骤可能包括：准备用于数字规划、审查和修改所提出的治疗计划(包括分期)和矫治器特征放置(其包括放置在牙齿上或矫治器本身上的特征)的模型。这些步骤可以在向牙科专业人员提供初始治疗计划之前进行，然后牙科专业人员可以进一步修改计划，并将其发送回去进行附加的处理以调整治疗计划，重复(迭代)此过程，直到完成最终治疗计划为止，然后将最终治疗计划提供给患者。
8.用于治疗规划的现有系统和方法是耗时的，并且仅可以向牙科专业人员提供有限的选择和控制。


技术实现要素：

9.本文所述的系统、方法和/或计算机可读介质提供针对正畸治疗规划的高度技术性问题的技术方案。通常，这些方法可以包括创建和修改(例如，更新)用户(例如，医生、牙医、正畸医生等)或用户组偏好的集合，并使用这些用户或用户组偏好来自动创建和/或修改正畸治疗计划。
10.许多牙医有很强的临床偏好，这应该适用于大多数治疗案例。这些偏好可以由医
生在其个人帐户上限定一次，或者通过为每个患者指定的指令重复传递。例如，“治疗结束时移除附件”是大量医生使用的非常常见的指令。这种类型的文本指令对治疗案例处理时长有影响，因为技术人员必须花时间阅读、实施和重新检查已知和常见的指令。
11.本文描述了通过自动检测用户偏好(例如，临床偏好)并将这些偏好并入治疗计划以供用户批准来创建和/或修改治疗计划的方法；该治疗计划可以被最终确定并用于生产一个或一系列正畸器具来治疗患者。本文还描述了可以执行这些方法中的任何方法的治疗规划引擎。
12.治疗规划引擎可以使用用户或用户组偏好的集合以及有关患者口腔的信息(例如，患者牙齿的扫描)来自动生成患者特定的一个或多个治疗计划。用户或用户组偏好的集合可以是数据结构(例如，数据存储、数据库等)，该数据结构由一个或多个治疗规划引擎访问和/或修改。治疗规划引擎可以包括或可以访问偏好引擎，该偏好引擎可以创建、修改、更新和/或分发用户或用户组偏好的集合。
13.因为治疗计划是由治疗规划引擎使用用户或用户组特定信息生成的，治疗规划引擎可以自动生成为患者定制的治疗计划，该治疗计划也为用户定制或针对用户定制。所产生的治疗计划可由用户审查和批准；治疗规划引擎和/或偏好引擎可以使用对自动生成的治疗计划的任何修改来更新和/或修改用户或用户组偏好的集合。
14.如本文所用，正畸治疗计划(或简称“治疗计划”)可以指用于改变受试者的牙弓以实现或接近期望的结果的一系列步骤、设备和/或安排时间表。治疗计划可以识别或描述可用于改变受试者的牙弓的一个或多个牙科器具(包括牙科器具，例如但不限于矫治器)。治疗计划还可包括或备选地包括使用和/或不使用一个或多个牙科器具改变受试者的牙弓的步骤。治疗计划可以是按序发生的，例如，指示多个治疗步骤，该多个治疗步骤中一些或全部可以包括正畸治疗器具，例如牙科器具。在一些变型中，治疗计划可以包括准备受试者的牙弓(例如，通过拔出、成形、修整或以其他方式改变受试者的一颗或多颗牙齿)。治疗计划可以指示患者的一颗或多颗牙齿的移动(和/或不移动)，包括指示移动的定时或顺序(开始、持续时间、完成)。治疗计划可以包括用于设计和/或制造一个或多个牙科器具(包括有序的牙科器具系列)的步骤。治疗计划可以包括牙科器具的安排时间表，其指示佩戴一个或多个牙科器具的时间。
15.任何方法或装置(包括软件、硬件和固件，例如治疗规划引擎)都可以接收患者特定信息的集合，例如患者牙弓(包括患者上牙弓和/或下牙弓的全部或部分)的描述(例如，模型、3d扫描、模具等)以及与患者相关联的用户(例如，正畸医生、牙医、医生、牙科技术人员等)的指示。在一些变型中，可以提供针对患者的用户指令的描述。用户指令可以是用户对一种或一类牙科治疗的总体和/或特定偏好的描述，或可以特定于患者。用户指令可包括例如，牙齿移动限制(例如，指示哪些牙齿不应作为治疗的一部分移动)，是否应使用邻间去除(ipr)和/或如何进行ipr、在治疗期间何时进行ipr或在何处进行ipr、是否应该使用附件，如果使用附件则附件应该放置在哪里(例如，在哪颗牙齿上)、改变牙齿之间的间距、拔出指令(包括拔出哪些牙齿以及在治疗过程中的哪个阶段拔出它们)、找平策略(例如，“切缘对齐”或“牙龈边缘对齐”)等。用户指令可以指示任何适当数量的偏好/指令(包括一个或多个)。指令可以是分类的和/或有条件的(例如，取决于一个或多个其他条件的指令)。
16.治疗计划引擎可以指接收治疗计划指令和/或患者信息(例如，患者牙齿的数字模
型)的软件、硬件和/或固件(或这些的某种组合)，并且可以将治疗计划指令应用于患者信息以生成一个或多个治疗计划。可以使用患者牙齿的任何合适的数字模型，包括3d体积扫描，例如来自口内扫描仪的扫描。
17.本文描述了用于生成针对正畸治疗的治疗计划的方法。这些方法中的任何一个都可以是计算机实现的方法。例如，本文描述的是计算机实现的方法，包括：通过以下方式创建用户偏好数据库：识别与用于治疗患者牙齿的临床行为相对应的参考关键偏好文本语句，访问包括多个牙科治疗指令的用户特定的文本指令集合，该多个牙科治疗指令各自与特定的用户相关联，通过在指定的概率范围内将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令进行匹配来从用户特定的文本指令集合识别用户特定的文本关键偏好语句，以及将如下条目添加到用户偏好数据库中，该条目链接用户特定的文本关键偏好语句、与用户特定的文本关键偏好语句相关联的特定用户以及用于治疗患者牙齿的临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
18.例如，计算机实现的方法可以包括：通过以下方式创建用户偏好数据库：识别与用于治疗患者牙齿的临床行为相对应的参考关键偏好文本语句，访问包括多个牙科治疗指令的用户特定的文本指令集合，该多个牙科治疗指令各自与特定的用户相关联，通过使用机器学习代理和相似性检索两者在指定的概率范围内将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令进行匹配来从用户特定的文本指令集合识别用户特定的文本关键偏好语句，以及将如下条目添加到用户偏好数据库中，该条目链接用户特定的文本关键偏好语句、与用户特定的文本关键偏好语句相关联的特定用户以及用于治疗患者牙齿的临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
19.一种计算机实现的方法可以包括:创建用户偏好数据库，其中，该数据库包括多个用户标识符、与每个用户标识符对应的一个或多个用户特定的文本关键偏好、以及与每个用户特定的文本关键偏好对应临床行为；接收患者牙列的描述；接收用以对患者进行正畸程序的用户特定的文本指令；以及通过以下方式自动生成牙科治疗计划：使用用户偏好数据库解释用户文本指令以将一个或多个用户特定的文本关键偏好与用户特定的文本指令中的一个或多个短语相匹配并且将与每个匹配的用户特定的文本指令对应临床行为并入牙科治疗计划中。
20.在这些方法中的任何一个中，使用用户偏好数据库自动生成牙科治疗计划可以包括：从与牙科专业人员相关联的用户偏好数据库中找到任何用户特定的文本关键偏好语句；以及将如下用于治疗患者牙齿的临床行为并入牙科治疗计划中，该临床行为对应于任何找到的用户特定的关键偏好，任何找到的用户特定的关键偏好与患者治疗指令中的短语相匹配。
21.可以使用用于从用户特定的文本指令集合中识别用户特定的文本关键偏好语句的任何适当方法，包括：使用机器学习代理来将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令匹配。例如，这些方法中的任何一个可以包括：使用从多个牙科治疗指令中选择的正面案例集合和从多个牙科治疗指令中选择的负面案例的集合来训练机器学习代理。机器学习代理可能正在实现适合分析句子的词袋变型。使用机器
学习代理识别用户特定的文本关键偏好语句以将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令匹配还可以包括：与机器学习代理同时使用相似性检索。例如，相似性检索可以包括damerau
‑
levenshtein距离度量。在这些方法中的任何一个中，从用户特定的文本指令集合中识别用户特定的文本关键偏好语句可以包括：使用相似性检索代理来将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令相匹配。
22.这些方法中的任何一个可以包括：从历史治疗数据集合中收集用户特定的文本指令集合。接收患者牙列的描述可以包括：接收患者牙列的数字模型。
23.本文还描述了可以执行本文描述的任何方法的系统。例如，系统可以包括：一个或多个处理器；存储器，耦接到一个或多个处理器，该存储器被配置为存储计算机程序指令，该计算机程序指令在由一个或多个处理器执行时执行计算机实现的方法，包括：通过以下方式创建用户偏好数据库：识别与用于治疗患者牙齿的临床行为相对应的参考关键偏好文本语句，访问包括多个牙科治疗指令的用户特定的文本指令集合，该多个牙科治疗指令各自与特定的用户相关联，通过在指定的概率范围内将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令进行匹配来从用户特定的文本指令集合识别用户特定的文本关键偏好语句，以及将如下条目添加到用户偏好数据库中，该条目链接用户特定的文本关键偏好语句、与用户特定的文本关键偏好语句相关联的特定用户以及用于治疗患者牙齿的临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
24.一种系统可以包括：一个或多个处理器；存储器，耦接到一个或多个处理器，该存储器被配置为存储计算机程序指令，该计算机程序指令在由一个或多个处理器执行时执行计算机实现的方法，包括：通过以下方式创建用户偏好数据库：识别与用于治疗患者牙齿的临床行为相对应的参考关键偏好文本语句，访问包括多个牙科治疗指令的用户特定的文本指令集合，该多个牙科治疗指令各自与特定的用户相关联，通过使用机器学习代理和相似性检索两者在指定的概率范围内将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令进行匹配来从用户特定的文本指令集合识别用户特定的文本关键偏好语句，以及将如下条目添加到用户偏好数据库中，该条目链接用户特定的文本关键偏好语句、与用户特定的文本关键偏好语句相关联的特定用户以及用于治疗患者牙齿的临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
25.在一些变型中，一种系统可以包括：一个或多个处理器；存储器，耦接到一个或多个处理器，该存储器被配置为存储计算机程序指令，该计算机程序指令在由一个或多个处理器执行时执行计算机实现的方法，包括：创建用户偏好数据库，其中，该数据库包括多个用户标识符、与每个用户标识符对应的一个或多个用户特定的文本关键偏好、以及与每个用户特定的文本关键偏好对应临床行为；接收患者牙列的描述；接收用以对患者进行正畸程序的用户特定的文本指令；以及通过以下方式自动生成牙科治疗计划：使用用户偏好数据库解释用户文本指令，以将一个或多个用户特定的文本关键偏好与用户特定的文本指令中的一个或多个短语相匹配；以及将与每个匹配的用户特定的文本指令对应临床行为并入牙科治疗计划中。
26.本文还描述了用于使用统计偏好分析的方法和装置(例如，系统)。例如，计算机实现的方法可以包括：通过以下方式创建用户偏好数据库：执行统计偏好分析以从包括多个牙科治疗指令的用户特定的文本指令集合中识别与单个用户相关联的关键偏好文本语句和用于治疗患者牙齿的对应临床行为，该多个牙科治疗指令各自与特定用户相关联，将如下条目添加到用户偏好数据库中，该条目链接关键偏好文本语句、与关键偏好文本语句相关联的单个用户以及用于治疗患者牙齿的对应临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
27.执行统计偏好分析可以包括：确认用于治疗患者牙齿的临床行为在某时间段期间保持大致恒定(例如，在时间段的70％期间、在时间段的75％期间、在时间段的80％期间、在时间段的85％期间、在时间段的90％期间、在时间段的95％期间等保持恒定)，其中，时间段可以是最近的治疗计划的集群的持续时间。
28.例如，计算机实现的方法可以包括：通过以下方式创建用户偏好数据库：从历史治疗数据集合中收集包括多个牙科治疗指令的用户特定的文本指令，该多个牙科治疗指令各自与和单个用户相关联的临床牙科程序相关联；从临床牙科程序指令识别某时间段期间统计上一致的用于治疗患者牙齿的临床行为和对应的关键偏好文本语句；将如下条目添加到用户偏好数据库中，该条目链接关键偏好文本语句、单个用户以及用于治疗患者牙齿的对应临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
29.计算机实施的方法可以包括：通过以下方式创建用户偏好数据库：从历史治疗数据集合中收集包括多个牙科治疗指令的用户特定的文本指令，该多个牙科治疗指令各自与和单个用户相关联的临床牙科程序相关联；从临床牙科程序指令识别某时间段期间统计上一致的用于治疗患者牙齿的临床行为和对应的关键偏好文本语句，其中，时间段包括用于治疗患者牙齿的临床行为的最近的集群的持续时间；将如下条目添加到用户偏好数据库中，该条目链接关键偏好文本语句、单个用户以及用于治疗患者牙齿的对应临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
30.使用用户偏好数据库自动生成牙科治疗计划可以包括：从与牙科专业人员相关联的用户偏好数据库中找到任何用户特定的文本关键偏好语句；以及将用于治疗患者牙齿的临床行为并入牙科治疗计划中，该临床行为对应于任何找到的用户特定的关键偏好，任何找到的用户特定的关键偏好与患者治疗指令中的短语相匹配。
31.统计偏好分析可以包括：从临床牙科程序指令中识别用于治疗患者牙齿的临床行为和对应的关键偏好文本语句，其中，用于治疗患者牙齿的临床行为在某时间段期间统计上是一致的。
32.这些方法中的任何一个可以包括：从历史治疗数据集合中收集包括多个牙科治疗指令的用户特定的文本指令，其中，每个牙科治疗指令与和单个用户相关联的临床牙科程序相关联。
33.执行统计偏好分析可以包括：在确认用于治疗患者牙齿的临床行为在最近的行为检测期间在统计上是一致的之后，在将统计偏好分析限制到时间段之后，执行统计偏好分
析。
34.这些方法中的任何一个可以包括：在将关键偏好文本语句和用于治疗患者牙齿的对应临床行为添加到用户偏好数据库之前手动对其进行验证。接收患者牙列的描述可以包括：接收患者牙列的数字模型。
35.本文还描述了被配置为执行本文描述的任何方法的系统。例如，系统可以包括：一个或多个处理器；存储器，耦接到一个或多个处理器，该存储器被配置为存储计算机程序指令，该计算机程序指令在由一个或多个处理器执行时执行计算机实现的方法，包括：通过以下方式创建用户偏好数据库：执行统计偏好分析以从包括多个牙科治疗指令的用户特定的文本指令集合中识别与单个用户相关联的关键偏好文本语句和用于治疗患者牙齿的对应临床行为，该多个牙科治疗指令各自与特定用户相关联，将如下条目添加到用户偏好数据库中，该条目链接关键偏好文本语句、与关键偏好文本语句相关联的单个用户以及用于治疗患者牙齿的对应临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
36.一种系统可以包括：一个或多个处理器；存储器，耦接到一个或多个处理器，该存储器被配置为存储计算机程序指令，该计算机程序指令在由一个或多个处理器执行时执行计算机实现的方法，包括：通过以下方式创建用户偏好数据库：从历史治疗数据集合中收集包括多个牙科治疗指令的用户特定的文本指令，该多个牙科治疗指令各自与和单个用户相关联的临床牙科程序相关联；从临床牙科程序指令识别某时间段期间统计上一致的用于治疗患者牙齿的临床行为和对应的关键偏好文本语句；将如下条目添加到用户偏好数据库中，该条目链接关键偏好文本语句、单个用户以及用于治疗患者牙齿的对应临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
37.这些系统中的任何一个可以包括：一个或多个处理器；存储器，耦接到一个或多个处理器，该存储器被配置为存储计算机程序指令，该计算机程序指令在由一个或多个处理器执行时执行计算机实现的方法，包括：通过以下方式创建用户偏好数据库：从历史治疗数据集合中收集包括多个牙科治疗指令的用户特定的文本指令，该多个牙科治疗指令各自与和单个用户相关联的临床牙科程序相关联；从临床牙科程序指令识别某时间段期间统计上一致的用于治疗患者牙齿的临床行为和对应的关键偏好文本语句，其中，时间段包括用于治疗患者牙齿的临床行为的最近的集群的持续时间；将如下条目添加到用户偏好数据库中，该条目链接关键偏好文本语句、单个用户以及用于治疗患者牙齿的对应临床行为；接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
附图说明
38.本发明的新颖特征在所附的权利要求中被特别地阐述。通过参考附图以及下面阐述说明性实施例的详细说明，可以获得对本发明的特征和优点的更好理解，在这些说明性实施例中利用了本发明的原理。
39.图1示出了用于确定用户或用户组偏好的集合的第一方法的工作流程。
40.图2示出了一种自动生成治疗计划并创建用于治疗患者的一系列牙科矫治器的方
法。
41.图3是示出使用如本文所述的用于自动生成治疗计划的方法的一种变型在自动治疗计划生成中的改进(示出了自动生成的治疗计划所需用户进行的修改减少)的图。
42.图4是实施监测用户或用户组偏好的集合和/或使用如本文所述的用户或用户组偏好的集合自动生成治疗计划的工作流程(例如，方法)的示例。
43.图5是示出如本文所述的自动生成的治疗计划的静力学的报告。
44.图6是示出如本文所述的自动生成的治疗计划的静力学的细节的报告的另一个示例。
45.图7是确定用户或用户组偏好的集合的第一方法的工作流程的另一个示例。
46.图8是示出来自不同用户的指令(“偏好文本”)的表格，机器学习代理已将指令分类为正面类别或负面类别。
47.图9是示出对用户随时间使用的关键偏好术语的分析的示例的图。
48.图10a是三个文本指令的示例，其中，使用用于在词的短语之间进行文本匹配的机器学习技术对这些文本指令标记了不同值(示出为上方具有数值的文本单元或词)。
49.图10b示出了三个语句中的每一个与目标语句(例如，关键偏好语句“start precision cuts at the stage#(在阶段#开始精确切割)”)之间匹配的概率。
50.图11是示出不同参考和找到的来自用户的文本描述的文本之间的相似性检索的结果的示例的表格，该表格示出了相似性的百分比。
51.图12是确定用户或用户组偏好的集合的第一方法的工作流程的另一个示例。
52.图13是示出使用damerau
‑
levenshtein(d
‑
l)距离估计对词匹配进行的相似性检索的示例的表格。
53.图14是示出使用语义相似性计算相似性估计的示例。
54.图15示出了实现诸如d
‑
l距离的相似性检索技术的示例。
55.图16a是确定用户或用户组偏好的集合的第一方法的工作流程的另一个示例。
56.图16b是确定用户或用户组偏好的集合的第一方法的工作流程的另一个示例。
57.图17示出了针对指定用户和指定临床行为的统计偏好分析的一个示例。
58.图18是针对指定用户和指定临床行为的统计偏好分析的另一个示例。
59.图19是描述文本特征限定过程的一种变型的框图的示例。
60.图20示出了一种创建用户偏好数据库的方法。
61.图21示出了使用用户偏好数据库自动生成治疗计划的方法。
62.图22示出了创建用户偏好数据库的另一种方法。
63.图23示出了如本文所述的自动治疗规划系统的一种变型。
具体实施方式
64.许多医疗专业人员对他们进行同样的标准医疗的方式有着强烈的偏好。例如，牙科医疗专业人员(例如，牙医、正畸医生、牙科技术人员等，本文称为“用户”)可以协助设计用于移动或对齐患者牙齿的治疗计划。作为治疗计划的一部分，用户可以提供患者牙科信息(例如，患者牙弓的模型或扫描)以及指令和/或偏好，并且可以接收用于对齐患者牙齿的建议的治疗计划。在许多情况下，用户之后通常可以通过与技术人员进行沟通来修改治疗
计划，以便可以调整治疗计划并再次提供给用户。该过程可以重复多次。尽管通常期望简化此过程并减少校正或调整(统称为“修改”)治疗计划的次数，但也期望确保最终的治疗计划符合用户的偏好和治疗目标。本文描述的方法和装置可以帮助确保在自动生成的治疗计划中尽可能准确地考虑用户的显性和隐性偏好。
65.用户偏好可以由用户明确限定和/或基于对用户治疗患者时的过去行为的分析来解释。本文描述的方法和装置(例如，设备和系统，包括但不限于软件、固件和硬件)可以构建用户(和/或用户组)特定的偏好的集合，可以维护和/或更新用户和/或用户组偏好的该集合，并且可以应用用户和/或用户组偏好的该集合以便自动或半自动地生成特定于患者并基于用户偏好定制的治疗计划。尽管本文描述的方法和装置可以特定于特定用户(例如，单个指定用户)，但在一些变型中，本文描述的方法和装置可以应用于两个或更多用户的组(例如，实践组(practice group))，或者指定用户或用户组可以选择应用另一个用户或用户组的偏好。
66.用户和/或用户组偏好的集合可以被构造为数据库、数据存储或任何其他适当的数据结构。因此，用户和/或用户组的集合可以被称为用户和/或用户组偏好数据结构，并且可以是但不一定是列表。用户和/或用户组偏好的集合可以存储在单个位置(例如，在远程服务器上)或分布在多个位置。用户和/或用户组偏好的集合可以在本地复制并从一个或多个不同站点更新。
67.用户和/或用户组偏好的集合可以包括信息以及一个或多个关联的临床行为，该信息包含多个用户(或用户组)和关联的指令(其可以被称为关键偏好)。例如，特定的医生x博士可以与一个或多个关键偏好相关联(例如，在过度矫正中没有附件、在阶段2和阶段3之间拔牙等)，并且每个关键偏好可以与可以应用于治疗计划的一个或多个(并且在某些情况下，为单个)临床行为(例如，移除过度矫正的附件，在阶段3执行拔出等)相关联。临床行为可以被标准化成例如特定领域正畸治疗语言(例如参见2019年4月30日提交的题为“systems and methods for treatment using domain
‑
specific treatment protocols(使用特定领域治疗协议进行治疗的系统和方法)”的第16/399,834号美国专利申请，其全部内容以引用方式并入本文中)。
68.一般而言，本文描述了用于创建和/或修改(包括更新)用户和/或用户组偏好的集合的方法和装置。用户和/或用户组偏好的集合可以最初或部分地基于来自一个或多个用户的历史数据分析。本文描述的方法和装置可以特定于单个用户或用户组。然而，在一些变型中，来自其他用户或用户组的常见或标准关键偏好(例如，指令)至少最初可以用于一些或所有用户。因此，本文描述的方法和装置可以形成用户和/或用户组偏好的集合，可以监测和更新用户和/或用户组偏好的集合，并且可以将用户和/或用户组偏好的集合应用于自动生成治疗计划。
69.例如，本文描述的方法和装置可以通过首先识别用户(或用户组)的关键偏好来提供治疗规划的自动化。该过程可以是自动的。识别特定用户或用户组的关键偏好是复杂的过程，本文描述的方法和装置提供了变型(其中一些或全部可以整体或部分组合)来构建和修改用户和/或用户组偏好的集合以包括每个用户或用户组的所有关键偏好或关键偏好的相关子集。用户和/或用户组偏好的集合中的每个用户或用户组可以包括相同或不同的关键偏好。
70.例如，在一些变型中，除了关于特定患者的信息(例如，牙科信息)之外，用户还可以提供对一些关键偏好的请求(例如，书面请求)，这些关键偏好对应于用户希望包括在治疗计划中或在治疗计划中考虑的某种类型的动作。这可以被包括为处方表格(例如，“治疗rx表格”)的一部分并且可以以自由文本(使用用户特定的语言、行话或符号)编写。在没有自动化的情况下，这些关键偏好必须由技术人员进行解释并应用于治疗计划的设计，或者跨特定于该用户或用户组的多个治疗计划。但是，用户可能以非常不同的方式表达他们的关键请求(例如，“从主动治疗的最后一个矫治器开始移除所有附件”，“在倒数第二个主动阶段后结束附件，因此最后两个主动阶段没有附件”、“在第一被动矫治器处移除所有附件”等)。此外，用户可以使用不同的语言(例如，英语、法语、西班牙语、中文、德语、日语、葡萄牙语、土耳其语、韩语等)编写他们的指令。例如，“在治疗结束时移除附件”是许多或所有用户使用的非常常见的指令，但可能以多种不同的方式表达，这可能对治疗处理产生负面影响，这是因为如果手动执行，技术人员将不得不花时间阅读、实施和重新检查甚至这些熟知和常见的指令。此外，在某些情况下，即使非常相似地表达的关键偏好在不同用户之间也可能不同。
71.本文描述的方法和装置可以以多种方式解决这些问题。例如，这些方法和装置可以通过从与用户或用户组相关联的批准的治疗计划及其特定于批准的治疗计划(可称为历史治疗数据)的指令的集合(例如，数据库)中文本挖掘用户指令来构建和维护用户和/或用户组偏好的集合。文本挖掘可以包括文本匹配(包括但不限于通过语义相似性进行的文本匹配)和/或专门适用于关键偏好的机器学习。除了文本挖掘之外，这些方法和装置还可以同时识别与识别的每个关键偏好相关联的用户特定和/或通用临床行为。关联的临床行为可以基于来自批准的治疗计划的经验证的临床行为。
72.替代地或附加地，用户和/或用户组偏好的集合可以包括一个或多个关键偏好，这些关键偏好是从用户未明确表达的用户历史治疗计划的分析中确定的。例如，在一些变型中，该方法和/或装置可以包括对来自用户治疗计划的临床行为的统计分析；在一些变型中，该统计分析可以基于来自用户治疗计划的当前(例如，最近的或与分析确定一致的)用户实践。该方法或装置可以生成关键偏好并将它们与识别的临床行为相关联。
73.因此，本文描述的方法和装置可以自动和/或半自动地从历史治疗数据集合中建立和维护用户和/或用户组偏好的集合。历史治疗数据集合可以是集中组织(curate)的数据库(例如，存储与用户或用户组相关联的批准的治疗计划以及来自用户的任何指令)。在历史治疗数据中存在与特定用户相关联的一个或多个关联的治疗计划的情况下，在一些变型中，该方法或装置可以首先识别文本指令并识别一个或多个关键偏好。对特定于特定用户(例如，指定用户)的一个或多个关键偏好的检索可以由从其他用户的书面指令和/或治疗计划中识别的关键偏好引导。例如，可以为其他用户群体确定常见的关键偏好；在某些变型中，这些其他用户可以是用户组的一部分，或者他们可以与指定用户相关或无关。
74.然后可以如本文所描述的分析指定用户的历史治疗数据，以从历史治疗数据中识别关键偏好和对应临床行为；该信息可以输入到用户和/或用户组偏好的集合中。如上所述，并且在下面更详细地描述，在一些变型中，代替从历史治疗数据中指定用户的文本指令中识别关键偏好或除了从历史治疗数据中指定用户的文本指令中识别关键偏好之外，该方法或装置可以查看指定用户的行为(例如，来自批准的治疗计划的临床行为)并与例如常见
的关键偏好相关联。因此，本文描述的方法和装置可以基于文本或用户行为添加或修改用户和/或用户组偏好的集合。
75.例如，本文描述的是用于形成用户和/或用户组偏好的集合的方法和装置，该集合包括用户(例如，医生、牙医、正畸医生等的列表)和与一个或多个临床行为相关联的经验证的文本指令(关键偏好)。这在图1中示出。在该示例中，该方法或装置可以首先找到可以为其确定和应用某些临床行为模式的用户。如图1所示，用户和/或用户组偏好的集合在该示例中被称为“具有与临床行为相关联的经验证的文本指令的医生列表”109。在该示例中，该列表(用户和/或用户组偏好的集合)是通过对指定用户101的文本指令的分析形成的。通过在与关键偏好相对应的文本指令中找到并包括词语和术语的变型，这些指令成为用户和/或用户组偏好的集合的核心。在该示例中，从指定用户或用户组101开始，然后该方法或装置可以例如从历史治疗数据的数据库识别和收集文本指令103。用户和/或用户组偏好的集合可以例如通过以下方式进行迭代地扩展：寻找参考指定的关键偏好的新的文本指令，根据文本指令形成最可能的候选者的列表，对其进行排名(例如，如下面详细描述的，通过一个或多个方法，包括机器学习技术和/或文本匹配等)。排名可以包括自动排除低于作为关键偏好的阈值名次或可能性概率的那些。
76.从文本指令103检索关键偏好的过程可以例如基于收集的文本指令从最常见和/或必要的关键偏好词语或短语开始。如上所述，最初，可以检查各种不同用户的群体以识别常见或流行的关键偏好以形成指令核心。例如，可以从收集的文本指令(例如，从历史治疗数据或其子集)识别出检索其文本指令和评论中使用与关键偏好相对应的特定关键字的用户。因此，可以形成指令变型(可能的关键偏好)的列表105。在下面更详细地描述用于收集可能的关键偏好(例如，识别可能的关键偏好)和对这些可能的关键偏好进行评级/排名或以其他方式在这些可能的关键偏好之间进行区分的不同方式的示例。基于来自前一步骤的结果，可以生成标识可能的关键偏好的列表。该过程可以包括对医生的治疗案例(例如，此类案例的数量)、文本指令和其他指标的分析。
77.然后，该方法或装置可以可选地将关键偏好与来自历史治疗数据的临床行为相关联。例如，装置或方法可以从形成的可能的关键偏好的列表执行手动指令标记107。文本标记(包括手动文本标记)可以根据关键偏好执行。在一些变型中，文本标记可以指关键偏好与特定临床行为的关联。该过程可以是半自动的(例如，尽管是自动生成的，但由技术人员进行协助或审查)。如图1所示，可选地，该过程可以包括验证步骤107’。验证可以包括人工审查(例如，由技术人员)。例如，标记的关键偏好(例如，指令)可以由具有所需水平的临床知识的负责人进行验证。
78.一旦已经构建了用户或用户组偏好的集合109(在该示例中，为具有与临床行为相关联的经验证的文本指令的医生的列表)，该用户或用户组偏好的集合就可用于检测关键偏好并应用对应临床行为从而为用户生成治疗计划。图2示出了使用用户或用户组偏好的集合来为指定用户自动生成针对患者定制的治疗计划的方法的一个图示。用户或用户组偏好的集合(例如，“形成的具有与临床行为相关联的经验证的文本指令的医生的列表”)是针对每个用户的键
‑
值(key
‑
value)结构，其中值是临床行为，关键字(key)是与该行为相对应的文本指令。在一些变型中，文本指令匹配过程(在创建用户或用户组偏好的集合时可用于识别关键偏好的同一过程，或不同的文本匹配过程)可以将用户的用于治疗患者的文本指
令与用户或用户组偏好的集合进行比较。当针对与指定用户或用户组相关联的关键偏好找到用户的治疗文本之间足够接近的匹配时，对应临床行为可以自动地被包括在新的治疗计划中。因此，在某些变型中，只有当治疗文本与关键偏好匹配时，才应用临床行为。通常，文本匹配可以不区分大小写并且可以忽略标点符号。
79.例如，如图2所示，示出了自动生成治疗计划的方法。在该示例中，假设已经生成了用户或用户组偏好的集合205；替代地或附加地，该方法可以包括生成用户或用户组偏好的集合，如图1中示意性所示。在图2中，装置(例如，治疗规划引擎)可以从用户接收患者特定的信息(例如，患者牙弓的描述，包括一个或多个扫描等)以及治疗文本，包括针对患者的对新的治疗计划的请求201，在该示例中，用户是“医生n”。然后，该方法或装置可以确定用户的(医生n的)治疗偏好203，这可以包括访问用户或用户组偏好的集合和/或生成用户或用户组偏好的集合，并且从包括的用户中识别用户医生n。在一些变型中，如果指定用户(在该示例中为医生n)还不是用户或用户组偏好的集合205的一部分，那么该用户可以被添加到用户或用户组偏好的集合，如上所述。例如，该方法或系统可以检查历史治疗数据集合以识别关键偏好和关联的临床行为，并将它们添加到用户或用户组偏好的集合中。在一些变型中，当指定用户请求新的治疗计划(或针对新案例的治疗计划)时，系统可以更新指定用户的用户或用户组偏好的集合。
80.然后，包括在用户或用户组偏好的集合205中的用户偏好可以通过将治疗文本与用户或用户组偏好的集合中的关键偏好(“分析的文本”)进行比较来与治疗文本207进行比较209。这可以包括文本匹配和/或机器学习，如下文将更详细地描述的。在识别出充分的匹配的情况下，来自用户或用户组偏好的集合的对应临床行为可以自动被包括在治疗计划中211。一旦已经识别(和/或更新和识别)了所有关键偏好，就可以自动生成治疗计划，并将其发送给治疗大楼213或在发送给治疗大楼之前发送给用户进行审查。如果用户对治疗计划进行了修改，则可以添加并且自动审查(例如，通过分析文本209)这些修改(作为新的或更新的治疗文本)，如上所述。
81.如上面简要提到的，在本文描述的任何变型中，用户或用户组偏好的集合可以通过审查治疗文本以标识关键偏好来进行更新和/或创建。例如，在历史治疗数据集合包括足够数量(和/或足够最近的)的案例(可以如下所述统计地确定)的变型中，该方法或装置可以将治疗文本的文本与来自历史治疗数据集合的用户先前的文本指令进行比较以标识任何用户特定的关键偏好。当存在足够置信度的匹配(可以手动或半手动审查或组织)时，可以将该用户或用户组的关键偏好添加到用户或用户组偏好的集合中。
82.在本文描述的这些方法和装置中的任何一个中，用户还可以或替代地选择可以从中选择关键偏好的用户组。例如，指定用户可以选择(例如，在请求新的或更新的治疗计划时)他们跟随其他用户或用户组(例如，关键意见领袖和/或实践组)。在一些变型中，该方法或装置然后可以应用来自其他用户或用户组的关键偏好，和/或可以为指定用户标识与为其他用户或用户组标识的那些关键偏好对应的关键偏好，并对来自用户或用户组偏好的集合中的其他用户或用户组描述的那些关键偏好中的每一个关键偏好应用对应临床行为。
83.在实践中，上述方法可以确保关键偏好的应用基于与预先验证的文本模式匹配的准确文本。这可用于准确且有效地生成一个或多个治疗计划。此外，可以显著地减少治疗规划过程的持续时间。例如，图3示出了如下图表的示例，该图表示出了基于用户对治疗计划
的修改需要对治疗计划进行改变(这可能需要人工注意)的案例(治疗计划)的百分比在实施上述方法后显著地降低了，从12.48％下降到8.5％。
84.监测
85.在本文描述的方法和装置中的任何一个中，可以例如手动或半自动地检查和验证所标识的关键偏好和/或临床行为。这可以降低可能阻止用户接受自动确定的治疗计划的不正确的检测和错误的风险。此外，用户可能改变他们的临床行为，使得先前检测到的关键偏好可能变得无效。因此，本文描述的是用于执行监测的监测(质量监测)方法和工具。这些方法和/或工具可以实现成本文所述的方法和装置，并且可以帮助检测用户的文本指令和/或临床行为(例如，应用的治疗选项)与最终接受的治疗计划不同的情况；例如，与用户的意图不同。一般而言，这些监测技术或工具可以聚合来自不同治疗计划创建阶段的数据，并可以提供报告或指标，其指示临床行为与用户的文本指令对应(或不对应)的程度。
86.监测可以用作质量控制系统并且可以帮助临床偏好检测工作流程。例如，作为质量控制系统的一部分，它可以提供关于自动偏好检测技术(和/或实现自动偏好检测技术的方法或装置)的鲁棒性的实际信息。如果与其(例如，在用户或用户组偏好的集合中)相关联的偏好检测和/或临床行为不正确，则可以进一步处理此类情况，和/或更新或校正用户或用户组偏好的集合。
87.例如，图4示出了使用如本文所述的实施用户或用户组偏好的集合的监测和/或使用用户或用户组偏好的集合自动生成治疗计划的工作流程(例如，方法)的示例。在图4中，除了最近行为检测算法之外，作为临床偏好检测工作流程的一部分，还包括监测工具并且其可以检测用户行为如何以及何时改变。在该示例性方法中，可以自动或半自动地生成治疗计划(多个治疗计划)，例如如上参考图1
‑
3所描述的。这些方法还可以包括创建403和/或维护用户或用户组偏好的集合405(在该示例中被称为“具有与临床行为相关联的经验证的文本指令的医生的列表”)。如上文图2中所描述的，当提供有例如接收患者牙弓的患者特定信息和用户指令/请求(例如，治疗文本)的治疗规划引擎407时，用户或用户组偏好的集合可用于自动生成一个或多个治疗计划。因此，治疗规划引擎可以访问用户或用户组偏好的集合，通过应用用于文本匹配和/或机器学习的一个或多个技术，可以识别关键偏好和关联的临床行为并且应用它们来自动生成治疗计划。然后，该治疗计划可以提供给用户以进行验证/最终确定，并且一旦最终确定，其就可以被添加到临床数据库409(例如，其可以包括但不限于历史治疗数据集合)。临床数据库和/或治疗规划引擎还可以包括一个或多个指示符，该指示符表示在最终确定和接受治疗计划之前需要多少次迭代，和/或用户在最终确定和/或接受治疗计划之前做出了哪些校正或请求。然后，监测工具411可以访问临床数据库和/或用户或用户组偏好的集合以基于来自临床数据库的数据审查治疗计划以及分析并提供包括校正措施的报告413，该审查数据可用于改进和/或校正用户或用户组偏好的集合。
88.例如，作为自动偏好应用工作流程的结果，可以生成和/或修改用户或用户组偏好的集合，并且用户或用户组偏好的集合可以提供关于特定治疗选项是否应该自动应用于当前案例的信息。在治疗计划创建过程中，临床数据库可以收集统计信息，包括但不限于关于应用或未应用的所有治疗选项的数据。监测可以使用该数据来提供指定时段内自动偏好应用的效果如何的报告，例如，当将用户或用户组偏好的集合与用户的指令进行比较时，文本匹配的效果如何，和/或如何完成或校正用户或用户组偏好的集合。例如，来自监测工具的
报告可能包括以下中的任何一个或多个：(1)最初提交的案例的总数；(2)具有识别的文本指令和自动应用的对应的治疗选项的初始案例数；(3)保留自动应用的治疗选项的接受的案例的数量；(4)因某个原因改变自动应用的治疗选项的接受的案例的数量；(5)没有自动应用的治疗选项的接受的案例的数量，其中在治疗计划创建期间手动应用这些选项；(6)以及没有自动应用的治疗选项的接受的案例的数量，其中没有手动应用这些选项。报告还可以包括或指示与被修改的任何案例相对应的用户。
89.该数据通常可以为所有用户或为每个特定用户生成。来自项(1)和(2)的数据可用于评估自动偏好应用工作流程对治疗规划的影响。例如，如果文本指令被改变或用户的临床行为被改变(例如，用户不再使用对应的特征)。
90.来自项(3)至(6)的数据可以提供良好/不良检测率。来自项(3)和(6)的案例可能遵循正面的场景：如果存在文本指令，则预计可以应用治疗选项，而如果没有此类文本指令，则将不会应用治疗选项。来自项(4)的案例可能遵循负面的场景：检测到的偏好不适合用户的实际需求。可以对此进行详细调查，并且可能将该文本指令从列表中排除。来自项(5)的案例可以被标记为中性；当应用的治疗选项是案例特定的并且用户没有在文本中对此进行说明时，存在许多情况。但是，如果用户有很多此类案例，这可能表明系统可能将该用户标记为了解此类异常。
91.本文描述的监测工具可以提供不同种类的报告，包括给用户的报告和/或给治疗规划引擎的反馈。下面在表1(图5)中示出了具有多个用户的统计数据的简要报告示例。在一些变型中，可以生成具有每个用户的统计数据的更详细的报告，此类报告的示例在表2(图6)中示出。正面案例被批准，负面案例表示未被批准的案例(并且可以通过校正转换为正面案例)。例如，如果用户具有相对较大的负面案例比率(或负面案例百分比)，则用户或管理员(例如，操作治疗规划引擎)可以为用户的案例找出原因并确定是否应该排除关键偏好和/或是否应该修改和/或排除关联的临床行为。在一些变型中，低正面案例数量(例如，正面案例百分比)以及高中性案例比率(例如，中性案例百分比)可能表明用户的行为发生了改变并且所有或部分关键偏好已经过时，应该进行更新或移除。
92.文本检索
93.本文描述的方法和装置可以基于治疗文本指令与对应于关键偏好和/或临床行为的已知文本模式的匹配，从用户文本指令(例如，治疗文本指令)中识别关键偏好。通常被称为文本检索或文本匹配，本文描述的是可以适用于在以下中的一个或多个期间识别关键偏好的各种技术：通过浏览历史治疗数据集合并将指定用户的历史文本指令与已知的关键偏好进行比较或将指定用户的历史文本指令与指定用户的其他历史文本指令进行比较，来为一个或多个用户或用户组创建用户或用户组偏好的初始集合；和/或将指定用户的当前文本指令与用户或用户组偏好的集合中已有的关键偏好进行比较。因此，文本检索(本文中也可以称为并且可以包括文本匹配)可以是适合用于如下方法和装置中的任何一个，在该方法和装置中，用户文本与其他文本进行比较以便识别文本(例如，关键偏好文本和/或临床行为文本)各部分之间的匹配和/或对其进行评分。本文描述的文本检索/文本匹配技术特别适用于扩展文本模式并且可以提供可用于指示正面匹配或负面匹配的置信度。
94.在一些变型中，用于本文描述的文本匹配的技术可以包括适合使用的一种或多种机器学习技术。例如，本文描述的是用于在用户的文本指令和一个或多个关键偏好之间找
到匹配(或用于对匹配进行评分)的机器学习技术。一般而言，在本文所述的任一装置和方法中可并入(例如，并入工作流程中)适于将识别的或推定的关键偏好文本与用户文本匹配的一种或多种文本匹配技术。例如，可以将用于文本匹配到识别的或推定的关键偏好的机器学习技术集成到现有工作流程中，如图7中示意性所示。
95.图7类似于图1中所示的工作流程(例如，方法)，但包括使用机器学习703作为文本指令的收集103和检索105的一部分。在该示例中，用户或用户组偏好的集合是通过使用机器学习文本匹配技术和识别用户文本指令中的关键偏好两者来创建的，并且来自用户或用户组偏好的集合的关键偏好可以通过机器学习技术来完成。例如，在一些变型中，文本匹配引擎可以被配置为机器学习代理(例如，引擎)，基于从每个临床行为的历史治疗数据集合中识别的关键偏好对该机器学习代理进行训练。此外，经训练的模型可以在从最近的时间段延续到确定为保持准确的时间段的指定时间段的历史治疗数据中分析用户的文本指令(如由如下所述的统计分析确定的(例如，指示具有相同关键偏好和/或临床行为的一致用户用户))。结果可以是具有对应于目标临床偏好的高概率的文本指令(推定的关键偏好)列表。技术人员或具有足够临床知识的其他人可以审查(例如，组织)识别的推定关键偏好；因此，在验证每个识别的推定关键偏好和/或临床行为之后，可以(至少最初，在训练引擎时)手动标记推定的临床行为。所得到的经验证的关键偏好可以作为与临床行为相关联的最终关键偏好列表而保存，并且这些指令可以用于扩展训练和测试数据集以进一步进行关键偏好的机器学习。
96.例如，机器学习(ml)引擎可以在关键偏好(例如，在限定的治疗阶段拔牙)的示例处识别例如收集的文本指令的集合。出于ml的目的，这些文本指令可以分为两个数据集：表达在特定治疗阶段执行拔牙的用户期望的指令(例如，正面数据集)，以及与该偏好类型无关的任何文本指令(例如，负面数据集)。可以被视为正面数据集的一部分的文本指令示例可能包括例如：“在阶段2拔出ext”、“在矫治器在托盘1之后进行放置之后将进行拔出”、“矫治器，从2进行拔出”和“延迟拔出，直到第二矫治器为止”。可以是负面数据集的一部分的文本指令可以包括例如：“无拔出”、“年轻时拔出4s”和“将颊侧和舌侧的所有矫治器修整额外的1毫米”。
97.然后，可以使用经训练的ml分类模型来分析与最近的治疗相关的用户文本指令。对于每个文本指令，机器学习代理可以将文本指令分类为属于两个类别中的一个(正面或负面)。因此，用户的文本指令的数据集(例如，列表)可以包括每个文本指令的类别，将其分类为正面或负面。可以标记和验证所得到的分类的数据集。图8中的表(表3)示出了已被机器学习代理分类成正面类别或负面类别的来自不同用户的文本指令(“偏好文本”)的示例。
98.可以修改机器学习代理以将用户文本信息的分类改进为匹配(正面)特定的关键偏好，或不匹配(负面)特定的关键偏好。例如，为了实现更好的分类，可以对被分析的用户文本指令应用一个或多个过滤器，以训练来自指定用户的指令文本并应用于来自指定用户的指令文本。例如，文本可以首先被转换为全小写(或大写)文本；文本可以被过滤以忽略或移除某些字符或符号，例如数字、标点符号、常用词(例如，嗨、谢谢、再见等)；文本可以被拆分成短语(例如，按行尾、句尾、标点等)。
99.一般而言，任何合适的机器学习模型都可以用于文本分类，包括但不限于：随机森林、词袋和weod2vec。例如，随机森林或随机决策森林是用于分类、回归和其他任务的集成
学习方法，它通过在训练时构建大量决策树并输出作为各个树的类别模式(分类)或均值预测(回归)的类别。随机决策森林校正了决策树过度拟合到其训练集的习惯。
100.词袋模型是在自然语言处理和信息检索(ir)中使用的简化表示。在该模型中，文本(例如，句子或文档)被表示为它的词袋(多重集)，不考虑语法甚至词序，但保持多样性。词袋模型通常用于文档分类方法，其中每个词语的出现(频率)用作训练分类器的特征。
101.word2vec可以指用于产生词语嵌入的相关模型的组。这些模型是浅的两层神经网络，其被训练为重建词语的语言语境。word2vec将大型文本语料库作为其输入，并产生向量空间(通常为数百个维度)，语料库中的每个独特的词语均被分配空间中对应的向量。词向量定位在向量空间中，使得在语料库中共享公共语境的词语在空间中彼此靠近。
102.本文描述的ml代理可以在没有附加成本的情况下简化和提高检索新的文本指令的速度，并且可以在使用ml代理的文本匹配中提供显著地改进。
103.返回到图7，ml代理703可以作为文本分类系统的至少一部分被包括在工作流程中，该文本分类系统可以用于从用户的文本指令101自动生成候选关键偏好的列表。例如，在某些变型中，ml代理可以被配置为使用修改后的词袋模型来训练关键偏好和从用户推荐文本中找到关键偏好。如上所述，可以手动或半自动地审查或评估识别的候选关键偏好(推定的关键偏好)以确认来自文本指令的识别的术语与关键偏好相关。可以通过使用例如卷积神经网络(cnn)用于文本分类问题来改进分类模型。在某些变型中，可能需要ml代理在没有用于训练和测试的数据集的情况下工作，因此只有在文本分类已经完成后才能执行数据标记。对于用以帮助自动生成治疗计划的每个可能文本匹配的新的关键偏好，可以仅使用文本指令的小的集合(在某些情况下手动收集的)。因此，在数据集非常小、不平衡且“脏”的情况下，经训练的模型通常效率非常低。这可以通过使用临床分析技术来解决，该临床分析技术为每个用户提供对应于实际用户(或用户组)数据的最有规律的最近临床行为和个人数据，例如，在限定或确定的具有高置信度水平的时间段内最近的配置的治疗计划和指令集。例如，图9示出了对来自历史治疗数据集合的特定用户的关键偏好术语“在阶段#开始精确切割”的分析，该历史治疗数据集合包括两年内收集的大量用户的治疗计划和用户指令(图9示出了从715天前的第一日期延续到第二日期(例如，当前日期)的时间段)。图9中的竖直线909表示用户已经显示出清晰的临床模式后的日期(439天前)。最近的案例的精确切割阶段在竖直线的左侧示出，旧案例在竖直线的右侧示出。因此，仅从建立了当前的治疗偏好起(例如，从439天前起)，ml代理可以更有效地考虑所有用户的文本偏好，作为正面样本。因此，通过将数据限制为仅与关键偏好对应的当前临床行为，ml代理可以被训练并且可以更可靠地操作来确定正面类别，而负面数据集可以由不具有任何行为模式(阶段混乱)的用户的偏好形成。该方法对于将整个用户的文本进行分类是有用的，该用户的文本可以包括许多不同的文本指令(通常等于至少一个句子)。然而，确定哪些简短的指令对应于与推定的关键偏好(目标)相关的用户意图可能更有帮助。因此，ml代理可以使用词袋ml模型，该模型将某些词语与对应于其在文本类别的计算过程中的重要性的值进行匹配。作为示例，图10a示出了由不同值标记的文本指令(示出为文本单元或在其上方具有数值的词语)的示例。较大的数值可以对应于该词语对文本类别的较大的重要性，其中用户指令请求目标偏好，例如“在阶段#开始精确切割”。为简单起见，如果整个文本包含该词语(word)，则这些值可以称为整个文本对应于目标类别的条件概率。在以下描述中，这些条件概率可以标记为：
104.p(class
+
│
word)
105.句子(sentence)表达用户的目标偏好的概率可以被计算为以下的和：
[0106][0107]
其中，
[0108]
p(class
+
│
word
i
)是在用户的整个文本包含编号i的词语的情况下，用户的整个文本具有与目标偏好相关的指令的条件概率。n是整个数据集中独特词语的总数。
[0109]
i(word
i
∈sentence)是显示该句子包含第i个词语的指示函数。可以通过词袋模型基于整个指令/句子而不是单个词语得到相同的概率，如图10b所示。
[0110]
因此，根据该方法，可以计算出数据集中每个独特指令的条件概率：
[0111]
p(class
+
│
instruction
j
)
[0112]
其中，j<m是独特指令的总数。
[0113]
为了能够基于包括的词语计算任意句子的概率，可以拟合以下模型：
[0114][0115]
因此，任意句子的概率可以被评估为：
[0116][0117]
然后，这些估计的概率可以用于基于使用词袋的该ml代理来确定检查的文本是否包括关键偏好。
[0118]
替代地或附加地，文本检索可以包括执行相似性检索的一种或多种文本匹配技术(例如，damerau
‑
levenshtein距离度量)，以便找到用户文本指令中的术语与一个或多个关键偏好之间的匹配。如上所述，与已知关键偏好(例如，对应于临床行为的关键偏好)匹配的文本指令可以应用已知的文本模式技术。在本文描述的方法和装置的一些变型中，文本相似性可用于基于例如damerau
‑
levenshtein距离度量的检索算法，以找到与关键(例如，临床)偏好相对应的用户或用户组的文本指令。基于damerau
‑
levenshtein距离(d
‑
l或编辑距离)度量的相似性检索算法可以在输入文本中找到与给定参考相似的句子。例如，可以从0到100％之间指定相似性阈值。100％意味着该技术应该匹配完全相同的句子(在该示例中，忽略字母大小写和词语顺序)，而0％意味着完全不同的句子将被匹配为相似。通常，较高的阈值可以提供更准确的结果，而较低的阈值可以给出更多的正面匹配，但也可能显著地增大错误率(错误匹配)。
[0119]
图11是示出了在应用相似性检索(例如，编辑距离(例如，d
‑
l距离)度量)作为文本匹配/文本检索的全部或部分时使用参考关键偏好的文本相似性的示例的表格。编辑距离的使用可以增大识别出的关键偏好的数量，尤其是在与机器学习(ml)方法(例如，上述那些方法中的一个)一起使用时，增大高达20％。此外，与手动文本标记相比，编辑距离度量还可以显著地减少创建初始数据集和文本样本的时间量。当标记的文本语言不是执行标记的人的母语时，这种改进甚至更大。
[0120]
图12是包括使用编辑距离度量作为文本匹配部1205的一部分的工作流程(例如，
类似于图1和图7)的示意图的另一个示例，该文本匹配部1205包括机器学习(ml)代理1202和相似性检索1204两者。如上所述，至少有两种类型的工作流程可以包括关键偏好的识别。第一种类型的工作流程可以包括识别关键偏好以初始构建用户或用户组偏好的集合，这可以包括训练和测试可以用于机器学习(ml)代理的文本样本。经训练的代理可用于分析长时间段内的用户的文本指令。结果可以是具有对应于临床偏好的高概率(反映实际关键偏好)的文本指令(推定的关键术语)的列表。然后具有适当的临床知识的技术人员可以手动或半自动地标记和/或验证找到的指令文本以作为关键偏好。所得到的关键偏好、用户识别和对应临床行为可以形成用户或用户组偏好的集合，该集合可以用作相似性检索技术(例如，dl距离度量)的初始数据集，以扩展或细化找到的指令的列表。相似性检索技术可以有助于找到如下文本指令，否则这些文本指令可能由于关键字拼写错误、词序不同以及算法不准确而被ml技术跳过。
[0121]
此外，相似性检索技术可以有效地用于少量的初始文本指令。例如，当初始文本指令的数量不足以训练ml代理时，可以使用相似性检索作为与ml分开的工作流程(例如，没有ml代理)。这对于识别用不同语言或语言的组合(例如，西班牙语、法语、日语等)编写指令的用户的关键偏好可能非常有帮助。图12中所示的工作流程的其他部分可以与上述图1和图7相同。找到的指令在被添加到与临床偏好文本指令相关联的列表中之前必须经过人工验证。只要检索给出新的结果，该列表就可以再次用作检索算法的初始数据集。
[0122]
上述相似性检索技术是可适用于单独的词语的d
‑
l距离度量。如上所述，可以首先准备通过相似性检索进行检查的文本，这可以提高检索准确度。例如，在某些变型中，输入文本可能被句尾(点)或行尾(\n)分割；所有数字都可以用占位符替换；文本可以按大小写进行规范化(例如，全部小写或大写)；并且可以移除所有特殊符号和标点符号。
[0123]
因此，代替直接测量整个句子之间的距离，或者除了测量整个句子之间的距离之外，本文描述的相似性检索(例如，d
‑
l距离确定)技术可以使用逐词距离度量。如果词语相似性大于指定阈值，则它们被视为匹配。整体句子相似性可以使用以下公式计算：
[0124][0125]
其中，lsim
i
是被标记为相似的第i个词语的长度，ldiff
i
是被标记为不同的第i个词语的长度，lall是所有词语的长度之和。如果所得到的相似性大于阈值量，则词语(例如，或词组，例如，句子)将被添加到验证列表中。图14示出了语义相似性的示例，其中关键偏好“no attachment in overccorection aligners(过度矫正矫治器中没有附件)”与用户的指令文本(写为“remove attachments at overcorrection(在过度矫正时移除附件)”)进行比较。使这两个语句相同所需的改变如下所示(例如，3个替换、9个插入、4个删除、1个换位)，从中可以估计相似性分数，如图所示。
[0126]
因此，d
‑
l距离是用于测量两个序列之间的编辑距离的字符串度量。非正式地，两个词语之间的damerau
‑
levenshtein距离是将一个词语改变为另一个词语所需的最小操作次数(包括单个字符的插入、删除或替换，或两个相邻字符的换位)。使用该技术，可以确定检索结果之间的相似性。图13示出了表(表4)，该表展示了使用d
‑
l距离的词语匹配、唯一的用户标识符、来自其文本指令的与参考匹配的文本和当前指令的临床行为。技术人员(或在某些情况下为用户)可以接受或拒绝示出的建议。可以通过应用逐词相似性检索来改进本文描述的文本匹配。因此，来自用户文本指令的每个词语可以与来自参考的每个词语进行
匹配(例如，推定的关键偏好)。此外，相似性检索可以将参考关键偏好的大小(例如，字符长度或大小长度)限制为小于匹配阈值，例如，限制相似性检索以比较文本指令的如下片段(例如，单个句子、短语)等)，这些片段在参考(例如，推定的关键偏好)的长度的约50％至约165％之间(例如，35％至185％之间、40％至180％之间、45％至170％之间、50％至165％之间、55％至160％之间等)。
[0127]
图15示出了用于实现诸如d
‑
l距离之类的相似性检索技术的方法的一个示例。如图12所示，该技术可以集成到工作流程(例如，自动生成治疗计划的方法)中。在图15中，使用相似性检索构建用户或用户组偏好的集合。在该示例中，装置或方法可以从临床数据库1503获得每个用户1501(例如，每个clinid)的所有指令1507，以生成数据1505，该数据示出链接到每个用户的指令。然后方法或装置可以应用文本过滤器1509来编排指令的文本的格式(例如，全部小写或大写，移除标点符号等)。然后可以对准备好的文本1511进行处理以执行如上所述的相似性检索1515，例如使用相似性检索技术(例如，dl距离)将每个用户的推定的关键偏好与来自如上所述的历史治疗数据集合(例如，参考数据库)1513的最终指令和/或临床行为的全部或部分进行比较。具有高于相似性阈值或预测水平的最高相似性的结果(例如，>x％的匹配，其中，x是40、45、50、55、60、65、70、75、80、85、90等。)可以被认为是真正的匹配并且可以被添加到用户或用户组偏好的集合1517。可以利用新的参考重复该检索以构建和/或更新用户或用户组偏好的集合。
[0128]
通常，用于识别关键偏好语言的机器学习代理和/或相似性检索代理可用于生成用户或用户组偏好的集合，如上所述，并在图7和图12的工作流程中示出。因此，这些代理(本文可以称为引擎)可以单独使用，也可以一起使用。特别地，相似性检索代理可用于例如通过扩展用于训练机器学习代理的正面(或负面)集合来改进机器学习代理的行为。机器学习代理(或新的机器学习代理)和相似性检索代理中的任一个或两者可用于识别或确认用户当前的文本指令与用户或用户组关键的集合中的关键偏好之一之间的匹配。可以应用用于确认匹配的不同(并且在某些情况下更严格)阈值来确认新案例的用户的文本指令与用户或用户组偏好的集合之间的匹配，因为将用户与他们自己的语言进行比较。或者，在某些变型中，文本可能必须完全或几乎完全匹配。
[0129]
统计偏好分析
[0130]
在一些情况下，可以通过使用统计分析来生成、扩展和/或更新用户或用户组偏好的集合以识别具有一致临床行为和/或文本指令的用户，即使在这些文本指令不匹配候选关键偏好时。
[0131]
因此，在一些变型中，替代地或除了检索用户文本指令以自动或半自动地识别用于生成如上所述的一个或多个治疗计划的预期临床指令之外，还可以使用用户行为来识别临床行为和对应的指令(关键偏好)。例如，用户特定的关键偏好(与临床行为相关)可以通过从用户过去的行为中检测统计上一致的临床行为来自动或半自动确定。通常，包括统计偏好分析代理(或统计偏好分析引擎)的装置和方法可以通过从历史治疗数据集合随时间检查指定用户的存储的治疗数据来识别用户特定的临床行为和对应的关键偏好(例如，文本指令)。当对于指定用户存在统计上一致的行为(例如，治疗指令和/或临床行为)时，也可以将用户、用户的关键偏好和对应临床行为添加到用户或用户组偏好的集合。如图16a所示，该过程可以与上述文本匹配过程并行执行。
[0132]
该统计分析的使用(例如，统计偏好分析代理的使用)可以提高用户指令的自动解释的准确性并且可以扩大可以对其应用自动解释的用户的数量。这些方法和装置还可以识别如下用户的关键偏好：这些用户没有明确地为他们的治疗提供文本指令，或者没有以标准方式提供文本指令。因此，这些方法可以改进和扩展机器学习代理和/或相似性检索代理的操作。最后，这些方法和装置还可以或可替代地应用于具有非英语文本指令和内部技术人员的协议的用户，并且可以验证先前识别的用户文本指令和关联的临床行为。
[0133]
例如，统计偏好分析代理可以确定指定用户在多个案例中在随着为患者形成治疗计划的请求的用户的文本指令中是否高度一致。该方法或装置可以设置阈值(或多于一个阈值)，但是可以以其他方式寻找在多个案例之间基本相同，高于用于比较的某个阈值的指令或请求。
[0134]
通常，在所有用户的治疗计划期间可能存在共同的临床行为模式，这些行为模式涉及不同的治疗阶段。最频繁的临床行为模式(可以是用户或用户组偏好的集合中的全部关键偏好(例如，文本指令)或关键偏好的子集)可以用作用于执行统计分析的起点。例如，用户或用户组偏好的集合可以包括机器学习代理的输出和/或相似性检索代理的输出、识别用户、针对该用户和临床行为的对应关键偏好。可以为每个用户单独分析历史治疗数据的集合(例如，用户的列表，包括机器学习代理和/或相似性检索代理没有识别其任何或许多关键偏好的用户)，以确定每个用户的个人行为检测目的。
[0135]
在一个变型中，研究特定用户的先前接受的用户治疗计划以识别一致的临床行为模式。计算一个或多个指标(例如，治疗选项出现的频率及其标准偏差)。该分析可提供指示部分临床行为的指标阈值。可以假设具有稳定的临床行为模式的用户作为进一步常见文本偏好分析的候选者。该方法可以提供廉价的方式来生成或扩展用户或用户组偏好的集合(特别是当用户使用不规则的关键偏好(关键字)时)，以指示用户的临床偏好。
[0136]
因此，实际(或最近)的用户临床行为检测可以是统计分析的附加步骤或统计分析之前的附加步骤。该步骤可以假设用户指定了临床偏好之后的日期。因此，从该假设的日期到现在，用户的临床行为可能看起来是一致的。统计治疗分析能够有效地检测该临床行为调查。
[0137]
该技术的直接应用(或统计偏好分析代理的实现)可以查看用户文本指令中特定的关键偏好的统计出现率和任何对应临床行为；替代地或附加地，该方法和/或统计偏好分析代理可以检查一个或多个临床行为(包括与在用户或用户组偏好的集合中已经为其他用户识别的关键偏好相对应的那些临床行为)的统计出现率。如果特定于特定用户的关键偏好和/或临床行为(例如，其他用户常见的并且在用户或用户组偏好的集合中的临床行为)的变化非常低，则行为的平均值的标准偏差等于或高于阈值(例如，在平均值的y％内，其中，y为5、10、15、20、25、30、35、40、50、60等)。
[0138]
因此，如图16a中所示，可以在用于生成用户或用户组偏好的集合109的工作流程中包括统计偏好分析(或统计偏好分析代理)。图16a是图1、图7和图12所示的用于生成用户或用户组偏好的集合的工作流程的修改。在图16a中，统计治疗分析可以与如上所述的收集的文本指令101的文本匹配(文本检索105')的使用并行进行，包括识别和审查某些用户的候选关键偏好1606，并手动或半自动地组织结果107，然后结果被添加到用户或用户组偏好的集合109中。统计偏好分析可以通过识别治疗的一个或多个临床行为1604和/或用户特定
的关键偏好，并基于历史治疗数据(临床行为1608)确定用户使用它们的一致性如何。在手动或半自动验证107、107'之后，一致应用的临床行为及其对应的用户特定的关键偏好语言(如在平行文本匹配路径中)与用户标识一起添加到用户或用户组偏好的集合中。
[0139]
在一些情况下，特别是对于在长时间段内延续的历史治疗数据，用户可能将他们的实践改变一次或多次，例如，从第一次一致的实践改变为第二次一致的实践。这可以通过检查可以以数字方式表示的行为的聚类来考虑(例如，对于与在特定治疗阶段采取的行动相关的行为，治疗阶段可能改变)。
[0140]
例如，在1.6年的时段内延续的历史治疗数据的数据集中，可以假设用户可以自该时段开始以来至少几次周期性地改变他们的临床偏好。此外，对于每个临床特征，用户可以同时具有多于一个的临床行为，例如根据患者的年龄或产品类型，在不同阶段执行ipr或拔牙。一般来说，状况可能非常复杂，很难找到明确的限定。在这种情况下，数字偏好(如执行任何临床特征、ipr、拔出的阶段)可能不会具有小的偏差值，原始统计数据的调查基于这些偏差值。
[0141]
在这种情况下，限定自其开始用户最近的个人行为最强烈(例如，最一致)的日期，和/或识别涵盖所有或几乎所有的用户的治疗案例的一个或多个行为模式可能是有帮助的。
[0142]
一些临床特征可以被称为数字特征，因为它们可以容易地被量化。例如，数字特征可以包括开始ipr的阶段(阶段编号)、移除附件的阶段(阶段编号)等。可能难以为其限定距离度量的非数字特征可以包括例如来自评论的文本指令。
[0143]
可以在多个维度上处理数字特征(例如，提供多个集群)。例如，使用距离度量。数字特征的距离度量可以使用欧几里得范数。出于聚类目的，可以考虑[特征]x[时间线]平面。可以应用二维(2d)分布高斯混合聚类模型。可以假设用户在限定的时间段内改变他们的行为不能超过某个最大次数(例如，在1.5年内不超过5次)。该模型可能适用于各种集群，其中，每个集群都可以被视为用户的一致偏好。因此，作为结果，可能存在例如具有不同数量的集群的5个配置。可以基于该配置中每个集群内标准偏差的最小平均值来选择一种配置。
[0144]
可以从选择的配置中选择最近的用户偏好作为一个集群。基于选择的配置的聚类结果，对于每个集群，可以找到最早的案例作为集群的“since_date”属性，并且可以选择具有最接近(今天)“since_date”的集群。选择的集群的“since_date”可被视为上次临床偏好改变日期。自该日期以来的所有案例都应被视为包括实际的当前的用户偏好。因此，对于所有这些情况，可以应用下一个聚类模型。来自最近的“since_date”的案例可以由kmenas聚类模型进行处理。可以假设用户不能同时具有超过四种不同的行为模式和相同的偏好，因此可以训练kmeans模型3次，并基于总体/平均标准偏差值选择最佳集群数。附加的集群过滤可以基于集群的大小和围绕集群质心的标准偏差。因此，目标结果可以包括：临床偏好开始日期和集群的质心，它们是目标数字特征的值。
[0145]
图17示出了临床行为的数字特征的结果的示例。竖直线1709是实际的当前临床行为的找到的开始日期。最终的集群利用<0.5的集群内的标准偏差的阈值进行过滤。该示例将单个用户(“医生a”)示出为[特征]x[时间线]图。在该示例中，自竖直线日期起，医生a在阶段13具有一致的数字临床特征偏好。在该示例中，选择的时段具有单个临床特征(13，对
应于动作(例如，邻间去除等)的阶段)被执行，包括423个案例；自所识别的集群开始(竖直线1709)起，该特征一致地应用于所有案例的98.58％，并且标准偏差为0.0。
[0146]
图18示出了另一个用户(“医生b”)的第二示例。在该示例中，医生b具有一致的多个数字临床特征的偏好：7和13。在图18示出医生b的[特征]x[时间线]图。在该示例中，可以确定两个集群的选择的时段1809的统计数据。第一集群在临床特征13处，其包括64个案例(自时间段1809开始以来的案例数的17.63％，标准差为0.0)；第二集群在临床特征7处，其包括266个案例(自时间段1809开始以来的案例数的73.28％，标准差为0.23)。
[0147]
在一些情况下，特征可以是文本特征，其不能立即适用于检查不同集群的数字表示(例如，表示为日期)。因此，了解用户在评论和文本指令中最常写的内容可能有所帮助。可以假设文本指令与用户的临床偏好有关。这些偏好可以改变，因此使用最近的实际文本指令可能是有用的。这些指令可以被过滤和规范化：去除常见的短语分析(你好，谢谢等)；将所有字母设置为相同大小写(例如，短语中的大写字母是可变的，不应该对分析结果产生任何影响)；从指令序列中去除枚举和列表标记；和/或在换行和/或句点处分割长指令。由于短语长度差异敏感性或每个与每个之间的关系的计算成本，文本指令可能难以估计变化之间的距离度量。
[0148]
在一些变型中，可以估计短语度量计算。由于文本指令的出现频率可能较低，因此可以将分析时段按周划分，并且可以计算出该周中的每个文本指令频率。该指令频率可以由该周的权重加权。因此，对于每条指令，可能有每周值的向量。此外，可以使用向量的值线性地近似指令频率曲线。该曲线的积分可以用作指令度量。然后该装置或方法可以确定其度量的总和最大的指令的组合；此类组合中的指令数量可能受限于最高数量(例如，前3、前10条指令等)。
[0149]
容限期(tolerance period)可以用于解决该问题。容忍期可以是数周，在此期间指令组合集即使其度量总和小于当前度量的总和最大值也不被改变。当存在特定案例类型(这不是很常见)的频繁的指令时，这可能很有用。如上所述，容限期可用于形成指令的第一集合。指令的度量可以在容限期内计算，并且可以使用原始度量排序来选择初始指令的组合。图19示出了描述文本特征限定过程的示例的框图的一个示例。在图19中，图示的方法示出了通过迭代地确定最大度量和来限定文本特征的方法。在该示例中，计算期每次增加一周，所有指标都为新的计算期重新计算。如果选择的指令的度量和为最大值，则计算期将增加并且过程将向前推进。如果当前指令的度量总和未达到最大值，且剩余容限期为正，则容限期将减少，但计算期将增加并且该过程将继续。如果容限期为零或为负，则该过程将结束：假设偏好在该日期发生变化，该日期被计算为：now()
‑
(current_calculation_preiod
‑
initial_tolreance_period)*7days。在该示例中，当前的容忍期为5周。
[0150]
本文描述的统计偏好分析方法(和用于执行它们的统计偏好分析代理)可用于锐化数据时段(如图17所示，其中仅使用更相关的最近数据)。这可以大大降低统计噪声的影响。
[0151]
示例
[0152]
如上所述，本文描述的是用于创建用户偏好数据库(和/或用于自动创建治疗计划)的方法和装置。例如，图20示出了用于创建用户偏好数据库的方法2000，其包括首先识别对应于用于治疗患者牙齿的临床行为的参考关键偏好文本语句2001。参考关键偏好文本
语句是如上所述的关键偏好，其在审查用户文本指令集合时可用作参考。用户特定的文本指令集合可以是历史治疗数据的数据库或集合(或源自数据库或集合)。然后该方法可以包括处理此类用户特定的文本指令集合2003，该集合包括各自与特定用户相关联的多个牙科治疗指令。该集合可以包括来自多个不同用户的数据。此后，用户特定的文本关键偏好语句可以通过在指定的概率范围内将参考关键偏好文本语句与来自用户特定的文本指令集合的用户特定的文本指令进行匹配来从用户特定的文本指令集合中进行识别2005。用户特定的文本关键偏好语句可以是特定用户的文本中的任何关键偏好(例如，在阶段x执行ipr，在阶段y拔牙等)。
[0153]
匹配指的是文本匹配，并且可以通过上述任何方法来执行，包括通过机器学习代理、通过相似性检索和/或通过这些的组合来执行2007。
[0154]
此后，用户偏好数据库可以利用特定用户的交叉参考、关键偏好(用户特定的文本关键偏好语句)和用于治疗患者牙齿的关联的临床行为的识别的匹配来更新2009。可选地，该生成用户偏好数据库的方法可以被包括为用于自动生成牙科治疗计划的方法的一部分，其可以包括以下步骤：接收患者牙列的描述；从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令；以及使用用户偏好数据库自动生成牙科治疗计划。
[0155]
图21示出了用于使用用户偏好数据库自动生成治疗计划的方法(例如，计算机实现的方法)的另一个示例。例如，在图21中，该方法可以首先创建用户偏好数据库或接收对用户偏好数据库的访问2101，其中，该数据库包括多个用户标识符、对应于每个用户标识符的一个或多个用户特定的文本关键偏好以及对应于每个用户特定的文本关键偏好的临床行为。执行该方法的计算机然后可以接收对新治疗计划的请求(例如，接收患者牙列的描述2103，并接收用于对患者执行正畸程序的用户特定的文本指令2105)。最后，可以如下自动生成牙科治疗计划2107：使用用户偏好数据库解释用户文本指令以将一个或多个用户特定的文本关键偏好与用户特定的文本指令中的一个或多个短语相匹配，并将与每个匹配的用户特定的文本指令相对应临床行为并入牙科治疗计划。
[0156]
图22示出了创建用户偏好数据库的方法的另一个示例。例如，在图22中，用户偏好数据库可以通过以下方式来创建：执行统计偏好分析以从包括多个牙科治疗指令的用户特定的文本指令集合中识别与单个用户相关联的关键偏好文本语句和用于治疗患者牙齿的对应临床行为，该多个牙科治疗指令各自与特定用户相关联2201。在一些变型中，这可以包括：确定时间段，在该时间段期间执行统计分析(例如，最近的持续时间，在该持续时间期间临床行为一致)。统计偏好分析可以如本文描述的那样执行，并且通常一次针对单个用户执行。在单个用户的临床行为稳定的情况下，例如，其中随着时间以非常低的变化重复使用相同的临床行为，对应的关键偏好(例如，关键偏好文本语句)可以从同一用户的文本指令识别，并且临床行为、用户标识符和对应的关键偏好可以被添加到用户偏好数据库2205。如上所述，这些方法中的任何一个可以可选地包括：接收患者牙列的描述、从牙科专业人员接收用于对患者执行正畸程序的患者治疗指令，以及使用用户偏好数据库自动生成牙科治疗计划2207。
[0157]
图23是示出自动治疗规划系统2300的示例的图，其可以包括治疗规划引擎2302和用户偏好引擎2304作为其一部分，用于生成、修改和更新用户或用户组偏好的集合(相当于用户偏好数据存储或用户偏好数据库)。如图所示，治疗规划系统2300的模块可以包括一个
或多个引擎和数据存储。计算机系统可以被实现为引擎，作为引擎的一部分或通过多个引擎来实现。如本文所使用的，引擎包括一个或多个处理器或其一部分。一个或多个处理器的一部分可以包括硬件的某一部分(其少于包括任何给定的一个或多个处理器的全部硬件)(比如寄存器的子集)、专用于多线程处理器的一个或多个线程的处理器的部分、处理器完全或部分专用于实施引擎的部分功能的时间片等。这样，第一引擎和第二引擎可以具有一个或多个专用处理器，或者第一引擎和第二引擎可以彼此或与其它引擎共享一个或多个处理器。取决于实施方式特定的或其它的考虑，引擎可以是集中式的或其功能是分布式的。引擎可以包括硬件、固件或以计算机可读介质体现的软件，用以由处理器执行。处理器使用实现的数据结构和方法将数据转换成新数据，诸如参考本文的附图所描述的。
[0158]
本文描述的引擎或本文描述的系统和装置可以通过其实现的引擎可以是基于云的引擎。如本文所使用的，基于云的引擎是可以使用基于云的计算系统运行应用程序和/或功能的引擎。应用程序和/或功能的全部或部分可以分布在多个计算装置之间，并且不需要被限制到仅一个计算装置。在一些实施例中，基于云的引擎可以执行最终用户通过网页浏览器或容器应用程序访问的功能和/或模块，而无需将功能和/或模块本地安装在最终用户的计算装置上。
[0159]
如本文所使用的，“数据存储(datastore)”旨在包括具有任何适用的数据组织的储存库，包括表、逗号分隔值(csv)文件、传统数据库(例如，sql)或其它适用的已知或方便的组织格式。数据存储例如可以实现为以专用机器上的物理计算机可读介质、固件、硬件、它们的组合、或者适用的已知或方便的装置或系统体现的软件。诸如数据库接口的数据存储相关组件可被认为是数据存储的“一部分”、某一其它系统组件的一部分、或它们的组合，尽管数据存储关联组件的物理位置和其它特性对于理解本文所述的技术不是关键的。
[0160]
数据存储可包括数据结构。如本文所使用的，数据结构与在计算机中存储和组织数据使得其可在给定上下文中高效地使用的特定方式相关联。数据结构通常基于计算机在其存储器中的任何位置处获取和存储数据的能力，该数据由本身可以存储在存储器中并由程序操纵的地址、位串来指定。因此，一些数据结构基于利用算术运算来计算数据项的地址；而其它数据结构基于在结构本身内存储数据项的地址。许多数据结构使用这两种原理，有时以非平凡的方式组合。数据结构的实现通常需要编写创建和操纵该结构的实例的一组程序。本文描述的数据存储可以是基于云的数据存储。基于云的数据存储是与基于云的计算系统和引擎兼容的数据存储。
[0161]
治疗规划系统2300可以包括计算机可读介质、治疗规划引擎2302、用户偏好引擎2304，其可以包括一个或多个机器学习引擎2306(例如，机器学习代理)、相似性检索引擎2308(相似性检索代理)和/或统计偏好引擎2310(统计偏好代理)、历史治疗数据存储2307、用户偏好数据存储2305。自动治疗系统2300的一个或多个模块可以彼此耦接(例如，通过图23所示的示例耦接)或耦接到未在图23中明确示出的模块。该系统可以包括计算机可读介质，该计算机可读介质可以包括任何计算机可读介质，包括但不限于总线、有线网络、无线网络或其某种组合。
[0162]
自动治疗规划系统2300或其任何组件可以实现一个或多个自动代理，该一个或多个自动代理被配置为例如机器学习代理/引擎，以通过如本文所述的训练来学习文本的匹配。治疗规划系统可以实现一个或多个自动代理，该一个或多个自动代理被配置为制造矫
治器或一系列矫治器。矫治器的示例在以下文献中进行详细描述：美国专利号5,975,893和公开的pct申请wo98/58596，其出于所有目的通过引用并入本文。采用在美国专利号5,975,893中描述的技术的牙科器具的系统可从加利福尼亚州圣何塞的阿莱恩技术有限公司购得，商标名为invisalign系统。在本文的整个说明书中，就牙科器具而言，术语“正畸矫治器”、“矫治器”或“牙科矫治器”的使用与术语“器具”和“牙科器具”的使用同义。为清楚起见，下文中在使用和应用器具(更具体地，“牙科器具”)的背景下描述实施例。矫治器制造可以是3d打印系统、热成型系统或其某种组合的一部分。
[0163]
本文描述的任何方法(包括用户界面)可以被实现为软件、硬件或固件，并且可以被描述为存储能够由处理器(例如，计算机、平板电脑、智能手机等)执行的指令的集合的非暂时性计算机可读存储介质，当该指令的集合被处理器执行时，使得处理器控制来执行以下任何步骤，包括但不限于：显示、与用户通信、分析、修改参数(包括定时、频率、强度等)、确定、发出警报等。
[0164]
当特征或元件在本文被称为在另一特征或元件“上”时，它可直接位于该另一特征或元件上，和/或也可能存在中间的特征和/或元件。相反，当特征或元件被称为“直接在”另一特征或元件“上”时，没有中间的特征或元件存在。应该理解的是，当特征或元件被称为“连接”、“附连”或“耦接”到另一特征或元件时，它可直接连接、附连或耦接到该另一特征或元件，或可以存在中间的特征或元件。相反，当特征或元件被称为“直接连接”、“直接附连”或“直接耦接”到另一特征或元件时，没有中间的特征或元件存在。虽然相对于一个实施例描述或示出，但是这样描述或示出的特征和元件可以应用于其它实施例。本领域技术人员将认识到，对于“邻近”另一特征设置的结构或特征的参考可以具有与相邻特征重叠或在相邻特征下方的部分。
[0165]
本文使用的术语仅用于描述特定实施例的目的，并且不旨在限制本发明。例如，除上下文明确说明之外，如本文所用的，单数形式“a(一)”、“an(一个)”和“the(该)”旨在同样包括复数形式。应当进一步理解，术语“包括(comprises)”和/或“包括(comprising)”当在本说明书中使用时，指定所陈述的特征、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或更多个其它特征、步骤、操作、元件、组件和/或它们的组。如本文所用的，术语“和/或”包括相关联的所列项中的一种或更多种的任意和全部组合，并且可缩写为“/”。
[0166]
空间相关的术语，诸如“以下(under)”、“在下方(below)”、“低于(lower)”、“在上方(over)”、“上部(upper)”等可在本文中使用，以便于描述如附图所示的一个元件或特征与另一个元件或特征或多个元件或特征的关系。将理解的是，空间相关的术语旨在除了附图中描绘的取向之外还包括使用或操作中的装置的不同取向。例如，如果附图中的装置被颠倒，则被描述为在其它元件或特征“以下(under)”或“下方(beneath)”的元件则将被取向成在其它元件或特征“上方(over)”。因此，示例性术语“以下(under)”可以涵盖在上方和在下方的两种取向。该装置可以另外地取向(旋转90度或处于其它取向)，并且本文使用的空间相对描述词被相应地解释。类似地，除另外特别说明之外，术语“向上(upwardly)”、“向下(downwardly)”、“垂直(vertical)”、“水平(horizontal)”等在本文中仅用于说明的目的。
[0167]
虽然术语“第一”和“第二”在本文中可以用于描述各种特征/元件(包括步骤)，但是这些特征/元件不应该受这些术语的限制，除非上下文另有说明。这些术语可以用于将一个特征/元件与另一个特征/元件区分开。因此，在不脱离本发明的教导的情况下，下面讨论
的第一特征/元件可以被称为第二特征/元件，并且类似地，下面讨论的第二特征/元件可以被称为第一特征/元件。
[0168]
遍及本说明书和所附权利要求书，除非上下文另有要求，否则词语“包括”以及诸如“包括(comprises)”和“包含(comprising)”的变型意味着可以在方法和制品中共同使用各种组件(例如包括装置和方法的组合物以及设备)。例如，术语“包括(comprising)”将被理解为暗示包含任何所述元件或步骤，但不排除任何其它元件或步骤。
[0169]
通常，本文描述的任何装置和方法应被理解为包容性的，但是组件和/或步骤的全部或子集可以可选地是排他的，并且可以表示为“由
…
组成”或备选地“主要由”各种组件、步骤、子组件或子步骤“组成”。
[0170]
如本文在说明书和权利要求书中所用的，包括在实施例中所用的，并且除非另外明确说明，所有数字可以被理解为就像以词语“大约(about)”或“近似(approximately)”开头，即使该术语没有明确出现。当描述幅度和/或位置以指示所描述的值和/或位置在值和/或位置的合理预期范围内时，可以使用短语“大约”或“近似”。例如，数值可以具有为所述值(或值的范围)的+/
‑
0.1％、所述(或值的范围)的+/
‑
1％、所述值(或值的范围)的+/
‑
2％、所述值(或值的范围)的+/
‑
5％、所述值(或值的范围)的+/
‑
10％的值等。本文所给出的任何数值应被理解为包括大约该值或近似该值，除非上下文另有说明。例如，如果公开了值“10”，则也公开了“大约10”。本文所述的任何数值范围旨在包括包含在其中的所有子范围。还应该理解的是的是，如本领域技术人员所适当理解的那样，当值被公开为“小于或等于”该值时，也公开了“大于或等于该值”和在值之间的可能范围。例如，如果值“x”被公开了，则“小于或等于x”以及“大于或等于x”(例如，其中x是数值)也被公开。还应该理解的是，在整个申请中，以多种不同格式提供了数据，并且该数据表示结束点和起始点以及对于数据点的任何组合的范围。例如，如果公开了特定数据点“10”和特定数据点“15”，则应该理解的是，认为公开了大于、大于或等于、小于、小于或等于以及等于10和15以及在10到15之间。还应该理解的是，也公开了两个特定单元之间的每个单元。例如，如果公开了10和15,则也公开了11、12、13和14。
[0171]
虽然上面描述了各种说明性实施例，但是在不脱离如权利要求所描述的本发明的范围的情况下，可以对各种实施例进行若干改变中的任一个。例如，在备选实施例中，通常可以改变执行各种所描述的方法步骤的顺序，并且在其它备选实施例中，一个或更多个方法步骤可以备一起跳过。各种装置和系统实施例的可选特征可以被包括在一些实施例中而不被包括在其它实施例中。因此，前面的描述主要被提供用于示例性目的，并且不应被解释为限制如在权利要求中阐述的本公开的范围。
[0172]
本文所包括的示例和说明通过说明而非限制的方式示出可以在其中实践主题的具体实施例。如所提及的，可以利用和从其导出其它实施例，使得可以在不脱离本公开的范围的情况下进行结构和逻辑替换和改变。仅为了方便，发明主题的这些实施例在本文中可单独地或共同地由术语“公开”来提及，并且不旨在将本技术的范围主动地限制为任何单个发明或发明概念，如果实际上多于一个发明或发明概念被公开的话。因此，虽然本文已经说明和描述了特定实施例，但是预测用来实现相同目的的任何布置可以替代所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有修改或变型。在阅读以上描述后，上述实施例的组合以及本文未具体描述的其它实施例对于本领域技术人员而言将是明显的。