相关申请的交叉引用本申请要求2017年7月28日提交的序列号为62/538,112的美国临时申请根据35u.s.c.§119享有的优先权。'112临时申请的全部内容，包括附录a和附录b，通过引用并入本文。
背景技术：
：：本公开涉及一种使用深度学习模型从电子健康记录中预测和总结医疗事件的系统和方法。本公开还涉及若干组成方面及其组合，包括将电子健康记录合并成用于模型生成和训练的单一格式，用于从医疗记录预测健康事件的深度学习模型，以及在用于显示通过深度学习获得的临床预测和与预测相关的潜在有关医疗事件的电子设备上的面向提供者的界面。nobellaureateherbertsimon曾经说过：“信息消耗的是相当明显的：它消耗了接收者的注意力。因此，丰富的信息造成了注意力的匮乏......并且需要在可能消耗注意力的过多信息源中有效地分配这种注意力。”在临床环境中，关于患者的信息的管理和呈现是患者护理和医疗保健决策的重要方面，例如如何治疗患者或何时让患者出院。在繁忙的医院或诊所的情况下，信息管理是一个特别紧要的问题，在这种情况下，医疗保健提供者(诸如，护士或医师)同时注意许多患者。例如，包含在患者电子健康记录中的信息消耗了接收者(例如，护士或医师)的注意力。丰富的信息，例如包含在特定患者多年的广泛病史(medicalhistory)中的信息，或者更通常的是大量患者的病史中的信息，造成了注意力的贫乏。需要一种系统和方法来帮助医疗保健提供者在来自不同来源的过多信息中有效地分配他们的注意力，并且及时地提供对未来临床事件的预测和对有助于这些预测的相关潜在医疗事件的突出显示(highlight)。本公开解决了医院中的医师面临的紧迫问题，即哪些患者现在最需要我的注意力，以及在个人层面上，我应该注意患者病历中的哪些信息？相关技术迅速采用电子健康记录(electronichealthrecord，ehr)让常规临床数据变得丰富的数字化。henryj,etal.,adoptionofelectronichealthrecordsystemsamongu.s.non-federalacutecarehospitals:2008-2015,officeofthenationalcoordinatorforhealthinformationtechnology,oncdatabriefno.35,may2016.adler-milsteinj、desrochecm、kralovecp等人所著的electronichealthrecordadoptioninushospitals:progresscontinues,butchallengespersist.healthaff.2015；34(12):2174-2180。henryj等人所著的adoptionofelectronichealthrecordsystemsamongu.s.non-federalacutecarehospitals:2008-2015,officeofthenationalcoordinatorforhealthinformationtechnology，onc数据简报第35期，2016年5月。已经有突破性努力来利用算法处理这个现象，以针对被预测为处于高风险的患者进行干预(参见parikhrb、kakadm、batesdw所著的integratingpredictiveanalyticsintohigh-valuecare:thedawnofprecisiondelivery.jama.2016；315(7):651-652)，对处于不良反应或代偿失调的风险的患者进行分诊(参见batesdw、sarias、ohno-machadol、shaha、escobarg所著的bigdatainhealthcare:usinganalyticstoidentifyandmanagehigh-riskandhigh-costpatients.healthaff.2014；33(7):1123-1131；obermeyerz、emanuelej所著的predictingthefuture—bigdata,machinelearning,andclinicalmedicine.nengljmed.2016；375(13):1216-1219)，乃至推荐特定的癌症治疗。参见kantarjianh、yupp所著的artificialintelligence,bigdata,andcancer.jamaoncol.2015；1(5):573-574.传统上，这些预测模型是通过收集在预先指定的队列中持续测量的变量而为每项任务分别创建的，常常在临床登记或试验中确保高质量的数据收集。相比之下，日常护理中生成的数据可能会产生不完整、不准确和不一致的数据集。hershwr、weinermg、embipj等人所著的caveatsfortheuseofoperationalelectronichealthrecorddataincomparativeeffectivenessresearch.medcare.2013；51(8suppl3):s30-s37；newtonkm、peissigpl、khoan等人所著的validationofelectronicmedicalrecord-basedphenotypingalgorithms:resultsandlessonslearnedfromtheemergenetwork.jammedinformassoc.2013；20(e1):e147-e154；opmeerbc所著的electronichealthrecordsassourcesofresearchdata.jama.2016；315(2):201-202。因此，为了创建预测模型，研究人员花费了大量的努力来定义变量、标准化数据和处理缺失的测量值(例如，参见newton和opmeer的参考文献)，这复杂化了部署，因为这些步骤必须基于实时数据实时地重建。goldsteinba、navaram、pencinamj、ioannidisjpa所著的opportunitiesandchallengesindevelopingriskpredictionmodelswithelectronichealthrecordsdata:asystematicreview.jammedinformassoc.2017；24(1):198-208。鉴于上述情况，预测模型中变量的中位数为27(参见goldstein等人所著的上述文献)，因此忽略了大多数数据，特别是非结构化数据(如笔记)和重复测量(如生命体征和实验室结果)。技术实现要素：作为概述和总结，本公开的一个方面涉及一种用于从电子健康记录中预测和总结医疗事件的系统。该系统包括三个部分：首先，该系统包括计算机存储器，例如，一个或多个大容量数据存储设备，其存储来自具有不同年龄、健康状况和人口统计特征(demographics)的大量(例如，数百万)患者的汇总的电子健康记录，该电子健康记录具体包括药物、实验室值、诊断、生命体征和医疗笔记(即由提供者输入的自由文本)。汇总的健康记录是患者-去识别化的(patientde-identified)和从一个或多个来源中获得的，并且由于遗留系统的差异，潜在地组织在不同的数据结构类型中。汇总的电子健康记录被转换成单一标准化数据结构格式，并且优选地以有序格式放置，诸如，例如时间顺序。其次，该系统包括计算机(该术语旨在指代共享处理任务的单个计算机或计算机的系统或处理单元，包括辅助存储器)，其运行一个或多个机器学习模型，该机器学习模型在转换成标准化数据结构格式和有序格式的汇总的健康记录上训练。深度学习模型被训练成基于给定患者的输入电子健康记录来预测一个或多个未来临床事件并总结或突出显示与预测的一个或多个未来临床事件相关的有关过去医疗事件(pertinentpastmedicalevent)(例如，诊断、药物、笔记或其摘录)。输入的电子健康记录处于标准化数据结构格式，并按时间顺序排序，如用于模型训练的汇总的健康记录。第三，该系统包括供治疗患者的医疗保健提供者使用的电子设备，例如具有屏幕显示的计算机终端或工作站、平板电脑、智能手机或其他类型的计算设备，其配置有面向客户的界面，该界面显示由一个或多个预测模型生成的患者的预测的一个或多个未来临床事件和有关过去医疗事件。在详细描述中，我们描述了汇总的健康记录可以采取来自大量患者(几十万或甚至几百万患者)的健康记录的形式，这种健康记录是从多个不同机构(例如，医院或医疗系统)以去识别化的形式获得的。由于行业缺乏标准化，来自不同机构的数据可能采用不同的数据格式。这些记录被转换成标准化的数据结构格式。在一个实施例中，它们基于每个患者而按时间顺序排列。在汇总的健康记录中存在患者的去识别化。在一个特定实施例中，标准化的数据结构格式是快速健康互操作资源(fasthealthinteroperabilityresources，fhir)格式，其是已知格式，参见mandeljc等人所著的smartonfhir:astandards-based,interoperableappsplatformforelectronichealthrecords.jammedinformassoc.2016；23(5):899-908，其中ehr被格式化为时序(time-sequenced)fhir“资源”束(bundle)。在一个实施例中，汇总的健康记录包含与标准术语不一致的变量名称，定义主要结果和排除标准(exclusioncriteria)所需的变量除外，排除标准即用于将给定ehr排除在模型训练之外的标准。在一个实施例中，汇总的健康记录包含住院诊断，并且诊断被映射到单级临床分类软件(clinicalclassificationsoftware，ccs)代码。在一个方面，一个或多个深度学习模型包含“注意力机制”(在深度学习领域中已知并在下文中详细描述的技术，有时也称为“归因机制”)，其中，当被调用时，该“注意力机制”指示一个或多个模型给予与电子健康记录中的原子元素(笔记、实验室测量、处方等中的单个单词)相对应的特定“记号(token)”多少注意力或等效“权重”，以达到对一个或多个未来临床事件和有关过去医疗事件的预测。面向提供者的界面优选地包括对注意力机制结果的显示，诸如，通过提供与特定预测相关联的健康记录(即，过去的医疗事件)中的元素的突出显示或强调程度，尤其是那些在注意力机制中分数高的元素。除了预测和相关医疗事件之外，在电子设备上显示注意力机制的结果还为医疗保健提供者提供了对预测及其基础的信心，并引导他们注意与预测相关的健康记录的有关元素或特征，以通知和指导他们的患者护理。本公开的各方面针对用于进行预测的深度学习模型。在一个实施例中，我们考虑使用深度学习神经网络模型的集合，每个模型在汇总的ehr上单独训练。在一个实施例中，我们使用(1)长期短期记忆(long-short-termmemory，lstm)模型，(2)时间感知前馈模型(feed-forwardmodel，ffm)，本文也称为具有时间感知注意力的前馈模型，以及(3)嵌入式增强时间序列模型，本文也称为嵌入式时间感知增强模型。这些模型的替代方案可能适用于本系统，诸如，例如具有注意力的自回归卷积神经网络模型，参见a.vaswani等人所著的attentionisallyouneed,arxiv:1706.03762[cs.cl](2017年6月)。一个或多个未来临床事件的预测以及对与预测的一个或多个未来临床事件相关的有关过去医疗事件的总结可以从三个深度学习模型的集合平均值(ensembleaverage)中获得。在一些情况下，由于各种原因，可以排除来自该集合的成员的预测。我们公开了对未来临床事件的各种可能预测，并且在一个实施例中，(多个)深度学习模型预测以下至少一个：计划外转移到重症监护室、住院时间超过7天、计划外住院治疗、患者出院后30天内的er(emergencyroom，急诊室)就诊或再入院、住院患者死亡率、主要诊断或患者出院时的主要和次要计费诊断的完整集合。我们还公开了预测非典型实验室值的能力，包括诸如急性肾损伤、低钾血症、低血糖症或低中性粒细胞血症等的潜在因素。我们将在下面进一步描述模型可以用于的额外预测任务。本公开的其他方面针对电子设备及其面向提供者的界面。在一个实施例中，界面包括对以下各项的显示：(1)对预测的一个或多个未来临床事件的警报，(2)与警报相关的关键医疗问题或状况(即，过去的医疗事件)，以及(3)与警报相关的笔记或其摘录，例如，单词或短语。在一种配置中，深度学习模型包含注意力机制，该注意力机制指示一个或多个模型给予与电子健康记录中的元素相对应的记号多少注意力，以预测一个或多个未来临床事件。对笔记或其摘录的显示以指示来自注意力机制的应用的结果的方式来显示，例如，通过使用对笔记中特定单词、短语或其他文本的突出显示或强调程度，例如通过改变字体尺寸、颜色、阴影、粗体、斜体、下划线、删除线、闪烁、突出显示、字体选择等，从而将提供者的注意力吸引到与预测的未来临床事件有关的ehr中的最重要的过去医疗事件。在又一配置中，该显示还可以包括从患者电子健康记录推断的信息(例如，从过去的医疗事件推断的初步诊断)和未来发生某些临床事件(诸如，死亡或转移到icu(intensivecareunit，重症监护室))的风险或概率的时间线或曲线图。在一种可能的配置中，该显示允许电子设备的用户选择关键问题或状况之一，并且该选择触发与所选关键问题或状况有关的信息的进一步显示，例如对给患者开的药物以及与所选关键问题或状况相关的笔记或其摘录的显示。在本公开的另一方面，描述了一种用于从电子健康记录预测和总结医疗事件的方法。该方法包括以下步骤：a)汇总来自具有不同年龄、健康状况和人口统计特征的大量患者的电子健康记录，该电子健康记录包括药物、实验室值、诊断、生命体征和医疗笔记中的一些或全部；b)将汇总的电子健康记录转换成单一标准化数据结构格式并按患者有序排列；c)在转换成单一标准化数据结构格式并有序排列的汇总的健康记录上训练一个或多个深度学习模型；d)使用所训练的一个或多个深度学习模型，从具有标准化数据结构格式并按时间顺序排序的患者的输入电子健康记录中预测一个或多个未来临床事件并总结与预测的一个或多个未来临床事件相关的有关过去医疗事件；和e)为电子设备的面向医疗保健提供者的界面生成数据，供医疗保健提供者使用，显示患者的预测的一个或多个未来临床事件和有关过去医疗事件。在又一方面，描述了一种系统，其包括以下各项的组合：a)计算机存储器，其存储来自具有不同年龄、健康状况和人口统计特征的大量患者并且以不同的格式获得的汇总的电子健康记录，包括药物、实验室值、诊断、生命体征和医疗记录中的一些或全部，其中，汇总的电子健康记录被转换成单一标准化数据结构格式，并且按有序排列(诸如，时间顺序)来放置；和b)计算机(如上所定义)，其运行一个或多个深度学习模型以基于患者的输入电子健康记录来预测未来临床事件，所述深度学习模型在转换成单一标准化数据结构格式并有序排列的汇总的健康记录上训练。在一个方面，一个或多个深度学习模型包含“注意力机制”，该“注意力机制”指示一个或多个模型给予与电子健康记录中的原子元素(笔记、实验室测量、处方等中的单个单词)相对应的特定“记号”多少注意力，以达到对一个或多个未来临床事件的预测以及对与预测的一个或多个未来临床事件相关的有关过去医疗事件的总结。在一个实施例中，我们考虑使用深度学习神经网络模型的集合，其中每个模型在汇总的ehr上单独训练。在一个实施例中，我们使用(1)长期短期记忆(lstm)模型，(2)时间感知前馈模型(ffm)，和(3)嵌入式增强时间序列模型。在本公开的又一方面，描述了一种用于从电子健康记录预测医疗事件的方法。该方法包括以下步骤：a)汇总来自具有不同年龄、健康状况和人口统计特征的大量患者并以不同格式获得的电子健康记录，该电子健康记录包括药物、实验室值、诊断、生命体征和医疗笔记中的一些或全部；b)将汇总的电子健康记录转换成单一标准化数据结构格式，并且按照每个患者排序成有序排列，诸如例如时间顺序；以及c)在转换成单一标准化数据结构格式并有序排列的汇总的健康记录上训练一个或多个深度学习模型，其中训练的一个或多个深度学习模型基于按标准化数据结构格式且按时间顺序排序的患者的输入电子健康记录来预测未来的临床事件。在又一方面，我们已经描述了一种改进的计算机(如前所定义的)，其运行在转换成单一标准化数据结构格式并按时间顺序的汇总的电子健康记录上训练的一个或多个深度学习模型，以基于具有标准化数据结构格式并按时间顺序排序的患者的输入电子健康记录来预测一个或多个未来临床事件并总结与预测的一个或多个未来临床事件相关的有关过去医疗事件。在优选实施例中，深度学习模型各自包含“注意力机制”，该“注意力机制”指示一个或多个模型给予与电子健康记录中的电子健康记录元素(笔记、实验室测量、处方等中的单个单词)相对应的特定“记号”多少注意力，以预测一个或多个未来临床事件并总结与预测的一个或多个未来临床事件相关的有关过去医疗事件。在又一方面，公开了一种系统，其包括以下各项的组合：a)计算机，其运行在转换成单一标准化数据结构格式并按时间顺序的汇总的健康记录上训练的一个或多个深度学习模型，以基于具有标准化数据结构格式并按时间顺序排序的患者的输入电子健康记录来预测一个或多个未来临床事件并总结与预测的一个或多个未来临床事件相关的有关过去医疗事件；和b)由治疗患者的医疗保健提供者使用的电子设备的面向客户的界面，该界面被配置为显示患者的预测的一个或多个未来临床事件和有关过去医疗事件。在又一方面，公开了一种电子设备(例如工作站、平板计算机或智能手机)，其具有面向医疗保健提供者的界面，该界面基本实时地显示对至少一个患者的一个或多个未来临床事件的预测的显示。该显示还被配置为显示来自电子健康记录的元素(过去的医疗事件)，这些元素对应于在对与预测相关的电子健康记录进行操作的预测模型上的注意力机制的应用。在一个实施例中，电子健康记录的元素是笔记或其摘录，该笔记或其摘录具有对笔记中的特定单词、短语或其他文本的突出显示或强调等级。电子健康记录的元素也可以是诸如实验室值、既往用药、生命体征等。突出显示或强调等级可以采取字体尺寸、字体颜色、阴影、粗体、斜体、下划线、删除线、闪烁、用颜色突出显示和字体选择中的至少一种形式，或者它们的某种组合，诸如红色和粗体。预测的一个或多个未来临床事件可以包括计划外转到重症监护室、住院时间超过7天、出院后30天内计划外再入院、住院患者死亡率、主要诊断、主要和次要计费诊断的完整集合、或非典型实验室值，诸如急性肾损伤、低钾血症、低血糖症和低中性粒细胞血症。在一个实施例中，界面还被配置为显示绘制至少一个患者随时间推移的风险或概率的时间线，例如，转移到icu的风险或住院超过7天的风险或死亡风险的曲线图。电子设备可用于医院或临床环境中，在该环境中，系统用于同时预测多个患者的未来临床事件，在这种情况下，该界面还被配置为显示为多个患者同时绘制至少一个患者随时间推移的风险或概率的时间线。在又一方面，公开了一种帮助医疗保健提供者为患者提供护理的方法。该方法包括以下步骤：a)使用从汇总的电子健康记录中训练的预测模型来生成(1)对患者未来临床事件的预测，以及(2)从患者的输入电子健康记录中识别有关过去医疗事件；b)生成与预测和识别的有关过去医疗事件两者相关的数据；和c)将生成的数据传输到医疗保健提供者使用的电子设备，以在电子设备上显示；其中：预测模型使用注意力机制来指示预测模型给予输入电子健康记录中的元素多少注意力，以预测未来临床事件并识别有关过去医疗事件，并且其中所生成的数据包括注意力机制的结果。在一个实施例中，有关过去医疗事件包括笔记(例如，来自医师或护士的文本输入)或其摘录。在一个实施例中，预测是从包括以下各项的群组(group)中选择的：计划外转到重症监护室、住院时间超过7天、出院后30天内计划外再入院、住院患者死亡率、主要诊断、主要和次要计费诊断的完整集合、以及非典型实验室值。生成的数据还可以包括事件随时间推移而发生的概率或风险的时间线。在一个实施例中，根据大量输入电子健康记录针对大量患者同时实时地执行步骤a)、b)、c)和d)。护理多个患者中的至少两个患者的医疗保健提供者实时地接收所生成的至少两个患者的数据，从而帮助医疗保健提供者同时为至少两个患者提供护理，并允许基于相应的预测对至少两个患者的患者护理进行优先级排序(prioritization)。另一方面，本公开针对一种系统，该系统包括：a)计算机存储器，其存储来自具有不同年龄、健康状况和人口统计特征的大量患者并且以不同的格式获得的汇总的电子健康记录，包括药物、实验室值、诊断、生命体征和医疗记录中的一些或全部，其中，汇总的电子健康记录被转换成单一标准化数据结构格式，并且按患者排序成有序的排列；以及b)计算机，其运行一个或多个深度学习模型以预测患者的输入电子健康记录上的未来临床事件，所述深度学习模型在转换成单一标准化数据结构格式并有序排列的汇总的健康记录上训练。在一个实施例中，汇总的健康记录是以不同数据格式排列的健康记录的形式。标准化的数据结构格式可以采取快速健康互操作性资源(fasthealthinteroperabilityresource，fhir)的形式。汇总的健康记录包含与标准术语不一致的变量名称，定义主要结果和排除标准所需的变量除外。汇总的健康记录可以包含住院诊断，并且诊断被映射到单级临床分类软件(ccs)代码。在一个实施例中，其中按患者将电子健康记录排序成时间顺序。在另一方面，公开了一种方法，该方法用于从来自不同来源的大量患者的原始电子健康记录集合中以不同的数据格式生成用于机器学习的训练数据。该方法包括以下步骤：a)获得原始电子健康记录集合；b)将原始电子健康记录集合转换成单一标准化数据结构格式；c)将转换成单一标准化数据结构格式的电子健康记录按患者的时间顺序排序；以及d)将标准化数据结构格式的时序的有序电子健康记录存储在数据存储设备中。电子健康记录的集合可以包括结构化数据和含有自由文本笔记非结构化数据。在一个实施例中，转换步骤b)在未将原始电子健康记录中的术语统一为标准术语的情况下执行。附图说明图1是整个系统的示意图，该系统包括汇总的电子健康记录、运行训练的深度学习模型的计算机、以及由医疗保健提供者使用的电子设备，该电子设备从深度学习模型接收预测和与该预测相关的有关过去医疗事件，并且具有在其显示上呈现这种信息的界面。图2是用于在图1的系统中将原始电子健康记录按时间顺序转换成fhir资源的程序的图示。图3a是示出图1的时间感知前馈模型的设计和操作的流程图；图3b是示出图1的嵌入式增强时间序列模型的设计和操作的流程图；图3c是示出图1的lstm模型的设计和操作的流程图。图4是一种面向提供者的界面上对数据的显示的形式的图示，该面向提供者的界面以患者时间线或一系列事件(包括药物、会面、程序、笔记、指示等)的形式显示深度学习模型中的注意力机制的结果。图5是对ehr中的数据的显示的另一种形式的图示，其以笔记的摘录的形式示出了深度学习模型中的注意力机制的结果，笔记中单个单词或短语被给予强调程度(尺寸、加粗、颜色等)，强调程度对应于由深度学习模型生成的临床预测对于单词的注意力(重要性或权重)以及该预测对于病史中的特定药物的注意力。图6是深度学习模型中的注意力机制的结果的另一示例，示出了在ehr笔记中发现的不同单词或短语被给予与预测相关的不同强调程度(加粗)。较深的突出显示对应于较高的注意力分数。图7示出了本公开的模型可用来做出的不同类型的预测，包括非典型实验室结果，以及通过将模型回溯地应用于用于模型训练的最初的患者记录集合的测试集合部分而获得的准确性统计。图8a是由治疗患者的医疗保健提供者使用的电子设备(例如，具有屏幕显示的计算机终端、平板电脑、智能手机或其他类型的计算设备)的面向医疗保健提供者的界面的图示。这种配置的界面设计用于医院环境，同时显示两个患者的风险的曲线图。该界面显示特定患者的两个预测的未来临床事件，在该情况下是计划外转到重症监护病房(icu)和延迟出院。图8a的显示被设计成在早期提醒医疗保健提供者注意有风险的患者。图8b是图8a的界面在提供者选择了具有警报的患者之后的图示。该显示有助于提供者现在了解患者——提醒他们注意关键的医疗问题(与预测相关的医疗事件)，深入了解他或她可能需要查看的情况或其他数据(包括带有模型注意力机制结果的笔记)，以做出关于患者护理的决策并且不让他们错过关键信息。图9示出了在界面上显示与门诊患者预测中界面的使用有关的工具。图10-图13示出了医疗保健提供者可从ehr获得的大量信息以及为什么需要本公开的特征的假设示例。图10示出了患者四年病史的摘录，列出了400多项诊断。图11示出了患者诊断的摘录，但是缺少重要的伴随信息，诸如患者是作为门诊患者、住院患者还是在icu或其他环境中接受治疗。图12示出了特定患者在给定时间跨度内的150多次不同会面，但缺少每次会面的细节。图13仅示出了提供者在单次假设的四天住院治疗中记录的一小部分笔记；对所有笔记的显示需要标准移动设备的60个不同的屏幕。图14示出了图3的设备实时跟踪四个患者的数据和风险的界面的示例。图15示出了图8b的界面，该界面示出了在ehr中过去150次会面中仅选择的、与预测相关的关键事件(icu转移、延迟出院)，并呈现在患者时间线中。图16示出了图8b的界面，该界面示出了从ehr中过去400个诊断的列表中选择的、与预测相关的关键问题(icu转移、延迟出院)。这些关键问题(即有关过去医疗事件)在问题列表区域中作为总结呈现在显示的左侧。图17示出了图8b的界面，该界面示出了从ehr笔记中的10,000个单词中仅选择的、与预测相关的关键重要摘录或单词(icu转移、延迟出院)。在生成预测时，由于在深度学习模型中使用了注意力机制，因此具有一定程度对特定单词或短语的突出显示的关键摘录(单词和短语)被呈现在界面的右下方区域。图18示出了图8b的界面，该界面示出了该界面总结列出的每个医疗问题的能力。在这种情况下，提供者点击了图8b的显示中的“酒精戒断”关键问题，并且该显示示出了与该关键问题相关的药物、笔记和事件时间线。图19以时间线、药物和相关笔记的形式示出了关键问题“心肌症”的摘要。在附图和所附描述中，所有患者和提供者的姓名和医疗数据都是虚构的，不会泄露任何保密的患者信息。具体实施方式a.概述本公开描述了一种配置用于预测模型训练的ehr数据的新方法。这些模型使用关于患者的所有记录的数据，包括临床笔记、原始非统一格式或术语中的变量，并保留数据收集的时间顺序。我们进一步应用深度学习的一个方面来生成和训练模型，以便根据ehr数据进行临床预测。我们选择深度学习是因为它处理数百万个变量，可以自动统一来自不同来源的数据，并适应可变长度的数据序列。深度学习技术已经在如医学图像识别(例如，检测糖尿病视网膜病变和癌性皮肤病变)和语言翻译的其他复合领域实现了先进的性能。这些深度学习模型针对当前问题领域的许多应用和实施方式被认为是新的。该文件进一步证明了我们的方法的技术可行性和临床实用性。我们描述了多项临床任务的预测模型，包括预测住院时间以提高接待人数和降低成本；预测计划外再入院以针对高危患者进行干预；预测住院患者死亡率以帮助部署早期干预；根据常规临床数据预测和定性(phenotype)诊断，以支持临床决策。此外，我们还描述了模型对于预测医院中患者到重症监护室的计划外转移和主要诊断的应用。此外，我们描述了面向提供者的电子设备(例如，计算机终端、平板电脑或智能手机)的用户界面，其呈现这些预测和潜在的相关医疗事件，以帮助提供者及时治疗患者。图1示出了用于从电子健康记录中预测和总结医疗事件的系统10。该系统包括三个部分：第一，描述了计算机存储器24，例如大容量数据存储设备，其存储来自具有不同年龄、健康状况和人口统计特征的大量患者的汇总的电子健康记录22，包括药物、实验室值、诊断、生命体征和医疗记录(例如，主治医师和护士写的自由文本记录)。汇总的电子健康记录被转换成单一标准化数据结构格式，并按患者排序，例如排序成时间顺序。因为目前使用的遗留电子健康记录系统种类繁多，来自不同机构14(例如，大学医疗中心、医院系统等)的大量患者的原始电子健康记录12可以被格式化为各种不同的电子格式。原始健康记录是患者-去识别化的，通过计算机网络16传输，存储在关系数据库(relationaldatabase，rdb)20中，由用作转换器的计算机系统18转换成标准化格式，并存储在存储器24中。在一个优选实施例中，这些记录被转换成标准化数据结构格式，并按时间顺序排列成有序排列。在一个特定的实施例中，标准化数据结构格式是快速健康互操作性资源(fhir)格式，一种已知格式，其中ehr被格式化成如图1中22所示的时序fhir“资源”束。这将在后面结合图2进行描述。第二，该系统包括计算机26(该术语旨在指代共享处理任务的单个计算机或计算机的系统或处理单元，以及辅助存储器)，其运行一个或多个深度学习模型(如下所述的28、30、32)，该深度学习模型是在转换成单一标准化数据结构格式并按时间顺序的汇总的健康记录22上训练的。深度学习模型被训练成基于给定患者36的输入电子健康记录38来预测一个或多个未来临床事件，并总结与预测的一个或多个未来临床事件相关的有关过去医疗事件(例如，问题、状况、测试结果、药物等)。输入健康记录38是处于标准化数据结构格式的，并排列成时间顺序，如用于模型训练的汇总的健康记录。如虚线39所示，如果需要，输入健康记录38可以被转换器18转换成fhir格式。应当理解，虽然图1示出了从单个患者接收输入电子健康记录38，但是实际上，取决于系统的展开(roll-out)程度，这可能基本上同时发生在医疗系统或医院中的其他许多患者身上。图1的系统优选地为计算机26(或计算机系统)采用足够的计算资源来操作输入健康记录上的模型，并且为所有这些患者ehr实时地同时生成关于预测以及与预测有关的过去医疗事件的数据，并且将该数据传输到(多个)电子设备40以在设备的面向客户的界面上显示。第三，该系统包括供治疗患者的医疗保健提供者使用的电子设备40，例如具有屏幕显示的计算机终端或工作站、平板电脑、智能手机或其他类型的计算设备，其配置有面向客户(保健提供者)的界面(图8a-图8b、图9、图14等)，该界面显示患者的预测的一个或多个未来临床事件和有关过去医疗事件。对未来预测的临床事件和有关过去医疗事件的显示有助于医疗保健提供者42(例如，护士或医生)将他们的注意力集中在患者电子健康记录中与预测有关的高度相关信息上，诸如对icu转移、延迟出院、死亡率等的预测。稍后将结合图8a-图19以及在示例中描述使用设备40和界面来提供这种帮助的示例。在本公开的另一方面，描述了一种用于从电子健康记录中预测和总结医疗事件的方法。该方法包括以下步骤：a)汇总来自具有不同年龄、健康状况和人口统计特征的大量患者的电子健康记录，该电子健康记录包括药物、实验室值、诊断、生命体征和医疗笔记；b)将汇总的电子健康记录转换成单一标准化数据结构格式，并且按患者排序成有序排列(参见由转换器18生成的时序fhir资源束22)；c)在转换成单一标准化数据结构格式并有序排列的汇总的健康记录22上训练一个或多个深度学习模型28、30和32；d)使用所训练的一个或多个深度学习模型28、30和32，从具有标准化数据结构格式并排序成时间顺序的患者36的输入电子健康记录38中预测一个或多个未来临床事件并总结与预测的一个或多个未来临床事件相关的有关过去医疗事件；和e)为供治疗患者的医疗保健提供者使用的电子设备40的面向医疗保健提供者的界面生成数据(图8a-图8b、14、19等)，该数据显示患者的预测的一个或多个未来临床事件和有关过去医疗事件。现在将更详细地描述系统和方法的组成方面。b.将电子健康记录整合成用于模型生成的单一格式如上所述，原始电子健康记录12可以采取来自大量患者(几十万甚至几百万患者)的健康记录的形式。汇总的健康记录可以从一个或多个不同的机构获得。由于行业缺乏标准化，ehr数据可能采用不同的数据格式。这些记录被转换成标准化格式，并排列成有序排列。这在图2中示出，其中患者的原始电子健康记录12包括会面表(encountertable)50(患者对医生办公室、实验室、医院等的所有到访)包含所有实验室测试和结果的实验室表52、以及包含数据(诸如生命体征数据、医疗笔记(自由文本)、人口统计数据、诊断、流程图等)的其他表(未示出)。患者数据是匿名的；不包括个人身份数据。从机构获得对于接收数据并使用该数据训练模型的许可。代表原始数据的这些表50、52存储在图1的rdb20中。转换器18然后将原始数据转换成标准化格式，在该示例中是如图2所示的fhir资源22a、22b、22c、22d等的集合，并且对于每个患者，都有这样的fhir资源的“束”或集合22。如图2中的54所示，这些资源然后按时间顺序放置，以创建ehr中所有数据的时间线或时间顺序。我们用于生成预测模型的数据集的详细信息载于我们之前于2017年7月28日提交的美国临时申请序列号62/538,112的附录a中。简而言之，在我们的模型开发中，我们从加利福尼亚州旧金山的加州大学旧金山分校(ucsf)、伊利诺伊州芝加哥的芝加哥大学医学中心(ucm)和马萨诸塞州波士顿的贝斯以色列女执事医疗中心(mimic-iii(medicalinformationmartforintensivecareiii，重症监护医疗信息集市3))获得了电子健康记录数据。这些电子健康记录是按照所有州和联邦隐私法(包括hipaa(healthinsuranceportabilityandaccountabilityact，健康保险流通与责任法案))以去识别化或有限的数据集形式共享的。我们还使用了去识别化的国家医疗保险和商业声明(claims)数据库，内部称为“天王星(uranus)”，记录了2013年至2015年之间7000万患者的20亿次会面。ucsf的数据包含了来自几个不同规模的医院的学术医疗系统的、2011年至2016年之间所有会面的患者。ucm的去识别化数据包含了来自几个医院的、2009年至2016年之间的所有成年患者会面。mimic的去识别化数据集包含来自2001年和2012年的、马萨诸塞州波士顿的重症监护室与患者会面的相关数据。当然，电子健康记录可以从其他机构汇总和获得，因此开发集合的细节并不特别重要，但是应该使用足够大的集合来提高模型的准确性。每个ehr数据集都包含患者人口统计特征、所有住院患者和门诊患者的会面、在ehr输入的指示、诊断、程序、药物、实验室值、生命体征和流程图数据，这些数据代表所有其他结构化数据元素(例如，护理流程图)。此外，来自ucm和mimic-iii的数据集包含去识别化的医疗记录，来自ucm的数据集还包含手术中生命体征和门诊外科流程图数据。uranus声明数据集包括患者人口统计特征、所有住院和门诊会面、诊断代码、程序代码和门诊药物处方。在ucm数据集中除了日期之外，其他数据都是去识别化的，这些数据符合hipaa本公开和使用有限数据集的所有要求。道德审查和机构审查委员会从每个机构获得豁免。患者数据没有链接到任何谷歌用户数据。此外，对于用于创建模型的汇总的电子健康记录，我们的系统包括沙盒基础架构，该沙盒基础架构根据法规、数据许可和/或数据使用协议将每个ehr数据集彼此分开。每个沙盒中的数据都是加密的；所有数据访问都在单独的级别上进行控制、记录和审核。我们基于快速健康互操作性资源(fhir)为汇总的ehr开发了单一的数据结构，以存储来自每个系统的数据，这些数据用于所有健康系统和预测。fhir是一个开源框架，它允许将临床数据标准化表示为资源集合——包含特定数据类型的模块化条目，如单次会面或实验室测试。健康系统收集的各种类型的数据被转换成对应的fhir资源。当将数据转换为fhir格式(“资源”，见图2)时，我们没有将变量名称与标准术语统一起来，而是使用了健康系统提供的原始术语，绕过了传统耗时的数据统一。唯一的例外是定义主要结果和排除标准所需的变量：出院处置、医院服务、诊断代码和程序代码。住院诊断以icd-9/10代码提供，我们将这些代码映射到单级临床分类软件类别(ccs；医疗保健研究和质量机构)；住院治疗程序作为icd-9/10和现行程序术语(currentproceduralterminology，cpt)程序代码提供，并被映射到ccs代码。接下来，给定患者的资源集合按时间顺序进行整合。这一系列事件忠实地展现了ehr中每个患者的时间线。会面结束后，计费代码会立即被分配时间戳。某些元素，如生命体征，可以在采集后被输入到ehr中。我们使用护理文档和生命体征的时间戳来对数据进行建模，因为该时间戳将在ehr中实时可用，该时间戳对应于数据输入到ehr中而不是当数据被记录为被收集的时候。c.从医疗记录中预测健康事件的深度学习模型如图1所示，我们的系统包括运行深度学习模型28、30和32的计算机28(或等同的计算机或处理器的集合和辅助存储器)，深度学习模型28、30和32是在转换成单一标准化数据结构格式并按时间顺序的汇总的健康记录22上训练的。模型基于患者36的输入电子健康记录38来预测一个或多个未来临床事件并总结与预测的一个或多个未来临床事件相关的有关过去医疗事件。输入的ehr按相同的标准化数据结构格式被格式化并按时间顺序排序，要么是本地的，要么在由转换器18转换之后，如果需要的话。虽然理论上可以只使用单个训练的模型，但为了避免过度拟合，并在预测未来临床事件时提供高精度，我们已经发现使用三个不同的模型是有利的，其中每个模型都分别在构成汇总的电子健康记录的数据集上训练。至少一个深度学习模型包含注意力机制，该注意力机制指示该模型给予“记号”(即电子健康记录中的原子元素，诸如笔记中的单个单词、药物、实验室结果等)多少注意力(或等效地，重要性)来预测一个或多个未来临床事件以及与预测的一个或多个未来临床事件相关的有关过去医学事件。注意力机制在深度学习神经网络中的使用在d.bahdanau等人的会议陈述中有所描述：neuralmachinetranslationbyjointlylearningtoalignandtranslate,jan.2014(arxiv:1409.0473[cs.cl])。对医疗保健的上下文中的注意力机制的进一步解释包括choi等人所著gram:graph-basedattentionmodelforhealthcarerepresentationlearning,arxiv:1611.07012v3[cs.lg](2017年4月)，以及choi等人所著的retain:aninterpretablepredictivemodelforhealthcareusingreversetimeattentionmechanism,arxiv:1608.05745v3[cs.gl](2017年2月)。choi等人和bandanau的参考文献的内容在此引入作为参考。在我们的优选实施例中，我们使用三种不同的模型：长期短期记忆(lstm)模型28(其为加权递归神经网络模型)，时间感知前馈模型(ffm)30(本文中也称为具有时间感知注意力的前馈模型)，以及嵌入式增强时间序列模型32(本文中也称为具有增强时间感知树桩(stump)的前馈模型)。我们之前的美国'112临时申请的附录b和图3a-3c的描述给出了三种模型的架构、设计和实施方式的进一步细节。这些模型可以执行多种预测任务；其中几个在这里和在我们之前的美国'112临时申请的附录a中有详细的描述。其中包括延长的住院时间、计划外再入院、计划外转到icu、住院患者死亡率、主要诊断代码、以及出院时计费诊断代码的完整集合。这些预测是在没有按任务选择或设计预测因子(predictor)变量的情况下做出的。五个预测任务的结果定义如下。对于每个预测，我们都使用ehr中可用的所有信息(声明数据库除外)，直到做出预测时为止：入院时、24小时后或出院时。我们选择24小时是因为这通常用于临床预测模型，诸如apache，例如，zimmerman等人所著的acutephysiologyandchronichealthevaluation(apache)iv:hospitalmortalityassessmentfortoday'scriticallyillpatients,crit.caremed.,2006。入院时间被定义为住院状态的开始，这意味着来自急诊科和门诊手术的数据将在入院前可用。对于mimic数据集，时间点与icu入院相关。由于声明数据仅具有日级别(day-level)的属性，在入院当天做出的预测包括在入院相同日历时间提交的声明。住院患者死亡率我们预测住院患者的死亡，定义为“到期(expired)”的出院处置。长时间住院我们预测住院时间超过7天，这被选为数据集内大约75％的大多数服务的住院时间。住院时间被定义为入院和出院之间的时间。30天计划外再入院考虑到入院期间和入院前的所有上述数据元素，我们预测了出院后的后续30天内的未来计划外再入院。没有公认的“计划外”定义，因此我们使用了医疗保险和医疗补助服务中心(centersformedicareandmedicaidservices，cms)定义的修改形式：如果再入院是针对没有急性并发症、化疗、移植或康复入院的计划程序，则将其排除，详细情况见我们之前的美国'112临时申请的附录b。如果入院时间在符合条件的指标性住院治疗(indexhospitalization)之前的出院时间的30天内，且没有任何干预性住院治疗，则再入院被计算在内(即再入院只能计算一次)。诊断-主要和完整集合对于每次住院治疗，我们通过预测主要诊断(使用ccs分类，将相关诊断和程序分为大约250个群组，诸如败血症或结核病)，对患者最有可能为了什么而接受治疗进行分类。我们还预测了主要和次要icd-9计费诊断的完整集合(即来自14,025个代码的大集合)。我们使用ccs类别进行主要诊断，以模拟可用于决策支持的任务，这不需要精确的icd-9代码。研究队列(studycohort)中的包括和排除标准我们包括了所有18岁或18岁以上患者的连续入院，除了一个我们没有使用年龄限制来与文献进行比较的数据集。我们只包括24小时或更长时间的住院治疗，以确保不同时间点的预测具有相同的队列。为了模拟实时预测系统的实际准确性，我们没有排除通过再入院研究通常被移除的患者，比如违背医嘱出院的患者，因为这些排除标准在住院治疗早期预测时并不是已知的。为了预测icd-9诊断的完全集合，我们排除了没有任何icd-9诊断的会面，其大约为每个数据集的2-12％。这些通常是在2015年10月之后当医院切换到icd-10时的会面。然而，对于所有其他预测，我们包括了这样的住院治疗。为了与现有文献进行比较，我们还创建了医疗或外科服务(即不包括产科)的指标性住院治疗的有限集合。模型设计和训练我们对于模型28、30和32(图1)使用了三种类型的深度学习体系结构，它们适应于对ehr的一系列患者事件进行建模。我们使用了一个著名版本的递归神经网络来创建模型28，该递归神经网络叫作长短期记忆(lstm)(参见hochreiters，schmidhuberj.所著的longshort-termmemory.neuralcomput.9pp.1735-1780(1997))，其内容通过引用并入本文。我们创建了两种新方法，我们称之为用来创建模型30的时间感知前馈模型(feedforwardmodel，ffm)，和用来创建模型32的嵌入式增强时间序列模型，我们在之前的美国'112临时申请的附录b中对此进行了描述。对于前两个模型28和30，我们实施了注意力机制(参见先前引用的bahdanau等人的论文)，以突出显示对预测影响最大的数据元素。每种模型都旨在利用ehr数据应对特定挑战：长的患者事件序列、变量的动态变化以及远程历史患者数据的影响。每个模型28、30和32分别在队列中的每个数据集上进行训练。对于预测，在大多数情况下，我们从每个模型取预测的平均值，得出最终的预测分数。在其他情况下，我们排除来自其中一个模型的结果，例如，在没有针对特定任务或预测进行调谐，并且对其余模型的预测分数求平均值的情况下。将患者ehr随机划分成开发集(80％)、验证集(10％)和测试集(10％)。为了防止任何隐式过度拟合，测试集在最终评估之前保持未使用(和隐藏)。在测试集上报告模型准确度，并且使用测试集的自举(bootstrapping)999次来计算95％置信区间。由于目标是创建个性化预测，而不是评估单个预测因子的贡献，因此我们忽略了患者内部的聚类。对于每个预测任务，我们基于现有文献，使用人造的(hand-crafted)变量创建基线模型，以判断回溯模型的性能。关于基线模型的细节在我们之前的美国'112临时申请的附录b中描述。lstm模型28和前馈模型30用tensorflow(版本1.0)来训练，并且利用定制c++代码来实施增强模型32。统计分析和基线模型在scikitlearnpython(0.18.1)中完成。所有模型都学习嵌入向量来表示每个记号(例如，ehr的原子元素)。例如，记号可以是笔记中的单词、药物的名称或特定实验室测试的离散值。嵌入被随机初始化，并且模型训练更新了嵌入以提高预测性能。图3a是示出图1的ffm30的设计和实施方式的流程图。这些步骤基本如下步骤(1)示出了最初的ehr中的数据，具有相对时间戳(增量时间)，例如预测的时刻。步骤(2)示出了每个数据元素被嵌入，这意味着转换为d维向量(该转换由模型学习)。步骤(3)示出了每个增量时间被嵌入，这意味着使用k个函数转换成k维向量，这些函数一起编码分段线性的划分(该转换由模型学习，产生预定义的或学习的函数a1...ak的库)。步骤(4)示出了将学习的投影矩阵乘以数据嵌入以产生注意力数据投影矩阵，该注意力数据投影矩阵使用列点积算子乘以时间嵌入矩阵，产生阿尔法(α)向量。步骤(5)示出了将α向量放入softmax函数中，产生贝塔(β)向量。在步骤(6)中，贝塔向量与数据嵌入矩阵相乘，得到维度为d的缩减的记录向量，该记录向量被输入到前馈网络(即内部relu(整流线性单元)的几个层)，在端部使用sigmoid或softmax函数，产生预测输出。模型的输出是sigmoid的输出，加上从步骤(4)中学习的注意力向量。图3b是示出了图1的嵌入式增强时间序列模型32的设计和操作的流程图。步骤基本如下：步骤(1)示出了最初的ehr的数据，带有到例如预测的时刻的相对时间戳(增量时间)。在步骤2)中，每个数据元素被转为二进制特征f0...fn，指示特定值/记号在特定(相对)时间点的存在。其中每个谓词在某些时间t>t处形成v>v。这些一起形成n比特向量v。在步骤(3)中，向量v与维数为d的(学习的)嵌入向量e相乘，并被汇总(例如，求和)，产生d维向量。在步骤(4)中，该d维向量被输入到例如几个elu(exponentiallinearunit，指数线性单元)层的网络中，以sigmoid结束。网络的输出是sigmoid函数的输出。图3c是示出了图1的lstm模型28的设计和操作的流程图。这些步骤基本如下：(1)对于每个特征类别(例如，药物、笔记、生命体征)，每个数据点都嵌入到dcategory尺寸的向量中。(2)所有数据都被考虑在例如1天的袋子(bag)中。对于每个特征类型，对袋子中的所有向量计算加权平均值，产生例如该袋子的平均药物向量。(3)对于每个袋子，例如，1天的袋子，所有平均特征向量被级联，产生尺寸为d的向量，对于所有特征类型d＝dmedication+dnote+dvital等。(4)这些平均向量被输入到lstm模型中，每个向量代表序列中的一个步骤。(5)lstm的输出被输入到softmax函数(用于多类分类，例如，识别主要诊断)或逻辑函数(用于概率任务，例如，死亡率)。这些模型的替代方案可能适用于本系统，诸如，例如使用注意力的自回归卷积神经网络模型，参见a.vaswani等人所著的attentionisallyouneed,arxiv:1706.03762[cs.cl](2017年6月)。如上所述，模型使用注意力机制，注意力机制使得对于由对患者进行特定预测的模型使用的特定记号的权重或“注意力”的粒度能够可视化。现在将结合图4、图5和图6描述几个示例。图4是对ehr中的数据的显示64的一种形式的图示，其示出了患者时间线或一系列事件(包括药物、会面、程序、笔记、指示等)中的深度学习模型中的注意力机制的结果。在这个特定的示例中，每个圆圈指示与预测相关的特定事件(在该情况下，是预测的住院患者死亡率的风险)的发生，诸如给药、实验室测试、程序、笔记或指示。在该示例中，时间线指示患者入院日期，并且在两天内的特定时间点处摘录他们的记录(如药物、笔记、报告等)。图5是对ehr中的数据的形式的另一种显示的图示，其以笔记的摘录的形式示出了深度学习模型中的注意力机制的结果，笔记中单个单词被给予强调程度(尺寸、加粗、颜色等)，强调程度对应于由深度学习模型生成的临床预测对于单词的注意力(重要性，或权重)以及该预测(诊断患有转移性黑色素瘤伴随肺炎和贫血)对于病史中的特定药物的注意力。来自ehr中的自由文本笔记的术语，“黑色素瘤”、“转移性”、“包裹”、“咯血”等，以较大字体和较深颜色显示，以将提供者的注意力引导至与模型生成的预测有关或相关的这些ehr的元素。图6是深度学习模型中的注意力机制的结果的另一示例，显示了在ehr的笔记中发现的不同单词被给予与诊断患有酒精有关的病症的预测相关的不同强调程度(加粗，字体尺寸)。较深的突出显示对应于医学笔记中注意力分数较高的单词：滥用、戒断、酗酒者等。模型中用于驱动对与预测有关的ehr中的医疗事件的显示的注意力机制的进一步示例将在面向提供者的界面的后续部分中讨论。图4、图5和图6的注意力结果是如何产生的示例如下：首先，为了识别与预测相关的患者的过去医疗问题，我们运行在患者的所有历史时间段内(例如，每次历史会面一次，或者历史上每周一次)识别诊断代码(如前所述，icd9代码预测和主要诊断ccs代码预测)的模型。由此，我们得到预测/识别的过去医疗问题的列表，我们由此从药物、实验室结果、生命体征、笔记等中推断出来。这些问题被排名并呈现给医师。排名决于几个因素，诸如(1)有多少证据支持该医学问题(例如，它是否只在笔记中提到，或者也在实验室结果/生命体征中观察到，以及是否也用药物治疗过)，(2)该问题是否在主ehr中明确地进行了记账和编码，或者这是我们推断的但没有明确编码或记账的“嵌入式”诊断，以及(3)该医学问题(例如动脉瘤与高血压)有多罕见和严重，以及潜在的其他因素。接下来，对于每个问题，我们需要总结关键事实，诸如关键药物和关键笔记摘录和单词。我们使用注意力机制询问上述模型(其将该患者分类为例如高血压患者)，以指示例如对于每种药物或对于笔记中的每个单词，模型给予该单词多少注意力(介于0-1之间的数字)(或者直观地，权重或重要性)。分数最高的单词显示在图5和图6的图示中。作为另一示例，如将在后面的图中描述的，电子设备的面向提供者的界面(图1，40)示出了与icu转移的预测(而不是历史医疗问题)相关的来自ehr的笔记摘录。这里，我们再次使用完全相同的注意力机制，为模型看到的每个输入记号(例如，笔记中的每个单词、开出的每个药物等)获得介于0-1之间的数字，指示模型对该单词/药物/等施加了多少权重，同时对icu转移做出预测。关于模型性能、研究队列、数据集特征以及与基线模型相比较的结果的更多细节，在我们之前的美国'112临时申请的附录a中给出，并不特别有关。我们的模型在队列中测试集的回溯研究中的性能结果总结如图7所示。图7示出了模型做出的不同类型的预测，包括再入院、死亡率、计划外er/医院就诊等。“auc”(areaundercurve，曲线下面积)性能度量表示曲线下的观测者操作特性(receiveroperatingcharacteristic)区域，这是机器学习中的标准性能度量。我们在模型开发和测试中的发现总结如下。对电子健康记录数据使用深度学习，我们在预测住院患者死亡率、长期住院、计划外30天再入院、识别主要诊断和出院时分配计费代码方面表现出了高预测性能。我们表明，结果在医疗保健系统和临床任务上是一致的，随着新患者数据的可用性而提高，并且可以使用注意力机制来解释。我们有四个关键发现，如下所述。更多细节参见我们之前的美国'112临时申请的附录a。结果可跨不同数据集扩展第一，我们的方法适应非结构化数据，诸如跨越多个临床站点的自由文本笔记，并且可以使用ehr的所有数据来进行模型训练和创建准确的预测。我们的方法不需要手工挑选变量，也不需要决定如何从特定站点的原始数据中清理、提取和统一它们。文献中的预测模型使用了27个变量的中位数，而我们使用了超过100,000个数据点的中位数，包括通常难以纳入的变量，如临床笔记和流程图。预测性能在不同任务中表现出色第二，我们的结果表明，我们的表示和建模ehr数据的方法可跨临床任务扩展，并且我们相信我们的结果在死亡率(0.94-0.98比0.91)、再入院(0.74-0.75比0.69)和住院时间(0.86-0.92比0.77)方面优于可比较的研究。我们在icu死亡率和再入院方面的表现也优于医师的辨别。然而，考虑到性能基于队列选择和研究设计而不同，比较我们的结果与其它研究是困难的；许多结果具有对队列和结果的不完整描述，基于较小、疾病特异性的队列来预测，或者使用常规上不可实时获得的数据。为了解决这一限制，我们将医院、新闻分数(newsscore)和刘氏模型(liu’smodel)的版本实施为基线，参见我们之前的美国'112临时申请的附录b，并展示了卓越的性能。我们还评估了被设计为与医疗或外科服务患者的相关研究更加相似的队列，并发现与我们的方法有相似的益处。另外，我们使用开放数据集mimic，其中我们在死亡率的auc方面以0.91比0.80优于现有文献，并且在icd分类的微f1方面以0.4比0.28优于现有文献。建模利用来自完整数据序列的值第三，我们的建模技术在新数据变得可用时成功地更新了预测，而不是使用固定的时间点。在所有任务中，模型使用数十万个患者属性来显著提高所有任务的性能。有趣的是，我们的模型从声明数据中提取出与ehr数据几乎相当的区别性性能；事实上，在预测计划外再入院时，声明的性能超过了ehr数据的性能，这很可能是由于对在其他医院再入院的完整看法。复杂模型的输出是可解释的第四，我们展示了注意力机制，其使得模型使用的数据的粒度能够可视化，从而为患者做出特定的预测(参见图4-图6以及下面对图8-图9和图14-图19中界面的讨论)。由于我们对患者事件的顺序和时间进行了明确建模，因此我们的方法确实显示了患者历史中与预测相关的内容、时间和地点。尽管不具有对用于描述每个变量如何贡献于结果的让步比(oddsratio)的模拟，我们相信注意力技术可以减轻对深度学习是“黑匣子”的担心，并且在未来可以被用于为临床医生提取突出的信息。界面中对与预测的未来临床事件相关的潜在过去医疗事件的呈现给了医疗保健提供者信心：深度学习模型实际上正在提供及时和有用的信息。局限用于模型开发和训练的数据集中的标签可能在临床上不正确或缺失。计费诊断可能不反映临床诊断；例如，出于管理原因，肺炎越来越多地被编码为败血症。类似地，再入院通常发生在单独的医疗系统中，并且这些记录通常不会与出院的医院系统共享。在健康机构或具有研究等级定性的数据集之间缺乏完整的数据共享的情况下，这种局限会影响在实时临床护理中收集的所有数据。第二个局限是我们的方法依赖于大型数据集、强大的计算基础设施和复杂的算法，这需要复杂的工程来复制。然而，这种方法允许单个建模体系结构在一系列预测任务中实现优异的预测性能，并且鉴于本公开和所附附录，该方法在本领域技术人员的能力范围内。最后，有人担心使用许多变量总是会导致过度拟合。我们通过报告训练期间未使用的患者的留存(held-out)测试集的结果(这估计真实世界的性能)并通过显示3个独立数据集的结果，来减轻这种担心。此外，模型的设计可以包括避免过度拟合的技术。虽然上面已经描述了几种类型的预测，但是这些模型可以用于其他预测任务，包括：药物和剂量，目的是自动完成和警告异常剂量或意外处方(医疗错误的来源)。医师笔记中的下一单词、句子或段落，例如出院总结，目的是自动完成或者建议文档模板或部分，供医师审阅、编辑和提交(撰写文档是主要的时间负担)。预测各种各样威胁生命的事件，诸如插管、通气、护理灵敏度的变化(如icu转移)、器官支持、移植等，目的是监视和警告此类事件。预测生理恶化，例如每天或者在指示实验室测试之前，或者在例如施用葡萄糖之前(目的是防止例如高血糖/低血糖)。预测护理总成本，目的是对高成本患者进行风险分层。预测入院和普查(每个病房将收治多少患者)，目的是容量规划。d.用于通过深度学习进行临床预测和理解的提供者界面一旦预测模型28、30和32已经如上所述被开发、测试和验证，它们然后就可以用于对来自患者的输入的ehr进行预测，如图1所示，以改善患者护理。在本文档的此部分中，我们将描述如何将这些预测以及ehr中对有关过去医疗事件(测试结果、诊断、笔记、药物等)的识别呈现给医疗保健提供者。本质上，图1的计算机26使用(多个)模型28、30和或32从输入健康记录中生成关于预测和相关的过去医疗事件的数据，并将该数据提供给电子设备40用于在界面上渲染。图8a是由治疗患者的医疗保健提供者使用的电子设备40(例如，具有屏幕显示的计算机终端、平板电脑、智能手机或其他类型的计算设备)的面向医疗保健提供者的界面100的图示。这种配置的界面100被设计用于医院环境。该界面包括两个患者的显示区域102和104。对于患者“marksmith”，该显示包括警报104，其指示预测模型预测该特定患者的两个未来临床事件，在该情况下是计划外转移到重症监护病房(icu)和延迟出院。图8a的界面被设计成在早期提醒医疗保健提供者注意有风险的患者。图1的系统准确地预测了其中某些东西“关闭”、“异常”或“需要注意”的特定事件。从医师的角度来看，当他们还有时间采取行动时，界面满足了早期提醒的需要。此外，如将结合图8b所解释的，该界面解释了为什么预测模型认为/预测警报状况将会发生。图8a还示出了感兴趣的其他方面，包括工具栏108，其允许医师在显示102的时间线区域105中、在0-100的y轴标度上选择不同概率(或风险)的图形显示。在这种情况下，医师已经将死亡、出院和icu转移的风险/概率切换到“开启”位置。线110绘制了出院的概率。线112绘制了icu转移的概率。线114绘制了死亡的风险。注意到大约16：00时，icu转移的风险急剧上升，此后不久，死亡风险略有增加。医师可以通过点击或选择警报图标104来探索这些风险/概率的曲线图，并找出关于与icu转移和延迟出院的风险相关的过去医疗事件的更多信息。当选择警报图标104时，界面100改变为图8b所示的显示。基本上，这个版本的界面有助于医师现在了解患者，包括所做的预测和相关的之前的医疗事件。医师在考虑：“我需要了解的关键医疗问题是什么？帮助我深入了解我做出决策可能需要查看的状况或其他数据。不要让我错过关键信息。”这些需求通过图8b的显示得到满足。特别地，在区域130中，基于ehr实时地显示了与警报相关联的问题列表：当前入院的主诉(chiefcomplaint)(腹痛)、之前住院的主诉(酒精戒断、心房颤动)、关键推断诊断(即由模型28、30、32推断的诊断)，以及患者的其他主要医疗状况(糖尿病前期、高血压和股癣)。在区域140中，显示了当前的实验室结果。在区域150中，显示了与icu转移和延迟出院的预测有关的医学笔记的摘录，模型中的注意力机制的结果以红色字体突出显示笔记中被注意力机制评分高的特定元素或单词(在该情况下，为“酒精戒断”、“担心酒精戒断”)。在区域160中，显示了当前的生命体征。在区域120中，显示了示出之前的住院、er就诊和门诊活动的时间线。线122是患者的医疗保健利用强度的可视化，以及关于该患者的可用数据量，例如，他们访问医疗保健机构的频率、进行了多少实验室/生命体征测试、开了多少药物等。下面将在对示例的描述中进一步讨论图8a和图8b的界面。如前所述，预测模型也可用于门诊环境，以便对患者进行预测。例如，图9示出了对界面100和界面上的工具200的显示，工具200将与医师办公室中的界面的使用有关。工具200允许医师和他或她的护理团队绘制急诊科就诊、住院治疗、死亡的风险/概率的时间线(类似于图8a的区域105所示)和类似于图8b中的显示线的医疗资源的一般成本/利用率。例1–如果没有本公开的益处，今天会发生什么这个假设的示例将说明在没有本公开的益处的情况下患者护理的困难。患者“marksmith”因严重腹痛于早上7点来到急诊室。他做了全面的检查，包括实验室测试和腹部超声波检查，但未查出明确原因。他的腹部检查相对良性，但他仍然需要静脉注射(iv，intravenous)止痛药。上午10点，他被内科医学团队收治进行观察和疼痛控制。收治团队怀疑是非特异性胃炎，并且他们预计第二天出院。主要团队在下午4点签退(sign-out)，移交给主治医师(负责130个患者)，并警告：“smith先生可能会产生酒精戒断，但还没有任何迹象。”晚上8点，主治医师将所有130个患者都签退给夜班医生，kingsley医生。晚上8点，kingsley医生进入她的夜班。她负责她以前没有护理过的130个患者。她开始轮班，将所有130个患者的首次呼叫寻呼机转移到自己的寻呼机。晚上10点，kingsley医生收到寻呼：14楼21室的患者smith的心率为99，在床上舒服地看电视。bp115/79，rr20，98％ra。仅供参考，呼叫参数为90凌晨1点，kingsley医生收到另一寻呼：14楼21室的患者smith有败血症警报，请回拨3-9124kingsley医生登录ehr，并且看到警报：败血症警报。患者符合sirs标准。根据国家指南，在1小时内给予30cc/kg静脉注射液和抗生素深入调查后，kingsley医生发现患者的心率已经从白天的70上升到99，现在又上升到110，并且他的呼吸率(respiratoryrate)被记录为20(正常时记录的正常呼吸次数)。乳酸盐(由护士指示)为2.5(轻度升高)。kingsley医生的寻呼机现在每45秒就响一次，所以她必须分流(triage)她的时间。凌晨1:05，她向报告“他看起来不太好，有点颤抖和发汗”的护士回电。当她说话的时候，她提取白天的笔记主要问题是“不明腹痛”的地方。上面继续写着“患者有非特异性腹痛和肝酶轻度升高，超声检查有非特异性胆囊增厚。疑似胃炎，可能是因为饮酒，但患者否认。监测腹腔内病理。”败血症警报使她想起了临床规则，即对于败血症每延迟一小时使用抗生素，死亡率上升7.5％。她想见患者，但可能不能够给他另外检查30分钟，因为这很可能会使抗生素的使用延迟1个多小时。她担心腹内感染。她查看他是否做过超声心动图，但他没有。凌晨1:00，她指示了2l的ivf(intravenousfluids，静脉注射液)、万古霉素和zosyn(抗生素)，并指示了腹部-骨盆ct对比。凌晨2:10，头顶上响起警报。紧急抢救(codeblue)：14楼21室kingsley医生跑到14楼21室，发现史密斯先生呼吸困难。第二袋iv液差不多完成了。她听诊了他的肺，并且注意到日间团队没有记录的明显声变(crack)。他的jvd显著提升。她也注意到他明显的震颤和颤抖。当再次被询问时，患者承认在过去一周内大量饮酒，但两天前因为腹痛停止了。她停止iv液，打电话给重症监护室(icu)小组，因为医源性急性肺水肿和酒精戒断而将患者转移到icu。该示例的解决方案如下：患者实际上因使用酒精和布洛芬而引起胃部刺激，导致腹痛。而在医院时，他开始进入酒精戒断，这是他心率加快、颤抖和发汗的原因。临床医生也没有意识到，他的门诊医生担心由于运动耐量不断恶化而引起酒精性心肌症，并已指示了一次尚未进行的超声心动图检查。在从紧急抢救开始对患者进行实际检查后，医师根据她提取的液体诊断出急性肺水肿，并识别出酒精戒断。患者被转移到icu，接受治疗，并且4天后出院。3周后，患者因艰难梭菌结肠炎再次入院，很可能是由于抗生素给药不当。根本原因分析询问kingsley医生错过了什么？仅仅在患者病情恶化之后后，才匆忙评估患者。该患者患有酒精性胃炎和酒精戒断，这被误认为是败血症和治疗不当。患者疑似患有心肌症：并且在没有体检和ecg的情况下不应该接受输液。什么是本应该发生的？1.本应该预测并防止因酒精戒断而等待icu转移。2.不应该给予iv液，从而防止因液体过量而导致的icu转移。3.不应该给予抗生素，从而防止医院获得性感染。4.本应该阻止随后的再入院框定偏差(framingbias)和确认偏差(confirmationbias)都有助于解释为什么会出现这种情况。框定偏差是：我是否拒绝对可能患有败血症的患者进行救生治疗？确认偏差是，给定信息密度的情况下，医师只寻找可能的腹部败血症的来源。图10-图13示出了保健提供者可从ehr获得的大量信息以及为什么需要本公开的特征的示例。图10示出了该患者四年病史的摘录，列出了433项诊断。图11示出了本专利的诊断的摘录，但是缺少重要的伴随信息(诸如，患者是作为门诊患者、住院患者还是在icu或其他环境中接受治疗)限制了信息的有用性。图12示出了一个巨大的列表，列出了在给定的时间跨度内，该特定患者的不同会面，但是缺少每次会面的细节。图13只示出了提供者在一次住院治疗中4天内记录的一小部分笔记，总共33个笔记，约10,000字，可以填满标准移动设备的60个不同的屏幕。简而言之，需要帮助kingsley医生将她的注意力只放在ehr那些与患者当前状况实际相关的元素上。示例1中的患者护理可以得到改善，因此开发了本公开的系统。示例2–预测临床事件：icu转移和延迟出院该示例将说明图1的系统在实施例1治疗患者“marksmith”中的益处。总之，该系统通过准确预测具体事件，在早期提醒医师注意有风险的患者；当他们还有时间采取行动时，早点提醒他们，并解释系统为什么做出预测。一旦他们有了注意力(例如通过使用图8a中的警告)，这将有助于医师现在了解患者-关键问题是什么、医师在做出决策时可能需要查看哪些状况和其他数据，而不是让他们错过关键信息。在图14中，图3的设备的界面100的示例实时地跟踪四个患者的数据和风险。医师已经切换工具108来定制实时地跟踪风险或概率。在图14中，界面包括用于四个不同患者的四个显示区域300、302、304和306，显示区域300是用于患者marksmith的显示区域，并且曲线图和警报104如图8a中所述。在我们假设的示例中，晚上8:02，kingsley医生开始她晚上8点的轮班，并登录到提供本公开的界面100的系统中，该系统在本文档中被称为“监护人”。她首先看了jerrymashokitar，她被告知jerrymashokitar是一个“观察者”，这一点得到了监护人的证实，因为该曲线图显示由线303所示的死亡的风险增加。晚上8:03，警报104被激活，她注意到marksmith在患者名单的首位。警告是该患者有icu转移和延迟出院的风险。kingsley医生脑海中立刻形成了疑问：患者的当下医疗问题是什么？他们过去酒精戒断有多严重？他们需要入住icu吗？他们正在接受什么针对心力衰竭的治疗？他们的射血分数降低了吗？他们最近有过感染或接受过抗生素吗？有阳性的细菌反应(positiveculture)吗？心房颤动难以控制吗？患者突然停止服用贝塔受体阻滞剂了吗？换句话说，患者的关键问题是什么，何时出现，有什么证据？kingsley医生激活图标104，出现图8b的显示。该界面显示了icu转移的风险，并将她的注意力引到对引起该风险的酒精戒断的担心，这是由于笔记区域150显示了笔记“可能有酒精戒断发作的病史”、“严重的酒精使用”和“担心酒精戒断”的笔记。短语“酒精戒断”和“担心酒精戒断”以红色字体和粗体显示。这是在预测模型中使用注意力机制的结果，如前所述。因此，图8b的显示总结了预测的当前风险(icu转移)的过去医疗事件。图15示出了图8b的界面，该界面示出了在ehr中过去152次会面中仅选择的、与预测相关的关键事件(icu转移、延迟出院)，并呈现在患者时间线区域中。图16示出了图8b的界面，该界面示出了从ehr中过去433个诊断或问题的列表中仅选择的、与预测相关的关键问题(icu转移、延迟出院)。这些关键问题(即有关过去医疗事件)在问题列表区域中作为总结呈现在显示的左侧。图17示出了图8b的界面，该界面示出了从ehr笔记中的12,000个单词中仅选择的、与预测相关的关键重要摘录或单词(icu转移、延迟出院)。在生成预测时，由于在深度学习模型中使用了注意力机制，因此具有一定程度对特定单词或短语的突出显示的关键摘录(单词和短语)被呈现在界面的右下方区域。图18示出了图8b的界面，该界面示出了该界面总结列出的每个医疗问题的能力。在这种情况下，提供者点击了图8b的显示区域130中的“酒精戒断”关键问题400，并且该显示示出了与该关键问题“酒精戒断”相关的栏位402中的药物、栏位404中的笔记或其摘录、以及栏位406中的事件时间线。图19示出了当用户选择“关键推断”问题“心肌症”时发生的情况，并且该显示以时间线506、药物502及在栏位504中的相关笔记或其摘录的形式示出了关键问题“心肌症”的总结。栏位504和404中的笔记或摘录再次使用突出显示(粗体、字体尺寸等)来指示模型中注意力机制的结果，以再次向医师显示在生成预测时最重要的ehr元素。再次回到使用本公开的特征对患者marksmith的治疗的描述，而在示例1中，kingsley医生在凌晨1点收到败血症寻呼，利用本公开的特征，kingsley医生提前指示期望的干预。在呈现警报之后，她立即去看患者，考虑到风险非常高，她指示用于戒断的ciwa协议。她发现门诊患者疑似患有心肌症，决定不给2liv，以防患者真的有心力衰竭。考虑到诊断的不确定性，她决定根据心房颤动的病史还指示ecg并检查患者。总之，本公开的系统避免了将患者转移到icu的需要，并且也避免了后来再入院。在这个示例中，医师被给予预测的临床事件的及时警报，呈现预测的关键医疗事件，使医师能够改善他们对患者的护理，避免icu转移，避免计划外再入院，并避免抗生素给药引起的并发症。示例3–er或住院治疗的风险的门诊警报这个示例将解释图1的系统在门诊环境中的使用。jenniferchoi是一位83岁的女性，有心力衰竭史(ef30％)，用华法令治疗心房颤动，有高血压和糖尿病前期，目前作为新患者而在keyes医生的门诊心脏病诊所就诊。keyes医生被要求治疗她的心力衰竭。choi女士想确保keyes医生了解她的其他状况，以确保治疗不会相互干扰。早些时候，choi女士在初级护理医师(primarycarephysician，pcp)就诊之前进行了实验室检查，发现她患有轻度急性肾损伤。她的pcp感觉她的体液状态稳定，所以他减少了利尿剂的剂量，并建议在一周内重复实验室检查。在与keyes医生会见后出门时，choi女士的女儿私下里表示担心，她的母亲越来越糊涂，担心她的母亲可能没有正确服用药物。keyes医生已经比原计划晚了30分钟，她说她将在3周后的会见中进一步调查此事，并在笔记中提醒她下次就诊时解决困惑：“女儿担心患者越来越糊涂。计划moca并在下次就诊时评估认知障碍”。pcp和keyes医生都参与到图1的系统中，并将choi女士的ehr信息转发到图1的计算机26，以应用预测模型。pcp和keyes医生都有包括用于门诊患者的图9的界面的电子设备(工作站)。模型预测choi女士在未来14天内有ed就诊/住院的风险。警报呈现在图9的显示屏上。该团队拥有管理这些高风险情况的专业知识。该显示将示出时间线(包括最近住院)，诸如图18的栏位406所示，它将示出推断的问题：chf(congestiveheartfailure，充血性心脏衰竭)、aki(acutekidneyinjury，急性肾损伤)、afib(atrialfibrillation，心房颤动)，在图8b的栏位130中的糖尿病前期、高血压，并且将在栏位150(图8b)中包括笔记摘录：笔记1(pcp)：“女儿担心患者越来越糊涂。计划在下次访问时进行moca并评估认知障碍[..]患者肾功能恶化，可能是因为过度利尿。将减少呋塞米的剂量，并在1周内重复实验。告诉女儿要监测体重和呼吸”笔记2(护士)：“患者对呋塞米剂量很糊涂”笔记3(护士)：“我不知道我妈妈应该服务什么剂量”由于注意力模型的使用，这些笔记的关键部分以粗体显示-“关注”“糊涂”“moca”“肾功能恶化”“减少呋塞米剂量”“对呋塞米剂量很糊涂”等。示例4-繁忙的急诊部该示例将说明本公开的特征在示例1和示例2中对假设的患者“marksmith”的使用。“marksmith走进急诊室，捂着肚子，抱怨疼痛。他的心率是110，身体颤抖，出汗，呼吸困难。护士把ed住院医生peters医生叫来，帮助弄清楚发生了什么。peters医生有许多问题。他以前住院过吗？他有什么疾病？这些疾病有多严重？这些疾病是如何治疗的？ed提取史密斯先生的ehr，图1的预测模型应用于他的ehr。终端的界面或呈现该界面的其他电子设备提取并显示与这些问题和他当前的主诉相关的信息，并且包括预测的诊断和关键的潜在医疗事件，如图8b所示。当获得当前生命体征时，它们被添加到相关图表信息的显示中。进一步考虑预测模型和相关计算机或计算机系统26的精确物理位置和实施方式可以变化。在某些情况下，它可能实际上位于医疗系统或服务附属设施的医院、初级护理医师办公室和相关诊所等。在其他情况下，它可以位于中心位置并接收ehr，通过广域网传输预测的未来临床事件和相关的之前的医疗事件，并以服务费、订阅费、独立产品费或其他商业模式为大量不相关的医疗保健机构提供服务。在所有情况下，都有适当的数据安全和hippa合规程序。当前第1页1 2 3 当前第1页1 2 3