医疗保健分析管理的制作方法

背景技术：

本申请一般涉及改进的数据处理设备和方法，并且更具体地涉及用于可伸缩和可追踪的医疗保健分析管理的机制。

医疗保健分析是用于描述可以通过以下方式对从医疗保健中的四个领域收集的数据进行分析活动的术语：声明和成本数据、药物研究和开发数据、从电子医疗记录收集的临床数据(emr)，以及患者行为和情绪数据(例如，患者行为和偏好以及零售购买)。医疗保健分析侧重于临床分析、财务分析、供应链分析、欺诈和人力资源分析等领域。医疗保健分析允许检查各种医疗保健数据中的模式，以确定如何在限制过度支出的同时改善临床护理。

技术实现要素：

提供本发明内容以引入简化形式的概念的选择，其被进一步在本文的具体实施方式中描述。本发明内容不旨在标识所要求保护的主题的关键因素或必要特征，也不旨在用于限制所要求保护的主题的范围。

在一个说明性实施例中，提供了一种在包括至少一个处理器和至少一个存储器的数据处理系统中的方法，所述至少一个存储器包括由所述至少一个处理器执行的指令，以使所述至少一个处理器实现医疗保健分析管理系统。该方法包括通过所述医疗保健分析管理系统的医疗保健分析开发子系统，基于医疗保健分析客户端的一组业务需求开发一组分析资产的分析管道，以及基于所述一组分析资产及所述一组业务需求开发医疗保健分析模型。所述医疗保健分析模型链接到所述分析管道。该方法还包括通过所述医疗保健分析管理系统的医疗保健分析操作子系统的模型部署模块，在所选择的医疗保健消费者的一组计算设备上部署所述医疗保健分析模型。该方法还包括：响应于所述医疗保健分析操作子系统的模型监测模块检测所述已部署的医疗保健分析模型的性能偏差以从所述医疗保健分析客户端的业务需求集合获得性能偏差，通过所述医疗保健分析操作子系统的模型反馈模块，确定所述医疗保健分析模型的改进需求。该方法还包括由所述模型反馈模块将所述改进需求反馈给所述医疗保健分析开发子系统。该方法还包括通过所述医疗保健分析开发子系统，基于所述改进需求定制化所述医疗保健分析模型。

在其他说明性实施例中，提供了一种包括具有计算机可读程序的计算机可用或可读介质的计算机程序产品。当在计算设备上执行时，所述计算机可读程序使所述计算设备执行以上关于方法说明性实施例概述的操作中的各种操作和组合。

在又一个说明性的实施例中，提供一种系统/装置。该系统/装置可以包括一个或多个处理器和耦合到所述一个或多个处理器的存储器。存储器可以包括指令，当由所述一个或多个处理器执行时，使得所述一个或多个处理器执行以上关于方法的说明性实施例概述的所述操作中的各种操作和组合。

本发明的这些和其他特征和优点将在以下对本发明的例证性实施例的详细记载中被描述，或者鉴于此详细记载使本发明对本领域普通技术人员变得显而易见。

附图说明

所述发明，及其使用的优选模式和因此带来的进一步的目的和优点，将通过对以下参考说明性实施例的详细描述的阅读并结合附图获得最佳的理解，这里：

图1是分布式数据处理系统的示例图，其中可以实现该说明性实施例的各个方面；

图2是其中可以实现该说明性实施例的各方面的计算设备的示例框图；

图3描绘了根据说明性实施例的可伸缩和可追踪的医疗保健分析管理；

图4描绘了根据说明性实施例实现基于云的可跟踪和可伸缩医疗保健分析管理的系统框图；

图5描绘了根据说明性实施例的版本化分析管道存储库的框图；

图6描绘了根据说明性实施例的版本化模型存储库的框图；

图7描绘了根据说明性实施例的模型部署模块的框图；

图8描绘了根据说明性实施例的模型监视模块的框图；

图9描绘了根据说明性实施例的模型反馈模块的框图；和

图10是示出根据说明性实施例的用于可伸缩和可追踪的医疗保健分析管理的机制的操作的流程图。

具体实施方式

对识别和应用数据驱动证据以改善护理结果和降低成本的需求日益增加。识别数据驱动的证据需要使用高级分析方法(例如，机器学习或模式检测)的高技能资源。对于从该数据驱动证据中受益的医疗保健从业者、患者或政策制定者，分析资产必须部署为近实时应用程序并与操作系统集成。每个患者群体都有独特和不同的医疗保健需求，从而导致不同的分析要求。动态的市场环境和医疗实践要求能够随着时间的推移灵活地调整分析模型。

然而，健康证据数据往往是分散在组织和数据系统。获取基于证据的见解力往往是一个手动和临时的过程，缺乏标准的端到端工作流程。在现有技术中，没有有组织的方式来重用、共享和管理分析资产，也没有可追踪的方式来部署分析资产。现有技术解决方案缺少基于新证据或新数据源来适配分析的反馈回路。

该说明性实施例提供用于基于云的可追踪和可伸缩的医疗保健分析管理的机制。该说明性实施例的所述机制在闭环中编排开发、部署和操作以实现分析生命周期管控和持续学习。该说明性实施例的所述机制提供了作为针对各种不同医疗保健消费者的服务的见解。该说明性实施例解决了管理大量各种不同医疗保健分析资产的关键挑战，包括可追溯性、可重用性、搜索能力、可扩展性、自动化应用和持续改进。

该说明性实施例的机制包括以下两个子系统：医疗保健分析开发管理系统和医疗保健分析操作管理系统。医疗保健分析开发管理系统由版本化分析存储库组成，其中包含用于不同业务目的的分析工作流程的每个步骤中的功能库，以及与所述分析存储库链接的版本化模型存储库以及扩展应用程序编程接口(api)服务。所述医疗保健分析操作管理系统包括以下模块：模型部署模块，插入在正确的工作流/运行时环境中开发的正确版本的模型，并主动管理相关的元数据；模型监测模块定期报告已部署模型的性能，检测并通知性能偏差；并且，模型反馈机制分析性能偏差的潜在根本原因，推理改进需求，并反馈改进要求到分析开发管理。

该说明性实施例用于基于云的医疗保健分析生命周期管理，包括开发和运营的机制，尤其是对于多客户端模型的定制、部署和操作反馈。该说明性实施例将所述分析存储库与所述模型存储库分离。所述分析存储库提供针对每个临床或业务用例设计的分析管道，例如使用电子病历(emr)的再入院风险管道。所述模型存储库提供了一个经过调整的分析模型，给出了特定的数据输入和配置，例如为特定卫生系统所服务的医保(medicare)人群开发的再入院风险模型。

根据一个说明性实施例，每个存储库具有设计成用于它的预期目的的功能和标准工作流的可重复使用的库(libraries)。库构建器添加注释或标记以指示有关库的元数据以使其可搜索。应用程序编程接口(api)服务使可重用性和共享能力更容易实现，并且还可以实现协作。

该说明性实施例支持可配置的分析资产。配置通过api服务公开，以最大限度地减少手动代码更改。每个配置都包含特定于某一用例的分析参数，特定于所述数据集的元数据。配置使该已部署模型可追溯。

所述的说明性实施例提供部署分析资产的多级版本。例如，级别1是训练管道，级别2是客户端的自定义模型，级别3是基于客户端的数据反馈随时间的增强。说明性实施例的机制可以恢复到旧配置并且可以使过去的配置可搜索。

所述的说明性实施例提供了闭环模型监控、自适应定制和持续学习反馈机制。所述监视功能可确定运行时性能并检测性能偏差。所述反馈机制导致性能偏差以及不同的级别改进需求(例如，低触摸参数重调节与来自分析管道的高触摸模型重新训练等)。所述模型更新机制向所述开发分析管道和模型存储库提供反馈，以实现持续学习。

在开始讨论说明性实施例的各个方面之前，首先应当理解，在整个说明书中，术语“机构”将用于指代执行各种操作、功能等的本发明的元件。这里使用的术语“机制”可以是装置、过程或计算机程序产品形式的说明性实施例的功能或方面的实现。在过程的情况下，该过程由一个或多个设备、装置、计算机、数据处理系统等实现。在计算机程序产品的情况下，由计算机代码或包含在计算机程序产品中或计算机程序产品上的指令表示的逻辑由一个或多个硬件设备执行，以便实现功能或执行与特定“机制”相关联的操作。因此，这里描述的机制可以实现为专用硬件、在通用硬件上执行的软件、存储在介质上的软件指令使得该指令易于由专用或通用硬件执行、用于执行功能的过程或方法，以及任何上述的组合。

关于特定特征和说明性实施例的元件，本说明书和权利要求书可以使用术语“一”、“至少一种”和“一个或多个”。应当理解，这些术语和短语旨在表明存在至少一个特定特征或元素存在于特定说明性实施例中，但也可存在多于一个。也就是说，这些术语/短语不旨在将描述或权利要求限制为存在单个特征/元素或者要求存在多个这样的特征/元素。相反，这些术语/短语仅需要至少单个特征/元素，并且多个这样的特征/元素的可能性在说明书和权利要求的范围内。

此外，应当理解，如果在本文中关于描述本发明的实施例和特征而使用的术语“引擎”的使用并不旨在限制用于实现和/或执行动作，步骤的任何特定实现。发动机可归因于发动机和/或由发动机执行的过程等。引擎可以是但不限于执行指定功能的软件，硬件和/或固件或其任何组合，包括但不限于任何使用通用和/或专用处理器与加载的适当软件的组合或者存储在机器可读存储器中并由处理器执行。此外，除非另有说明，否则与特定引擎相关的任何名称均为出于便于参考的目的而不是旨在限制特定实现。另外，归属于引擎的任何功能可以由多个引擎同等地执行，并入和/或与相同或不同类型的另一引擎的功能组合，或者分布在各种配置的一个或多个引擎上。

此外，应当理解，以下描述使用多个用于说明性实施例的各种元件的各种实施例以进一步说明本说明性实施例的示例实现，并在说明性实施例的机制的以帮助理解。这些实施例旨在是非限制性的，并非穷举实现说明性实施方案的机制的各种可能性。鉴于本说明书，本领域普通技术人员将清楚，对于这些各种元件存在许多其他替代实施方式，其可以在不脱离本文提供的示例的情况下使用，或者替代本文提供的示例而不脱离本发明的精神和范围。

该说明性实施例可以在许多不同类型的数据处理环境使用。为了提供说明性实施例的特定元件和功能的描述的上下文，以下提供图1和图2作为其中可以实现说明性实施例的各方面的示例环境。应该理解的是，图1和图2仅是示例，并非旨在声明或暗示关于可以实现本发明的方面或实施例的环境的任何限制。在不脱离本发明的精神和范围的情况下，可以对所描绘的环境进行许多修改。

图1描绘了图形表示的示例性分布式数据处理系统，所述说明性实施例的各方面在其中可以被实现。分布式数据处理系统100可以包括计算机网络，其中可以实现说明性实施例的各方面。分布式数据处理系统100包含至少一个网络102，其是用于在分布式数据处理系统100内连接在一起的各种设备和计算机之间提供通信链路的介质。网络102可以包括连接，例如有线，无线通信链路或光纤电缆。

在所描述的例子中，服务器104和服务器106随存储单元108一起连接到网络102。此外，客户端110、112和114也连接到网络102。这些客户机110、112和114可以是，例如，个人计算机、网络计算机或类似物。在所描绘的示例中，服务器104向客户端110、112和114提供诸如引导文件、操作系统映像和应用程序的数据。客户端110、112和图114中示出了客户端到服务器104的客户端。分布式数据处理系统100可以包括附加服务器、客户端和未示出的其他设备。

在所示示例中，分布式数据处理系统100是因特网，同时网络102代表全球范围的使用协议的传输控制协议/internet协议(tcp/ip)套件来彼此通信的网络和网关的集合。互联网的核心是主要节点或主机之间的高速数据通信线路的骨干，其由数千个路由数据和消息的商业、政府、教育和其他计算机系统组成。当然，分布式数据处理系统100还可以实现包括许多不同类型的网络，例如内联网、局域网(lan)、广域网(wan)等。如上所述，图1旨在作为示例，而不是对于本发明的不同实施例的架构限制，因此，图1中示出的特定元件不应被视为受限制于所述说明性实施例的环境。可以实现本发明的实施例。

如图1所示，一个或多个计算设备(例如，服务器104)可以被具体配置为实现用于可伸缩和可跟踪的医疗保健分析管理的机制。计算设备的配置可以包括提供应用专用硬件、固件或者能促进所述操作的执行效能和本文描述的关于所述说明性实施例输出的产生的类似设备。所述计算设备的配置还包括或替代地包括提供存储在一个或多个存储设备中并加载到计算设备(例如服务器104)的存储器中的软件应用程序，用于使该计算设备的一个或多个硬件处理器执行配置处理器以执行操作并生成本文关于说明性实施例描述的输出的软件应用程序。此外，在不脱离说明性实施例的精神和范围的情况下，可以使用在硬件上执行的应用专用硬件、固件、软件应用等的任何组合。

应当理解，一旦计算装置以下列方式之一配置，该计算设备变成为实现说明性实施例的机制而被配置为已定制化的专用计算设备，并且不是通用计算设备。此外，如下文所述，所述说明性实施例机制的实现改进了计算设备的功能，并提供了有助于可扩展和可跟踪的医疗保健分析管理的有用且具体的结果。

这些计算设备或数据处理系统可以包括各种硬件元件，这些硬件元件通过硬件配置、软件配置或硬件和软件配置的组合来具体配置，以实现这里描述的一个或多个系统/子系统。图2仅是一个示例性数据处理系统的框图，其中可以实现所述说明性实施例的各方面。数据处理系统200是计算机的示例，例如图1中的服务器104，其中可以定位和/或执行实现本发明的说明性实施例的过程和方面的计算机可用代码或指令以便实现如本文所述的说明性实施例的操作、输出和外部效果。

在所示示例中，数据处理系统200采用集线器架构，包括北桥和存储器控制器集线器(nb/mch)202以及南桥和输入/输出(i/o)控制器集线器(sb/ich)204。处理单元206、主存储器208和图形处理器210连接到nb/mch202。图形处理器210可以通过加速图形端口(agp)连接到nb/mch202。

在所描绘的示例中，局域网(lan)适配器212连接到sb/ich204、音频适配器216、键盘和鼠标适配器220、调制解调器222、只读存储器(rom)224、硬盘驱动器(hdd)226、cd-rom驱动器230、通用串行总线(usb)端口和其他通信端口232，以及pci/pcie设备234通过总线238和总线240连接到sb/ich204。pci/pcie设备可包括例如，用于笔记本电脑的以太网适配器、附加卡和pc卡。pci使用卡总线控制器，而pcie则不使用。rom224可以是例如闪存型基本输入/输出系统(bios)。

hdd226和cd-rom驱动器230通过总线240连接到sb/ich204。hdd226和cd-rom驱动器230可以使用，例如，集成驱动电子(ide)或串行高级技术附件(sata)接口。超级i/o(sio)设备236可以连接到sb/ich204。

在处理单元206上运行操作系统。该操作系统协调并提供图2中的数据处理系统200内的各种组件的控制。作为客户端，该操作系统可以是商业上可用的操作系统，例如的。面向对象的编程系统，例如java^tm编程系统，可以与操作系统一起运行，并且从java^tm程序或在数据处理系统200上执行的应用程序提供对操作系统的调用。

作为服务器，数据处理系统200可以是，例如，在ibmeserver^tm的system计算机系统，基于计算机系统的power^tm处理器，或类似的，运行高级交互执行操作系统或在操作系统。数据处理系统200可以是对称多处理器(smp)系统，其包括处理单元206中的多个处理器。或者，可以采用单个处理器系统。

用于操作系统的指令、面向对象的编程系统以及应用或程序位于存储设备，诸如硬盘驱动器226，并且可以通过处理单元206的处理被加载到主存储器208中。本发明的示例性实施例的执行过程可以由处理单元206来处理，其使用计算机可用程序代码来执行，该计算机可用程序代码可以位于存储器中，例如主存储器208、rom224或者例如位于一个或多个外围设备226和230中。

总线系统，如图2中所示，诸如总线238或总线240可以包括一个或多个总线。当然，该总线系统可以使用任何类型的通信结构或体系结构来实现，该通信结构或体系结构提供连接到该结构或体系结构的不同组件或设备之间的数据传输。通信单元，例如图2中的调制解调器222或网络适配器212，可以包括用于发送和接收数据的一个或多个设备。存储器可以是例如主存储器208、rom224或诸如在图2中的nb/mch202中找到的高速缓存。

如上所述，在一些说明性实施例中，本说明性实施例的机制可以被实现为专用硬件、固件或类似的器件、存储在存储设备诸如hdd226并被加载到存储器诸如主存储器208中的应用软件，用于由诸如处理单元206的一个或多个硬件处理器执行。这样，图2中所示的计算设备变得定制地被配置为实现说明性实施例的机制，并且定制地被配置为执行操作并生成下文关于用于可伸缩和可跟踪的医疗保健分析管理的机制描述的输出。

本领域的普通技术人员将理解图1和图2中的硬件根据所述实施方式可以变化。除了图1和2中所示的硬件以外或代替图1和图2中所示的硬件，可以使用其他内部硬件或外围设备，例如闪存、等效的非易失性存储器或光盘驱动器等。此外，在不脱离本发明的精神和范围的情况下，所述说明性实施例的过程可以应用于除了先前提到的smp系统之外的多处理器数据处理系统。

此外，数据处理系统200可以采用多种不同数据处理系统中的任何一种的形式，包括客户端计算设备、服务器计算设备、板计算机、膝上型计算机、电话或其他通信设备、个人数字助理(pda)或者类似设备。在某些说明性示例中，数据处理系统200可以是便携式计算设备，其配置有闪存以提供非易失性存储器，其被用于存储操作系统文件和/或用户生成的数据。本质上，数据处理系统200可以是任何已知的或以后开发的数据处理系统，而没有架构限制。

在一个用例场景中，其中所述说明性实施例的方面可以被实现，基于价值的考量该医疗保险和医疗补助服务中心(cms)建立了再入院削减计划，这将触发医院的投资力度，提高通过患者风险分层、更好的资源分配和护理管理来改善再入院措施。ibmwatsonhealth^tm开发了一种预测模型，用于从已索引的住院治疗中识别出院后的一定时间内具有高再入院风险的患者。给定客户可能对该预测模型感兴趣并且想要评估其患者的模型。客户可能希望进一步定制并将模型部署到其实践中并满足需求。为了满足客户的要求，模型提供商必须快速启用对不同数据集的模型评估，管理来自不同客户的请求并支持定制以及定期更新请求，并在不同的设置中部署模型。此外，该系统将使该机制能够通过持续学习随时间改善模型性能。

在另一个使用案例中，超过2900万名美国人患有糖尿病，这需要适当的管理来控制其血糖水平在一定范围内以减少严重的并发症。ibmwatsonhealth^tm开发了一种预测模型可提前3小时主动检测一型糖尿病患者的低血糖事件，因此允许及时干预以避免低血糖。给定客户管理成千上万的一型糖尿病患者，并且有兴趣将该通用模型针对不同的患者进行个性化，并且基于患者的日常行为和活动动态地调整和改进所述模型。为了满足该客户的要求，模型提供者必须快速启用对不同患者的模型评估、管理和支持个性化并基于增量学习来部署模型并管理模型的不同版本。

图3描绘了基于说明性实施例的可伸缩和可追踪的医疗保健分析管理。分析存储库310是版本化分析存储库，其在分析工作流的每个步骤中具有功能库。在所描绘的示例中，分析存储库310包括版本化的业务需求数据库311、数据质量和见解组件312、群组构建组件313、特征提取组件314，以及用于版本或实例x的规范和预测分析组件315。分析存储库中的每个版本包括为每个客户定制的资产和库。数据质量和见解组件312分析数据库311中的业务需求数据并从所述数据生成见解。群组构建组件313基于患者数据中的属性来识别患者群体以用于研究需要。特征构建组件314识别表示由群组构建组件313识别的每个群体的特征。规定和预测分析组件315预测给定患者的结果并建议从预测中受益的动作。

模型存储库320是链接到分析存储库310的版本化模型存储库。模型存储库320不仅具有到分析储存库310的链接，也具有所有上面提到的元数据用于管理。在所描绘的示例中，模型存储库320包括用于版本或实例x的模型。模型存储库320中的模型是回顾性地导出的抽象数学方程用以预测某些事物，例如未来事件。

根据一个说明性实施例中，分析存储库310和存储库模型320体现在云计算环境302。在步骤a1中，一个模型部署模块(在下面进一步详细地说明图4和图7)定制并且为客户端a321部署分析模型的版本或实例。在所描绘的示例的步骤a2中，模型监视模块(下面参考图4和8进一步详细描述)监视客户端a模型和模型。反馈模块(下面参考图4和9进一步详细描述)检测严重的改进需求并执行反馈重新训练以启动分析管道。

在所描绘的示例的步骤b1中，所述模型部署模块为客户端b322定制和部署分析模型的版本或实例。在步骤b2中，所述模型监视模块监视客户端b模型并且所述模型反馈模块检测一个小的改进需求并建议模型存储库320中的参数重新调整。

在所描绘的示例的步骤c1中，模型部署模块为客户端c323定制和部署分析模型的版本或实例。在步骤c2中，所述模型监视模块监视客户端c模型并且所述模型反馈模块检测适度的改善需求，并建议分析存储库310中的群组偏差。

在一个实施例中，所述医疗保健分析管理系统基于所选医疗保健消费者的一组业务需求来识别针对所选医疗保健消费者的分析资产。然后，所述医疗保健分析管理系统基于所述被识别的分析资产从一组版本的医疗保健模型中识别版本化的医疗保健模型，这里所述版本化的模型识别数据输入要求、关键模型参数、运行时环境要求以及与被识别的分析资产对应的性能测量和记录。医疗保健分析管理系统评估所述已识别的版本化医疗保健模型，以确保版本化模型满足所选医疗保健消费者的一组业务需求。响应于所述已识别的版本化医疗保健模型满足所述所选医疗保健消费者的所述一组业务需求，医疗保健分析管理系统将所识别的版本医疗保健模型部署在所选医疗保健消费者的一组计算设备上。

图4是一个框图示出系统实现根据基于云的可追踪和可伸缩的医疗保健分析管理的一个说明性实施例。该系统从开发、运营和反馈中协调端到端分析生命周期。该系统包括两个主要子系统：用于医疗保健分析开发的管理子系统410和用于医疗保健分析操作的管理子系统420。

用于医疗保健分析开发的管理子系统410包括具有在分析工作流程的每个步骤中的函数库的版本化分析管线储存库411和链接到分析存储库的版本化模型存储库412。用于医疗保健分析开发的管理子系统410还包括用于分析功能的扩展应用程序编程接口(api)服务413以及所开发的模型。扩展api服务413允许容易地重用和测试在不同用例中开发的版本化分析管道411，包括数据质量和见解、群组构建、特征构造、描述性和预测性分析等。扩展api服务413还允许开发者容易地运行并评估已开发的版本化模型412。

版本化分析管道存储库411捕获以下内容：

1.分析资产；

2.分析工作流程管道或资产依赖性；

3.支持工作流程的任何元数据或配置数据；和

4.关键分析关键绩效指标(kpi)或工作流程中的输出结果。

版本化模型存储库412捕获以下内容：

1.已训练的模型；

2.捕获输入数据要求的元数据；

3.捕获运行时环境要求的元数据；

4.捕获模型参数的元数据；和

5.捕获基线模型性能kpi的元数据。

用于医疗保健操作分析的管理子系统420包括模型部署模块421、模型监测模块422和模型反馈模块423。部署模型模块421将所述模型的正确版本插入正确的版本运行时环境并主动管理相关联的元数据。模型监视模块422周期性地报告所部署模型的性能并检测和通知性能偏差。模型反馈模块423分析性能偏差的潜在根本原因、关于改进需求的原因以及将要求改进的需求反馈到用于医疗保健分析开发的管理子系统410。

在一个实施方案中，部署模块421包括用于模型发布、模型评估的功能，并且如果需要，在模型部署之前进一步适配和定制化。部署模块421可以发布模型供其他客户考虑。鉴于说明性实施例具有可追踪的分析管道存储库和模型存储库，说明性实施例具有跨客户端传递学习的能力，例如，跨客户共享特征见解、跨客户共享模型知识等。模型校准/定制化可以在两种不同的场景发生：

1.该模型专为一个客户开发；在部署过程中，生产数据与开发数据不同，在模型评估之后，需要进行调整或定制。

2.该模型是为一个客户开发的。另一位客户看到了该模型的价值。为了将此模型应用于新客户，需要进行模型评估、调整或定制。

此外，部署模块421不仅具有部署单一车型的能力，而且部署多个型号的聚合能力。例如，部署模块421可以部署多个模型的集合，包括模型组合、投票模型、链接模型等。

图5是描绘根据说明性实施例的版本化分析管道存储库的框图。图5描绘了用于分析存储库n的版本化分析管道存储库500，其包括版本化业务需求数据模型510和用于多个版本化用例1到n的管道。如图所示，版本化用例1包括数据质量和见解组件511、群组构建组件512、特征构建组件513以及为所述特定用例1设计的规范和预测分析组件514。版本化用例n包括数据质量和见解组件521、群组构建组件522、特征构建组件523以及规定和预测分析组件524，为特定用例n设计。

图6是描绘根据说明性实施例的版本化模型存储库的框图。在所描绘的示例中，版本化模型存储库600包括用于给定实例或版本的模型存储库n，其包括具有标准格式的版本化模型表示601。模型存储库的关键组件是与对应的分析资产存储库602链接的版本化模型表示601，模型在此被开发。模型存储库还与数据输入要求603和运行时环境要求605相关联，这有助于模型部署。性能度量和记录606建立部署性能的基线，这允许进一步的反馈基准测试结果。关键模型参数604还在模型校准/定制和反馈机制中起作用。

图7是一个框图，示出了根据一个说明性实施例的模型部署模块。模型部署模块700将已开发的模型部署到生产环境中，并提供对业务工作流的分析见解。模型部署模块700与版本模型存储库701紧密链接。模型校准/定制组件702利用模型存储库701中的元数据来执行部署配置703。模型校准/定制组件702可以修改数据输入、用于定义群体的特征或密钥模型参数。模型校准/定制组件702可以恢复模型到其先前版本。

模型部署模块700包括输入数据检查和配置/准备组件706以及运行时环境检查和配置707，其基于部署配置执行检查、配置和准备。输入数据检查和配置/准备组件706对输入数据执行检查，并基于输入数据配置和准备用于部署的分析模型。模型部署模块700还具有指定部署的分析的依赖性的能力(部署工作流程图)。运行时环境检查和配置组件707执行对运行时环境的检查，并基于用于部署的运行时环境来配置分析模型。

模型部署模块700还包括部署跟踪功能704来管理各种不同站点中的不同的部署以及调度需求的。模型部署模块700生成并执行部署调度表705，通过该部署调度表705将各种分析模块部署到它们各自的运行时环境。

图8是一个框图，示出了根据一个说明性实施例的模型监视模块。在所描绘的示例中，模型监视模块800包括周期性性能更新组件801，其周期性地报告所部署的模型x的性能。模型性能更新组件801的频率取决于分析的性质以及用于绩效评估的目标数据的可用性。

模型监视模块800还包括性能偏差检测与通知组件802。当模型性能跌落至正常范围外，性能偏差检测与通知组件802检测到性能偏差以及产生警报或通知，并发送该通知报告。

图9是一个框图，示出了根据一个说明性实施例的模型反馈模块。由模型监控模块生成的性能偏差通知触发推理过程以调查性能偏差的潜在原因是什么，例如，缺少必要的特征、用于预测建模的输入特征的分布偏差、新的数据馈送检测、自动假设检查等。偏差推理组件901执行推理处理以确定性能偏差的原因。

偏差推理组件901本身可以使用分析以确定所述性能偏差的根本原因。例如，偏差推理组件901可以发现数据输入、用于定义群体的特征等之间的相关性以及性能退化的实例。替代地或附加地，偏差推理组件901可以通过基于训练数据收集过去的性能偏差和已知原因作为训练数据并基于所述训练数据训练机器学习模型。

偏差推理组件901将所识别的性能偏差的根本原因提供给改进推理功能902，以确定再训练的需要和水平。改进推理功能902分析性能偏差数据和所识别的根本原因，以确定需要改进分析存储库和/或模型存储库中的模型中的分析管道的哪些部分、再培训的强度以及在何种程度上需要改进。例如，改进推理功能902可以识别改进需求，包括：1)模型参数的微小更新；2)适度更新模型结构和参数；3)模型的密集更新，包括添加或删除输入参数等，这些需要反馈到分析管道存储库。改进推理功能902可以使用分析或机器学习。例如，改进推理功能902可以识别具有相同问题的其他客户端以及客户端如何解决该问题。改进推理功能902可以使用分析来识别相关性，并将检测到的相关性用作训练实例。

反馈跟踪模块903记录用于改善再训练的所有必要的信息，例如，偏差的根本原因、再训练的必要性和强度、相关联的已部署的模型、模型存储库、管线存储库、事件检测的时间标记，等等。该记录的信息可以用作偏差推理的训练数据，并且在将来的迭代中使用机器学习来改进需要推理。模型反馈模块900然后将改进再训练信息反馈回模型存储库904和分析管道存储库905。

图10是示出根据一个说明性实施例的用于可伸缩和可跟踪的医疗保健分析管理机构的操作的流程图。操作开始(框1000)，并且开发人员或数据科学家为业务用例设计分析训练管道(框1001)。给定特定数据输入和配置的开发者或数据科学家调整分析模型(框1002)。分析管道可以存储在版本化分析管道存储库中，并且分析模型可以存储在版本化模型存储库中。

模型部署模块部署分析模型到客户运行时环境(框1003)。然后，模型监视模块监视运行时性能(框1004)并确定是否检测到性能偏差(框1005)。如果模型监视模块未检测到性能偏差，则操作返回到框1004以进一步监视性能。

如果该模型监视模块检测到块1005的性能偏差，则偏差推理组件分析模型和所检测到的偏差，以确定所述性能偏差(框1006)的潜在根源。改进推理组件确定改进需要调整到性能偏差(框1007)。然后，该机制将结果反馈给分析开发管理(框1008)。此后，操作返回以在框1001中调整分析管道存储库中的分析管道，并在框1002中调整分析模型存储库中的分析模型。

因此，说明性实施例促进了分析治理，其减少了错误并提高了大规模分析资产操作的效率。说明性实施例提供了用于存储和版本化分析管道和模型的标准化方法。资产在生命周期的每一步都是可追踪的。说明性实施例通过标准工作流、功能库和api服务来增强资产的协作和可重用性。说明性实施例提高了分析定制和部署的速度。可配置的分析管道允许将分析资产“调整”为特定的患者群体特征或数据。资产是可搜索、可重复使用和可扩展的。所述说明性实施例利用闭环连续和自适应学习系统来提高数据驱动证据的准确性和相关性。

本发明可以是系统，方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备计算机可读存储介质例如可以是-但不限于-电存储设备，磁存储设备，光存储设备，电磁存储设备，半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘，硬盘，随机存取存储器(ram)，只读存储器(rom)，可擦式可编程只读存储器(eprom或闪存)，静态随机存取存储器(sram)，便携式压缩盘只读存储器(cd-rom)，数字多功能盘(dvd)，记忆棒，软盘，机械编码设备，例如其上存储有指令的打孔卡或凹槽内凸起结构，以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波，通过波导或其他传输媒介传播的磁波(例如，通过光纤电缆的光脉冲)，或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络，例如因特网，局域网，广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆，光纤传输，无线传输，路由器，防火墙，交换机，网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令，指令集架构(isa)指令，机器指令，机器相关指令，微代码，固件指令，状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如java，smalltalk，c++等，以及常规的过程式编程语言-诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行，部分地在用户计算机上执行，作为一个独立的软件包执行，部分在用户计算机上部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(lan)或广域网(wan)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路，现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法，装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机，专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机，可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机，其它可编程数据处理装置，或其它设备上，使得在计算机，其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机，其它可编程数据处理装置，或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统，方法和计算机程序产品的可能实现的体系架构，功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块，程序段或指令的一部分，所述模块，程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框，以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

如上所述，应当理解，示例实施例可以采取完全硬件实施例、完全软件实施例或包含硬件和软件元素的实施例的形式。在一个示例实施例中，说明性实施例的机制以软件或程序代码实现，其包括但不限于固件、驻留软件、微代码等。

适合于存储和/或执行程序代码包括直接或间接耦合到通过通信总线的存储器元件，诸如系统总线的至少一个处理器，例如一个数据处理系统。存储器元件可以包括在程序代码的实际执行期间使用的本地存储器、大容量存储器和高速缓冲存储器，其提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储器检索代码的次数。存储器可以是各种类型，包括但不限于rom、prom、eprom、eeprom、dram、sram闪存、固态存储器等。

输入/输出或i/o设备(包括但不限于键盘、显示器、指点设备等)可直接或通过中介有线耦合到系统或无线i/o接口和/或控制器，等等。i/o设备可以采用除传统键盘、显示器、指示设备等之外的许多不同形式，例如通过有线或无线连接耦合的通信设备，包括但不限于智能电话、平板电脑、触摸屏设备、语音识别设备等。任何已知的或以后开发的i/o设备都旨在落入说明性实施例的范围内。

网络适配器也可以耦合到系统以使数据处理系统通过中间专用或公共网络变得与其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡只是当前可用于有线通信的网络适配器类型中的一小部分。还可以使用基于无线通信的网络适配器，包括但不限于802.11a/b/g/n无线通信适配器、蓝牙无线适配器等。任何已知的或以后开发的网络适配器都在本发明的精神和范围内。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理，实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。