基于大数据构架的医疗数据管理方法及系统与流程

1.本发明涉及计算机技术领域，特别是涉及一种基于大数据构架的医疗数据管理方法、系统、计算机设备及存储介质。


背景技术：

2.随着计算机技术的发展，计算机技术已经广泛的应用于各个领域内，由于计算机技术可以高效地对各种不同的信息进行运算管理，因此可以有效地提供高效的数据管理。
3.然而，现如今已有的很多医疗数据中心，例如cdr，在实际中更多仅仅用于数据查询，数据的价值没有得到释放，且保存的数据更多偏向临床数据，运营数据涉及的少。因此，传统的医疗数据中心并没有做到整合全院数据，以实现提高医院数据服务的可及性、可得性和可信性，以及未能充分释放数据价值且数据涉及面较少，进而导致当出现问题时并不能快速追溯到问题根源，无法快速及时的为医院提供决策支持。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种可以提高医院数据服务的可及性、可得性和可信性的基于大数据构架的医疗数据管理方法、系统、计算机设备及存储介质。
5.一种基于大数据构架的医疗数据管理方法，所述方法包括：
6.搭建数据中台datalake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；
7.搭建大数据采集平台，所述大数据采集平台基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经预处理后分门类别地存储至大数据中心；
8.搭建大数据计算平台，所述大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用spark计算引擎提供数据分析和挖掘；
9.搭建大数据服务平台，所述大数据服务平台对大数据中心的信息进行统一管理和监控，所述大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；
10.搭建大数据交换平台，所述大数据交换平台统一管理医院的大数据中心与院内业务系统以及院外其他信息平台之间的信息交换；
11.搭建大数据应用平台，所述大数据应用平台用于直接对所述大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
12.在其中一个实施例中，所述大数据采集平台还用于：
13.支持对不同类型的数据库包括mysql、postgresql、clickhouse、oracle、sqlserver的数据源进行采集；
14.支持将采集的数据写入到hive、mysql、postgresql、clickhouse、oracle、sqlserver；
15.支持配置读写的速度，避免读写任务占用过多服务器资源，影响业务应用；
16.支持通过可视化界面指定采集的数据源，通过勾选需要抽取的数据表对数据表进行预览，通过勾选指定数据表下的数据字段锁定要抽取的数据范围；
17.支持对无主键的数据源表自定义设置主键，大数据中心将根据主键去重；
18.支持利用sql语句在已经制定的数据范围基础上精细化设置采集条件；
19.支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
20.在其中一个实施例中，所述大数据服务平台还用于：
21.支持在基础表的基础上，通过编写sql语句的方式快速生成新的合成表，且能查看合成表与基础表之间的血缘关系；
22.支持对数据中心发起的调度任务进行统一监控，并以图表形式对整体情况进行展示；
23.支持对数据采集过程中出现违规操作时提供及时的预警；
24.支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
25.在其中一个实施例中，所述大数据应用平台还用于：
26.支持通过编写sql查询语句从数据源中预览数据，并拖拉拽生成数据模型；
27.支持通过报表可进行不同层级的上下钻取包括多条数据同时钻取以及直接在界面上追溯生成报表的sql统计语句；
28.支持多种数据源、多种图表的接入；
29.支持自定义数据隔离，以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据。
30.在其中一个实施例中，所述搭建数据中台datalake数据湖的步骤还包括：
31.所述datalake数据湖的api为ui层提供接口服务，将系统配置、资源中心、数据处理及数据管理的工作流配置保存更新到数据库中；
32.api层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控，master和worker节点在部署创建时会在zookeeper上注册临时节点，并在心跳包中往临时节点中存储服务器信息。
33.在其中一个实施例中，master集群支持高可用配置，且所述master集群中维护了多种守护线程用于监听其他master和worker的状态。
34.在其中一个实施例中，worker集群用于从分布式队列中获取待执行的任务并执行，将执行结果更新到数据库中。
35.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
36.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
37.上述基于大数据构架的医疗数据管理方法、系统、计算机设备及存储介质通过建立统一的数据集成规范和标准优化全院数据质量，建立数据决策基础以实现提高医院竞争力。通过大数据计算平台、服务平台及应用平台为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化，还可以提供临床诊疗决策支持，以助力
提升医院科研水平。此外，还可以通过大数据交换平台实现医院与区域平台、外部机构之间互联互通以及安全控制下的数据共享与协同。
附图说明
38.图1为一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
39.图2为另一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
40.图3为再一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
41.图4为又一个实施例中基于大数据构架的医疗数据管理方法的流程示意图；
42.图5为一个实施例中基于大数据构架的医疗数据管理系统的整体构架图；
43.图6为一个实施例中大数据采集平台的平台构架图；
44.图7为一个实施例中大数据计算平台的平台构架图；
45.图8为一个实施例中基于大数据构架的医疗数据管理系统的结构框图；
46.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
47.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
48.目前，现如今已有的很多医疗数据中心，例如cdr，在实际中更多仅仅用于数据查询，数据的价值没有得到释放，且保存的数据更多偏向临床数据，运营数据涉及的少。因此，传统的医疗数据中心并没有做到整合全院数据，以实现提高医院数据服务的可及性、可得性和可信性，以及未能充分释放数据价值且数据涉及面较少，进而导致当出现问题时并不能快速追溯到问题根源，无法快速及时的为医院提供决策支持。
49.基于此，本发明提供了一种基于大数据构架的医疗数据中心。具体地，本数据中心设计整合了全院数据，从整个数据的抽取到最终的数据应用和交换，提供全流程处理和监控，当出现问题时，可以快速追溯到问题根源；打通了院内外的信息共享与协同，提高了数据的利用率，在为临床诊疗提供了数据支持的同时也促进了医院管理决策的科学化、精细化。
50.在一个实施例中，如图1所示，提供了一种基于大数据构架的医疗数据管理方法，该方法包括：
51.步骤102，搭建数据中台datalake数据湖，管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行；
52.步骤104，搭建大数据采集平台，大数据采集平台基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经预处理后分门别类地存储至大数据中心；
53.步骤106，搭建大数据计算平台，大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用spark streaming计算工具提供数据分析和挖掘；
54.步骤108，搭建大数据服务平台，大数据服务平台对大数据中心的信息进行统一管理和监控，大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体
信息；
55.步骤110，搭建大数据交换平台，大数据交换平台统一管理医院的大数据中心与院内其他信息平台之间的信息交换；
56.步骤112，搭建大数据应用平台，大数据应用平台用于直接对大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
57.在本实施例中，提供了一种基于大数据构架的医疗数据管理方法，该方法可以应用于如图5所示的大数据中心中。具体地，该大数据中心设计采用大规模分布式计算平台，采用分布式大数据服务集群的方式，规模可扩展为pb级的数据处理，实现大容量、高通量、可扩展、易维护的大数据系统，支撑对海量数据的快速检索，以及对数据的深度分析，实现方法如下：
58.首先，搭建数据中台datalake数据湖：管理所有的采集数据、分析过程数据、分析模型及分析结果数据、作业调度，支撑整个平台上所有数据的分析流程顺畅进行。具体地，可通过采用数据中台设计方法，将采集数据+处理数据+管理数据+输出数据的流程固化在datalake上。方便数据中心上处理数据、管理数据、提高输出数据的处理效率。
59.然后，搭建统一的大数据采集平台，针对不同数据类型，例如：包括结构化数据、文本数据、影像数据、视频数据等，基于开源的异构数据同步引擎，针对不同数据类型创建的数据接口，拓展不同的读写插件，将采集的数据经过预处理后，分门别类地存储至数据中心。此外，对于无法直接通过业务系统进行抽取的信息，采用数据录入方式保证数据中心信息的完整性。
60.接着，通过搭建大数据计算平台，该大数据计算平台的平台构架如图6所示。具体地，将采集的数据以混合式存储方式进行存储。对已经存储好的数据，采用以spark streaming为主的计算工具，针对数据应用的不同，提供各式数据分析和挖掘。此外，数据计算工具还可以从数据存储库中获取数据，获得计算结果后，一方面反馈给存储库，另一方面，通过数据展示工具，在大数据应用平台上将各类分析结果予以展示。
61.再然后，通过搭建大数据服务平台实现对医疗大数据中心信息的统一管理和监控，包括数据中心包含的数据库总数、数据总数、总容量、基础表、合成表的整体信息等。
62.最后，搭建大数据交换平台，用于统一管理医院院内大数据中心与院内外各类平台，例如：互联网医院平台、区域信息平台以及其他机构等之间的信息交换。以及搭建大数据应用平台，可直接对大数据中心的信息进行查询，对分析结果以丰富多样的图表予以展现。
63.在本实施例中，通过建立统一的数据集成规范和标准，优化全院数据质量，建立数据决策基础以提高医院竞争力。通过大数据计算平台、服务平台及应用平台为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化，还可以提供临床诊疗决策支持，以助力提升医院科研水平。此外，还可以通过大数据交换平台实现医院与区域平台、外部机构之间互联互通以及安全控制下的数据共享与协同。
64.在一个实施例中，如图2所示，提供了一种基于大数据构架的医疗数据管理方法，该方法中大数据采集平台还用于：
65.步骤202，支持对不同类型的数据库包括mysql、postgresql、clickhouse、oracle、sqlserver的数据源进行采集；
66.步骤204，支持通过可视化界面指定采集的数据源，通过勾选需要抽取的数据表对数据表进行预览，通过勾选指定数据表下的数据字段锁定要抽取的数据范围；
67.步骤206，支持对无主键的数据源表自定义设置主键，大数据中心将根据主键去重；
68.步骤208，支持利用sql语句在已经制定的数据范围基础上精细化设置采集条件；
69.步骤210，支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
70.在本实施例中，搭建了具体的大数据采集平台，具体地可参考图7所示的大数据采集平台的平台构架图，该大数据采集平台具有如下特性：
71.1、支持对目前市面上各类主流数据库的数据源进行采集，包括mysql、postgresql、clickhouse、oracle、sqlserver等。
72.2、支持通过可视化界面指定采集的数据源，勾选需要抽取的数据表，对数据表进行预览，且进一步通过勾选指定数据表下的数据字段，锁定要抽取的数据范围。
73.3、支持对无主键的数据源表自定义设置主键，数据中心将根据主键去重。
74.4、支持利用sql语句在已经制定的数据范围基础上，进一步精细化设置采集条件。
75.5、支持通过可视化界面设置工作流的方式，直接对数据采集和处理的整个流程进行设置。
76.在本实施例中，通过大数据采集平台实现了支持多种不同类型数据库的数据源采集，并可通过预览筛选等功能实现对采集到的数据进行预处理，提高数据采集的有效性。
77.在一个实施例中，如图3所示，提供了一种基于大数据构架的医疗数据管理方法，该方法中大数据服务平台还用于：
78.步骤302，支持在基础表的基础上，通过编写sql语句的方式快速生成新的合成表，且能查看合成表与基础表之间的血缘关系；
79.步骤304，支持对数据中心发起的调度任务进行统一监控，并以图表形式对整体情况进行展示；
80.步骤306，支持对数据采集过程中出现违规操作时提供及时的预警；
81.步骤308，支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
82.在本实施例中，搭建了具体的大数据服务平台，该大数据服务平台具有如下特性：
83.1、支持在基础表的基础上，通过编写sql语句的方式，快速生成新的合成表，且能查看合成表与基础表之间的血缘关系。
84.2、支持对数据中心发起的调度任务进行统一监控，并以仪表盘等图表形式对整体情况进行展示。
85.3、支持对数据采集过程中出现违规操作时提供站内发送、短信或邮箱等多种方式进行预警。
86.4、支持对采集的数据进行数据校验和数据监控，保证数据中心信息的准确性。
87.在本实施例中，通过大数据服务平台实现了对大数据中心信息的统一管理和监控，包括数据中心包含的数据库总数、数据总数、总容量、基础表、合成表的整体信息等，有效地提高了数据管理的效率，确保了数据的准确性。
88.在一个实施例中，如图4所示，提供了一种基于大数据构架的医疗数据管理方法，该方法中大数据应用平台还用于：
89.步骤402，支持通过编写sql查询语句从数据源中预览数据，并拖拉拽生成数据模型；
90.步骤404，支持通过报表可进行不同层级的上下钻取包括多条数据同时钻取以及直接在界面上追溯生成报表的sql统计语句；
91.步骤406，支持多种数据源、多种图表的接入；
92.步骤408，支持自定义数据隔离，以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据。
93.在本实施例中，搭建了具体的大数据应用平台，该大数据应用平台具有如下特性：
94.1、支持通过编写sql查询语句从数据源中预览数据，并拖拉拽生成数据模型，设置维度和指标支持直接采用拖曳方式从抽取的数据属性中设定多维分析模型，包括维度和分析指标。
95.2、报表可进行不同层级的上下钻取，可多条数据同时钻取，可直接在界面上追溯生成报表的sql统计语句，便于校验结果。
96.3、支持多种数据源、多种图表：需支持接入多种数据源，例如：jdbc、elasticsearch等。
97.4、支持自定义数据隔离，即以维度为最小颗粒度控制数据隔离，可根据不同的用户过滤统计的数据，例如：展示给不同科室的用户的图表统计的数据只包含该用户所在科室的数据。
98.在本实施例中，通过大数据应用平台实现了对大数据中心的信息进行查询，并对分析结果以丰富多样的图表予以展现。
99.在一个实施例中，提供了一种基于大数据构架的医疗数据管理方法，该方法中搭建数据中台datalake数据湖的步骤还包括：
100.datalake数据湖的api为ui层提供接口服务，将系统配置、资源中心、数据处理及数据管理的工作流配置保存更新到数据库中；api层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控，master和worker节点在部署创建时会在zookeeper上注册临时节点，并在心跳包中往临时节点中存储服务器信息。
101.具体地，在本实施例中提供了一种基于大数据构架的医疗数据管理方法，该方法中datalake数据湖设计思路如下：
102.首先，通过datalake
‑
api为ui层提供接口服务，将系统配置、资源中心、数据处理、数据管理的工作流配置等保存更新到db(mysql 8+)，同时，api层获取对接的数据源的元信息，存放到es全文检索引擎，便于后续快速定位数据资产，以及消息推送、集群监控。具体地，zookeeper监控是api层直连zookeeper获取zookeeper上master和worker临时节点中存储的数据，master和worker节点在部署创建时会在zk上注册临时节点，并在心跳包中往临时节点中存储服务器信息，如内存、cpu等。
103.其中，master支持ha即同一时刻生效的只有一个，master中维护了几种守护线程，如心跳、从db中抓取要执行的任务并放入分布式队列中，具体可通过使用zookeeper实现，
监听其他master以及worker的状态。
104.worker集群的主要职责是从分布式队列中获取自己要执行的任务并执行，将执行结果更新到db，方便ui层调用api获取任务状态，或者触发告警服务。为了保证worker不会重复执行相同的任务，本产品使用了分布式锁，保证集群数据一致性。
105.在上述实施例中，设计了从整个数据的抽取到最终的数据应用和交换，并提供全流程处理和监控，其具有的优点如下：
106.1、通过建立统一的数据集成规范和标准优化全院数据质量，建立数据决策基础，提高医院竞争力。
107.2、为管理者提供各项业务的全流程、精细化的管理分析结果，促进医院管理决策科学化、精细化。
108.3、提供临床诊疗决策支持，助力提升医院科研水平。
109.4、制订了统一的数据上报标准与交换标准，实现医院与区域平台、外部机构之间互联互通、安全控制下的数据共享与协同。
110.应该理解的是，虽然图1
‑
7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1
‑
7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
111.在一个实施例中，如图8所示，提供了一种基于大数据构架的医疗数据管理系统800，该系统包括：
112.datalake数据湖801，所述datalake数据湖容纳了所有的采集数据、分析过程数据、分析模型及分析结果数据，用于支撑各个平台上所有数据的分析流程；
113.大数据采集平台802，所述大数据采集平台针对不同数据类型创建标准的数据接口，采用不同的数据采集工具，将采集的数据经预处理后分门类别地存储至大数据中心；
114.大数据计算平台803，所述大数据计算平台将采集的数据以混合式存储方式进行存储，并对已经存储好的数据利用spark streaming计算工具提供数据分析和挖掘；
115.大数据服务平台804，所述大数据服务平台对大数据中心的信息进行统一管理和监控，所述大数据中心的信息包括数据库总数、数据总数、总容量、基础表及合成表的整体信息；
116.大数据交换平台805，所述大数据交换平台统一管理医院的大数据中心与院内业务系统以及院外其他信息平台之间的信息交换；
117.大数据应用平台806，所述大数据应用平台用于直接对所述大数据中心的信息进行查询，并将分析结果以多种不同的图表进行展现。
118.具体地，在本实施例中提供的基于大数据构架的医疗数据管理系统中可以执行如上述任一项方法实施例中记载的基于大数据构架的医疗数据管理方法。
119.关于基于大数据构架的医疗数据管理系统的具体限定可以参见上文中对于基于大数据构架的医疗数据管理方法的限定，在此不再赘述。
120.在一个实施例中，提供了一种计算机设备，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于大数据构架的医疗数据管理方法。
121.本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
122.在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。
123.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。
124.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
125.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
126.以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。