一种基于数据仓库的医疗数据整合方法及系统的制作方法
【专利摘要】本发明适用于医疗数据【技术领域】，提供了一种基于数据仓库的医疗数据整合方法及系统。在本发明中，通过获取医院端的源数据，将源数据保存至数据仓库中的ODS操作型数据存储层，对源数据进行标准化操作，将标准化后的数据与源数据相结合加载至数据仓库维度表和事实表中，从而减轻了医院服务器端的访问压力。同时通过设定参数值替代异常数据进行数据加载，且当源数据的维度数据变化后，自动更新已经加载的维度数据，使得数据发生异常时能自动进行数据校验更新，可以单节点的处理异常数据，不需要重新整批处理，提高了处理效率。
【专利说明】一种基于数据仓库的医疗数据整合方法及系统
【技术领域】
[0001] 本发明属于医疗数据【技术领域】，尤其涉及一种基于数据仓库的医疗数据整合方法 及系统。
【背景技术】
[0002] 当前，人们越来越多的关注民生，其中医疗卫生一直是热点问题。与此同时，国家 也一直对医疗进行改革，颁布和实施一些新的政策。医疗行业也开始迅猛发展，数据越来越 趋于高度集中化，大规模区域医疗信息系统和大型医疗数据中心将逐步建立，数据总量可 达TB (Terabyte，万亿字节）级。因此，海量医疗数据的处理方法及系统逐步形成，而在海 量医疗数据处理中，海量医疗数据的集成整合是至关重要的一个环节。
[0003] 目前，医疗数据的集成整合还存在以下缺陷：1、数据仓库未保留医院端源数据，直 接从医院生产环境获取数据，造成医院服务器端的访问压力；2、数据仓库只存储了标准化 数据，数据仓库模型设计时只存储了经过清洗转换后的数据，数据发生异常时难以做到数 据的还原追溯；3、ETL(Extraction Transformation Loading,提取、转换、加载）处理数据 异常时，容错不足，在数据抽取、清洗、转换过程中遇到数据异常时，通常记录异常数据，停 止ETL的运行，向管理相关员报告错误，这种处理机制会因一个节点的数据异常，导致整个 ETL运行停止，数据全部得重新进行清洗装载，只能由人工干预解决异常，需要花费大量时 间进行数据校验。
【发明内容】
[0004] 本发明目的在于提供一种将标准化后数据与源数据相结合的基于数据仓库的医 疗数据整合方法，旨在解决现有整合方法造成的医院服务器端的访问压力、数据发生异常 时难以做到数据的还原追溯。
[0005] 进一步的，本发明的目的在于提供一种通过设定参数值替代异常数据进行数据加 载旨在解决需要花费大量时间进行数据校验以及不能单节点的处理异常数据，只能由人工 干预解决异常，整批处理的问题。
[0006] 本发明实施例是这样实现的，一种基于数据仓库的医疗数据整合方法，包括：
[0007] 获取医院端的源数据；
[0008] 将所述源数据保存至数据仓库中的ODS操作型数据存储层，所述ODS操作型数据 存储层是在数据仓库中增加的；
[0009] 将所述的源数据进行标准化操作，将标准化后的数据与源数据相结合加载至数据 仓库的维度Dimension表和事实Fact表中。
[0010] 优选的，所述的将所述的源数据进行标准化操作，将标准化后的数据与源数据相 结合加载至数据仓库的维度Dimension表和事实Fact表中，还包括：当出现异常数据时，通 过设定参数值替代异常数据进行数据加载。
[0011] 优选的，所述的将所述的源数据进行标准化操作，将标准化后的数据与源数据相 结合加载至数据仓库的维度Dimension表和事实Fact表中，还包括：当医院端源数据发生 变化后，通过已加载的数据与源数据进行查找匹配，自动更新已经加载的数据。
[0012] 本发明还提供一种基于数据仓库的医疗数据整合系统，包括：
[0013] 获取模块，存储模块，转换加载模块；
[0014] 所述获取模块，用于获取医院端的源数据；
[0015] 所述存储模块，用于将所述源数据保存至数据仓库中的ODS操作型数据存储层；
[0016] 所述转换加载模块，用于将所述的源数据进行标准化操作，将标准化后的数据与 源数据相结合加载至数据仓库的维度Dimension表和事实Fact表中。
[0017] 优选的，所述转换加载模块还包括：处理模块，用于当出现异常数据时，通过设定 参数值替代异常数据进行数据加载。
[0018] 优选的，所述转换加载模块还包括：自动更新模块，用于当医院端源数据发生变化 后，通过已加载的数据与源数据进行查找匹配，自动更新已经加载的数据。
[0019] 在本发明实施例中，通过获取医院端的源数据，将源数据保存至数据仓库中的ODS 操作型数据存储层，对源数据进行标准化操作，将标准化后的数据与源数据相结合加载至 数据仓库维度表和事实表中，从而减轻了医院服务器端的访问压力。同时通过设定参数值 替代异常数据进行数据加载，且当源数据发生变化后，通过将已经加载的数据与变更的源 数据进行查找匹配，自动更新已经加载的数据，使得数据发生异常时能自动进行数据校验 更新，可以单节点的处理异常数据，不需要重新整批处理，提高了效率。
【专利附图】
【附图说明】
[0020] 图1是本发明实施例提供的基于数据仓库的医疗数据整合方法的实现流程图；
[0021] 图2是本发明实施例通过设定参数值替代异常数据进行数据加载过程实现流程 图；
[0022] 图3是本发明实施例提供的医院端源数据中维度数据的维度标识以及事实数据 的维度标识都发生变化后自动更新已经加载的数据实现流程图；
[0023] 图4是本发明实施例提供的源数据中维度标识由空值更新为非空值后自动更新 已经加载的数据实现流程图；
[0024] 图5是本发明实施例提供的基于数据仓库的医疗数据整合系统的结构框图。
【具体实施方式】
[0025] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0026] 图1示出了本发明实施例提供的一种基于数据仓库的医疗数据整合方法的实现 流程，详述如下：
[0027] 步骤101、获取医院端的源数据。
[0028] 具体的，获取医院服务器端的源数据，源数据包括后续系统需要分析的各种数据， 包括医院科室、医务人员、日均就诊人数、就诊等候时间、疾病类型、药品种类、医疗费用、医 务人员工作负荷等等。
[0029] 步骤102、将所述源数据保存至数据仓库中的ODS (Operational Data Store,操 作型数据存储）操作型数据存储层，所述ODS操作型数据存储层是在数据仓库中增加的。
[0030] 具体的，在数据仓库中增加 ODS操作型数据存储层，那么所述数据仓库结构主 要分为五层：〇DS Staging操作型数据存储缓冲层，Fact Staging事实缓冲层，ODS层， Dimension 维度、Fact 事实、Dictionary 词典、Reference 参照层和 Aggregate 聚合、View 视图层。在数据仓库中增加 ODS操作型数据存储层，能够保存医院端的源数据，避免频繁访 问医院端服务器数据库，降低医院服务器端数据库的压力。
[0031] 将从医院获取的数据以1 :1比例保存至ODS层，ETL将使用数据仓库的ODS层作 为源数据，进行数据抽取清洗转换，ODS层隔开了 ETL集成时对医院端的影响，也降低了医 院服务器数据库的压力。
[0032] 步骤103、将所述的源数据进行标准化操作，将标准化后的数据与源数据相结合加 载至数据仓库的维度Dimension表和事实Fact表中。
[0033] 具体的，通过ETL工具抽取所述保存至数据仓库中的ODS层的源数据，然后进行标 准化操作，也就是进行清洗转换。所述数据仓库的数据模型将标准化数据与非标准化数据 相结合，也就是维度Dimension表和事实Fact表中既包括标准化的数据也包括非标准化的 数据。所述非标准化数据也就是没做清洗转换的源数据。
[0034] 例如，将非标准化后的维度标识如外科一的维度标识AC加载至维度表中，维度表 如表一所不。
[0035] 表 1
[0036]
【权利要求】
1. 一种基于数据仓库的医疗数据整合方法，其特征在于，包括： 获取医院端的源数据； 将所述源数据保存至数据仓库中的ODS操作型数据存储层，所述ODS操作型数据存储 层是在数据仓库中增加的； 将所述的源数据进行标准化操作，将标准化后的数据与源数据相结合加载至数据仓库 维度Dimension表和事实化ct表中。
2. 如权利要求1所述的方法，其特征在于，所述的将所述的源数据进行标准化操作，将 标准化后的数据与源数据相结合加载至数据仓库的维度Dimension表和事实化ct表中，还 包括： 当出现异常数据时，通过设定参数值替代异常数据进行数据加载。
3. 如权利要求2所述的方法，其特征在于，所述的当出现异常数据时，通过设定参数值 替代异常数据进行数据加载，包括： 当维度数据中维度标识缺失异常时，加载0DS层源数据中包含维度标识的维度数据W 及标准化后的维度标识至维度Dimension表中； 加载0DS层源数据的事实数据至化ct Staging事实缓冲层，所述事实数据包括医院端 的唯一标识序列号、维度标识、度量值； 根据化ct Staging事实缓冲层中的事实数据中的维度标识查找维度表中是否含有的 所述维度标识，如果是，则在事实数据中添加维度表中与所述维度标识对应的标准化后的 维度标识，之后将添加后的事实数据加载至数据仓库的事实化ct表中，如果否，则设定一 参数值，并将所述参数值作为标准化后维度标识添加到事实数据中，再将添加后的事实数 据加载至数据仓库的事实化ct表中。
4. 如权利要求1或2所述的方法，其特征在于，所述的将所述的源数据进行标准化操 作，将标准化后的数据与源数据相结合加载至数据仓库的维度Dimension表和事实化ct表 中，还包括： 当医院端源数据发生变化后，通过已加载的数据与变化后的源数据进行查找匹配，自 动更新已经加载的数据。
5. 如权利要求4所述的方法，其特征在于，所述的当医院端源数据发生变化后，通过已 加载的数据与源数据进行查找匹配，自动更新已经加载的数据，包括： 当医院端源数据的维度标识变化后，使用CDC捕获变化数据技术抓取源数据中更新的 维度标识； 更新0DS层中的维度数据的维度标识W及事实数据中的维度标识； 加载0DS层源数据中更新的维度标识W及标准化后的更新的维度标识至维度 Dimension 表中； 加载0DS层源数据中更新的事实数据至化ct Staging事实缓冲层，所述更新的事实数 据包括医院端唯一标识序列号、更新后的维度标识、度量值； 根据化ct Staging事实缓冲层中的事实数据中的更新的维度标识查找维度表中含有 的所述更新的维度标识； 在Fact Staging事实缓冲层更新的事实数据中添加维度表中的与所述更新的维度标 识对应的标准化后的更新的维度标识； 将化ct staging事实缓冲层添加后的更新的事实数据加载至事实化ct表中，替换事 实化ct表中与所述更新的事实数据有相同医院端唯一标识序列号的事实数据。
6. 如权利要求4所述的方法，其特征在于，所述的当医院端源数据发生变化后，通过已 加载的数据与变化后的源数据进行查找匹配，自动更新已经加载的数据，包括： 当医院端源数据中维度标识由空值更新为非空值时，使用CDC技术抓取医院端源数据 中更新的维度标识； 通过ODS Staging层加载医院端源数据中更新的维度标识，并更新ODS层中维度数据 的维度标识； 加载ODS层源数据的更新的维度标识W及标准化的更新的维度标识至维度Dimension 表中； 查找事实Fact表中的标准化后的维度标识为设定参数值的事实数据； 在事实表中根据事实数据中的维度标识查找维度表中是否含有所述维度标识，如果有 则将原有的用设定参数替代的标准化维度标识变更为标准化后的更新的维度标识，否则的 话则正常结束。
7. 如权利要求3、5、6之一所述的方法，其特征在于，所述方法还包括： 对所述的事实数据增加相对应的事实标识。
8. -种基于数据仓库的医疗数据整合系统，其特征在于，包括： 获取模块，存储模块，转换加载模块； 所述获取模块，用于获取医院端的源数据； 所述存储模块，用于将所述源数据保存至数据仓库中的0DS操作型数据存储层，所述 0DS操作型数据存储层是在数据仓库中增加的； 所述转换加载模块，用于将所述的源数据进行标准化操作，并将标准化后的数据与源 数据相结合加载至数据仓库的维度Dimension表和事实化ct表中。
9. 如权利要求8所述的系统，其特征在于，所述转换加载模块还包括：处理模块，用于 当出现异常数据时，通过设定参数值替代异常数据进行数据加载。
10. 如权利要求9所述的系统，其特征在于，所述转换加载模块还包括： 自动更新模块，用于当医院端源数据发生变化后，通过已加载的数据与源数据进行查 找匹配，自动更新已经加载的数据。
【文档编号】G06F17/30GK104462082SQ201310415629
【公开日】2015年3月25日 申请日期:2013年9月12日 优先权日:2013年9月12日
【发明者】王浩, 陈汝林, 郑秋芳, 吴晓琳, 李家宝, 陶然, 杨忠波, 王艺元 申请人:深圳中科金证科技有限公司