基于大数据的数据采集方法及系统与流程

1.本发明涉及医疗数据采集技术领域，具体涉及基于大数据的数据采集方法及系统。


背景技术：

2.现阶段我国医疗数据主要来自于医院信息系统his、电子病历系统emr、影像采集与传输系统pacs、实验室检查信息系统lis、病理系统ps、医疗器械等信息化系统和设备所记录下来的疾病、体征数据。还包括医院物资管理、医院运营系统所产生的数据。经调查显示，当前已有70％以上的医院实现了医疗信息化，但仅有不到3％的医院数据互通，医疗大数据比较分散，信息孤岛有待攻破。有时同一份病历，两个医生会有不同的解读，故医院之间的信息如果不能互通，对患者来说是很大的损失。信息孤岛同样给需要运用数据和信息的医生、医院管理者带来了极大不便。
3.信息孤岛是我国卫生信息化建设过程中留下的历史问题，由于未出台相关标准，各家医院在建设医疗信息系统时缺乏标准指导，没有顶层设计，条块分割，导致了信息孤岛的产生。因此建立医疗的数据采集中心，是当前提高医疗技术、破除信息孤岛、实现医院之间互联互通的一个重要手段。
4.由于医疗数据种类繁多、量大且更新速度快，现有医疗数据采集系统不能很好的处理多种多样的大量数据，且无法保证采集到的数据可靠性，还不能处理重复数据。


技术实现要素：

5.针对现有技术存在上述问题，本发明提出了一种基于大数据的数据采集方法及系统，其能够处理多种多样的大量数据，可靠性强，安全性高，还能处理采集数据中的重复数据。
6.根据本技术第一方面实施例的一种基于大数据的数据采集方法，包括：
7.通过采集调度中心获取多种医疗数据，其中所述采集调度中心包括多个不同的采集器，所述不同的采集器在对应的采集渠道获取非结构化医疗数据；
8.汇总所述非结构化医疗数据；
9.将所述医疗数据进行处理；
10.对所述处理后的医疗数据进行本地存储和/或云端存储。
11.根据本技术的一些实施例，通过多种采集方式获取医疗数据前，还包括：
12.将yml类型文件对应的服务进行基础配置，各个服务之间通过队列方式进行医疗数据的传递。
13.根据本技术的一些实施例，将所述医疗数据进行处理，包括：
14.对医疗数据的质量进行校验；
15.将校验后的医疗数据打标签；
16.对打标签后的医疗数据创建索引。
17.根据本技术的一些实施例，对医疗数据的质量进行校验，包括：
18.校验医疗数据的准确度；
19.通过神经网络对所述医疗数据进行去重处理；
20.将去重后的医疗数据加密。
21.根据本技术的一些实施例，将校验后的医疗数据打标签，包括：
22.将校验后的医疗数据输入到bert神经网络获取文本向量v；
23.随机选择多个文本向量v作为聚类中心点a；
24.获取其他医疗数据与每个聚类中心点a之间距离，将所述其他医疗数据归类为距离最近的文本向量v，分类完成后再得到多类文本向量v的聚类中心点b；
25.获取其他医疗数据与每个聚类中心点b之间距离，将所述其他医疗数据归类为距离最近的文本向量v，分类完成后再得到多类文本向量v的聚类中心点c，重复该步骤，获得多个种类文本；
26.对每个种类所述文本打上中心词的标签；
27.新获取的医疗数据根据与中心词的相似度进行分类。
28.根据本技术的一些实施例，将校验后的医疗数据打标签，包括：
29.将现有医疗数据分为多个类型；
30.通过bert+bilstm+cnn+attention+crf神经网络对所述现有医疗数据进行训练，直至准确率大于阈值；
31.用训练后的bert+bilstm+cnn+attention+crf神经网络对新获取的医疗数据进行分类，使其归属到相应的类型下。
32.根据本技术的一些实施例，对所述处理后的医疗数据进行本地存储，包括：
33.获取属性表所在的代理服务和端口；
34.所述代理服务扫描属性表中每个属性配置的起始行健，判断当前医疗数据在哪个属性范围内后存储在数据库中；
35.所述数据库中存储有属性与代理服务的对应关系。
36.根据本技术的一些实施例，对所述数据库进行管理，包括：
37.读取所述医疗数据翻译成内部统一数据格式；
38.对医疗数据的采集源进行增删改查操作；
39.从所述数据库中获取查询结果后，对其进行数据格式转换。
40.根据本技术第二方面实施例的一种基于大数据的数据采集系统，包括：
41.采集模块，通过采集调度中心获取多种医疗数据，其中所述采集调度中心包括多个不同的采集器，所述不同的采集器在对应的采集渠道获取非结构化医疗数据；
42.汇总模块，汇总所述非结构化医疗数据；
43.处理模块，用于将所述医疗数据进行处理；
44.存储模块，用于对所述处理后的医疗数据进行本地存储和/或云端存储。
45.根据本技术的一些实施例，所述处理模块包括：
46.校验模块，对医疗数据的质量进行校验；
47.打标签模块，将校验后的医疗数据打标签；
48.创建索引模块，对打标签后的医疗数据创建索引。
49.通过以上技术方案，获得的技术效果在于：本发明对多种多样的相关医疗数据收集后进行整合存储，提供两种的脏数据处理方式，在处理过程中可以实现脏数据精确过滤、识别、采集、展示，其可靠性强，安全性高，还能处理医疗数据中的重复数据。
附图说明
50.图1为本技术实施例公开的数据采集计算机的硬件结构框图；
51.图2为本技术实施例公开的数据采集方法流程图；
52.图3为本技术实施例公开的将所述医疗数据进行质量校验和处理流程图；
53.图4为本技术实施例公开的对医疗数据的质量进行校验流程图；
54.图5为本技术实施例公开的对处理后的医疗数据进行本地存储流程图。
具体实施方式
55.现在将参考附图更全面地描述示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本发明将更加全面和完整，并将示例性实施例的构思全面地传达给本领域的技术人员。
56.当前三级综合医院医疗质量管理与控制指标框架，包括7大类指标，44类质量评价指标，730个单项指标，2610个复合指标，400多个监测数据，其中指标分类包含住院死亡类指标、重返类指标、医院感染类指标、手术并发症类指标、患者安全类指标、医疗机构合理用药指标与医院运行管理类指标。其管理体系庞大，监测难度也大。且各个业务系统的数据库服务器运行dbms,是否存在手工数据、手工数据量有多大、是否存在非结构化数据等问题，都是医疗互通的技术壁垒，因此本技术实施例提供基于大数据的数据采集方法及系统。所述数据采集方法可以在服务器、计算机或者类似的运算装置中执行。以运行在计算机上为例，图1为本技术实施例公开的数据采集计算机的硬件结构框图。如图1所示，计算机10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
57.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据采集方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。
58.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
59.如图2所示，在一些实施例中，基于大数据的数据采集方法，包括：
60.s1.通过采集调度中心获取多种医疗数据，其中所述采集调度中心包括多个不同的采集器，所述不同的采集器在对应的采集渠道获取非结构化医疗数据；
61.具体的，可以利用不同的采集方式在相应的采集渠道获取医疗数据。任务调度中心可以对不同的数据(日志，数据库内数据等)采集任务进行管理。所述采集方式可以为：
62.(1)网络上有各种各样的开发数据集，只要找到相应的网址获取下载链接，就可以得到医疗领域的数据集，这些数据集可以帮助医疗系统完善内部信息，配置采集器通过爬虫和规则匹配等方法对医疗数据进行爬取和整理。
63.(2)对于医疗系统的日志服务，可以采用相关的日志收集方案。比较常见的几款日志收集工具有logstash、filebeat、flume、fluentd、logagent、rsyslog、syslog
‑
ng。配置采集器利用日志文本信息读取的方式对该类医疗数据进行读取，收集。
64.(3)通过社会调查的方式获取相应的医疗数据，这些医疗数据可以对医疗系统的数据内容进行完善。配置采集器获取社会调查结果的医疗数据。
65.(4)医疗系统中会设有日常运营和业务部门模块，其各种相关数据都会记录在某些文件或者系统中，例如常见的医疗系统数据库等。大量的医疗数据存储在数据库中，配置采集器对不同种类的数据库用不同的方式进行获取数据。
66.(5)医疗传感器是一种检测装置，能感受到被测量的信息，并能将感受到的信息，按一定规律变换成为电信号或其他所需形式的信息输出，通过医疗传感器获取到医疗数据后上传，配置采集器对这些医疗数据进行收集。
67.s2.汇总所述非结构化医疗数据；
68.具体的，获取医疗数据均是通过统一的微服务接口进行收集。即采集器获取数据后通过restful接口将数据发送到微服务中，然后将数据放在redis的分布式缓存平台中进行临时存储。
69.对通过不同渠道获取的非结构化医疗数据进行汇总，然后统一交付给数据质量校验来处理。本技术采用了不同采集器的方式，可以处理多种数据。解决了在传统系统中不能很好的处理多种多样的数据问题。
70.s3.将所述医疗数据进行处理；
71.具体的，医疗数据获取后，首先对医疗数据的质量进行校验，其包括校验各种相关医疗信息的准确度，对医疗数据去重、加密等。再进行校验后，对去重后的数据打标签，监控信息来源。
72.s4.对所述处理后的医疗数据进行本地存储和/或云端存储。
73.具体的，由于本地存储医疗数据存在一定风险，如本地设备损坏导致部分或全部数据消失。故可以将医疗数据备份在云端。即将获取的医疗数据在本地存储的同时再向云端发送一份相同的数据信息进行存储。或者每隔一段时间(例如：半个月、一个月等)将本地存储的医疗数据更新部分进行压缩，然后备份到云端。保证数据的安全性。
74.本发明可以将医院信息系统his、电子病历系统emr、影像采集与传输系统pacs、实验室检查信息系统lis、病理系统ps和其他医院信息化系统中，分布的、异构数据源的医疗数据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据库中，成为医疗数据联机分析处理、医疗数据挖掘的基础，通过上述方法建立的医疗服务监管信息数据采集平台，其架构安全性高、易扩展，能够支持各类主流开发语言，并提供丰富的接口。同时能够支持结
构化和非结构化数据的存储和应用。
75.在一些实施例中，通过多种采集方式获取医疗数据前，还包括：
76.将yml类型文件对应的服务进行基础配置，各个服务之间通过队列方式进行医疗数据的传递。
77.具体的，数据采集过程中所有配置文件均存储在nacos中，所述nacos中有很多yml类型的文件，分别是各个服务的配置文件，例如：采集器服务，数据质量校验服务、用户中心服务，网关服务，数据管理服务等。首先对yml类型文件进行服务的端口、数据库地址、启动方式等进行基础配置。各个服务在启动时自动从nacos中获取到对应的配置。
78.需要说明的是，医疗数据在各个服务中的传递都是使用中间件工具，也就是用队列的方式来解决并发问题，降低服务器的压力。
79.如图3所示，在一些实施例中，将所述医疗数据进行质量校验和处理，包括：
80.s31.对医疗数据的质量进行校验；
81.具体的，质量校验包括通过对比原则校验医疗数据准确度、通过神经网络对医疗数据进行去重、对去重后的数据进行tripledes算法加密。
82.s32.将校验后的医疗数据打标签；
83.具体的，可以通过两种方式实现，第一种方式是将获取到的医疗数据进行聚类；第二种方式是使用神经网络进行分类。分类完成后将数据的数据源也作为属性存储到该数据的整体信息中。
84.s33.对打标签后的医疗数据创建索引。
85.具体的，将每条医疗数据进行总结获取到该数据的标题。获取标题方式分为两种：一种为直接获取该数据的前10
‑
20个字符作为该数据的标题，另一种方式通过seq2seq架构中的编码器和解码器获取该数据的摘要。将所述数据的摘要，产生时间等重要的属性在elasticsearch中创建索引便于用户快速的查询该数据。
86.如图4所示，在一些实施例中，对医疗数据的质量进行校验，包括：
87.s311.校验医疗数据的准确度；
88.具体的，医疗数据准确度校验可以通过多种方式实现，例如第一种是将中间件发送来的医疗数据进行md5编码和数据携带的md5码进行对比，如果相同则说明传输的数据不存在问题；第二种是通过该数据的多个数据源进行相似度对比，差异较大，则该数据存在问题；第三种是确定数据传输前后是否存在较大误差，如果同一个指标的平均值出现了巨大差异，而又不符合逻辑时，则说明传输过程出了问题，获取的数据不准确。
89.s312.通过神经网络对所述医疗数据进行去重处理；
90.具体的，使用神经网络对医疗数据文本进行去重，将获取到的经过检验的完整数据和现有系统中相对应的模块信息对比。例如将获取某人现有的病情信息，和现有系统中该人的病情信息进行对比。判断方式可以用神经网络中的bert获取相应的句子向量然后进行相似度的计算。相似度大于90％将文本定义为基本相同，相似度大于80％则定义为大致相同，相似度低于50％，则定义为不同。过滤掉相同的医疗数据，保存不同的医疗数据。
91.s313.将去重后的医疗数据加密。
92.具体的，tripledes算法可以把64位的明文输入块变为数据长度为64位的密文输出块，其中8位为奇偶校验位，另外56位作为密码的长度。
93.在一些实施例中，将校验后的医疗数据打标签，包括：
94.将校验后的医疗数据输入到bert神经网络获取文本向量v；
95.随机选择多个(例如10个)文本向量v作为聚类中心点a；
96.获取其他医疗数据与每个聚类中心点a之间距离(通过相似度计算来判断其他医疗数据和文本之间含义的距离)，将所述其他医疗数据归类为距离最近的文本向量v，分类完成后再得到多类(例如10类)文本向量v的聚类中心点b；
97.获取其他医疗数据与每个聚类中心点b之间距离(通过相似度计算来判断其他医疗数据和文本之间含义的距离)，将所述其他医疗数据归类为距离最近的文本向量v，分类完成后再得到多类(例如10类)文本向量v的聚类中心点c，重复该步骤n次，获得多个(例如10个)种类文本进行存储；
98.对每个种类所述文本打上中心词的标签；
99.新获取的医疗数据根据与中心词的相似度进行分类。
100.在一些实施例中，将校验后的医疗数据打标签，包括：
101.将现有医疗数据分为多个类型；
102.具体的，所述多个类型可以为10个类型，该数目根据现有医疗数据量确定。
103.通过bert+bilstm+cnn+attention+crf神经网络对所述现有医疗数据进行训练，直至准确率大于阈值；
104.具体的，使用训练的设备显卡内存应大于10g，训练出准确率大于90％的效果。
105.用训练后的bert+bilstm+cnn+attention+crf神经网络对新获取的医疗数据进行分类，使其归属到相应的类型下。
106.需要说明的是：本实施例对多种脏数据提供了2种或多种的处理方式，在某种数据的处理方式失败情况下，可以自动识别返回处理失败的信号0，立刻启动另外处理方式对数据进行处理，保证数据处理的稳定性。例如：对医疗数据进行规则分类失败时，则会立刻用神经网络模型对医疗数据进行分类获取准确的分类结果。
107.如图5所示，在一些实施例中，对处理后的医疗数据进行本地存储，包括：
108.s41.获取属性表所在的代理服务和端口；
109.具体的，获取包含完整属性的医疗数据后。通过客户端连接zookeeper,从zookeeper的节点找到属性表所在的代理服务和端口。
110.s42.所述代理服务扫描属性表中每个属性配置的起始行健，判断当前医疗数据在哪个属性范围内后存储在数据库中；
111.s43.所述数据库中存储有属性与代理服务的对应关系。
112.具体的，客户端直接请求对应的代理服务；代理服务接收到客户端发来的请求之后，将医疗数据写入到属性中。
113.在一些实施例中，对所述数据库进行管理，包括：
114.读取所述医疗数据翻译成内部统一数据格式；
115.具体的，该步骤使数据库中的资源可以充分得到管理，并且能实现关于数据的一种控制；
116.对医疗数据的采集源进行增删改查操作；
117.具体的，根据信源状态、正则状态等，实时监控网站；对于关键词搜索采集，便于实
时增加/删除、启动/关闭采集；根据采集的实际情况，实时调整采集策略。如增加/删减采集器等；
118.从所述数据库中获取查询结果后，对其进行数据格式转换。
119.具体的，将用户的数据请求(高级指令)转换成复杂的机器代码(低层指令)，实现对数据库的查询操作并获取查询结果；对查询结果进行处理(格式转换)返回给用户。
120.本实施例还公开了一种基于大数据的数据采集系统，包括：
121.采集模块，通过采集调度中心获取多种医疗数据，其中所述采集调度中心包括多个不同的采集器，所述不同的采集器在对应的采集渠道获取非结构化医疗数据；
122.采集模块，汇总所述非结构化医疗数据；
123.处理模块，将所述医疗数据进行处理；
124.存储模块，对所述处理后的医疗数据进行本地存储和/或云端存储。
125.系统完成单个医疗数据的存储作业，称之为job，其接收到一个job之后，将启动一个进程来完成整个存储过程。系统job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子task)、taskgroup管理等功能。系统job启动后，会根据不同的源端切分策略，将job切分成多个小的task(子任务)，以便于并发执行。task便是系统作业的最小单元，每一个task都会负责一部分数据的存储工作。切分多个task之后，系统job会调用scheduler模块，根据配置的并发数据量，将拆分成的task重新组合，组装成taskgroup(任务组)。每一个taskgroup负责以一定的并发运行完毕分配好的所有task，默认单个任务组的并发数量可以为10。每一个task都由taskgroup负责启动，task启动后，会固定启动reader—>channel—>writer的线程来完成数据存储工作。系统作业运行起来之后，job监控并等待多个taskgroup模块任务完成，等待所有taskgroup任务完成后job成功退出。
126.在一些实施例中，所述一种基于大数据的数据采集系统还包括：
127.配置模块，用于将yml类型文件对应的服务进行基础配置，各个服务之间通过队列方式进行医疗数据的传递。
128.在一些实施例中，所述处理模块包括：
129.校验模块，对医疗数据的质量进行校验；
130.打标签模块，将校验后的医疗数据打标签；
131.创建索引模块，对打标签后的医疗数据创建索引。
132.在一些实施例中，所述校验模块包括：
133.准确度校验模块，校验医疗数据的准确度；
134.去重模块，通过神经网络对所述医疗数据进行去重处理；
135.加密模块，将去重后的医疗数据加密。
136.在一些实施例中，所述打标签模块具体实现方式包括：
137.将校验后的医疗数据输入到bert神经网络获取文本向量v；
138.随机选择多个文本向量v作为聚类中心点a；
139.获取其他医疗数据与每个聚类中心点a之间距离，将所述其他医疗数据归类为距离最近的文本向量v，分类完成后再得到多类文本向量v的聚类中心点b；
140.获取其他医疗数据与每个聚类中心点b之间距离，将所述其他医疗数据归类为距
离最近的文本向量v，分类完成后再得到多类文本向量v的聚类中心点c，重复该步骤，获得多个种类文本；
141.对每个种类所述文本打上中心词的标签；
142.新获取的医疗数据根据与中心词的相似度进行分类。
143.在一些实施例中，所述打标签模块具体实现方式包括：
144.将现有医疗数据分为多个类型；
145.通过bert+bilstm+cnn+attention+crf神经网络对所述现有医疗数据进行训练，直至准确率大于阈值；
146.用训练后的bert+bilstm+cnn+attention+crf神经网络对新获取的医疗数据进行分类，使其归属到相应的类型下。
147.在一些实施例中，所述存储模块具体实现方式包括：
148.获取属性表所在的代理服务和端口；
149.所述代理服务扫描属性表中每个属性配置的起始行健，判断当前医疗数据在哪个属性范围内后存储在数据库中；
150.所述数据库中存储有属性与代理服务的对应关系。
151.在一些实施例中，对所述数据库进行管理，包括：
152.读取所述医疗数据翻译成内部统一数据格式；
153.对医疗数据的采集源进行增删改查操作；
154.从所述数据库中获取查询结果后，对其进行数据格式转换。
155.由于该基于大数据的数据采集系统解决问题的原理与上述数据采集方法类似，因此所述基于大数据的数据采集系的实施可以参见方法的实施，在此不再赘述。
156.本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述数据采集方法的步骤。
157.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
158.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
159.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述
实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
160.此外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一起。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。
161.最后应说明的是：以上上述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应上述以权利要求的保护范围为准。