一种医学数据分布式存储方法及系统与流程

本发明涉及一种医学数据分布式存储方法，同时涉及实现该方法的系统。

背景技术：

医学影像主要是在进行放射、核磁共振、超声、病理、内镜、介入等检查过程中形成的医学数据，通常以dicom(digitalimagingandcommunicationsinmedicine医学数字成像和通信)标准格式存储、访问及共享，pacs系统(picturearchivingandcommunicationsystems影像归档和通信系统)已经成为医院信息化中不可或缺的信息系统之一，是数字化医院的重要衡量指标。

医学影像数据具有单个文件数据量较大、序列文件数据量巨大、单位时间内数据量增长速度快等特点。大多数医院会定期投入大量资金用于存储扩容，以满足快速增长的影像数据存储需求。因此，医学影像数据的存储方式与存储策略一直是信息化部门重点考察的内容。

目前，医学影像数据存储方式大致可分为服务器存储、云存储和分布式存储三类。其中，服务器存储方式是目前最普遍的方式，是在医院内部搭建服务器和存储系统，放射、核磁等检查设备进行图像采集，通过医院内部网络传输至存储系统。这种方式的主要优点是数据集中存储，传输速度快，系统部署在医院内部，较安全稳定，缺点是医院自己要不断扩充存储容量，对机房和管理的压力较大。尤其是影像数据要做备份，服务器和存储设备要做冗余，对医院的存储能力有较高要求。

云存储是采用云的方式存储影像数据，成为影像云平台。云有两种方式：公有云和私有云，其存储载体主要还是服务器和存储硬件设备。其中私有云搭建在医院内部或授信的安全托管场所，公有云则完全由医院之外的企业负责运维，医院通过网络将影像数据传输到云端。影像云存储在服务器存储的基础上提升了扩展能力，通过云计算及接口技术增强了影像数据的可利用性，在影像云平台上可以开发更多的应用以提升影像数据的利用率。这种方式的缺点是对网络依赖性强，尤其是如果影像数据存储在医院之外，会增加数据安全风险。

分布式存储方式的思路是将影像数据以冗余的形式分散存储在多台存储设备中，存储设备可以是服务器，也可以是台式机，利用后台的管理服务器按照一定的策略进行数据存储、读取和备份。这种方式的优点是可以有效利用资源，同时确保数据有效性和安全性。缺点是管理服务复杂。

技术实现要素：

针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种医学数据分布式存储方法。

本发明所要解决的另一技术问题提供一种医学数据分布式存储系统。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种医学数据分布式存储方法，包括如下步骤：

对获取的医学数据进行初步处理；

将初步处理的医学数据发送到服务器进行复制，并将复制的医学数据分别存储到多个存储节点；

根据存储节点创建存储索引，将存储索引和存储路径信息保存到服务器中。

其中较优地，对获取的医学数据进行初步处理，包括如下步骤：

获取产生的医学数据对应的数据文件；

根据数据文件的大小进行拆分得到多个数据块；

对每个数据块进行加密得到初步处理的医学数据。

其中较优地，所述存储索引和存储路径信息的保存与医学数据的复制处理在不同的服务器中进行。

其中较优地，所述存储索引和存储路径信息同时保存在两个服务器中，所述两个服务器同时在线。

其中较优地，提取存储的医学数据时，包括如下步骤：

向控制服务器发送提取数据请求；

根据提取数据请求到索引服务器寻找提取数据请求对应的存储索引和文件保存路径信息；

根据存储索引和文件保存路径信息到对应的存储节点获取医学数据对应的数据文件。

其中较优地，所述医学数据分布式存储方法，还包括如下步骤：

当存储节点发生故障时，将存储节点存储的医学数据迁移到正常工作的其他存储节点，并更新存储索引和文件保存路径信息。

其中较优地，当存储节点发生故障时，将存储节点存储的医学数据迁移到正常工作的其他存储节点，并更新存储索引和文件保存路径信息；包括如下步骤：

当存储节点发生故障时，根据存储索引和文件保存路径信息找到所述存储节点的数据文件的备份文件路径信息，并根据所述备份文件生成新的数据文件；

按照任务分配策略将所述新的数据文件传输给其他正常的存储节点进行存储；

根据新的存储节点更新存储索引和文件保存路径信息。

其中较优地，当存储节点发生故障时，对发生故障的存储节点进行离线判定，包括如下步骤：

当存储节点发生故障时，获取存储节点离线时长；

根据存储节点计算机的特征信息以及在线规律获取离线判定时间；

如果该存储节点的离线时长大于该离线判定时间，则该存储节点离线，进行数据迁移；否则，不进行数据迁移。

其中较优地，所述医学数据分布式存储方法，还包括如下步骤：

定时判断发生故障的存储节点是否重新工作，如果该发生故障的存储节点重新工作，则根据全网内数据文件存储均衡性进行重复数据的删除。

根据本发明实施例的第二方面，提供一种医学数据分布式存储系统，包括存储节点、数据获取模块、数据处理模块、引擎创建模块和服务器；

其中，所述数据处理模块用于从所述存储节点获取医学数据，对获取的医学数据进行初步处理，并将初步处理的医学数据发送到所述数据处理模块；

所述数据处理模块将所述初步处理的医学数据发送到所述服务器进行复制，并将复制的医学数据分别存储到多个存储节点；

所述引擎创建模块根据存储医学数据的多个存储节点的位置创建存储索引，并将存储索引和存储路径信息保存到服务器中。

本发明所提供的医学数据分布式存储方法，通过将初步处理的医学数据发送到服务器进行复制操作，将复制的医学数据分别存储到多个存储节点；并根据存储节点创建存储索引，将存储索引和存储路径信息保存到服务器中，可以有效的保证医学数据的安全存储，即使发生故障也可以迅速恢复，保证在灾难发生时医学数据不丢失，提高了数据存储的安全可靠性。

附图说明

图1为本发明所提供的医学数据分布式存储方法的流程图；

图2为本发明所提供的一个实施例中，医学数据存储过程的示意图；

图3为本发明所提供的一个实施例中，存储节点故障时数据迁移过程的示意图；

图4为本发明所提供的医学数据分布式存储系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

如图1所示，本发明所提供的医学数据分布式存储方法，包括如下步骤：首先，获取医学数据，并对获取的医学数据进行初步处理；然后，将初步处理的医学数据发送到服务器进行复制，并将复制的医学数据分别存储到多个存储节点；最后，根据存储节点创建存储索引，将存储索引和存储路径信息保存到服务器中供客户端读取调用。下面对这一过程进行详细具体的说明。

s1，对获取的医学数据进行初步处理。

本发明所提供的医学数据分布式存储方法采用分布式存储方式，由存储节点和控制服务器组成的分布式系统实现。利用医院普通的工作用计算机作为分布式存储的主要载体，称为存储节点，可以是医护工作站、行政办公计算机、信息科开发计算机等，在本发明所提供的一个实施例中，例如存储节点数量为100台计算机；服务器数量为3台，其中计算机的基本配置为：cpu，内存gb，硬盘空间gb，除去操作系统和his系统软件所占空间，每台计算机可以分配出xxxgb空间用于影像数据的存储。3台服务器的配置为：cpue5620，内存32gb，硬盘空间600gb，分别是控制服务器、主索引服务器、备份索引服务器。整套系统搭建在医院现有的his网络中，无需新建网络。

影像数据等医学数据的存储遵循快速、安全的原则，在本发明所提供的实施例中，以影像数据为例对医学数据的分布式存储进行详细的说明。其中，对获取的医学数据进行初步处理，具体包括如下步骤：

s11，获取产生的医学数据对应的数据文件。

s12，根据数据文件的大小进行拆分得到多个数据块。

s13，对每个数据块进行加密得到初步处理的医学数据。

具体的，当放射、超声等检查设备通过接口向分布式存储系统传输影像数据时，由后台生成存储任务，根据数据文件的大小进行拆分、加密，在本发明所提供的实施例中，每个数据块最大为64mb，再根据存储节点状态进行任务分配。

s2，将初步处理的医学数据发送到服务器进行复制，并将复制的医学数据分别存储到多个存储节点。

将初步处理的医学数据进行复制生成多个副本，其中，初步处理的医学数据在存储节点进行存储，服务器本身不存储医学数据。作为存储节点的工作用计算机可以为台式机或笔记本电脑。在本发明所提供的实施例中，以将初步处理的医学数据复制为3个副本为例进行说明，如图2所示。将多个副本传输到多个存储节点，由存储节点的客户端软件保存在计算机硬盘的预留空间。在本发明所提供的实施例中，将复制的医学数据分别存储到多个存储节点时，任务分配的原则是让数据尽可能均匀地分布到每个存储节点上，也就是实现全网内存储节点的负载均衡，主要还是考虑存储空间的均衡。以一个100台存储节点的分布式存储网络为例，当一个影像数据文件被拆解为7个加密数据块后，连同副本将生成21个存储任务，控制服务器将找到剩余存储空间最多的21台计算机作为存储节点来分配这些任务。

s3，根据存储节点创建存储索引，将存储索引和存储路径信息保存到服务器中。

根据存储节点创建存储索引，服务器端的管理程序将记录影像数据文件索引信息和文件保存路径信息。在本发明所提供的实施例中，存储索引和存储路径信息的保存与医学数据的复制处理在不同的服务器中进行。防止一个服务器故障导致存储索引和路径信息失效，备份数据丢失的情况。医学数据的复制处理发生在控制服务器。存储索引和存储路径信息保存到索引服务器中。

其中，索引节点是关键节点，一旦故障或掉线，将导致整个系统瘫痪。因此有必要采用双索引节点，运行在2台服务器上，即存储索引和存储路径信息同时保存在两个服务器(主索引服务器和备份索引服务器)中，同时在线，并通过热备方式备份索引信息。两台索引节点服务器中一定有一台处于活动状态，另外一个处于备份状态，一旦活动节点失去联系，备份节点将自动切换为活动节点，同时将通过消息和邮件系统通知系统管理员，待故障索引节点恢复正常后进行索引信息同步。防止一个服务器发生故障，导致存储索引和路径信息失效，备份数据丢失的情况。

在本发明所提供的实施例中，当需要提取存储的医学数据时，包括如下步骤：

向控制服务器发送提取数据请求；

根据提取数据请求到索引服务器寻找提取数据请求对应的存储索引和文件保存路径信息；

根据存储索引和文件保存路径信息到对应的存储节点获取医学数据对应的数据文件。

具体的，由申请客户端程序向控制服务器发送提取数据请求，服务器管理程序根据请求到索引服务器查找相应的存储索引和文件保存路径信息，并向数据申请客户端发送存有数据的客户端地址及存储路径信息。申请客户端程序会与其他数据存储节点进行通信，获取到相应数据块，并由客户端程序进行数据块的解密和拼装，最终形成dicom影像数据文件。

本发明所提供的医学数据分布式存储方法，还包括如下步骤：

s4，当存储节点发生故障时，将存储节点存储的医学数据迁移到正常工作的其他存储节点，并更新存储索引和文件保存路径信息。

当存储节点发生故障时，需要将该故障节点上的数据进行恢复和迁移。如图3所示，存储节点的数据副本如①所示存储在三台计算机abc上，如果掉线，或者出现故障，控制服务器首先会根据一定策略判断该存储节点是否为离线状态，如②所示。若确认该存储节点掉线，则会在索引服务器中找到该存储节点的数据文件的备份文件路径信息，并从其他备份文件生成新的数据文件，按照任务分配策略传输给其他正常的存储节点def，以完成离线存储节点上的数据进行迁移，如③所示。最后，控制服务器会更新存储索引和文件保存路径信息，如④所示。

具体的，当存储节点发生故障时，将存储节点存储的医学数据迁移到正常工作的其他存储节点，并更新存储索引和文件保存路径信息；具体包括如下步骤：

s41，当存储节点发生故障时，根据存储索引和文件保存路径信息找到该存储节点数据文件的备份文件路径信息，并根据该备份文件生成新的数据文件。

当存储节点发生故障时，需要对发生故障的存储节点进行离线判定，当判定该存储节点离线时，才进行数据迁移。离线判定主要用于判断一台存储节点计算机是否真正离线，是否应该启动数据迁移程序。对发生故障的存储节点进行离线判定，具体包括如下步骤：

s411，当存储节点发生故障时，获取存储节点离线时长。

s412，根据存储节点计算机的特征信息以及在线规律获取离线判定时间。

由于存储节点计算机可以是医护工作站，这些计算机长期开机在线，也可以是机关办公用机，通常白天开机，夜晚关机，所以应该根据计算机的不同特征加以判定。控制服务器维护这些存储节点计算机的特征信息，根据节点运行一段时间后掌握其在线规律，并根据最高离线时长设定离线判定时间。在本发明所提供的实施例中，根据计算机的特征信息以及在线规律获取离线判定时间如下表1。

表1存储节点在线规律及离线判定时间展示表

如表1所示，机关楼某计算机三天里每天都有长时间离线记录，应该是下班关机的原因，最高离线为852分钟，因此可以设定如果该存储节点离线时间大于852分钟即判定其离线。同理，骨科护士站有两次离线记录，每次不超过7分钟，可能是重启计算机导致，因此将其离线判定时间设置为7分钟。

s413，如果该存储节点的离线时长大于该离线判定时间，则该存储节点离线，进行数据迁移；否则，不进行数据迁移。即若该存储节点离线时间超过离线判定时间，则可确认该节点确实离线，控制服务器将启动数据迁移任务。

s42，按照任务分配策略将该生成的新的数据文件传输给其他正常的存储节点进行存储。其中，该任务分配策略可以是任意的分配策略，在此不做具体限定，例如如果某存储节点离线故障，需要进行数据迁移，仅仅是将生成的新的数据文件存储到与其他两个备份文件不同的存储节点。即新的迁移数据块将分配到没有相同数据块的存储节点。但是该迁移兼顾上述任务分配的原则，即考虑全网内存储节点的负载均衡。

s43，根据新的存储节点更新存储索引和文件保存路径信息。

前已述及，当存储节点发生故障时，将存储节点存储的医学数据迁移到正常工作的其他节点。但是，存储节点由于关机等原因造成“离线故障”假象，控制服务器难免会进行数据迁移操作。当该存储节点再次上线时，将会造成数据文件重复存储。所以，在本发明所提供的实施例中，还包括如下步骤：

s5，定时判断发生故障的存储节点是否重新工作，如果该发生故障的存储节点重新工作，则根据全网内数据文件存储均衡性进行重复数据的删除，以节省空间。其中，根据全网内数据文件存储均衡性进行重复数据的删除，包括如下步骤：

找到全网中存储该数据文件的所有存储节点；

根据负载大小对存储节点进行排序；

将负载最大的存储节点中存储的数据文件删除。

综上所述，本发明所提供的医学数据分布式存储方法，可以有效的保证医学数据的安全存储，即使发生故障也可以迅速恢复，保证在灾难发生时医学数据不丢失，提高了数据存储的安全可靠性。

本发明还提供了一种医学数据分布式存储系统。如图4所示，该系统包括存储节点、数据获取模块、数据处理模块、引擎创建模块和服务器。其中，数据处理模块用于从存储节点获取医学数据，对获取的医学数据进行初步处理，并将初步处理的医学数据发送到数据处理模块。数据处理模块将数据获取模块传送来的初步处理的医学数据发送到服务器进行复制，并将复制的医学数据分别存储到多个存储节点；引擎创建模块根据存储医学数据的多个存储节点的位置创建存储索引，并将存储索引和存储路径信息保存到服务器中。其中，在本发明所提供的实施例中，服务器不局限于传统意义上的服务器，还可以是具有类似功能的pc机。进行医学数据复制的服务器与保存存储索引和存储路径信息的服务器为不同的服务器。

在本发明所提供的实施例中，保存存储索引和存储路径信息的服务器为索引服务器，本系统采用双索引节点，运行在2台服务器上，即存储索引和存储路径信息同时保存在两个索引服务器(主索引服务器和备份索引服务器)中，同时在线，并通过热备方式备份索引信息。两台索引节点服务器中一定有一台处于活动状态，另外一个处于备份状态，一旦活动节点失去联系，备份节点将自动切换为活动节点，同时将通过消息和邮件系统通知系统管理员，待故障索引节点恢复正常后进行索引信息同步。防止一个服务器发生故障，导致存储索引和路径信息失效，备份数据丢失的情况。

在本发明所提供的实施例中，该医学数据分布式存储系统还包括请求处理模块，该请求处理模块用于接收向服务器发送的提取数据请求；请求处理模块根据提取数据请求到服务器(索引服务器)中寻找提取数据请求对应的存储索引和文件保存路径信息；并根据存储索引和文件保存路径信息到对应的存储节点获取医学数据对应的数据文件。该系统可以有效的保证医学数据的安全存储，即使发生故障也可以迅速恢复，保证在灾难发生时医学数据不丢失，提高了数据存储的安全可靠性。

上面对本发明所提供的医学数据分布式存储方法及系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。