一种大数据安全存储方法和设备与流程

本发明涉及大数据安全存储领域，具体涉及一种能够确保安全地存储大数据的大数据安全存储方法和设备。

背景技术：

互联网信息时代，大数据已经变成了一种极为重要的资源，比如google公司根据世界各地人们对流感信息的相关搜索，发布了世界各地流感情况预测。简单来说，人们对大数据的处理流程重要是通过各种途径(例如：传感器、社交网络、移动互联网等)获得大数据，然后将数据存储起来，利用各种大数据挖掘、分析、萃取技术在这海量信息中获取有效信息。但是这过程中存在着很多安全问题。

存储就是上述处理流程中存在安全隐患的一个环节。除了技术问题，人员也会成为影响大数据安全的重要因素。除了有心偷窃数据的数据库管理员、黑客，还有粗心大意的数据管理人员、使用人员。有调查显示粗心大意的人员泄密事件已经占到了所有泄密事件的78％。丢失的设备中存储了大量重要数据，即使盗窃人员没有泄露这些数据，为了以防万一，还是需要将相关数据废止，花费的代价将无比巨大。

由于大数据存储数据量巨大，通常采用分布式存储系统进行存储。存储设备可能分布于世界各地，这就给境外使用的存储设备的安全性管理带来了较大的挑战。主要安全威胁包括:重要设备被盗、撬、分析的威胁；国外人员有意无意的非法操作、越权使用；国外站的涉密数据、重要参数被国外恶意人员窃取等。传统的网络安全技术以打补丁方式为主，实践证明这不能实现足够的安全性，而且安全性要求越高，网络越臃肿，复杂性就越大，不适合境外站的特殊管理模式。因此在境外站环境安全防护方面，需要采用新的技术体制，以满足安全需求、降低安全防护系统复杂度、提高系统可靠性、简化境外站的管理和维护。

技术实现要素：

针对上述技术问题，本发明提供一种能够满足安全需求、降低安全防护系统复杂度、提高系统可靠性、简化境外站的管理和维护的大数据安全存储方法和设备。

本发明采用的技术方案为：

本发明的一实施例提供一种大数据安全存储方法，包括：对表征存储设备存储安全的预设监控指标进行监测，其中，所述预设监控指标包括：工作环境指标；响应于监测到所述存储设备的工作环境指标的指标值发生异常，按照指标值发生异常的工作环境指标对应的预设处理策略，对所存储数据的存储方式进行调整。

可选地，所述工作环境指标包括：振动幅度指标和强拆告警指标；响应于监测到所述存储设备的工作环境指标的指标值发生异常，按照指标值发生异常的工作环境指标对应的预设处理策略，对所存储数据的存储方式进行调整，具体包括：响应于监测到所述存储设备的振动幅度指标的指标值达到预设振动幅度阈值，按照针对振动幅度指标设置的处理策略，将所存储数据中的预设数据销毁；响应于监测到所述存储设备的强拆告警指标的指标值满足预设取值，按照针对强拆告警指标设置的处理策略，将所存储数据中的预设数据销毁。

可选地，所述工作环境指标包括：温度探测指标和湿度探测指标；响应于监测到所述存储设备的工作环境指标的指标值发生异常，按照指标值发生异常的工作环境指标对应的预设处理策略，对所存储数据的存储方式进行调整，具体包括：响应于监测到所述存储设备的温度探测指标的指标值达到预设温度阈值，按照针对温度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备；响应于监测到所述存储设备的湿度探测指标的指标值达到预设湿度阈值，按照针对湿度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备。

可选地，所述预设监控指标还包括：运行状态指标；所述方法还包括：响应于监测到所述存储设备的运行状态指标的指标值发生异常，指示所述存储设备的备份设备接替所述存储设备继续进行数据处理，并对产生的结果进行输出；

其中，所述备份设备用于在接替所述存储设备进行数据处理之前，与所述存储设备以相同的方式处理相同的数据，但对产生的结果不进行输出。

可选地，在监测到所述存储设备的运行状态指标的指标值发生异常之前，还包括：通过与所述备份设备之间建立的心跳链路向所述备份设备传输心跳数据包；其中，所述心跳数据包包括不同数据业务当前处理的数据包的编号；所述备份设备用于存储最近接收的预设数量的或者最近预设时间段内接收到的心跳数据包中包括的对应数据业务处理的数据包的编号，以及在接收到接替所述存储设备的指示之后，根据存储的数据包的编号，确定对应业务尚未处理的数据包，并从对应业务尚未处理的数据包对对应业务继续进行处理。

本发明的另一实施例提供一种大数据安全存储设备，包括：安全检测模块；所述安全检测模块包括：环境探测单元和处理单元；其中，所述环境探测单元，用于对所述存储设备的工作环境指标进行监测；以及响应于监测到所述存储设备的工作环境指标的指标值发生异常，将工作环境指标的异常情况通知所述处理单元；所述处理单元，用于按照指标值发生异常的工作环境指标对应的预设处理策略，对所存储数据的存储方式进行调整。

可选地，所述环境探测单元包括：振动传感器和强拆监控装置；所述处理单元，具体用于响应于通过所述振动传感器监测到所述存储设备的振动幅度指标的指标值达到预设振动幅度阈值，按照针对振动幅度指标设置的处理策略，将所存储数据中的预设数据销毁；以及响应于通过所述强拆监控装置监测到所述存储设备的强拆告警指标的指标值满足预设取值，按照针对强拆告警指标设置的处理策略，将所存储数据中的预设数据销毁。

可选地，所述环境探测单元包括：温度传感器和湿度传感器；所述处理单元，具体用于响应于通过所述温度传感器监测到所述存储设备的温度探测指标的指标值达到预设温度阈值，按照针对温度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备；以及响应于通过所述湿度传感器监测到所述存储设备的湿度探测指标的指标值达到预设湿度阈值，按照针对湿度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备。

可选地，所述安全检测模块还包括：运行状态监测单元；所述运行状态监测单元，用于对所述存储设备的运行状态进行监测；以及响应于监测到所述存储设备的运行状态指标的指标值发生异常，将运行状态异常情况通知所述处理单元；所述处理单元，还用于指示所述存储设备的备份设备接替所述存储设备继续进行数据处理，并对产生的结果进行输出；其中，所述备份设备用于在接替所述存储设备进行数据处理之前，与所述存储设备以相同的方式处理相同的数据，但对产生的结果不进行输出。

可选地，还包括：心跳传输单元；所述心跳传输单元，用于在所述运行状态监测单元监测到所述存储设备的运行状态指标的指标值发生异常之前，通过与所述备份设备之间建立的心跳链路向所述备份设备传输心跳数据包；其中，所述心跳数据包包括不同数据业务当前处理的数据包的编号；所述备份设备用于存储最近接收的预设数量的或者最近预设时间段内接收到的心跳数据包中包括的对应数据业务处理的数据包的编号，以及在接收到接替所述存储设备的指示之后，根据存储的数据包的编号，确定对应业务尚未处理的数据包，并从对应业务尚未处理的数据包对对应业务继续进行处理。

本发明提供的大数据安全存储方法和设备通过传感器对存储设备所处的工作环境进行探测，并在工作环境发生异常时进行相应的处理，避免了环境异常对所存储数据造成的破坏，实现了大数据的安全存储。

附图说明

图1为本发明一实施例提供的一种大数据安全存储方法流程示意图；

图2为本发明另一实施例提供的一种大数据安全存储方法流程示意图；

图3为本发明又一实施例提供的一种大数据安全存储方法流程示意图；

图4为本发明实施例提供的一种大数据安全存储设备的结构示意图；

图5为本发明实施例提供的一种大数据安全存储设备的安全检测模块的结构框图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一实施例提供了一种大数据安全存储方法，如图1所示，包括如下步骤：

s101、对表征存储设备存储安全的预设监控指标进行监测，其中，所述预设监控指标包括：工作环境指标；

s102、响应于监测到所述存储设备的工作环境指标的指标值发生异常，按照指标值发生异常的工作环境指标对应的预设处理策略，对所存储数据的存储方式进行调整。

本发明提供的大数据安全存储方法通过传感器对存储设备所处的工作环境进行探测，并在工作环境发生异常时进行相应的处理，避免了环境异常对所存储数据造成的破坏，实现了大数据的安全存储。

本发明的另一实施例提供了一种大数据安全存储方法，在本发明另一实施例中，工作环境指标可以包括：振动幅度指标、强拆告警指标、温度探测指标和湿度探测指标。如图2所示，包括如下步骤：

s201、对表征存储设备存储安全的预设监控指标进行监测，其中，预设监控指标包括：工作环境指标；工作环境指标包括：振动幅度指标、强拆告警指标、温度探测指标和湿度探测指标。

s202、判断是否监测到的任一工作环境控指标发生异常；如果监测到振动幅度指标发生异常，则进入步骤s203；如果监测到强拆告警指标发生异常，则进入步骤s204；如果监测到温度探测指标发生异常，则进入步骤s205；如果监测到湿度探测指标发生异常，则进入步骤s206；如果没有监测到预设监控指标发生异常，则进入步骤s201。

s203、按照针对振动幅度指标设置的处理策略，将所存储数据中的预设数据销毁。进入步骤s201。

本步骤中，响应于监测到存储设备的振动幅度指标的指标值达到预设振动幅度阈值，按照针对振动幅度指标设置的处理策略，将所存储数据中的预设数据销毁。针对振动幅度指标设置的处理策略可以包括当监测到存储设备的振动幅度指标的指标值达到预设振动幅度阈值时，将所存储数据中的预设数据销毁。此处销毁可以为任何使预设数据无法被读取的技术手段，例如：将预设数据删除、将磁盘中对应存储预设数据的磁道损毁使得预设数据无法被读取等。

在本发明中，可通过设置在存储设备上的振动传感器来对存储设备的振动情况进行监测，振动传感器具有全向检测的特点，能够检测来自各个方向的振动，如果振动传感器监测到存储设备的振动幅度达到预设振动幅度，则存储设备对所存储数据的预设数据进行销毁，以免泄露数据。预设振动幅度值可以是根据具体情况来进行设置的值，也可以是振动传感器自身定义的值，本发明对此没有特别限制。

预设数据可以是自定义的重要数据，可预先在存储设备中做标记处理，一旦监测到振动幅度超过预设震动幅度，则自动对这些重要的数据进行销毁，防止重要数据泄露，避免带来不必要的损失。

s204、按照针对强拆告警指标设置的处理策略，将所存储数据中的预设数据销毁。进入步骤s201。

本步骤中，响应于监测到存储设备的强拆告警指标的指标值满足预设取值，按照针对强拆告警指标设置的处理策略，将所存储数据中的预设数据销毁。针对强拆告警指标设置的处理策略可以包括当监测到存储设备的强拆告警指标的指标值满足预设取值时，将所存储数据中的预设数据销毁。此处销毁可以为任何使预设数据无法被读取的技术手段，例如：将预设数据删除、将磁盘中对应存储预设数据的磁道损毁使得预设数据无法被读取等。

在本发明中，可通过强拆监控装置来对存储设备的强拆情况进行监测，强拆监控装置可以位于存储设备的壳体，当壳体关闭时触发强拆监控装置来对存储设备的拆开情况进行实时监测，如果监测到存储设备的壳体被强行拆开，此时，强拆监控装置可以发送告警信号，使得表征存储设备被强拆的强拆告警指标的指标值满足预设取值，此时，存储设备则对所存储数据的预设数据进行销毁，以免泄露数据。强拆告警指标的指标值的预设取值可为根据具体情况来进行设置，也可为强拆监控装置自身定义的值，本发明对此没有特别限制。

预设数据可以是自定义的重要数据，可预先在存储设备中做标记处理，一旦监测到存储设备被强行拆开，则自动对这些重要的数据进行销毁，防止重要数据泄露，避免带来不必要的损失。

s205、按照针对温度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备。进入步骤s201。

本步骤中，响应于监测到存储设备的温度探测指标的指标值达到预设温度阈值，按照针对温度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备。针对温度探测指标设置的处理策略可以包括当监测到存储设备的温度探测指标的指标值达到预设振动幅度阈值时，将所存储数据中的预设数据销毁。

在本发明中，可利用温度传感器对存储设备的温度进行实时监测，一旦监测到存储设备的温度达到预设温度阈值，则将所存储数据中的预设数据传输到预设备份设备进行存储。本发明的预设温度阈值可根据存储设备本身适于工作的正常温度范围来进行确定，本发明对此没有特别限制，例如，可将预设温度阈值设置为上限为85°，下限为10°，因为，存储设备在超过85°的情况可能会出现烧坏情况，低于在10°的情况下可能无法正常工作，影响数据的正常存储，导致数据无法读取等。

此处的预设数据可以为自定义的重要数据，可预先在存储设备中做标记处理，一旦监测到存储设备的温度达到预设温度阈值，则自动将这些重要的数据传输给预设备份设备，防止重要数据被破坏，避免带来不必要的损失。

s206、按照针对湿度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备。进入步骤s201。

本步骤中，响应于监测到存储设备的湿度探测指标的指标值达到预设湿度阈值，按照针对湿度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备。

在本发明中，可利用湿度传感器对存储设备的湿度进行实时监测，一旦监测到存储设备的湿度达到预设湿度阈值，则将所存储数据中的预设数据传输到预设备份设备进行存储。本发明的预设湿度阈值可根据存储设备本身适于工作的正常湿度范围来进行确定，本发明对此没有特变限制，例如，可将预设湿度阈值设置为上限为相对湿度80％，下限为相对湿度20％，因为存储设备在大于相对湿度为80％或者低于相对湿度为20％的情况可能会无法正常工作，影响数据的正常存储，导致数据无法读取等。

此处的预设数据可以为自定义的重要数据，可预先在存储设备中做标记处理，一旦监测到存储设备的湿度达到预设湿度阈值，则自动将这些重要的数据传输给预设备份设备，防止重要数据被烧毁，避免带来不必要的损失。

在本实施例中，预设备份设备可以是与存储设备具有相同功能的设备，只是所处的环境温度或湿度适合数据的正常存储。

本发明的又一实施例提供了一种大数据安全存储方法，在本实施例的又一示例中，预设监控指标可包括表征存储设备的运行状况是否良好的运行状态指标。如图3所示，所述方法具体包括：

s301、对运行状态指标进行监测。

s302、判断是否监测到存储设备的运行状态指标的指标值发生异常；如果发生异常，则进入步骤s303，否则进入步骤s301；

s303、指示存储设备的备份设备接替存储设备继续进行数据处理，并对产生的结果进行输出。

本步骤中，响应于监测到存储设备的运行状态指标的指标值发生异常，指示存储设备的备份设备接替所述存储设备继续进行数据处理，并对产生的结果进行输出。

进一步地，在监测到存储设备的运行状态指标的指标值发生异常之前，存储设备通过与备份设备之间建立的心跳链路向备份设备传输心跳数据包。具体地，备份设备与存储设备可以通过串口或者网络建立心跳链路，通过心跳链路发送心跳信号告知对方自身的运行状况。备份设备与存储设备具有相同的功能处理相同的数据，区别在于，在备用设备接替存储设备进行数据处理之前，与存储设备以相同的方式处理相同的数据，但对产生的结果不进行输出。

进一步地，心跳数据包中可以包括不同数据业务当前处理的数据包的编号，即该编号可以作为心跳参数之一随心跳数据进行传输。也就是说，存储设备可以针对每个业务，为处理的该业务的数据包进行编号，并在向备份设备发送心跳数据包时将当前所处理业务对应的数据包编号发送给备份设备，备份设备可通过消息队列的方式来缓存通过心跳链路传输的最近接收的预设数量的或者最近预设时间段内接收到的心跳数据包中包括的对应数据业务处理的数据包的编号，以便在监测到存储设备的运行状态指标的指标值发生异常，并接收到接替存储设备的指示之后，备份设备根据存储的数据包的编号，确定对应业务尚未处理的数据包，并从对应业务尚未处理的数据包对对应业务继续进行处理。由于对数据包进行了编号，从而可以避免由于存储设备在还可能有没来得及处理的数据就发生了故障的情况所导致的数据丢失，从而保证了数据的正常存储和传输。

进一步地，备份设备也可以采用本发明另一实施例提供的一种大数据安全存储方法对备份设备的工作环境指标进行监控以及监控到工作环境指标异常时进行相应的处理。

基于同一发明构思，本发明实施例还提供了一种大数据安全存储设备，由于该设备所解决问题的原理与前述大数据安全存储方法相似，因此该设备的实施可以参见前述方法的实施，重复之处不再赘述。

本发明的实施例提供的一种大数据安全存储设备包括设置在存储设备中的安全检测模块，安全检测模块可通过预置的通信接口与存储设备进行通信。

具体实施时，如图4所示，安全检测模块可包括环境探测单元401和处理单元402。其中，环境探测单元401用于对存储设备的工作环境指标进行监测；以及响应于监测到存储设备的工作环境指标的指标值发生异常，将工作环境指标的异常情况通知处理单元402；

所述处理单元402用于按照指标值发生异常的工作环境指标对应的预设处理策略，对所存储数据的存储方式进行调整。

进一步地，如图5所示，环境探测单元401可包括振动传感器4010、强拆监控装置4011；

处理单元402具体用于：响应于通过振动传感器4010监测到存储设备的振动幅度指标的指标值达到预设振动幅度阈值，按照针对振动幅度指标设置的处理策略，将所存储数据中的预设数据销毁；

响应于通过强拆监控装置4011监测到存储设备的强拆告警指标的指标值满足预设取值，按照针对强拆告警指标设置的处理策略，将所存储数据中的预设数据销毁；

进一步地，如图5所示，环境探测单元401可包括温度传感器4012、湿度传感器4013；

处理单元402，具体用于响应于通过温度传感器4012监测到存储设备的温度探测指标的指标值达到预设温度阈值，按照针对温度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备；

响应于通过湿度传感器4013监测到存储设备的湿度探测指标的指标值达到预设湿度阈值，按照针对湿度探测指标设置的处理策略，将所存储数据中的预设数据传输到预设备份设备。

此外，如图4所示，安全检测模块还包括运行状态监测单元403和心跳传输单元404；

其中，运行状态监测单元403用于对存储设备的运行状态进行监测；以及响应于监测到存储设备的运行状态指标的指标值发生异常，将运行状态异常情况通知处理单元402；

处理单元402，还用于指示存储设备的备份设备接替存储设备继续进行数据处理，并对产生的结果进行输出；其中，备份设备用于在接替存储设备进行数据处理之前，与存储设备以相同的方式处理相同的数据，但对产生的结果不进行输出。

安全检测模块还包括心跳传输单元404；

心跳传输单元404用于在运行状态监测单元监测到存储设备的运行状态指标的指标值发生异常之前，通过与备份设备之间建立的心跳链路向备份设备传输心跳数据包；

其中，心跳数据包包括不同数据业务当前处理的数据包的编号；

备份设备用于存储最近接收的预设数量的或者最近预设时间段内接收到的心跳数据包中包括的对应数据业务处理的数据包的编号，以及在接收到接替存储设备的指示之后，根据存储的数据包的编号，确定对应业务尚未处理的数据包，并从对应业务尚未处理的数据包对对应业务继续进行处理。

上述各单元的功能可对应于图1至图3所示流程中的相应处理步骤，在此不再赘述。

需要注意的是，本发明中的大数据为现有技术中对大数据的通用定义。

综上，本发明提供的大数据安全存储方法和设备通过双机备份机制避免了设备运行中由于自身故障引起的服务中断，并且对于外界的破坏也通过传感器进行探测，并进行相应的处理，从多个方面实现了大数据的安全存储。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。