一种数据处理方法、装置、电子设备及存储介质与流程

文档序号:17005841发布日期:2019-03-02 02:01阅读:116来源:国知局
一种数据处理方法、装置、电子设备及存储介质与流程

本发明属于数据安全技术领域,具体涉及一种数据处理方法、装置、电子设备及存储介质。



背景技术:

随着大数据时代的到来,大数据平台面临着数据量大、高带宽、高并发的场景,使得待加密数据呈井喷式增长,由于传统的数据加密方式存在单节点性能低、可靠性差等诸多问题,导致在大数据面前显得捉襟见肘。其中,传统的数据加密方式,通过前置数据加密机方式,配置加密类型、加密模式、加密密钥,实现数据加解密操作,从而保证了数据安全。但针对分布式的大数据,传统加密方式的处理能力远远满足不了数据存储线性增长的增长。



技术实现要素:

鉴于此,本发明的目的在于提供一种数据处理方法、装置、电子设备及存储介质,以有效地改善上述问题。

本发明的实施例是这样实现的:

第一方面,本发明实施例提供了一种数据处理方法,应用于服务器集群中的仲裁服务器,所述服务器集群还包括与所述仲裁服务器通信的多个加密服务器,所述方法包括:在接收到待加密数据时,获取所述多个加密服务器中的每个加密服务器的处理能力;从所述多个加密服务器中选择处理能力最优的加密服务器作为目标加密服务器;将所述待加密数据发送给所述目标加密服务器,以使所述目标加密服务器对所述待加密数据进行加密。本申请实施中,通过服务器集群实现了数据加密处理能力的线性增长,从而解决了传统加密服务器处理能力弱的问题。进一步地,在接收到待加密数据时,通过获取各个加密服务器的处理能力,从而将待加密数据分配给处理能力最优的加密服务器,以实现对待加密数据的加密。

结合第一方面的一种可选的实施方式,在获取所述多个加密服务器中的每个加密服务器的工作状态的步骤之前,所述方法还包括:获取所述待加密数据中的数据大小、加密类型、加密模式以及加密秘钥,并根据所述数据大小、所述加密类型、所述加密模式以及所述加密秘钥计算出加密所述待加密数据时的工作量。

结合第一方面的又一种可选的实施方式,获取所述多个加密服务器中的每个加密服务器的处理能力,包括:向所述多个加密服务器中的每个加密服务器发送询问请求;接收所述多个加密服务器中的每个加密服务器基于所述询问请求返回的处理能力。

结合第一方面的又一种可选的实施方式,在将所述待加密数据发送给所述目标加密服务器的步骤之后,所述方法还包括:接收所述目标加密服务器返回的经加密的所述待加密数据。

第二方面,本发明实施例还提供了一种数据处理方法,应用于服务器集群中的加密服务器,所述服务器集群还包括与所述加密服务器通信的仲裁服务器,所述方法包括:接收所述仲裁服务器发送的待加密数据;获取所述待加密数据中的加密类型、加密模式以及加密秘钥,并基于所述加密类型、所述加密模式以及所述加密秘钥对所述待加密数据进行加密;向所述仲裁服务器发送经加密的所述待加密数据。

结合第二方面的一种可选的实施方式,在接收所述仲裁服务器发送的待加密数据的步骤之前,所述方法还包括:

在接收到所述仲裁服务器发送的询问请求时,获取表征当前处理能力的工作任务量,并向所述仲裁服务器反馈自身的处理能力。

第三方面,本发明实施例还提供了一种数据处理装置,应用于服务器集群中的仲裁服务器,所述服务器集群还包括与所述仲裁服务器通信的多个加密服务器,所述装置包括:获取模块、选择模块以及发送模块;获取模块,用于在接收到待加密数据时,获取所述多个加密服务器中的每个加密服务器的处理能力;选择模块,用于从所述多个加密服务器中选择处理能力最优的加密服务器作为目标加密服务器;发送模块,用于将所述待加密数据发送给所述目标加密服务器,以使所述目标加密服务器对所述待加密数据进行加密。

结合第三方面的一种可选的实施方式,所述获取模块,还用于获取所述待加密数据中的数据大小、加密类型、加密模式以及加密秘钥,并根据所述数据大小、所述加密类型、所述加密模式以及所述加密秘钥计算出加密所述待加密数据时的工作量。

结合第三方面的又一种可选的实施方式,所述获取模块,还用于向所述多个加密服务器中的每个加密服务器发送询问请求;接收所述多个加密服务器中的每个加密服务器基于所述询问请求返回的处理能力。

结合第三方面的又一种可选的实施方式,所述获取模块,还用于接收所述目标加密服务器返回的经加密的所述待加密数据。

第四方面,本发明实施例还提供了一种数据处理装置,应用于服务器集群中的加密服务器,所述服务器集群还包括与所述加密服务器通信的仲裁服务器,所述装置包括:接收模块、获取模块以及发送模块;接收模块,用于接收所述仲裁服务器发送的待加密数据;获取模块,用于获取所述待加密数据中的加密类型、加密模式以及加密秘钥,并基于所述加密类型、所述加密模式以及所述加密秘钥对所述待加密数据进行加密;发送模块,用于向所述仲裁服务器发送经加密的所述待加密数据。

结合第四方面的一种可选的实施方式,所述获取模块,还用于在接收到所述仲裁服务器发送的询问请求时,获取表征当前处理能力的工作任务量,并向所述仲裁服务器反馈自身的处理能力。

第五方面,本发明实施例还提供了一种电子设备,包括存储器和处理器,所述存储器和所述处理器耦合;所述存储器用于存储程序;所述处理器用于调用存储于所述存储器中的程序,以执行上述第一方面和/或结合第一方面的任一种可选的实施方式提供的方法或上述第二方面和/或结合第二方面的一种可选的实施方式提供的方法。

第六方面,本发明实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面和/或结合第一方面的任一种可选的实施方式提供的方法或上述第二方面和/或结合第二方面的一种可选的实施方式提供的方法。

本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本发明的主旨。

图1示出了本发明实施例提供的一种服务器集群的结构示意图。

图2示出了本发明实施例提供的一种电子设备的结构示意图。

图3示出了本发明实施例提供的一种数据处理方法的流程图。

图4示出了本发明实施例提供的一种数据处理方法的流程图。。

图5示出了本发明实施例提供的一种数据处理装置的模块示意图。

图6示出了本发明实施例提供的一种数据处理装置的模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。再者,本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。

请参阅图1,图1为本发明实施例提供的一种服务器集群的交互示意图。该服务器集群包括:仲裁服务器和多个加密服务器,所述多个加密服务器中的每个加密服务器均通过网络与仲裁服务器进行数据交互。本实施例中,加密服务器的数量为至少2个。

其中,在本发明实施例中,所述服务器110可以是,但不限于网络服务器、数据库服务器、云端服务器等。

如图2所示,图2示出了本发明实施例提供的一种电子设备100的结构框图。所述电子设备100包括:数据处理装置110、存储器120、存储控制器130和处理器140。其中,该电子设备可以是上述的仲裁服务器或加密服务器。

所述存储器120、存储控制器130、处理器140各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述数据处理装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子设备100的操作系统(operatingsystem,os)中的软件功能模块。所述处理器140用于执行存储器120中存储的可执行模块,例如所述数据处理装置110包括的软件功能模块或计算机程序。

其中,存储器120可以是,但不限于,随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。其中,存储器120用于存储程序,所述处理器140在接收到执行指令后,执行所述程序,后述本发明实施例任一实施例揭示的流程定义的电子设备100所执行的方法可以应用于处理器140中,或者由处理器140实现。

处理器140可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

第一实施例

请参阅图3,为本发明实施例提供的一种应用于上述仲裁服务器的数据处理方法,下面将结合图3对其所包含的步骤进行说明。

步骤s101:在接收到待加密数据时,获取所述多个加密服务器中的每个加密服务器的处理能力。

仲裁服务器在接收到待加密数据时,如接收到大数据平台发送的需要加密的数据时,会获取多个加密服务器中的每个加密服务器的处理能力,以便对该待加密数据进行分配。

可选地,仲裁服务器在接收到待加密数据时,先向多个加密服务器中的每个加密服务器发送询问请求,以便各个加密服务器基于该询问请求获取自身的表征当前处理能力的工作任务量,然后将各自的处理能力,也即当前的工作任务量发送给仲裁服务器。待仲裁服务器接收到所述多个加密服务器中的每个加密服务器基于所述询问请求返回的工作任务量时,也就获取到了各个加密服务器的处理能力。

步骤s102:从所述多个加密服务器中选择处理能力最优的加密服务器作为目标加密服务器。

仲裁服务器在获取到了各个加密服务器的处理能力后,从所述多个加密服务器中选择处理能力最优的加密服务器作为目标加密服务器。作为一种实施方式,从所述多个加密服务器中选择工作任务量最少的加密服务器作为目标加密服务器。

步骤s103:将所述待加密数据发送给所述目标加密服务器,以使所述目标加密服务器对所述待加密数据进行加密。

待选择出目标加密服务器后,仲裁服务器将待加密数据发送给该目标加密服务器,以便该目标加密服务器对所述待加密数据进行加密。

作为一种可选的实施方式,在接收到待加密数据时,该仲裁服务器会获取所述待加密数据中的数据大小、加密类型、加密模式以及加密秘钥,并根据所述数据大小、所述加密类型、所述加密模式以及所述加密秘钥计算出加密所述待加密数据时的工作量。然后在选择目标加密服务器时,会根据该工作量来选择有能力处理该待加密数据的加密服务器,然后再从有能力处理该待加密数据的加密服务器中选取处理能力最优的加密服务器作为目标服务器。例如,该处理该待加密数据的工作量为1000,假设有5台加密服务器,分别为a、b、c、d以及e,各自的总处理能力以及工作任务量分别为(1200,200)、(800,50)、(1500,150)、(1000,250)、(1500、100),则有能力处理该待加密数据的加密服务器为除b以外的4台加密服务器,然后再从4台(a、c、d以及e)中选择取处理能力最优的加密服务器(e)作为目标服务器。

其中,需要说明的,上述的示例所示出的具体数值仅仅是为了便于理解而举的例子而已,并不能将其理解成是对本发明的限制。

其中,需要说明的,仲裁服务器在根据所述数据大小、所述加密类型、所述加密模式以及所述加密秘钥计算出加密所述待加密数据时的工作量,是基于事先赋予的值来计算的,事先对不同的数据大小、加密类型、加密模式以及加密秘钥赋予不同的值,以便后期基于该值计算出加密所述待加密数据时的工作量,例如,计算公式为:worknum(工作量)=data(数据大小)*encrypttype(加密类型)*encryptmode9(加密模式)*encryptkey(加密秘钥)。

其中,data,根据数据大小赋值,例如,事先对不同数据大小如kb、mb、gb等赋予不同的值。

encrypttype,根据加密算法类型赋值,例如,事先对不同的加密类型如sm1、sm2、sm3、sm4、aes128、aes256等赋予不同的值。

encryptmode,根据加密算法模式赋值,例如,事先对不同的加密模式如cbc、ecb、cfb、ctr等赋予不同的值。

encryptkey,根据加密秘钥赋值,例如,事先对不同的加密秘钥如16位、32位等赋予不同的值。

最为一种可选的实施方式,在将所述待加密数据发送给所述目标加密服务器的步骤之后,所述方法还包括:接收所述目标加密服务器返回的经加密的所述待加密数据。即仲裁服务器在将待加密数据发送给目标加密服务器进行数据加密后,接收所述目标加密服务器返回的经加密的所述待加密数据,以便将加密后的待加密数据发送出去,如发送给大数据平台。

第二实施例

请参阅图4,为本发明实施例提供的一种应用于上述加密服务器的数据处理方法,下面将结合图4对其所包含的步骤进行说明。

步骤s201:接收所述仲裁服务器发送的待加密数据。

加密服务器接收由仲裁服务器发送的待加密数据。

步骤s202:获取所述待加密数据中的加密类型、加密模式以及加密秘钥,并基于所述加密类型、所述加密模式以及所述加密秘钥对所述待加密数据进行加密。

加密服务器在接收到待加密数据后,会获取待加密数据中的加密类型、加密模式以及加密秘钥,以便基于所述加密类型、所述加密模式以及所述加密秘钥对所述待加密数据进行加密。

其中,该加密服务器中部署中用于对数据进行加密的加密卡,其中,该加密卡的数量可以是至少一个,其可以是普通卡、高速卡、卫士通、三未信安等。

其中,加密类型可以是sm1、sm2、sm3、sm4、aes128、aes256等。

其中,加密模式可以是cbc、ecb、cfb、ctr等。

其中,加密秘钥可以是16位、24位、36位等的秘钥。

步骤s203:向所述仲裁服务器发送经加密的所述待加密数据。

待加密完成后,该加密服务器还向仲裁服务器发送经加密的所述待加密数据。

作为一种可选的实施方式,在接收所述仲裁服务器发送的待加密数据的步骤之前,所述方法还包括:在接收到所述仲裁服务器发送的询问请求时,获取表征当前处理能力的工作任务量,并向所述仲裁服务器反馈自身的处理能力。加密服务器在接收仲裁服务器发送的待加密数据的之前,会先接收到由该仲裁服务器发送的用于询问其处理能力的询问请求,加密服务器在接收到该请求后,会获取表征当前处理能力的工作任务量,并向所述仲裁服务器反馈自身的处理能力。

其中,加密服务器在获取表征当前处理能力的工作任务量时,会读取目前的工作状态及工作量从而计算自身的处理能力,例如,根据下列公司:totalworknum=encryptcard*encryptcardnum*memory。

其中,encryptcard,分为普通卡、高速卡、卫士通、三未信安等,不同的卡会事先赋予不同的值。

encryptcardnum,指加密卡数量,不同数量的加密卡其赋予的值不同。

memory,表示内存大小,不同的大小赋予的值不同,如以128mb为单位置1,256mb为2,以此类推。

第三实施例

本申请实施例还提供了一种应用于上述仲裁服务器的数据处理装置110,如图5所示。该数据处理装置110包括:获取模块111、选择模块112以及发送模块113。

获取模块111,用于在接收到待加密数据时,获取所述多个加密服务器中的每个加密服务器的处理能力。

选择模块112,用于从所述多个加密服务器中选择处理能力最优的加密服务器作为目标加密服务器。可选地,所述获取模块112,还用于获取所述待加密数据中的数据大小、加密类型、加密模式以及加密秘钥,并根据所述数据大小、所述加密类型、所述加密模式以及所述加密秘钥计算出加密所述待加密数据时的工作量。可选地,所述获取模块112,还用于向所述多个加密服务器中的每个加密服务器发送询问请求;接收所述多个加密服务器中的每个加密服务器基于所述询问请求返回的处理能力。可选地,所述获取模块112,还用于接收所述目标加密服务器返回的经加密的所述待加密数据。

发送模块113,用于将所述待加密数据发送给所述目标加密服务器,以使所述目标加密服务器对所述待加密数据进行加密。

第四实施例

本申请实施例还提供了一种应用于上述加密服务器的数据处理装置110,如图6所示。该数据处理装置110包括:接收模块111、获取模块112以及发送模块113。

接收模块111,用于接收所述仲裁服务器发送的待加密数据。

获取模块112,用于获取所述待加密数据中的加密类型、加密模式以及加密秘钥,并基于所述加密类型、所述加密模式以及所述加密秘钥对所述待加密数据进行加密。可选地,所述获取模块112,还用于在接收到所述仲裁服务器发送的询问请求时,获取表征当前处理能力的工作任务量,并向所述仲裁服务器反馈自身的处理能力。

发送模块113,用于向所述仲裁服务器发送经加密的所述待加密数据。

第五实施例

本发明实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一实施例提供的方法或上述第二实施例提供的方法。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

本发明实施例所提供的数据处理装置110,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,笔记本电脑,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1