一种基于大数据的电子数据处理方法与流程

文档序号:15829012发布日期:2018-11-03 00:15阅读:195来源:国知局

本发明涉及电信号数据处理领域,更具体而言,涉及一种基于大数据的电子数据处理方法。

背景技术

随着计算机和网络等技术的快速发展,现代社会进入了信息化时代,而信息化时代的显著特点便是数据的爆发式增长。特别地,大数据、互联网+、云计算、物联网、人工智能、数据挖掘、气候变化仿真等一系列风口的飞速演进,导致数据量急速扩张;这在带给社会和用户便利,改善用户体验,更智能、准确地提前获取信息的同时,也带来了诸多挑战。因为数据变得越来越庞大和复杂,并且信息的获取方式更加便捷,加上网络安全一定程度上存在漏洞,使得大数据的安全性备受关注。对于企业来说,待管理的数据日益庞大,使得信息存储、安全保障以及运营维护等技术的成本不断攀升,对效率、经济等方面提出了挑战。此外,随着海量数据的不断积聚和暴露在更加复杂的信息环境中,一旦遇到突发事件,例如自然原因,诸如地震、火灾、暴雨、洪灾;以及其他原因,诸如掉电、电力供应不稳定、人为破坏、攻击等,用户将陷入核心数据丢失或泄露,将导致不安全并造成严重的经济损失。因此,在大数据背景下,对电子数据进行安全稳定地处理显得至关重要。另外,有时候,当存在多个用户端设备时,一些用户端设备会产生不重要或者无用或者重要性程度不高的数据,而由于这些数据占用大量处理器和存储资源,导致整体的电子数据处理效率低下,还造成了电力的低效消耗;因此还有必要进行合理的资源调度和分配。此外,大数据信息处理中心本身必须稳定,因此需要对其电源进行有效和稳定地供应,并且在大数据信息处理中心发生突发事件和异常时,能够及时地延缓数据的备份,并及时进行再分配和再存储。



技术实现要素:

本发明的目的之一是提供一种基于大数据的电子数据处理方法,该方法能够优化处理器和存储资源的占用,提高电子数据处理效率,降低电力消耗,合理地进行资源调度和分配,并且保证可读存储介质的稳定存储,大数据信息处理中心本身也稳定,能够有效和稳定地供应电力,在大数据信息处理中心发生突发事件和异常时能够及时地延缓数据的备份,并及时进行再分配和再存储。

本发明为解决上述技术问题而采取的技术方案为:一种基于大数据的电子数据处理方法,包括:大数据信息处理中心获取多个用户端设备的状态,大数据信息处理中心确定多个用户端设备的优先级,大数据信息处理中心根据多个用户端设备的优先级进行数据的存储备份,在多个用户端设备需要时,大数据信息处理中心对多个用户端设备进行数据的恢复。

根据本发明的另一个方面,方法进一步包括以下步骤:在步骤s1中,大数据信息处理中心通过其内部的通信接口、经由链路尝试与m个用户端设备进行通信,以确认大数据信息处理中心与m个用户端设备之间是否可进行信息通信;其中m是大于等于2的正整数;在步骤s2中,当大数据信息处理中心与m个用户端设备可以进行信息通信时,大数据信息处理中心获取m个用户端设备的风险值以及m个用户端设备对应的重要程度,并进行计算以获得m个用户端设备的评价系数,并根据该评价系数确定m个用户端设备的优先级,并对m个用户端设备进行第一排序;当排序靠前的评价系数高于预设极值时,判定对应用户端设备所处的风险系数位于危急状态,为防止错误判定并防止资源占用和用户端设备的数据损毁,重新获取该用户端设备的风险值以及该用户端设备对应的重要程度并计算获得该用户端设备的评价系数,如果依旧危急则直接进入步骤s8;否则进行到步骤s4;在步骤s3中,当大数据信息处理中心与m个用户端设备中的n个不可以进行信息通信时,尝试排除不可通信的故障,直到符合预设条件;当只有一个用户端设备可以进行信息通信时,获取可进行通信的该用户端设备的风险值以及该用户端设备对应的重要程度,并进行计算以获得该用户端设备的评价系数,然后直接进入步骤s5;而当有多个用户端设备可以进行信息通信时,获取可进行通信的多个用户端设备的风险值以及该多个用户端设备对应的重要程度,并进行计算以获得该多个用户端设备的评价系数,并根据该评价系数确定该多个用户端设备的优先级,并对该多个用户端设备进行第二排序;并继续进行到步骤s4;其中n是小于等于m的正整数;其中风险值是指容易造成数据损毁的指数,而重要程度是指用户端设备数据对于大数据信息处理中心进行记录的必要指数,而评价系数是根据用户端设备的风险值与该用户端设备对应的重要程度的加权和;其中所述预设条件为:先逐个排除不可通信的单个用户端设备的故障,直到单个用户端设备的尝试排除失败次数达到预设次数,当逐个对不可通信的用户端设备进行排除之后存在至少一个可通信的用户端设备时,停止尝试排除不可通信的故障,而进入后续步骤,而如果尝试排除不可通信的故障失败,则停止尝试排除不可通信的故障,进而退出并结束;在步骤s4中,大数据信息处理中心根据用户端设备的评价系数,调用其中的比较模块和评价系数查找表,并获取评价系数查找表中的阈值;在步骤s5中,当评价系数中的一个或多个大于阈值时,继续进行到步骤s7;在步骤s6中,当评价系数全部小于阈值时,大数据信息处理中心等待m个用户端设备的备份请求的触发;当m个用户端设备中的一个或多个启动备份请求的触发时,继续进行到步骤s7;在步骤s7中,判断步骤s5中评价系数大于阈值的用户端设备的个数,或者判断步骤s6中启动备份请求的触发的用户端设备的个数;当个数为1时,大数据信息处理中心的处理器将可用的可读存储介质作为该用户端设备信息的对应备份资源;而当个数为多个时,判断大数据信息处理中心的信息处理能力是否满足需要备份的用户端设备的需要;在步骤s8中,当个数为多个且满足需要备份的用户端设备的需要时,根据评价系数从高到低的排序,大数据信息处理中心的处理器将可用的可读存储介质作为该用户端设备信息的对应备份资源;当个数为多个且不满足需要备份的用户端设备的需要时,大数据信息处理中心的处理器根据评价系数从高到低的排序,根据备份资源所能提供的最大备份能力,选择排序靠前的用户端设备,将可用的可读存储介质作为该用户端设备信息的对应备份资源,对于剩余的用户端设备的数据,进入延迟电路和暂存器进行存储;并在存在可用的可读存储介质时,将延迟处理的暂存数据依序存入可读存储介质;以及在步骤s9中,在多个用户端设备需要时,大数据信息处理中心对多个用户端设备进行数据的恢复:调用存储在可读存储介质中的备份数据的路径,根据备份数据创建对应数据的恢复文档,将存储在可读存储介质中备份数据写入创建的恢复文档中;将备份数据复原为符号序列;将符号序列进行解析和拼接,将处理后的数据批量缓冲到暂存模块中,并且确定大数据信息处理中心可与对应的用户端设备进行信息通信后,经由数据信息处理中心的通信接口将处理后的缓冲到暂存模块中的数据发送给多个用户端设备进行数据的恢复。

根据本发明的另一个方面,该方法中的大数据信息处理中心包括电源模块、多个可读存储介质。其中该电源包括多个子电源,每个子电源各自连接到对应的可读存储介质,子电源与可读存储介质的数量相同,其中每个子电源包括以下结构:第一功率晶体管,其源极连接电源vcc,其栅极连接放大模块的输出,其漏极连接各个子电源对应的可读存储介质的电源输入端;该放大模块的正输入端连接参考模块的输出,该放大模块的负输入端连接电阻r11的第一端和电阻r12的第一端;电阻r11的第二端连接第一功率晶体管的漏极以及电容c11的第一端;电容c11的第二端连接电阻r13的第一端;电阻r13的第二端与电阻r12的第二端都接地;在该参考模块的结构中,晶体管q11、晶体管q12、晶体管q13的源极都连接到电源vcc,而三者的栅极都连接在一起,晶体管q11的漏极连接晶体管q14的源极,晶体管q12的漏极连接晶体管q15的源极,晶体管q16的漏极连接晶体管q16的源极,晶体管q14、晶体管q15、晶体管q16的栅极都连接到第一功率放大器的输出端,晶体管q14的漏极连接到电阻r14的第一端和第一功率放大器的负输入端,晶体管q15的漏极连接到晶体管q18的发射极、电阻r15的第一端和第一功率放大器的正输入端,电阻r14的第二端连接到晶体管q17的发射极,晶体管q17和晶体管q18两者的基极和集电极都连接到地。晶体管q16的漏极连接到电阻r15的第二端、第二功率放大器的正输入端,第二功率放大器的负输入端连接到第二功率放大器的输出端并作为参考模块的输出而连接放大模块的正输入端。通过以上结构,使得大数据信息处理中心本身也稳定,能够有效和稳定地供应电力。

根据本发明的另一个方面,晶体管q11-q16均为pmosfet,而晶体管q17-18均为pnp晶体管。该第一功率放大器与第二功率放大器型号相同

根据本发明的另一个方面,步骤s8中的延迟电路的具体结构为:晶体管q21、晶体管q24、晶体管q26、晶体管q28各自的源极以及电容c21的第一端连接到电源供应电压;晶体管q23、晶体管q25、晶体管q27晶体管q29各自的源极连接到数字地电压;晶体管q21的栅极与晶体管q22的栅极以及输入的剩余的用户设备的数据相连,晶体管q21的漏极与晶体管q22的漏极、电容c21的第二端、电容c22的第一端、晶体管q24的栅极、晶体管q25的栅极相连,晶体管q22的源极与晶体管q23的漏极连接;晶体管q23的栅极连接偏压,其中当接收到处理器发出的剩余的用户设备的数据输入的命令时,该偏压被触发为高电平,当剩余的用户设备的数据全部通过该延迟电路之后,该偏压被触发为低电平;晶体管q24的漏极和晶体管q25的漏极、晶体管q26的栅极、晶体管q27的栅极连接,晶体管q26的漏极与晶体管q27的漏极、电容c22的第二端、晶体管q28的栅极、晶体管q29的栅极连接,晶体管q28的漏极与晶体管q29的漏极连接并作为该延迟电路的输出,进而输入到暂存器中。

根据本发明的另一个方面,晶体管q21、q24、q26q28均为pmosfet,而晶体管q22、q23、q25、q27、q29均为nmosfet。晶体管q22、q23、q25、q27、q29特征参数相同。

根据本发明的另一个方面,当可读存储介质中的一个发生异常时,其对应的检测电路向处理器发送异常中断信号的同时将传输的数据切入到延迟器,并经延迟器输出之后进入到备用计算机可读存储介质,处理器记录数据的备用存储位置、断点时间,并在该用户端设备的数据备份完毕之后进行断点数据的补充以及前后两个可读存储介质的信息记录。

根据本发明的另一个方面,还公开一种基于大数据的电子数据处理装置,该装置执行以上任一项所述的方法。

附图说明

在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例,其中相同的附图标记表示相同的元件,其中:

图1图示了基于大数据的电子数据处理方法流程简图。

具体实施方式

在下面的描述中,参考附图并以图示的方式示出几个具体的实施例。将理解的是:可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此,以下详细描述不应被认为具有限制意义。

根据本发明的实施例,一种基于大数据的电子数据处理方法包括:大数据信息处理中心获取多个用户端设备的状态,大数据信息处理中心确定多个用户端设备的优先级,大数据信息处理中心根据多个用户端设备的优先级进行数据的存储备份,在多个用户端设备需要时,大数据信息处理中心对多个用户端设备进行数据的恢复。

具体而言,根据本发明的实施例,图1图示了基于大数据的电子数据处理方法流程简图,包括以下步骤:

在步骤s1中,大数据信息处理中心通过其内部的通信接口、经由链路尝试与m个用户端设备进行通信,以确认大数据信息处理中心与m个用户端设备之间是否可进行信息通信;其中m是大于等于2的正整数;

在步骤s2中,当大数据信息处理中心与m个用户端设备可以进行信息通信时,大数据信息处理中心获取m个用户端设备的风险值以及m个用户端设备对应的重要程度,并进行计算以获得m个用户端设备的评价系数,并根据该评价系数确定m个用户端设备的优先级,并对m个用户端设备进行第一排序;当排序靠前的评价系数高于预设极值时,判定对应用户端设备所处的风险系数位于危急状态,为防止错误判定并防止资源占用和用户端设备的数据损毁,重新获取该用户端设备的风险值以及该用户端设备对应的重要程度并计算获得该用户端设备的评价系数,如果依旧危急则直接进入步骤s8;否则进行到步骤s4;

在步骤s3中,当大数据信息处理中心与m个用户端设备中的n个不可以进行信息通信时,尝试排除不可通信的故障,直到符合预设条件;当只有一个用户端设备可以进行信息通信时,获取可进行通信的该用户端设备的风险值以及该用户端设备对应的重要程度,并进行计算以获得该用户端设备的评价系数,然后直接进入步骤s5;而当有多个用户端设备可以进行信息通信时,获取可进行通信的多个用户端设备的风险值以及该多个用户端设备对应的重要程度,并进行计算以获得该多个用户端设备的评价系数,并根据该评价系数确定该多个用户端设备的优先级,并对该多个用户端设备进行第二排序;并继续进行到步骤s4;其中n是小于等于m的正整数;其中风险值是指容易造成数据损毁的指数,而重要程度是指用户端设备数据对于大数据信息处理中心进行记录的必要指数,而评价系数是根据用户端设备的风险值与该用户端设备对应的重要程度的加权和;其中所述预设条件为:先逐个排除不可通信的单个用户端设备的故障,直到单个用户端设备的尝试排除失败次数达到预设次数,当逐个对不可通信的用户端设备进行排除之后存在至少一个可通信的用户端设备时,停止尝试排除不可通信的故障,而进入后续步骤,而如果尝试排除不可通信的故障失败,则停止尝试排除不可通信的故障,进而退出并结束;

在步骤s4中,大数据信息处理中心根据用户端设备的评价系数,调用其中的比较模块和评价系数查找表,并获取评价系数查找表中的阈值;

在步骤s5中,当评价系数中的一个或多个大于阈值时,继续进行到步骤s7;

在步骤s6中,当评价系数全部小于阈值时,大数据信息处理中心等待m个用户端设备的备份请求的触发;当m个用户端设备中的一个或多个启动备份请求的触发时,继续进行到步骤s7;

在步骤s7中,判断步骤s5中评价系数大于阈值的用户端设备的个数,或者判断步骤s6中启动备份请求的触发的用户端设备的个数;当个数为1时,大数据信息处理中心的处理器将可用的可读存储介质作为该用户端设备信息的对应备份资源;而当个数为多个时,判断大数据信息处理中心的信息处理能力是否满足需要备份的用户端设备的需要;

在步骤s8中,当个数为多个且满足需要备份的用户端设备的需要时,根据评价系数从高到低的排序,大数据信息处理中心的处理器将可用的可读存储介质作为该用户端设备信息的对应备份资源;当个数为多个且不满足需要备份的用户端设备的需要时,大数据信息处理中心的处理器根据评价系数从高到低的排序,根据备份资源所能提供的最大备份能力,选择排序靠前的用户端设备,将可用的可读存储介质作为该用户端设备信息的对应备份资源,对于剩余的用户端设备的数据,进入延迟电路和暂存器进行存储;并在存在可用的可读存储介质时,将延迟处理的暂存数据依序存入可读存储介质;以及

在步骤s9中,在多个用户端设备需要时,大数据信息处理中心对多个用户端设备进行数据的恢复:调用存储在可读存储介质中的备份数据的路径,根据备份数据创建对应数据的恢复文档,将存储在可读存储介质中备份数据写入创建的恢复文档中;将备份数据复原为符号序列;将符号序列进行解析和拼接,将处理后的数据批量缓冲到暂存模块中,并且确定大数据信息处理中心可与对应的用户端设备进行信息通信后,经由数据信息处理中心的通信接口将处理后的缓冲到暂存模块中的数据发送给多个用户端设备进行数据的恢复。

通过以上步骤,能够优化处理器和存储资源的占用,提高电子数据处理效率,降低电力消耗,合理地进行资源调度和分配。

优选地,为了使得大数据信息处理中心本身也稳定,能够有效和稳定地供应电力,在大数据信息处理中心发生突发事件和异常时能够及时地延缓数据的备份,并且保证可读存储介质的稳定存储,该方法中的大数据信息处理中心包括电源模块、多个可读存储介质。其中该电源包括多个子电源,每个子电源各自连接到对应的可读存储介质,子电源与可读存储介质的数量相同,其中每个子电源包括以下结构:第一功率晶体管,其源极连接电源vcc,其栅极连接放大模块的输出,其漏极连接各个子电源对应的可读存储介质的电源输入端;该放大模块的正输入端连接参考模块的输出,该放大模块的负输入端连接电阻r11的第一端和电阻r12的第一端;电阻r11的第二端连接第一功率晶体管的漏极以及电容c11的第一端;电容c11的第二端连接电阻r13的第一端;电阻r13的第二端与电阻r12的第二端都接地;在该参考模块的结构中,晶体管q11、晶体管q12、晶体管q13的源极都连接到电源vcc,而三者的栅极都连接在一起,晶体管q11的漏极连接晶体管q14的源极,晶体管q12的漏极连接晶体管q15的源极,晶体管q16的漏极连接晶体管q16的源极,晶体管q14、晶体管q15、晶体管q16的栅极都连接到第一功率放大器的输出端,晶体管q14的漏极连接到电阻r14的第一端和第一功率放大器的负输入端,晶体管q15的漏极连接到晶体管q18的发射极、电阻r15的第一端和第一功率放大器的正输入端,电阻r14的第二端连接到晶体管q17的发射极,晶体管q17和晶体管q18两者的基极和集电极都连接到地。晶体管q16的漏极连接到电阻r15的第二端、第二功率放大器的正输入端,第二功率放大器的负输入端连接到第二功率放大器的输出端并作为参考模块的输出而连接放大模块的正输入端。通过以上结构,使得大数据信息处理中心本身也稳定,能够有效和稳定地供应电力。

优选地,晶体管q11-q16均为pmosfet,而晶体管q17-18均为pnp晶体管。

优选地,该第一功率放大器与第二功率放大器型号相同。

优选地,步骤s8中的延迟电路的具体结构为:晶体管q21、晶体管q24、晶体管q26、晶体管q28各自的源极以及电容c21的第一端连接到电源供应电压;晶体管q23、晶体管q25、晶体管q27晶体管q29各自的源极连接到数字地电压;晶体管q21的栅极与晶体管q22的栅极以及输入的剩余的用户设备的数据相连,晶体管q21的漏极与晶体管q22的漏极、电容c21的第二端、电容c22的第一端、晶体管q24的栅极、晶体管q25的栅极相连,晶体管q22的源极与晶体管q23的漏极连接;晶体管q23的栅极连接偏压,其中当接收到处理器发出的剩余的用户设备的数据输入的命令时,该偏压被触发为高电平,当剩余的用户设备的数据全部通过该延迟电路之后,该偏压被触发为低电平;晶体管q24的漏极和晶体管q25的漏极、晶体管q26的栅极、晶体管q27的栅极连接,晶体管q26的漏极与晶体管q27的漏极、电容c22的第二端、晶体管q28的栅极、晶体管q29的栅极连接,晶体管q28的漏极与晶体管q29的漏极连接并作为该延迟电路的输出,进而输入到暂存器中。

优选地,晶体管q21、q24、q26q28均为pmosfet,而晶体管q22、q23、q25、q27、q29均为nmosfet。

优选地,晶体管q22、q23、q25、q27、q29特征参数相同。

优选地,为了使得大数据信息处理中心发生突发事件和异常时能够及时进行再分配和再存储,以上方法进一步包括:当可读存储介质中的一个发生异常时,其对应的检测电路向处理器发送异常中断信号的同时将传输的数据切入到延迟器,并经延迟器输出之后进入到备用计算机可读存储介质,处理器记录数据的备用存储位置、断点时间,并在该用户端设备的数据备份完毕之后进行断点数据的补充以及前后两个可读存储介质的信息记录。

根据本发明的实施例,本发明还包括一种基于大数据的电子数据处理装置,该装置执行以上的各个方法,并且包括通信接口,处理器,多个可读存储介质,电源模块,比较模块,检测电路,延迟电路,延迟器,备用计算机可读存储介质,暂存器,暂存模块。

综上,在本发明的技术方案中,通过采用一种基于大数据的电子数据处理方法和装置,该方法包括:大数据信息处理中心获取多个用户端设备的状态,大数据信息处理中心确定多个用户端设备的优先级,大数据信息处理中心根据多个用户端设备的优先级进行数据的存储备份,在多个用户端设备需要时,大数据信息处理中心对多个用户端设备进行数据的恢复。进而能够优化处理器和存储资源的占用,提高电子数据处理效率,降低电力消耗,合理地进行资源调度和分配,并且保证可读存储介质的稳定存储,大数据信息处理中心本身也稳定,能够有效和稳定地供应电力,在大数据信息处理中心发生突发事件和异常时能够及时地延缓数据的备份,并及时进行再分配和再存储。

本文所述的节点可以是本领域技术人员所理解的一般意义上的数据节点。此外,该节点还可包括但不限于处理器、控制器、易失性和/或非易失性存储器等模块。

将理解的是:可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述,可存储任何执行这种方法的主体,以易失性或非易失性存储的形式,例如存储设备,像rom,无论可擦除或可重写与否,或者以存储器的形式,诸如例如ram、存储器芯片、设备或集成电路或在光或磁可读的介质上,诸如例如cd、dvd、磁盘或磁带。将理解的是:存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例,当被执行时,所述一个或多个程序实现本发明的示例。经由任何介质,诸如通过有线或无线连接载有的通信信号,可以电子地传递本发明的示例,并且示例适当地包含相同内容。

应当注意的是:因为本发明解决了优化处理器和存储资源的占用,提高电子数据处理效率,降低电力消耗,合理地进行资源调度和分配,并且保证可读存储介质的稳定存储,大数据信息处理中心本身也稳定,能够有效和稳定地供应电力,在大数据信息处理中心发生突发事件和异常时能够及时地延缓数据的备份,并及时进行再分配和再存储的技术问题,采用了信息技术领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段,并获得了优化处理器和存储资源的占用,提高电子数据处理效率,降低电力消耗,合理地进行资源调度和分配,并且保证可读存储介质的稳定存储,大数据信息处理中心本身也稳定,能够有效和稳定地供应电力,在大数据信息处理中心发生突发事件和异常时能够及时地延缓数据的备份,并及时进行再分配和再存储的有益技术效果,所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外,因为所附权利要求要求保护的技术方案可以在工业中制造或使用,因此该方案具备实用性。

以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应包涵在本发明的保护范围之内。除非以其他方式明确陈述,否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此,本发明的保护范围应该以权利要求书的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1