一种数据处理系统和方法与流程

本发明涉及数据处理技术领域，尤其涉及一种数据处理系统和方法。

背景技术：

在互联网的大规模数据处理中，数据的压缩、解压缩、备份是非常重要且常用的手段，当前数据处理系统处理数据压缩、解压缩、备份一般通过软件算法进行处理，一般的流程为：1)应用软件下达指令；2)cpu(centralprocessingunit，中央处理器)响应该指令，去存储器中指定的地方(如flash、硬盘(harddisk)等)获取数据；3)cpu进行压缩、解压缩、或备份处理；4)将处理结果储存到目标地址。

这种传统的数据处理系统采用软件算法利用cpu对数据进行处理，且cpu搬移数据采单突发(singleburst)形式，传统的数据处理系统具有以下缺点：1)消耗大量的cpu及总线(bus)的资源；2)消耗大量的cpu及总线的资源必将消耗更多的电量；3)消耗大量的cpu及总线的资源必将消耗更多的时间。总的来说目前采用软件算法进行数据处理需要占用大量的cpu资源，处理效率比较低，特别是在处理大量数据时，软件算法的缺点将更加明显。

技术实现要素：

本发明所要解决的技术问题在于提出一种数据处理系统和方法，大大地提高了大数据处理的处理效率。

为解决上述技术问题，本发明采用以下技术方案：

一方面提供了一种数据处理系统，包括cpu和存储器，还包括有一硬件电路处理模块；

所述cpu，用于接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；

所述硬件电路处理模块，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；

所述存储器，用于将硬件电路处理模块返回的数据处理结果存储到目标地址；

其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。

其中，还包括搜索引擎和主机；

cpu还用于根据所述处理指令向搜索引擎发送第二数据处理请求；硬件电路处理模块还将数据处理结果发送给搜索引擎；

搜索引擎用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机；

所述第二数据处理请求为搜索请求或不处理请求。

其中，所述存储器为flash。

其中，所述存储器为硬盘。

其中，所述硬件电路处理模块基于dsp实现。

其中，所述源数据和所述数据处理结果通过多突发的形式进行传输。

另一方面提供了一种数据处理方法，该数据处理方法包括：

cpu接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；

硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器；

存储器将硬件电路处理模块返回的数据处理结果存储到目标地址；

其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。

其中，cpu接收用户输入的处理指令之后还包括：根据所述处理指令向搜索引擎发送第二数据处理请求；

所述硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理之后，还包括：

硬件电路处理模块将数据处理结果发送给搜索引擎；

搜索引擎根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机；所述第二数据处理请求为搜索请求或不处理请求。

与现有技术相比，本发明的有益效果为：本发明通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份处理，大大地提高大数据处理的处理效率，节省了大量的cpu资源，也达到了省时、省电的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明具体实施方式提供的一种数据处理系统的实施例的结构框图。

图2是本发明具体实施方式提供的一种数据处理系统的另一实施例的结构框图。

图3是本发明具体实施方式提供的一种数据处理方法的实施例的方法流程图。

图4是本发明具体实施方式提供的一种数据处理方法的另一实施例的方法流程图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图1～2对本发明实施例提供的数据处理系统作进一步的详细描述。请参考图1，其是本发明具体实施方式中提供的一种数据处理系统的实施例的结构框图，如图1所示，在一些实施例中，该数据处理系统包括cpu(centralprocessingunit，中央处理器)10、存储器20和一硬件电路处理模块30；cpu10，用于接收用户输入的处理指令，根据所述处理指令从存储器20中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块30；硬件电路处理模块30，用于接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器20；存储器20，用于将硬件电路处理模块30返回的数据处理结果存储到目标地址；其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。

在一些优选的实施例中，源数据和所述数据处理结果在总线(bus)上通过多突发(multiburst)的形式进行传输，而不采用传统的单突发(sigleburst)的形式进行传输，节省了总线资源。cpu10、存储器20、和硬件电路处理模块30之间通过总线进行通信。存储器20为辅助存储器，即外存，在一些优选的实施例中，存储器20为flash(闪存，即flashmemory)或硬盘等外存，源数据和数据处理结果(包括压缩数据、解压缩数据和备份数据)都将存储在存储器20中的对应的位置，数据处理结果则将存储在目标地址中。

本发明实施例提供的数据处理系统通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份等处理，不像传统的方式——数据处理都由cpu执行，特别是针对大数据处理，能提高大数据处理的处理效率，节省了大量的cpu资源，由于占用的cpu资源和总线资源少了，则对应的无需再消耗大量的电量和时间，达到了省时、省电的效果。

图2是本发明具体实施方式中提供的一种数据处理系统的另一实施例的结构框图，如图2所示，在一些优选的实施例中，该数据处理系统还包括搜索引擎40和主机50；cpu10还用于根据所述处理指令向搜索引擎40发送第二数据处理请求；硬件电路处理模块30还用于将数据处理结果发送给搜索引擎40；搜索引擎40用于根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机50；所述第二数据处理请求为搜索请求或不处理请求。

如图2所示，若用户要对压缩数据进行搜索处理，则cpu将根据所述处理指令从存储器20中获取源数据，并将所述源数据和解压缩请求发送给硬件电路处理模块30、向搜索引擎40发送搜索请求；硬件电路处理模块30对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据发送给搜索引擎40；搜索引擎40根据搜索请求对解压缩数据进行搜索，并把搜索结果发送给主机50，这样用户只需给cpu发送一次指令便可完成对压缩数据的搜索，而无需给cpu发送一次解压缩指令，再针对解压缩之后得到的解压缩数据发送一次搜索指令，简化了用户的操作，提高了用户体验。若用户只需要对压缩数据进行解压缩处理，则cpu将根据所述处理指令从存储器20中获取源数据，并将所述源数据和解压缩请求发送给硬件电路处理模块30、向搜索引擎40发送不处理请求；硬件电路处理模块30对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据通过总线发送给搜索引擎40；搜索引擎40根据不处理请求不对解压缩数据进行处理，直接通过总线发送给主机。本发明实施例提供的数据处理系统减少了用户操作，能直接对压缩的数据进行搜索，提高了用户体验。需要说明的是，硬件电路处理模块30除了总线也可通过专属路径把数据处理结果发送搜索引擎40。

在一些优选的实施例中，硬件电路处理模块30基于dsp(digitalsignalprocessor，数字信号处理)实现。dsp是一种独特的微处理器，是以数字信号来处理大量信息的器件，硬件电路处理模块30基于dsp实现，有利于提高数据处理的效率，也有利于提高系统的稳定性。硬件电路处理模块30也可以基于fpga(field－programmablegatearray，现场可编程门阵列)、mcu(microcontrollerunit，微控制单元)等实现，在fpga或mcu中写入数据处理的演算法，结合周边的辅助电子元器件构成硬件电路处理模块30，对数据进行压缩、解压缩和备份等处理。

本发明实施例提供的数据处理系统通过外加的硬件电路处理模块对数据进行压缩、解压缩和备份处理，不像传统方式数据处理都由cpu执行，节省了大量的cpu资源，采用多突发的形式代替传统的单突发的形式对数据进行传输，节省了大量的总线资源，提高了数据处理效率，由于占用的cpu资源和总线资源少了，则对应的无需再消耗大量的电量和时间，达到了省时、省电的效果。而由于压缩、解压缩和备份等数据处理由硬件电路处理模块进行处理，因此系统可有效地进行多功能运算。

本发明具体实施方式还提供了一种数据处理方法，下面结合附图3和4对本发明实施例提供的数据处理方法作进一步的详细描述。请参考图3，其是本发明具体实施方式中提供的一种数据处理系统的实施例的方法流程图，如图3所示，在一些实施例中，该数据处理方法包括：

步骤s101：cpu接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块。其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求。

步骤s102：硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器。

步骤s103：存储器将硬件电路处理模块返回的数据处理结果存储到目标地址。

在一些优选的实施例中，源数据和所述数据处理结果在总线(bus)上通过多突发(multiburst)的形式进行传输，而不采用传统的单突发(sigleburst)的形式进行传输，节省了总线资源。

图4是本发明具体实施方式中提供的一种数据处理方法的另一实施例的方法流程图，如图4所示，在一些优选的实施例中，该数据处理方法包括步骤s201～s204，具体如下：

步骤s201：cpu接收用户输入的处理指令，根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块；根据所述处理指令向搜索引擎发送第二数据处理请求。其中，所述第一数据处理请求为压缩请求、解压缩请求或备份请求；所述第二数据处理请求为搜索请求或不处理请求。

步骤s202：硬件电路处理模块接收所述源数据和第一数据处理请求，根据所述第一数据处理请求对所述源数据进行数据处理，并将数据处理结果返回给存储器和发送给搜索引擎。

步骤s203：存储器将硬件电路处理模块返回的数据处理结果存储到目标地址。

步骤s204：搜索引擎根据所述第二数据处理请求对数据处理结果进行处理，并将处理结果发送给主机。其中，步骤s203与步骤s204没有一定的先后顺序，它们为并列关系。

如图4所示，若用户要对压缩数据进行搜索处理，则cpu根据所述处理指令从存储器中获取源数据，并将所述源数据和第一数据处理请求发送给硬件电路处理模块、向搜索引擎发送搜索请求；硬件电路处理模块对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据发送给存储器和搜索引擎；存储器将硬件电路处理模块返回的数据处理结果存储到目标地址；搜索引擎根据搜索请求对解压缩数据进行搜索，并把搜索结果发送给主机。这样用户只需给cpu发送一次指令便可完成对压缩数据的搜索，而无需给cpu发送一次解压缩指令，再针对解压缩之后得到的解压缩数据发送一次搜索指令，简化了用户的操作，提高了用户体验。若用户只需要对压缩数据进行解压缩处理，则cpu将向存储器发送数据获取请求、向硬件电路处理模块发送解压缩请求、向搜索引擎发送不处理请求；存储器把压缩数据发送给硬件电路处理模块；硬件电路处理模块对压缩数据进行解压缩处理，并将解压缩处理之后的得到的解压缩数据通过总线发送给搜索引擎；存储器将硬件电路处理模块返回的数据处理结果存储到目标地址；搜索引擎根据不处理请求不对解压缩数据进行处理，直接通过总线发送给主机。本发明实施例提供的数据处理方法减少了用户操作，能直接对压缩的数据进行搜索，提高了用户体验。

本发明实施例提供的数据处理方法cpu根据用户输入的处理指令从存储设备中获取源数据并发送给外加的硬件电路处理模块进行压缩、解压缩和备份等处理，不像传统的方式——数据处理都由cpu执行，特别是针对大数据处理时，能大大地提高数据的处理效率，节省了大量的cpu资源，采用多突发的形式代替传统的单突发的形式对数据进行传输，节省了大量的总线资源，由于占用的cpu资源和总线资源少了，则对应的无需再消耗大量的电量和时间，达到了省时、省电的效果。

以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。