一种数据处理方法及装置与流程

本发明涉及数据处理领域，尤其涉及一种数据处理方法及装置。

背景技术：

随着数据采集与信息技术的进步，可以被分析和处理的数据资源来越多，数据资源的大小越来越大。例如，随着大数据时代的到来，越来越多的数据被相互关联，需要被处理的数据量越来越大。

现有的数据数据处理方法处理效率有待提升。

技术实现要素：

本发明解决的技术问题是提升数据处理方法的效率。

为解决上述技术问题，本发明实施例提供一种数据处理方法，包括：在预设的时间内接收来自多个客户端的多个数据请求，所述数据请求中包括资源请求以及预处理请求，所述资源请求指向服务器存储的数据资源块，所述服务器存储有多个所述数据资源块；分析多个所述资源请求的指向，以确定多个所述资源请求指向的数据资源块中重叠的数据资源块；在所述重叠的数据资源块中选择目标数据资源块；读取所述目标数据资源块，根据所述预处理请求对所述目标数据资源块进行预处理，以得到对应不同客户端的目标数据；分别向所述多个客户端返回响应于所述多个数据请求的所述目标数据。

可选的，所述预处理请求携带于预处理程序中；所述服务器根据所述预处理请求对所述目标数据资源块进行预处理包括：利用所述预处理程序对所述目标数据资源块进行预处理。

可选的，所述预处理请求携带于预处理程序中；所述服务器根据所述预处理请求对所述目标数据资源块进行预处理包括：将所述预处理程序转换为所述服务器适于执行的服务器预处理程序；利用所述服务器预处理程序对所述目标数据资源块进行预处理。

可选的，所述分别向所述多个客户端返回响应于所述多个数据请求的所述目标数据包括：分别向所述多个客户端返回数据通知，所述数据通知指示向对应的客户端返回数据的时间；分别向多个客户端发送响应于来自该客户端的数据；在数据发送完成后，向对应的客户端发送结束通知。

可选的，采用以下任一种方式在所述重叠的数据资源块中选择目标数据资源块：在所述重叠的数据资源块中选择重叠次数最多的数据资源块作为所述目标数据资源块；参照多个所述资源请求的优先级选取所述目标数据资源块。

本发明实施例还提供一种数据处理装置，包括：数据请求接收单元，适于在预设的时间内接收来自多个客户端的多个数据请求，所述数据请求中包括资源请求以及预处理请求，所述资源请求指向服务器存储的数据资源块，所述服务器存储有多个所述数据资源块；重叠数据资源块确定单元，适于分析多个所述资源请求的指向，以确定多个所述资源请求指向的数据资源块中重叠的数据资源块；目标数据资源块确定单元，适于在所述重叠的数据资源块中选择目标数据资源块；目标数据生成单元，适于读取所述目标数据资源块，根据所述预处理请求对所述目标数据资源块进行预处理，以得到对应不同客户端的目标数据；请求响应单元，适于向所述多个客户端返回响应于所述多个数据请求的所述目标数据。

可选的，所述预处理请求携带于预处理程序中，所述目标数据生成单元适于利用所述预处理程序对所述目标数据资源块进行预处理。

可选的，所述预处理请求携带于预处理程序中；所述目标数据生成单元包括：程序转换子单元，适于将所述预处理程序转换为所述服务器适于执行的服务器预处理程序；预处理子单元，适于利用所述服务器预处理程序对所述目标数据资源块进行预处理。

可选的，所述请求响应单元包括：时间通知单元，适于分别向所述多个客户端返回数据通知，所述数据通知指示向对应的客户端返回数据的时机；数据发送单元，适于分别向多个客户端发送响应于来自该客户端的数据；结束通知单元，适于在数据发送完成后，向对应的客户端发送结束通知。

可选的，所述目标数据资源块确定单元包括优先级选取单元或重叠选取单元；所述优先级选取单元，适于在所述重叠的数据资源块中选择重叠次数最多的数据资源块作为所述目标数据资源块；所述重叠选取单元，适于参照多个所述资源请求的优先级选取所述目标数据资源块。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例中，通过在预设的时间内接收来自多个客户端的数据请求，这些数据请求中包含资源请求，确定多个资源请求指向的数据资源块中重叠的数据资源块，在重叠的数据资源块中选择目标数据资源块，读取目标数据资源块，并基于读取到的所述目标数据资源块，分别向所述多个客户端返回响应于所述多个数据请求的所述目标数据。此方案中，每次读取目标数据资源块，均可以基于读取到的所述目标数据资源块向多个客户端返回数据，而不是针对每个数据请求单独的读取数据资源块并基于读取到的所述目标数据资源块返回数据，从而可以减少对数据资源块的读取次数，进而可以提升数据处理的效率。

进一步，在所述重叠的数据资源块中选择目标数据资源块，可以是在重叠的数据资源块中选择重叠次数最多的数据资源块作为所述目标数据资源块，也可以是参照多个所述资源请求的优先级选取所述目标数据资源块，或者也可以是服务器预设的其他选取方式，例如按照请求顺序。其中，参照多个所述资源请求的优先级选取所述目标数据资源块可以兼顾资源请求的优先级；在重叠的数据资源块中选择重叠次数最多的数据资源块作为所述目标数据资源块，可以最大限度的减少对同一块资源重复读取的次数，从而可以提升数据处理的效率。

附图说明

图1是本发明实施例中一种数据处理方法的流程图；

图2是图1中步骤S14的一种具体实现的流程图；

图3是本发明实施例中一种数据处理方法的应用场景的结构示意图；

图4是本发明实施例中一种资源处理顺序示意图；

图5是本发明实施例中一种数据处理装置的结构示意图。

具体实施方式

如背景技术所述，随着数据采集与信息技术的进步，可以被分析和处理的数据资源来越多，数据资源的大小越来越大。例如，随着大数据时代的到来，越来越多的数据被相互关联，需要被处理的数据量越来越大。现有的数据数据处理方法处理效率有待提升。

在本发明实施例中，通过在预设的时间内接收来自多个客户端的数据请求，这些数据请求中包含资源请求，确定多个资源请求指向的数据资源块中重叠的数据资源块，在重叠的数据资源块中选择目标数据资源块，读取目标数据资源块，并基于读取到的所述目标数据资源块，分别向所述多个客户端返回响应于所述多个数据请求的所述目标数据。此方案中，每次读取目标数据资源块，均可以基于读取到的所述目标数据资源块向多个客户端返回数据，而不是针对每个数据请求单独的读取数据资源块并基于读取到的所述目标数据资源块返回数据，从而可以减少对数据资源块的读取次数，进而可以提升数据处理的效率。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例中一种数据处理方法的流程图。参见图1，本发明实施例中的数据处理方法可以包括：

步骤S11，在预设的时间内接收来自多个客户端的多个数据请求，所述数据请求中包括资源请求以及预处理请求，所述资源请求指向服务器存储的数据资源块，所述服务器存储有多个所述数据资源块。

步骤S12，分析多个所述资源请求的指向，以确定多个所述资源请求指向的数据资源块中重叠的数据资源块。

步骤S13，在所述重叠的数据资源块中选择目标数据资源块。

步骤S14，读取所述目标数据资源块，根据所述预处理请求对所述目标数据资源块进行预处理，以得到对应不同客户端的目标数据；

步骤S15，分别向所述多个客户端返回响应于所述多个数据请求的所述目标数据。

如图1所示的数据处理方法可以适用于服务器，可以是单台服务器也可以是分布式服务器。服务器中可以存储多个数据资源块。这些数据资源块可以是能够被切分的数据资源切分得到的，这些数据资源块是数据资源的子资源。数据资源块之间的内容不交叉，且可以独立的对这些数据资源块进行处理，例如独立的对这些数据资源块进行读取。

在具体实施中，将数据资源进行切分得到数据资源块可以包括如下方式：按照数据资源中文件容量百分比切分、按数据资源的子文件数目切分，按CPU数据切分，按历史资源试用度切分等。

客户端可以是需要从服务器获取数据的设备，例如可以是计算机、手机等设备。客户端和服务器可以支持共同的通讯协议，符合共同的通信框架，以使得客户端可以向服务器发送数据请求。

来自客户端的数据请求中可以包括资源请求，这些资源请求可以指向数据资源块可以是通过上述数据资源指向所述数据资源块。

例如，若数据资源为存储有20行数据的A文件，A文件可以分为两块数据资源块，分别包含前10行数据和后10行数据。此时，若数据资源请求是对A文件的请求，则该资源请求指向上述两个数据资源块，也就是指向包含A文件前10行数据的数据资源块和包含A文件后10行数据的数据资源块。

在另一个非限定性的例子中，若数据资源为存储有20个文件的A目录，A目录可以分为两块数据资源块，分别包含前10份文件和后10个文件。此时，若数据资源请求是对A目录的请求，则该资源请求指向上述两个数据资源块，也就是指向包含A目录前10个文件的数据资源块和包含A文件后10个文件的数据资源块。

在具体实施中，步骤S11中的预设时间可以包括以下任意一种或多种时间：当服务器处于空闲状态时，可以以固定的时间段为预设的时间，每隔固定的时间段对该时间段内接收到的多个数据请求进行分析；当服务器对目标数据资源块进行读取时，可以以对该目标数据资源块进行读取所需的时间作为预设的时间，对上一目标数据资源块进行读取的时间内接收到的数据资源请求进行分析，以确定下一目标数据资源块。

预设的时间也可以被叫做资源周期，在服务器处于空闲状态时，资源周期可以是预设的时间，在对目标数据资源块进行读取时，资源周期可以是读取时间。也即，资源周期可以并不是固定的时间值。

可以理解的是，在资源周期内接收到的数据请求中可以包含请求上述数据资源的资源请求，也可以包括请求目标数据资源块的资源请求，还可以包括请求目标数据资源块中某部分数据的请求。服务器分析这些资源请求的指向，可以包括确定这些资源请求指向的数据资源块。

另外，在具体实施中，数据资源块可以包括进一步的数据划分得到的数据资源子块，但数据资源块被作为一个整体读取。

在具体实施中，步骤S13中在所述重叠的数据资源块中选择目标数据资源块，可以是在重叠的数据资源块中选择重叠次数最多的数据资源块作为所述目标数据资源块，也可以是参照多个所述资源请求的优先级选取所述目标数据资源块，或者也可以是服务器预设的其他的选取方式，例如，按照接收到数据请求的先后顺序进行选取等。

其中，参照多个所述资源请求的优先级选取所述目标数据资源块可以兼顾资源请求的优先级；在重叠的数据资源块中选择重叠次数最多的数据资源块作为所述目标数据资源块，可以最大限度的减少对同一块资源重复读取的次数，从而可以提升数据处理的效率。

在具体实施中，步骤S14中根据预处理请求对目标数据资源块进行预处理可以是对目标数据资源块进行中的数据进行筛选或加工，以得到目标数据。

例如，当目标数据资源块为对应某一主体的大数据资源时，对目标数据资源块进行预处理可以是进行筛选，比如筛选出对应该主体的某种特性的数据；当目标数据资源块为视频资源时，对目标数据资源块进行预处理可以是将视频资源转换为与发送所述数据请求的终端相适配的视频资源，例如进行分辨率的转换等。

在具体实施中，预处理请求可以携带于预处理程序中；所述服务器根据所述预处理请求对所述目标数据资源块进行预处理包括：利用所述预处理程序对所述目标数据资源块进行预处理。

当利用所述与处理程序对所述目标程序进行预处理失败时，可以结束资源请求相关操作，退出以释放服务器资源；或者也可以按照服务器的设置继续执行相关操作。

参见图2，在本发明一实施例中，所述服务器根据所述预处理请求对所述目标数据资源块进行预处理可以包括：

步骤S141，将所述预处理程序转换为所述服务器适于执行的服务器预处理程序；

步骤S142，利用所述服务器预处理程序对所述目标数据资源块进行预处理。

其中，将所述预处理程序转换为所述服务器适于执行的服务器预处理程序的过程中，可以对预处理程序进行优化，以提升执行效率；也可以仅是将预处理程序转换成服务器指定的语言编写的程序，或者将预处理程序转换成符合预设规则的程序。

在一个非限定性的例子中，图1中步骤S15中分别向所述多个客户端返回响应于所述多个数据请求的所述目标数据可以包括：

分别向所述多个客户端返回数据通知，所述数据通知指示向对应的客户端返回数据的时间；

分别向多个客户端发送响应于来自该客户端的数据；

在数据发送完成后，向对应的客户端发送结束通知。

以下参见图3，对如图1所示的数据处理方法进行进一步说明。

为方便说明，假设在预设的时间内，接收到来自三个客户端的数据请求，为区分方便，将这三个客户端命名为第一客户端21、第二客户端22和第三客户端23。其中来自第一客户端21的数据请求中包含指向第一数据资源块和第四数据资源块的资源请求；来自第二客户端22的数据请求中包含指向第一数据资源块和第二数据资源块的资源请求；来自第三客户端23的数据请求中包含指向第二数据资源块的资源请求。

可以看出，多个资源请求指向的数据资源块中重叠的数据资源块为第一数据资源块和第二数据资源块。此时可以在第一数据资源块和第二数据资源块中选取目标数据资源块。

若来自不同客户端的资源请求的优先级不同，其中来自第三客户端23的资源请求的优先级较高，则可以选取第二数据资源块作为目标数据资源块。

假设，在上述过程中选取第二数据资源块作为目标数据资源块，读取了第二数据资源块，并基于读取到的第二数据资源块向分别第二客户端22和第三客户端23返回了响应于其数据请求的数据，此时可以分析在读取第二数据资源块期间接收到的数据请求。

可以理解的是，基于读取到的第二数据资源块向分别第二客户端22和第三客户端23返回了响应于其数据请求的数据，可以包括对第二数据资源块进行预处理的过程。

在分析在读取第二数据资源块期间接收到的数据请求时，也将自第一客户端21的指向第一数据资源块和第四数据资源块的资源请求、来自第二客户端22的指向第一数据资源块的资源请求作为接收到的数据请求。也即，在选取目标数据资源块时，将之前未响应的数据资源请求作为预设时间内接收到的数据请求所包含的数据资源请求。

可以理解的是，本发明实施例中的数据处理方法还可以包括：若在预设的时间内仅接收到了来自一个客户端的数据请求，则可以将该数据请求指向的数据资源块作为目标数据资源块。

另外，在具体实施中，若数据请求是指向数据资源的数据请求，该数据资源包含多个数据资源块，则可以一次确定在多个连续的资源周期内，读取该数据资源包含的多个数据资源块。

本发明实施例中一种资源处理顺序示意图参见图4，以下结合图4对如图1所示的数据处理方法进行说明。

参见图4，以下以对某一数据资源进行处理的过程为例，对如图1所示的数据处理方法进行进一步说明。如图4所示的数据资源可以包括数据资源块41、数据资源块42以及数据资源块43。

程序A可以来自第一数据请求，服务器可以利用程序A对数据资源块进行预处理，以得到响应于第一数据请求的数据。服务器已安排在连续的三个资源周期读取数据资源块41、数据资源块42以及数据资源块43。

在t₁时刻，服务器接收到第二数据请求，第二数据请求可以是对第四数据资源中数据资源块41和数据资源块42的请求，在第二数据请求中携带有程序B，以进行预处理。

由于t₁时刻位于读取数据资源块的资源周期内，所以在该资源周期结束后，再对该资源周期内接收的数据请求进行处理。在读取数据资源块41的资源周期结束后，读取数据资源块42，此时程序A和程序B对数据资源块42进行预处理。

程序C可以来自第三数据请求，第三数据请求可以是在读取数据资源块41之前接收到的数据请求，也可以是在读取数据资源块41或读取数据资源块42时接收到的请求。在读取数据资源块43的资源周期内，程序A和程序C对数据资源块43进行预处理。

在一个非限定性的例子中，图4中的数据资源可以是某一视频资源，客户端通过点击数据资源图表的方式发起了对数据资源的请求，程序C对应的客户端可以是记录了上次观看的位置，通过点击继续观看发起可对数据资源的请求。程序A、程序B和程序C可以是对时频资源进行与终端的适配性处理的程序。

在另一个非限定性的例子中，图4中的数据资源还可以是大数据领域记录对应某些主体的数据，其中数据资源块可以是对应不同的主体。图4中的数据资源还可以是对应某一主体的数据，其中的数据资源块可以对应该主体不同时间段内的数据，也可以是按照其他方式进行划分的数据资源块。程序A、程序B和程序C可以是数据筛选程序。

图4中的每个数据资源块可以包含数据资源子块，数据请求中的资源请求也可以是指向数据资源子块的。图4仅示出了对一个数据资源的处理过程，在具体实施中，服务器可以并行对多个数据资源进行处理。

可以理解的是，上述数据资源块41、数据资源块42、数据资源块43、程序A、程序B、程序C、第一数据请求、第二数据请求以及第三数据请求等名称仅为描述方便，并非限制性的描述。

本发明实施例利用了局部化计算和函数式计算的概念，其中局部化计算是指：对于一段代码，该程序影响仅会作用于该段代码所包含的程序范围。函数式计算是指：给定程序输入和指定程序代码，程序输出能够唯一确定。预处理程序可以仅支持局部化计算和函数式计算，也就是说，对于预处理程序的输入，其值可以仅能作用于该预处理程序中的变量和计算过程，且对于唯一的程序输入，对应唯一的程序输出。

在本发明实施例中，通过在预设的时间内接收来自多个客户端的数据请求，这些数据请求中包含资源请求，确定多个资源请求指向的数据资源块中重叠的数据资源块，在重叠的数据资源块中选择目标数据资源块，读取目标数据资源块，并基于读取到的所述目标数据资源块，分别向所述多个客户端返回响应于所述多个数据请求的所述目标数据。此方案中，每次读取目标数据资源块，均可以基于读取到的所述目标数据资源块向多个客户端返回数据，而不是针对每个数据请求单独的读取数据资源块并基于读取到的所述目标数据资源块返回数据，从而可以减少对数据资源块的读取次数，进而可以提升数据处理的效率。

本发明实施例还提供一种数据处理装置，其结构示意图参见图5。

数据处理装置可以包括：

数据请求接收单元51，适于在预设的时间内接收来自多个客户端的多个数据请求，所述数据请求中包括资源请求以及预处理请求，所述资源请求指向服务器存储的数据资源块，所述服务器存储有多个所述数据资源块；

重叠数据资源块确定单元52，适于分析多个所述资源请求的指向，以确定多个所述资源请求指向的数据资源块中重叠的数据资源块；

目标数据资源块确定单元53，适于在所述重叠的数据资源块中选择目标数据资源块；

目标数据生成单元54，适于读取所述目标数据资源块，根据所述预处理请求对所述目标数据资源块进行预处理，以得到对应不同客户端的目标数据；

请求响应单元55，适于向所述多个客户端返回响应于所述多个数据请求的所述目标数据。

在具体实施中，所述预处理请求可以携带于预处理程序中，所述目标数据生成单元54适于利用所述预处理程序对所述目标数据资源块进行预处理。

当所述预处理请求携带于预处理程序中时，所述目标数据生成单元54可以包括：

程序转换子单元(图未示)，适于将所述预处理程序转换为所述服务器适于执行的服务器预处理程序；

预处理子单元(图未示)，适于利用所述服务器预处理程序对所述目标数据资源块进行预处理。

在具体实施中，所述请求响应单元55可以包括：

时间通知单元(图未示)，适于分别向所述多个客户端返回数据通知，所述数据通知指示向对应的客户端返回数据的时机；

数据发送单元(图未示)，适于分别向多个客户端发送响应于来自该客户端的数据；

结束通知单元(图未示)，适于在数据发送完成后，向对应的客户端发送结束通知。

在具体实施中，所述目标数据资源块确定单元53可以包括优先级选取单元或重叠选取单元；

所述优先级选取单元(图未示)，适于在所述重叠的数据资源块中选择重叠次数最多的数据资源块作为所述目标数据资源块；

所述重叠选取单元(图未示)，适于参照多个所述资源请求的优先级选取所述目标数据资源块。

本发明实施例中的数据处理装置的具体实现和有益效果可以参见数据处理方法，此不赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。