一种数据处理方法、装置及集群服务系统的制作方法
【技术领域】
[0001] 本发明涉及互联网技术领域，具体涉及针对互联网数据的处理技术领域，尤其涉 及一种数据处理方法、装置及集群服务系统。
【背景技术】
[0002] 集群服务系统，简单来说就是将多个服务器连接在一起，协调多个服务器能够像 一个服务器一样工作，也就是使多个服务器作为一个整体为客户端提供数据处理服务。目 前，在许多互联网场景中常应用集群服务系统，例如在网络娱乐直播场景中使用集群服务 系统，客户端通常需要在主页面随机显示多个网络主播的大量照片，这时客户端以DNS轮询 的方式从集群服务系统中的各个服务器中获取照片;然而，现有集群服务系统中各个服务 器对数据的处理机制是相对独立的，那么，当客户端第一次从服务器一获得第一批照片进 行显示后，轮询至服务器二获取第二批照片时，第一批照片与第二批照片可能会有一些照 片出现重复，使得相同照片在客户端重复展示而造成较差的显示效果，当然也给用户较差 的视觉体验。
【发明内容】
[0003] 本发明实施例提供一种数据处理方法、装置及集群服务系统，能够在集群服务系 统中各个服务器之间进行一致的数据处理流程，避免为客户端提供重复数据，提升集群服 务系统的数据处理服务能力。
[0004] 本发明实施例第一方面提供一种数据处理方法，应用于集群服务系统，所述集群 服务系统包含至少一个服务器，可包括：
[0005] 所述服务器从数据库获取源数据集合并记录获取时间，所述源数据集合包括多个 源数据；
[0006] 所述服务器根据所记录的获取时间查询目标分片标识；
[0007] 所述服务器对所述目标分片标识进行随机运算生成下标集合，所述下标集合包括 多个下标值；
[0008] 所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行 匹配，生成随机数据序列。
[0009] 优选地，所述服务器从数据库获取源数据集合并记录获取时间之前，还包括：
[0010] 所述服务器按照预置周期对预设时间段进行分片处理，获得多个时间片，每个时 间片对应一个时间范围；
[0011] 所述服务器为每个时间片设置唯一分片标识。
[0012] 优选地，所述服务器根据所记录的获取时间查询目标分片标识，包括：
[0013] 所述服务器根据所记录的获取时间所属的时间范围，确定目标时间片；
[0014] 所述服务器将所述目标时间片的唯一分片标识确定为目标分片标识。
[0015] 优选地，所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标 值进行匹配，生成随机数据序列，包括：
[0016] 所述服务器按照所述源数据集合中各个源数据的ID对所述各个源数据进行排序 处理，得到顺序排列的多个源数据；
[0017] 所述服务器按照所述各个源数据的顺序，分别将所述下标集合中各下标值与所述 各个源数据的ID进行关联匹配，生成随机数据序列，所述随机数据序列包括顺序排列的多 个源数据，并且每个源数据的ID对应唯一一个下标值。
[0018] 优选地，所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标 值进行匹配，生成随机数据序列之后，还包括：
[0019] 所述服务器按照所述随机数据序列中各个源数据的顺序对所述随机数据序列进 行分页处理，获得至少一个显示分页，每个显示分页包含顺序排列的至少一个源数据；
[0020] 当接收到客户端发送的携带页码的数据访问请求时，所述服务器向所述客户端返 回所请求页码对应的显示分页所包含的源数据。
[0021 ]本发明实施例第二方面提供一种数据处理装置，可包括：
[0022] 获取单元，用于从数据库获取源数据集合并记录获取时间，所述源数据集合包括 多个源数据；
[0023] 查询单元，用于根据所记录的获取时间查询目标分片标识；
[0024] 随机运算单元，用于对所述目标分片标识进行随机运算生成下标集合，所述下标 集合包括多个下标值；
[0025] 匹配单元，用于将所述源数据集合中的源数据分别与所述下标集合中的下标值进 行匹配，生成随机数据序列。
[0026] 优选地，该装置还包括：
[0027]分片处理单元，用于按照预置周期对预设时间段进行分片处理，获得多个时间片， 每个时间片对应一个时间范围；
[0028]标识设置单元，用于为每个时间片设置唯一分片标识。
[0029] 优选地，所述查询单元包括：
[0030] 分片确定单元，用于根据所记录的获取时间所属的时间范围，确定目标时间片；
[0031] 标识确定单元，用于将所述目标时间片的唯一分片标识确定为目标分片标识。
[0032] 优选地，匹配单元包括：
[0033] 排序单元，用于按照所述源数据集合中各个源数据的ID对所述各个源数据进行排 序处理，得到顺序排列的多个源数据；
[0034] 关联匹配单元，用于按照所述各个源数据的顺序，分别将所述下标集合中各下标 值与所述各个源数据的ID进行关联匹配，生成随机数据序列，所述随机数据序列包括顺序 排列的多个源数据，并且每个源数据的ID对应唯一一个下标值。
[0035] 优选地，该装置还包括：
[0036] 分页处理单元，用于按照所述随机数据序列中各个源数据的顺序对所述随机数据 序列进行分页处理，获得至少一个显示分页，每个显示分页包含顺序排列的至少一个源数 据；
[0037] 访问响应单元，用于当接收到客户端发送的携带页码的数据访问请求时，向所述 客户端返回所请求页码对应的显示分页所包含的源数据。
[0038] 本发明实施例第三方面提供一种集群服务系统，包括至少一个服务器，其中，所述 服务器包括如上述第二方面所述的数据处理装置。
[0039] 在本发明实施例中，针对集群服务系统中的任一个服务器所执行的数据处理流程 可包括:从数据库获取包含多个源数据的源数据集合并记录获取时间；根据所记录的获取 时间查询目标分片标识;对所述目标分片标识进行随机运算生成包含多个下标值的下标集 合;将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配，生成随机数 据序列。由于在集群服务系统中，每一个服务器执行相同的数据处理流程，并且，在此流程 中各个服务器之间所获得的源数据集合以及下标集合具备一致性，使得各个服务器能够获 得一致性的随机数据序列，那么，当客户端跨服务器进行数据访问时，各个服务器之间既能 够避免为客户端提供重复数据，又能够保证所提供的源数据的连续性，从而提升了集群服 务系统的数据处理服务能力。
【附图说明】
[0040] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
[0041 ]图1为本发明实施例提供的一种集群服务系统的结构示意图；
[0042]图2为本发明实施例提供的一种数据处理方法的流程图；
[0043] 图3为本发明实施例提供的一种服务器的内部结构示意图；
[0044] 图4为本发明实施例提供的一种数据处理装置的结构示意图。
【具体实施方式】