一种数据处理方法及装置的制造方法_2

文档序号:8380957阅读:来源:国知局
述中性能计算单元对应的所 述成本模型中,计算得到所述实体对象的处理成本,并作为第二处理成本。
[0049] 优选地,所述第一处理单元还包括:第一计算子单元、第二计算子单元、第三计算 子单元、第四计算子单元;其中,
[0050] 所述第一计算子单元,用于将所述相关参数带入至所述高性能计算单元对应的所 述成本模型中,计算得到所述实体对象的处理成本,并作为第一成本;
[0051] 所述第二计算子单元,用于将所述相关参数带入至所述中性能计算单元对应的所 述成本模型中,计算得到所述实体对象的处理成本,并作为第二成本;
[0052] 所述第三计算子单元,用于在所述实体对象对应的数据量位于所述高性能计算模 时,基于预先训练的成本模型以及所述相关参数,计算所述实体对象对应的数据量从所述 高性能计算单元传输至所述中性能计算单元的传输成本,并作为第三成本;
[0053] 所述第四计算子单元,用于在所述实体对象对应的数据量位于所述中性能计算单 元时,基于预先训练的成本模型以及所述相关参数,计算所述实体对象对应的数据量从所 述中性能计算单元传输至所述高性能计算模的传输成本,并作为第四成本;
[0054] 相应地,所述装置还包括确定单元,所述确定单元包括第一确定子单元、第二确定 子单元;其中,
[0055] 所述第一确定子单元,用于基于所述第一成本以及所述第四成本,确定出第一处 理成本;
[0056] 所述第二确定子单元,用于基于所述第二成本以及所述第三成本,确定出第二处 理成本。
[0057] 优选地,所述装置还包括:配置单元、第二处理单元、拟合单元;其中,
[0058] 所述配置单元,用于针对处理场景、处理数据量以及所述计算单元配置一个以上 测试实例;
[0059] 所述第二处理单元,用于对所述一个以上测试实例分别进行处理,并获取所述第 一以上测试实例的处理成本;
[0060] 所述拟合单元,用于采用BP神经网络算法,对所述一个以上测试实例的处理成本 与相关参数的关系进行训练以及拟合,得到所述成本模型。
[0061] 优选地,所述实体对象的相关参数至少包括以下信息的其中之一:存储位置、数据 量、维度字段、计算字段。
[0062] 本发明实施例的技术方案中,服务器包括两个以上计算单元,分别进行高、低性能 的数据处理;接收到客户端发送的第一消息时,对所述第一消息进行解析,得到所述第一消 息对应的实体对象;获取所述实体对象的相关参数;基于预先训练的成本模型以及所述相 关参数,计算所述实体对象的处理成本;根据预设的成本策略解析所述处理成本,并为所述 处理成本选择对应的计算单元;通过所述处理成本对应的计算单元对所述实体对象进行处 理。如此,提高了服务器的查询处理能力,有效提高了服务器的利用率,提升了用户的查询 体验。
【附图说明】
[0063] 图1为本发明实施例的数据处理方法的流程示意图;
[0064] 图2为本发明实施例的数据处理装置的结构组成示意图。
【具体实施方式】
[0065] 为了能够更加详尽地了解本发明的特点与技术内容,下面结合附图对本发明的实 现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明。
[0066] 图1为本发明实施例的数据处理方法的流程示意图,本示例中的数据处理方法应 用于服务器中,所述服务器包括两个以上计算单元;如图1所示,所述数据处理方法包括以 下步骤:
[0067] 步骤101 :接收客户端发送的第一消息。
[0068] 客户端与服务器之间通过网络进行交互,如此,服务器可以通过网络接收客户端 发送的第一消息,例如,客户端查询A地区满足B条件的人口数量时,则发送携带有A地区、 B条件、人口数量等信息的第一消息至服务器。
[0069] 本实施例中,服务器中不同计算单元的处理能力不同,例如,服务器中的M计算单 元为高性能计算单元,而N计算单元为中性能计算单元;这里,计算单元的处理能力与实现 该计算单元的硬件设施及软件配置有关。在实际应用中,根据查询请求的需要,将查询性能 要求高的数据存储至高性能计算单元中;高性能计算单元存储的是数据库的子集,包括查 询频率较高的清单、账务、用户信息等数据。而中性能计算单元则存储了数据库的其他的数 据以及历史数据。
[0070] 优选地,步骤101之前,所述方法还包括:
[0071] 针对处理场景、处理数据量以及所述计算单元配置一个以上测试实例;
[0072] 这里,所述处理场景可以是查询场景,查询场景包括:宽表查询、关联查询、结构化 查询语言(SQL,Structured Query Language)查询;
[0073] 对所述一个以上测试实例分别进行处理,并获取所述第一以上测试实例的处理成 本;
[0074] 采用反向传播(BP, Back Propagation)神经网络算法,对所述一个以上测试实例 的处理成本与相关参数的关系进行训练以及拟合,得到所述成本模型。
[0075] 上述方案中,预先配置不同查询场景下、不同查询数据量的情况下、以及不同计算 单元的情况下的测试实例;通过该测试实例可以进行相应的数据查询,而获得测试实例的 处理成本;这里,测试实例的处理成本用查询时间来表征,查询时间越长,则处理成本越高, 反之,查询时间越短,则处理成本越低。
[0076] 上述方案中,配置的测试实例越多,得到的处理成本,也即训练集(input layer) 就越多,采用BP神经网络算法拟合出的成本模型就越精确,从而能够得到最优隐层(hind layer)。
[0077] 具体地,当服务器包括高性能计算单元和中性能计算单元时,需要先对高性能计 算单元和中性能计算单元的测试环境进行配置,如表1、表2和表3所示,表1为高性能计算 单元和中性能计算单元的硬件环境配置参数,依据表1,高性能计算单元的主机型号、主机 配置、部署方式以及处理能力都高于中性能计算单元。表2为高性能计算单元和中性能计 算单元的软件环境配置参数,依据表2,高性能计算单元的数据库软件、版本、部署方式也都 高于中性能计算单元。表3为高性能计算单元和中性能计算单元的存储环境配置参数,依 据表3,高性能计算单元的存储性能高于中性能计算单元,存储容量低于中性能计算单元。
【主权项】
1. 一种数据处理方法,该方法应用于服务器中,所述服务器包括两个以上计算单元; 其特征在于,所述方法包括: 接收客户端发送的第一消息; 对所述第一消息进行解析,得到所述第一消息对应的实体对象; 获取所述实体对象的相关参数; 基于预先训练的成本模型以及所述相关参数,计算所述实体对象的处理成本; 根据预设的成本策略解析所述处理成本,并为所述处理成本选择对应的计算单元; 通过所述处理成本对应的计算单元对所述实体对象进行处理。
2. 根据权利要求1所述的数据处理方法,其特征在于,所述两个以上计算单元至少包 括:高性能计算单元、中性能计算单元;所述处理成本至少包括:通过所述高性能计算单元 处理的第一处理成本、通过所述中性能计算单元处理的第二处理成本;相应地, 所述根据预设的成本策略解析所述处理成本,并为所述处理成本选择对应的计算单 元;通过所述处理成本对应的计算单元对所述实体对象进行处理;包括: 比较所述第一处理成本与所述第二处理成本,当所述
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1