一种数据处理方法及装置的制造方法
【技术领域】
[0001] 本发明涉及数据处理技术，尤其涉及一种数据处理方法及装置。
【背景技术】
[0002] 目前的数据查询系统的架构为客户端/服务器（C/S，Client/Server)架构或者浏 览器/服务器（B/S，Browser/Server)架构，其中，服务器处理数据一般有两种实现形式：
[0003] 第一种实现形式为单一数据库形式，即服务器对应的数据库为单一类型，例如，甲 骨文数据库（oracle)、关系型数据库管理系统（mysql)等，服务器针对客户端或者浏览器 的各种查询请求都统一在单一的数据库中进行处理；
[0004] 第二种实现形式为混搭数据库形式，即服务器对应的数据库为混合类型，服务器 根据客户端或者浏览器的查询请求，在不同的数据库进行相应的处理；例如，关系型数据库 执行结构化数据计算，分布式系统基础架构（hadoop)处理非结构化数据计算。
[0005] 为了提高服务器对查询请求的处理能力，需要对服务器的硬件设备进行扩容，然 而，该方式不仅耗费大量的资源，且线性扩容一般只能带来处理能力的线性增长，服务器的 利用率较低，用户查询所需的时间仍旧很长，影响用户的体验。
【发明内容】
[0006] 有鉴于此，本发明的主要目的在于提供一种数据处理方法及装置，能够提高服务 器的查询处理能力，有效提高服务器的利用率，提升用户的查询体验。
[0007] 为达到上述目的，本发明的技术方案是这样实现的：
[0008] -种数据处理方法，该方法应用于服务器中，所述服务器包括两个以上计算单元； 所述方法包括：
[0009] 接收客户端发送的第一消息；
[0010] 对所述第一消息进行解析，得到所述第一消息对应的实体对象；
[0011] 获取所述实体对象的相关参数；
[0012] 基于预先训练的成本模型以及所述相关参数，计算所述实体对象的处理成本；
[0013] 根据预设的成本策略解析所述处理成本，并为所述处理成本选择对应的计算单 元；
[0014] 通过所述处理成本对应的计算单元对所述实体对象进行处理。
[0015] 优选地，所述两个以上计算单元至少包括：高性能计算单元、中性能计算单元；所 述处理成本至少包括：通过所述高性能计算单元处理的第一处理成本、通过所述中性能计 算单元处理的第二处理成本；相应地，
[0016] 所述根据预设的成本策略解析所述处理成本，并为所述处理成本选择对应的计算 单元；通过所述处理成本对应的计算单元对所述实体对象进行处理；包括：
[0017] 比较所述第一处理成本与所述第二处理成本，当所述第一处理成本大于或等于所 述第二处理成本时，通过所述中性能计算单元处理所述实体对象；
[0018] 当所述第一处理成本与第二处理成本满足以下公式时，通过所述高性能计算单元 处理所述实体对象；所述公式为：
[0019] Wl ^ τ XW2
[0020] 其中，Wl为第一处理成本；W2为第二处理成本；1彡τ彡1. 5。
[0021] 优选地，所述基于预先训练的成本模型以及所述相关参数，计算所述实体对象的 处理成本，包括：
[0022] 将所述相关参数带入至所述高性能计算单元对应的所述成本模型中，计算得到所 述实体对象的处理成本，并作为第一处理成本；
[0023] 将所述相关参数带入至所述中性能计算单元对应的所述成本模型中，计算得到所 述实体对象的处理成本，并作为第二处理成本。
[0024] 优选地，所述方法还包括：将所述相关参数带入至所述高性能计算单元对应的所 述成本模型中，计算得到所述实体对象的处理成本，并作为第一成本；
[0025] 将所述相关参数带入至所述中性能计算单元对应的所述成本模型中，计算得到所 述实体对象的处理成本，并作为第二成本；
[0026] 当所述实体对象对应的数据量位于所述高性能计算模时，基于预先训练的成本模 型以及所述相关参数，计算所述实体对象对应的数据量从所述高性能计算单元传输至所述 中性能计算单元的传输成本，并作为第三成本；
[0027] 当所述实体对象对应的数据量位于所述中性能计算单元时，基于预先训练的成本 模型以及所述相关参数，计算所述实体对象对应的数据量从所述中性能计算单元传输至所 述高性能计算模的传输成本，并作为第四成本；
[0028] 基于所述第一成本以及所述第四成本，确定出第一处理成本；
[0029] 基于所述第二成本以及所述第三成本，确定出第二处理成本。
[0030] 优选地，所述方法还包括：针对处理场景、处理数据量以及所述计算单元配置一个 以上测试实例；
[0031] 对所述一个以上测试实例分别进行处理，并获取所述第一以上测试实例的处理成 本；
[0032] 采用反向传播BP神经网络算法，对所述一个以上测试实例的处理成本与相关参 数的关系进行训练以及拟合，得到所述成本模型。
[0033] 优选地，所述实体对象的相关参数至少包括以下信息的其中之一：存储位置、数据 量、维度字段、计算字段。
[0034] 一种数据处理装置，所述装置包括两个以上计算单元；所述系统还包括：接收单 元、解析单元、获取单元、第一处理单元、选择单元；其中，
[0035] 所述接收单元，用于接收客户端发送的第一消息；
[0036] 所述解析单元，用于对所述第一消息进行解析，得到所述第一消息对应的实体对 象；
[0037] 所述获取单元，用于获取所述实体对象的相关参数；
[0038] 所述第一处理单元，用于基于预先训练的成本模型以及所述相关参数，计算所述 实体对象的处理成本；
[0039] 所述选择单元，用于根据预设的成本策略解析所述处理成本，并为所述处理成本 选择对应的计算单元；通知所述处理成本对应的计算单元对所述实体对象进行处理；
[0040] 所述计算单元，用于收到所述选择单元的通知后，对所述实体对象进行处理。
[0041] 优选地，所述两个以上计算单元至少包括：高性能计算单元、中性能计算单元；所 述处理成本至少包括：通过所述高性能计算单元处理的第一处理成本、通过所述中性能计 算单元处理的第二处理成本；相应地，所述选择单元包括：第一选择子单元、第二选择子单 元；其中，
[0042] 所述第一选择子单元，用于比较所述第一处理成本与所述第二处理成本，当所述 第一处理成本大于或等于所述第二处理成本时，通过所述中性能计算单元处理所述实体对 象；
[0043] 所述第二选择子单元，用于当所述第一处理成本与第二处理成本满足以下公式 时，通过所述高性能计算单元处理所述实体对象；所述公式为：
[0044] Wl ^ τ XW2
[0045] 其中，Wl为第一处理成本；W2为第二处理成本；1彡τ彡1. 5。
[0046] 优选地，所述第一处理单元包括：第一计算子单元和第二计算子单元；其中，
[0047] 所述第一计算子单元，用于将所述相关参数带入至所述高性能计算单元对应的所 述成本模型中，计算得到所述实体对象的处理成本，并作为第一处理成本；
[0048] 所述第二计算子单元，用于将所述相关参数带入至所