一种数据处理方法及装置的制造方法_3

文档序号:8380957阅读:来源:国知局
第一处理成本大于或等于所述第 二处理成本时,通过所述中性能计算单元处理所述实体对象; 当所述第一处理成本与第二处理成本满足以下公式时,通过所述高性能计算单元处理 所述实体对象;所述公式为: Wl^TXW2 其中,Wl为第一处理成本;W2为第二处理成本;I<T< 1. 5。
3. 根据权利要求2所述的数据处理方法,其特征在于,所述基于预先训练的成本模型 以及所述相关参数,计算所述实体对象的处理成本,包括: 将所述相关参数带入至所述高性能计算单元对应的所述成本模型中,计算得到所述实 体对象的处理成本,并作为第一处理成本; 将所述相关参数带入至所述中性能计算单元对应的所述成本模型中,计算得到所述实 体对象的处理成本,并作为第二处理成本。
4. 根据权利要求2所述的数据处理方法,其特征在于,所述方法还包括: 将所述相关参数带入至所述高性能计算单元对应的所述成本模型中,计算得到所述实 体对象的处理成本,并作为第一成本; 将所述相关参数带入至所述中性能计算单元对应的所述成本模型中,计算得到所述实 体对象的处理成本,并作为第二成本; 当所述实体对象对应的数据量位于所述高性能计算模时,基于预先训练的成本模型以 及所述相关参数,计算所述实体对象对应的数据量从所述高性能计算单元传输至所述中性 能计算单元的传输成本,并作为第三成本; 当所述实体对象对应的数据量位于所述中性能计算单元时,基于预先训练的成本模型 以及所述相关参数,计算所述实体对象对应的数据量从所述中性能计算单元传输至所述高 性能计算模的传输成本,并作为第四成本; 基于所述第一成本以及所述第四成本,确定出第一处理成本; 基于所述第二成本以及所述第三成本,确定出第二处理成本。
5. 根据权利要求1至4任一项所述的数据处理方法,其特征在于,所述方法还包括: 针对处理场景、处理数据量以及所述计算单元配置一个以上测试实例; 对所述一个以上测试实例分别进行处理,并获取所述第一以上测试实例的处理成本; 采用反向传播BP神经网络算法,对所述一个以上测试实例的处理成本与相关参数的 关系进行训练以及拟合,得到所述成本模型。
6. 根据权利要求1至4任一项所述的数据处理方法,其特征在于,所述实体对象的相关 参数至少包括以下信息的其中之一:存储位置、数据量、维度字段、计算字段。
7. -种数据处理装置,其特征在于,所述装置包括两个以上计算单元;所述系统还包 括:接收单元、解析单元、获取单元、第一处理单元、选择单元;其中, 所述接收单元,用于接收客户端发送的第一消息; 所述解析单元,用于对所述第一消息进行解析,得到所述第一消息对应的实体对象; 所述获取单元,用于获取所述实体对象的相关参数; 所述第一处理单元,用于基于预先训练的成本模型以及所述相关参数,计算所述实体 对象的处理成本; 所述选择单元,用于根据预设的成本策略解析所述处理成本,并为所述处理成本选择 对应的计算单元;通知所述处理成本对应的计算单元对所述实体对象进行处理; 所述计算单元,用于收到所述选择单元的通知后,对所述实体对象进行处理。
8. 根据权利要求7所述的数据处理装置,其特征在于,所述两个以上计算单元至少包 括:高性能计算单元、中性能计算单元;所述处理成本至少包括:通过所述高性能计算单元 处理的第一处理成本、通过所述中性能计算单元处理的第二处理成本;相应地,所述选择单 元包括:第一选择子单元、第二选择子单元;其中, 所述第一选择子单元,用于比较所述第一处理成本与所述第二处理成本,当所述第一 处理成本大于或等于所述第二处理成本时,通过所述中性能计算单元处理所述实体对象; 所述第二选择子单元,用于当所述第一处理成本与第二处理成本满足以下公式时,通 过所述高性能计算单元处理所述实体对象;所述公式为: Wl^TXW2 其中,Wl为第一处理成本;W2为第二处理成本;I<T< 1. 5。
9. 根据权利要求8所述的数据处理装置,其特征在于,所述第一处理单元包括:第一计 算子单元和第二计算子单元;其中, 所述第一计算子单元,用于将所述相关参数带入至所述高性能计算单元对应的所述成 本模型中,计算得到所述实体对象的处理成本,并作为第一处理成本; 所述第二计算子单元,用于将所述相关参数带入至所述中性能计算单元对应的所述成 本模型中,计算得到所述实体对象的处理成本,并作为第二处理成本。
10. 根据权利要求8所述的数据处理装置,其特征在于,所述第一处理单元还包括:第 一计算子单元、第二计算子单元、第三计算子单元、第四计算子单元;其中, 所述第一计算子单元,用于将所述相关参数带入至所述高性能计算单元对应的所述成 本模型中,计算得到所述实体对象的处理成本,并作为第一成本; 所述第二计算子单元,用于将所述相关参数带入至所述中性能计算单元对应的所述成 本模型中,计算得到所述实体对象的处理成本,并作为第二成本; 所述第三计算子单元,用于在所述实体对象对应的数据量位于所述高性能计算模时, 基于预先训练的成本模型以及所述相关参数,计算所述实体对象对应的数据量从所述高性 能计算单元传输至所述中性能计算单元的传输成本,并作为第三成本; 所述第四计算子单元,用于在所述实体对象对应的数据量位于所述中性能计算单元 时,基于预先训练的成本模型以及所述相关参数,计算所述实体对象对应的数据量从所述 中性能计算单元传输至所述高性能计算模的传输成本,并作为第四成本; 相应地,所述装置还包括确定单元,所述确定单元包括第一确定子单元、第二确定子单 元;其中, 所述第一确定子单元,用于基于所述第一成本以及所述第四成本,确定出第一处理成 本; 所述第二确定子单元,用于基于所述第二成本以及所述第三成本,确定出第二处理成 本。
11. 根据权利要求7至10任一项所述的数据处理装置,其特征在于,所述装置还包括: 配置单元、第二处理单元、拟合单元;其中, 所述配置单元,用于针对处理场景、处理数据量以及所述计算单元配置一个以上测试 实例; 所述第二处理单元,用于对所述一个以上测试实例分别进行处理,并获取所述第一以 上测试实例的处理成本; 所述拟合单元,用于采用BP神经网络算法,对所述一个以上测试实例的处理成本与相 关参数的关系进行训练以及拟合,得到所述成本模型。
12. 根据权利要求8或9所述的数据处理装置,其特征在于,所述实体对象的相关参数 至少包括以下信息的其中之一:存储位置、数据量、维度字段、计算字段。
【专利摘要】本发明公开了一种数据处理方法,该方法应用于服务器中,所述服务器包括两个以上计算单元;所述方法包括:接收客户端发送的第一消息;对所述第一消息进行解析,得到所述第一消息对应的实体对象;获取所述实体对象的相关参数;基于预先训练的成本模型以及所述相关参数,计算所述实体对象的处理成本;根据预设的成本策略解析所述处理成本,并为所述处理成本选择对应的计算单元;通过所述处理成本对应的计算单元对所述实体对象进行处理。本发明还同时公开了一种数据处理装置。采用本发明的技术方案,能够提高服务器的处理能力,有效提高服务器的利用率,提升用户体验。
【IPC分类】G06F17-30
【公开号】CN104699697
【申请号】CN201310653385
【发明人】田雷
【申请人】中国移动通信集团天津有限公司
【公开日】2015年6月10日
【申请日】2013年12月4日
当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1