0127]现有技术中，异构硬件处理这种大数据应用时，将数据分批载入到异构硬件内存，会使载入的数据与程序运行所需的数据不一致，如此，不仅占用异构硬件的内存，还会影响到程序的正常运行。与现有技术相比，本发明中装置40接收主机Host发送的要运行的程序和程序运行所需源数据在Host中存储的地址信息，地址信息为数据源存储的地址信息；建立本地存源储数据的虚拟地址与地址信息的映射关系；当装置40运行程序过程中调用源数据中的目标数据时，装置40根据映射关系和目标数据的虚拟地址确定目标数据的地址信息，并向Host发送携带目标数据地址信息的数据请求，以便于Host根据目标数据的地址信息查找目标数据；在接收Host回复的目标数据后，使用目标数据运行程序。如此，当装置40处理大数据应用时，不需要将数据载入装置40的内存，只需要载入数据在Host中存储的地址信息，同时建立数据在本地虚拟地址与地址信息的映射，当装置40在运行程序的过程中需要调用数据时，可以通过本地虚拟地址和映射确定数据在Host中存储的地址信息，然后向Host发送携带地址信息的请求，在Host返回数据后，使用数据继续运行程序，既可以避免多余数据载入装置40，浪费装置40的内存，又不影响程序的正常运行。
[0128]本发明实施例提供的异构硬件中大数据处理的装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的异构硬件中大数据处理的方法及装置可以适用于异构硬件，但不仅限于此。
[0129]本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。
[0130]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0131]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
【主权项】
1.一种异构硬件中大数据处理的方法，异构硬件与主机Host连接，其特征在于，包括: 接收所述Host发送的程序和地址信息，所述程序为在异构硬件上运行的程序，所述地址信息为源数据在所述Host中存储的地址信息，所述源数据为所述异构硬件上运行所述程序所需的数据； 建立本地存储所述源数据的虚拟地址与所述地址信息的映射关系； 当所述异构硬件运行所述程序过程中调用目标数据时，向所述Host发送目标数据请求，所述目标数据请求携带所述目标数据的地址信息，以便于所述Host根据所述目标数据的地址信息查找所述目标数据，所述目标数据的地址信息为所述异构硬件根据所述映射关系和所述目标数据的虚拟地址确定，所述目标数据属于所述源数据； 在接收所述Host回复的目标数据后，使用所述目标数据运行所述程序。2.根据权利要求1所述的方法，其特征在于，当所述源数据存储于所述Host的内存时，所述地址信息为所述Host存储所述源数据的物理地址； 当所述源数据存储于所述Host的磁盘时，所述地址信息为所述Host存储所述源数据的虚拟地址。3.根据权利要求1所述的方法，其特征在于，在所述使用所述目标数据运行所述程序之前，所述方法还包括: 将所述目标数据存储在所述异构硬件的内存中； 将本地存储所述目标数据的虚拟地址与所述目标数据的地址信息之间的映射关系修改为本地存储所述目标数据的虚拟地址与所述目标数据在所述异构硬件内存中物理地址之间的映射关系。4.根据权利要求3所述的方法，其特征在于，当所述源数据存储于所述Host的磁盘时，在所述将所述目标数据存储在所述异构硬件的内存中之前，所述方法还包括: 接收所述Host回复的所述目标数据在所述Host的内存中存储的物理地址，所述物理地址为所述Host从磁盘中调取所述目标数据后存储在所述Host的内存中的物理地址；将本地存储所述目标数据的虚拟地址与所述目标数据的地址信息之间的映射关系修改为本地存储所述目标数据的虚拟地址与在所述Host的内存中存储的物理地址之间的映身寸关系； 向所述Host发送部分目标数据请求，所述部分目标数据请求携带部分目标数据在所述Host的内存中存储的物理地址，以便于所述Host根据所述部分目标数据在所述Host的内存中存储的物理地址查找所述部分目标数据； 则所述在接收所述Host回复的目标数据后，使用所述目标数据运行所述程序包括: 在接收所述Host回复的部分目标数据后，使用所述部分目标数据运行所述程序。5.根据权利要求1所述的方法，其特征在于，在所述当所述异构硬件运行所述程序过程中调用目标数据时，向所述Host发送数据请求之前，所述方法还包括: 为所述地址信息添加标识，所述标识表示所述地址信息为所述数据在所述Host中存储的地址信息。6.一种异构硬件中大数据处理的装置，其特征在于，包括: 接收单元，用于接收所述Host发送的程序和地址信息，所述程序为在异构硬件上运行的程序，所述地址信息为源数据在所述Host中存储的地址信息，所述源数据为所述异构硬件上运行所述程序所需的数据； 建立单元，用于建立本地存储所述源数据的虚拟地址与所述地址信息的映射关系； 请求单元，用于当所述异构硬件运行所述程序过程中调用目标数据时，向所述Host发送目标数据请求，所述目标数据请求携带所述目标数据的地址信息，以便于所述Host根据所述目标数据的地址信息查找所述目标数据，所述目标数据的地址信息为所述异构硬件根据所述映射关系和所述目标数据的虚拟地址确定，所述目标数据属于所述源数据； 使用单元，用于在接收所述Host回复的目标数据后，使用所述目标数据运行所述程序。7.根据权利要求6所述的装置，其特征在于，当所述源数据存储于所述Host的内存时，所述地址信息为所述Host存储所述源数据的物理地址； 当所述源数据存储于所述Host的磁盘时，所述地址信息为所述Host存储所述源数据的虚拟地址。8.根据权利要求6所述的装置，其特征在于，所述装置还包括: 存储单元，用于将所述目标数据存储在所述异构硬件的内存中； 修改单元，用于将本地存储所述目标数据的虚拟地址与所述目标数据的地址信息之间的映射关系修改为本地存储所述目标数据的虚拟地址与所述目标数据在所述异构硬件内存中物理地址之间的映射关系。9.根据权利要求8所述的装置，其特征在于，所述接收单元还用于接收所述Host回复的所述目标数据在所述Host的内存中存储的物理地址，所述物理地址为所述Host从磁盘中调取所述目标数据后存储在所述Host的内存中的物理地址； 所述修改单元还用于将本地存储所述目标数据的虚拟地址与所述目标数据的地址信息之间的映射关系修改为本地存储所述目标数据的虚拟地址与在所述Host的内存中存储的物理地址之间的映射关系； 所述请求单元还用于向所述Host发送部分目标数据请求，所述部分目标数据请求携带部分目标数据在所述Host的内存中存储的物理地址，以便于所述Host根据所述部分目标数据在所述Host的内存中存储的物理地址查找所述部分目标数据； 所述使用单元还用于在接收所述Host回复的部分目标数据后，使用所述部分目标数据运行所述程序。10.根据权利要求6所述的装置，其特征在于，所述装置还包括: 添加单元，用于为所述地址信息添加标识，所述标识表示所述地址信息为所述数据在所述Host中存储的地址信息。
【专利摘要】本发明实施例公开了一种异构硬件中大数据处理的方法及装置，涉及通信技术领域，能够解决异构硬件处理大数据应用，载入的数据与程序运行所需的数据不一致，占用异构硬件的内存，并影响到程序的正常运行的问题。本发明的方法包括：接收所述Host发送的程序和地址信息；建立本地存储所述源数据的虚拟地址与所述地址信息的映射关系；当所述异构硬件运行所述程序过程中调用目标数据时，向所述Host发送目标数据请求；在接收所述Host回复的目标数据后，使用所述目标数据运行所述程序。本发明适用于异构硬件。
【IPC分类】G06F17/30, G06F3/06, G06F12/02
【公开号】CN105630690
【申请号】CN201410608826
【发明人】解壁伟, 高云伟, 詹剑锋, 张立新
【申请人】华为技术有限公司, 中国科学院计算技术研究所
【公开日】2016年6月1日
【申请日】2014年10月31日