一种基于GPUDerict RDMA测试方法
【技术领域】
[0001 ] 本发明涉及GPU服务器测试领域，具体涉及一种基于GPUDerict RDMA测试方法。
【背景技术】
[0002]随着IT领域技术的不断发展，传统信息化服务以及日趋强大的云计算服务对服务器的要求越来越高，技术的更新换代时间越来越快，通用处理器CPU无论是在频率、内存带宽、多核乃至制程和指令集上的优化，都遇到了前所未有的困难。但是GHJ服务器在异构计算领域打开了一扇门，愈来愈多的超算中心、企业和研究机构正在构建以协处理器为核心的计算资源池，并在异构平台上发展和优化出适配的应用层，客户对GPU服务器的需求越来多大，用以满足日益增长的计算能力需求。
【发明内容】
[0003]本发明的技术任务是针对现有技术的不足，提供一种基于GPUDerictRDMA测试方法。本方法既对GPU服务器性能进行了有效测试，又为客户对GPU服务器的性能需求提供了重要性能数据。
[0004 ]本发明解决其技术问题所采用的技术方案是:
一种基于GPUDerict RDMA测试方法，直接访问GPU内存，避免访问固定(pinned) CUDA主机内存时不必要的系统内存拷贝和CPU的开销，加速了与网络和存储设备之间的通信可以在同一系统中的一个GPU直接访问另一个GPU使用直接的高速DMA传输，增加了 P2P的内存访问，真正释放了主机CPU资源，消除主机了CPU中不必要的频繁数据传输，完全不参与输入的RDMA操作；包括HCA卡、GI3U卡、GI3U必备的Nvidia Driver^Nvidia CUDA toolkit，及infiniband必备的MLNX_0FED驱动外，以及一个GPU与IB卡通信的nv_peer_mem包。
[0005]HCA卡为Mellanox ConnectX及以后产品，GPU卡为K20及以后产品。
[0006]GPUDirect RDMA测试方法如下:
1、测试工具
a、cuda_6.5.14_linux_64.run
b、nvidia_peer_memory_l.0-0.tar.gz
c、mvapich2-gdr_cuda6.5-gnu_2.1-0.1.a.el6.x86_64.rpm
d、MLNX_0FED_LINUX-2.4-1.0.0-rhel6.2_x86_64.1so
2、测试方法
a、HCA驱动安装
mount -o ro,loop MLNX_0FED_LINUX_2.4-1.0.0-rhel6.2_x86_64.1so /mntcd /mnt./mlnxofedinstall
b、显卡驱动安装
chmod 777 cuda_6.5.14_1inux_64.run./cuda—6.5.14—1inux—64.run —extract=/root/rdma./NVIDIA-Linux-x86_64-340.29.run
c、CUDA安装./cuda-linux64-rel-6.5.14-18749181.run
d、环境变量设置 vi ?/.bashrc
在最后添加:export PATH=/usr/local/cuda-6.5/bin: $PATH export LD—LIBRARY—PATH=/usr/local/cuda-6.5/1ib64:$LD—LIBRARY—PATHsource ?/.bashrcvi /etc/ld.s0.conf
在最后添加:/usr/local/cuda-6.5/lib64Ldconfig
e、nv—peer—mem安装
tar-zxf../nvidia_peer—memory-1.0-0.tar.gzrpmbuiId—rebuildnvidia_peer—memory-1.0-0.src.rpm
rpm-1vh/root/rpmbuild/RPMS/x86—64/nvidia—peer—memory-1.0-0.x86_64.rpm/ etc/init.d/nv_peer—memstart 启动 nv_peer—mem 月艮务
f、mvapich2安装
rpm -Uvh —nodeps mvapich2-gdr-cuda6.5-gnu~2.1-0.1.a.el6.x86_64.rpm
g、GPUDirectRDMA带宽测试
/opt/mvapich2/gdr/2.l/cuda6.5/gnu/bin/mpirun_rsh _np 2 cl c2 MV2_USE_CUDA=1 MV2_USE_GPUDIRECT=I /opt/mvapich2/gdr/2.1/cuda6.5/gnu/libexec/mvapich2/osu—bw -d cuda D D
h、GPUDirectRDMA延迟测试
/opt/mvapich2/gdr/2.l/cuda6.5/gnu/bin/mpirun_rsh-np2clc2MV2_USE_CUDA=lMV2—USE—GPUDIRECT=1 /opt/mvapich2/gdr/2.1/cuda6.5/gnu/libexec/mvapich2/osu_latency _d cuda D D
本发明的一种基于GPUDerict RDMA测试方法与现有技术相比，所产生的有益效果是，本发明直接访问GPU内存，避免访问固定(pinned)⑶DA主机内存时不必要的系统内存拷贝和CPU的开销，加速了与网络和存储设备之间的通信可以在同一系统中的一个GPU直接访问另一个GPU使用直接的高速DMA传输，增加了P2P的内存访问，真正释放了主机CPU资源，消除主机了 CPU中不必要的频繁数据传输，完全不参与输入的RDMA操作。
[0007]GPUDirect RDMA测试方法既对GPU服务器性能进行了有效测试，又为客户对GPU月艮务器的性能需求提供了重要性能数据。该测试方法操作简单，自动化程度高，实用性较强，能够节省人力，有效确保了服务器性能的稳定性，是验证GPU服务器产品质量非常有效的方法。
【附图说明】
[0008]图1是基于GPUDerict RDMA测试方法示意图。
【具体实施方式】
[0009]下面结合附图对本发明的一种基于GPUDerict RDMA测试方法作以下详细地说明。
[0010]一种基于GPUDerict RDMA测试方法，直接访问GPU内存，避免访问固定(pinned)CUDA主机内存时不必要的系统内存拷贝和CPU的开销，加速了与网络和存储设备之间的通信可以在同一系统中的一个GPU直接访问另一个GPU使用直接的高速DMA传输，增加了P2P的内存访问，真正释放了主机CPU资源，消除主机了CPU中不必要的频繁数据传输，完全不参与输入的RDMA操作;包括HCA卡、GPU卡、GPU必备的Nvidia Driver,Nvidia CUDA toolkit，及inf iniband必备的MLNX—OFED驱动外，以及一个GPU与IB卡通信的nv—peer—mem包。
[0011 ] HCA卡为Mellanox ConnectX及以后产品，GPU卡为K20及以后产品。
[0012] GPUDirect RDMA测试方法如下:
3、测试工具
h、cuda—6.5.14_1inux_64.run
1、nvidia_peer—memory-1.0-0.tar.gz
j、mvapich2-gdr_cuda6.5_gnu_2.1-0.l.a.el6.x86_64.rpmk,MLNX_0FED_LINUX-2.4-1.0.0-rhel6.2_x86—64.1so
4、测试方法 b、HCA驱动安装
mount -o ro,loop MLNX—0FED—LINUX-2.4-1.0.0_rhel6.2_x86—64.1so /mntcd /mnt./mlnxofedinstall
b、显卡驱动安装
chmod 777 cuda_6.5.14_1inux_64.run./cuda—6.5.14—1inux—64.run —extract=/root/rdma./NVIDIA-Linux-x86_64-340.29.run
c、CUDA安装./cuda-linux64-rel-6.5.14-18749181.run
d、环境变量设置 vi ?/.bashrc
在最后添加:export PATH=/usr/local/cuda-6.5/bin: $PATH export LD—LIBRARY—PATH=/usr/local/cuda-6.5/1ib64:$LD—LIBRARY—PATHsource ?/.bashrcvi /etc/ld.s0.conf
在最后添加:/usr/local/cuda-6.5/lib64Ldconfig
1、nv_peer—mem 安装
tar -zxf../nvidia_peer_memory-l.0-0.tar.gzrpmbuiId —rebuild nvidia_peer_memory-l.0-0.src.rpm
rpm -1vh /root/rpmbuild/RPMS/x86—64/nvidia—peer—memory-1.0-0.x86_64.rpm/etc/init.d/nv_peer_mem start 启动nv_peer—mem月艮务m、mvapich2 安装
rpm -Uvh —nodeps mvapich2-gdr-cuda6.5-gnu~2.1-0.1.a.el6.x86_64.rpmn,GPUDirect RDMA带宽测试
/opt/mvapich2/gdr/2.l/cuda6.5/gnu/bin/mpirun_rsh _np 2 cl c2 MV2_USE_CUDA=1 MV2_USE_GPUDIRECT=I /opt/mvapich2/gdr/2.1/cuda6.5/gnu/libexec/mvapich2/osu—bw -d cuda D D
h,GPUDirect RDMA延迟测试
/opt/mvapich2/gdr/2.l/cuda6.5/gnu/bin/mpirun_rsh _np 2 cl c2 MV2_USE_CUDA=1 MV2_USE_GPUDIRECT=I /opt/mvapich2/gdr/2.1/cuda6.5/gnu/libexec/mvapich2/osu_latency _d cuda D D
随着传统信息化服务以及日趋强大的云计算服务对服务器的要求越来越高，客户对GPU服务器的需求日益增加，GPUDirect RDMA测试方法既对GPU服务器性能进行了有效测试，又为客户对GPU服务器的性能需求提供了重要性能数据。该测试方法操作简单，自动化程度高，实用性较强，能够节省人力，有效确保了服务器性能的稳定性，是验证GPU服务器产品质量非常有效的方法。
【主权项】
1.一种基于GPUDeriCt RDMA测试方法，其特征在于直接访问GPU内存，避免访问固定(pinned) CUDA主机内存时不必要的系统内存拷贝和CPU的开销，加速了与网络和存储设备之间的通信可以在同一系统中的一个GPU直接访问另一个GPU使用直接的高速DMA传输，增加了P2P的内存访问，真正释放了主机CPU资源，消除主机了CPU中不必要的频繁数据传输，完全不参与输入的RDMA操作；包括HCA卡、GPU卡、Nvidia Driver^Nvidia CUDA toolkit、MLNX_0FED驱动和GPU与IB卡通信的nv_peer_mem包。2.根据权利要求1所述的一种基于GPUDerictRDMA测试方法，其特征在于HCA卡为Mellanox ConnectX0
【专利摘要】本发明提供一种基于GPUDerict？RDMA测试方法，包括HCA卡、GPU卡、Nvidia？Driver、Nvidia？CUDA？toolkit、MLNX_OFED驱动和GPU与IB卡通信的nv_peer_mem包。直接访问GPU内存，避免访问固定(pinned)？CUDA主机内存时不必要的系统内存拷贝和CPU的开销，加速了与网络和存储设备之间的通信可以在同一系统中的一个GPU直接访问另一个GPU使用直接的高速DMA传输。该测试方法操作简单，自动化程度高，实用性较强，能够节省人力，有效确保了服务器性能的稳定性，是验证GPU服务器产品质量非常有效的方法。
【IPC分类】G06F11/22, G06F13/28
【公开号】CN105550085
【申请号】CN201510915330
【发明人】潘霖
【申请人】浪潮电子信息产业股份有限公司
【公开日】2016年5月4日
【申请日】2015年12月10日