一种矩阵向量乘法的实现方法和装置与流程

本发明实施例涉及高性能计算领域，尤其涉及一种矩阵向量乘法的实现方法和装置。

背景技术：

当前社会人类的数据大爆炸，信息数据越来越多，人们对信息数据的处理能力的要求也越来越高，例如在人工智能、气象预报、航天国防、金融经济、石油勘探、科学研究等领域，对高性能运算的需求与日俱增，而高性能的矩阵向量乘法计算，更是其重要的基石。但目前的矩阵向量乘法中采用的方案是cpu(centralprocessingunit中央处理器)串行计算矩阵向量乘法，即对矩阵中的一个数据乘完以后再进行下一个数据的相乘，计算时间长，效率低，远不能满足当前日益增长的数据处理速度要求。

技术实现要素：

为了解决上述问题，本发明实施例提出了一种矩阵向量乘法的实现方法和装置，能够在高性能计算平台上实施，充分利用计算机硬件资源，并且大大缩短了计算时间，提高了运算效率。

为了达到上述目的，本发明实施例提出了一种矩阵向量乘法的实现方法，该方法包括：

在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理；

将向量化处理后获得的多个子矩阵进行并行运算。

可选地，在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理包括：

将第一矩阵中的每一个行向量作为一个行数据块，并将第二矩阵中的每一个列向量作为一个列数据块；

分别将任意一个行数据块与任意一个列数据块传入一个kernel函数中，并获取多个kernel函数；其中，每个kernel函数与其中传入的行数据块和列数据块一一对应；

对每个kernel函数中的行数据块和列数据块分别进行向量化处理，以获得多个行向量子矩阵和多个列向量子矩阵。

可选地，对每个kernel函数中的行数据块和列数据块分别进行向量化处理包括：

采用opencl的向量vector数据类型，分别对行数据块中的每n个浮点型数据进行向量化处理以获得多个行向量子矩阵，并且分别对列数据块中的每n个浮点型数据进行向量化处理以获得多个列向量子矩阵，其中，n为正整数。

可选地，将向量化处理后获得的多个子矩阵进行并行运算包括：

在每个kernel函数中，分别将相互对应的行向量子矩阵与列向量子矩阵进行并行相乘。

可选地，n＝4。

为了达到上述目的，本发明实施例还提出了一种矩阵向量乘法的实现装置，该装置包括：处理模块和运算模块；

处理模块，用于在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理；

运算模块，用于将向量化处理后获得的多个子矩阵进行并行运算。

可选地，处理模块在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理包括：

将第一矩阵中的每一个行向量作为一个行数据块，并将第二矩阵中的每一个列向量作为一个列数据块；

分别将任意一个行数据块与任意一个列数据块传入一个kernel函数中，并获取多个kernel函数；其中，每个kernel函数与其中传入的行数据块和列数据块一一对应；

对每个kernel函数中的行数据块和列数据块分别进行向量化处理，以获得多个行向量子矩阵和多个列向量子矩阵。

可选地，处理模块对每个kernel函数中的行数据块和列数据块分别进行向量化处理包括：

采用opencl的vector数据类型，分别对行数据块中的每n个浮点型数据进行向量化处理以获得多个行向量子矩阵，并且分别对列数据块中的每n个浮点型数据进行向量化处理以获得多个列向量子矩阵，其中，n为正整数。

可选地，运算模块将向量化处理后获得的多个子矩阵进行并行运算包括：

在每个kernel函数中，分别将相互对应的行向量子矩阵与列向量子矩阵进行并行相乘。

可选地，n＝4。

本发明实施例方案包括：在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理；将向量化处理后获得的多个子矩阵进行并行运算。通过本发明实施例的方案，能够在高性能计算平台上实施，充分利用了计算机硬件资源，并且大大缩短了计算时间，提高了运算效率。

附图说明

下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明实施例的进一步理解，与说明书一起用于解释本发明实施例，并不构成对本发明实施例保护范围的限制。

图1为本发明实施例的矩阵向量乘法的实现方法流程图；

图2为本发明实施例的对相乘的第一矩阵和第二矩阵分别进行向量化处理方法流程图；

图3为本发明实施例的对第一矩阵和第二矩阵进行数据块划分示意图；

图4为本发明实施例的矩阵向量乘法的opencl框架流程图；

图5为本发明实施例的kernel函数中对行数据块与列数据块进行向量化示意图；

图6为本发明实施例的矩阵向量乘法的实现装置组成框图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明实施例作进一步的描述，并不能用来限制本发明实施例的保护范围。

本发明实施例提出了一种矩阵向量乘法的实现方法，如图1所示，该方法可以包括s101-s102：

s101、在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理。

在本发明实施例中，为了解决当前矩阵乘法运算方法存在的速度慢、效率低的问题，提出了一种基于opencl的矩阵向量乘法实现方法。opencl(opencomputinglanguage开放运算语言)语言，它是开放的、跨平台的面向异构系统通用目的的并行编程框架。在目前的可实现并行加速的计算机硬件条件下，可以充分利用计算机硬件资源，提高矩阵向量乘法的运算效率；所述的计算机硬件为所有支持opencl的计算机硬件平台，例如，此计算机硬件平台可由cpu、gpu(graphicprocessingunit，图形处理器)或其他类型的处理器组成。

在本发明实施例中，基于opencl的矩阵向量乘法实现的方法是通过将运算矩阵分块处理，分块个数与矩阵行列数相等，从而实现数据的并行化处理。具体可以通过以下方案实现。

可选地，如图2所示，在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理可以包括s201-s203：

s201、将第一矩阵中的每一个行向量作为一个行数据块，并将第二矩阵中的每一个列向量作为一个列数据块。

在本发明实施例中，在opencl框架下首先进行初始化工作，对设备device、上下文context、程序program等必需的组件进行定义与赋值，然后对相乘的第一矩阵和第二矩阵进行分块处理。具体地，可以将第一矩阵中的每一个行向量作为一个行数据块，并将第二矩阵中的每一个列向量作为一个列数据块。如图3所示的行数据块hblock1、hblock2、hblock3……hblockn，以及列数据块lblock1、lblock2、lblock3……lblockn。

s202、分别将任意一个行数据块与任意一个列数据块传入一个kernel函数中，并获取多个kernel函数；其中，每个kernel函数与其中传入的行数据块和列数据块一一对应。

在本发明实施例中，如图4所示，在进行计算时，可以将任意的一个行数据块以及一个列数据块传入一个kernel函数中，例如，将hblock1与lblock1传入kernel中，将hblock2与lblock1传入kerne2中，将hblock3与lblock1传入kerne3中，……，依此类推，将不同的行数据块与列数据块的组合放入不同的kernel函数中，以在不同的kernel函数中分别对相应的行数据块与列数据块做并行乘法运算。

s203、对每个kernel函数中的行数据块和列数据块分别进行向量化处理，以获得多个行向量子矩阵和多个列向量子矩阵。

在本发明实施例中，在将行数据块与列数据块传入不同的kernel函数中以后，在每个kernel函数中，还可以进一步对行数据块与列数据块进行向量化处理，以将该行数据块与列数据块进一步划分为更小的子向量或子矩阵。具体可以通过以下方案实现。

可选地，对每个kernel函数中的行数据块和列数据块分别进行向量化处理包括：

采用opencl的向量vector数据类型，分别对行数据块中的每n个浮点型数据进行向量化处理以获得多个行向量子矩阵，并且分别对列数据块中的每n个浮点型数据进行向量化处理以获得多个列向量子矩阵，其中，n为正整数。

在本发明实施例中，如图5所示，在kernel函数的运算当中，采用opencl的vector数据类型，可以进一步将每个行数据块以及列数据块中包含的数据进行向量化处理，每个行数据块和列数据块可以被划分为多个子矩阵，每个子矩阵中可以包含n个浮点型数据。

在本发明实施例中，n的数值可以根据当前计算平台的计算能力进行确定，如果当前计算平台的计算能力较强，可以将n的数值设置的较小一些，如果当前计算平台的计算能力较差，可以将n的数值设置的较大一些。可选地，n＝4。例如，将行数据块中的每相邻的4个单精度浮点数据作为一个行向量子矩阵，对应地，将列数据块中的每相邻的4个单精度浮点数据作为一个列向量子矩阵，如图5所示的行向量子矩阵hvector1、hvector2……hvectorn，以及列向量子矩阵lvector1、lvector2……lvectorn。

s102、将向量化处理后获得的多个子矩阵进行并行运算。

在本发明实施例中，对每个kernel函数中的数据块进一步向量化以后，便可以对向量化后的多个子矩阵采用异步线程进行并行运算了。

可选地，将向量化处理后获得的多个子矩阵进行并行运算可以包括：

在每个kernel函数中，分别将相互对应的行向量子矩阵与列向量子矩阵进行并行相乘。

在本发明实施例中，例如分别将hvector1与lvector1相乘，将hvector2与lvector2相乘，……将hvectorn与lvectorn相乘，并且上述运算并行进行，当n＝4时，使得每一个线程一次处理4个单精度浮点数操作，从而利用向量运算进一步提高运算效率。每个计算单元在运算过程中相互独立，无需通信，故也具有良好的可拓展性，并且该实施例方案兼顾了并行粒度与运算效率。

在本发明实施例中，通过本发明实施例方案将实现高性能计算单元之间独立运算，无需通信或相互等待，实现高性能快速计算；并且本发明实施例方案具有良好的平台移植性，由于opencl的跨平台特性，此实施例方案可方便的移植到所有支持opencl的异构高性能计算平台上；与传统的cpu串行计算矩阵向量乘法相比，利用了数据并行与向量化方法，大大提高了计算效率。

为了达到上述目的，本发明实施例还提出了一种矩阵向量乘法的实现装置1，需要说明的是，上述的方法实施例中的任意一个实施例均适用于本发明的装置实施例中，在此不再赘述，如图6所示，该装置可以包括：处理模块11和运算模块12；

处理模块11，用于在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理；

运算模块12，用于将向量化处理后获得的多个子矩阵进行并行运算。

可选地，处理模块11在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理包括：

将第一矩阵中的每一个行向量作为一个行数据块，并将第二矩阵中的每一个列向量作为一个列数据块；

分别将任意一个行数据块与任意一个列数据块传入一个kernel函数中，并获取多个kernel函数；其中，每个kernel函数与其中传入的行数据块和列数据块一一对应；

对每个kernel函数中的行数据块和列数据块分别进行向量化处理，以获得多个行向量子矩阵和多个列向量子矩阵。

可选地，处理模块11对每个kernel函数中的行数据块和列数据块分别进行向量化处理包括：

采用opencl的vector数据类型，分别对行数据块中的每n个浮点型数据进行向量化处理以获得多个行向量子矩阵，并且分别对列数据块中的每n个浮点型数据进行向量化处理以获得多个列向量子矩阵，其中，n为正整数。

可选地，运算模块12将向量化处理后获得的多个子矩阵进行并行运算包括：

在每个kernel函数中，分别将相互对应的行向量子矩阵与列向量子矩阵进行并行相乘。

可选地，n＝4。

本发明实施例方案包括：在开放运算语言opencl框架下，对相乘的第一矩阵和第二矩阵分别进行向量化处理；将向量化处理后获得的多个子矩阵进行并行运算。通过本发明实施例的方案，能够在高性能计算平台上实施，充分利用了计算机硬件资源，并且大大缩短了计算时间，提高了运算效率。

需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明实施例的保护范围，在不脱离本发明实施例的发明构思的前提下，本领域技术人员对本发明实施例所做出的任何显而易见的替换和改进等均在本发明实施例的保护范围之内。