一种数据处理系统和电子设备的制作方法

本发明涉及人工智能领域，尤其涉及一种数据处理系统和电子设备。

背景技术：

随着工业机器人、智能移动设备等智能设备的发展，这些设备常常需要对接收的各种数据进行非常复杂的处理，而神经网络却以其强大的计算能力和机器学习能力更好地进行数据的复杂处理，成为目前流行的数据处理的方式之一，但是，现有的神经网络加速器的带宽或计算能力有限，进而加大了神经网络的延迟，并且降低了神经网络对数据处理的效率。至于其他的数据处理方式对数据进行复杂处理的效率更低、延迟更大。

技术实现要素：

本发明实施例提供了一种数据处理系统和电子设备，用以解决现有技术中数据处理效率低、延迟大的问题。

本发明实施例提供了一种数据处理系统，所述系统包括：主现场可编程门阵列fpga和至少一个从fpga，其中所述主fpga和每个从fpga之间互连；

所述主fpga，用于提取输入的图像中的特征信息；

从fpga，用于根据自身的需求，获取所述主fpga提取的所述特征信息中的对应特征向量，对获取的所述特征向量进行分析。

进一步地，所述主fpga和每个从fpga之间通过chip2chip总线互连。

进一步地，所述从fpga包括第一从fpga；

所述第一从fpga，用于获取所述主fpga提取的所述特征信息中对应的目标检测的第一特征向量，根据所述第一特征向量对所述图像进行分割识别，确定所述图像中的目标。

进一步地，所述从fpga包括第二从fpga；

所述第二从fpga，用于获取所述主fpga提取的所述特征信息中对应的语义分割的第二特征向量，根据所述第二特征向量，将所述图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签。

进一步地，所述从fpga包括第三从fpga；

所述第三从fpga，用于获取所述主fpga提取的所述特征信息中对应的运动检测的第三特征向量，根据所述第三特征向量，确定所述图像中的目标事物以及所述目标事物在所述图像中的位置。

进一步地，所述从fpga包括第四从fpga；

所述第四从fpga，用于获取所述主fpga提取的所述特征信息中对应的图像增强的第四特征向量，根据所述第四特征向量，以及预先设置的对所述图像的处理需求，对所述图像中的数据进行相应的变换处理或增加一些其他的数据信息，突出所述图像中需要强调的特征和/或抑制所述图像中不需要强调的特征。

进一步地，所述主fpga中部署有神经网络的骨干网络，其中所述骨干网络的训练过程包括：获取训练样本集中的每个训练样本，预先在训练样本中设置了相应的标签，将每个训练样本输入到神经网络中，根据该神经网络的输出以及每个训练样本对应的标签，对该神经网络进行训练，训练完成的神经网络中实现特征信息识别的构成骨干网络。

本发明实施例提供了一种电子设备，所述电子设备包括上述任一所述的数据处理系统。

本发明实施例提供了一种数据处理系统和电子设备，该系统包括：主现场可编程门阵列fpga和至少一个从fpga，其中所述主fpga和每个从fpga之间通过chip2chip总线互连；所述主fpga，用于提取输入的图像中的特征信息；从fpga，用于根据自身的需求，获取所述主fpga提取的所述特征信息中的对应特征向量，对获取的所述特征向量进行分析。

由于本发明实施例中采用包括主fpga和至少一个从fpga的fpga阵列进行数据处理，因此可以有效的提高带宽、计算能力以及数据处理的效率，减低系统的延迟。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种数据处理系统的结构示意图；

图2为本发明实施例2提供的一种数据处理系统的工作原理示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种数据处理系统的结构示意图，所述系统包括：主现场可编程门阵列（field-programmablegatearray，fpga）和至少一个从fpga，其中所述主fpga和每个从fpga之间互连；

所述主fpga，用于提取输入的图像中的特征信息；

从fpga，用于根据自身的需求，获取所述主fpga提取的所述特征信息中的对应特征向量，对获取的所述特征向量进行分析。

为了提高数据处理效率，本发明实施例将若干个fpga组成fpga阵列结构，该阵列结构中包括主fpga，和至少一个从fpga，主fpga和从fpga之间的连接方式不做限定，具体地，主fpga和从fpga之间可以通过chip2chip总线互连。

其中，fpga阵列中的每个fpga可以计算处理不同功能的数据，实现数据的并行处理。具体地，主fpga可以根据预先设定好的信息提取规则，提取输入图像中的特征信息，负责不同功能的从fpga则可以根据实现自身功能的需求，获取该特征信息中对应的特征向量，然后对获取到的该特征向量进行分析，得出相应的结果。

具体的，在该主fpga中部署有深度神经网络的骨干网络，该骨干网络负责特征提取，从fpga中可以部署对骨干网络提取的特征进行后续分析的各个功能模块，并且可以根据需求灵活的进行从fpga的部署，也就是说该fpga阵列的结构扩展灵活，并且可以适用于基于深度神经网络的多种场景，并且因为采用了fpga阵列的结构使得整体的计算能力提高，带宽提高，并降低了系统延迟。

由于本发明实施例中采用包括主fpga和至少一个从fpga的fpga阵列进行数据处理，因此可以有效的提高带宽、计算能力以及数据处理的效率，减低系统的延迟。

实施例2：

在上述实施例的基础上，为了更加合理利用每个从fpga，所述从fpga包括第一从fpga；

所述第一从fpga，用于获取所述主fpga提取的所述特征信息中对应的目标检测的第一特征向量，根据所述第一特征向量对所述图像进行分割识别，确定所述图像中的目标。

本发明实施例提供的数据处理系统可以应用于无人驾驶车辆中，该从fpga包括第一从fpga，第一从fpga中部署有进行目标检测的功能模块。

第一从fpga可以获取主fpga提取的有关目标检测的特征信息，并对该特征信息进行处理分析，从而根据分析结果确定输入图像中的目标；也可以获取主fpga提取的所述特征信息中对应的目标检测的第一特征向量，根据该第一特征向量对所述图像进行分割识别，确定所述图像中的目标。为了提高目标检测的准确度，本发明实施例优选获取主fpga提取的所述特征信息中对应的目标检测的第一特征向量，根据该第一特征向量对所述图像进行分割识别，确定所述图像中的目标。

上述数据处理系统可以应用于安防监控或医疗图像中，该从fpga也可以包括第二从fpga，第二从fpga中部署有进行语义分割的功能模块。

第二从fpga可以获取主fpga提取的有关语义分割的特征信息，并对该特征信息进行处理分析，从而根据分析结果将输入的图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签；也可以获取主fpga提取的特征信息中对应的语义分割的第二特征向量，根据该第二特征向量，将该图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签。为了提高语义分割的准确度，本发明实施例优选获取主fpga提取的特征信息中对应的语义分割的第二特征向量，根据该第二特征向量，将该图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签。

上述数据处理系统可以应用于安防监控中，该从fpga包括第三从fpga，第三从fpga中部署有进行运动检测的功能模块。

第三从fpga可以获取主fpga提取的有关运动检测的特征信息，并对该特征信息进行处理分析，从而根据分析结果确定输入图像中的目标事物以及该目标事物在该图像中的位置；也可以获取主fpga提取的特征信息中对应的运动检测的第三特征向量，根据该第三特征向量，确定输入图像中的目标事物以及该目标事物在该图像中的位置。为了提高运动检测的准确度，本发明实施例优选获取主fpga提取的特征信息中对应的运动检测的第三特征向量，根据该第三特征向量，确定输入图像中的目标事物以及该目标事物在该图像中的位置。

上述数据处理系统可以应用于医疗图像中，该从fpga包括第四从fpga，第四从fpga中部署有进行图像增强的功能模块。

第四从fpga可以获取主fpga提取的有关图像增强的特征信息，并对该特征信息进行处理分析，从而根据分析结果，以及预先设置的对输入图像的处理需求，对该图像中的数据进行相应的变换处理或增加一些其他的数据信息，突出该图像中需要强调的特征和/或抑制所述图像中不需要强调的特征；也可以获取该主fpga提取的该特征信息中对应的图像增强的第四特征向量，根据该第四特征向量，以及预先设置的对该图像的处理需求，对该图像中的数据进行相应的变换处理或增加一些其他的数据信息，突出该图像中需要强调的特征和/或抑制该图像中不需要强调的特征。为了提高图像增强的准确度，本发明实施例优选获取该主fpga提取的该特征信息中对应的图像增强的第四特征向量，根据该第四特征向量，以及预先设置的对该图像的处理需求，对该图像中的数据进行相应的变换处理或增加一些其他的数据信息，突出该图像中需要强调的特征和/或抑制该图像中不需要强调的特征。

主fpga中部署有神经网络的骨干网络，为了能够使骨干网络能够提取特征信息，需要对神经网络进行训练，神经网络的具体训练过程因实际场景不同而不同，不过，对神经网络的具体的训练过程是相似的。在本发明实施例中以应用于无人驾驶车辆中的神经网络，即进行目标检测和语义分割的神经网络，即blitznet网络为例，阐述该神经网络的训练过程：

首先获取训练样本集中的每个训练样本，每个训练样本为一张图像，根据神经网络应用的场景，预先在训练样本中设置了相应的标签，例如如果该神经网络需要进行语义的识别，则训练样本中包含有不同的语义标签，如果该神经网络需要进行目标的识别，则训练样本中包含有目标检测标签，具体的可以根据需求对训练样本设置相应的标签，同一训练样本中可以包括实现多种检测的标签。

然后，将每个训练样本输入到神经网络中，根据该神经网络的输出以及每个训练样本对应的标签，对该神经网络进行训练。

针对每个训练样本中的图像，该神经网络中的卷积神经网络（convolutionalneuralnetwork，cnn）提取该图像中的特征信息，并将该特征信息分类存储到对应的张量（tensor）缓冲区；该神经网络中进行语义分割的层（segment）则是从关于语义分割的张量缓冲区内获取对应的语义分割的特征向量，并根据这些语义分割的特征向量，将该图像分割成具有不同语义信息的区域，并标注每个区域相应的语义标签；然后将这些语义标签组成一个语义标签的集合（concatenation），输出该语义标签集合；该神经网络中进行目标检测（detect）的层，则从关于目标检测的张量缓冲区内获取对应的目标检测的特征向量，并根据这些目标检测的特征向量（vector），在该图像中添加相应的目标检测标签，并输出这些目标检测标签。

当对神经网络训练完成后，因为该神经网络是实现最终的目标检测和语义分割的，而该神经网络中哪些层能够输出特征信息是预先可知的，因此将训练完成的神经网络中实现特征信息识别的层提取出来，提取出来的神经网络的部分层构成主fpga中的神经网络的骨干网络。将训练完成的神经网络中实现目标检测的层提取出来，构成进行目标检测的第一功能模块，可以将该第一功能模块部署到第一从fpga中，将训练完成的神经网络中实现语义分割的层提取出来，构成进行语义分割的第二功能模块，可以将该第二功能模块部署到第二从fpga中。

该cnn可以理解为该神经网络中的骨干网络，并且该cnn采用的卷积神经网络模型不做限定，比如深度残差网络（residualnetwork，resnet）模型、视觉几何组（visualgeometrygroup，vgg）模型、用于移动视觉应用的高效卷积神经网络（mobilenet）模型。

由于不同的场景需要实现的功能存在差异，为了提高数据处理系统的定制性，可以根据实际的应用场景所需的每个功能类型，以及每个功能类型所需的算力和宽带，对从fpga进行裁剪、移植或逻辑复制等操作，以满足该应用场景的实际需求。例如，数据处理系统应用于安防监控中，如果该数据处理系统中除了包括第三从fpga还包括其他的从fpga，此时就可以将其他从fpga裁剪掉，然后可以增加部署有进行人流分析和面部识别分别对应的功能模块的从fpga，以达到更好地安防监控。具体地，对从fpga进行裁剪、移植或逻辑复制等操作是现有技术，在此不再赘述。

还可以根据实际场景需要实现的功能类型，对从fpga进行定制化设计，例如，如果数据处理系统应用于在医疗图像中，需要进行目标检测和图像增强，那么就将第一从fpga、第四从fpga通过chip2chip总线和主fpga相连。

在上述实施例的基础上，图2为本发明实施例提供的一种数据处理系统的工作原理示意图，主fpga提取输入图像中的特征信息，从fpga1根据目标检测的需求，获取该特征信息中对应的特征向量1，并对该特征向量1进行分析；从fpga2根据语义分割的需求，获取该特征信息中对应的特征向量2，并对该特征向量2进行分析；从fpga3根据运动检测的需求，获取该特征信息中对应的特征向量3，并对该特征向量3进行分析；从fpgan根据图像增强的需求，获取该特征信息中对应的特征向量n，并对该特征向量n进行分析；具体地，各个从fpga对获取的对应的特征向量的分析过程已在上述内容中阐述过了，在此不再赘述。

由于本发明实施例中第一从fpga，用于获取主fpga提取的特征信息中对应的目标检测的第一特征向量，根据该第一特征向量对所述图像进行分割识别，确定该图像中的目标，这样更加合理利用从fpga。

实施例3：

在上述各个实施例的基础上，本发明实施例提供了一种电子设备。该电子设备包括上述任一数据处理系统。

具体地，该电子设备可以包括fpga和至少一个从fpga，其中该主fpga和每个从fpga之间互连；具体地，该主fpga和每个从fpga之间通过chip2chip总线互连；该主fpga可以提取输入的图像中的特征信息；从fpga可以根据自身的需求，获取所述主fpga提取的所述特征信息中的对应特征向量，对获取的所述特征向量进行分析。

进一步地，该电子设备中的从fpga可以包括第一从fpga，该第一从fpga可以获取上述主fpga提取的所述特征信息中对应的目标检测的第一特征向量，根据该第一特征向量对所述图像进行分割识别，确定该图像中的目标。

进一步地，该电子设备中的从fpga可以包括第二从fpga，该第二从fpga可以获取该主fpga提取的特征信息中对应的语义分割的第二特征向量，根据该第二特征向量，将该图像分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签。

进一步地，该电子设备中的从fpga可以包括第三从fpga，该第三从fpga可以获取该主fpga提取的特征信息中对应的运动检测的第三特征向量，根据该第三特征向量，确定该图像中的目标事物以及该目标事物在该图像中的位置。

进一步地，该电子设备中的从fpga可以包括第四从fpga，该第四从fpga可以获取该主fpga提取的特征信息中对应的图像增强的第四特征向量，根据该第四特征向量，以及预先设置的对该图像的处理需求，对该图像中的数据进行相应的变换处理或增加一些其他的数据信息，突出该图像中需要强调的特征和/或抑制所述图像中不需要强调的特征。

进一步地，该电子设备中的主fpga中部署有神经网络的骨干网络，其中该骨干网络的训练过程包括：获取训练样本集中的每个训练样本，预先在训练样本中设置了相应的标签，将每个训练样本输入到神经网络中，根据该神经网络的输出以及每个训练样本对应的标签，对该神经网络进行训练，训练完成的神经网络中实现特征信息识别的构成骨干网络。

基于同一发明构思，本发明实施例中还提供了一种电子设备，由于上述电子设备解决问题的原理与数据处理系统解决问题的原理相似，因此上述电子设备的实施可以参见数据处理系统的实施，重复之处不再赘述。

对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。