硬件感知的高效特征融合网络搜索方法及系统

本发明涉及图像处理和深度学习目标检测，并特别涉及一种硬件感知的高效特征融合网络搜索方法及系统。

背景技术：

1、现在的深度学习目标检测框架主要由三个部分组成：主干网络，特征融合网络，检测头组成。其中主干网络一般是resnet，vgg，mobilenet等图像识别中常用的网络，用于提取图片中的特征。特征融合网络则通过对主干网络提取得到的多尺度特征进行融合来提高目标检测精度。检测头则根据融合后的特征来输出检测框位置和大小。

2、特征融合网络是该框架中的关键部分，现有的技术往往通过设计多尺度特征的融合路径来提高检测性能。

3、现有的特征融合网络往往通过将两个特征相加来进行融合。然而，不同层次的特征应该与不同大小的物体相关联，所以常用的加法操作作为融合操作可能会导致不同层次特征之间的冲突，并损害融合网络的性能。另外，现有融合网络的输入特征固定为主干网络中特定的层，比如，主干网络每个阶段的最后一层。然而，这样便忽略了从其他层选择特征可能会获得更好的性能。

技术实现思路

1、本发明的目的是提高上述现有技术的检测精度，提出了一种硬件感知的高效特征融合网络搜索方法，其中包括：

2、步骤1、获取已标记位置类别标签的训练图片，构建包括融合特征搜索单元、融合路径搜索单元和融合模式搜索单元的特征融合网络；

3、步骤2、该融合特征搜索单元从该训练图片的多尺度特征中搜索得到各尺度下的最优特征；对各尺度下的该最优特征的通道进行分组，该融合路径搜索单元从各分组中搜索得到候选特征，构建多个由两个候选特征构成的候选特征对；根据该候选特征对，该融合模式搜索单元从包括多个候选融合操作的操作集中搜索得到融合策略，并以该融合策略对该候选特征对进行特征融合，得到每个该候选特征对的融合特征；基于该融合特征确定该训练图片中检测目标的预测位置类别；

4、步骤3、以该预测位置类别和该位置类别标签构建损失函数；以该融合特征搜索单元、该融合路径搜索单元和该融合模式搜索单元的搜索操作为路径，所有路径共享相同的参数并组成超网络，并基于路径执行的硬件开销构建的目标函数和该损失函数确定该超网络的网络结构参数，得到最终模型；

5、步骤4、将待目标检测图片的多尺度特征输入该最终模型，得到其融合特征，以得到该待目标检测图片的目标位置类别。

6、所述的硬件感知的高效特征融合网络搜索方法，其中该步骤3包括：

7、预训练步骤，该融合特征搜索单元、该融合路径搜索单元和该融合模式搜索单元中所有搜索操作被均匀采样，并使用训练集dtrain训练该特征融合网络；

8、贪心训练步骤，保留一个大小为的路径候选池在每次训练迭代中，以∈的概率从该候选池中采样m条路径，并以1-的概率从由多有路径构成的搜索空间中采样；这m个路径将在测试集dval上进行测试，测试结果按目标函数fgreedy排序，将前k条路径用于更新候选池当候选池已满时，将中fgreedy值最低的路径丢弃；

9、进化训练步骤，在该贪心训练步骤得到的超网络作为性能估计器；以候选池中的前n条路径作为初始种群执行进化算法，通过目标函数fevolution评估该前n条路径的网络结构；在评估的网络结构中，选择评分top-n作为父代，生成子网络，其中子网络由变异和交叉各产生一半网络；以fevolution分数最高的网络作为该超网络最终的网络结构。

10、所述的硬件感知的高效特征融合网络搜索方法，其中该目标函数fgreedy为：

11、fgreedy＝-lval-αt*t(arch)

12、-αm*m(arch)

13、其中lval为网络在dval上的平均损失函数，t(arch)为网络在目标硬件上的计算时间开销，m(arch)为网络参数的存储开销；

14、目标函数fevolution为：

15、fevolution＝mapval-αt*t(arch)

16、-αm*m(arch)

17、其中mapval为函数在网络在dval的平均检测精度。

18、所述的硬件感知的高效特征融合网络搜索方法，其中通过将网络结构输入预测模型得到该时间开销t(arch)；从该搜索空间中随机采样多个网络结构，在目标硬件平台上运行多次并记录运行时间，取多次运行时间的平均值作为训练数据，训练神经网络得到该预测模型。

19、本发明还提出了一种硬件感知的高效特征融合网络搜索方法，其中包括：

20、初始模块，用于获取已标记位置类别标签的训练图片，构建包括融合特征搜索单元、融合路径搜索单元和融合模式搜索单元的特征融合网络；

21、融合模块，用于使该融合特征搜索单元从该训练图片的多尺度特征中搜索得到各尺度下的最优特征；对各尺度下的该最优特征的通道进行分组，该融合路径搜索单元从各分组中搜索得到候选特征，构建多个由两个候选特征构成的候选特征对；根据该候选特征对，该融合模式搜索单元从包括多个候选融合操作的操作集中搜索得到融合策略，并以该融合策略对该候选特征对进行特征融合，得到每个该候选特征对的融合特征；基于该融合特征确定该训练图片中检测目标的预测位置类别；

22、训练模块，用于以该预测位置类别和该位置类别标签构建损失函数；以该融合特征搜索单元、该融合路径搜索单元和该融合模式搜索单元的搜索操作为路径，所有路径共享相同的参数并组成超网络，并基于路径执行的硬件开销构建的目标函数和该损失函数确定该超网络的网络结构参数，得到最终模型；

23、检测模块，用于将待目标检测图片的多尺度特征输入该最终模型，得到其融合特征，以得到该待目标检测图片的目标位置类别。

24、所述的硬件感知的高效特征融合网络搜索方法，其中该训练模块包括：

25、预训练模块，该融合特征搜索单元、该融合路径搜索单元和该融合模式搜索单元中所有搜索操作被均匀采样，并使用训练集dtrain训练该特征融合网络；

26、贪心训练模块，保留一个大小为的路径候选池在每次训练迭代中，以∈的概率从该候选池中采样m条路径，并以1-∈的概率从由多有路径构成的搜索空间中采样；这m个路径将在测试集dval上进行测试，测试结果按目标函数fgreedy排序，将前k条路径用于更新候选池当候选池已满时，将中fgreedy值最低的路径丢弃；

27、进化训练模块，在该贪心训练步骤得到的超网络作为性能估计器；以候选池中的前n条路径作为初始种群执行进化算法，通过目标函数fevolution评估该前n条路径的网络结构；在评估的网络结构中，选择评分top-n作为父代，生成子网络，其中子网络由变异和交叉各产生一半网络；以fevolution分数最高的网络作为该超网络最终的网络结构。

28、所述的硬件感知的高效特征融合网络搜索方法，其中该目标函数fgreedy为：

29、fgreedy＝-lval-αt*t(arch)

30、-αm*m(arch)

31、其中lval为网络在dval上的平均损失函数，t(arch)为网络在目标硬件上的计算时间开销，m(arch)为网络参数的存储开销；

32、目标函数fevolution为：

33、fevolution＝mapval-αt*t(arch)

34、-αm*m(arch)

35、其中mapval为函数在网络在dval的平均检测精度。

36、所述的硬件感知的高效特征融合网络搜索方法，其中通过将网络结构输入预测模型得到该时间开销t(arch)；从该搜索空间中随机采样多个网络结构，在目标硬件平台上运行多次并记录运行时间，取多次运行时间的平均值作为训练数据，训练神经网络得到该预测模型。

37、本发明还提出了一种存储介质，用于存储执行所述任意一种硬件感知的高效特征融合网络搜索方法的程序。

38、本发明还提出了一种客户端，用于所述的任意一种硬件感知的高效特征融合网络搜索系统。

39、由以上方案可知，本发明的优点在于：

40、当主干网络为resnet50时，在实现相似检测精度时，相比现有最先进的搜索网络nas-fpn，本文方法的参数量和计算量分别减少29.6％和22.3％，相比现有人工设计网络fpn，本文方法的平均检测精度可以提高2.1％。当主干网络为vgg时，相比现有最先进的搜索网络auto-fpn，本文方法的平均检测精度提高了1.7％。