一种应用于神经网络的先验框确定方法及装置与流程

本申请涉及人工智能技术领域，尤其涉及一种应用于神经网络的先验框确定方法及装置。

背景技术：

目标检测是神经网络在图像识别中的一个重要应用。目标检测当前大部分处理方式是找到原始图像中各类别物体所处最小矩形框的坐标，最终通过该矩形框的位置来确认出目标体的位置。在目标检测之前，通常会设置一组先验框，以先验框为基准在神经网络训练中筛选目标图片中的正样本，可以理解的是，在目标检测中，对正负样本的划分不是以图片为单位，而是以矩形框区域为单位，含有目标物体的矩形框称为正样本，不包含目标物体的矩形框为负样本。

在设置先验框时，常见的方法是会生成一组固定长宽比例的先验框，但是固定比例的先验框很有可能在训练过程中与得到的目标标注框有较大差异，那么就会造成训练时间短的时候，先验框和目标物体并不很贴合的问题。若需要解决上述问题，则需要增加训练时间，因此导致在进行目标检测时需要更久的时间收敛。并且当设置的先验框和训练样本中的目标标注框的差异过大时，还会造成负样本识别错误，导致部分目标物体被漏掉，从而带来训练结果的偏差。

技术实现要素：

有鉴于此，本申请提供一种应用于神经网络的先验框确定方法及装置，可以解决现有技术中设置的先验框与目标标注框的差异较大的问题。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种应用于神经网络的先验框确定方法，所述方法包括：

确定应用于神经网络的至少一个候选先验框；

针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框；

将各候选先验框、以及各扩展框确定为所述神经网络的目标先验框。

作为一个实施例，确定应用于神经网络的至少一个候选先验框，包括：

从所述神经网络的训练样本中获取标注数据；所述标注数据包括：所述训练样本中的目标标注框的位置信息；

依据所述标注数据确定n个候选先验框，n大于等于1。

作为一个实施例，所述根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框包括：

依据所述设定的扩展系数和候选先验框的长宽比确定所述候选先验框的形状s；

针对预设先验框形状中除所述形状s之外的每一先验框形状，生成满足该先验框形状的框作为所述候选先验框对应的扩展框，所述扩展框的面积与所述候选先验框的面积相同。

作为一个实施例，所述依据设定的扩展系数和候选先验框的长宽比确定所述候选先验框的形状s包括：

在候选先验框的长宽比小于等于第一值，或者在候选先验框的长宽比大于第一值，且小于第二值时，确定所述候选先验框的形状s为竖长矩形；

在候选先验框的长宽比大于等于第二值且小于等于第三值时，确定所述候选先验框的形状s为正方形；

在候选先验框的长宽比大于第三值且小于第四值时，或者在候选先验框的长宽比h大于等于第四值时，确定候选先验框的形状s为横长矩形；

其中，所述第一值为1：m，m为所述扩展系数；所述第二值为1：(1+offset)；所述第三值为(1+offset)：1；offset为预设偏移量；所述第四值为m：1。

作为一个实施例，所述生成满足该先验框形状的框作为所述候选先验框对应的扩展框包括：

在先验框形状为正方形时，生成面积与所述候选先验框的面积相同且长宽比为1：1的正方形框作为所述候选先验框对应的扩展框；

在先验框形状为竖长矩形时，生成面积与候选先验框的面积相同且长宽比为k：1的竖长矩形框作为候选先验框对应的扩展框，k：1为预设的指示竖长矩形框的长宽比；

在先验框形状为横长矩形时，生成面积与候选先验框的面积相同且长宽比为1：p的横长矩形框作为候选先验框对应的扩展框，1：p为预设的指示横长矩形框的长宽比。

根据本申请实施例的第二方面，提供一种应用于神经网络的先验框确定装置，所述装置包括：

候选单元，用于确定应用于神经网络的至少一个候选先验框；

扩展单元，用于针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框；

确定单元，用于将各候选先验框、以及各扩展框确定为所述神经网络的目标先验框。

作为一个实施例，所述候选单元，具体用于从所述神经网络的训练样本中获取标注数据；所述标注数据包括：所述训练样本中的目标标注框的位置信息；依据所述标注数据确定n个候选先验框，n大于等于1。

作为一个实施例，所述扩展单元，包括：

第一子单元，用于依据所述设定的扩展系数和候选先验框的长宽比确定所述候选先验框的形状s；

第二子单元，用于针对预设先验框形状中除所述形状s之外的每一先验框形状，生成满足该先验框形状的框作为所述候选先验框对应的扩展框，所述扩展框的面积与所述候选先验框的面积相同。

作为一个实施例，所述第一子单元，具体用于在候选先验框的长宽比小于等于第一值，或者在候选先验框的长宽比大于第一值，且小于第二值时，确定所述候选先验框的形状s为竖长矩形；在候选先验框的长宽比大于等于第二值且小于等于第三值时，确定所述候选先验框的形状s为正方形；在候选先验框的长宽比大于第三值且小于第四值时，或者在候选先验框的长宽比h大于等于第四值时，确定候选先验框的形状s为横长矩形；其中，所述第一值为1：m，m为所述扩展系数；所述第二值为1：(1+offset)；所述第三值为(1+offset)：1；offset为预设偏移量；所述第四值为m：1。

作为一个实施例，所述第二子单元，具体用于在先验框形状为正方形时，生成面积与所述候选先验框的面积相同且长宽比为1：1的正方形框作为所述候选先验框对应的扩展框；在先验框形状为竖长矩形时，生成面积与候选先验框的面积相同且长宽比为k：1的竖长矩形框作为候选先验框对应的扩展框，k：1为预设的指示竖长矩形框的长宽比；在先验框形状为横长矩形时，生成面积与候选先验框的面积相同且长宽比为1：p的横长矩形框作为候选先验框对应的扩展框，1：p为预设的指示横长矩形框的长宽比。

根据本申请实施例的第三方面，提供一种计算机设备，包括处理器、通信接口、存储器和通信总线；

其中，所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现任一应用于神经网络的先验框确定方法的步骤。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一应用于神经网络的先验框确定方法的步骤。

由上述实施例可见，本申请可以通过确定应用于神经网络的至少一个候选先验框，然后针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框，最终将各候选先验框、以及各扩展框确定为所述神经网络的目标先验框。相比于现有技术，本申请可以为候选先验框扩展出多个形状不同的先验框，从而可以使输入到神经网络的目标先验框更容易贴合实际的待测目标，进而缩短训练时间并且提升预测的准确度。

附图说明

图1为本申请示例性的一种应用于神经网络的先验框确定方法的实施例流程图；

图2为本申请示例性的先验框扩展流程图；

图3为本申请示例性的先验框扩展规则示意图；

图4为本申请示例性的先验框变形示意图；

图5为本申请示例性的应用于神经网络的先验框确定装置的结构示意图；

图6为本申请一种计算机设备的一个实施例框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了解决现有技术中的问题，本申请提供一种应用于神经网络的先验框确定方法及装置，可以通过确定应用于神经网络的至少一个候选先验框，然后针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框，最终将各候选先验框、以及各扩展框确定为所述神经网络的目标先验框。相比于现有技术，本申请可以为候选先验框扩展出多个形状不同的先验框，从而可以使输入到神经网络的目标先验框更容易贴合实际的待测目标，进而缩短训练时间并且提升预测的准确度。

请参见图1，为本申请示例性的一种应用于神经网络的先验框确定方法的实施例流程图，其中该方法包括以下步骤：

步骤101、确定应用于神经网络的至少一个候选先验框；

在本实施例中，在对神经网络进行先验框设置时，可以先获取该神经网络中的至少一个候选先验框。

作为一个实施例，可以从所述神经网络对应的训练样本中获取标注数据；其中所述标注数据包括：所述训练样本中的目标标注框的位置信息，例如目标标注框的坐标信息；之后依据所述标注数据确定出n个候选先验框，n大于等于1。上述根据标注数据中的目标标注框的位置信息确定n个候选先验框的具体方法可以使用聚类算法实现。

作为一个实施例，根据标注数据中的目标标注框的位置信息确定n个候选先验框时可以采用聚类算法中的k-means算法来实现，该k-means算法是典型的基于距离的聚类算法，该算法采用距离作为相似性的评价指标，在目标检测网络中，可以采用杰卡德距离，即1–iou(矩形框的面积交并比)来进行k-means聚类。当iou越大，则代表两个矩形框重叠区域越大，其两个矩形框的杰卡德距离就越小，则两框就越相似。

聚类算法目的是将输入的全部目标标注框坐标(也可以认为是数据点)分成n组，每组都有一个聚类中心，并使得每一组数据点距离其对应的聚类中心的距离都比较近。具体来讲，可以在输入的数据点集合(即目标标注框集合)中随机选择一个数据点(即目标标注框)作为初始的聚类中心，对于数据点集合中每一个数据点x，计算它与每个聚类中心的距离的距离d(x)，将距离该数据点x最近的初始聚类中心作为该数据点x的聚类中心，从而将数据点集合中的全部数据点按照上述方式划分到各自距离最近的初始聚类中心，从而得到n个簇(也就是n个组)；针对每个簇，计算该簇中的所有数据点的平均值，将计算出的数据点作为新的聚类中心；然后在重复上述计算每个数据点到新的聚类中心的距离的过程，调整每个簇中的数据点，直到最终每个簇中的数据点变化较少，且每个簇的聚类中心不变的时候，将n个簇中最终的聚类中心作为聚类的输出结果，即n个候选先验框。

步骤102、针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框；

在本实施例中，在获取n个候选先验框后，需要进一步针对每个候选先验框进行扩展。具体来讲，可以针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框，所述扩展框的面积可以和所述候选先验框的面积相同。本申请对候选先验框进行扩展时，可以根据应用需求，可以对所有候选先验框进行扩展，也可以对其中的至少一个或多个候选先验框进行扩展。下面以任一候选先验框的扩展方法为例进行具体说明。

作为一个实施例，当确定待扩展的候选先验框后，首先可以依据所述设定的扩展系数和候选先验框的长宽比确定所述候选先验框的形状s，具体来讲，在候选先验框的长宽比小于等于第一值，或者在候选先验框的长宽比大于第一值，且小于第二值时，确定所述候选先验框的形状s为竖长矩形；在候选先验框的长宽比大于等于第二值且小于等于第三值时，确定所述候选先验框的形状s为正方形；在候选先验框的长宽比大于第三值且小于第四值时，或者在候选先验框的长宽比h大于等于第四值时，确定候选先验框的形状s为横长矩形；其中，所述第一值为1：m，m为所述预设的扩展系数，该m为正整数；所述第二值为1：(1+offset)；所述第三值为(1+offset)：1；其中offset为预设偏移量，该offset的范围可以是(0，m-1)；所述第四值为m：1。

在确定所述候选先验框的形状s之后，可以针对预设先验框形状中除所述形状s之外的每一先验框形状，并生成满足该先验框形状的框作为所述候选先验框对应的扩展框，其中，生成的所述扩展框的面积与所述候选先验框的面积相同。具体生成方法包括：在先验框形状为正方形时，生成面积与所述候选先验框的面积相同且长宽比为1：1的正方形框作为所述候选先验框对应的扩展框；在先验框形状为竖长矩形时，生成面积与候选先验框的面积相同且长宽比为k：1的竖长矩形框作为候选先验框对应的扩展框，k：1为预设的指示竖长矩形框的长宽比；在先验框形状为横长矩形时，生成面积与候选先验框的面积相同且长宽比为1：p的横长矩形框作为候选先验框对应的扩展框，1：p为预设的指示横长矩形框的长宽比。在本实施例中，所述k和p均为预设值，所述k和p可以相同，也可以不同，还可以与所述扩展系数相同。

下面以任一候选先验框的扩展方法为例进行具体说明。

如图2所示的扩展方法的流程图，具体扩展过程其中包括：

步骤201、获取所述候选先验框的长宽比，根据所述候选先验框的长宽比和扩展系数m确定所述候选先验框的形状s；

具体来讲，可以基于预设的扩展系数m和偏移量offset计算出多个预设阈值，包括第一值、第二值、第三值和第四值，其中第一值为1:m，第二值为1:(1+offset)，第三值为(1+offset):1，第四值为m:1，其中要求m和offset均属于正整数且offset<m-1。得到上述阈值后，可以通过该候选先验框的长宽比所在的阈值区间判断该候选先验框的形状s。

举例来讲，如图2所示，假设候选先验框的长宽比为w:h(w为候选先验框的真实长度，h为候选先验框的真实宽度)，当w:h≤1:m或1:m<w:h<1:(1+offset)时，则近似认为该候选先验框的形状为竖长矩形(即长宽比近似为1：m)；当1:(1+offset)≤w:h≤(1+offset):1时，则近似认为该候选先验框的形状为正方形(即长宽比近似为1：1)；当(1+offset):1<w:h<m:1或当w:h≥m:1时，则近似认为该候选先验框的形状为横长矩形(即长宽比近似为m：1)。

步骤202、确定预设先验框形状中除所述形状s之外的每一先验框形状；

举例来讲，可以预先设置先验框形状包括正方形、竖长矩形和横长矩形，则根据候选先验框的长宽比确定该候选先验框的近似形状，若是正方形时，则需要为该候选先验框生成的先验框形状为竖长矩形和横长矩形；若是竖长矩形时，则需要为该候选先验框生成的先验框形状为正方形和横长矩形；若是横长矩形时，则需要为该候选先验框生成的先验框形状为竖长矩形和正方形。

步骤203、以面积不变为原则生成满足该先验框形状的框作为所述候选先验框对应的扩展框。

在获取候选先验框的面积后，可以以该候选先验框的面积为扩展的先验框面积，根据确定出的先验框形状(即长宽比)计算出对应的扩展框。

在先验框形状为正方形时，生成面积与所述候选先验框的面积相同且长宽比为1：1的正方形框作为所述候选先验框对应的扩展框；在先验框形状为竖长矩形时，生成面积与候选先验框的面积相同且长宽比为k：1的竖长矩形框作为候选先验框对应的扩展框，k：1为预设的指示竖长矩形框的长宽比；在先验框形状为横长矩形时，生成面积与候选先验框的面积相同且长宽比为1：p的横长矩形框作为候选先验框对应的扩展框，1：p为预设的指示横长矩形框的长宽比。假设所述k和p均为m，该m与所述扩展系数m相同，则具体变化的原则包括：

当1:(1+offset)<w:h<(1+offset):1时，则近似认为当前框为正方形框；所以新增一个1：m和m：1的矩形框，具体尺寸如下：

扩展框1：

扩展框2：

当w:h≤1:m或1:m<w:h<1:(1+offset)时，则近似认为当前框为竖长矩形框；所以新增一个1：1的正方形框和m：1横长矩形框，具体尺寸如下：

扩展框1：

扩展框2：

当(1+offset):1<w:h<m:1或当w:h≥m:1时，则近似认为当前框为横长形矩形框，所以新增一个1：1的正方形框和m：1竖长形矩形框，具体尺寸如下：

扩展框1：

扩展框2：

经过上述扩展方法可以为每个候选先验框生成多个扩展框。

假设候选先验框的尺寸为20*20，如图4中的深灰色正方形框所示，若预先设置的先验框的形状为3个，则说明需要将该候选先验框再新增个扩展框，新增的扩展框的形状需要保证面积与该候选先验框的面积相同，长宽比不同。假设预设扩展系数为4，则这3个扩展框的长宽比应该分别为1:4、1:1、4:1。由于该候选先验框的尺寸20*20，可知候选先验框的面积为20*20＝400，长宽比为1:1，则在计算新增的扩展框的形状时，需要保证新增的扩展框的面积为400，且长宽比分别为1:4和4:1，通过下面的公式(一)和公式(二)计算可知扩展框的尺寸。其中

扩展框1：

扩展框2：

因此计算出的新增的扩展框的尺寸分别为10*40和40*10，分别如图3中的扩展框1和扩展框2所示的矩形框，因此可以将一个候选先验框进行扩展得到2个扩展框。在本实施例中，预设扩展框的个数优选为3个，但具体个数不做限制。

步骤103、将各候选先验框、以及各扩展框确定为所述神经网络的目标先验框。

获取每个候选先验框对应的扩展框后，可以将所述各个候选先验框以及各个扩展框确定为所述神经网络的目标先验框。

假设仅以聚类的方式生成先验框，只是解决了一部分训练样本的和先验框比较适配的问题，原因在于聚类方法得到的通常是训练样本中一个相对平均的框，但是对于一些比例比较奇异的依然不能够覆盖，并且还会造成奇异样本对目标框的坐标回归不准确的问题。因此本申请可以通过采用聚类的方法获取候选先验框，再通过对候选先验框进行同面积的扩展，从而得到更多形状的先验框，从而可以使先验框的形状更加丰富，从而可以更加贴合目标物体。

与前述应用于神经网络的先验框确定系统的实施例相对应，本申请还提供了应用于神经网络的先验框确定装置的实施例。

请参见图5，为本申请提供的应用于神经网络的先验框确定装置的一个实施例框图，所述装置500可以包括：

候选单元501，用于确定应用于神经网络的至少一个候选先验框；

扩展单元502，用于针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框；

确定单元503，用于将各候选先验框、以及各扩展框确定为所述神经网络的目标先验框。

作为一个实施例，所述候选单元501，具体用于从所述神经网络的训练样本中获取标注数据；所述标注数据包括：所述训练样本中的目标标注框的位置信息；依据所述标注数据确定n个候选先验框，n大于等于1。

作为一个实施例，所述扩展单元502，包括：

第一子单元5021，用于依据所述设定的扩展系数和候选先验框的长宽比确定所述候选先验框的形状s；

第二子单元5022，用于针对预设先验框形状中除所述形状s之外的每一先验框形状，生成满足该先验框形状的框作为所述候选先验框对应的扩展框，所述扩展框的面积与所述候选先验框的面积相同。

作为一个实施例，所述第一子单元5021，具体用于在候选先验框的长宽比小于等于第一值，或者在候选先验框的长宽比大于第一值，且小于第二值时，确定所述候选先验框的形状s为竖长矩形；在候选先验框的长宽比大于等于第二值且小于等于第三值时，确定所述候选先验框的形状s为正方形；在候选先验框的长宽比大于第三值且小于第四值时，或者在候选先验框的长宽比h大于等于第四值时，确定候选先验框的形状s为横长矩形；其中，所述第一值为1：m，m为所述扩展系数；所述第二值为1：(1+offset)；所述第三值为(1+offset)：1；offset为预设偏移量；所述第四值为m：1。

作为一个实施例，所述第二子单元5022，具体用于在先验框形状为正方形时，生成面积与所述候选先验框的面积相同且长宽比为1：1的正方形框作为所述候选先验框对应的扩展框；在先验框形状为竖长矩形时，生成面积与候选先验框的面积相同且长宽比为k：1的竖长矩形框作为候选先验框对应的扩展框，k：1为预设的指示竖长矩形框的长宽比；在先验框形状为横长矩形时，生成面积与候选先验框的面积相同且长宽比为1：p的横长矩形框作为候选先验框对应的扩展框，1：p为预设的指示横长矩形框的长宽比。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

与前述应用于神经网络的先验框确定方法的实施例相对应，本申请还提供了用于执行上述应用于神经网络的先验框确定方法的计算机设备的实施例。

作为一个实施例，请参考图6，一种计算机设备，包括处理器61、通信接口62、存储器63、通信总线64；

其中，所述处理器61、通信接口62、存储器63通过所述通信总线64进行相互间的通信；

所述存储器63，用于存放计算机程序；

所述处理器61用于执行所述存储器63上所存放的计算机程序，以实现上述应用于神经网络的先验框确定方法的任一步骤；

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算机设备的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

与前述应用于神经网络的先验框确定方法的实施例相对应，本申请还提供了用于执行上述应用于神经网络的先验框确定方法的计算机可读存储介质的实施例。

作为一个实施例，本申请还包括一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现应用于神经网络的先验框确定方法的任一步骤。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

综上所述，本申请可以通过确定应用于神经网络的至少一个候选先验框，然后针对待扩展的每一候选先验框，根据设定的扩展系数为该候选先验框扩展出对应的至少一个扩展框，最终将各候选先验框、以及各扩展框确定为所述神经网络的目标先验框。相比于现有技术，本申请可以为候选先验框扩展出多个形状不同的先验框，从而可以使输入到神经网络的目标先验框更容易贴合实际的待测目标，进而缩短训练时间并且提升预测的准确度。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。