基于分块遮挡感知的行人检测方法及系统与流程

技术特征：

1.一种基于分块遮挡感知的行人检测方法，其特征在于包括：

基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征；

对所获取的图像特征进行特征融合，得到对应行人的整体特征；

根据所述整体特征，获取所述待测行人图像的多个检测结果框；

选取所获取的多个所述检测结果框中满足预设的筛选条件的检测结果框；

其中，所述行人检测模型是基于Faster R-CNN神经网络构建的模型，并且所述Faster R-CNN神经网络的高卷积层中关联有锚点框。

2.根据权利要求1所述的基于分块遮挡感知的行人检测方法，其特征在于，在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：

对所述预设的训练图像进行数据增广处理，得到训练样本；

对锚点框与所述训练样本中的行人标注框进行匹配，并根据匹配结果将锚点框划分为正样本和负样本；所述正样本为与行人标注框匹配的锚点框，所述负样本为与行人标注框未匹配的锚点框；

采用困难负样本挖掘方法选取预设的第一数量的负样本；

根据所述正样本与所选取的负样本计算损失函数值，并根据损失函数值更新所述Faster R-CNN神经网络；对更新后的Faster R-CNN神经网络重新进行网络训练，直至其满足预设的收敛条件。

3.根据权利要求2所述的基于分块遮挡感知的行人检测方法，其特征在于，所述Faster R-CNN神经网络包括RPN模块；在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：

基于预设的训练图像，并按照下式所示的损失函数，对所述RPN模块进行网络训练：

其中，为行人分类损失函数，为聚合损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α1为第一超参数；

所述行人分类损失函数为：

其中，Ncls为RPN模块分类过程中的锚点框总数；

所述聚合损失函数：

其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；

所述回归损失函数为：

其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；

所述紧凑性损失函数为：

其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。

4.根据权利要求2所述的基于分块遮挡感知的行人检测方法，其特征在于，所述Faster R-CNN神经网络还包括Fast R-CNN模块；在“基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征”之前，所述方法还包括：

基于预设的训练图像，按照下式所示的损失函数，对所述Fast R-CNN模块进行网络训练：

其中，为行人分类损失函数，为聚合损失函数，为遮挡处理损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α3为第三超参数，λ为第四超参数；

所述行人分类损失函数为：

其中，Ncls为RPN模块分类过程中的锚点框总数；

所述聚合损失函数：

其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；

所述回归损失函数为：

其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；

所述紧凑性损失函数为：

其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。

5.根据权利要求2-4中任一项所述的分块遮挡感知的行人检测方法，其特征在于，“对锚点框与所述训练样本中的行人标注框进行匹配”的步骤具体包括：

计算各锚点框与每个行人标注框的交除并重叠比；

选取与每个行人标注框的交除并重叠比最大的锚点框，并将所选取的各锚点框与各对应的人脸标注框进行匹配；

判断去除所选取的锚点框之后，剩余的各锚点框与每个行人标注框的交除并重叠比是否大于预设的第一阈值：若大于则进行匹配；

获取锚点框匹配数量小于预设的第二数量的人脸标注框，并选取与所述每个行人标注框的交除并重叠比大于预设的第二阈值的所有锚点框；所述预设的第一阈值大于预设的第二阈值；

按照所选取的所有锚点框的交除并重叠比由大到小的顺序，选取预设的第三数量的锚点框与对应的行人标注框进行匹配；所述预设的第三数量的取值为锚点框匹配数量大于或等于预设的第二数量的行人标注框的锚点框平均匹配数量。

6.一种基于分块遮挡感知的行人检测系统，其特征在于包括：

图像特征获取模块，其配置为基于预先构建的行人检测模型，并根据待测行人图像，获取每个预设的人体检测区域对应的图像特征；

图像特征融合模块，其配置为对所述图像特征获取模块所获取的图像特征进行特征融合，得到对应行人的整体特征；

检测结果框获取模块，其配置为根据所述图像特征融合模块得到的整体特征，获取所述待测行人图像的多个检测结果框；

检测结果框筛选模块，其配置为选取所获取的多个所述检测结果框中满足预设的筛选条件的检测结果框；

其中，所述行人检测模型是基于Faster R-CNN神经网络构建的模型，并且所述Faster R-CNN神经网络的高卷积层中关联有锚点框。

7.根据权利要求6所述的基于分块遮挡感知的行人检测系统，其特征在于，所述行人检测系统还包括模型训练模块，该模型训练模块包括：

训练图像处理单元，其配置为对所述预设的训练图像进行数据增广处理，得到训练样本；

正负样本划分单元，其配置为对锚点框与所述训练样本中的行人标注框进行匹配，并根据匹配结果将锚点框划分为正样本和负样本；所述正样本为与行人标注框匹配的锚点框，所述负样本为与行人标注框未匹配的锚点框；

负样本筛选单元，其配置为采用困难负样本挖掘方法选取预设的第一数量的负样本；

网络更新单元，其配置为根据所述正样本与所选取的负样本计算损失函数值，并根据损失函数值更新所述Faster R-CNN神经网络；对更新后的Faster R-CNN神经网络重新进行网络训练，直至其满足预设的收敛条件。

8.根据权利要求7所述的基于分块遮挡感知的行人检测系统，其特征在于，所述Faster R-CNN神经网络包括RPN模块；在此情况下，所述模型训练模块进一步配置为执行如下操作：

基于预设的训练图像，并按照下式所示的损失函数，对所述RPN模块进行网络训练：

其中，为行人分类损失函数，为聚合损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α1为第一超参数；

所述行人分类损失函数为：

其中，Ncls为RPN模块分类过程中的锚点框总数；

所述聚合损失函数：

其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；

所述回归损失函数为：

其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；

所述紧凑性损失函数为：

其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。

9.根据权利要求7所述的基于分块遮挡感知的行人检测系统，其特征在于，所述Faster R-CNN神经网络包括Fast R-CNN模块；在此情况下，所述模型训练模块进一步配置为执行如下操作：

基于预设的训练图像，并按照下式所示的损失函数，对所述Fast R-CNN模块进行网络训练：

其中，为行人分类损失函数，为聚合损失函数，为遮挡处理损失函数，i表示锚点框的标号，pi和ti分别表示第i个锚点框为行人的预测概率和该行人对应的预测坐标；和分别表示与第i个锚点框相关联的物体类别标号和对应的标定坐标，α3为第三超参数，λ为第四超参数；

所述行人分类损失函数为：

其中，Ncls为RPN模块分类过程中的锚点框总数；

所述聚合损失函数：

其中，为回归损失函数，为紧凑性损失函数，β是第二超参数；

所述回归损失函数为：

其中，Nreg为回归阶段锚点框的总数，是关于预测的检测窗口ti的L1损失函数的损失值；

所述紧凑性损失函数为：

其中，Ncom为与锚点框存在相交的行人总数，|Φi|为与第i个标定行人相关联的锚点框总数，j为锚点框标号，tj为预测的第j个锚点框行人对应的坐标，p为与标定的行人窗口相关联的锚点框标记序列号，Φp为与标定的行人窗口相关联的锚点框标记。

10.根据权利要求7-9中任一项所述的基于分块遮挡感知的行人检测系统，其特征在于，所述正负样本划分单元包括：

交除并重叠比计算子单元，其配置为计算各锚点框与每个行人标注框的交除并重叠比；

第一匹配子单元，其配置为选取与每个行人标注框的交除并重叠比最大的锚点框，并将所选取的各锚点框与各对应的人脸标注框进行匹配；

第二匹配子单元，其配置为判断去除所选取的锚点框之后，剩余的各锚点框与每个行人标注框的交除并重叠比是否大于预设的第一阈值：若大于则进行匹配；

第三匹配子单元，其配置为获取锚点框匹配数量小于预设的第二数量的人脸标注框，并选取与所述每个行人标注框的交除并重叠比大于预设的第二阈值的所有锚点框；所述预设的第一阈值大于预设的第二阈值；

第四匹配子单元，其配置为按照所选取的所有锚点框的交除并重叠比由大到小的顺序，选取预设的第三数量的锚点框与对应的行人标注框进行匹配；所述预设的第三数量的取值为锚点框匹配数量大于或等于预设的第二数量的人脸标注框的锚点框平均匹配数量。