基于显著性检测和卷积神经网络的行人检测方法及装置与流程

技术特征：

1.基于显著性检测和卷积神经网络的行人检测方法，其特征在于，该方法包括：

第一步骤，选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；

第二步骤，采集场景彩色图像；

第三步骤，采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及

第四步骤，利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果。

2.如权利要求1所述的方法，所述第一步骤包括：

样本选取步骤，选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；

初步训练步骤，利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；

二次训练步骤，选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型；

其中，Th_ped≥1000，Th_nonped≥0，Th_Test≥1000。

3.如权利要求2所述的方法，其特征在于，所述初步训练步骤中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层；

其中，第i个卷积层包括Th_CK_i个卷积核，卷积核的大小为CKS_i*CKS_i、步长为Th_CS_i，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKS_j*PKS_j、步长为Th_PS_j，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2；

Th_Con∈[2,22]，Th_Pool∈[2,16]，Th_Full∈[1,4]。Th_CK_i∈[4,512]，CKS_i∈[3,11]，Th_CS_i∈[1,2]，PKS_j∈[2,4]，Th_PK_j∈[2,4]。

4.如权利要求3所述的方法，其特征在于，所述卷积神经网络包括：

输入层，输入Th_Width*Th_Height的图像；

第一层卷积层，输出Th_CK₁个卷积核，卷积核的大小为CKS₁*CKS₁、步长为Th_CS₁；

第一层池化层，采用最大池化法输出PKS₁*PKS₁、步长为Th_PS₁的核；

第二层卷积层，输出Th_CK₂个卷积核，卷积核的大小为CKS₂*CKS₂、步长为Th_CS₂；

第二层池化层，采用最大池化法输出PKS₂*PKS₂、步长为Th_PS₂的核；

第三层卷积层，输出Th_CK₃个卷积核，卷积核的大小为CKS₃*CKS₃、步长为Th_CS₃；

第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；

第二层全连接层，输出2个类别；

其中，Th_Wi和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，128]，Th_Height∈[64，256]；Th_CK₁∈[6，20]，CKS₁∈[5，9]，Th_CS₁∈[1，2]；PKS₁∈[2，4]，Th_PK₁∈[2，3]；Th_CK₂∈[10，40]，CKS₂∈[3，5]，Th_CS₂∈[1，2]；PKS₂∈[2，4]，Th_PK₂∈[2，3]；Th_CK₃∈[10，40]，CKS₃∈[3，5]，Th_CS₃∈[1，2]；Th_Neur∈[160，10000]。

5.如权利要求4所述的方法，所述第一层池化层和第二层池化层中的最大池化法替换为平均池化法或者随机池化法。

6.如权利要求4所述的方法，所述第一层全连接层中ReLU替换为sigmoid函数或者tanh函数作为激活函数。

7.如权利要求2所述的方法，所述二次训练步骤包括：

训练特征提取步骤，根据初步训练的模型提取Th_Test个测试灰度图像的特征；训练分类判定步骤，分别计算该测试灰度图像的特征与行人类别的相似度Simi₁、非行人类别特征的相似度Simi₂，若Simi₁＞Simi₂，则判定为行人类别，否则判定为非行人类别；

反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，收敛的模型即为训练好的行人分类模型。

8.如权利要求1所述的方法，其特征在于，所述第三步骤包括：

高斯滤波处理步骤，对场景彩色图像进行高斯滤波处理，获取高斯图像I_G(x，y)，其中(x,y)为图像的像素点；

色彩空间计算步骤，将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；

显著图获取步骤，计算高斯图像I_G与μ_L、μ_A、μ_B的欧几里得距离得到显著图S(x,y)＝[I_G(x,y)-μ_L]²+[I_G(x,y)-μ_A]²+[I_G(x,y)-μ_B]²；

中值滤波处理步骤，对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；

显著区域获取步骤，利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SR_k，k＝1，2，…，SNum，SNum为显著区域的个数；

显著区域筛选步骤，统计显著区域SR_k内前景点的总数FSum_k，若FSum_k＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；

行人的候选区域输出步骤，将剩余的显著区域作为行人的候选区域并输出；

其中，Th_FSum∈[10,50]。

9.如权利要求8所述的方法，其特征在于，所述显著区域获取步骤包括：

初始分割阈值选取步骤，计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；

分割阈值更新步骤，提取S′(x,y)≥ST的像素点作为第一分割图像S′₁(x,y)，提取S′(x,y)＜ST的像素点作为第二分割图像S′₂(x,y)，分别计算S′₁(x,y)、S′₂(x,y)的平均灰度值ST₁、ST₂，

分割阈值迭代步骤，重复分割阈值更新步骤，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割步骤；

显著区域分割步骤，将S′(x,y)≥ST的像素点设置为前景点，S′(x,y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SR_k，k＝1，2，…，SNum，SNum为显著区域的个数；

其中，Th_ST∈[0.3,0.7]。

10.如权利要求1所述的方法，所述第四步骤进一步包括：

检测特征提取步骤，根据训练好的行人分类模型提取行人的候选区域的特征；

检测分类判定步骤，分别计算该行人的候选区域的特征与行人类别的相似度Simi₁、非行人类别特征的相似度Simi₂，若Simi₁＞Simi₂，则判定为行人类别，否则判定为非行人类别，输出判定结果。

11.基于显著性检测和卷积神经网络的行人检测装置，其特征在于，该装置包括：

行人检测模型训练模块，用于选取标签行人和非行人的样本图像，利用卷积神经网络对样本图像进行训练，获取训练好的行人分类模型；

彩色图像采集模块，用于采集场景彩色图像；

行人的候选区域获取模块，用于采用显著性检测算法提取显著区域，并通过筛选获取行人的候选区域；及

行人检测输出模块，用于利用训练好的行人分类模型对行人的候选区域进行识别，输出识别结果。

12.如权利要求11所述的装置，所述行人检测模型训练模块包括：

样本选取模块，用于选取Th_ped个标签的行人灰度图像作为正样本图像，选取Th_nonped个标签的非行人灰度图像作为负样本图像；

初步训练模块，用于利用卷积神经网络对正样本图像和负样本图像进行特征训练，获得初步训练的模型；

二次训练模块，用于选取Th_Test个测试灰度图像，根据初步训练的模型对测试灰度图像进行反复训练，直至模型收敛，该收敛的模型即为训练好的行人分类模型；

其中，Th_ped≥1000，Th_nonped≥0，Th_Test≥1000。

13.如权利要求12所述的装置，所述其特征在于，所述初步训练模块中卷积神经网络包括：输入层、Th_Conc个卷积层、Th_Pool个池化层、Th_Full个全连接层；

其中，第i个卷积层包括Th_CK_i个卷积核，卷积核的大小为CKS_i*CKS_i、步长为Th_CS_i，i＝1，2，…，Th_Conc；第j个池化层的核的大小为PKS_j*PKS_j、步长为Th_PS_j，j＝1，2，…，Th_Pool；所述全连接层的最后一层全连接层输出的神经元的数量为2；

Th_Con∈[2,22]，Th_Pool∈[2,16]，Th_Full∈[1,4]。Th_CK_i∈[4,512]，CKS_i∈[3,11]，Th_CS_i∈[1,2]，PKS_j∈[2,4]，Th_PK_j∈[2,4]。

14.如权利要求13所述的装置，所述其特征在于，所述卷积神经网络包括：

输入层，输入Th_Width*Th_Height的图像；

第一层卷积层，输出Th_CK₁个卷积核，卷积核的大小为CKS₁*CKS₁、步长为Th_CS₁；

第一层池化层，采用最大池化法输出PKS₁*PKS₁、步长为Th_PS₁的核；

第二层卷积层，输出Th_CK₂个卷积核，卷积核的大小为CKS₂*CKS₂、步长为Th_CS₂；

第二层池化层，采用最大池化法输出PKS₂*PKS₂、步长为Th_PS₂的核；

第三层卷积层，输出Th_CK₃个卷积核，卷积核的大小为CKS₃*CKS₃、步长为Th_CS₃；

第一层全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；

第二层全连接层，输出2个类别；

其中，Th_Wid和thTh_Height分别为输入图像的宽度和高度，Th_Width∈[32,128]，Th_Height∈[64,256]；Th_CK₁∈[6,20]，CKS₁∈[5,9]，Th_CS₁∈[1,2]；PKS₁∈[2,4]，Th_PK₁∈[2,3]；Th_CK₂∈[10,40]，CKS₂∈[3,5]，Th_CS₂∈[1,2]；PKS₂∈[2,4]，Th_PK₂∈[2,3]；Th_CK₃∈[10,40]，CKS₃∈[3,5]，Th_CS₃∈[1,2]；Th_Neur∈[160,10000]。

15.如权利要求14所述的装置，所述第一层池化层和第二层池化层中的最大池化法替换为平均池化法或者随机池化法。

16.如权利要求14所述的装置，所述第一层全连接层中ReLU替换为sigmoid函数或者tanh函数作为激活函数。

17.如权利要求12所述的装置，所述二次训练模块进一步包括：

训练特征提取模块，用于根据初步训练的模型提取Th_Test个测试灰度图像的特征；

训练分类判定模块，用于分别计算该测试灰度图像的特征与行人类别的相似度Simi₁、非行人类别特征的相似度Simi₂，若Simi₁＞Simi₂，则判定为行人类别，否则判定为非行人类别；

反复训练模块，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，收敛的模型即为训练好的行人分类模型。

18.如权利要求11所述的装置，其特征在于，所述行人的候选区域获取模块包括：

高斯滤波处理模块，用于对场景彩色图像进行高斯滤波处理，获取高斯图像I_G(x,y)，其中(x,y)为图像的像素点；

色彩空间计算模块，用于将场景彩色图像转换到CIELAB色彩空间，并计算L分量、A分量、B分量的平均值M、N分别为场景彩色图像的宽度和高度，L(x,y)、A(x,y)、B(x,y)分别为CIELAB色彩空间像素点(x,y)的L分量、A分量、B分量的亮度值；

显著图获取模块，用于计算高斯图像I_G与μ_L、μ_A、μ_B的欧几里得距离得到显著图S(x,y)＝[I_G(x,y)-μ_L]²+[I_G(x,y)-μ_A]²+[I_G(x,y)-μ_B]²；

中值滤波处理模块，用于对显著图S(x,y)进行中值滤波处理，获取中值滤波处理后的显著图S′(x,y)；

显著区域获取模块，用于利用迭代算法计算分割阈值ST，利用分割阈值ST分割中值滤波处理后的显著图S′(x,y)，获取显著区域SR_k，k＝1，2，…，SNum，SNum为显著区域的个数；

显著区域筛选模块，用于统计显著区域SR_k内前景点的总数FSum_k，若FSum_k＜Th_FSum，则删除该显著区域，将该显著区域内的前景点置为背景点；

行人的候选区域输出模块，用于将剩余的显著区域作为行人的候选区域并输出；

其中，Th_FSum∈[10,50]。

19.如权利要求18所述的装置，其特征在于，所述显著区域获取模块包括：

初始分割阈值选取模块，用于计算中值滤波处理后的显著图S′(x,y)的平均灰度值ST，将ST作为初始分割阈值；

分割阈值更新模块，用于提取S′(x,y)≥ST的像素点作为第一分割图像S′₁(x,y)，提取S′(x,y)＜ST的像素点作为第二分割图像S′₂(x,y)，分别计算S′₁(x,y)、S′₂(x,y)的平均灰度值ST₁、ST₂，

分割阈值迭代模块，用于重复分割阈值更新模块，若连续两次计算的ST的差值ΔST≤Th_ST，则转入显著区域分割模块；

显著区域分割模块，用于将S′(x,y)≥ST的像素点设置为前景点，S′(x,y)＜ST的像素点设置为背景点，利用连通区域方法进行处理，获取前景点的连通区域作为显著区域SR_k，k＝1，2，…，SNum，SNum为显著区域的个数；

其中，Th_ST∈[0.3,0.7]。

20.如权利要求11所述的装置，所述行人检测输出模块进一步包括：

检测特征提取模块，用于根据训练好的行人分类模型提取行人的候选区域的特征；

检测分类判定模块，用于分别计算该行人的候选区域的特征与行人类别的相似度Simi₁、非行人类别特征的相似度Simi₂，若Simi₁＞Simi₂，则判定为行人类别，否则判定为非行人类别，输出判定结果。