行为检测系统及其检测方法与流程

文档序号:17540006发布日期:2019-04-29 14:28阅读:375来源:国知局
行为检测系统及其检测方法与流程

本发明涉及汽车领域,特别是涉及一种驾驶员的行为检测系统。本发明还涉及一种行为检测方法。



背景技术:

随着全球经济一体化及产业分工的日益加深,以中国、巴西和印度为代表的新兴国家汽车产业发展迅速,在全球汽车市场格局中的市场地位得到逐步提升。但是由于驾驶员违规行为而导致交通事故的现象越来越严重,危及乘客生命和公共安全。

现在对驾驶员的实时驾驶员违规行为检测,主要使用接触式的设备,检测驾驶员的生理信号。其优点在于检测极为精准,但明显存在对驾驶员的不友好、操作繁琐、设备昂贵等问题。因此,急需一种功能全面、安全高效的驾驶员违规行为检测的产品和检测方法。



技术实现要素:

本发明要解决的技术问题是提供一种针对驾驶员的行为,尤其是违规行为进行实时检测的行为检测系统。

本发明还提供了一种针对驾驶员的行为,尤其是违规行为进行实时检测的行为检测方法。

本发明中的图形特征包含并不仅限于图像的颜色特征、纹理特征、形状特征和空间关系特征。

置信度,在统计学中,一个概率样本的置信区间(confidenceinterval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度,即前面所要求的“一定概率”。

为解决上述技术问题,本发明提供一种基于级联卷积神经网络的行为检测系统,包括:图像采集模块、图像预处理模块、级联卷积神经网络检测模块和警报模块;

图像采集模块,拍摄人的面部图像;

图像预处理模块,对所述面部图像进行灰度转换并调整为预设尺寸,形成预处理图像;

级联卷积神经网络检测模块,在所述预处理图像中提取目标物体第一候选框并输出目标物体的第一候选框集,采用第一筛选法筛选第一候选框,将筛选后的第一候选框在预处理图像中裁剪选出形成第一图像集;

在所述第一图像集中提取物体第二候选框并输出目标物体的第二候选框集,采用第二筛选法筛选第二候选框,将筛选后的第二候选框在预处理图像中裁剪选出形成第二图像集;

在所述第二图像集中提取目标物体第三候选框并输出目标物体的第三候选框集,采用第三筛选法筛选第三候选框,将筛选后的第三候选框在预处理图像中标记;

报警模块,查找是否存在第三候选框,若存在则发送报警,若不存在第三候选框则不报警。

进一步改进所述的行为检测系统,图像采集模块,设置在方向盘管柱上方能拍摄驾驶员面部,其拍摄图像分辨率至少为640×480。

进一步改进所述的行为检测系统,所述图像预处理模块将采集的rgb三通道图像转换为单通道灰度图像,转换公式为gray=0.299r+0.587g+0.114b。

进一步改进所述的行为检测系统,所述图像预处理模块通过缩放函数将单通道灰度图像转换为640×480分辨率图像。

进一步改进所述的行为检测系统,所述缩放函数是opencv中的resize函数。

进一步改进所述的行为检测系统,级联卷积神经网络检测模块,包括:区域生成网络检测单元、区域生成网络检测结果筛选单元、第一图像裁剪单元、区域优化网络检测单元、区域优化网络检测结果筛选单元、第二图像裁剪单元、目标网络检测单元、目标网络检测结果筛选单元和图像还原单元;

所述区域生成网络检测单元在所述预处理图像中提取目标物体第一候选框并对第一候选框进行校正输出目标物体的第一候选框集,所述区域生成网络检测单元采用全卷积结构,能对任意大小的输入图像进行检测。

所述区域生成网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为c(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

其中,所述区域生成网络检测单元包括第一特征提取子单元、第一物体分类子单元和第一边框回归子单元;

所述第一特征提取子单元,包括三层全卷积神经网络,能提取预处理图像的图像特征,输出所述图像特征到第一物体分类子单元和第一边框回归子单元;

所述第一物体分类子单元,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第一候选框;

所述第一边框回归模块子单元,根据所述图像特征生成边框回归向量,对第一候选框进行校正后输出第一候选框集.

其中,所述区域生成网络检测结果采用第一筛选法筛选第一候选框,所述第一筛选法包括以下步骤:

1)随机选取一个第一候选框,逐一计算该第一候选框与其他第一候选框的交并面积比,如果超过第一阈值t1,则删除两个第一候选框中置信度较小的一个,否则两个第一候选框均保留;所述第一阈值t1范围是0.3~0.7,优选为0.5。

置信度为1是指第一候选框区域内一定是检测目标,置信度为0是指第一候选框区域内一定不是检测目标。置信度较小,是指相对置信度更接近0。

2)重复步骤1)直至所有第一候选框均被筛选。

其中,所述第一图像裁剪单元将区域生成网络检测结果筛选单元筛选后的第一候选框在预处理图像中裁剪选出形成第一图像集。

其中,所述区域优化网络检测单元在第一图像集中提取物体第二候选框并对第二候选框进行校正输出目标物体的第二候选框集,所述区域优化网络检测单元包括第二特征提取子单元、第二物体分类子单元和第二边框回归子单元;

所述第二特征提取子单元,包括四层神经网络,能提取第一图像集中各图像的图像特征,输出所述图像特征到第二物体分类子单元和第二边框回归子单元;

所述第二物体分类子单元,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第二候选框;

所述第二边框回归模块子单元,根据所述图像特征生成边框回归向量,对第二候选框进行校正后输出第二候选框集。

所述区域优化网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

其中,所述区域优化网络检测结果筛选单元采用第二筛选法筛选第二候选框,将筛选后的第二候选框在预处理图像中裁剪选出形成第二图像集,所述第二筛选法包括以下步骤:

3)随机选取一个第二候选框,逐一计算该第二候选框与其他第二候选框的交并面积比,如果超过第二阈值t2,则删除两个第二候选框中置信度较小的一个,否则两个第二候选框均保留;所述第二阈值t2范围是0.4~0.8,优选为0.6。

4)重复步骤3)直至所有第二候选框均被筛选。

其中,所述第二图像裁剪单元将区域优化网络检测结果筛选单元筛选后的第二候选框在预处理图像中裁剪选出形成第二图像集。

其中,所述目标网络检测单元在第二图像集中提取目标物体第三候选框并对第三候选框进行校正输出目标物体的第三候选框集,所述目标网络检测单元包括第三特征提取子单元、第三物体分类子单元和第三边框回归子单元;

所述第三特征提取子单元,包括五层神经网络,能提取第二图像集各图像的图像特征,输出所述图像特征到第三物体分类子单元和第三边框回归子单元;

所述第三物体分类子单元,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第三候选框;

所述第三边框回归模块子单元,根据所述图像特征生成边框回归向量,对第三候选框进行校正后输出第三候选框集。

所述目标网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

其中,所述目标网络检测结果筛选单元采用第三筛选法筛选第三候选框,所述第三筛选法包括以下步骤:

5)随机选取一个第三候选框,逐一计算该第三候选框与其他第三候选框的交并面积比,如果超过第三阈值t3,则删除两个第三候选框中置信度较小的一个,否则两个第三候选框均保留;

6)重复步骤5)直至所有第三候选框均被筛选;

7)对每个筛选后第三候选框所对应的置信度进行检测,若大于置信度阈值t4,则保留,否则该第三候选框;

所述第三阈值t3范围是0.5~0.9,优选为0.7;所述置信度阈值t4范围是0.5~0.9,优选为0.7。

其中,所述图像还原单元将目标网络检测结果筛选单元筛选后的第三候选框在预处理图像标记。

本发明提供一种基于级联卷积神经网络的行为检测方法,包括以下步骤:

a)拍摄人的面部图像;

b)对所述面部图像进行灰度转换并调整为预设尺寸,形成预处理图像;

c)在预处理图像中提取目标物体第一候选框并对第一候选框进行校正输出目标物体的第一候选框集;

d)采用第一筛选法筛选第一候选框;

e)将筛选后的第一候选框在预处理图像中裁剪选出形成第一图像集;

f)在第一图像集各图像中提取物体第二候选框并对第二候选框进行校正输出目标物体的第二候选框集;

g)采用第二筛选法筛选第二候选框;

h)将筛选后的第二候选框在预处理图像中裁剪选出形成第二图像集;

i)在第二图像集各图像中提取第三候选框并对第三候选框进行校正输出目标物体的第三候选框集;

j)采用第三筛选法筛选第三候选框;

k)将筛选后的第三候选框在所述预处理图像中标记;

l)查找是否存在第三候选框,若存在则发送报警,若不存在第三候选框则不报警。

进一步改进所述的行为检测方法,实施步骤a)时,所述图像分辨率至少为640×480。

进一步改进所述的行为检测方法,实施步骤b)时,将所述面部图像的rgb三通道图像转换为单通道灰度图像,转换公式为gray=0.299r+0.587g+0.114b。

进一步改进所述的行为检测方法,实施步骤b)时,通过缩放函数将单通道灰度图像转换为640×480分辨率图像。

其中,所述缩放函数是opencv中的resize函数。

进一步改进所述的行为检测方法,实施步骤c)时,提取预处理图像中各图像的图像特征,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第一候选框,根据所述图像特征生成边框回归向量,对第一候选框进行校正后输出第一候选框集。

实施步骤c)时,所述目标网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

进一步改进所述的行为检测方法,实施步骤d)时,所述第一筛选法包括以下步骤:

1)随机选取一个第一候选框,逐一计算该第一候选框与其他第一候选框的交并面积比,如果超过第一阈值t1,则删除两个第一候选框中置信度较小的一个,否则两个第一候选框均保留;所述第一阈值t1范围是0.3~0.7,优选为0.5。

2)重复步骤1)直至所有第一候选框均被筛选。

进一步改进所述的行为检测方法,实施步骤f)时,提取第一图像集中各图像的图像特征,根据所述图像特征分物体和背景并对图像中物体进行分类,获取物体的第二候选框,对第二候选框进行校正后输出第二候选框集。

实施步骤f)时,所述区域优化网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p((xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

进一步改进所述的行为检测方法,实施步骤g)时,所述第二筛选法包括以下步骤:

3)随机选取一个第二候选框,逐一计算该第二候选框与其他第二候选框的交并面积比,如果超过第二阈值t2,则删除两个第二候选框中置信度较小的一个,否则两个第二候选框均保留;所述第二阈值t2范围是0.4~0.8,优选为0.6。

4)重复步骤3)直至所有第二候选框均被筛选。

进一步改进所述的行为检测方法,实施步骤i)时,提取第二图像集各图像的图像特征,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第三候选框,根据所述图像特征生成边框回归向量,对第三候选框进行校正后输出第三候选框集。

实施步骤i)时,所述目标网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

进一步改进所述的行为检测方法,实施步骤j)时,所述第三筛选法包括以下步骤:

5)随机选取一个第三候选框,逐一计算该第三候选框与其他第三候选框的交并面积比,如果超过第三阈值t3,则删除两个第三候选框中置信度较小的一个,否则两个第三候选框均保留;

6)重复步骤5)直至所有第三候选框均被筛选;

7)对每个筛选后第三候选框所对应的置信度进行检测,若大于置信度阈值t4,则保留,否则删除该第三候选框。

所述第三阈值t3范围是0.5~0.9,优选为0.7;所述置信度阈值t4范围是0.5~0.9,优选为0.7。

本发明的技术方案适用于各类不同车型,不同场景,一定程度的遮挡,在精准检测的同时能做到完全不影响驾驶员正常驾驶,至少具有以下技术效果。

1、本发明将驾驶员行为检测方法主要分为多个模块,主要分为图像采集模块、图像预处理模块、行为检测模块、警报模块,充分利用摄像头采集到的图像,在非接触的情况下获得驾驶员实时驾驶状况,从而实现对驾驶员行为的有效监控。

2、本发明系统中行为检测模块采用了级联式卷积神经网络,将检测模块分为区域生成网络、区域优化网络、目标网络三个子网络进行检测。该方式具有计算量小、计算速度快等优点。

3、本发明系统功能完善,能提供一种覆盖范围广、检测精度高的驾驶员行为检测系统,对于复杂背景、不同光照具有较强的鲁棒性。

4、本发明不仅能应用于驾驶人员的行为检测,也能适用于其他需要进行行为识别应用场景。

附图说明

下面结合附图与具体实施方式对本发明作进一步详细的说明:

图1是本发明系统结构示意图。

图2是本发明区域生成网络检测原理示意图。

图3是本发明区域优化网络检测原理示意图。

图4是本发明目标网络检测原理示意图。

具体实施方式

以对驾驶员的违规行为为例,如图1所示,对本发明提供一种基于级联卷积神经网络的行为检测系统第一实施例,包括:图像采集模块、图像预处理模块、级联卷积神经网络检测模块和警报模块;

图像采集模块,采用摄像头,摄像头安装在方向盘管柱上方,调节摄像头角度使驾驶员面部位于摄像头视野中央,并调节焦距拍摄人的面部图像。拍摄图像分辨率为1280×720。

图像预处理模块,所述图像预处理模块将采集的rgb三通道图像转换为单通道灰度图像,转换公式为gray=0.299r+0.587g+0.114b,所述图像预处理模块通过缩放函数opencv中的resize函数,将单通道灰度图像转换为640×480分辨率图像。

级联卷积神经网络检测模块,包括:区域生成网络检测单元、区域生成网络检测结果筛选单元、第一图像裁剪单元、区域优化网络检测单元、区域优化网络检测结果筛选单元、第二图像裁剪单元、目标网络检测单元、目标网络检测结果筛选单元和图像还原单元;

所述区域生成网络检测单元在所述预处理图像中提取目标物体第一候选框并对第一候选框进行校正输出目标物体的第一候选框集,所述区域生成网络检测单元采用全卷积结构,能对任意大小的输入图像进行检测。

所述区域生成网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

其中,所述区域生成网络检测单元包括第一特征提取子单元、第一物体分类子单元和第一边框回归子单元;

所述第一特征提取子单元,包括三层全卷积神经网络,能提取预处理图像的图像特征,输出所述图像特征到第一物体分类子单元和第一边框回归子单元;

所述第一物体分类子单元,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第一候选框;

所述第一边框回归模块子单元,根据所述图像特征生成边框回归向量,对第一候选框进行校正后输出第一候选框集.

其中,所述区域生成网络检测结果采用第一筛选法筛选第一候选框,所述第一筛选法包括以下步骤:

1)随机选取一个第一候选框,逐一计算该第一候选框与其他第一候选框的交并面积比,如果超过第一阈值t1,则删除两个第一候选框中置信度较小的一个,否则两个第一候选框均保留;所述第一阈值t1范围是0.3~0.7,优选为0.5。

2)重复步骤1)直至所有第一候选框均被筛选。

其中,所述第一图像裁剪单元将区域生成网络检测结果筛选单元筛选后的第一候选框在预处理图像中裁剪选出形成第一图像集。

其中,所述区域优化网络检测单元在第一图像集中提取物体第二候选框并对第二候选框进行校正输出目标物体的第二候选框集,所述区域优化网络检测单元包括第二特征提取子单元、第二物体分类子单元和第二边框回归子单元;

所述第二特征提取子单元,包括四层神经网络(三层卷积网络和一层全连接层构成),能提取第一图像集中各图像的图像特征,输出所述图像特征到第二物体分类子单元和第二边框回归子单元;积层选用大小为3x3的卷积核,并使用2x2池化层。

所述第二物体分类子单元,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第二候选框;

所述第二边框回归模块子单元,根据所述图像特征生成边框回归向量,对第二候选框进行校正后输出第二候选框集。

所述区域优化网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

其中,所述区域优化网络检测结果筛选单元采用第二筛选法筛选第二候选框,将筛选后的第二候选框在预处理图像中裁剪选出形成第二图像集,所述第二筛选法包括以下步骤:

3)随机选取一个第二候选框,逐一计算该第二候选框与其他第二候选框的交并面积比,如果超过第二阈值t2,则删除两个第二候选框中置信度较小的一个,否则两个第二候选框均保留;所述第二阈值t2范围是0.4~0.8,优选为0.6。

4)重复步骤3)直至所有第二候选框均被筛选。

其中,所述第二图像裁剪单元将区域优化网络检测结果筛选单元筛选后的第二候选框在预处理图像中裁剪选出形成第二图像集。

其中,所述目标网络检测单元在第二图像集中提取目标物体第三候选框并对第三候选框进行校正输出目标物体的第三候选框集,所述目标网络检测单元包括第三特征提取子单元、第三物体分类子单元和第三边框回归子单元;

所述第三特征提取子单元,包括五层神经网络(由四层卷积网络和一层全连接层构成),能提取第二图像集各图像的图像特征,输出所述图像特征到第三物体分类子单元和第三边框回归子单元;

所述第三物体分类子单元,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第三候选框;

所述第三边框回归模块子单元,根据所述图像特征生成边框回归向量,对第三候选框进行校正后输出第三候选框集。

所述目标网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

其中,所述目标网络检测结果筛选单元采用第三筛选法筛选第三候选框,所述第三筛选法包括以下步骤:

5)随机选取一个第三候选框,逐一计算该第三候选框与其他第三候选框的交并面积比,如果超过第三阈值t3,则删除两个第三候选框中置信度较小的一个,否则两个第三候选框均保留;

6)重复步骤5)直至所有第三候选框均被筛选;

7)对每个筛选后第三候选框所对应的置信度进行检测,若大于置信度阈值t4,则保留,否则该第三候选框;

所述第三阈值t3范围是0.5~0.9,优选为0.7;所述置信度阈值t4范围是0.5~0.9,优选为0.7。

其中,所述图像还原单元将目标网络检测结果筛选单元筛选后的第三候选框在预处理图像标记。

报警模块,查找是否存在第三候选框,若存在则发送报警,若不存在第三候选框则不报警。

本发明提供一种基于级联卷积神经网络的行为检测方法一实施例,包括以下步骤:

a)拍摄人的面部图像,所述图像分辨率至少为640×480。

b)对所述面部图像进行灰度转换并调整为预设尺寸,形成预处理图像;将所述面部图像的rgb三通道图像转换为单通道灰度图像,转换公式为gray=0.299r+0.587g+0.114b,通过opencv中的resize函数将单通道灰度图像转换为640×480分辨率图像。

c)在预处理图像中提取目标物体第一候选框并对第一候选框进行校正输出目标物体的第一候选框集;提取预处理图像中各图像的图像特征,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第一候选框,根据所述图像特征生成边框回归向量,对第一候选框进行校正后输出第一候选框集。

所述目标网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

d)采用第一筛选法筛选第一候选框;所述第一筛选法包括以下步骤:

1)随机选取一个第一候选框,逐一计算该第一候选框与其他第一候选框的交并面积比,如果超过第一阈值t1,则删除两个第一候选框中置信度较小的一个,否则两个第一候选框均保留;所述第一阈值t1范围是0.3~0.7,优选为0.5。

2)重复步骤1)直至所有第一候选框均被筛选。

e)将筛选后的第一候选框在预处理图像中裁剪选出形成第一图像集;

f)在第一图像集各图像中提取物体第二候选框并对第二候选框进行校正输出目标物体的第二候选框集;提取第一图像集中各图像的图像特征,根据所述图像特征分物体和背景并对图像中物体进行分类,获取物体的第二候选框,对第二候选框进行校正后输出第二候选框集。

所述区域优化网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p(xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

g)采用第二筛选法筛选第二候选框;所述第二筛选法包括以下步骤:

3)随机选取一个第二候选框,逐一计算该第二候选框与其他第二候选框的交并面积比,如果超过第二阈值t2,则删除两个第二候选框中置信度较小的一个,否则两个第二候选框均保留;所述第二阈值t2范围是0.4~0.8,优选为0.6。

4)重复步骤3)直至所有第二候选框均被筛选。

h)将筛选后的第二候选框在预处理图像中裁剪选出形成第二图像集;

i)在第二图像集各图像中提取第三候选框并对第三候选框进行校正输出目标物体的第三候选框集;提取第二图像集各图像的图像特征,根据所述图像特征区分物体和背景并对图像中物体进行分类,获取物体的第三候选框,根据所述图像特征生成边框回归向量,对第三候选框进行校正后输出第三候选框集。

所述目标网络检测激活函数选用整流线性单元(relu),损失函数由分类损失和边框回归损失构成,分类损失选用交叉熵(crossentropy),边框回归损失选用l2损失函数,训练过程的学习率设置0.1,最大迭代次数设置为10000。

所述整流线性单元(relu)变换公式为,交叉熵(crossentropy)公式为ce(x)=-∑yilog(p((xi)),l2损失函数公式为l2(x)=σ(yi-p(xi))2

j)采用第三筛选法筛选第三候选框;所述第三筛选法包括以下步骤:

5)随机选取一个第三候选框,逐一计算该第三候选框与其他第三候选框的交并面积比,如果超过第三阈值t3,则删除两个第三候选框中置信度较小的一个,否则两个第三候选框均保留;

6)重复步骤5)直至所有第三候选框均被筛选;

7)对每个筛选后第三候选框所对应的置信度进行检测,若大于置信度阈值t4,则保留,否则删除该第三候选框。

所述第三阈值t3范围是0.5~0.9,优选为0.7;所述置信度阈值t4范围是0.5~0.9,优选为0.7。

k)将筛选后的第三候选框在所述预处理图像中标记;

l)查找是否存在第三候选框,若存在则发送报警,若不存在第三候选框则不报警。

以上通过具体实施方式和实施例对本发明进行了详细的说明,但这些并非构成对本发明的限制。在不脱离本发明原理的情况下,本领域的技术人员还可做出许多变形和改进,这些也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1