基于高斯模型的特定目标候选框生成方法
【专利摘要】本发明提供了一种基于高斯模型的特定目标候选框生成方法，包括如下步骤：以随时间变化的目标尺度为自变量建立各个像素点处的高斯模型；训练高斯模型，在学习过程中动态筛选出目标频繁出现的位置以及目标尺度信息，从而得到检测区域；根据高斯模型学习得到的目标尺度信息，利用滑动窗搜索方式在检测区域均匀设置候选框，本发明充分利用静态监控视频以及车载监控视频等特殊场景的固有特征，训练高斯模型，得到特定目标频繁出现的区域与检测点处的尺度信息，并采用在线学习机制，使得模型更新与检测同步进行，本发明大大提升了目标检测效率及检测效果，并为后续的特定目标识别及跟踪过程提高了较大的辅助作用。
【专利说明】
基于高斯模型的特定目标候选框生成方法
技术领域
[0001 ]本发明涉及目标检测技术领域，具体涉及一种基于高斯模型的特定目标候选框生 成方法。
【背景技术】
[0002] 特定目标候选框的生成是目标识别分类的一项重要的前期工作，候选框的生成对 最终的特定目标检测的准确度和效率均有很大的影响。如果前期生成的候选框与真实目标 的覆盖度较大，且候选框的数目不足以对整体检索效率造成明显的影响，就会对整个目标 检测系统产生正面的作用，即提升目标检测的准确度，并缩短搜索的时间；另外，目标候选 框的生成也会改变分类器处理的数据分布，从而可能会提升检测效果，减少误报。
[0003] 目前已有不少生成目标候选框的方法，比如早期的滑动窗搜索方式以及后来发表 的选择性搜索Selective Search与Bing等方法。滑动窗搜索方式的局限性在于:在应用多 尺度搜索时，往往会产生数以万计的搜索框，使目标检测的效率低下；另外，扫描窗口以固 定的长度步进，搜索结果不是全局最优的，可能造成漏检。Selective Search方法是针对滑 动窗搜索方式的弊端以及增强实时性而发展起来的，其局限性在于：用在一般物体检测上 面效果比较好，但是不太擅长提取高覆盖度的目标候选框，影响检测效果。
【发明内容】
[0004] 本申请通过提供一种基于高斯模型的特定目标候选框生成方法，以解决现有技术 中检测效率低，检测效果不佳的技术问题。
[0005] 为解决上述技术问题，本申请采用以下技术方案予以实现：
[0006] -种基于高斯模型的特定目标候选框生成方法，包括如下步骤：
[0007] S1:以随时间变化的目标尺度为自变量建立各个像素点处的高斯模型，并初始化 各像素点处的高斯模型均值y以及标准差
[0008] S2:训练高斯模型，在学习过程中动态筛选出目标频繁出现的位置以及目标尺度 信息，得出检测区域；
[0009] S21:根据高斯模型的标准差大小反映高斯曲线概率峰值大小的特性设置标准差 阈值〇t，根据高斯模型的均值反映此处出现概率最大的行人尺度大小的特性得到目标尺度 信息；
[0010] S22:在学习过程中动态筛选出图像中高斯模型标准差〇小于标准差阈值^的检测 点，即为目标频繁出现的位置，得出检测区域；
[0011] S3:根据高斯模型学习得到的目标尺度信息，利用滑动窗搜索方式在检测区域均 匀设置候选框，从而得到最终特定目标的候选框；
[0012] S31:对于通过高斯模型学习过程得出的检测点，以均值尺寸为基准设置不同尺度 的搜索框；
[0013] S32:对于非高斯模型学习得出的检测点，首先寻找出由步骤S31得出的与所述非 高斯模型学习得出的检测点距离最近的已知检测点，并计算两者之间的最短距离d，如果d 小于lmin个像素点，则将最近的已知检测点的基准尺寸作为该非高斯模型学习得出的检测 点的基准尺寸，如果l_<d<l max个像素点，则将所有已知检测点的中值尺寸作为该非高斯 模型学习得出的检测点的基准尺寸，如果d>l max，则将所有已知检测点的最大尺寸作为该 非高斯模型学习得出的检测点的基准尺寸。
[0014] 考虑到实际情况，在开始进行高斯模型的学习时，由于输入的样本数目不足，高斯 模型暂未收敛。得出的行人频繁出现的位置较少，形成的区域面积较小，与实际情况不吻 合。因此在开始的一段时间内，采用传统滑动窗搜索方式设置候选框，以防止出现检测率过 低的情况。
[0015] 作为一种优选的技术方案，在高斯模型趋于收敛状态之前，即当所述基于高斯模 型的特定目标候选框生成方法的平均检测率小于设定的阈值D时，先采用滑动窗搜索方式 设置候选框，当所述基于高斯模型的特定目标候选框生成方法的平均检测率大于设置的阈 值D时，由滑动窗搜索方式切换为基于高斯模型的特定目标候选框生成方法进行特定目标 候选框的选择，具体步骤为：
[0016] A1:参数初始化，包括基于高斯模型的特定目标候选框生成方法的检测率的阈值 D，滑动窗搜索方式中搜索窗基准尺寸；
[0017] A2:滑动窗搜索方式的设置:在整幅图像上均匀分布搜索框，每个检测点处设置N 个不同尺寸的搜索框；
[0018] A3:遍历待处理的视频帧：
[0019] A31:判断当前帧是否为第一帧或者上一帧通过高斯模型学习出的搜索框集合M是 否为空，如果是，则进入步骤A33，否则进入步骤A32;
[0020] A32:通过上一帧中高斯模型学习出的搜索框集合M，计算当前基于高斯模型的特 定目标候选框生成方法的检测率，进入步骤A34;
[0021] A33:令当前帧基于高斯模型的特定目标候选框生成方法的检测率为0;
[0022] A34:通过步骤A2中的搜索框集合计算当前帧滑动窗搜索方式的检测率；
[0023] A35:将步骤A34检测出的标注目标作为高斯模型的输入更新高斯模型，从而更新 搜索框集合M;
[0024] A36:判断基于高斯模型的特定目标候选框生成方法的平均检测率是否大于阈值 D，如果大于，则进入步骤A37，否则，进入步骤A31;
[0025] A37:由滑动窗搜索方式切换至基于高斯模型的特定目标候选框生成方法行特定 目标候选框的选择。
[0026] 与现有技术相比，本申请提供的技术方案，具有的技术效果或优点是：
[0027] (1)检测区域可以随时间进行自适应更新，当与后续的目标识别算法结合时，可以 做到目标候选框更新与目标识别同步进行，更加符合实际需要。
[0028] (2)采用高斯模型拟合的方式找出检测区域，约束特定目标候选框的数量，从而提 高了检测效率。
[0029] (3)在训练高斯模型的过程中，可以得出检测区域内部各个检测点处出现频率最 大的特定目标尺度信息，并以此合理设置特定目标候选框的大小。
[0030] 该发明大大提升了目标检测效率及检测效果，并为后续的特定目标识别及跟踪过 程提高了较大的辅助作用。
【附图说明】
[0031] 图1为本发明的流程图；
[0032] 图2为滑动窗搜索方式与基于高斯模型的特定目标候选框生成方法之间切换的流 程图；
[0033]图3为滑动窗搜索方式在不同数目候选模板下的测试结果图；
[0034]图4为两种搜索方式随I0U阈值的变化情况图；
[0035] 图5为改变相邻搜索框间隔控制候选模板数量的对比图；
[0036] 图6为改变尺度步长大小控制候选模板数量的对比图。
【具体实施方式】
[0037] 本申请实施例通过提供一种基于高斯模型的特定目标候选框生成方法，以解决现 有技术中检测效率低，检测效果不佳的技术问题。
[0038] 为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式，对 上述技术方案进行详细的说明。
[0039] 实施例
[0040] -种基于高斯模型的特定目标候选框生成方法，如图1所示，包括如下步骤：
[0041] S1:以随时间变化的目标尺度为自变量建立各个像素点处的高斯模型，并初始化 各像素点处的高斯模型均值y以及标准差〇,本实施例选取高斯模型均值y=900,高斯模型 标准差〇 = 20;
[0042] S2:训练高斯模型，在学习过程中动态筛选出目标频繁出现的位置以及目标尺度 信息，得出检测区域；
[0043] S21:根据高斯模型的标准差大小反映高斯曲线概率峰值大小的特性设置标准差 阈值〇t，本实施例中标准差阈值 〇t=18,根据高斯模型的均值反映此处出现概率最大的行人 尺度大小的特性得到目标尺度信息；
[0044] S22:在学习过程中动态筛选出图像中高斯模型标准差〇小于标准差阈值〇t的检测 点，即为目标频繁出现的位置，得出检测区域；
[0045] S3:根据高斯模型学习得到的目标尺度信息，利用滑动窗搜索方式在检测区域均 匀设置候选框，从而得到最终特定目标的候选框；
[0046] S31:对于通过高斯模型学习过程得出的检测点，以均值尺寸为基准设置不同尺度 的搜索框；
[0047] S32:对于非高斯模型学习得出的检测点，首先寻找出由步骤S31得出的与所述非 高斯模型学习得出的检测点距离最近的已知检测点，并计算两者之间的最短距离d，如果d 小于lmin个像素点，则将最近的已知检测点的基准尺寸作为该非高斯模型学习得出的检测 点的基准尺寸，如果l_<d<l max个像素点，则将所有已知检测点的中值尺寸作为该非高斯 模型学习得出的检测点的基准尺寸，如果d>l max，则将所有已知检测点的最大尺寸作为该 非高斯模型学习得出的检测点的基准尺寸。在本实施例中，Uin=15，l max = 37,步骤S31和 S32中得到的检测点的候选框尺度与基准尺度的比例范围为:0.6-2.6，候选框模板的宽高 比锁定为0.5。通过调整尺度变化的步长或者相邻候选框模板质心之间的距离，就可以控制 整幅图像设置的候选框数目。
[0048] 本发明针对静态监控视频以及车载监控视频等特殊场景的固有特征，认为图像的 某一确定位置处出现的特定目标的尺度大小近似服从正态分布，因此可以用数学期望和标 准差两个参量来进行描述。某个像素点处高斯分布的期望即为此处出现概率最大的目标尺 度大小，而标准差决定了高斯分布的幅度大小。通过高斯模型的学习与更新过程，不仅可以 获取场景中特定目标频繁出现的位置，还可以得出对应的目标尺度信息。最终根据得出的 目标频繁出现的区域，利用滑动窗搜索方式在该区域均匀设置候选框，即得到了最终的特 定目标的候选框。
[0049] 考虑到实际情况，在开始进行高斯模型的学习时，由于输入的样本数目不足，高斯 模型暂未收敛。得出的行人频繁出现的位置较少，形成的区域面积较小，与实际情况不吻 合。因此在开始的一段时间内，采用传统滑动窗搜索方式设置候选框，以防止出现检测率过 低的情况。
[0050] 因此，在高斯模型趋于收敛状态之前，即当所述基于高斯模型的特定目标候选框 生成方法的平均检测率小于设定的阈值D时，先采用滑动窗搜索方式设置候选框，当所述基 于高斯模型的特定目标候选框生成方法的平均检测率大于设置的阈值D时，由滑动窗搜索 方式切换为基于高斯模型的特定目标候选框生成方法(简称为高斯搜索方式)进行特定目 标候选框的选择，如图2所示，具体步骤为：
[0051 ] A1:参数初始化，包括基于高斯模型的特定目标候选框生成方法的检测率的阈值D = 80%，滑动窗搜索方式中搜索窗基准尺寸初始化为900;
[0052] A2:滑动窗搜索方式的设置:在整幅图像上均匀分布搜索框，每个检测点处设置21 个不同尺寸的搜索框；
[0053] A3:遍历待处理的视频帧：
[0054] A31:判断当前帧是否为第一帧或者上一帧通过高斯模型学习出的搜索框集合M是 否为空，如果是，则进入步骤A33，否则进入步骤A32;
[0055] A32:通过上一帧中高斯模型学习出的搜索框集合M，计算当前基于高斯模型的特 定目标候选框生成方法的检测率，进入步骤A34;
[0056] A33:令当前帧基于高斯模型的特定目标候选框生成方法的检测率为0;
[0057] A34:通过步骤A2中的搜索框集合计算当前帧滑动窗搜索方式的检测率；
[0058] A35:将步骤A34检测出的标注目标作为高斯模型的输入更新高斯模型，从而更新 搜索框集合M;
[0059] A36:判断基于高斯模型的特定目标候选框生成方法的平均检测率是否大于阈值 D，如果大于，则进入步骤A37，否则，进入步骤A31;
[0060] A37:由滑动窗搜索方式切换至基于高斯模型的特定目标候选框生成方法行特定 目标候选框的选择。
[0061] 为了进一步验证本发明的显著效果，本实施例通过实验对传统的滑动窗搜索方式 与高斯搜索方式进行了对比。该实例的测试数据集是加州理工行人检测数据库的一个分 支：setoo数据集。加州理工学院的行人数据集包含了约10小时的640x480 30hz的视频，该 视频是从一辆汽车驾驶摄像头在城市环境中定期拍摄的，约有250000帧，共有350000边界 框和2300独特的行人标注，标注的信息包括了实物的边框信息和详细的标注实物信息。 [0062]采用传统的滑动窗搜索方式在尺寸为480*640的图像上均匀设置检测点，通过控 制相邻搜索框质心之间的距离来改变候选模板数目。为方便比较，传统的滑动窗搜索方式 设置的基准尺寸与高斯搜索方式设置相同的值:900,各检测点设置的检测框尺寸与基准尺 寸的比例范围是:〇.6~2.6。如图3所示为滑动窗搜索方式在不同数目的候选模板下的测试 结果。当每帧图片设置14823个候选模板时，搜索框与标注框的最大重合比率I0U超过百分 之五十的比率近似为83%。准确度满足实际需求，但是超过10 4量级的检测框数目会拉低检 测系统的实时性。而高斯搜索方式在设置5387个候选框时，便可获得81 %的检测率。因此考 虑到实时性和准确度之间的平衡，采用高斯搜索方式提取行人候选模板更加合理。
[0063] 当高斯搜索方式在每帧设置5387个候选模板，而传统滑动窗搜索方式在每帧设置 6642个候选模板时，二者的检测率随I0U阈值的变化情况如下图4所示。相比较之下，高斯搜 索方式在设置较少搜索框的同时达到更高的检测率。
[0064] 同时，本实施例用每帧图片的平均检测率随候选模板数目的变化情况来度量搜索 方式的效果，并采用改变相邻搜索框间隔和改变尺度变化步长两种方式来控制候选模板数 量。使用改变相邻搜索框间隔的方法控制候选模板的数量，得出的效果比较图如图5所示， 相关数据如表1所示。
[0065] 表1高斯搜索方式与滑动窗搜索方式的检测数据比较(改变相邻搜索窗的间隔）
[0067] 使用改变尺度步长大小的方法控制候选模板的数量，得出的效果比较图如图6所 示，相关数据如下表2所示。
[0068] 表2高斯搜索方式与滑动窗搜索方式的检测数据比较(改变尺度变化的步长）
[0070] 可见高斯搜索方式与传统的滑动窗搜索方式相比较，在保证较高实时性的同时， 可以获得理想的准确度。无论使用何种控制搜索框数目的方式，高斯搜索方式的检测效果 均优于传统滑动窗搜索方式。
[0071] 本申请的上述实施例中，通过提供一种基于高斯模型的特定目标候选框生成方 法，包括如下步骤：以随时间变化的目标尺度为自变量建立各个像素点处的高斯模型；训练 高斯模型，在学习过程中动态筛选出目标频繁出现的位置以及目标尺度信息，从而得到检 测区域;根据高斯模型学习得到的目标尺度信息，利用滑动窗搜索方式在检测区域均匀设 置候选框，本发明充分利用静态监控视频以及车载监控视频等特殊场景的固有特征，训练 高斯模型，得到特定目标频繁出现的区域与检测点处的尺度信息，并采用在线学习机制，使 得模型更新与检测同步进行，本发明大大提升了目标检测效率及检测效果，并为后续的特 定目标识别及跟踪过程提高了较大的辅助作用
[0072]应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例， 本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应 属于本发明的保护范围。
【主权项】
1. 一种基于高斯模型的特定目标候选框生成方法，其特征在于，包括如下步骤： SI:以随时间变化的目标尺度为自变量建立各个像素点处的高斯模型，并初始化各像 素点处的高斯模型均值μ以及标准差σ; S2:训练高斯模型，在学习过程中动态筛选出目标频繁出现的位置以及目标尺度信息， 得出检测区域； S21:根据高斯模型的标准差大小反映高斯曲线概率峰值大小的特性设置标准差阈值 〇t，根据高斯模型的均值反映此处出现概率最大的行人尺度大小的特性得到目标尺度信 息； S22:在学习过程中动态筛选出图像中高斯模型标准差σ小于标准差阈值(^的检测点，即 为目标频繁出现的位置，得出检测区域； S3:根据高斯模型学习得到的目标尺度信息，利用滑动窗搜索方式在检测区域均匀设 置候选框，从而得到最终特定目标的候选框； S31:对于通过高斯模型学习过程得出的检测点，以均值尺寸为基准设置不同尺度的搜 索框； S32:对于非高斯模型学习得出的检测点，首先寻找出由步骤S31得出的与所述非高斯 模型学习得出的检测点距离最近的已知检测点，并计算两者之间的最短距离d，如果d小于 1_个像素点，则将最近的已知检测点的基准尺寸作为该非高斯模型学习得出的检测点的 基准尺寸，如果I minSdSlmax个像素点，则将所有已知检测点的中值尺寸作为该非高斯模型 学习得出的检测点的基准尺寸，如果d>l max，则将所有已知检测点的最大尺寸作为该非高 斯模型学习得出的检测点的基准尺寸。2. 根据权利要求1所述的基于高斯模型的特定目标候选框生成方法，其特征在于，在高 斯模型趋于收敛状态之前，即当所述基于高斯模型的特定目标候选框生成方法的平均检测 率小于设定的阈值D时，先采用滑动窗搜索方式设置候选框，当所述基于高斯模型的特定目 标候选框生成方法的平均检测率大于设置的阈值D时，由滑动窗搜索方式切换为基于高斯 模型的特定目标候选框生成方法进行特定目标候选框的选择，具体步骤为： Al:参数初始化，包括基于高斯模型的特定目标候选框生成方法的检测率的阈值D，滑 动窗搜索方式中搜索窗基准尺寸； A2:滑动窗搜索方式的设置:在整幅图像上均匀分布搜索框，每个检测点处设置N个不 同尺寸的搜索框； A3:遍历待处理的视频帧： A31:判断当前帧是否为第一帧或者上一帧通过高斯模型学习出的搜索框集合M是否为 空，如果是，则进入步骤A33，否则进入步骤A32; A32:通过上一帧中高斯模型学习出的搜索框集合M，计算当前基于高斯模型的特定目 标候选框生成方法的检测率，进入步骤A34; A33:令当前帧基于高斯模型的特定目标候选框生成方法的检测率为O; A34:通过步骤A2中的搜索框集合计算当前帧滑动窗搜索方式的检测率； A35:将步骤A34检测出的标注目标作为高斯模型的输入更新高斯模型，从而更新搜索 框集合M; A36:判断基于高斯模型的特定目标候选框生成方法的平均检测率是否大于阈值D，如 果大于，则进入步骤A37，否则，进入步骤A31; A37:由滑动窗搜索方式切换至基于高斯模型的特定目标候选框生成方法行特定目标 候选框的选择。
【文档编号】G06K9/62GK105894020SQ201610191094
【公开日】2016年8月24日
【申请日】2016年3月30日
【发明人】覃剑, 王美华, 肖婷, 张媛
【申请人】重庆大学