一种针对平面旋转目标的视觉检测方法
【专利摘要】本发明公开了一种针对平面旋转目标的视觉检测方法，涉及计算机视觉、模式识别和机器学习领域，本方法能够快速有效解决现实情况中对旋转目标的检测需求。该方法遵循图像特征表达和机器学习算法相结合的视觉检测框架，但不涉及具体的图像特征和机器学习方法，因此具有很好的推广价值。该方法将检测过程划分成窗口初筛、方向估计以及最终校验三个步骤。具体地说，窗口初筛就是对待测图片进行快速的粗略扫描，过滤背景信息，得到包含假阳性结果的候选检测窗；方向估计就是预测候选检测窗中假定目标的方向；最终校验则是根据所获得的估计方向，对候选检测窗作进一步判断。本方法能够减少传统多方向检测方法的计算开支，大大提高对旋转目标的检测效率。
【专利说明】
一种针对平面旋转目标的视觉检测方法
技术领域
[0001]本发明涉及计算机视觉、模式识别和机器学习领域，尤其涉及一种针对平面旋转目标的视觉检测方法。
【背景技术】
[0002]作为计算机视觉中的一个重要分支，目标检测是实现高层次图像理解和视频分析的基础性问题，而旋转目标检测又是该问题中关键的组成部分。对于旋转目标的检测，最常用的方法就是多方向检测，即以一定的角度旋转待测图片进行多次检测。
[0003]发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足:
[0004]上述方法需要对待测图片每个位置上的检测窗进行多个方向的特征提取和分类判断，巨大的计算量使得检测效率受到一定限制；并且在每个位置进行反复检测也会增加假阳性结果的数量，降低检测精度。
[0005]因此，如何减少旋转目标检测过程中的计算量，提高检测效率和精度，成为当前研究者的研究重点之一。
【发明内容】
[0006]本发明提供了一种针对平面旋转目标的视觉检测方法，本发明减少了旋转目标检测过程中的计算量，能够提高检测效率和精度，详见下文描述:
[0007]—种针对平面旋转目标的视觉检测方法，所述视觉检测方法包括以下步骤:
[0008]对训练样本进行随机旋转，获取具有各种方向的目标样本集，结合不包含目标的负样本集，经图像特征提取后，获取第一图像特征，通过机器学习方法进行二分类训练，获取初筛分类器；
[0009]对训练样本进行逐次旋转，得到N个包含不同方向目标的样本集，对各训练样本进行图像特征提取后，获取第二图像特征，通过机器学习方法进行多分类训练，获取方向估计器；
[0010]使用具有统一方向的目标样本集，结合不包含目标的负样本集，经图像特征提取后，获取第三图像特征，通过机器学习方法进行二分类训练，获取校验分类器；
[0011]通过所述初筛分类器、所述方向估计器和所述校验分类器对待测图片进行最终校验。
[0012]其中，所述通过所述初筛分类器、所述方向估计器和所述校验分类器对待测图片进行最终校验的步骤具体为:
[0013]使用所述初筛分类器对待测图片进行粗略扫描，过滤大部分的背景信息，得到包含有假阳性结果的候选检测窗；
[0014]通过所述方向估计器判断每个候选检测窗中假定目标的估计方向；
[0015]最后根据所述估计方向，调整所述候选检测窗或所述校验分类器，作进一步的判断。
[0016]进一步地，所述使用所述初筛分类器对待测图片进行粗略扫描，过滤大部分的背景信息，得到包含有假阳性结果的候选检测窗的步骤具体为:
[0017]通过多尺度分析对待测图片构建金字塔特征集，金字塔特征集中的每个特征对应于待测图片中不同位置和尺度的检测窗；
[0018]将金字塔特征集中的每个特征输入至所述初筛分类器，根据分类得分过滤背景信息，得到候选特征集，即为候选检测窗。
[0019]进一步地，所述通过所述方向估计器判断每个候选检测窗中假定目标的估计方向的步骤具体为:
[0020]将候选特征集中的每个特征输入至所述方向估计器，估计特征所对应的检测窗中目标的方向Θ。
[0021]进一步地，所述最后根据所述估计方向，调整所述候选检测窗或所述校验分类器，作进一步的判断的步骤具体为:
[0022]对候选特征集中的每个特征，根据估计方向，调整图像特征或所述校验分类器，根据校验分类器的得分对特征作进一步验证；
[0023]若得分小于新阈值，则特征对应的检测窗不包含目标；
[0024]若得分大于或等于新阈值，则在待测图片中，特征对应的检测窗覆盖的部分即为目标，目标方向为Θ。
[0025]进一步地，所述根据校验分类器的得分对特征作进一步验证的步骤具体为:
[0026]根据校验分类器H的得分H(Ce)SHe(C)对特征c作进一步验证，其中Ce表示经过调整后的图像特征，出表示经过调整后的校验分类器。
[0027]进一步地，所述机器学习方法具体为:支持向量机、随机森林算法、神经网络或深度学习。
[0028]进一步地，所述图像特征具体为:方向梯度直方图、尺度不变特征变换、局部二值模式。
[0029]本发明提供的技术方案的有益效果是:
[0030]1、本发明将对平面旋转目标的视觉检测过程分成窗口初筛、方向估计以及最终校验三个步骤，三个步骤分别使用不同条件下的训练样本集得到各自的分类模型。该方法能够避免传统多方向检测中对待测图片每个位置每个方向的特征提取和分类判断，减少不必要的计算开支，提高对平面旋转目标的检测效率。
[0031]2、此外，本发明不涉及具体的图像特征和机器学习方法，可采用诸如方向梯度直方图(HOG)、尺度不变特征变换(SIFT)、局部二值模式(LBP)等任何一种能够应用于目标检测的图像特征，以及诸如支持向量机、随机森林算法、神经网络、深度学习等任何一种能够实现分类的机器学习方法，具有很强的推广和应用价值。
【附图说明】
[0032]图1为一种针对平面旋转目标的视觉检测方法的流程图；
[0033]图2为初筛分类器训练所用的正样本集的示意图；
[0034]图3为方向估计器训练所用样本集的示意图；
[0035]图4为校验分类器训练所用的正样本集的示意图；
[0036]图5为对待测图片进行平面旋转目标检测的示例图。
【具体实施方式】
[0037]为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
[0038]实施例1
[0039]本发明实施例提供了一种针对平面旋转目标的视觉检测方法，参见图1，该方法包括以下步骤:
[0040]101:对训练样本进行随机旋转，获取具有各种方向的目标样本集，结合不包含目标的负样本集，经图像特征提取后，获取第一图像特征，将第一图像特征作为输入，通过机器学习方法进行二分类训练，获取初筛分类器；
[0041 ]其中，上述机器学习方法可以为:支持向量机、随机森林算法、神经网络、深度学习等任何一种能够实现分类的机器学习方法，本发明实施例对此不做限制。
[0042]进一步地，上述二分类训练的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。
[0043]102:对训练样本进行逐次旋转，得到N个包含不同方向目标的样本集，对各训练样本进行图像特征提取后，获取第二图像特征，将第二图像特征作为输入，通过机器学习方法进行多分类训练，获取方向估计器；
[0044]其中，该步骤中的机器学习方法与步骤101中相同，本步骤对此不做赘述。
[0045]进一步地，上述多分类训练的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。
[0046]103:使用具有统一方向的目标样本集，结合不包含目标的负样本集，经图像特征提取后，获取第三图像特征，将第三图像特征作为输入，通过机器学习方法进行二分类训练，获取校验分类器；
[0047]其中，该步骤中的机器学习方法与步骤101、步骤102中相同，本步骤对此不做赘述。进一步地，该步骤中的二分类训练的步骤与步骤101中相同，本发明实施例对此不做赘述。
[0048]具体实现时，步骤101-步骤103中要提取的图像特征均相同，可以为方向梯度直方图、尺度不变特征变换、局部二值模式等特征，三个步骤中仅是从不同的训练样本和目标样本集中提取，故获取到不同的图像特征提取结果，上述图像特征提取结果分别用第一图像特征、第二图像特征和第三图像特征表示。
[0049]104:通过初筛分类器、方向估计器和校验分类器对待测图片进行最终校验。
[0050]首先，使用初筛分类器对待测图片进行粗略扫描，过滤大部分的背景信息，得到包含有假阳性结果的候选检测窗;然后通过方向估计器判断每个候选检测窗中假定目标的估计方向；最后根据估计方向，调整候选检测窗或校验分类器，作进一步的判断。
[0051]综上所述，本发明实施例将检测过程分成窗口初筛、方向估计以及最终校验三个步骤，该方法能够避免传统多方向检测中，对待测图片每个位置每个方向的特征提取和分类判断，减少不必要的计算开支，提高了平面旋转目标的检测效率。
[0052]实施例2
[0053]下面结合图2-图4对实施例1中的方案进行详细的介绍，详见下文描述:
[0054]201:训练初筛分类器；
[0055]在检测任务中，目标往往只占待测图片的一小部分，而对于待测图片中每个位置进行细致的多方向检测无疑增加了不必要的计算开支。因此，本发明实施例在检测之初应用窗口初筛环节，即对整张待测图片作不考虑方向的扫描检测，获得疑似目标的候选检测窗。
[0056]训练开始前，需要将包含有目标的训练样本进行随机旋转，获得包含各个方向样本的正样本集，如图2所示，它示例了某检测任务中训练初筛分类器所使用的部分正样本图片，各样本具有不同的旋转角度，且呈现无规律排列，意味着训练过程中不予关注各样本之间的方向差异。而训练中所使用的负样本集则由不包含目标的样本图片组成。在对正、负样本集进行图像特征提取后，用选定的机器学习方法进行二分类训练，得到该环节所需的初筛分类器。
[0057]由于训练集中包含了各种方向的目标，且在训练过程中不考虑训练样本之间的位姿差异，因此所得到的初筛分类器能够对各个方向的目标进行响应，完成过滤背景信息，筛选候选检测窗的任务。
[0058]202:训练方向估计器；
[0059]除了没有必要在待测图片的每个位置进行细致检查，对于初筛环节所得到的候选检测窗，也没有必要在每个方向进行检测。为此，本发明实施例在检测过程中引入方向估计环节，在假定目标存在的前提下，对输入的候选检测窗作方向估计。
[0060]训练前，将360度均匀分成N个离散方向，然后通过旋转包含有目标的样本图片获得N个包含不同方向目标的样本集，如图3所示，它示例了某检测任务中训练方向估计器所使用的部分样本图片，每个目标都进行了多次有明确角度的旋转，最终形成了多个具有不同方向目标的样本集。在对N个不同方向的样本集进行图像特征提取后，用选定的机器学习方法进行多分类(N个类别)训练，得到的分类器即为该环节所需的方向估计器。
[0061]该环节中所用的训练集同初筛环节中正样本训练集一样，包含了各个方向的目标，但不同的是，方向估计器的训练过程中考虑训练样本之间的位姿差异，因此，能够对某一特定方向的目标进行响应，完成方向估计任务。
[0062]203:训练校验分类器；
[0063]前两个步骤主要是为了筛选疑似目标，减少检测过程的计算量，最终的判断应当需要一个更为精确的分类模型，即校验分类器。
[0064]训练前，将包含目标的样本调整至统一方向，即作为该环节训练的正样本集，如图4所示，它示例了某检测任务中训练校验分类器所使用的部分正样本图片，图片中的每个目标都具有统一的方向，表明据此得到的分类模型只对某一方向的目标进行响应。使用的负样本集与步骤201相同，由不包含目标的图片组成。在对正、负样本集进行图像特征提取后，用选定的机器学习方法进行二分类训练，得到该环节所需的校验分类器。
[0065]204:待测图片的检测。
[0066]在得到初筛分类器S，方向估计器E以及校验分类器H后，即可对待测图片I进行平面旋转目标检测。具体步骤如下:
[0067]首先，通过多尺度分析对待测图片I构建金字塔特征集F，金字塔特征集F中的每个特征f对应于待测图片I中不同位置和尺度的检测窗W;
[0068]其中，构建金字塔特征集F的步骤为本领域技术人员所公知，本发明实施例对此不做赘述。
[0069]接着，将金字塔特征集F中的每个特征f输入至初筛分类器S，根据分类得分S(f)>^过滤背景信息，得到候选特征集Cj1为设置的初筛分类器阈值(其中，扮的取值根据实际应用中的需要进行设定，本发明实施例对此不做限制)；
[°07°]然后，将候选特征集C中的每个特征c输入至方向估计器E，根据QzargmaxiE(Cj=I)(C)估计特征C所对应的检测窗W中目标(假设存在目标)的方向0，其中1 = 1，2，...，Ν，表示训练集中目标样本的离散方向，Εω (C)表示特征c在第ω个方向上的得分；
[0071 ]最后，对候选特征集C中的每个特征c，根据估计方向Θ，调整图像特征或校验分类器H，根据校验分类器H的得分H(Ce)SHe(C)对特征c作进一步验证，其中(^表示经过调整后的图像特征，出表示经过调整后的校验分类器。若得分小于新阈值βΗ(其中，βΗ的取值根据实际应用中的需要进行设定，本发明实施例对此不做限制)，则特征c对应的检测窗W。不包含目标;若得分大于或等于新阈值况，则在待测图片中，特征c对应的检测窗W。覆盖的部分即为目标，目标方向为Θ。
[0072]综上所述，本发明实施例将检测过程分成窗口初筛、方向估计以及最终校验三个步骤，该方法能够避免传统多方向检测中对待测图片每个位置每个方向的特征提取和分类判断，减少不必要的计算开支，提高了平面旋转目标的检测效率。
[0073]实施例3
[0074]下面结合图5对实施例1和2中的方案进行可行性验证，详见下文描述:
[0075]在图5所展示的实验中，本发明实施例使用了扇环状方向梯度直方图(SRHOG)作为检测所需的图像特征，分类方法采用随机蕨算法(RFs)。训练及测试图片均来自Freestylemotocross公共数据集，目的是为了检测各种图片中具有不同旋转的摩托车。在对待测图片(如图5(a)所示)进行目标检测时，依据上述方法所述，首先通过窗口初筛得到待测图片中的候选检测窗集(如图5(b)所示，图5(b)中每一个圆形区域即表示一个候选检测窗)；然后使用方向估计环节对所得到的候选检测窗估计假定存在的目标的方向(如图5(c)所示，图5(c)中每个圆形中的直线即表示该检测窗中假定目标的估计方向)，最后根据估计方向对每一个候选检测窗进行校验分类，得到最终的结果(如图5(d)所示)。通过上述实验结果，可以看出本方法减少了不必要的计算开支，提高了平面旋转目标的检测效率，满足了实际应用中的多种需要。
[0076]本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0077]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种针对平面旋转目标的视觉检测方法，其特征在于，所述视觉检测方法包括以下步骤: 对训练样本进行随机旋转，获取具有各种方向的目标样本集，结合不包含目标的负样本集，经图像特征提取后，获取第一图像特征，通过机器学习方法进行二分类训练，获取初筛分类器； 对训练样本进行逐次旋转，得到N个包含不同方向目标的样本集，对各训练样本进行图像特征提取后，获取第二图像特征，通过机器学习方法进行多分类训练，获取方向估计器； 使用具有统一方向的目标样本集，结合不包含目标的负样本集，经图像特征提取后，获取第三图像特征，通过机器学习方法进行二分类训练，获取校验分类器； 通过所述初筛分类器、所述方向估计器和所述校验分类器对待测图片进行最终校验。2.根据权利要求1所述的一种针对平面旋转目标的视觉检测方法，其特征在于，所述通过所述初筛分类器、所述方向估计器和所述校验分类器对待测图片进行最终校验的步骤具体为: 使用所述初筛分类器对待测图片进行粗略扫描，过滤大部分的背景信息，得到包含有假阳性结果的候选检测窗； 通过所述方向估计器判断每个候选检测窗中假定目标的估计方向； 最后根据所述估计方向，调整所述候选检测窗或所述校验分类器，作进一步的判断。3.根据权利要求2所述的一种针对平面旋转目标的视觉检测方法，其特征在于，所述使用所述初筛分类器对待测图片进行粗略扫描，过滤大部分的背景信息，得到包含有假阳性结果的候选检测窗的步骤具体为: 通过多尺度分析对待测图片构建金字塔特征集，金字塔特征集中的每个特征对应于待测图片中不同位置和尺度的检测窗； 将金字塔特征集中的每个特征输入至所述初筛分类器，根据分类得分过滤背景信息，得到候选特征集，即为候选检测窗。4.根据权利要求3所述的一种针对平面旋转目标的视觉检测方法，其特征在于，所述通过所述方向估计器判断每个候选检测窗中假定目标的估计方向的步骤具体为: 将候选特征集中的每个特征输入至所述方向估计器，估计特征所对应的检测窗中目标的方向Θ。5.根据权利要求4所述的一种针对平面旋转目标的视觉检测方法，其特征在于，所述最后根据所述估计方向，调整所述候选检测窗或所述校验分类器，作进一步的判断的步骤具体为: 对候选特征集中的每个特征，根据估计方向，调整图像特征或所述校验分类器，根据校验分类器的得分对特征作进一步验证； 若得分小于新阈值，则特征对应的检测窗不包含目标； 若得分大于或等于新阈值，则在待测图片中，特征对应的检测窗覆盖的部分即为目标，目标方向为Θ。6.根据权利要求5所述的一种针对平面旋转目标的视觉检测方法，其特征在于，所述根据校验分类器的得分对特征作进一步验证的步骤具体为: 根据校验分类器H的得分H(Ce)SHe(C)对特征c作进一步验证，其中(^表示经过调整后的图像特征，出表示经过调整后的校验分类器。7.根据权利要求1-6中任一权利要求所述的一种针对平面旋转目标的视觉检测方法，其特征在于，所述机器学习方法具体为:支持向量机、随机森林算法、神经网络或深度学习。8.根据权利要求1-6中任一权利要求所述的一种针对平面旋转目标的视觉检测方法，其特征在于，所述图像特征具体为:方向梯度直方图、尺度不变特征变换、局部二值模式。
【文档编号】G06K9/62GK106056161SQ201610393954
【公开日】2016年10月26日
【申请日】2016年6月2日
【发明人】刘保真, 孙景工, 吴航, 苏卫华, 张文昌, 秦晓丽, 苑英海, 安慰宁
【申请人】中国人民解放军军事医学科学院卫生装备研究所