精细粒度类别识别及物体的部分定位和特征提取方法
【技术领域】
[0001] 本发明涉及一种图像处理技术领域的方法，具体地说，涉及的是一种精细粒度类 别识别方法，以及该识别问题中涉及的物体的部分定位和特征提取方法。
【背景技术】
[0002] 精细粒度分类问题的目标是区分同一大类下的数以百计的多个子类别，比如说区 分不同类别的花，鸟，狗等等。对于非专业人员来说，识别这些子类是非常困难的，精细粒度 分类问题的提出解决了非专业人员识别这些相似子类的问题。用户只需要给定目标物体， 通过精细类别识别方法，就可以返回目标物体的类别，进而可以获得该子类一系列特性。不 同于一般类别识别问题（比如说区分车子和人），由于子类间的差异比较小并且高度局部 化，区分这些子类是非常困难的。广泛应用于一般类别识别问题的空间金字塔模型由于不 能捕获这种高度局部化的子类间差异，因而不能达到满意的识别结果。
[0003] 经过对现有技术的文献检索发现，精细粒度分类问题的难点主要在两个方面， 即部分定位以及图像描述。部分定位广泛采用的是P. Felzenszwalb在2010年《IEEE Transactions on Pattern Analysis and Machine Intelligence》 上发表的 ''A discriminatively trained, multiscale，deformable part model"，即可变形部分模型以 及它的变种。该模型通过训练模板检测器寻找目标物体或者部分目标物体，并且考虑到了 部分模型之间的几何相关性。然而，该模型仅仅对形变比较小的部分具有较好的检测效 果，对形变比较大的部分，诸如鸟的翅膀，部分检测模型的性能很差。针对图像描述，大多 米用 D.G. Lowe 在 2004 年发表在《International Journal of Computer Vision》上的 Distinctive image features from scale-invariant keypoints"，艮P尺度不变特征。然 而，该特征仅仅是一些梯度信息的组合，独立于具体的数据集，不具备较好的区分能力。其 他的特征诸如 Krizhevsky 在 2010 年发表在《Neural Information Processing Systems》 上的''Imagenet classification with deep convolutional neural networks"，艮P卷及 神经网络特征，该特征尽管是针对数据设计的语义丰富的特征，但却缺乏足够的尺度以及 平移不变性。当检测的部分物体与真实位置有较大偏差时，该特征不能很好的克服这种平 移变化。
【发明内容】
[0004] 针对现有技术中的缺陷，本发明的目的是提供一种精细粒度类别识别及其物体的 部分定位和特征提取方法，提高部分定位的精度以及特征表达的尺度不变性以及平移不变 性，从而提高精细类别分类问题的识别精度。
[0005] 本发明是通过以下技术方案实现的：
[0006] 根据本发明的第一方面，提供一种物体的部分定位方法，是一种针对精细粒度分 类的部分定位方法，该方法利用物体检测器和部分检测器检测目标物体以及它的形变较小 部分，所述检测器是利用姿态聚类的有监督方法学习得到的，考虑到了物体或者部分的姿 态变化；物体检测器和部分检测器是独立进行的，并返回每个检测器中得分高的检测区域 作为候选，最终的检测结果通过校正物体和部分检测结果得到。
[0007] 优选的，所述检测器是利用姿态聚类的有监督方法学习得到的，具体为：对于物体 以及每一个部分，根据姿态聚集正例样本到一些混合模型；
[0008] 假设每一个部*Pi都用一个边界框扒=定义，整个物体以边界框p Q 表达，其中（l，t，r，b)表示边界框的左侧，顶部，右侧以及底部坐标位置；通过如下向量，这 些标定的部分用来参数化样本I的姿态9 1:
[0009] 9 i= (pri，p' 2, . . . ,p'n)
[0010]
【主权项】
1. 一种精细粒度类别识别中物体的部分定位方法，其特征在于，该方法利用物体检测 器和部分检测器检测目标物体以及它的形变较小部分，所述检测器是利用姿态聚类的有监 督方法学习得到的，考虑到了物体或者部分的姿态变化；物体检测器和部分检测器是独立 进行的，并返回每个检测器中得分高的检测区域作为候选，最终的检测结果通过校正物体 和部分检测结果得到。
2. 根据权利要求1所述的物体的部分定位方法，其特征在于，所述检测器是利用姿态 聚类的有监督方法学习得到的，具体为：对于物体以及每一个部分，根据姿态聚集正例样本 到一些混合模型； 假设每一个部分pjP用一个边界框
定义，整个物体以边界框Po表 达，其中（l，t，r，b)表示边界框的左侧，顶部，右侧以及底部坐标位置；通过如下向量，这些 标定的部分用来参数化样本I的姿态0 1: 9 1= (P'pP' 2, ? ? ?，P' n)
其中，w和h表示物体P(l的宽度和高度，n表示物体部分的数量.p'i是归一化 表达，这种归一化的表达使得可以仅仅考虑部分的相对位置，而忽略不同物体部分之间的 尺度差异；所有的正样本依据姿态特性，利用k-均值聚类方法聚类成C个成分。
3. 根据权利要求2所述的物体的部分定位方法，其特征在于，为解决返回的检测结果 中物体部分有可能与物体的位置不一致，所述物体检测器和部分检测器返回每个检测器中 得分高的检测区域作为候选，具体为： 令X={xvXp. . .，xn}表示物体及其相应的n个部分的得分高的检测结果，<HX)= {MX)，Mxj，. . .，<Hxn)}表示对应的卷积特征，给定训练得到的一系列检测器{wQ， Wp. . .，wn}，通过优化如下表达式更新检测结果：
▽[?]是一个非线性函数，把检测得分映射到范围[_1，1]，[*]￡是一个损失函数；参 数A,度量部分和物体的重叠度，范围为[〇，1];加权项[X 用来惩罚检测的部分与物体 不一致的情况。
4. 一种精细粒度类别识别中特征提取方法，其特征在于，在每个物体部分定位结果上 提取不变的卷积特征，即在多个尺度以及多个视角提取卷积特征，这些卷积特征进行融合 得到最终的特征表达，该表达用于最终的分类。
5. 根据权利要求4所述的特征提取方法，其特征在于包括如下步骤： 步骤一：对给定尺度图像，提取第五个卷积层特征图fwxhx。，其中wXh代表卷积图像大 小，C代表特征图的通道数；输入图像相对于第五个卷积层的下采样比例为16,意味着第五 个卷积层特征图相对于输入图像的步长为16 ; 步骤二：对特征图的每一个信道的边界进行补零操作，每侧增加两个像素，由此得到补 零以后的特征图f' w, xh,xc;对补零以后的特征图f' w, xh, xc，在每个通道上使用滑动 窗口法以步长1选择任意子图fwxhxc，因此总共有5X5个相对于左上角偏置（Ax，Ay)为 {0,1，2, 3,4}的子图；然后对每一个子图进行池化操作，得到目标输出大小为nXn的池化 以后的子图； 步骤三：使用步骤二中得到的池化子图计算后续全联通层特征图。
6. 根据权利要求5所述的特征提取方法，其特征在于上述操作在输入图像及其水平翻 转图像的5个尺度上进行，最后总共得到25X5X2个特征向量，这些特征向量在每个尺度 上分别进行池化操作以后得到每个尺度上的单一特征表达，最后级联这些多个尺度上的特 征用于对图像的最终表达。
7. -种采用上述任一项权利要求所述方法的精细粒度类别识别方法，其特征在于包括 两个步骤： 第一步：针对测试图像，利用物体检测器和部分检测器检测目标物体以及它的形变较 小部分，所述检测器是利用姿态聚类的有监督方法学习得到的，考虑到了物体或者部分的 姿态变化；物体检测器和部分检测器是独立进行的，并返回每个检测器中得分高的检测区 域作为候选，最终的检测结果通过校正物体和部分检测结果得到； 第二步，对第一步中每个检测到的物体或者部分在多个尺度以及多个视角提取卷积特 征，这些卷积特征进行融合得到最终的特征表达，该表达用于最终的分类。
【专利摘要】本发明提出了一种精细粒度类别识别及物体的部分定位和特征提取方法，该方法较好地解决了精细粒度类别识别问题中物体的部分定位问题和特征表达问题。针对物体的部分定位问题，利用有监督学习训练一系列的部分检测器，考虑到定位目标的姿态变化以及形变影响，该方法仅仅检测形变较小的部分，并且利用姿态聚类方法对同一个物体部分训练不同的检测器，从而把物体的姿态变化考虑在内。针对物体或者部分的特征表达，该方法提出在多个尺度以及多个位置提取特征，然后融合这些特征用于最终物体表达，由此使得该特征具有一定的尺度以及平移不变性。本发明的物体部分定位以及特征表达间同时具有一定的互补性，从而能够有效地提高精细类别识别问题的精度。
【IPC分类】G06K9-66, G06K9-46
【公开号】CN104573744
【申请号】CN201510026025
【发明人】熊红凯, 张晓鹏
【申请人】上海交通大学
【公开日】2015年4月29日
【申请日】2015年1月19日