过滤器学习方法及利用过滤器检测测试图像中的对象的方法、学习装置及对象识别支持装置与流程

本发明涉及一种通过利用训练图像构建分类树而使过滤器(rejector)进行学习并利用所述过滤器来检测测试图像中的对象的方法、学习装置及对象识别支持装置，更详细而言，涉及一种通过如下的方式使过滤器进行学习，并在获取测试图像的情况下，利用以上述方式学习的过滤器来对测试图像进行分类，并且以分类结果为基础检测测试图像中的对象的方法、学习装置及对象识别支持装置，所述方式在获取与分类树的第k节点(k≥1，整数)相关的第mk个正样本图像和第nk各负样本图像的情况下，对第mk个正样本图像和第nk个负样本图像的每一个获取或支持为获取第a个特征，(i)在k为1的情况下，所述方式执行如下的进程：以关于第m1个正样本图像的特征直方图和关于第n1个负样本图像的特征直方图为参照，确定或支持确定分类错误最小的特征id以及阈值(threshold)，其中，特征id是指第a个特征的每一个的id，(ii)在k≥2的情况下，所述方式进行如下的进程：以已确定的特征id及阈值为基准对父节点进行分类图像，其结果如果是与第k节点的兄弟节点相比较相对多的图像被分类到第k个节点中的状态，则以关于第mk个正样本图像的特征直方图和关于第nk个负样本图像的特征直方图为参照，确定或支持确定分类错位最小的特征id及阈值，并且对分类树中的具有与第k个节点相同的深度(depth)的节点同样分配所确定的特征id及阈值。

背景技术：

当今开发出用于进行对象检测(objectdetection)或对象识别(objectrecognition)的技术，并且该技术安装在多种电子装置中而被使用。对象检测或对象识别技术通过利用获取到的训练图像来使分类器进行学习并利用经学习的分类器对测试图像进行分类来检测测试图像内的对象或识别对象。

图1是示意性地表示利用现有技术所涉及的分类器对对象进行分类的过程的图。

参照图1，首先从已输入的正样本图像(positiveimage)提取正样本特征(positivefeature)(s10)。正样本图像是指待检测或待识别的对象以预定的大小存在于图像中的预定位置上的图像。但是，在非训练图像的测试图像的情况下，对象在图像中以何种大小存在或位于何种位置也无妨。特征为表示图像的像素特性的值，作为一实施例，特征可以是关于像素的强度(intensity)值。

接着，可变换提取到的正样本图像。特征变换是指将特征特性变换成不同特性。例如，分类系统可通过执行pca(principalcomponentanalysis，主成分分析)、lda(lineardiscriminantanalysis，线性判别分析)、cca(canonicalcorrelationanalysis，典型相关分析)变换来对rgb通道的输入图像制作新的特征。

另外，可从负样本图像库200获取负样本图像(s30)。在此，负样本图像可以是待检测或待识别的对象未存在于图像中的任意大小的图像。可从获取到的负样本图像中选择难样本图像(hardnegativeimage)。难样本图像是指被分类器误认为正样本图像或被误认为正样本图像的可能性高的负样本图像。

与正样本图像相同，可从难样本图像中提取难样本特征(hardnegativefeature)(s40)。并且，可变换提取到的难样本特征。

分类器可利用分类树对输入图像进行分类(s20、s50)。

此外，可执行从在之前步骤中已学习的负样本图像库200中找出更难以与正样本图像区分的负样本图像的拔靴法(bootstrapping)(s60)。

检测器(detector)包括一个以上的分类器(classifier)，这种检测器(分类器)经由利用训练图像的学习步骤来获取。

但是，现有的检测器具有如下的问题：由于分类树的每个节点的特征id及阈值不同，因此分类时间较长且模型尺寸较大而效率降低。

技术实现要素：

技术问题

本发明的目的在于解决上述所有问题。

此外，本发明的另一目的在于提供一种过滤器，其通过对分类树中的深度(depth)(距离根节点的深度)相同的节点分配相同的特征id及阈值，从而提高分类速度并缩减模型尺寸而提高对象识别效率。

此外，本发明的又一目的在于，通过在对象检测装置中的检测器的前段配置具有如上所述的结构的又轻又快的过滤器，优选对对象进行快速大致的过滤，从而维持对象检测的准确性的同时，提高对象检测速度。

此外，本发明的又一目的在于提供一种过滤器，其能够通过与分类树的路径无关地参照特征id及阈值来对测试图像进行快速并行处理。

技术方案

为了实现上述目的，本发明的代表性结构如下。

根据本发明的一方式，提供一种通过利用训练图像构建分类树而使过滤器进行学习的方法，所述方法执行以下步骤：(a)在获取与分类树的第k个节点(k≥1，整数)相关的第mk个正样本图像和第nk个负样本图像的情况下，学习装置对所述第mk个正样本图像和第nk个负样本图像的每一个获取或支持获取第a个特征；以及(b)(i)在所述k为1的情况下，所述学习装置执行如下的进程：以关于第m1个正样本图像的特征直方图和关于第n1个负样本图像的特征直方图为参照，确定或支持确定分类错误最小的特征id以及阈值，其中，所述特征id是指所述第a个特征的每一个的id，(ii)在所述k≥2的情况下，所述学习装置执行如下的进程：以已确定的特征id及阈值为基准对父节点进行图像分类，其结果如果是与所述第k节点的兄弟节点相比较多的图像被分类到所述第k节点中的状态，则以关于所述第mk个正样本图像的特征直方图和关于所述第nk个负样本图像的特征直方图为参照，确定或支持确定分类错误最小的特征id及阈值，并且对所述分类树中的具有与所述第k节点相同的深度的节点同样分配所确定的特征id及阈值。

根据本发明的另一方式，提供一种利用过滤器来检测测试图像中的对象的方法，所述方法包括以下步骤：(a)对象识别支持装置获取测试图像；以及(b)所述对象识别支持装置利用经由如下的进程而构建的分类树来对所述获取到的测试图像进行分类：(1)在获取与分类树的第k节点(k≥1，整数)相关的第mk个正样本图像和第nk个负样本图像以作为训练组的情况下，所述对象识别支持装置对所述第mk个正样本图像和所述第nk个负样本图像的每一个获取或支持获取第a个特征；和(2)(i)在所述k为1的情况下，所述对象识别支持装置以关于第m1个正样本图像的特征直方图和关于所述第n1个负样本图像的特征直方图为参照，确定分类错误最小的特征id以及阈值，其中，所述特征id是指所述第a个特征的每一个的id，(ii)在所述k≥2的情况下，所述对象识别支持装置以已确定的特征id及阈值为基准对父节点进行图像分类，其结果如果是与所述第k节点的兄弟节点相比较多的图像被分类到所述第k节点中的状态，则以关于所述第mk个正样本图像的特征直方图和关于所述第mk个负样本图像的特征直方图为参照，确定分类错误最小的特征id及阈值，并且对所述分类树中具有与所述第k节点相同的深度的节点同样分配所确定的特征id及阈值；以及(c)所述对象识别支持装置以所述分类结果为基础检测所述测试图像中的对象。

根据本发明的又一方式，提供一种通过利用训练图像构建分类树而使过滤器进行学习的学习装置，所述学习装置包括：通信部，获取与分类树的第k节点(k≥1，整数)相关的第mk个正样本图像和第nk个负样本图像；以及处理器，对所述第mk个正样本图像和所述第nk个负样本图像的每一个获取或支持获取第a个特征，并且(i)在所述k为1的情况下，所述处理器执行如下的进程：以关于第m1个正样本图形的特征直方图和关于第n1个负样本图像的特征直方图为参照，确定或支持确定分类错误最小的特征id以及阈值，其中，所述特征id是指所述第a个特征的每一个的id；(ii)在所述k≥2的情况下，所述处理器执行如下的进程：以已确定的特征id及阈值为基准对父节点进行图像分类，其结果如果是与所述第k节点的兄弟节点相比较多的图像被分类到所述第k节点中的状态，则以关于所述第mk个正样本图像的特征直方图和关于所述第nk个负样本图像的特征直方图为参照，确定或支持确定分类错误最小的特征id及阈值，并且对所述分类树中具有与所述第k个节点相同的深度的节点同样分配所确定的特征id及阈值。

根据本发明的又一方式，提供一种利用过滤器来检测测试图像中的对象的对象识别支持装置，所述对象识别支持装置包括：通信部，获取测试图像；以及处理器，所述处理器通过利用经由如下的进程而构建的分类树来对所述获取到的测试图像进行分类，并且以所述分类结果为基础检测所述测试图像中的对象：(1)在获取与分类树的第k个节点(k≥1，整数)相关的第mk个正样本图像和第nk个负样本图像以作为训练集的情况下，对所述第mk个正样本图像和所述第nk个负样本图像的每一个获取或支持获取第a个特征；以及(2)(i)在所述k为1的情况下，所述对象识别支持装置以关于第m1个正样本图像的特征直方图和关于第n1个负样本图像的特征直方图为参照，确定分类错误最小的特征id以及阈值，其中，所述特征id是指所述第a个特征的每一个的id，(ii)在所述k≥2的情况下，所述对象识别支持装置以已确定的特征id及阈值为基准对父节点进行图像分类，其结果如果是与所述第k节点的兄弟节点相比较多的图像被分类到所述第k个节点中的状态，则以关于所述第mk个正样本图像的特征直方图和关于所述第nk个负样本图像的特征直方图为参照，确定分类错误最小的特征id及阈值，并且对所述分类树中具有与所述第k节点相同的深度的节点同样分配所确定的特征id及阈值。

发明的效果

根据本发明，具有如下的效果。

本发明具有提供如下过滤器结构的效果：能够通过对分类树中的深度相同的节点分配特征id及阈值，来提高分类速度并缩减模型尺寸而提高对象识别效率。

此外，本发明具有如下的效果：通过在对象检测装置中的检测器前段设置具有如上所述的结构且又轻又快的过滤器，对对象进行快速大致的过滤，从而维持对象检测的准确性的同时，提高对象检测速度。

此外，本发明具有提供如下过滤器结构的效果：能够通过与分类树的路径无关地参照相同的特征id及阈值，来对连续的测试图像进行快速并行处理。

附图说明

图1是示意性地表示在现有技术中利用分类器对对象进行分类的过程的图。

图2是表示通过利用本发明的一实施例所涉及的训练图像构建分类树而使过滤器进行学习的学习装置的结构的图。

图3是用于说明根据本发明的一实施例来确定分类树的特征id和阈值的方法的图。

图4是表示根据本发明的方法来构建分类树的例的图。

图5是用于说明本发明的一实施例所涉及的特征获取方法的图。

图6是表示本发明的一实施例所涉及的对象识别支持装置的结构的方框图。

图7是表示本发明所涉及的对象识别支持装置的对象检测的各步骤的图。

图8是用于说明本发明所涉及的过滤器适合并行处理结构的理由的图。

具体实施方式

参照以本发明能够实施的特定实施例为例图示的附图，对后述的本发明进行详细说明。对这些实施例进行详细说明，使得本领域技术人员能够足以实施本发明。应理解为，虽然本发明的多种实施例彼此不同，但没有必要相互排斥。例如，本说明书中记载的特定形状、结构及特性与一实施例相关联，在不脱离本发明的技术思想及范围的情况下能够以其它实施例实现。此外，应理解为，在不脱离本发明的技术思想及范围的情况下，能够变更各个已公开的实施例内的个别结构要素的位置或配置。因此，后述的详细说明并不是作为限定性的含义来采用的，如果进行适当的说明，则仅与其权利要求所要求保护的内容相同的所有范围一同通过所附的权利要求来限定本发明的范围。附图中类似的附图标记是指在各种方面上具有相同或类似的功能。

下面，参照附图对本发明的优选实施例进行详细说明，以便本发明所属技术领域的普通技术人员能够容易实施本发明。

图2是表示通过利用本发明的一实施例所涉及的训练图像构建分类树而使过滤器进行学习的学习装置的结构的方框图，图3是用于说明根据本发明的一实施例来确定分类树的特征id和阈值的方法的图。

参照图2，本发明的一实施例所涉及的学习装置100包括通信部110和处理器120。

通信部110为获取训练图像的结构。具体而言，通信部110能够获取与分类树的第k节点(k≥1，整数)相关的第mk个正样本图像和第nk个负样本图像。

处理器120能够对所述第mk个正样本图像和所述第nk个负样本图像的每一个获取或支持获取第a个特征。此时，处理器120能够构建或者能够支持构建mk*a矩阵及nk*a矩阵。图3中图示了获取与分类树的根节点相关的100个正样本图像和100个负样本图像的情况。在对各正样本图像和负样本图像提取50个特征时，如图3所示的那样可构建各个100*50的正样本图像矩阵和负样本图像矩阵。

在k为1的情况下，处理器120可以以关于第m1个正样本图像的特征直方图和关于第n1个负样本图像的特征直方图为参照，执行分类错位最小的特征id、所述特征id是指关于所述第a个特征的每一个的id以及确定或支持确定阈值的进程。具体而言，处理器120可通过按每个id利用m1*a矩阵的特征来生成或支持生成正样本图像直方图，并利用所述n1*a矩阵的特征来生成或支持生成负样本图像直方图，从而以所述正样本图像直方图以及所述负样本图像直方图的接触点为参照，确定分类错位最小的特征id，并且将此时的分类地点的特征值确定或支持确定为阈值。在图3的例中，可通过利用关于从特征id1到特征id50的100*50矩阵的特征(正样本及负样本)来生成正样本图像直方图及负样本图像直方图，并确定它们中的分类错误最小的特征id且将此时的分类地点的特征值确定为阈值。在图3中，直方图的打斜线部分相当于分类错误。

另外，在k≥2的情况下，处理器120以已确定的特征id及阈值为基准对父节点进行图像分类，其结果如果是与所述第k节点的兄弟节点相比较多的图像被分类到在所述第k节点中的状态，则可以与上述情况相同地以关于所述mk个正样本图像的特征直方图和关于第nk个负样本图像的特征直方图为参照，确定或支持确定分类错误最小的特征id及阈值。在该情况下，处理器120通过对所述分类树中具有与所述第k个节点相同的深度的节点同样分配如此确定的特征id及阈值，来代替执行如上所述的操作。

图4是表示根据本发明的方法来构建分类树的图。

参照图4，通过在初始获取200张正样本图像和200张负样本图像并以各200个关于正样本图片的特征直方图及关于负样本图像的特征直方图为参照，确定分类错误最小的特征id及阈值，由此对正样本图像和负样本图像进行分类，其结果可知180张正样本图像和120张负样本图像被分类到作为f0节点的左侧子节点的f1节点中，20张正样本图像和80张负样本图像被分类到作为f0节点的右侧子节点的f2节点中。此时，由于通过对f1节点和作为兄弟节点的f2节点进行比较可知较多的图像被分类到f1节点中，因此对f1节点实现与f0节点类似的操作。即，以关于所述180个正样本图像的特征直方图和关于所述120个负样本图像的特征直方图为参照，确定分类错误最小的特征id及阈值。但是，由于f2节点和所述f1节点具有相同的深度，因此分配如此确定的特征id及阈值。

与上述类似地，由于更多的图像被分类到作为f1节点的子节点的f3节点和f4节点中的f3节点中，因此以f3节点为中心确定特征id及阈值，并且对f4节点、f5节点、f6节点也分配如此确定的特征id及阈值。

在图4的例中，通过在初始获取200张正样本图像和200张负样本图像来将总权重假定为400，但实际上也可以标准化为1来进行计算。

另外，处理器120可以以分类到分类树的叶节点中的正样本图像信息及负样本图像信息为参照，计算或支持计算关于该分类节点的分数(score)。可通过对多个分类树的分数进行合计后的值来判断识别出的对象是否为特定对象(例如是否为人类)。分数可通过以下数学式来计算。

<数学式>

分数＝max(-t,min(t,0.5*log(prior/(1-prior))))

其中，

优先级(prior)＝p/(p+n)

p：被分类至叶节点的正样本图像个数

n：被分类至叶节点的负样本图像个数

t：与加权值相关的值

可根据正样本图像个数及负样本图像个数的和(权重)来调节所述t。例如，当权重较小时，可减小t。

此外，也可以根据上述数学式仅对分类树的叶节点中的正样本图像个数及负样本图像个数的和(权重)相对较大的指定个数的叶节点计算出分数，对于剩余叶节点而将分数计算为0。例如，可仅对权重最高的两个叶节点计算出分数。

与此不同地，也可以将通过对基于上述数学式计算出的分数乘于正样本图像个数及负样本图像个数的和(权重)而获得的值确定为最终分数。

由如上所述的方式构建的分类树具有对遍历顺序(traversingorder)不敏感(insensitive)的特征。这种特征例如可通过[f0，f1，f2]＝[f1，f2，f0]来表示。即，当为[f0，f1，f2]时，通过对相当于存储在分类树的节点中的特征id的特征值和阈值进行比较来将输入图像的大小关系表示为0或1，虽然也可以按f0、f1、f2的顺序应用来求出分数，但还可以通过将按f1、f2、f0的顺序应用而得出的结果0或1的配置再次按f0、f1、f2的顺序应用来求出分数。

图5是用于说明本发明的一实施例所涉及的特征获取方法的图。

处理器120可通过对前述的第mk个正样本图像和第nk个负样本图像的每一个提取单一特征和绝对差异特征(absolutedifferencefeature，adf)中的至少一部分特征来获取或支持获取所述第a个特征。

参照图5，可知在特征指标(featureindex，特征id)小于1280的情况下获取单一特征，相反在特征指标(featureindex)为1280以上的情况下，可以以adf为参照来获取任意两个单一特征的绝对差别(absolutedifference)。

另外，前述的处理器120执行用于控制通信部110及其它结构之间的数据流的功能。即，处理器120通过控制学习装置100的各结构要素之间的数据流，从而在通信部110及其它结构要素中执行各个固有功能。

处理器120可包含mpu(microprocessingunit，微处理单元)或cpu(中央处理器)、高速缓冲存储器(cachememory)、数据总线(databus)等的硬件结构。此外，也可以进一步包含用于执行操作系统、特定目的的应用软件结构。

下面，对本发明的一实施例所涉及的对象识别支持装置300的结构及工作进行说明。但是，省略与前述的学习装置重复的说明。

图6是表示本发明的一实施例所涉及的对象识别支持装置的结构的方框图。

参照图6，本发明的一实施例所涉及的对象识别支持装置300包括通信部310和处理器320。

通信部310执行能够使对象识别支持装置300与其它外部装置或模块进行通信的功能。特别是，通信部310为获取测试图像的结构。此外，通信部310也可以在前述的学习步骤中获取正样本图像和负样本图像。

处理器320可通过利用经由如下的进程而构建的分类树来对所述获取到的测试图像进行分类，并且以所述分类结果为基础检测所述测试图像中的对象：(1)在获取与分类树的第k节点(k≥1，整数)相关的第mk个正样本图像和第nk个负样本图像以作为训练集的情况下，对所述第mk个正样本图像和所述第nk个负样本图像的每一个获取或支持获取第a个特征；以及(2)(i)在所述k为1的情况下，所述处理器以关于第m1个正样本图像的特征直方图和关于所述第n1个负样本图像的特征直方图为参照，确定分类错误最小的特征id以及阈值，其中，所述特征id是指所述第a个特征的每一个的id，(ii)在所述k≥2的情况下，所述处理器以已确定的特征id及阈值为基准，对父节点进行图像分类，其结果如果是与所述第k节点的兄弟节点相比较多的图像被分类到所述第k节点中的状态，则以关于所述第mk个正样本图像的特征直方图和关于所述第nk个负样本图像的特征直方图为参照，确定分类错误最小的特征id及阈值，并且对所述分类树中具有与所述第k个节点相同的深度的节点同样分配所确定的特征id及阈值。

本发明所涉及的对象识别支持装置300除前述的过滤器以外可进一步包括检测器，从而最终又快又准确地检测测试图像中的对象。

图7是表示本发明所涉及的对象识别支持装置的对象检测的各步骤的图。

如前述，处理器320可通过获取测试图像(s710)，并提取特征(s720)，从而优先利用过滤器的分类树对测试图像进行快速分类(s730)，并且利用检测器的分类树对所述测试图像进行再次分类(s740)，由此检测所述再次分类后的测试图像中的对象。

如此，本发明可通过在对象检测装置中的检测器前段设置具有上述结构的又轻又快的过滤器，对对象进行快速大致的过滤，从而维持对象检测的准确性的同时，提高对象检测速度。例如，对象检测装置可通过过滤器来又简单又快地区分优先能成为对象的部分和完全没有对象的部分。

此外，为了确保对象检测的准确性，处理器320也可以通过对测试图像生成图像金字塔并利用过滤器和检测器来对图像进行分类。

另外，处理器320执行用于控制通信部319及其它结构要素之间的数据流的功能。即，处理器320通过控制对象识别支持装置300的各结构要素之间的数据流，从而在通信部310及其它结构要素中执行各个固有功能。

处理器320可包含mpu(microprocessingunit，微处理单元)或cpu(中央处理器)、高速缓冲存储器(cachememory)、数据总线(databus)等的硬件结构。此外，也可以进一步包含用于执行操作系统、特定目的的应用软件结构。

另外，本发明所涉及的过滤器具有如下的特征：能够通过与所述分类树的路径无关地参照相同的特征id及阈值来对连续的测试图像进行快速并行处理。

图8是用于说明本发明所涉及的过滤器适合并行处理结构的理由的图。

例如，当假设利用经学习的模型来从输入图像中寻找人类时，处理器320可通过按模型大小剪切图像来制作特征并应用经学习的模型。通常，在检测器的情况下，需要参照的特征id和阈值根据分类树的路径而继续变更，因此难以应用并行结构。相反，在分类树中的具有相同深度的节点的情况下，特征id和阈值被分配为相同的值，因此本发明所涉及的过滤器能够对连续的图像特征进行快速并行处理。可知如图8所示的例那样连续的图像中连续地设置有特征。由于这种结构，本发明所涉及的过滤器适合simd(单指令多数据流)结构，因此能够快速判断特定对象。

以上说明的本发明所涉及的实施例可以以能够通过多种计算机结构要素来执行的程序指令形式实现，并且被存储在计算机可读的存储介质中。所述计算机可读的存储介质可单独或者组合包含程序指令、数据文件、数据结构等。存储在所述计算机可读的存储介质中的程序指令是为本发明特别设计并配置的指令，但也可以是计算机软件所属领域的技术人员公知且能够使用的程序指令。在计算机可读的存储介质的例中包含如硬盘、软盘及磁盘等的磁存储介质、如cd-rom(只读光盘)、dvd(高密度数字视频光盘)的光存储介质、如光磁软盘(flopticaldisk)的磁-光介质(magneto-opticalmedia)、以及如rom(只读存储器)、ram(随机存取存储器)、快可擦存储器等的以存储并执行程序指令的方式特别配置的硬件装置。在程序指令的例中，不仅包含如由编译程序制作的机械代码，而且还包含能够通过使用解释器等来由计算机运行的高级语言代码。所述硬件装置为了执行本发明所涉及的处理而可被配置为作为一个以上的软件模块来工作，并且反过来也一样。

以上，通过如具体结构要素等的特定事项和已限定的实施例及附图来对本发明进行了说明，但这只是为了有助于本发明的进一步整体的理解而提供的，本发明并不限定于上述实施例，如果是本发明所属技术领域的普通技术人员则能够从这种记载中企图多种修改及变形。

因此，本发明的技术思想并不局限于上述说明的实施例，不仅后述的权利要求范围，而且与该权利要求范围均等地或者等价地变形的所有实施例均属于本发明的思想范围内。

附图标记说明

100：学习装置

110：通信部

120：处理器

200：负样本图像库

300：对象识别支持装置

310：通信部

320：处理器