匹配程度计算装置及方法

专利名称：匹配程度计算装置及方法
技术领域：
本发明涉及目标相似度计算，尤其涉及在图像或视频数据中对目标区域与感兴趣目标的相似度进行计算并进4亍类别判定的匹配程度计算装置及方法。
背景技术：
在图像分析的问题中，对检测区域与目标相似度的判断，是所
有工作的前提。现有判断方法大致分为两类基于判别理i仑的方法和基于坤目似、度匹配J里i仑的方法。
基于判别理论的方法主要是通过学习目标的统计特点，训练两类分类器，直接从图像中确定检测区域是否为目标。例如，先用区域增长法提取所有非草地区域，再利用预先手工标定好的图像训练支4掌向量才几(support vector machine, SVM)分类器，》于非草;l也区域是否为球员进行识别，将识别为人的区域作为分割结果。此外，还可以利用手工标定大量训练图像的方式训练得到Boost型球员定位器，将定位器检测结果直接作为球员分割区域。还可以利用图像的斗弟度方4立直方图(Histogram of Oriented Gradient, HOG)特M正训练SVM分类器，对检测区域是否为行人或车辆作出判断。另外，还可以采用矩形特征来才企测静态图4象中的人体，用Boost方法自动选才奪人所在的区域。这类方法首先通过对手工标定好的正负样本进;f于学习，建立跟踪区域判别准则。然后在定位时，利用已经训练好的判别准则对目标区域进^亍判断。这类方法对已训练图^f象一般具有较高的分类正确率，但由于需要预先手工标定好大量训练图像，因此训练样本图像的标定工作相当困难。
另一方面，基于相似度匹配理i仑的方法首先确定图^象中感兴趣区的大体位置，然后4艮据目标的特征信息对所有感兴趣区的匹配程度进行标定，按照匹配程度的大小，对检测区域是否为目标做出判断。例如，可利用检测区域与人物姿势的吻合程度，给出图像中每像素点的匹配程度。另夕卜，可以利用颜色信息给出跟踪图像的匹配程度。此外，也有利用运动信息等其它特征确定匹配程度的方法。这类方法的优点是大多不受跟踪目标的形状和姿势变化的影响，并且特征计算方便。但是，由于需要对每个目标区域单独建立匹配模型，因此在对属于较少类别的多目标追踪问题中，计算效率不高。
综上所述，需要能够自动完成样本提取且能够提高计算效率的匹配程度计算装置及其方法。

发明内容
本发明的目的在于解决现有技术中所存在的问题。
根据本发明的一个方面，提供了一种匹配程度计算装置，用于在图像分析中计算目标区域的匹配程度并对目标区域进行分类，该
匹配程度计算装置包括样本选取^^莫块，用于对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；特征训练模块，用于对多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及匹配程度计算才莫块，用于基于通过特征训练模块训练得到的多类特征和分类判别标准，计算得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进4亍分类。其中，样本选取模块包括训练图像集采集模块，用于从所输入的训练样本中采集预定数量的包括一 个或多个前景区域的训练图像作为训练图像集；范围限制条件获取模块，用于统计训练图像集中的所有训练图像的大小和形状参数，获取对应于单一前景区域的范围限制条件；以及特征训练图像选择模块，用于基于通过范围限制条件获取模块所获取的范围限制条件，从所有训练图像中选择对应于单一前景区域的多个特征训练图像。
此外，范围限制条件获取模块包括计算模块，用于求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训练图像的长、宽、以及长宽比所^"应的均^直和方差；以及范围限制条4牛确定模块，用于基于在计算模块中得到的均值和方差，确定范围限制条件。
优选地，特征训练模块包括样本接收模块，用于接收从样本选取模块中输出的多个样本；特征提取模块，用于提取多个样本中每一个的特征；样本初始中心确定才莫块，用于计算多个样本之间的两两距离，并将距离最大的两个样本确定为第一类样本的初始中心和第二类样本的初始中心；以及样本分类模块，用于以通过样本初始中心确定才莫块所确定的初始中心为起点，综合使用最近邻和K均值两种自动聚类算法，通过迭代到最终收敛中心的方式得到第 一阈值和第二阈值，然后利用第 一 阈值和第二阔值将多个样本分为第一类样本、第二类样本以及第三类样本。
另外，特征提取模块包括转换模块，用于将多个样本的RGB图像信息转换到HSV特征空间；以及直方图信息提取模块，用于分别4是取单一样本区域内HSV三通道的直方图信息作为多个样本的特征。另外，样本分类模块还包括迭代模块，用于计算每个样本与 第 一类样本的初始中心的第 一距离以及与第二类样本的初始中心 的第二距离，然后使用最近邻算法根据第 一距离和第二距离的大小 将所有样本分为第一类样本和第二类样本，使用K均值算法计算第 一类样本和第二类样本的平均特征作为第一类样本和第二类样本 新的中心，然后进^f于迭代处理直到所有样本类别变化个lt总和为 零；统计模块，用于统计第一类样本和第二类样本的个数，如果第 一类样本和第二类样本的个数差大于预定值，则将样本数量较少的 那类样本作为第三类样本，并对多个样本中剩余的样本重复样本初 始中心确定模块和迭代模块中的处理，直到第 一类样本的个数和第 二类样本的个数差小于等于预定值为止；样本特征计算模块，用于 在统计模块中确定第一类样本和第二类样本的个数差小于等于预 定值的情况下，计算第一类样本和第二类样本的所有特征相对应的 均值和协方差矩阵组；Mahalanobis距离计算装置，用于对每个样 本计算所有特征的Mahalanobis距离之和，然后重复迭代模块、统 计模块以及样本特征计算模块中的处理，直到所有样本类别变化个 数总和为零；以及第三类样本个数确定才莫块，用于根据预定的概率， 确定第一类样本和第二类样本中作为第三类样本的样本个数；阈值 确定模块，用于将每一类样本到各自样本中心的Mahalanobis距离 按照从大到小的顺序进行排序，将每类距离排序中从前到后、排名 等于第三类样本个数的样本所对应的距离作为从第 一类样本和第 二类样本中剔除第三类样本的第 一 阈值和第二阈值；类别判断模
块，用于基于第一阈值和第二阈值将多个样本分为第一类样本、第 二类样本、以及第三类样本。
优选地，匹配程度计算模块包括图像接收模块，用于接收包 括待匹配目标区域的输入图像；以及前景区域选取模块，用于基于 预定处理选取输入图4象中的所有前景区域。
14具体地，前景区域选取模块包括背景去除模块，用于利用主 颜色分割处理，从输入图像中去除背景区域；以及前景区域提取模 块，用于利用单连通域选择处理，从经过背景去除才莫块处理的图4象 中提取所有前景区域。
另外，匹配程度确定模块还包括匹配结果生成模块，用于基 于通过特征训练模块训练好的两类特征，通过概率投影进行两次计 算，给出输入图像中所有前景目标的匹配程度结果；以及类别判断 模块，用于提取所有前景区域的特征并分别计算特征与通过特征训 练模块训练得到的两类前景样本中心的Mahalanobis距离，按照最 近邻算法将所有前景区域分为第一类样本和第二类样本，然后基于 在特征训练模块中得到的分类判别标准，从第一类样本和第二类样 本中剔除第三类样本，从而将所有前景区域分为第一类样本、第二 类才羊本以及第三类样本。
才艮据本发明的另一方面，提供了一种匹配程度计算方法，用于 在图像分析中计算目标区域的匹配程度并对目标区域进行分类，该 方法包4舌以下步骤样本选取步骤，^f吏样本选纟奪才莫块对输入的训练 样本进4亍选取，以得到对应于单一前景区域的多个样本作为多个特 征训练图4象；特;f正训练步骤，4吏特征训练才莫块对多个样本#1行预定 处J里，以自动完成多类特^正的训练以及分类判别才示准的确定；以及 匹配程度计算步骤，使匹配程度计算模块基于在训练步骤中训练得 到的多类特征和分类判别标准，计算得到关于输入图像中所有前景 区域的匹配程度结果并对所有前景区域进行分类。
其中，样本选取步骤还包括训练图像集采集步骤，使训练图 像集采集模块从所输入的训练样本中采集预定数量的包括一个或 多个前景区域的训练图像作为训练图像集；范围限制条件获取步 骤，使范围限制条件获取模块统计训练图像集中的所有训练图像的 大小和形状参数，获取对应于单一前景区域的范围限制条件；以及
15特征训练图像选择步骤，使特征训练图像选择模块基于在范围限制 条件获取步骤获取的范围限制条件，从所有训练图像中选择对应于 单一前景区域的多个特征训练图像。
此外，范围限制条件获取步骤还包括计算步骤，使计算模块 求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训 练图^f象的长、宽、以及长宽比所对应的均^直和方差；以及范围限制 条件确定步骤，用于使范围限制条件确定模块基于在计算步骤中得 到的均值和方差，确定范围限制条件。
优选地，特征训练步骤还包括样本接收步骤，用于使样本接 收模块接收在样本选取步骤中输出的多个样本；特征提取步骤，用 于使特征提取模块提取多个样本中每一个的特征；样本初始中心确 定步骤，用于使样本初始中心确定模块计算多个样本之间的两两距 离，并将距离最大的两个样本确定为第 一类样本的初始中心和第二 类样本的初始中心；样本分类步骤，用于使样本分类模块以在样本 初始中心确定步骤中确定的初始中心为起点，综合使用最近邻和K 均值两种自动聚类算法，通过迭代到最终收》支中心的方式得到第一 阈值和第二阈值，然后利用第 一 阈值和第二阈值将多个样本分为第 一类样本、第二类样本以及第三类样本。
另外，特征提取步骤还包括转换步骤，使转换模块将多个样 本的RGB图像信息转换到HSV特征空间；以及直方图信息提取步 骤，使直方图信息提取才莫块分别提取单一样本区域内HSV三通道 的直方图信息作为多个样本的特4正。
另外，样本分类步骤还包括迭代步骤，使迭代模块计算每个 样本与第一类样本的初始中心的第一距离以及与第二类样本的初 始中心的第二距离，然后使用最近邻算法根据第 一距离和第二距离 的大小将所有样本分为第一类样本和第二类样本，使用K均值算法计算第一类样本和第二类样本的平均特征作为第一类样本和第二 类样本新的中心，然后进行迭代处理直到所有样本类别变化个数总
和为零；统计步骤，4吏统计才莫块统计第一类样本和第二类样本的个 数，如果第一类样本和第二类样本的个数差大于预定值，则将样本 数量较少的那类样本作为第三类样本，并对多个样本中剩余的样本 重复样本初始中心确定4莫块和迭代才莫块中的处理，直到第 一类样本 的个数和第二类样本的个数差小于等于预定值为止；样本特征计算 步骤，使样本特征计算模块在统计步骤中确定第 一类样本和第二类 样本的个数差小于等于预定值的情况下，计算第一类样本和第二类
样本的所有特征相对应的均值和协方差矩阵组；Mahalanobis距离 计算步骤，使Mahalanobis距离计算装置对每个才羊本计算所有特征 的Mahalanobis距离之和，然后重复迭代步骤、统计步骤以及样本 特征计算步骤中的处理，直到所有样本类别变化个凄t总和为零；以 及第三类样本个数确定步骤，使第三类样本个数确定模块根据预定 的概率，确定第一类样本和第二类样本中作为第三类样本的样本个 数；阈值确定步骤，使阔值确定模块将每一类样本到各自样本中心 的Mahalanobis距离按照从大到小的顺序进行排序，将每类距离排 序中从前到后、排名等于第三类样本个数的样本所对应的距离作为
从第一类样本和第二类样本中剔除第三类样本的第一阈值和第二 阈值；分类步骤，使类别判断模块基于第一阈值和第二阈值将多个 样本分为第一类样本、第二类样本、以及第三类样本。
优选地，匹配程度计算步骤还包括图像接收步骤，使图像接 收模块接收包括待匹配目标区域的输入图像；以及前景区域选取步 骤，使前景区域选取^莫块基于预定处理选取输入图像中的所有前景 区域。
具体地，前景区域选取步骤还包括背景去除步骤，使背景去 除模块利用主颜色分割处理，从输入图像中去除背景区域；以及前景区域提取步骤，使前景区域提取模块利用单连通域选择处理，从 经过背景去除模块处理的图像中提取所有前景区域。
另外，匹配程度确定步骤还包括匹配结果生成步骤，使匹配 结果生成模块基于通过在训练步骤中训练好的两类特征，通过概率 投影进行两次计算，给出输入图像中所有前景目标的匹配程度结 果；以及类别判断步骤，使类别判断模块提取所有前景区域的特征 并分别计算特征与通过特征训练模块训练得到的两类前景样本中 心的Mahalanobis距离，按照最近邻算法将所有前景区域分为第一 类样本和第二类样本，然后基于在特征训练步骤中得到的分类判别 标准，从第一类样本和第二类样本中剔除第三类样本，从而将所有 前景区域分为第一类样本、第二类样本以及第三类样本。
因而，在训练过程中，所有工作都不需要手工的干预，由系统 自动完成对单一前景区域训练样本的4是取及自动分类；对一张4寺匹 配图4象中，属于两种类别的多个跟踪区域，4又通过两次计算，就可 以给出全部区域各自对应的匹配程度及分类结果；以及可以在对一 类样本增强匹配程度的同时，减少另一类样本的匹配程度，从而减
轻后续分析过程中两类样本间的相互影响。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部 分地从说明书中变得显而易见，或者通过实施本发明而了解。本发 明的目的和其他优点可通过在所写的说明书、权利要求书、以及附 图中所特别指出的结构来实现和获得。


附图用来才是供对本发明的进一步理解，并且构成i兌明书的一部 分，与本发明的实施例一起用于解释本发明，并不构成对本发明的 限制。在附图中图1是示出根据本发明的匹配程度计算装置100的框图
图2是示出根据本发明的样本选取模块102的框图
图3是示出根据本发明的特性训练模块104的框图
图4是示出才艮据本发明的样本分类才莫块148的框图
图5是示出根据本发明的匹配程度计算模块106的框图6是示出根据本发明的匹配程度计算方法的流程图7是示出^4居本发明实施例的系统流程；
图8是示出根据本发明实施例的训练样本的图像特征的示图9是示出根据本发明实施例的匹配程度计算的流程图IO是示出从待匹配图像中提取所有前景区域的示图11示出了经过训练得到的两类前景样本中心对应的直方图 才既率分布曲线；
图12是示出根据本发明实施例的待匹配图像的相似度投影和 匹配结果图；以及
图13是示出根据本发明实施例的所有前景区域的匹配程度图 像及分类结 的实验结果的示图。
具体实施例方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此 处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本 发明。
本部分实施例以对体育图像或一见频中足球运动员区域的匹配 程度计算和类别判断为例，但本发明不限于足球运动员的匹配程度 计算，而是还可以用于其他情况。
图1是示出根据本发明的匹配程度计算装置100的框图。
如图1所示，匹配程度计算装置100包括样本选取才莫块102， 用于对输入的训练才羊本进行选取，以得到对应于单一前景区域的多 个样本作为多个特征训练图像；特征训练模块104 ，用于对多个样 本才丸4于预定处理，以自动完成多类特4正的训练以及分类判别标准的 确定；以及匹配程度计算模块106，用于基于通过特征训练模块104 训练得到的多类特征和分类判别标准，通过两次计算，得到关于输 入图像中所有前景区域的匹配程度结果并对所有前景区域进4亍分 类。
如图2所示，样本选取模块102包括训练图像集采集模块122， 用于从所输入的训练样本中采集预定数量的包括一个或多个前景 区域的训练图像作为训练图像集；范围限制条件获取模块124，用 于统计训练图像集中的所有训练图像的大小和形状参数获取对应 于单一前景区域的范围限制条件；以及特征训练图像选择模块U6，
用于基于通过范围限制条件获取模块124所获取的范围限制条件， 从所有训练图像中选择对应于单一前景区域的多个特征训练图像。
20此夕卜，范围限制条件获取才莫块124 a彷卞卞异^旲厌1242,用T 求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训 练图像的长、宽、以及长宽比所对应的均值和方差；以及范围限制 条件确定才莫块1244,用于基于在计算模块1242中得到的均值和方 差，确定范围限制条件。
如图3所示，特征训练模块104包括样本接收模块142，用 于接收从样本选取才莫块102中输出的多个样本；特征提取模块144， 用于提取多个样本中每一个的特征；样本初始中心确定模块146, 用于计算多个样本之间的两两距离，并将距离最大的两个样本确定 为第一类才羊本的初始中心和第二类才羊本的初始中心；以及才羊本分类 才莫块148，用于以通过样本初始中心确定才莫块146所确定的初始中 心为起点，综合使用最近邻和K均值两种自动聚类算法，通过迭代 到最终收《夂中心的方式得到第 一阈值和第二阈值，然后利用第 一阈 值和第二阈值将多个样本分为第一类样本、第二类样本以及第三类 样本。
另夕卜，特征才是耳又才莫块144包括转换才莫块1442，用于将多个样 本的RGB图像信息转换到HSV特征空间；以及直方图信息提取模 块1444，用于分别提取单一样本区域内HSV三通道的直方图信息 作为多个才羊本的特4正。
另外，如图4所示，样本分类才莫块148还包4舌迭fC才莫块1482, 用于计算每个样本与第 一类样本的初始中心的第 一距离以及与第
二类样本的初始中心的第二距离，然后使用最近邻算法才艮据第一距 离和第二距离的大小将所有样本分为第一类样本和第二类样本，使
用K均值算法计算第一类样本和第二类样本的平均特征作为第一 类样本和第二类样本新的中心，然后进行迭代处理直到所有样本类
别变化个凄t总和为零；统计才莫块1484,用于统计第一类样本和第二 类样本的个数，如果第一类样本和第二类样本的个数差大于预定值，则将样本数量较少的那类样本作为第三类样本，升对多个枰本 中剩余的样本重复样本初始中心确定才莫块和迭代模块中的处理，直
到第一类样本的个数和第二类样本的个数差小于等于预定值为止； 样本特征计算模块i486,用于在统计才莫块1484中确定第一类样本 和第二类样本的个数差小于等于预定值的情况下，计算第一类样本 和第二类样本的所有特征相对应的均值和协方差矩阵组；
Mahalanobis距离计算装置1488，用于对每个样本计算所有特征的 Mahalanobis3巨离之和，然后重复迭代才莫块1482、统计才莫块1484以 及样本特征计算才莫块I486中的处理，直到所有样本类别变化个数 总和为零；以及第三类样本个l欠确定才莫块14卯，用于才艮据预定的概 率，确定第一类样本和第二类样本中作为第三类样本的样本个数； 阈值确定模块1492,用于将每一类样本到各自样本中心的 Mahalanobis距离按照从大到小的顺序进行排序，将每类距离排序 中从前到后、排名等于第三类样本个数的样本所对应的距离作为从 第一类样本和第二类样本中剔除第三类样本的第一阈值和第二阈 值；以及类别判断模块1494，用于基于第一阈值和第二阈值将多个 样本分为第一类样本、第二类样本、以及第三类样本。
如图5所示，匹配程度计算模块106包括图像接收模块162， 用于接收包括待匹配目标区域的输入图像；以及前景区域选取模块 164，用于基于预定处理选取输入图像中的所有前景区域。
具体地，前景区域选耳又才莫块164包括背景去除才莫块1642,用 于利用主颜色分割处理，从输入图像中去除背景区域；以及前景区 域提取模块1644,用于利用单连通域选择处理，从经过背景去除模 块处理的图像中提取所有前景区域。
另夕卜，匹配程度确定模块106还包括匹配结果生成模块166， 用于基于通过特征训练模块104训练好的两类特征，通过概率投影 进4亍两次计算，给出##入图<象中所有前景目标的匹配程度结果；以及类别判断模块168，用于提取所有前景区域的特征并分别计算特 征与通过特征训练才莫块104训练得到的两类前景样本中心的 Mahalanobis距离，4要照最近邻算法将所有前景区i或分为第一类才羊 本和第二类样本，然后基于在特征训练模块104中得到的分类判别 标准，从第一类样本和第二类样本中剔除第三类样本，从而将所有 前景区域分为第一类样本、第二类样本以及第三类样本。
图6是示出根据本发明的匹配程度计算方法的流程图。
参照图6，该匹配程度计算方法包括样本选取步骤S602,使 样本选择模块对输入的训练样本进行选取，以得到对应于单一前景 区域的多个样本作为多个特征训练图像；特征训练步骤S604，使特 征训练才莫块对多个样本4丸行预定处理，以自动完成两类特征的训练 以及分类判别标准的确定；以及匹配程度计算步骤S606,使匹配程 度计算模块基于在训练步骤中训练得到的两类特征和分类判别标 准，通过两次计算，得到关于输入图像中所有前景区域的匹配程度 结果并对所有前景区域进行分类。
下面，参照图7至图13详细描述本发明的实施例。
注意，在本发明的实施例中，以检测两类对象为例，但本发明 不P艮于it匕，本发明还可用于^r测三类或三类以上的^"象。
图7是示出才艮据本发明实施例的系统流程。该流程分为训练样 本选4奪、特征训练和匹配三个部分。
首先，描述训练阶^a的处理。
701中所有的训练样本为尽量多包含单一前景区域的前景图像。在702中进行训练样本的选择，具体过程如下 求取所有训练样本图像的长、宽及长宽比参数，并进行保存；
分别计算所有训练图像长、宽及长宽比各自对应的两个参数，
(W, ctw ), (H, & ), (ratio w , cr w ) 即，均值与方差，乂人而4寻到 W百；
基于长、宽及长宽比各自对应的均值与方差，确定范围限制条 件，假设样本长、宽及长宽比参数为(W，H，ratio)，则范围限制条件
定义为
W<(!,+C7W)
< _(H,-aH)<H<(5,+CrH)
(ratio w ,-crw ) < ratio < (ratio w ,+crw)
. ￥"S" 百 "S"; 以及
将所有符合长、宽及长宽比限制条件的最终训练图像作为输 出，发送到特征训练模块用于训练。
在单一前景区域选取的过程中可以具体才艮据前景样本类别的 不同来选择不同的形状限制方式；大小、形状的限制方式以选择的
前景区域对应单个跟踪目标为标准；并且所有训练图像不需要用手 工标定任何信息。
接下来，在703中进行特征训练，训练过程具体如下
(1 )输入所有符合单一前景区域范围限制条件的最终训练样 本图像；
(2)提取所有最终训练样本图像的特征，在本实施中采用如 下特征提取处理对于每个最终训练样本图像，首先将RGB图像信息转换到HSV特征空间；其次，提取单一样本区域内HSV三通 道各自的直方图信息，作为三类特征，训练样本的图像特征如图8 所示；
(3)用HSV三个直方图的欧式距离平方和D'J作为评价方式， 确定所有最终训练样本图像特征之间的两两距离；
D,j =2(hik —hJk)2 + 2(sik -sJk)2 +^(vlk — Vjk)2
k=l k=l k=l
其中，i， j为表示训练集中第i， j个样本的编号；nH，ns， 对应 表示HSV三通道直方图的维凄t， ^Ak,Vik表示第i个样本的HSV三
通道直方图每一维上的系^:， h」k'Sjk，Vjk同理；
(4 )将D"距离最大的两个样本作为两类样本的初始中心；
(5 )利用距离评价方式D ,计算每个样本对该类样本特征中心 的距萬Da，Db: <formula>formula see original document page 25</formula>
其中，hAk,SM,VAk表示特征中心A, HSV三通道直方图每一维上 的系凄t ， hBk, sBk ， vBk同j里。
然后，使用最近邻分类方法，根据Da，Db的大小将所有祥本分 为AB两类，具体处J里方法为
<formula>formula see original document page 25</formula>fA若D八<DB
然后，分别计算AB两类样本平均特征，作为新的特征中心:
其中，、表示A类样本特征中心，nA为A类才羊本总-数，^为 A类中第k个才羊本；Cb, nb， S祉同J里；
然后进行迭代分类，直到所有样本类别变化个数总和为零，从 而将所有才羊本图^f象分为AB两类；
(6) 统计两类才羊本的个H如果总lt相差过大，则将样本凄t 较少的那类作为背景类C;否则，进入(8);
(7) 对剩余样本重复(3) ~ (6)的处理，直到两类样本个 凄t相当；
(8) 统计两类样本所有特征对应的均值CA， Cs与协方差矩阵 組CoVa， Covb:
<formula>formula see original document page 26</formula>其中，S細为A类中第k个样本的H直方图特4i， c旭为A类 中心的H直方图特征，cov旭为A类样本H通道特征对应的协方差
头巨卩车，SBkH ,cbh，COVAS，COVAV,COVBH ,COVBS， COVbv同j里；
(9 )对每个样本计算对特4i中心CA ， CB, HSV三通道的 Mahalanobis距离之和dm ,来替换距离评价方式D :
DMA, = ( Sw — C站)T cov丄 ( Sw — C旭)+ (S,s - CAS )T co《 ( S,s _ CAS) + (S,v — CAV )T cov丄 (SlV - CAV) Dmbj = (S,H - CBH)T cov丄 (SH — CBH) + (Sis - CBS)T covB's (S,s _ CBS) + (S,v — CBV)T cov丄 (Siv - CBV)
其中，S,H表示所有训练样本中第i个样本的H直方图特征，其它同 理；
重复(5) ~ (9)的处理，直到所有样本类别变化个数总和为
零；
(10)假设在(9)的分类完毕后的结果中每类包含背景的概
率为则两类中作为背景类的样本个数1nb = nbx
(11 )将每类样本到各自特征均值的Mahalanobis距离按照从 大到小的顺序进行排序，将距禹最大的第Na， &个样本对应的距离 作为从每类中剔除背景图像的阔值D'hd,A,D加,b ;
(12)利用阈值D械A，D試B,分別乂人两类样本中剔除背景样本， 对所有训练样本图像进行类别判断；类别=
/^DA<D,A<DthdA B若Db <Daj_DB <DthdB C*DA<DBiDA2DthdA C若Db 〈Da且D"D,
<1〉
在训练过程中，使用对应于单一目标的图像作为训练图像，且 训练得到的特征匹配程度是对应于单一 目标的。
此外，用无须估计参数的距离评价方式确定两类样本的初始分 布中心，用无须估计参数的距离评价方式，通过迭代收敛方法将所 有样本分为两类，用无须估计参数的距离评价方式，通过迭代收敛 方法，初步剔除背景样本。然后，对于每个样本来说，如果包含多 类特征，则用所有特征各自对应的Mahalanobis距离之和DM表示每 个样本与所属类中心的差异，利用对所有样本与各自对应特征均值 距离排序的方法，将给定的背景类占样本数量的百分比阈值，转换 为每类剔除背景图4象的3巨离阈^f直D織a，D械b 。
接下来，参照图9描述匹配程度计算阶段704的处理，具体过 程如下
在901中，输入所有待匹配目标区域所在的图像；
在902中，利用主颜色分割方法，乂人待匹配图^f象中去除背景区
域；
在903中，利用单连通域选择方法，从待匹配图像中提取所有 前景区域，如图IO所示；
在904中，利用训练好的特征，通过概率投影的方法，经两次 计算，^^出所有前景目标区^^的匹配程度；
28图11示出了经过训练得到的两类前景样本中心对应的直方图
概率分布曲线。其中，横坐标为HSV特征值，纵轴为相似度匹西己 结果。任意给定HSV特征值，垂直向两条曲线上投影，投影点的 纵坐标就是该特征值对应的匹配程度。从图11可以看出，同一特 征值经AB两条曲线得到的才更影相似度匹配结果SA、 Sb不同。
将每张待匹配图像经两直方图曲线投影得到对应于两类样本 的相似度匹配结果，如图12 (a)、图12 (b)所示。
在卯5中，才是耳又所有前景区域的HSV直方图特4正，并分别计. 算其与训练得到的两类前景样本特征中心的Mahalanobis距离dma ， DMB;
fDMA = (SH - C化)t C0Va'h (SH - C^) + (Ss -CAS)T co" (Ss -CAS) + (Sv - CAV)T cov丄 ( Sv — CAV) 1 Dmb = (SH — CBH)T COvB'H (SH — CBH) + (Ss -CBS)T coy" (Ss -CBS) + (Sv - CBV)T cov; (Sv — CBV)
然后，将计算得到的距离，根据每类对应的剔除背景图像阈值 Dthd.A，Dthd3,使用公式O对前景样本作判断，将其分为AB两类前
景或c类背景。
接下来，根据每个前景目标区域分类结果，从903得到的两张 匹配图4象中，挑选对应区域作为匹配程度计算的结果。例如，样本 i被判断为属于A类，则选取A类直方图投影结果图像中样本i所 对应的区域，作为样本i的匹配程度计算结果。
如图12的方框中的小区域所示，在输出的两张匹配结果图像 中，A类目标的匹配一呈度在对应A类目标的匹配图^f象(a )中，明 显大于其在对应B类目标图像(b)中的匹配程度(亮度对应匹配 程度，越亮，匹配程度越高)。B类目标结果同理。可以看出，本发明可在对一类样本增强匹配程度的同时，减少 了另一类样本的匹配程度，从而减轻后续分析过程中，两类样本间 的相互影响。
在匹配程度计算阶段中，根据训练好的两类前景特征均值，对
每个;f寺匹配前景区域4吏用相无率才殳影的方式计算匹配程度，^又通过两 次计算，就能够完成多个目标区域匹配程度的计算。
此外，匹配程度计算模块可以同时给出目标区域的匹配程度及 分类结果，并且可以在对一类样本增强匹配程度的同时，减少另一 类样本的匹配程度，从而以减轻后续分析过程中两类样本间的相互影响。
图13是示出所有前景区域的匹配程度图像及分类结果的实验 结果的示图。实验结果表明，本方法对多目标匹配程度的确定，便 捷、准确而有效。
通过本发明的4支术方案，实现了以下优点在训练过程中，所 有工作都不需要手工的干预，由系统自动完成对单一前景区:l或训练 样本的提取及自动分类；对一张待匹配图像中，属于两种类别的多 个跟踪区域，仅通过两次计算，就可以给出全部区域各自对应的匹 配程度及分类结果；以及可以在对一类样本增强匹配程度的同时， 减少另 一类样本的匹配程度，从而减轻后续分析过程中两类样本间 的相互影响。
注意，实施例仅给出了本发明在一种特定环境下的应用方式， 对算法不具有限定条件。本系统应用于图像或者—见频数据中对目标 区域匹配程度的计算及类别判定。该方法也可以与其他特征和方法 联合来共同完成两类目标匹配程度的计算与分类。通过本发明，提 高了算法的应用^f更捷性和对特征分类的准确性。以上〗又为本发明的优选实施例而已，并不用于限制本发明，对 于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均 应包含在本发明的保护范围之内。
权利要求
1.一种匹配程度计算装置，用于在图像分析中计算目标区域的匹配程度并对所述目标区域进行分类，其特征在于，所述匹配程度计算装置包括样本选取模块，用于对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；特征训练模块，用于对所述多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及匹配程度计算模块，用于基于通过所述特征训练模块训练得到的多类特征和分类判别标准，计算得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进行分类。
2. 才艮据权利要求1所述的匹配程度计算装置，其特征在于，所述 样本选取才莫块包括训练图像集采集模块，用于从所输入的训练样本中采集 预定数量的包括一个或多个前景区域的训练图像作为训练图 像集；范围限制条件获取模块，用于统计所述训练图像集中的 所有训练图像的大小和形状参数，获取对应于单一前景区域的范围限制条件；以及特征训练图像选择模块，用于基于通过所述范围限制条 件获取模块所获取的所述范围限制条件，从所有训练图像中选 择对应于单一前景区域的所述多个特征训练图像。
3. 根据权利要求2所述的匹配程度计算装置，其特征在于，所述 范围限制条件获取模块包括计算模块，用于求取所有训练图像的长、宽、以及长宽 比参数，并分别计算所有训练图像的长、宽、以及长宽比所对 应的均4直和方差；以及范围限制条件确定模块，用于基于在所述计算模块中得 到的所述均值和所述方差，确定范围限制条件。
4. 根据权利要求1所述的匹配程度计算装置，其特征在于，所述 特征训练^^块包括样本接收模块，用于接收从所述样本选取模块中输出的 所述多个样本；特征提取模块，用于提取所述多个样本中每一个的特征；样本初始中心确定模块，用于计算所述多个样本之间的 两两距离，并将距离最大的两个样本确定为第一类样本的初始 中心和第二类才羊本的初始中心；以及样本分类才莫块，用于以通过所述样本初始中心确定才莫块 所确定的所述初始中心为起点，综合4吏用最近邻和K均值两 种自动聚类算法，通过迭代到最终收敛中心的方式得到第 一 阈 值和第二阈值，然后利用所述第 一 阈值和所述第二阈值将所述 多个样本分为所述第 一类样本、所述第二类样本以及第三类样本。
5. 根据权利要求4所述的匹配程度计算装置，其特征在于，所述 特征提取模块包括转换模块，用于将所述多个样本的RGB图像信息转换到 HSV特^正空间；以及直方图信息提取模块，用于分别提取单一样本区域内—HSV三通道的直方图信息作为所述多个样本的特征。
6. 根据权利要求4所述的匹配程度计算装置，其特征在于，所述 样本分类模块还包括迭代模块，用于计算每个样本与所述第一类样本的初始 中心的第一3巨离以及与所述第二类样本的初始中心的第二距 离，然后使用最近邻算法根据所述第一距离和所述第二距离的 大小将所有样本分为所述第 一类样本和所述第二类样本，使用 K均值算法计算所述第一类样本和所述第二类样本的平均特 征作为所述第一类样本和所述第二类才羊本新的中心，然后进4亍 迭代处理直到所有样本类别变化个数总和为零；统计才莫块，用于统计所述第一类样本和所述第二类样本 的个数，如果所述第一类样本和所述第二类样本的个数差大于 预定值，则将样本数量较少的那类样本作为第三类样本，并对 所述多个样本中剩余的样本重复所述样本初始中心确定才莫块 和所述迭代;漠块中的处理，直到所述第 一类样本的个数和所述 第二类样本的个数差小于等于所述预定值为止；样本特征计算模块，用于在所述统计才莫块中确定所述第 一类样本和所述第二类样本的个数差小于等于所述预定值的 情况下，计算所述第一类样本和所述第二类样本的所有特征相 对应的均值和妨、方差矩阵组；Mahalanobis距离计算装置，用于对每个样本计算所有特 征的Mahalanobis距离之和，然后重复所述迭代模块、所述统 计模块以及所述样本特征计算模块中的处理，直到所有样本类 别变化个数总和为零；以及第三类样本个凄t确定才莫块，用于冲艮据预定的祁无率，确定 所述第一类样本和所述第二类样本中作为第三类样本的样本个数；阈值确定模块，用于将每一类样本到各自样本中心的 Mahalanobis距离按照从大到小的顺序进行排序，将每类距离 排序中从前到后、排名等于第三类样本个数的样本所对应的距 离作为从所述第 一类样本和所述第二类样本中剔除所述第三 类样本的所述第一阈值和所述第二阈值；以及类别判断模块，用于基于所述第一阈值和所述第二阈值 将所述多个样本分为所述第一类样本、所述第二类样本、以及 所述第三类样本。
7. 根据权利要求1所述的匹配程度计算装置，其特征在于，所述 匹配程度计算模块包括图像接收模块，用于接收包括待匹配目标区域的所述输 入图J象；以及前景区域选取模块，用于基于预定处理选取所述输入图 ^像中的所有前景区域。
8. 根据权利要求7所述的匹配程度计算装置，其特征在于，所述 前景区域选取4莫块还包括背景去除模块，用于利用主颜色分割处理，从所述输入 图像中去除背景区域；以及前景区域提取模块，用于利用单连通域选择处理，从经 过所述背景去除模块处理的图像中提取所有前景区域。
9. 4艮据权利要求7所述的匹配程度计算装置，其特征在于，所迷 匹配程度计算才莫块还包括匹配结果生成才莫块，用于基于通过所述特4i训练才莫块训 练好的两类特征，通过概率投影进行两次计算，给出输入图像 中所有前景的匹配程度结果；以及类别判断模块，用于提取所有前景区域的特征并分别计 算所述特征与通过所述特征训练模块训练得到的两类前景样 本中心的Mahalanobis距离，按照最近邻算法将所有前景区域 分为第 一类样本和第二类样本，然后基于在所述特征训练模块 中得到的所述分类判别标准，从所述第 一类样本和所述第二类 样本中剔除第三类样本，从而将所有前景区域分为所述第 一类 样本、所述第二类样本以及所述第三类样本。
10. —种匹配程度计算方法，用于在图像分析中计算目标区域的匹 配程度并对所述目标区域进行分类，其特征在于，所述方法包 4舌以下步-骤样本选取步骤，4吏才羊本选择才莫块对输入的训练样本进4亍 选取，以得到对应于单一前景区域的多个样本作为多个特征训 练图像；特征训练步骤，4吏特征训练才莫块对所述多个样本扭J亍预 定处理，以自动完成多类特4i的训练以及分类判别标准的确 定；以及匹配程度计算步骤，使匹配程度计算模块基于在所述训 练步骤中训练得到的多类特征和分类判别标准，计算得到关于 输入图像中所有前景区域的匹配程度结果并对所有前景区域 进行分类。
11. 才艮据4又利要求10所述的匹配程度计算方法，其特4正在于，所 述样本选取步骤还包括训练图像集采集步骤，使训练图像集采集模块从所输入 的训练样本中采集预定数量的包括 一 个或多个前景区域的训 练图像作为训练图像集；范围限制条件获取步骤，使范围限制条件获取模块统计所述训练图像集中的所有训练图像的大小和形状参数，获取对 应于单一前景区域的范围限制条件；以及特征训练图像选择步骤，使特征训练图像选择模块基于 在所述范围限制条件获取步骤获取的所述范围限制条件，从所 有训练图像中选择对应于单 一 前景区域的所述多个特征训练 图像。
12. 才艮据4又利要求11所述的匹配程度计算方法，其特4正在于，所 述范围限制条件获取步骤还包括计算步骤，使计算模块求取所有训练图像的长、宽、以 及长宽比参数，并分别计算所有训练图像的长、宽、以及长宽 比所^j"应的均^直和方差；以及范围限制条件确定步骤，用于使范围限制条件确定模块 基于在所述计算步骤中得到的所述均值和所述方差，确定范围 限制条件。
13. 根据权利要求10所述的匹配程度计算方法，其特征在于，所 述特征训练步骤还包括样本接收步骤，用于〗吏样本4妄收才莫块^姿收在所述样本选 耳又步骤中输出的所述多个样本；特征提取步骤，用于使特征提取模块提取所述多个样本 中每一个的净争;^正；样本初始中心确定步骤，用于^f吏样本初始中心确定才莫块 计算所述多个样本之间的两两距离，并将距离最大的两个样本确定为第 一类才羊本的初始中心和第二类才羊本的初始中心；样本分类步骤，用于使样本分类才莫块以在所述样本初始 中心确定步骤中确定的所述初始中心为起点，综合4吏用最近邻 和K均值两种自动聚类算法，通过迭代到最终收敛中心的方 式得到第 一阈值和第二阈值，然后利用所述第 一阈值和所述第 二阈值将所述多个样本分为所述第一类样本、所述第二类样本 以及第三类样本。
14. 根据权利要求13所述的匹配程度计算方法，其特征在于，所 述特征提取步骤还包括转换步骤，使转换模块将所述多个样本的RGB图像信息 转换到HSV特征空间；以及直方图信息提取步骤，使直方图信息提取模块分别提取 单一样本区域内HSV三通道的直方图信息作为所述多个样本 的特征。
15. 根据权利要求13所述的匹配程度计算方法，其特征在于，所 述样本分类步一银还包括迭代步骤，使迭代模块计算每个样本与所述第一类样本 的初始中心的第 一距离以及与所述第二类样本的初始中心的 第二距离，然后使用最近邻算法根据所述第 一距离和所述第二 距离的大小将所有样本分为所述第 一类样本和所述第二类样 本，使用K均值算法计算所述第一类样本和所述第二类样本 的平均特征作为所述第 一类样本和所述第二类样本新的中心， 然后进行迭代处理直到所有样本类别变化个数总和为零；统计步骤，4吏统计才莫块统计所述第一类样本和所述第二 类样本的个数，如果所述第 一类样本和所述第二类样本的个数 差大于预定值，则将样本数量较少的那类样本作为第三类样 本，并对所述多个样本中剩余的样本重复所述样本初始中心确 定模块和所述迭代模块中的处理，直到所述第 一类样本的个数和所述第二类样本的个数差小于等于所述预定值为止；样本特征计算步骤，使样本特征计算模块在所述统计步 骤中确定所述第一类样本和所述第二类样本的个数差小于等 于所述预定值的情况下，计算所述第一类样本和所述第二类样 本的所有特4正相对应的均值和协方差矩阵组；Mahalanobis距离计算步骤，使Mahalanobis距离计算装 置对每个样本计算所有特征的Mahalanobis距离之和，然后重 复所述迭代步骤、所述统计步骤以及所述样本特征计算步骤中 的处理，直到所有样本类别变化个数总和为零；以及第三类样本个数确定步骤，使第三类样本个数确定模块 根据预定的概率，确定所述第一类样本和所述第二类样本中作 为第三类样本的样本个数；阈值确定步骤，使阈值确定模块将每一类样本到各自样 本中心的Mahalanobis距离按照从大到小的顺序进行排序，将 每类距离排序中从前到后、排名等于第三类样本个数的样本所 对应的距离作为从所述第一类样本和所述第二类样本中剔除 所述第三类样本的所述第一阈值和所述第二阈4直；以及分类步骤，使类别判断模块基于所述第一阈值和所述第 二阈值将所述多个样本分为所述第一类样本、所述第二类样 本、以及所述第三类冲羊本。
16. 根据权利要求10所迷的匹配程度计算方法，其特征在于，所 述匹配程度计算步骤还包括图像接收步骤，使图像接收模块接收包括待匹配目标区 域的所述输入图像；以及前景区域选取步骤，使前景区域选取模块基于预定处理 选取所述输入图 <象中的所有前景区域。
17. 4艮据权利要求16所述的匹配程度计算方法，其特4正在于，所 述前景区域选取步骤还包括背景去除步骤，使背景去除模块利用主颜色分割处理， 从所述输入图像中去除背景区域；以及前景区域提取步骤，使前景区域提取模块利用单连通域 选择处理，乂人经过所述背景去除才莫块处理的图 <象中l是取所有前 景区域。
18. 根据权利要求16所述的匹配程度计算方法，其特征在于，所 述匹配程度确定步骤还包括匹配结果生成步骤，使匹配结果生成模块基于通过在所 述训练步骤中训练好的两类特征，通过概率4殳影进行两次计 算，给出输入图像中所有前景的匹配程度结果；以及类别判断步骤，使类别判断模块提取所有前景区域的特 征并分别计算所述特征与通过所述特征训练才莫块训练得到的 两类前景样本中心的Mahalanobis距离，按照最近邻算法将所 有前景区域分为第 一类样本和第二类样本，然后基于在所述特 征训练步骤中得到的所述分类判别标准，乂人所述第 一类样本和 所述第二类样本中剔除第三类样本，从而将所有前景区域分为 所述第一类样本、所述第二类样本以及所述第三类样本。
全文摘要
本发明公开了匹配程度计算装置及方法，其中，该匹配程度计算装置包括样本选取模块，用于对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本用于特征训练；特征训练模块，用于对多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及匹配程度计算模块，用于基于通过特征训练模块训练好的多类特征和分类判别标准，计算得出输入图像中所有前景区域的匹配程度结果并进行分类。通过本发明，提高了算法的应用便捷性和对特征分类的准确性。
文档编号G06K9/62GK101655909SQ20081021012
公开日2010年2月24日 申请日期2008年8月21日 优先权日2008年8月21日
发明者吴伟国, 张斯聪 申请人:索尼(中国)有限公司