专利名称：一种图像内容检索系统及其图像内容稀疏学习方法
技术领域：
本发明涉及一种基于内容的图像检索的系统和方法，尤其涉及一种图像内容检索系统及其图像内容稀疏学习方法。
背景技术：
目前，传统图像内容的特征描述大多采用颜色、纹理、形状等物理特征描述图像内容，而这些特征对图像的语义信息不能充分有效表达。同时，描述图像内容的特征较单一，一幅图像往往具有多种形态，如颜色、纹理、形状等，即使是同一形态特征，也有多种不同的表示方法，只利用单一特征检索，不能有效组织多种特征从不同角度反映图像内容。此外，通过构造有效稀疏基信息解决高维图像样本的特征表示、抽取及重建的技术还处于起步阶段。传统的代数特征描述技术仅保存了模式的全局结构属性，更多适用于线性可分情况；而研究表明，许多在自然界获取的图像尤其因光照、姿态等因素发生变化时，会造成图像的线性不可分。其次，一些图像位于高维空间的非线性流形结构上，由此带来特征分析的困难。上述因素使传统代数描述方法不能较好地表示模式的内在结构，从而导致分类识别的效率较低。在已知的现有技术中，典型的基于流形结构的方法有Local linearembedding (LLE), Isomap和Laplacian eigenmap,并在实验数据上取得了良好的效果。然而这些方法所提取的映射关系仅建立在训练数据上，对如何评价测试数据的映射并不精确，这导致它们在图像识别·领域的应用比较少。Locality Preserving Projections (LPP)方法对Laplacian eigenmap方法近似线性化,从而有效保持了样本之间的局部结构，在图像处理等领域取得了较好的结果，但是该方法的缺陷是没有充分发现图像的类别信息。以上流形方法的典型改进模型有Supervised LPP (SLPP)和Locally discriminatingprojection (LDP)，然而，这类方法仍然未能强化保持图像空间的差异信息，它们在描述图像之间的局部结构时，忽略了样本之间的非局部属性和总体信息，从而导致这类方法的鲁棒性还不够高。
发明内容
本发明要解决的技术问题是现有的图像内容检索算法对图像的语义信息不能充分有效表达。为解决上述技术问题，本发明采用的技术方案是:一种图像内容检索系统，包括:O分割子系统，用于将训练图像、测试图像分别分割为η个示例，包括:A) FCM分割单元:采用模糊C均值算法对训练图像和测试图像分别进行区域分割；Β)金字塔分割单元:采用cvPrySegmentation函数对训练图像和测试图像重新进行基于“空间金字塔”匹配机制的图像分割；2)图像区域特征提取单元:用于提取各个示例的颜色、纹理、CENTRIST特征及每类平均特征向量；3)计算对比子系统，包括:a)提取每个示例的颜色特征和纹理特征；b)统计变换直方图单元，用于计算一幅图像所有像素的CT值，统计各示例CT值像素个数或所占比例，求得CT值直方图特征，即CENTRIST特征；c)多示例稀疏学习单元，用于对各示例的CENTRIST特征进行稀疏离散度描述，以及计算示例的多样性密度，并确立目标示例；d)计算每一类图像的紧凑空间结构特征SSRCT ;e)计算每类平均特征向量PACT ;f)对比单元，通过欧氏距离度量目标示例与测试图像在颜色和纹理特征上的相似性并分别排序，同时对图像紧凑空间结构特征SSRCT的相似度进行排序。一种图像内容检索系统的图像内容稀疏学习方法，包括以下步骤:步骤一:对训练图像进行FCM分割，将其分为η个区域，每个区域为一个示例，并分别提取该示例的颜色和纹理特征向量；步骤二:采用“空间金字塔”的2级划分重新分割训练图像，并提取各分块的CENTRIST特征后进行稀疏离散度描述，得到一个紧凑的空间结构特征SSRCT，并依此计算每类平均特征向量；步骤三:对步骤一得到的各个示例进行多示例稀疏学习，求得示例多样性密度，并依此选择出目标示例；步骤四:将步骤一中提取的颜色特征与与步骤三中提取的目标示例的颜色特征求欧氏距离并排序，排序后得到ColorOrder ;步骤五:将步骤一中提取的纹理特征与与步骤三中提取的目标示例的纹理特征求欧氏距离并排序，排序后得到TextureOrder ;步骤六:利用步骤二计算每一类图像的SSRCT特征矩阵的平均矩阵，对测试图像与每类平均空间特征矩阵PACT计算欧氏距离，排序后得到PACTOrder ;步骤七:将步骤四至七中得到的三组排序结果加权综合得到最终排序结果，依此得到最终的检索结果O作为本发明的一种改进方案，颜色特征为像素R、G、B颜色均值或HSV颜色直方图特征，纹理特征由符合人眼视觉感知的Gabor滤波器提取。由于多示例学习能够有效处理图像的歧义性，本发明采用多示例学习找出一类图像的目标示例，并由欧氏距离度量目标示例与测试图像在颜色和纹理特征上的相似性。同时，为了更好地表示图像的整体结构 ，本发明对图像重新进行基于“空间金字塔”匹配机制图像分割，并提取各分块的CENTRIST特征后进行一种新的稀疏离散度描述，即紧凑空间结构特征，并在图像整体空间结构特征相似度方面进行排序。本发明的优点是:采用多示例学习、多样性密度的稀疏学习方法，从多种非局部形态特征的角度来描述图像内容并达到检索的目的，该方法容易编程实现，并具有一定人工智能，也为图像理解提供了算法上的参考。
图1是本发明方法的检索流程图。图2是空间金字塔的划分示意图。图3是CT值直方图特征即CENTRIST特征。
具体实施例方式下面结合附图对本发明做进一步说明。如图1-2所示,多示例学习中，每个样本由一组没有标记的特征向量组成,每个特征向量称为一个示例，由一组示例组成的具有标记的样本称为包。其问题描述如下:假设训练集中每个数据是一个包(Bag，即样本)，每个包由多个示例组成，每个训练包有一个概念标记，但示例没有概念标记。如果一个包中至少存在一个示例是正例，则该包被标记为正包；如果包中没有任何一个示例是正例，则该包被标记为负包。学习系统通过对多个包组成的训练集进行学习，以尽可能正确地对训练集之外的包的概念标记进行预测。在CBIR中使用多示例学习时，首先要将图像表示为多示例包，一幅图像中，用户感兴趣或者能体现图像内容的只是图像的一部分区域。本发明一种图像内容检索系统，包括:
O分割子系统，用于将训练图像、测试图像分别分割为η个示例，包括:
A)FCM分割单元:采用模糊C均值算法对训练图像和测试图像分别进行区域分割；
B)金字塔分割单元:采用cvPrySegmentation函数对训练图像和测试图像重新进行基于“空间金字塔”匹配机制的图像分割；
2)图像区域特征提取单元:用于提取各个示例的颜色、纹理、CENTRIST特征及每类平均特征向量；
3)计算对比子系统，包括:
a)提取每个示例的颜色特征和纹理特征；
b)统计变换直方图单元，用于计算一幅图像所有像素的CT值，统计各示例CT值像素个数或所占比例，求得CT值直方图特征，即CENTRIST特征；
c)多示例稀疏学习单元，用于对各示例的CENTRIST特征进行稀疏离散度描述，以及计算示例的多样性密度，并确立目标示例； d)计算每一类图像的紧凑空间结构特征SSRCT；
e)计算每类平均特征向量PACT；
f)对比单元，通过欧氏距离度量目标示例与测试图像在颜色和纹理特征上的相似性并分别排序，同时对图像紧凑空间结构特征SSRCT的相似度进行排序。
一种图像内容检索系统的图像内容稀疏学习方法，包括以下步骤:
步骤一:对训练图像进行FCM分割，将其分为η个区域，每个区域为一个示例，并分别提取该示例的颜色和纹理特征向量；
具体说明:颜色特征为像素R、G、B颜色均值或HSV颜色直方图特征，纹理特征由符合人眼视觉感知的Gabor滤波器提取，至少包含一个用户感兴趣示例的图像被标记为正包，不包含任何用户感兴趣示例的图像被标记为负包。
步骤二:采用“空间金字塔”的2级划分重新分割训练图像，并提取各分块的CENTRIST特征后进行稀疏离散度描述，得到一个紧凑的空间结构特征SSRCT，并依此计算每类平均特征向量；
具体说明:空间金字塔的2级划分，即把图像平均分为22 X 12=16块，为了避免非重叠划分所带来的块效应，在原划分的同时也移动这个划分，将每个块的中心连接起来构成虚线所表示的块，这样在2级划分中一共得到16+9=25个块。同样，空间金字塔的I级划分和ο级划分分别将图像平均分为；2ιχ =4块和2 χ2β=1块，消除块效应后I级划分和O级划分分别具有5个和I个块，计算每一类图像邻域块的空间结构特征矩阵的平均矩阵。CENTRIST特征由统计变换直方图CT给出。统计变换是一种非参数的局部变换，常用来建立局部块之间的联系。当局部块选用3*3的窗口表示时，即局部块中包含9个相邻像素的灰度值。通过比较一个像素和它周围的八邻域像素的强度值大小来获得变换值。如果中心像素周围的八邻域像素的强度值不大于它本身强度值，则将它八邻域像素相应位置设为1，否则，设为O。计算一幅图像所有像素的CT值，统计各CT值像素个数或所占比例，得到CT值直方图特征即CENTRIST特征，如图3所示:
步骤三:对步骤一得到的各个示例进行多示例稀疏学习，求得示例多样性密度，并依此选择出目标示例；
具体说明:由于在多样性密度理论下，特征空间中最适合标志用户感兴趣概念的点应满足正包中应至少存在一个示例靠近该点，而反包中的所有示例都应远离该点。因此该点周围应当密集分布了属于多个不同正包的示例，同时远离所有反包中的示例。在特征空间中如果某点附近出现来自于不同正包中的示例越多，反包中的示例离得越远,则这点表征用户感兴趣概念的概率就越大。用多样性密度来度量这种概率，具有最大概率的点即为要寻找的目标点。目标点应满足:
其中，表示目标点，代表概率，表示第个正包，表示第个负包。具体稀疏描述算法包括以下步骤:a)用系统已有的示例样本来线性描述分块邻域样本，得到一个描述结果，由此计算出该邻域样本的初始稀疏表示系数； 所述步骤a包括如下步骤:
al、假设系统共有类个训练样本，记表示第类的训练样本集合，这里的每一列表示一个训练样本，则类一共对应的全体训练样本集合是；
a2、针对测试样本，可以通过所有类别下的训练样本来线性描述；a3、对上式进行系数求解，如果非奇异，稀疏系数，否则，通过构造公式求得稀疏系数，其中，，，为正扰动项，是单位矩阵。b)分别统计到各个目标示例类别的分类贡献，计算得到每一个类别的离散度；
所述步骤b包括如下步骤:
bl、步骤e求得的是所对应的全体训练样本的稀疏分解系数，其中，定义为训练类别对的分类贡献，这里的是关联第类训练样本集合的稀疏系数；
b2、通过构造背离度公式，来度量第类训练样本集合在测试样本重建过程中的贡献，这里描述为与的信号重建残差，即背离度。显然，背离度越小，表示在测试样本重建中的贡献越大。c)剔除离散度最大的目标示例类别，用剩余示例类别的所有目标示例样本来重新描述这个分块邻域样本，并获得新的稀疏表示系数；
所述步骤c包括如下步骤:
Cl、根据步骤b的计算结果，剔除背离度最大的第类训练样本集合，SP，；c2、用剩余类别的所有剩余训练样本来重新表示这个测试样本，S卩，假设剔除了第类还一共剩余个训练样本，则用这个剩余训练样本来重新线性表示这个测试样本，并用步骤a方法重新计算获得新的稀疏表示系数。d)重复第b和c步，直到剔除目标示例类别的数量达到规定阈值时，终止剔除类别操作；
e)用最终剩余的个目标示例样本来重新线性表示这个分块邻域样本，得到分块邻域样本的最终稀疏表不系数；
f)在最终剩余的个目标示例样本中，假设来自第类的所有目标示例类别为，那么计算获得目标示例类别对目标示例样本产生的特征的分类贡献是，这里的是关联第类目标示例样本集合的最终稀疏表不系数；
g)通过建立背离度公式，来度量第类目标示例样本集合在邻域样本的最终重建过程中的离散度。计算和所有的离散度，选取最小离散度的类别作为邻域样本的最终候选类别；
步骤四:将步骤一中提取的颜色特征与与步骤三中提取的目标示例的颜色特征求欧氏距离并排序，排序后得到ColorOrder ；
步骤五:将步骤一中提取的纹理特征与与步骤三中提取的目标示例的纹理特征求欧氏距离并排序，排序后得到TextureOrder ；
步骤六:利用步骤二计算每一类图像的SSRCT特征矩阵的平均矩阵，对测试图像与每类平均空间特征矩阵PACT计算欧氏距离，排序后得到PACTOrder ；
步骤七:将步骤四至七中得到的三组排序结果加权综合得到最终排序结果，依此得到最终的 检索结果。
权利要求
1.一种图像内容检索系统，其特征是，包括: O分割子系统，用于将训练图像、测试图像分别分割为η个示例，包括: A)FCM分割单元:采用模糊C均值算法对训练图像和测试图像分别进行区域分割； B)金字塔分割单元:采用cvPrySegmentation函数对训练图像和测试图像重新进行基于“空间金字塔”匹配机制的图像分割； 2)图像区域特征提取单元:用于提取各个示例的颜色、纹理、CENTRIST特征及每类平均特征向量； 3)计算对比子系统，包括: a)提取每个示例的颜色特征和纹理特征； b)统计变换直方图单元，用于计算一幅图像所有像素的CT值，统计各示例CT值像素个数或所占比例，求得CT值直方图特征，即CENTRIST特征； c)多示例稀疏学习单元，用于对各示例的CENTRIST特征进行稀疏离散度描述，以及计算示例的多样性密度，并确立目标示例； d)计算每一类图像的紧凑空间结构特征SSRCT； e)计算每类平均特征向量PACT； f)对比单元，通过欧氏距离度量目标示例与测试图像在颜色和纹理特征上的相似性并分别排序，同时对图像紧凑空间结构特征SSRCT的相似度进行排序。
2.采用权利要求1所述的一种图像内容检索系统的图像内容稀疏学习方法，其特征是，包括以下步骤: 步骤一:对训练图像进行FCM分割，将其分为η个区域，每个区域为一个示例，并分别提取该示例的颜色和纹理特征向量； 步骤二:采用“空间金字塔”的2级划分重新分割训练图像，并提取各分块的CENTRIST特征后进行稀疏离散度描述，得到一个紧凑的空间结构特征SSRCT，并依此计算每类平均特征向量； 步骤三:对步骤一得到的各个示例进行多示例稀疏学习，求得示例多样性密度，并依此选择出目标示例； 步骤四:将步骤一中提取的颜色特征与与步骤三中提取的目标示例的颜色特征求欧氏距离并排序，排序后得到ColorOrder ； 步骤五:将步骤一中提取的纹理特征与与步骤三中提取的目标示例的纹理特征求欧氏距离并排序，排序后得到TextureOrder ； 步骤六:利用步骤二计算每一类图像的SSRCT特征矩阵的平均矩阵，对测试图像与每类平均空间特征矩阵PACT计算欧氏距离，排序后得到PACTOrder ； 步骤七:将步骤四至七中得到的三组排序结果加权综合得到最终排序结果，依此得到最终的检索结果；
3.根据权利要求2所述的一种图像内容检索系统，其特征是:颜色特征为像素R、G、B颜色均值或HSV颜色直 方图特征，纹理特征由符合人眼视觉感知的Gabor滤波器提取。
全文摘要
一种图像内容检索系统，其特征是，包括1)分割子系统，用于将训练图像、测试图像分别分割为n个示例，包括A)FCM分割单元采用模糊C均值算法对训练图像和测试图像分别进行区域分割；B)金字塔分割单元采用cvPrySegmentation函数对训练图像和测试图像重新进行基于“空间金字塔”匹配机制的图像分割；2)图像区域特征提取单元用于提取各个示例的颜色、纹理、CENTRIST特征及每类平均特征向量；3)计算对比子系统等，采用多示例学习、多样性密度的稀疏学习方法，从多种非局部形态特征的角度来描述图像内容并达到检索的目的，该方法容易编程实现，并具有一定人工智能，也为图像理解提供了算法上的参考。
文档编号G06F17/30GK103226616SQ201310181859
公开日2013年7月31日 申请日期2013年5月16日 优先权日2013年5月16日
发明者宋晓宁, 陈勇, 王卫东, 叶华, 石亮, 范燕 申请人:南京龙渊微电子科技有限公司