专利名称：一种基于局部语义概念的国画图像识别方法
技术领域：
本发明涉及一种图像识别方法，特别是关于一种基于局部语义概念的国画图像识 别方法。
背景技术：
近年来，基于语义图像分类和标注技术已经成为与CB^(基于内容的图像检索) 密切相关的研究热点，因其将图像按照高层的语义进行合理的分类，不仅会大大提高基于 语义的图像检索的性能，且能在一定程度上弥补“语义鸿沟”。不同于传统的数字图像，国画 作品所涵盖的语义信息更加丰富，也更加抽象。若能实现国画图像的自动分类及标注，则其 在数字化书画博物馆领域能得到广泛的应用，并成为数字化图书馆等重大研究项目中的关 键技术。图像场景分类的目的是将图像整体归类到某一场景类别中去。国内外现有的研究 工作大多集中于自然图像的场景分类，即研究如何自动地实现将待识别图像归类到一组语 义类别中去(如海滩，山脉等)的课题。针对中国书画的数字图像研究领域，国画图像分类 方法的主要集中在基于低层视觉特征的表示，并利用支持向量机、决策树算法等实现国画 图像的自动分类，目前尚未发现针对国画图像的基于中层语义建模的图像分类方法。为了弥合语义鸿沟以及应对复杂场景的图像识别问题，研究者通过实现对图像的 场景进行语义建模，来达到图像场景分类的目的。基于局部语义概念的图像中层表示方法 因其不依赖图像分割的结果而表现出良好的分类性能，目前成为主流方法。2005年狗1呼&提出了一种新的用于自然场景分类的贝叶斯层次化模型。不同于 前人的工作，该方法不需要专门标注的训练样本集，而是通过局部区域的聚类形成词包来 表示图像，最终在一个包含13类大规模的复杂场景集上实验得到了满意的分类性能。2005 年的Quelhas和2006年的Bosch分别提出了结合Bag of words和pLSA模型，两者的区别 在于提取局部描述子的方法不同。前者是基于稀疏的SIFT描述子，后者是密集的SIFT描 述子。2006 年 Perronin 提出 了基于 Bag of words 禾口 GMM(GaussianMixture Models，高斯 混合模型)的图像分类思路，该方法能描述所有的被承认图像类别的图像内容，并且能通 过训练典型的类样本数据学习得到改进后自适应的类字典。前人基于可视词典的方法都是 用单一的直方图来描述图像，而该方法的创新点在于用一系列的直方图来描述一幅图像。上述几种方法虽然有效，但是均没有考虑和利用图像中的空间结构信息，在复杂 的自然图像场景分类系统中，这种空间结构的语境信息(如邻近的局部对象间的空间关 系或某些场景中物体的绝对位置)可进一步提高分类器的性能，有助于得到更好的分类结 果。2006年Lazebnik提出了高于Bag of Words的空间金字塔匹配的分类算法。该方法通 过将图像划分成渐渐变小的子区域和计算每个子区域块的局部特征直方图，然后利用得到 的这些局部特征直方图表示图像。“空间金字塔”是对无序的特征包的图像表示方法的一种 简单、高效计算的扩展结果，并且在非常有挑战性的场景分类问题上表现出重要的、深远的 改进性能。但该方法对于背景区域大的图像样本库，分类结果会存在偏差。
发明内容
针对上述问题，本发明的目的是提出了一种全局图像特征和局部图像特征相融合 的基于局部语义概念的国画图像识别方法。为了实现上述目的，本发明采用以下技术方案1、一种基于局部语义概念的国画 图像识别方法，其包括以下步骤1)利用扫描设备对待识别的国画作品进行图像采集，并 存入计算机中；幻通过随机抽取器将采集到的国画作品图像分成训练样本集和测试样本 集；3)通过视觉注意力模型分别提取训练样本集和测试样本集内国画作品图像中的显著 区域图像；4)对训练样本集内的国画作品图像和相应的显著区域图像，分别建立国画作品 图像的词包模型；5)根据训练样本集内建立的国画作品图像词包模型和相应的显著区域 图像词包模型，分别构建国画作品图像的空间金字塔模型和相应的显著区域图像的空间金 字塔模型，并生成相应的两个空间金字塔特征直方图；6)采用串行合并的方法对步骤5)中 生成的两个空间金字塔特征直方图进行融合；7)利用聚类方法、K近邻法、神经网络和支持 向量机方法中的一种以上分类方法对测试样本集中待识别的国画图像进行识别，用识别准 确率和混淆矩阵的方式输出识别结果。所述步骤2、中训练样本集和测试样本集的生成方法包括①定义国画图像的类 别，类别编号为1 n，n为自然数；②假设用于待识别的国画作品图像代表集为P，记为{P”P2, P3Io其中P1表示花鸟画，记为P1={A1，A2，...,Ai1}Ai为其中的一幅国画图像，P2表示人 物画，记为P2= {Β1;化，...，BiLBi为其中的一幅国画图像，P3表示山水画，记为P3= (C1, C2,...，CJ ,Ci为其中的一幅国画图像；③分别从PpP2和P3中随机选取设定数量的图像作 为训练样本集Q，记为{P/，P2'，P3' }，用于生成国画图像识别的模型；将PpP2和P3中剩余的图像作为测试样本集CpQ = {∈P且∈Q} ，用于校准。所述步骤4)中建立国画图像的词包模型，包含以下步骤①国画图像的灰度化， 分别对训练样本集和显著区域图像中彩色国画图像按如下公式进行灰度化处理Gray (i， j) =0.11*R(i，j)+0. 59*G(i，j)+0. 3*B(i, j)；其中 i，j 是一个像素点在图像中的位 置，R(i，j)是i，j所表示的像素点颜色的红色分量，G(i，j), B(i, j)分别表示绿色和蓝 色分量，Gray(i, j)表示该点转换后的灰度级别；②分别对步骤①得到的灰度图像选取 SIFT (Scale-invariant feature transform，尺度不变特征转换)描述子的关键点，利用关 键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，生成SIFT特征向量，并根 据需要对SIFT特征向量进行光照归一化处理；③根据步骤②得到的国画原图和国画显著 区域图像的SIFT特征向量来，分别构建视觉词汇表；视觉词汇表包含K个视觉单词，K为自 然数，一般取值为500-1200，建议K取为1000 ；④利用得到的两个视觉词汇表，进行局部语 义概念特征的提取和表示，即计算某一个SIFT关键点邻域内的SIFT特征与视觉词汇表中 的每个视觉单词所对应SIFT特征的欧氏距离，用最近邻的视觉单词来定义该SIFT关键点， 将所有的SIFT关键点映射到视觉词汇表中，用视觉单词的标号描述这幅图像，即得到该图 像的局部语义概念特征采用直方图特征表示法来表示该图像的局部语义概念特征。所述步骤4)的②中选取SIFT描述子的关键点的步骤如下A、对国画原图采用网 格采样法进行采样；B、对国画显著区域图像采用尺度空间极值检测方法。
所述步骤5)中构建空间金字塔模型包括以下步骤①将国画图像在二维图像空 间中划分为不同大小的子图像区域，形成空间金字塔分块；空间金字塔层数为2-5 ；②对形 成的空间金字塔分块图像构建相应的空间金字塔特征直方图。所述步骤6)中，对两个空间金字塔特征直方图的融合包括以下两种方法之一一 种是将两组特征向量首尾相连生成一个联合向量作为新的特征向量，在更高维的向量空间 进行特征提取，即串行组合；另一种是利用复向量将同一样本的两组特征向量合并在一起， 在复向量空间进行特征提取，即并行组合。所述步骤7)中采用支持向量机方法进行分类时的步骤如下①分类器模型的生 成；采用LIBSVM-fast工具包进行识别实验，训练生成分类器模型所需的参数为options = ’-t4-S0-bl-Cl’，其表示的含义是核函数为交叉核函数，SVM类型为C-svc ；C-svc惩罚系 数为1，且需要概率估计；②输出测试样本集中待识别国画图像的结果；利用步骤3) 6) 处理测试样本集中待识别的国画图像，得到对应的特征向量，并将其输入训练好的分类器 模型，根据分类器模型的公式即可得到图像的分类结果；③识别结果评价方法包括识别准 确率和混淆矩阵两种方法。本发明由于采取以上技术方案，其具有以下优点本发明和Lazebnik等人提出的 自然场景图像分类方法相比，引入提取全局国画图像(全局图像)中的局部显著区域图像 (局部图像)，针对全局图像和局部图像利用不同的方法提取图像中SIFT描述子关键点信 息，并且实现了全局图像和局部图像的局部语义概念特征的融合，这样同时对全局国画图 像和局部显著图像进行局部语义概念特征信息的分析，能够获取更多有助于分类识别和更 具辨别力的特征信息，因此能提高国画图像分类识别的准确率。本发明和James. Wang以及 蒋树强等提出的利用低层视觉特征实现的国画场景图像分类方法相比具有更强的扩展性。 并且将中层语义建模分类方法拓展了到国画图像的应用领域。
图1是本发明的模块框2是本发明输入的国画原3是本发明提取国画原图中的显著区域图像图4是本发明的词包表示模型流程5是本发明国画原图局部描述子SIFT特征的算法流程6是本发明均勻网格采样方法示意7是本发明一幅国画图像均勻网格采样实例示意8是本发明国画显著区域图像局部描述子SIFT特征的算法流程9是本发明构建国画图像空间金字塔图例图10是本发明的分类识别流程示意图
具体实施例方式下面结合附图和实施例对本发明进行详细的描述。中国画根据绘画的内容，大致分人物画、山水画和花鸟走兽画三大类。其中每一个 大类又可以分为不同的小类，比如人物画是以人物为主要描绘对象的画科，按其取材的差异可分为宗教人物画和世俗人物画，还可细分为肖像画、故事画、风俗画等。本发明基于局 部语义概念的国画图像识别方法包括以下步骤1)如图1所示，利用扫描设备将待识别的若干幅国画作品扫描出来，存入计算机 中，扫描设备可以采用各种已有技术设备，本实施例采用的扫描设备是ExpressionlOOOOXL 平板式扫描仪，保存图像的参数为 位颜色深度，400dpi分辨率，JPEG图像文件格式。2)将采集到的各幅国画作品图像输入随机抽取器，随机抽取器对输入的国画作品 图像分成训练样本集和测试样本集，分类的步骤如下①定义国画图像的类别，类别编号为1、2、…、η，η为自然数，本实施例根据绘画 的内容，将国画分为花鸟画、人物画和山水画三大类，即η = 3，(以下以η = 3为例进行说 明，但不限于此)。②假设用于待识别的国画作品图像代表集为P，记为{Ρ1;Ρ2，Ρ3}。其中？工表示花鸟 画，记为5 =(4,4,...,4^ ,Ai为其中的一幅国画图像，P2表示人物画，记为P2= (B15B2,. . ·， BJ，Bi为其中的一幅国画图像，P3表示山水画，记为P3 = IC1, C2, ... , CJ，Ci为其中的一幅 国画图像，其中i为对应图像的数量。。③分别从PpP2和P3中随机选取设定数量的图像作为训练样本集Q，记为{P/， P2'，P3' }，用于生成国画图像识别的模型；将Pi、PjPP3中剩余的图像作为测试样本集 c』= p|/ejp且/￠0，用于校准。3)将步骤2)中分出的训练样本集和测试样本集的原图(如图2所示)输入视觉 注意力模型，视觉注意力模型从训练样本集Q中提取国画图像中的显著区域图像集Qs (如 图3所示)寻找图像中显著目标的过程符合人类视觉神经系统选择视觉场景中显著目标 的生物机理，尽可能多的保留国画中的有助于分类的主要语义区域，剔除一些冗余区域， 本发明中的视觉注意力模型可以采用Itti-Koch(人名)的视觉注意力模型，也可以采用 Jonathan Harel (人名)的 GBVS (Graph-Based Visual Saliency 基于图的显著性分析)算 法，但不限于此。Itti-Koch模型主要分为视觉特征的提取和显著图的计算两步，GBVS算法 是对经典的Itti-Koch模型的改进。4)如图4所示，根据步骤3)得到的训练样本集Q和显著区域图像集Qs，建立国画 图像的词包模型的过程如下①国画图像的灰度化，分别对训练样本集Q和显著区域图像Qs中彩色国画图像进 行灰度化处理，分别记为Q'和Qs'，具体灰度处理的步骤包括将一个彩色图像转换成一个灰度图像，按如下常规公式进行转换Gray(i, j) = 0. ll*R(i，j)+0. 59*G(i，j)+0. 3*B(i，j)其中i，j是一个像素点在图像中的位置，R(i，j)是i，j所表示的像素点颜色的红 色分量，同理G(i，j),B(i, j)分别表示绿色和蓝色分量，Gray(i, j)表示该点转换后的灰 度级别。最后将该像素点RGB分量值都设为Gray (i，j)即可。按照上述方法可将彩色图像 中转化为灰度图像。②分别对步骤①得到的Q ‘和Qs ‘中的灰度图像选取 SIFT (Scale-invariantfeature transform，尺度不变特征转换)描述子的关键点，利用关 键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，生成SIFT特征向量，并根据需要对SIFT特征向量进行光照归一化处理。其中，局部描述子SIFT特征的提取方法分成两部分，一个是对国画原图进行局部 描述，另一个是对国画显著区域图像进行局部描述如图5所示，对于Q'中图像采用均勻网格采样的方法选取SIFT特征关键点，网格 采样方法就是对将图像按M*M像素大小的网格进行采样(如图6所示)，其中M为2的整数 次幂，建议M为8或16，确保将图像划分为一定数量的网格；设图像的宽和高分别为Width 和 Hight，则X = (Width% Μ)/2+1 ；Y = (Hight% Μ)/2+1 ；X，Y为开始进行网格采样的起点坐标，一共生成(Width/X)*(Hight/Y)个均勻网 格，将均勻网格的交叉点作为SIFT特征关键点，选取以关键点为圆心，M为半径的圆为邻 域，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，生成SIFT特征 向量(如图7所示)。如8所示，对Qs'图像采用的是尺度空间极值检测的方法选取SIFT特征关键点， 即在图像二维平面空间和DoG(Difference-of-Gaussian高斯核差分)尺度空间中同时检 测局部极值以作为特征关键点，以使特征具备良好的独特性和稳定性。DoG算子定义为两 个不同尺度的高斯差分核，其具有计算简单的特点，是归一化LoGO^aplacian-of-Gaussian 拉普拉斯-高斯)算子的近似。DoG算子如下式所示D (X，y，σ ) = (G (χ, y，k σ ) -G (χ, y，σ )) *Ι (χ, y) = L (χ, y, k σ ) -L (χ, y, σ )式中G(X，y，ko)是二维高斯函数，k表示尺度因子比例系数，σ代表了高斯正态 分布的方差，I (χ，y)表示原图像，L代表了图像的尺度空间。其中，L(x，y，σ)定义如下L(x, y, σ ) =G(χ, y, σ )ΦΙ (χ, y)将图像I(x，y)与不同尺度因子下的高斯核G(x，y，σ )进行卷积操作是为了得到 在不同尺度空间下的稳定特征点。其中，G(x，y，ko)定义如下！ -fjc2+/)/202G(x,y,a)=^e ^ ‘Tmj式中，(x,y)代表图像的像素位置，σ称为尺度空间因子，其值越小则表征该图像 被平滑的越少，相应的尺度也就越小，大尺度对应于图像的概貌特征，小尺度对应于图像的 细节特征。③如图4所示，在步骤②得到的SIFT特征向量来构建视觉词汇表使用K-Means 算法聚类训练样本集Q上生成的所有的SIFT特征向量，每个聚类中心视为一个视觉单词， 从而生成了一个由K个视觉单词构成的视觉词汇表。该视觉词汇表中视觉单词的编号亦可 称为局部语义概念。K为自然数，一般取值为500-1200，建议K取为1000。该视觉词汇表仅 在训练过程中生成。同理，也在Qs上构建视觉词汇表。④利用上述步骤③处理训练样本集Q后得到的视觉词汇表，以及处理显著区域图像Qs得到的视觉词汇表，分别对Q和9|!中图像进行局部语义概念特征的提取和表示首先，计算某一个SIFT关键点邻域内的SIFT特征与视觉词汇表中的每个视觉单 词所对应SIFT特征的欧氏距离，用最近邻的视觉单词来定义该SIFT关键点。然后，依次处 理给定一幅图像中各个SIFT关键点，将所有的SIFT关键点映射到视觉词汇表中，用视觉单 词的标号描述上述这幅图像，即得到该图像的局部语义概念特征。最后，采用直方图特征表 示法来表示该图像的局部语义概念特征，即该图像的视觉单词分布概率直方图。5)如图9所示，在步骤3)得到的训练样本集Q和显著区域图像集Qs上分别构建 空间金字塔模型，其包括以下步骤①国画图像的空间金字塔分块，其具体为；将国画图像整体在二维图像空间划分为不同大小的子图像区域，形成图像空间金 字塔G。设G的层数为L，1表示空间金字塔G的第1层，1 =0，1，......，L-1。子图像区域数为D，r表示子图像区域标号，r = 0,1,......，D-1。D = (21) X (21)当1 = 0时，表示处于金字塔最底层，此时图像划分的字块数目为1。L 一般取值 为3-5，建议取为4。②构建空间金字塔特征直方图，其具体为；首先，将图像空间金字塔G中的各层各个子块图像表示为局部语义概念特征直方 图，然后对这些特征直方图赋予以合适的权值后进行串行组合，形成一个总的特征直方图， 即空间金字塔特征直方图。本实施例中权值为2L_1+1。设空间金字塔G第1层上第r个子图像区域的直方图为试，(其中r表示子图像区域标号，r = 0，1，......，D-1)，H1代表空间金字塔G第1层上串行组合后的直方图；H为该图像经过空间金字塔分块表示后，形成总的特征直方图。H1 =[HlH\,...,Hlr~]1 1 1H = —-+-γ)1 = 1,2, . . . , L-I同理，也在Qs上构建国画显著区域图像的空间金字塔特征直方图。6)将步骤幻的②中在训练样本集Q上构建的空间金字塔特征直方图和在显著区 域图像集Qs构建的空间金字塔特征直方图进行融合。其包括以下步骤①依次采用步骤4)、5)分别处理步骤2)中得到Q和步骤3)中得到Qs。步骤2)得到了训练样本集Q ；步骤3)生成了显著区域图像Qs，利用步骤4)和步 骤5)，分别处理0和Qs后得到的相应的空间金字塔特征直方图，步骤5)实现空间金字塔特 征直方图的融合。这样融合目的就是既包含了全局特征和又包含了局部特征，得到更好的 识别效果。根据训练样本集Q = {Ql, q2，. . .，qj，e表示训练样本集中图像的数量。那么，利 用步骤4)和步骤5)处理Q后得到的特征直方图为Hig= IHgnHg2,...,!!原e}。同理，利用步骤4)和步骤5)处理国画图像的显著区域(^后得到的特征直方图为Hs= (H显 ρ H显2，···，HseJ。
②将①中生成的特征直方图Hig和!^进行串行合并。目前，存在的特征融合方法，一种是将两组特征向量首尾相连生成一个联合向量 作为新的特征向量，在更高维的向量空间进行特征提取，即串行组合；另一种是利用复向量 将同一样本的两组特征向量合并在一起，在复向量空间进行特征提取，即并行组合。本发明 此处用到的是串行组合的方法，最终融合后的结果H= {Hg, Ha} 07)如图10所示，选择利用现有的聚类方法、K近邻法、神经网络以及支持向量机等 方法中的一种或几种分类方法，对测试样本集中待识别的国画图像进行识别，用识别准确 率和混淆矩阵的方式输出识别结果，其具体步骤如下①分类器模型的生成将从训练样本集Q中提取的特征向量H、训练样本集Q对应的类别标签H_label， 以及相关参数options作为训练分类器模型的输入，分类器模型model作为结果输出。该 发明采用LIBSVM-fast工具包进行识别实验，但不限于此，在仿真环境MatlabR2008A软件 平台上，可利用如下函数模型表示model = svmtrain(H, H_label,options)；其中，H_label={label 1，label2，. . .，labele}，Iabele 取值范围为 1 n，此处 η = 3，分别代表花鸟画、山水画和人物画。Options (操作参数)可用的选项表示含义如下-t核函数类型设置核函数类型。可选类型有0——线性核 1——多项式核2-RBF 核 3-sigmoid4-intersection 核-S 设置svm类型0-C-svc 1-V-svc2-One-class-svm 3- ε -SVR4-y-SVR-b概率估计是否计算SVC或SVR的概率估计，可选值为0或1，默认为0。-C cost 设置 C-svc、ε -SVR、γ-SVR 中惩罚系数 C，默认值为 1。options =， _t4_s0_bl_cl，，白勺^ intersectionkernel, SVM类型为C-svc ；C-svc惩罚系数为1，且需要概率估计。②输出测试样本集中待识别国画图像的结果，其具体为利用步骤3) 6)处理测试样本集中待识别的国画图像，得到对应的特征向量，并 将其输入训练好的分类器模型，根据分类器模型的公式即可得到图像的分类结果。依次利用步骤3) 6)处理测试样本集CpQ中的待识别的国画图像，得到对应的 特征直方图向量H*H_label。测试样本集CpQ的H、H_label以及步骤7)的①中生成的 model作为输入，该测试样本集CpQ测试结果为识别的准确率。该发明采用LIBSVM-fast工 具包进行识别实验，但不限于此，在仿真环境MatlabR2008A软件平台中，可利用如下函数 模型表示[VP] = svmpredict (H_label, H, model, libsvm_options)；此处，libSvm_0pti0nS =，-b 1’含义为需要概率估计。输出结果V含义为预测得到该测试样本集的类别标号，P为预测该测试样本集的识别准确率。③识别结果评价方法最终识别结果评价的方法有两种，识别准确率和混淆矩阵。假定识别准确率为P， 定义如下公式P = η/Ν;其中，η为正确识别图像数，N为待识别的图像总数。混淆矩阵是模式识别中较为常用的精度评价工具，在图像精度评价中，主要用于 比较分类结果和真实结果，可以把分类结果的精度显示在一个混淆矩阵里面。一个完美的 分类模型就是，若一个目标对象实际上属于类别Α，也预测成类别Α，处于类别B，也就预测 成B。但实际上，模型往往会出现类别A的对象预测为类别B，对一些原本是类别B的对象， 却预测为类别Α。那么，这个模型到底预测对了多少预测错了多少，混淆矩阵就把所有这些 信息，都归到一个表里(如表2所示)表2混淆矩阵
权利要求
1.一种基于局部语义概念的国画图像识别方法，其包括以下步骤1)利用扫描设备对待识别的国画作品进行图像采集，并存入计算机中；2)通过随机抽取器将采集到的国画作品图像分成训练样本集和测试样本集；3)通过视觉注意力模型分别提取训练样本集和测试样本集内国画作品图像中的显著 区域图像；4)对训练样本集内的国画作品图像和相应的显著区域图像，分别建立国画作品图像的 词包模型；5)根据训练样本集内建立的国画作品图像词包模型和相应的显著区域图像词包模型， 分别构建国画作品图像的空间金字塔模型和相应的显著区域图像的空间金字塔模型，并生 成相应的两个空间金字塔特征直方图；6)采用串行合并的方法对步骤5)中生成的两个空间金字塔特征直方图进行融合；7)利用聚类方法、K近邻法、神经网络和支持向量机方法中的一种以上分类方法对测 试样本集中待识别的国画图像进行识别，用识别准确率和混淆矩阵的方式输出识别结果。
2.如权利要求1所述的一种基于局部语义概念的国画图像识别方法，其特征在于所 述步骤2~)中训练样本集和测试样本集的生成方法包括①定义国画图像的类别，类别编号为1 η，η为自然数；②假设用于待识别的国画作品图像代表集为P，记为{PnPyPd。其中P1表示花鸟画， 记为5 =(4,4,...,4^ ,Ai为其中的一幅国画图像，P2表示人物画，记为P2 = (B1, B2,..., BJ，Bi为其中的一幅国画图像，P3表示山水画，记为P3 = IC1, C2,... , CJ，Ci为其中的一幅 国画图像；③分别从Pp己和&中随机选取设定数量的图像作为训练样本集Q，记为(P1'， P2'，P3' }，用于生成国画图像识别的模型；将P:、PjPP3中剩余的图像作为测试样本集c』= {ejp且￠0}，用于校准。
3.如权利要求1或2所述的一种基于局部语义概念的国画图像识别方法，其特征在于 所述步骤4)中建立国画图像的词包模型，包含以下步骤①国画图像的灰度化，分别对训练样本集和显著区域图像中彩色国画图像按如下公式 进行灰度化处理Gray(i, j) = 0. ll*R(i，j)+0. 59*G(i，j)+0. 3*B(i，j)其中i，j是一个像素点在图像中的位置，R(i，j)是i，j所表示的像素点颜色的红色分 量，G(i，j)，B(i，j)分别表示绿色和蓝色分量，Gray (i，j)表示该点转换后的灰度级别；②分别对步骤①得到的灰度图像选取SIFTGcale-invariant feature transform，尺 度不变特征转换)描述子的关键点，利用关键点邻域像素的梯度方向分布特性为每个关键 点指定方向参数，生成SIFT特征向量，并根据需要对SIFT特征向量进行光照归一化处理；③根据步骤②得到的国画原图和国画显著区域图像的SIFT特征向量来，分别构建视 觉词汇表；视觉词汇表包含K个视觉单词，K为自然数，一般取值为500-1200，建议K取为 1000 ；④利用得到的两个视觉词汇表，进行局部语义概念特征的提取和表示，即计算某一个 SIFT关键点邻域内的SIFT特征与视觉词汇表中的每个视觉单词所对应SIFT特征的欧氏距离，用最近邻的视觉单词来定义该SIFT关键点，将所有的SIFT关键点映射到视觉词汇表 中，用视觉单词的标号描述这幅图像，即得到该图像的局部语义概念特征采用直方图特征 表示法来表示该图像的局部语义概念特征。
4.如权利要求3所述的一种基于局部语义概念的国画图像识别方法，其特征在于所 述步骤4)的②中选取SIFT描述子的关键点的步骤如下A、对国画原图采用网格采样法进行采样；B、对国画显著区域图像采用尺度空间极值检测方法。
5.如权利要求1所述的一种基于局部语义概念的国画图像识别方法，其特征在于所 述步骤5)中构建空间金字塔模型包括以下步骤①将国画图像在二维图像空间中划分为不同大小的子图像区域，形成空间金字塔分 块；空间金字塔层数为2 5;②对形成的空间金字塔分块图像构建相应的空间金字塔特征直方图。
6.如权利要求1或2或4或5所述的一种基于局部语义概念的国画图像识别方法，其 特征在于所述步骤6)中，对两个空间金字塔特征直方图的融合包括以下两种方法之一一种是将两组特征向量首尾相连生成一个联合向量作为新的特征向量，在更高维的向 量空间进行特征提取，即串行组合；另一种是利用复向量将同一样本的两组特征向量合并在一起，在复向量空间进行特征 提取，即并行组合。
7.如权利要求3所述的一种基于局部语义概念的国画图像识别方法，其特征在于所 述步骤6)中，对两个空间金字塔特征直方图的融合包括以下两种方法之一一种是将两组特征向量首尾相连生成一个联合向量作为新的特征向量，在更高维的向 量空间进行特征提取，即串行组合；另一种是利用复向量将同一样本的两组特征向量合并在一起，在复向量空间进行特征 提取，即并行组合。
8.如权利要求1或2或4或5或7所述的一种基于局部语义概念的国画图像识别方 法，其特征在于所述步骤7)中采用支持向量机方法进行分类时的步骤如下①分类器模型的生成采用LIBSVM-fast工具包进行识别实验，训练生成分类器模型所需的参数为options = ’-t4-S0-bl-Cl’，其表示的含义是核函数为交叉核函数，SVM类型为C-svc ；C-svc惩罚系 数为1，且需要概率估计；②输出测试样本集中待识别国画图像的结果；利用步骤幻 6)处理测试样本集中待识别的国画图像，得到对应的特征向量，并将其 输入训练好的分类器模型，根据分类器模型的公式即可得到图像的分类结果；③识别结果评价方法包括识别准确率和混淆矩阵两种方法。
9.如权利要求3所述的一种基于局部语义概念的国画图像识别方法，其特征在于所 述步骤7)中采用支持向量机方法进行分类时的步骤如下①分类器模型的生成采用LIBSVM-fast工具包进行识别实验，训练生成分类器模型所需的参数为options = ’-t4-S0-bl-Cl’，其表示的含义是核函数为交叉核函数，SVM类型为C-svc ；C-svc惩罚系数为1，且需要概率估计；②输出测试样本集中待识别国画图像的结果；利用步骤幻 6)处理测试样本集中待识别的国画图像，得到对应的特征向量，并将其 输入训练好的分类器模型，根据分类器模型的公式即可得到图像的分类结果；③识别结果评价方法包括识别准确率和混淆矩阵两种方法。
10.如权利要求6所述的一种基于局部语义概念的国画图像识别方法，其特征在于所 述步骤7)中采用支持向量机方法进行分类时的步骤如下①分类器模型的生成采用LIBSVM-fast工具包进行识别实验，训练生成分类器模型所需的参数为options = ’-t4-S0-bl-Cl’，其表示的含义是核函数为交叉核函数，SVM类型为C-svc ；C-svc惩罚系 数为1，且需要概率估计；②输出测试样本集中待识别国画图像的结果；利用步骤幻 6)处理测试样本集中待识别的国画图像，得到对应的特征向量，并将其 输入训练好的分类器模型，根据分类器模型的公式即可得到图像的分类结果；③识别结果评价方法包括识别准确率和混淆矩阵两种方法。
全文摘要
本发明涉及一种基于局部语义概念的国画图像识别方法，包括以下步骤1)利用扫描设备对待识别的国画作品进行图像采集，并存入计算机中；2)通过随机抽取器将采集到的国画作品图像分成训练样本集和测试样本集；3)通过视觉注意力模型分别提取训练样本集和测试样本集内国画作品图像中的显著区域图像；4)对训练样本集内的国画作品图像和相应的显著区域图像，建立国画作品图像词包模型；5)根据词包模型空间金字塔模型，并生成相应的两个空间金字塔特征直方图；6)采用串行合并的方法对步骤5)中生成的两个空间金字塔特征直方图进行融合；7)利用聚类方法、K近邻法、神经网络和支持向量机方法中的一种以上分类方法对测试样本集中待识别的国画图像进行识别，用识别准确率和混淆矩阵的方式输出识别结果。
文档编号G06K9/60GK102054178SQ20111002331
公开日2011年5月11日 申请日期2011年1月20日 优先权日2011年1月20日
发明者冯松鹤, 娄海涛, 张南, 潘卫国, 王迪菲, 鲍泓 申请人:北京联合大学