一种自然场景图像的自动标注方法
【专利摘要】本发明公开了一种自然场景图像的自动标注方法，属于计算机视觉领域。该方法包括如下步骤：提取图像特征；采用无监督算法分割原图像产生超像素图；通过CRF建模像素标注模型并在模型中嵌入显著性先验信息；求解模型实现像素标注。本发明采用CRF作为基本模型，在CRF模型中引入显著性检测先验信息，通过显著性检测实现前景目标与背景的分离并在前景目标区域构建超像素间全连接关联关系。由于引入了显著性检测先验信息，有效提高了图像中前景目标的分类精度，于此同时，前景区域和背景区域的分离有效解决了前景与背景的分类“串扰”问题。因而，本方法可有效地提高像素标注的整体分类精度，针对前景目标轮廓相对复杂、各子区域间颜色纹理差异较大的场景效果显著。
【专利说明】
一种自然场景图像的自动标注方法
技术领域
[0001] 本发明属于计算机视觉领域，特别涉及一种自然场景图像的自动标注方法。
【背景技术】
[0002] 近年来，计算机视觉中的图像理解获得了迅速发展并在许多领域取得了广泛应 用，受到广大学者的广泛关注。现有场景图像标注算法往往以无向图模型条件随机场CRF (Conditional Random Field)为基本框架，通过在条件随机场CRF中引入局部平滑，位置， 共现，互斥等上下文先验信息实现像素标注。现有上下文先验信息的引入虽在一定程度上 增强了模型描述能力，但仍然存在不足，难以有效提高分类精度尤其是前景目标的分类精 度。经研究发现，现有图像理解算法难以有效提高像素标注精度的原因主要有：
[0003] 1.在场景图像理解中，背景(天空，草地…）区域纹理特征相对一致，变化较小，分 类相对容易。
[0004] 2.前景目标(人，动物，建筑，船…）尺寸相对较小且轮廓复杂，在前景目标边缘区 域过平滑问题严重，易导致前景背景分类"串扰"。
[0005] 3.单个前景目标内部各子区域间的颜色纹理特征差异较大，易导致各子区域间分 类不一致。
[0006]目前在图像理解问题中，背景目标的分类相对容易，精度较高，而关键前景目标的 分类精度欠佳。现有算法通过在CRF中引入上下文先验信息虽在一定程度上提高了像素标 注的总体分类精度，但对于相对复杂的前景目标分类效果欠佳。
【发明内容】
[0007] 本发明为解决图像标注中复杂前景目标分类精度不高的问题，提出了一种自然场 景图像的自动标注方法，可有效解决前景目标与背景分类的串扰问题及由于前景目标内部 各子区域间的颜色纹理特征差异较大导致的各子区域间分类不一致问题。
[0008] 本发明采用的技术方案如下：
[0009] -种自然场景图像的自动标注方法，包括如下步骤：
[0010]步骤1，提取图像特征；
[0011] 步骤2,采用无监督算法分割原图像产生超像素图；
[0012] 步骤3,通过CRF建模像素标注模型并在模型中嵌入显著性先验信息；
[0013] 步骤4,求解模型实现像素标注。
[0014] 所述步骤3中，在模型中嵌入显著性先验信息包括以下步骤：
[0015] ①通过显著性检测算法计算图像像素显著性映射，并基于显著性映射采用阈值法 分割出前景区域和背景区域；
[0016] ②在前景区域以超像素为基本分类单元，并采用前景区域超像素类别分布和超像 素内像素平均分布的加权和作为前景区域超像素类别分布；
[0017] ③构建前景区域超像素间全连接关联关系，通过任意两个超像素间颜色直方图和 位置特征的高斯核线性组合建模超像素间相似性，具体形式为：
[0019] 其中i，j为超像素索引，lu九为超像素颜色直方图，Pl，Pj为超像素中心位置在图 像中的位置，为高斯核参数为高斯核线性组合系数，[ Cl#Cj]为指示函数，其具 体形式为： f〇 if ct ^ Cj
[0020] [c,r：c:] = \
[1 矿 c，G
[0021]其中Cl，U分别为超像素 i，j的类别标记；
[0022]④前景区域分别采用步骤②和③建模超像素一阶势能和二阶势能，并结合背景区 域单像素一阶势能，二阶平滑项及高阶势能构建CRF分类模型。
[0023]其中，步骤①基于显著性映射采用阈值法分割出前景区域和背景区域，具体包括 如下步骤：
[0024]步骤31，设定最小像素显著性阈值n，统计显著性映射图像中显著性映射大于n的 显著性像素；
[0025]步骤32,设定最小超像素显著性阈值y，统计所有超像素中显著性像素占该超像 素的比例，若该比例值大于阈值Y，则该超像素为显著性超像素，所有显著性超像素组成的 区域即为前景区域。
[0026]本发明采用CRF作为基本模型，在CRF模型中引入显著性检测先验信息，通过显著 性检测实现前景目标与背景的分离并在前景目标区域构建超像素间全连接关联关系。与现 有技术相比，本发明具有以下特征：
[0027] 首先，本发明实现了前景与背景的分离，通过在前景目标和背景区域分别建模，相 对有效地防止了在前景和背景边缘处的"串扰"问题，因而可有效提高总体分类精度。
[0028] 其次，本发明通过阈值算法分割出前景目标后，通过在前景目标区域构建超像素 全连接关联关系，并将该关联关系作为二阶势能引入CRF框架。超像素全连接将前景目标作 为一个整体约束在一起，可有效解决复杂由于前景目标中局部子区域间纹理颜色特征差异 较大导致的前景目标内部分类不一致问题，从而可有效提高前景目标分类精度和像素标注 总体精度。该方法针对前景目标轮廓相对复杂、各子区域间颜色纹理差异较大的场景效果 显著。
【附图说明】
[0029]图1为本发明整体流程图。
[0030]图2为本发明中构建引入显著性检测先验的图像理解模型子流程图。
[0031 ]图3为本发明中显著性前景目标分割步骤子流程图。
【具体实施方式】
[0032] 以下结合【附图说明】本发明的【具体实施方式】。
[0033] 如图1所示，本发明公开了一种自然场景图像的自动标注方法，需要说明的是，本 发明的核心步骤是在CRF模型中嵌入显著性检测先验信息，【具体实施方式】的描述主要侧重 于步骤3，步骤1，2以及步骤4未公开的内容可采用已有技术实现，具体描述如下：
[0034] 1.提取图像特征：
[0035] 特征提取是目标识别及图像理解等视觉任务的重要内容之一，其往往通过将像素 的颜色及采用滤波获得的周围纹理等特征值组成向量来表征该像素点(或超像素），有效地 对具有判别性的特征提取是获得高准确率的基础，具体可采用现有方法实现图像特征提 取，如:首先提取图像纹理特征(基于高斯滤波器组）、Sift特征及LBP等特征描述，进而通过 Kmeans等聚类算法对各个特征描述进行聚类以构建图像视觉字并基于该视觉字构建像素 特征描述。
[0036] 2.采用无监督算法过分割原图像产生超像素图：
[0037] 本发明所构建的模型中涉及高阶建模及前景目标区域中超像素稠密连接，因此需 采用无监督分割算法分割原图像产生超像素分割。具体分割算法可采用现有MeanShift算 法实现图像分割。
[0038] 3.通过CRF建模像素标注模型并在分类模型中嵌入显著性先验信息：
[0039] 针对复杂前景目标中由于局部子区域间颜色纹理差异较大而导致的各子区域分 类不一致问题，本发明提出了在CRF模型中嵌入显著性检测先验信息方法。通过显著性信息 分割出前景目标，进而建立前景目标各子区域间全连接关联关系并将该全连接关联关系作 为二阶势能项引入CRF模型。前景区域超像素全连接关联关系可有效地将复杂前景目标各 子区域作为一个整体约束在一起，可有效解决由于局部子区域间颜色纹理差异较大而导致 的各子区域分类不一致问题，从而可有效提高前景目标分类精度。同时本方法采用将前景 区域和背景区域分离的方式，可有效解决前景和背景分类中的"串扰"问题，故可提高整体 分类精度。
[0040] 给定训练样本集? .{Ik，Lk}. ? .，{In，Ln}}，N为训练图像数， Ik表示图像数据，U为图像Ik对应的像素标注数据。如图2所示，CRF模型中嵌入显著性先验 信息的建模过程如下：
[0041] ①通过显著性检测算法计算图像像素显著性映射，并基于显著性映射采用阈值法 分割出前景和背景；
[0042] ②在前景区域以超像素作为基本分类单元，并采用前景区域超像素类别分布和超 像素内像素平均分布的加权和作为前景区域超像素类别分布。由于前景区域像素数目较 多，为降低模型复杂度，故以超像素作为基本分类单元。在一阶势能中，单个像素关于目标 的分布比采用超像素训练得到的目标类别分布更准确，故本发明采用前景区域超像素类别 分布和该超像素内所有像素的平均分布的加权和作为该超像素的类别分布以提高超像素 分类精度。超像素类别分布计算如下：
⑴
[0044]上式中的lamda即为加权系数，I,表示前景区域超像素 Cl的目标类别分布，！h为超 像素 Cl内像素 i的目标类别分布。
[0045]③构建前景区域超像素间全连接关联关系，通过任意两个超像素间颜色直方图和 位置特征的高斯核线性组合建模超像素间相似性，具体形式为：
[0047]其中i，j为超像素索引，lu，h伪超像素颜色直方图，口…^儿…为高斯核参数河 采用经验值设置。W1，W2S高斯核线性组合系数，可通过网格搜索进行优化。[Cl# Cj]为指示 函数，其具体形式为： f〇 if ct^cf
[0048] [c； --r c ] -^ < (3) l1 "
[0049] 其中Cl，Cj分别为超像素 i，j的类别标记。
[0050] ④前景区域分别采用步骤②和③建模超像素一阶势能和二阶势能。为实现图像标 注，结合背景区域单像素一阶势能，二阶平滑项及高阶势能，进而构建像素标注模型，其形 式如式子(4)所示：
[0052] (4)式中心，\2，\3分别为像素一阶势能，平滑项及超像素高阶势能项的影响因子，V 表示像素位置集合，i为像素索引，SP分割出的前景目标区域即前景目标超像素集合，Cl， 即为前景目标区域超像素索引。前三项针对背景区域建模，分别为像素势能，位置相邻像素 平滑项和背景区域超像素高阶势能项，该三项势能函数计算可通过现有技术实现(如:可通 过训练Boost分类器构建像素及超像素一阶势能）。（4)式中最后两项即为本发明提出的通 过显著性检测构建的前景目标区域超像素全连接势能项，分别为前景超像素一阶势能函数 和前景区域超像素全连接势能函数。
[0053] 4.求解模型（4)实现像素标注，由式（2)可知，模型（4)满足子模性，故可通过图割 法求解。
【主权项】
1. 一种自然场景图像的自动标注方法，其特征在于，包括如下步骤： 步骤1，提取图像特征； 步骤2,采用无监督算法分割原图像产生超像素图； 步骤3，通过CRF建模像素标注模型并在模型中嵌入显著性先验信息； 步骤4，求解模型实现像素标注。2. 如权利要求1所述的一种自然场景图像的自动标注方法，其特征在于，所述步骤3中， 在模型中嵌入显著性先验信息包括以下步骤： ① 通过显著性检测算法计算图像像素显著性映射，并基于显著性映射采用阈值法分割 出前景区域和背景区域； ② 在前景区域以超像素为基本分类单元，并采用前景区域超像素类别分布和超像素内 像素平均分布的加权和作为前景区域超像素类别分布； ③ 构建前景区域超像素间全连接关联关系，通过任意两个超像素间颜色直方图和位置 特征的高斯核线性组合建模超像素间相似性，具体形式为：其中i，j为超像素索引，hi，hj为超像素颜色直方图，pi，pj为超像素中心位置在图像中的 位置，Q1J2为高斯核参数，W1，W2为高斯核线性组合系数，[ Cl#Cj]为指示函数，其具体形式 为：其中C1，(^分别为超像素 i，j的类别标记； ④ 前景区域分别采用步骤②和③建模超像素一阶势能和二阶势能，并结合背景区域单 像素一阶势能，二阶平滑项及高阶势能构建CRF分类模型。3. 如权利要求2所述的一种自然场景图像的自动标注方法，其特征在于，步骤①基于显 著性映射采用阈值法分割出前景区域和背景区域，具体包括如下步骤： 步骤31，设定最小像素显著性阈值n，统计显著性映射图像中显著性映射大于η的显著 性像素； 步骤32,设定最小超像素显著性阈值γ，统计所有超像素中显著性像素占该超像素的 比例，若该比例值大于阈值γ，则该超像素为显著性超像素，所有显著性超像素组成的区域 即为前景区域。
【文档编号】G06T7/00GK105931241SQ201610256309
【公开日】2016年9月7日
【申请日】2016年4月22日
【发明人】杨明, 李志青
【申请人】南京师范大学