基于稀疏和稠密重构的图像解析方法
【技术领域】
[0001] 本发明通过将数据的稀疏分析和主成分分析误差重构相结合，研究并实现一种融 合物体信息和图像全局信息的图像描述方法，并将该图像描述方法应用到图像解析的应用 中，提尚图像解析的准确率。
【背景技术】
[0002] 图像在人类的生活中不可或缺，是人类获取信息的重要来源之一，虽然图像的种 类和内容包罗万象、种类繁多，但是人们一般可以本能地在短时间内分析出图像的内容结 构并对其加以利用。与此同时，在生活各个领域，人们已经在潜移默化地利用蕴含在图像 集间的内容相关性，来辅助图像分割、病灶匹配、视频监控、对象跟踪识别和图像检索等"读 图"分析工作。
[0003] 图像解析的重要目标是根据图像，分辨其中物体的类别，并做出相应的判断。图像 解析的飞速发展归根结底是由于它重要的应用价值。图像解析包含诸如自然图像解析、医 学图像解析等方面，是人类视觉认知的延伸。随着图像的广泛应用，利用计算机对图像提取 特征并进行处理，提取有价值的信息，以便帮助人们快速达到预期的效果，已经成为现在的 发展趋势。
[0004] 在此背景下，结合课题组已有的相关技术基础，以设计融合物体信息和图像全局 信息的图像描述方法为目标，结合数据的稀疏分析和主成分分析误差重构，通过算法集成 来设计并实现一个图像解析工具，能够识别出图像中的指定物体及位置。本发明的研究与 实现，对以更加智能化的方式，辅助人们实现对图像信息的感知、分析、探索和洞悉具有重 要的实际意义。
【发明内容】
[0005] 本发明要解决的技术问题是：克服了现有的局部描述子特征描述半局部结构能力 的不足，并通过结合使用稀疏分析和主成分分析的方法，设计一种判断特征与字典相关性 方法，并提供了一种基于空间填充曲线的图像语义比较方法，选择出概率最大的解析结果。 整个发明满足了对图像解析的需要。
[0006] 本发明采用的技术方案为：一种基于稀疏和稠密重构的图像解析方法，包括以下 五个步骤：
[0007] 步骤（1)、基于超像素双调和距离概率分布的图像描述：将图像分割为超像素，除 对超像素提取基本特征外，计算超像素之间的双调和距离，并通过计算双调和距离的概率 密度分布，得到超像素的半局部特征结构；
[0008] 步骤（2)、基于全局特征的相似图像检索：计算图像的全局特征，并与图像库中图 像的全局特征进行比较，选出最相似的图像，将这些图像超像素的局部结构特征作为相应 的解析类别字典；
[0009] 步骤（3)、基于稀疏和稠密重构的误差分析：使用之前构造的类别字典，对于每一 类，用字典中的词使用两种方法重构未知图像超像素的特征，一种使用稀疏表示来重构，一 种使用主成分分析来重构，得到每一个超像素对于每一类的重构误差，并且将误差在相似 区域进行扩散，综合最后的误差结果判断超像素所属类别；
[0010] 步骤（4)、基于图割区域的层次化投票：计算图像的图割区域并作为图像可能的 语义分割区域，并在每一个图割区域，利用不同大小的超像素解析结果投票得到图割区域 的类别结果；
[0011] 步骤（5)、基于空间填充曲线的图像语义比较：利用空间填充曲线遍历图像，得到 表示图像语义的字符串。利用字符串之间的相似度衡量图像的相似度，选择出概率最大的 图像解析结果。
[0012] 本发明的原理在于：
[0013] (1)为了充分提取图像超像素的特征结构，本发明通过计算超像素间双调和距离 的概率密度分布，描述图像的半局部结构特征，在局部特征的基础之上增加了周围超像素 的特征信息，增强了特征的描述能力。
[0014] (2)为了解析超像素的类别，本发明通过使用类别相关字典对未知特征进行稀疏 和稠密的重构，通过重构误差判断特征与类别字典的相关性，重构误差越小说明字典能够 表示未知特征的能力越强。
[0015] (3)为了比较图像之间语义相似度，本发明通过使用空间填充曲线，将二维的图像 语义信息转换为一维字符串，通过比较字符串之间的相似度来衡量图像之间的相似度。
[0016] 本发明与现有技术相比的优点在于：
[0017] 1、本发明提出的基于超像素双调和距离概率分布的图像描述，通过定义超像素之 间的双调和距离，并计算概率密度分布，描述了超像素的半局部结构信息，增加了超像素特 征的区分能力。
[0018] 2、本发明提出的基于稀疏和稠密重构的误差分析，通过用类别相关字典来重构未 知特征判断特征所属类别。从稀疏和稠密两个角度综合考虑并在相似区域进行误差扩散， 一方面增强了局部相似区域的连续性，另一方面易于找到图像与字典之间的内部相关性。
[0019] 3、本发明提出的基于空间填充曲线的图像语义比较，通过空间填充曲线将图像语 义描述转化为一维字串。不仅保留了图像语义的相邻结构关系，而且降低了图像相似度比 较的复杂性。
【附图说明】
[0020] 图1为基于稀疏和稠密重构的图像解析方法的处理流程图；
[0021] 图2为基于稀疏和稠密重构的图像解析方法的效果流程图；
[0022] 图3为双调和距离的效果示意图；
[0023] 图4为误差重构和扩散后误差示意图；
[0024] 图5为空间填充曲线构成字符串示意图；
[0025] 图6为图像解析效果示意图。
【具体实施方式】
[0026] 图1给出了基于稀疏和稠密重构的图像解析方法的总体处理流程，下面结合其他 附图及【具体实施方式】进一步说明本发明。
[0027] 本发明提供一种基于稀疏和稠密重构的图像解析方法，主要步骤介绍如下：
[0028] 1、基于超像素双调和距离概率分布的图像描述
[0029] 我们对图像的分析主要基于对图像超像素块的识别，因此首先分割得到图像的超 像素。对每一幅图像，我们采用线性迭代聚类的方法分割超像素，通过五维空间的欧拉距离 来度量像素点之间的距离。距离比可以通过如下公式得到：
[0033] Ds为被网格间隔S归一化的Lab距离和xy平面距离之和。平均设定初始的中心 点，将每一个像素聚类到距离最近的中心点，并根据聚类结果调整中心点。不断迭代得到最 后超像素分割结果。
[0034] 为了度量图像中超像素各部分之间的关系，我们使用双调和距离来描述超像素之 间的距离。首先，使用超像素的中心点作为顶点，构造 Delaunay三角形。在Delaunay三角 形的基础上，我们定义双调和距离。双调和距离的描述子类似于扩散距离和通勤时间距离， 但是建立在双调和差分公式的格林函数基础上。双调和距离d B(x，y)使用截断总和来近似 为：
[0036] dB(x，y)为X，y之间的双调和距离，％?为X处第k个特征向量，为y处第 k个特征向量，Ak为第k个特征值。双调和距离的拉普拉斯矩阵根据超像素的颜色和空间 距离的相似性来建立。
[0037] 由于双调和距离度量超像素之间颜色和位置的差异性，我们通过计算双调和距离 的概率密度分布来获取每一个超像素的半局部几何结构
[0038] 2、基于全局特征的相似图像检索
[0039] 给定一个未知的图像，为了能够从标注好的图像库中找到对解析未知图像有帮助 的图像，我们假定与未知图像全局特征相似的图像可能与未知图像具有相似的语义，这些 图像的特征很有可能与未知图像特征在同一个子空间中。因此，我们根据全局特征选择中 这些图像，我们选定的全局特征包括：空间金字塔，gist特征和颜色直方图。然后我们使用 特征欧氏距离作为特征之间相似度的衡量标准。多种不同全局特征相结合有助于我们从不 同角度找到对待解析图像有帮助的图像。
[0040] 接下来，我们选择M个和待解析图像相似的图像。我们从这些图像中构造类别 相关词典D = (D1, D2，…，DJ，其中D1为第i个类别相关的字典，N为我们提前设定好 的类别的数目。图像中相关类别的特征组合起来，构成每一个类别相关字典，可以表示为 馬叫|樣樣·^考J，其中为从第j个图像中选择出来的有关于第i个类别的特征。
[0041] 由于在解析的图像时，只选择可能对解析图像有帮助的特征。因此通过全局特征 的相似图像检索来选择图像构成字典的方法不仅效率高，而且在加入新类别的时候不需要 重新训练新模型。
[00