一种基于泛函映射的多模态图像分割方法
【技术领域】
[0001] 本发明属于图像处理中的图像分割技术领域，特别是基于泛函映射的多模态图像 分割方法。
【背景技术】
[0002] 数字图像技术的蓬勃发展催生了大量的新兴产业，如遥感卫星图像定位、医学影 像分析、交通智能识别等等，促进了信息化社会的日臻成熟。图像作为人类感知世界的重要 桥梁，与视觉领域也紧密相关。例如，图像处理在人工智能、机器视觉、生理学、医学、气象 学、军事学等领域的各类视觉应用中的需求不断增长，并且发挥着越来越关键的作用。而图 像分割作为图像预处理方法，为图像中高层语义分析奠定了坚实的基础，例如图像识别、目 标定位、边缘检测等许多应用中均可使用图像分割技术提升性能。
[0003] 图像分割，顾名思义是将给定的图像按照某种规则或目标进行区域分割。例如，一 副湖边拍摄的图像可以分割为湖面、人、小船、房屋、树丛、天空等多个代表不同语义类别的 区域，这里的人和小船可以看做目标前景对象，其余的可看做背景对象。传统的图像分割技 术主要针对单幅图像的灰度、颜色、纹理、形状等线索进行处理，典型的方法有阈值分割、区 域分割、边缘分割、图分割、基于能量泛函分割等。例如阈值分割方法根据设定阈值对灰度 值判断其所属类别；边缘分割方法根据边缘灰度值具有阶跃性或突变性等特点进行检测； 区域分割方法根据图像相似性准则进行判定，主要有分水岭、区域分裂合并、阵子区域生长 等技术；图分割将图像看做以像素为顶点而相邻像素用边连接的无向图，每个分割区域看 做图中的子图；基于能量泛函分割利用连续曲线表示目标边缘，并通过能量泛函最小化求 解分割结果，一般分为参数活动轮廓模型和几何活动轮廓模型两种。
[0004] 上述方法的不足点主要表现在以下几个方面：第一，直接针对图像原始像素处理， 增加了算法的时间复杂度，加大了计算开销；第二，底层处理技术如阈值分割和边缘分割很 难与图像的语义特征建立关联；第三，忽略了图像之间的互补信息，尤其是包含相似目标的 图像之间存在一些共同的结构和潜在信息，直接影响了图像目标的分割效果。因此，这些方 法并不适合大规模的包含共同目标的图像分割任务，由此对数量级较大的图像识别、目标 定位等实际应用产生一定的不利影响。基于这些考虑，针对智能交通识别、医学影响分析、 大规模图像识别等应用领域，迫切需要设计一种能建立图像底层特征与语义特征的关联， 并可多方位有效利用图像之间的潜在结构信息的图像分割技术。
【发明内容】
[0005] 为了有效利用图像之间的潜在结构信息，降低图像分割处理的计算复杂度，提升 图像中的目标分割效果，本发明提出了一种基于泛函映射的多模态图像分割方法，该方法 包括以下步骤：
[0006] 1、获取包含目标的图像集合后，进行以下操作：
[0007] 1)将集合中的各图像分割成超像素块，用不同的特征描述子表征分割后的超像素 以获得多模态图像表示；
[0008] 2)在多模态图像上建立基于超像素的图，并构建相应的拉普拉斯矩阵；
[0009] 3)表征每幅图像的约减泛函空间，建立图像对之间的泛函映射；
[0010] 4)将每种模态的图像泛函映射与图像线索对齐，并引入隐函数保持泛函映射之间 的一致性；
[0011] 5)依据多模态映射一致性获得泛函映射表达，通过联合优化目标函数计算图像对 应的分割函数，得到图像最优分割表示，完成图像分割。
[0012] 进一步，所述的步骤1)中所述的将集合中的各图像分割成超像素块，用不同的特 征描述子表征分割后的超像素以获得多模态图像表示，具体是：
[0013] 1)设集合由n幅相关联的图像组成，记为:^认石…人卜每幅图像含有一个或 多个目标类，整个集合的目标类别数目为C;
[0014] 2)将图像中的像素看做图的顶点，利用图分割方法将集合中的图像划分为q个小 区域（如100)，q为正整数，这些小区域由取值相近的像素点构成，称之为超像素，第i幅图 像中属于第C类的分割块表示为Si。，其中i= {1，2,…，n}，C= {1，2,…，C};
[0015] 3)利用m种不同的特征描述子，如尺度不变特征变换（SIFT)、局部二值模式 (LBP)、梯度直方图（HOG)等，表征图像中的各超像素，从而获得多方位反映图像本征信息 的多模态特征表示，如第i幅图像对应矩阵集合< ={<,足2，...，乂"'}，即第k种图像特征描 述子对应第k种模态if。
[0016] 进一步，所述的步骤2)中的在多模态图像上建立基于超像素的图，并构建相应的 拉普拉斯矩阵，具体是：
[0017] 2. 1)将每种图像模态上的q个超像素看做图的顶点，构建相应顶点全连接而成的 超像素图；
[0018] 2.2)分别在各不同模态的超像素图上构建拉普拉斯矩阵/； = {^乂,2,...,1；"}，它 们通过高斯加权策略计算的权重矩阵W获得，即L=D-W，其中D是一对角阵，其对角线元素 为W的各列元素和。
[0019] 所述的步骤3)中的表征每幅图像的线性约减泛函空间，建立图像对之间的泛函 映射，具体是：
[0020] 1)计算多模态的拉普拉斯矩阵/； = {6,以，...,1；"}的特征值和特征向量，并取前 P(P〈q)个特征向量张成约减泛函空间乃，且每幅图像的各模态上对应的特征值分别组成 对角矩阵A,.二{ALaL.mA;"};
[0021] 2)设每幅图像分割函数为4对应Si。，该函数的搜索空间对应一组基向量 丨所张成的p维空间巧，且4对第i幅图像的系数表示为线性函数组合 P /= ；￡./>/ =尽f，其中Bi为拉普拉斯矩阵前p个特征向量构成；
[0022] 3)通过线性泛函映射反映任意两两成对图像之间的关系，如从第i幅图像的子空 间巧到第j幅图像的子空间巧的泛函映射用矩阵禹表示，即子空间乃中的函数映 射到子空间乃中的表达值可由计算氏/得到。
[0023] 所述的步骤4)中的将每种模态的图像泛函映射与图像线索对齐，并引入隐函数 保持泛函映射之间的一致性，具体是：
[0024] 1)图像线索对应不同的描述算子，每种模态的图像泛函映射与图像线索对齐通过 优化以下表达式实现，即