基于混合图模型的图像序列类别标注方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体设及一种基于混合图模型的图像序列类别 标注方法。
【背景技术】
[0002] 基于概率图模型的图像序列类别标注是计算机视觉领域的重要研究问题，是自主 车环境感知、智慧城市交通系统构建等应用的关键支撑技术，其目的是赋予图像序列中的 每个像素点一个类别标签。图像序列类别标注属于标签问题，概率图模型是对该一类标签 问题进行全局优化的有效工具。基于概率图模型的标签类问题的关键思想是，将需要求解 的标签视为随机变量，通过最小化整个概率场的能量，得到随机变量的全局最优解。
[0003] 传统的方法中一般使用简单图模型来构建标签随机变量的随机场。简单图模型由 顶点和简单构成，其中顶点代表随机变量，简单边连接两个顶点并用于描述两个随机变量 之间的关系，边的权重定义为随机场的势能函数值。简单图模型易于求解，但是只能描述两 两随机变量之间对称的关系，因此适合在单帖图像中使用。在序列的图像中，多个超像素在 时间域上存在着高阶的、非对称的关系，因此不能用简单边进行很好地描述。超图中的超边 可W用于描述多个变量之间高阶的、非对称的关系，但是传统的超图模型基于谱聚类的方 法求解，适用于求解聚类的问题，尚未应用于图像序列的类标标注问题。
【发明内容】
[0004] 本发明的目的在于针对传统简单图模型对变量间关系描述的局限性、传统超图模 型求解方法的局限性，提供一种基于混合图模型的图像序列类别标注方法，该方法使用混 合图模型描述了序列图像中超像素之间的关系，其中简单边描述单帖图像中超像素之间一 阶的、对称的关系，超边描述图像帖间超像素之间高阶的、非对称的关系，最后图像序列的 类别标注全局优化问题转化为对混合图模型的随机场能量最小化问题，通过线性优化方法 进行求解，该方法获得了相比简单图模型的方法更准确、时序一致性更高的结果。
[0005] 本发明的目的是通过W下技术方案来实现的；一种基于混合图模型的图像序列类 别标注方法，包括如下步骤：
[0006] (1)输入图像序列，使用化 1C算法（SimpleLinearIterativeClustering)对图 像序列中每一帖图像进行超像素分割，获得超像素P，将得到的第t帖图像的第i个超像素 记为PiN
[0007] (2)使用Kernel描述符对步骤1中获得的超像素进行特征描述，得到超像素的特 征向量，将超像素Pi'的特征向量记为fft;
[0008] (3)采用KNN算法化-nearestnei曲bor)对步骤1中连续两帖图像的超像素进行 时间域的匹配；
[000引 （4)构建基于混合图模型的全局优化问题，该混合图模型由顶点、两种简单边和一 种超边组成；该混合图模型的顶点的集合记为V，每一个顶点V表示一个超像素的类别标 签；该混合图模型的第一种简单边代表顶点V的先验信息，该先验信息用势能函数向(f。） 描述；该混合图模型的第二种简单边代表单帖图像空间域上邻接的顶点之间对称的、成对 的关系，该种关系用势能函数Es(f。）描述；该混合图模型的超边代表连续帖图像时间域上 匹配的顶点之间不对称的、高阶的关系，该种关系用势能函数EH(f。）描述；
[0010] 所述势能函数EE(f。）的定义为：
[0011]
…
[001引其中，击miev表示的是存在类别种子点的超像素V，种子点通过人工标注部分像 素点类别标签的方法获得；f。是一个M维的列向量，由f；(v)，veEV组成，其中f；(v)为分 类函数，其值表示顶点V属于类别C的置信度，取值范围在[0, 1]之间；t(V)E阳l]，vGV 表示超像素V属于类别C的置信度的观测值，该观测值通过卷积递归神经网络分类器获得，CG(1，2,. . .，口，C表示类别总数；
[0013] 所述势能函数Es(f。）的定义为：
[0014]
[001引其中，es(u，V)为一条第二种简单边，即单帖图像内相邻两个超像素U，V之间的关 系，定义为：
[0016]es(u,V) =Ws(u,V) ?IIfc(u)-fc(v)I|2， (3)
[0017] 其中fc(u)G[0, 1]为超像素u属于类别c的置信度，该置信度通过递归卷积神 经网络学习获得，W,(u，V)为超像素U，V之间简单边的权重：
[0018]
(4)
[0019] 0 ,是根据实验经验设置的常数；
[0020] 所述势能函数Eh化）的定义为：
[0021]
(5)
[00过其中，Eh表示混合图模型中超边的集合，曰8(曰）为一条超边eGEh描述的帖间时 域上匹配的多个超像素之间的关系，定义为：
[0023]
(6)
[0024] 其中，每一条超边eGeH的权重为WH(e)，定义为；
[0025]
(7)
[0026]M(v)表示在时序上与超像素V匹配的超像素的集合，H为关联矩阵，该矩阵的大 小为|V|x|每I，H(V，e)的定义为；
[0036] 该混合图模型的全局优化问题描述如下：
[0037]
W)
[00測其中，A1和A2为调整立项势能函数之间比例关系的权重；
[003引 妨对每一个类别C求解公式（蝴中的向量f。，得到顶点v'eV属于类别C的置信 度，具体包括W下子步骤：
[0040] (5. 1)将全局优化函数，公式（13)矩阵化为：
[0041]
(14)
[004引其中，S为种子点标识矩阵，它是一个|v|x|v|维的对角矩阵，定义如下
[0043]
(15)
[0044]该对角矩阵仅在存在目标假设种子点的超像素i对应的位置S(i，i)值为1， 其它位置值为0, 是一个Kx|V|的稀疏矩阵，其每一行代表一对空间相邻的两个超像 素U，V之间的差运算，分别用
作为对应超像素点U，V位置的权重， A=/-0是超图的拉普拉斯矩阵，I是一个MxM的单位阵，0=D//2册化4肌)、4/2,〇、 是一个|V|x|V|的对角阵，每个对角线上的元素为超图中对应的顶点的度d(v)，D。是一个 eJX|ej的对角阵，每个对角线上的元素为超图中对应的超边的度5 (e)，Wh是一个eJX|ej的对角阵，每个对角线上的元素为超图中对应的超边的权重Wh(6);
[004引 （5.。对全局优化函数公式（14)中的每个类别C的置信度f。，进行线性优化，利 用一阶导数等于零得到f。的全局最优解：
[0046]
(16)
[0047] 做将步骤5中所有类别CG(1，2，...，口求解得到的向量用矩阵F= (fi，f2, . . .，fc)表示，每个顶点VEV的类别标签由该顶点的类别置信度最大值决定，如下 所示：
[0048] L=argmaxF, (17) c
[0049] 其中，L为每个顶点类别标签组成的列向量。
[0050] 进一步地，所述步骤1中，所述采用化1C算法对图像序列中每一帖图像进行超像 素分割具体按照W下步骤进行：
[0051] (1. 1)对一张包含N个像素点的图片，设置需要分割的超像素个数为K，初 始化图片的超像素为K个大小为S=N/K的矩形图像块，第k个超像素的中屯、为Ck =山，3k,bk,Xk,yjT，其中是Ik，3k，bk是位置Xk,yk处像素点的CIELAB颜色空间数值， kG(1, 2,...,时；
[005引 （1.。将超像素中屯、移动到初始点3X3的邻域内颜色梯度最小的位置，对每个像 素点i设置标签初始值1 (i) = -1，距离初始值为d(i) = ，迭代次数初始值为T= 0 ; [005引 （1.扣对每一个超像素的中屯、点Ck，计算该点2SX2S邻域内每个像素点i到该中 屯、点Ck的距离D，其定义如下：
[0054]D=I山，a。b。X。yjT-CkI，（18)
[0055] 若D<d(i)，则设置距离d(i) =D且标签l(i) =k，从而得到新的超像素分割， 其中第k个超像素由所有标记为标签k的像素点构成；
[0056] (1. 4)对每个超像素k重新计算超像素的中屯、点Ck;