其中，HT为非负矩阵H的转置，PWS上述边缘权值矩阵，PD为上述对角矩阵，i、j、a和 3分别为矩阵中相应元素的位置； (2-4-3)重复上述步骤（2-4-2)，迭代1000次，分别得到更新后的非负矩阵W和非负矩 阵H，其中，非负矩阵W为dXr的矩阵，非负矩阵W中的每一列分别为挖掘的主题动作的特 征描述子，非负矩阵H为rXN的矩阵，非负矩阵H中的每一列为聚类后片段的主题动作分 布； (2-5)使上述步骤（2-4-3)的非负矩阵W= [Wl，w2，…，wj，按照如下公式，分别计算非 负矩阵W的第1
列与特征矩阵V中的每一列的相似度，共得到N个相似度值Sim: 其中〈￥1，％>为￥1和％的内积，￥1为非负矩阵1的第1列^^为特征矩阵7中的所有 列，n=l，2，…，仏令…二？，？为相似度值Sim最大时特征矩阵V中的对应列，将^作 为挖掘出的待分析视频主题动作的特征描述子，用该主题动作的特征描述子的下标表示待 分析视频聚类后的对应视频片段数，即为主题动作数，该对应视频片段即为与该特征描述 子相对应的主题动作； (2-6)遍历上述步骤（2-4-3)的非负矩阵W的所有列，重复上述步骤（2-5)，挖掘出待 分析视频中的r个主题动作和r个主题动作数； (2-7)利用上述步骤（2-4)得到的非负矩阵札XN，计算得到待分析视频中N个片段主题 动作分布的熵值，具体步骤如下： (2-7-1)对上述步骤（2-4)得到的非负矩阵H=[hh2 ...hN]进行归一化，得到归一
化后的非负矩P 中的每一行即为待分析视频的一个片段， 其弓
p为1\的转置，P2为lXr的向量，r为人机交互中用户 设定的主题动作数；
(2-7-2)设上述非负矩阵的第一[Pl，p2，…，pj，计算非负矩阵#第一行的熵 值「 其中1为人机交互中用户设定的主题动作数；
(2-7-3)遍历非负矩阵的所有行，得到非负矩阵的所有行的熵6 即 HH 为待分析视频的N个片段主题动作分布的熵值； (2-8)从上述熵值S中选取5个最大的熵值，将5个最大的熵值的下标作为5个备选主 题动作的片段数，将上述步骤（2-1)的特征矩阵V中与该5个片段数相对应的列作为5个 备选主题动作的特征描述子[w'i，…，W' 5]; (2-9)用不同的颜色绘制待分析视频的N个片段在时间轴上的分布，具体步骤如下： (2-9-1)利用上述步骤（2-7-1)的非负矩阵尽由于互中的每一行表示待分析视频 的一个片段，取尽&中每一个行向量中r个元素中的最大值，以该最大值的下标作为该行即 该片段的主题动作数； (2-9-2)遍历非负矩阵行，分别得到非负矩阵尽所有行所对应的主题动作 数，相同的主题动作数用同一种颜色绘制在时间轴上，得到主题动作时间分布图； (3) 利用人机交互，在r个主题动作中添加感兴趣的主题动作，具体包括以下几个步 骤： (3-1)利用上述步骤（2-6)挖掘出的r个主题动作的特征描述子W= [WdW；^，…，wj, 人机交互用户从上述步骤（2-8)中的备选主题动作的特征描述子[w'i，…，w'5]中选择g 个备选主题动作特征描述子，将该g个备选主题动作特征描述子添加到主题动作特征描述 子中，其中〇〈g〈5,得到r+g个特征描述子矩阵f=[叫，2，…，w,.|wp…，wg]，其中妒为dX(r+g) 的矩阵； (3-2)根据上述特征描述子矩阵冢，按照如下迭代公式，迭代1000次，重新计算非负矩 阵H-
(3-3)根据上述步骤（3-2)的非负矩阵H，重复上述步骤（2-9)，更新待分析视频的N个 片段在时间轴上的分布； (3-4)将上述步骤（2-8)的5个备选动作片段数中的g个片段数，添加到r个主题动作 数中，得到r+g个主题动作数，将与待分析视频片段数中的r+g个主题动作数相对应的片段 作为挖掘的待分析视频的初始主题动作； (4) 利用人机交互，从上述初始主题动作中删除不感兴趣的主题动作，具体步骤如下： (4-1)根据上述步骤（3)的特征描述子P，人机交互用户删除特征描述子JT中 的第f列，其中，〇彡f〈r_l，f为整数，得到r+g-1个主题动作的特征描述子，使 W = [wl,w1,---,wr+gA]; (4-2)根据上述步骤（4-1)的特征描述子JT，按照如下迭代公式，迭代1000次，重新计 算非负矩阵H，
(4-3)利用上述步骤（4-2)的非负矩阵H，重复上述步骤（2-9)，更新待分析视频的N个 片段在时间轴上的分布； (4-4)删除r+g个主题动作数中的第f个主题动作数，得到r+g-1个主题动作数，将与 待分析视频片段数中的r+g-1个主题动作数相对应的片段作为挖掘的待分析视频的中间 主题动作； (5)根据上述中间主题动作，利用人机交互融合用户感兴趣的主题动作，具体步骤如 下： (5-1)人机交互的用户从上述步骤（4)的中间主题动作中挑选相近似的第t和 第t+b个动作，从上述步骤（4)的特征描述子fF中删除第t+b列，得到特征描述子f: ?T=[叫，其中，t和b均为正整数，0〈t〈t+b〈5 ; (5-2)将主题动作数为t和t+b的主题动作标记为同一种颜色，更新待分析视频的N个 片段在时间轴上的分布； (5-3)人机交互的用户从上述步骤（4)的中间主题动作数中删除第t+b个主题动作数， 得到r+g-2个主题动作数，与待分析视频片段数中的r+g-2个主题动作数相对应的片段即 为人机交互挖掘的待分析视频的主题动作。
【专利摘要】本发明涉及一种用于视频分析的人机交互主题动作挖掘方法，属于图像处理技术领域。首先从视频中提取时空兴趣点，并利用方向梯度直方图和光流直方图对其提取特征描述子，采用K-均值的方法对特征描述子进行聚类，进一步形成词袋模型。利用向量化的方法得到最终的特征矩阵，通过带有约束项的非负矩阵分解法得到特定个数的主题动作，并将主题动作以不同的颜色绘制在视频序列整个时间轴上。相比于一般的非负矩阵分解，通过增加边缘权值矩阵和约束项等，主题动作分割更加准确。本发明方法基于非负矩阵分解，通过对删除、添加和融合算法的设计，用户可以根据主观意图挖掘视频中的主题动作信息，从而保证了视频分析中主题动作的主观性和准确性。
【IPC分类】G06K9-62, G06K9-00
【公开号】CN104700086
【申请号】CN201510123014
【发明人】刘华平, 滕辉, 孙富春
【申请人】清华大学
【公开日】2015年6月10日
【申请日】2015年3月20日