多视图度量学习方法
【专利说明】
[0001]
技术领域
[0002] 本发明涉及一种多视图度量学习方法，具体来说，涉及一种用于多视图视频摘要 的多视图度量学习方法。
【背景技术】
[0003] 监督式学习通过对大量有标记的训练例进行学习W建立模型用于预测未见示例 的标记。该里的"标记"是指示例所对应的输出，例如，在分类任务中标记就是示例的类别， 而在回归任务中标记就是示例所对应的实值输出。随着人类收集、存储数据能力的高度发 展，在很多实际任务中可W容易地获取大批未标记数据，而对该些数据赋予标记则往往需 要耗费大量的人力物力。半监督学习试图让学习机器自动地对大量未标记数据进行利用W 辅助少量有标记数据进行学习。而无监督式学习并不需要人力来输入标签。
[0004] 在过去的十年中，多视图学习受到大量关注。大多数已有方法都致力于半监督学 习。
[0005] 在许多现实应用中，未标签的数据通常表现为大量高度相关的视图。例如，在视频 处理领域，不同的相机可能聚焦在基本上同样的视场上。又例如，在二维码扫描领域，会有 多个固定式二维码扫描器在不同位置从多个角度拍摄同一个二维码目标，而对于手持式扫 描枪，也会因为抖动产生多个不同角度的二维码目标图像。在该种情况下，人们可能期望利 用相关性来帮助理解数据并使其特征化，并且期望找到能反映输入数据的内在结构的"优 化"的度量。
[0006] 假定在本地集合坐标中的复杂人体运动是随时间变化的函数，并且通过多个照相 机同时按时间采样。为了掲示该初始空间的特征，传统方法一般对每个视图视频W多种假 定独立地抽取高维度特征矢量空间，然后使用许多降维方法。
[0007] 传统视频摘要方法设计成对单视图视频记录生成摘要，因此不能够完全利用多视 图记录中的兀余，会忽略掉不同的视图视频中包括的对原始数据集来说有特色的和互补的 信息。
[0008]
【发明内容】
[0009] 本发明提供一种用于多视图视频摘要的多视图度量学习方法。多视图视频同时采 集真实生活中的相同时空的不同视觉投影。本发明中的多视图度量学习把所有多视图视频 投射到新的度量空间中，W最好地模拟真实世界多样性空间，并用来掲示物体运动的内在 特征。该通过保存跨不同视图的最多内在特征而极大地简化了视频摘要。在所学习的度量 空间中，视觉数据通过聚类而摘要并在各聚类中提取关键峽。
[0010] 本发明的方法其结合了最大间隔聚类和不一致最小标准的优点，因此能够找到最 好地分离数据的度量，并同时迫使所学习的度量保持数据点之间的原始内在信息。
[0011] 本发明的方法特别适用于无监督学习的情况。
[0012] 本发明提供一种用于多视图视频摘要的多视图度量学习方法，其包括W下步骤： (1) 将视频记录分解成峽的集合，表示为xW，…，X?，其中
【主权项】
1. 一种用于多视图视频摘要的多视图度量学习方法，其包括以下步骤： (1) 将视频记录分解成帧的集合，表示为χ(1)，…，χ(κ)，其中
,是表示第k视图的η个帧的dk维度特征，R表 示实数，dk表示第k个视图空间的维数，η表示帧数； (2) 根据处于Χ(1)，…，父00中的信息，学习统一化的度量空间X，其中X d 表示映射后空间的维数； (3) 执行在X上的聚类，使用聚类的中心作为代表，表示成 f" 二f JiI >….九...：I S >? <+… < 々* ii- "}，F表不摘要的集合，ir.. ic表不一中贞 的ID ; (4) 对每个fic;从K个帧中选出一个和它对应的帧，并输出这些帧作为最后摘要； 其中，在执行学习的步骤中，寻找统一的坐标矩阵
使其最小化
其中，RMP(X)，Rstrart(X), Rdiff(X)分别是X的经验损失、结构损失以及不一致损失； Y1, Y 2是控制目标之间平衡的参数；并且 经验损失Remp (X)为O ; 结构损$
其中Gx是度 量X的相似性变换，￡是归一化拉普拉斯算子，λ馮的本征值，c表示预定义的类 的个数； 不一致损失 Rdiff (X)为
2. 根据权利要求1所述的多视图度量学习方法，其特征在于，最小化的R(X)为
3. 根据权利要求2所述的多视图度量学习方法，其特征在于，最小化的R(X)优化为
4. 根据权利要求3所述的多视图度量学习方法，其特征在于，最小化的R(X)进一步优 化为
，其中
μ表示权重因子，μ??表示￡ <:々:ι的权重因子。
【专利摘要】本发明公开一种用于多视图视频摘要的多视图度量学习方法。其包括以下步骤：将视频分解为帧的集合；学习统一化的度量空间；执行在统一度量空间上的聚类；并选择特定帧输出作为摘要。本发明能够找到最好地分离数据的度量，并同时迫使所学习的度量保持数据点之间的原始内在信息。
【IPC分类】G06F17-30
【公开号】CN104537124
【申请号】CN201510042581
【发明人】张驰, 付彦伟
【申请人】苏州德沃智能系统有限公司
【公开日】2015年4月22日
【申请日】2015年1月28日