一种基于地图隐喻的视频内容可视分析方法
【技术领域】
[0001] 本发明属于计算机应用技术领域，具体涉及一种基于地图隐喻的视频内容可视分 析方法。
【背景技术】
[0002] 随着数码设备的普及和互联网技术的发展，视频资源数量呈海量式增长。人们不 再满足于传统单一的线性的视频信息利用方式，对有效检索视频信息、快速获得视频主要 内容以及高效的浏览视频也提出了更高的要求。迅速增长的视频数据已成为人们生活中一 类最重要的信息获取方式。如何快速获取视频信息、高效交互进而有效利用视频信息具有 巨大的应用价值。目前与视频应用快速增幅相对的是人与视频间的交互方式并没有随之发 生根本性的转变，现有交互技术已严重制约着进一步发展。研究者们开始研究在传统视频 中融入各种交互技术以满足人们的这种需求。视频内容可视分析就是一种比较好的解决方 式。视频内容可视分析就是将视频内容提取出来，用通俗易懂，简单明了的方式呈现给用 户，提供自然直观的交互方式帮助用户快速、有效地理解视频内容，对搜索、分析和筛选用 户感兴趣的视频数据具有重要意义。
[0003] 视频内容可视分析主要关注以下问题：1)结构清晰、易于理解的表现方式:人眼视 觉特性对图像的认知是非均匀的和非线性的，新颖的视频表现方式应使视频内容表现简洁 直观，要符合人眼视觉特性，从而辅助用户对视频内容的高效理解;2)视频帧的布局规则： 良好的视频帧图像布局规则能够减少图像间的相互遮掩、清晰地展示视频内容信息；3)自 然高效的交互功能：用户应能够根据兴趣和需求方便地查看视频细节。而实际上，如何将视 频结构化，用什么样的结构去展现视频内容是一个研究热点和难点。视频的内容多种多样， 不同类型的视频其内容组织顺序差别很大，它们内容的侧重点也不同，目前大多数的视频 内容可视化内容都是针对特定领域的视频内容，采用不同的方法然后提取关键帧，根据不 同的需求进行聚类，按照一定的规则进行排布，缺少对视频内容间关联关系的分析展示，不 能有效地帮户用户理解视频内容。
【发明内容】
[0004] 本发明的目的在于提供一种基于地图隐喻的视频内容可视分析方法，能够解决了 当前对视频内容的描述和呈现单一，缺少视频内容关联分析的问题，实现对视频内容自然、 高效的交互与与可视分析，并据此可以实现基于地图布局的视频内容分析和浏览系统。
[0005] 为实现上述目的，本发明采用如下的技术方案：
[0006] -种基于地图隐喻的视频内容可视分析方法，其步骤为：
[0007] 1)对原视频内容进行结构化处理，得到视频结构数据；
[0008] 2)将视频结构数据经过布局算法处理，得出视频地图的基本布局；
[0009] 3)按照地图隐喻系统的映射规则，将视频内容(包括视频内人物与事件之间的各 种时空关联关系)映射到视频地图上；
[0010] 4)通过与视频地图进行交互，实现对视频内容的可视化操作与分析。该步骤可以 实现草图交互界面以及统计分析和查询路径等其他相关功能。
[0011] 进一步的，步骤1)中视频结构化将视频内容分解，按如下格式进行组织：
[0012] 〈Video〉： ： =〈Title>〈Describe>〈Time>{〈Scene〉};整个视频由〈Title〉电影名 称，〈Describe〉简单描述，〈Time〉时长，{〈Scene〉}多个场景组成，其中场景为视频内常出现 的一些地点，视频的一些主要事件发生在这些地点。
[0013] 进一步的，〈Scene〉： ： ="Scene_Id" {〈Event〉}，[Scene_Type];场景包含场景编号 3〇61^_1(1，在该场景内发生的事件"￥61^>，以及该场景的类型3〇6脱_17口6，主要分为室内、 室外白天和室外夜晚等。
[0014] 进一步的，〈Event〉： ： ='，Event-Id" [〈Association〉]〈Video-clips〉{〈Character >h事件为在特定场景发生的具有一定连续性，对电影情节具有推动作用的一系列视频片 段，由人工定义并组织整理。事件内包含参与事件的各个关键人员{〈Character〉}。事件包 含了事件编号Event_Id以及相对应的一段视频内容<Video_clips>。事件间的关联关系〈 Association〉。
[0015] 进一步的，〈Character〉： ="Character-name"，〈STime>，〈ETime>[〈Association >];角色是对整个电影情节具有推动作用的对象，是视频内容的重要组成部分，角色包含了 角色的名称"Character_name"以及出场时间<STime>和退场时间〈ETime〉，〈Association〉 表示角色间的关联关系。
[0016] 进一步的，〈Association〉： =〈Association_type> {，"Association_Id" } "weight" ；关联关系包括关联类型<Association_type>，与关联主体相关联的一系列关联 对象编号"Association_Id"，以及该关联的强度"weight"，（如两个事件之间的关联强度， 取决于他们是否发生在同一场景，它们拥有多少共同的参与角色）。
[0017] 进一步的，〈Association_type> : = "Temporal_Associat ion" | "Spatial_ Association" I "Customized_Association" ；关联关系可分为事件发生顺序的时间关联 "Time_Association"，以及表示事件是否发生在同一场景等关联的空间关联"Spatial_ Association"。用户还可以根据自己的理解添加自定义的关联关系"Customized_ Association"。
[0018] 进一步的，视频片段<Video_clips>: =〈Video>〈STime>〈ETime>，视频片段对应事 先定义的事件信息，标注上起始时间<STime>和结束时间〈ETime〉。
[0019] 进一步的，整体视频内容结构化为如下结构：
[0020] 〈Video〉： ： =〈Title>〈Describe>〈Time>{〈Scene>};
[0021 ] 〈Scene〉： ： = "Scene-Id" {〈Event〉}，[Scene-Type];
[0022] 〈Event〉：： = "Event_Id"[〈Association>]〈Video_clips>{〈Character>;
[0023] 〈Association〉：=〈Association_type>{"Association_Id"};"weight"
[0024] <Association_type>:="Temporal-Association" |"Spatial-Association" |
[0025] "Customized-Association"；
[0026] 〈Video-clips〉： =〈Video>〈STime>〈ETime>;
[0027] 进一步的数据预处理，我们将视频内容表示为一系列的事件E={ei，e2……en}，事 件ek(l〈k〈n)由起始时间stk，结束时间etk，涉及对象Ck= {ci，C2......cm}，发生的场景Sk，以及 简要的事件描述。
[0028] 进一步的，通过视频帧聚类方法判断场景的类型，具体做法为：
[0029] 1)通过定义的事件获取对应的视频片段，针对每一个事件随机的提取一定数量的 视频帧(具体多少与事件的时长有关），将它们汇集成一个视频帧集合。
[0030] 2)针对每一帧视频图像，我们使用其RGB颜色矩阵作为特征向量，对应为MatrixR， MatrixG，MatrixB(行列分别为w，h的矩阵，w为图像的像素宽度，h为图像的像素高度），使用 K-means作为聚类方法，将视频帧集合进行分类处理。具体方法如下：
[0031] 我们定义两幅视频帧之间的距离矩阵D:
[0032] D= |MatrixRi-MatrixR21 +1 MatrixGi-MatrixG21 +1 MatrixBi-MatrixB2
[0033] 我们首先选取第一个视频帧，用它的RGB矩阵作为初始类别的质心矩阵，随后我们 随后选取下一个待分类的视频帧，计算它的RGB矩阵与第一类的初始质心矩阵之间的距离 矩阵D，我们将D与我们预先设定的一个阈值矩阵T进行比较，我们定义一个变量c如下所示：
[0034]
[0035] 如果我们则那么我们就将第二张视频帧归属初始类，如果^1^，我们 2 2： 认为第二张视频帧属于一个新的类，我们将第二张视频帧的RGB矩阵作为第二类的初始质 心矩阵，以此类推，在处理随后的视频帧时，将它的RGB矩阵与所有类别的质心矩阵进行对 比来决定它属于哪一类或者将其定义为新的类。当有一个类更新后。要计算出该类的新的 质心矩阵，计算方法为依据该类的所有视频帧的RGB矩阵所计算得出的平均矩阵。这样持续 迭代计算直到所有视频帧都处理完毕。
[0036] 3)最终每一个视频帧都会有其归属的类别，我们依据场景所属的视频帧属于哪一 个类别的视频帧最多，就将该视频划分到该类别中，采用人为判断的方式去判别场景的类 型，如室内，室外或白天黑夜等。
[0037] 进一步的，视频内容与地图的映射规则为，用地图上的区域面元素代表视频内的 场景，用地图上的城市点、地标点来代表视频内的人物和发生的事件，用各种道路元素来连 接各种点元素来表示视频内人物与事件之间的各种时空关联关系。
[0038]进一步的，草