通过检索视频内容实现超感体验的方法
【技术领域】
[0001] 本发明设及视频事件检索、超感设备映射技术领域，具体地说是利用视频事件检 索技术，实现根据视频事件控制对第=方超感设备的运动路径的自动化，达到超感设备与 视频事件同时同向的视频观看体验。
【背景技术】
[0002] 随着社会物质文化的不断发展，人们对在影院观看电影的体验要求越来越高，因 此出现了4D影院，在4D影院中，人们不仅将坠落、震动、晃动等特技引入影院中，还根据影片 的情景设计出风、雨、雷、电从而形成一种独特的体验。而目前实现运种体验大多数是半自 动的，即人工确认引入特技的时间和种类，而运种人工费时费力，而且准确度不高，另外也 提高了影院投入成本。通过检索视频内容实现超感体验，实现了自动化高效检索影片中特 定事件，并将视频事件的语义情景生成控制超感设备的计算机命令，从而相比人工方法，能 更高效，更全面的满足4D影院引入特技的要求。
[0003] 视频事件检索是视频内容分析的一个重要的组成部分和研究热点，视频事件往往 是一个连续的过程，需要对视频序列而不只是静态图片进行分析。近年来国际上多媒体领 域内，视频内容分析研究，尤其是视频语义检测一直是一个热口方向。
[0004] 由于视频中的语义对象是存在于视频的事件化vent)区域和空间区域中，那么随 着事件和空间的运动，视频中的事物不断改变，事物改变的过程就构成了事件。所W事件是 由过程来描述的。视频对象的过程是指对象在运动过程中形成的各种姿态和运动轨迹，W 及对象之间在运动过程形成的相互位置关系。如走路、跳跃等。在视频分析中，过程的识别 是反映对象的动态特征和活动，不仅包含空间的概念，更重要的是包含了时间的概念，运也 是事件检测的难点。
【发明内容】
[0005] 本发明的目的在于克服在4D影院中人工引入特技时的不足，提供一种在4D影院中 自动化高效引入特技，实现超感设备与视频情景实时同步的方法W及视频事件检索系统。
[0006] 实现本发明目的的具体技术方案是：
[0007] -种通过检索视频内容实现超感体验的方法，其该方法包括W下具体步骤：
[000引步骤一:视频预处理，对视频内容提取语义特征的预处理;具体为：
[0009] O W视频帖为最小单位，把视频分割成多个分析单元并获取其有代表性的语义特 征；
[0010] ii )使用从O获得的语义特征，建立语义模型；
[0011] 步骤二:视频事件检索，对视频中特定事件进行检索处理;具体包括：
[0012] O基于步骤一的ii)语义模型，根据语义图检索条件，结合采用等长视频段、视频 段局部兴趣点两种方法提取视频时序特征，并对视频中事件的过程性属性进行描述和表 示：
[0013] ii )基于步骤一的ii )语义模型，根据语义图检索条件，提取运动相对特征；
[0014] 步骤=:视频事件检索结果处理，对视频事件检索中的结果进行处理;具体为：
[0015] O基于视频事件检索结果，根据事件发生的时间和事件发生对象的运动特征，剔 除无效结果，得到最终检索结果。
[0016] ii )生成超感设备能够理解的命令文件，WXML格式保存;最终使超感设备能通过 执行命令文件后与视频内容中的事件在运动轨迹上保持同步。
[0017] 所述等长视频段的提取方法是通过把给定视频分割成一系列大小相等的视频片 断，在每一个视频片断内分别提取基于运动点的运动直方图的运动特征和基于运动轨迹的 运动词典的运动特征，生成一个等长时序距离的运动特征序列。
[0018] 所述视频段局部兴趣点的提取方法是通过对运动轨迹在时间维度上提取局部兴 趣点并对其进行相应描述，其中，事件中物体的运动信息被表示成为一个运动序列，针对不 同长度的事件时序发展过程提取出稳定的特征集合，再对得到的特征集合结合使用 化usdo;rff距离（Improved 化usdorff Dis1:ance)和编辑距离化dit Distance),计算得到 不同时序特征的距离，从而生成不等长时序的运动特征序列。
[0019] 所述根据语义图检索条件，提取运动相对特征，具体包括：
[0020] 〇采用视觉词袋特征(8日旨-〇'-￥1311日1-￥〇'(13,8〇￥);首先在视频帖图像集上利用 DoG(Difference of Gaussian)和Hessian-Laplacian检测关键点，对每个关键点用尺度无 关变换特征（Scale Invariant FeaUire Transform,SIFT)进行描述;然后把所有关键点用 K-Means方法进行聚类，建立一个视觉词典，其中每个类称作一个视觉单词，最后把每个关 键点映射到最近的一个视觉单词，形成一个在视觉词典上的直方图，用于描述视频中的静 态信息；
[0021] ii)在0的静态信息基础上，计算不同的视觉单词的运动特征，给定一个视频，按 照每秒5帖的速率均匀提取关键帖；在相邻关键帖之间采用化T化anade-Lucas-Tomasi)算 法跟踪其中的关键点，并计算每个关键点的运动向量;对任意两个视觉单词a和b，计算它们 之间的相对运动如下：
[0023] 其中，Na、化分别是视频中映射到a和b上的关键点的集合，mr、mt分别是两个关键点 r，t的运动向量，mr-mt是他们之间的相对运动向量，Di (.Ki = I，2,3,4)将运动向量分别投 射到前、后、左、右四个方向；由此生成一个SXS的矩阵R，S是视觉词典大小;其中每个元素 描述了两个不同视觉单词之间的相对运动;使用视觉单词间的视觉关联性对RMH-BoW特征 进行扩展，进一步得出邸MH-BoW化xpanded RMH-BoW)。
[0024] 化）使用信息增益的方法，选择ERMH-BoW化xpanded RMH-BoW)中对事件检测最重 要的运动单词特征。
[0025] 本发明所述超感设备为4D影院中的座椅系统。
[00%]与现有技术相比，本发明的有益效果：
[0027]首先，与现有的4D影院中全人工引入4D特技相比，本发明最大程度的实现了此过 程的自动化，提高了在4D影院中引入4D特技的效率，能为观众提供更真实的4D体验。其次， 与传统视频事件检索方法相比，本发明采用视觉词袋特征(Bag-〇f-Visual-Words，BoW)的 同时，结合使用颜色直方图和图像轮廓检测，精确锁定视频中的待检索对象，在视频关键帖 上采用了化T算法跟踪视频检测对象轨迹，提高了检索效率。
【附图说明】
[0028] 图1为本发明所述方法的流程图；
[0029] 图2为本发明所置系统的示意图。
【具体实施方式】
[0030] 下面结合附图，对本发明作进一步详细说明。
[0031] 参阅图1，本发明包括视频预处理、视频事件检索、视频事件检索结果处理=步骤； 其中在视频预处理中，W视频帖为最小单位，把视频分割成多个分析单元并获取其有代表 性的语义特征，进而得到其语义信息，通过得到的语义信息建立语义模型，其中对视频事件 的描述，主要包括了事件发生对象(Who)及事件发展过程化OW)两方面。本申请所述方法研 究3个方面:事件动态信息的描述与特征提取，建立运动词典和解决事件间相互作用对事件 的影响。对于事件动态信息的描述与特征提取，即采取噪声最少的静态信息的描述方法，分 析物体运动轨迹，探索合适的特征和方法，来描述运动轨迹。通过定义不同轨迹间相似度的 计算方法，在此基础上对轨迹进行聚类，实现对动态特征的编码，W有效地描述事件中物体 运动信息。对于运动词典，是把动态与静态信息统一在单一特征中。而解决事件间的相互作 用对事件的影响，是为了更好的描述事件W及消除摄像机运动的影响的问题。
[0032] 视频预处理，具体为：
[0033] 0首先是对视频特征提取的预处理，建立本体模型，通过对视频轮廓，关键帖W及 事件记录等，对视频事件进行分析；
[0034] ii)其次利用SVM/HMM对特征值进行处理聚类，随后对聚类后的不同事件进行等级 分析，通过不同的等级，寻找不同事件之间的关系，确定是否关联。
[0035] 扭）记录有关联的事件。运样，就可W寻找到一个时间序列中不同事件的语义关 联。
[0036] 图1中的抓取检索对象特征流程，用于确定检索对象。
[0037] 图1中的视频事件检索流程是基于检索对象已确定的前提下进行的。
[0038] 在视频事件检索中，着重考虑事件的过程性属性和时间维度上的关联，研究特征 的时序化处理和表示方法；同时对现有的SVM(支持向量机)分类器进行相应改进，并研究其 他适用于序列特征的分类器(包括HMM和SVM等），从特征提取和机器学习两方面提高事件检 索的准确率。对事件描述，通过融合概念检测、语义知识网、概念对事件检测的贡献度等信 息，提取与事件相关的各种概念和要素。
[0039] 在视频事件检索中，首先同时对视频关键帖使用图像颜色直方图和图像轮廓检测 技术选择视频中特定的检索对象并提取其视频特征，其次对于视频特征，通过提取时序特 征(Temporal Feature)对事件的