一种基于语义隐藏标引的视频内容管理方法

专利名称：一种基于语义隐藏标引的视频内容管理方法
技术领域：
本发明属于视频内容管理技术领域，更为具体地讲，涉及一种基于语义隐藏标引的视频内容管理方法。
背景技术：
除传统有线电视、地面电视开路电视和卫星视频外，目前互联网视频数据增长迅速，网络视频已经成为人们获取电影、电视、视频等数字内容的重要媒体，占据了互联网上绝大部分流量。中国互联网络信息中心(CNNIC)发布的27次中国互联网发展报告称，截至 2010年12月，国内网络视频用户达2. 84亿，在网民中的渗透率达62. 1%，与2009年12底相比，网络视频用户人数年增长43M万人，年增长率18. 1%。在线观看视频的比例快速提升，占比达95.4%，找到并下载观看的用户占比达47.6%。用户分享更为活跃，及时通信和社会化网络服务(SNQ成为互联网上进行视频分享的重要途径，85. 4%的用户通过通信聊天工具、社交网站进行视频分享和转发。同时，利用智能手机或移动终端通过移动网络进行视频数据获取和分享上升趋势也非常明显，思科预测从2009到2014年，移动视频数量将增至原来的66倍，移动数据总流量将以每年108%的增长率递增，到2014年移动数据总流量将达到每月3. 6千兆兆字节，视频内容占移动数据的66%。与之对应的视频市场规模发展迅猛，易观国际预计到2013年中国网络视频市场规模将达到69. 9亿元，几大城市如杭州、 无锡、重庆、北京等城市原唱动漫等都达到几万分钟产量。如此巨大的视频市场存在，也同时带来了互联网一系列的问题。由于竞争的需要， 视频网站无序性的重复建设造成各种成品视频产品重复发布，社交参与型视频分享网站和 p2p分享网络进一步提高了视频的重复性发布，与此相对的下载和接收更使冗余性重复传输剧增，无功流量占据了绝大部分，大大限制了互联网的在其他方面的性能发挥，妨碍了互联网各种业务的进一步快速发展。冗余性泛滥带来存储浪费与带宽浪费的同时，热点视频重复传输率的幂级数增长特性掩蔽了低热点有价值视频的传播与获取，搜索引擎搜索结果集被热点视频所充斥，大大提高了真实目标挤出率。同时，由于视频终端技术、视频处理技术、视频传输与获取技术的进步与普及，各种内容的视频在全球范围流动和迁移、网民的自主视频也大范围成长，对版权管理造成巨大困难。造成以上问题的原因在于，互联网设计与建造是从注重通信而发展起来的信息共享系统。如香农信息论一样的通信就是注重数据的有效传输，注重于信息语法形式(编码和解码)，而对信息的语义也就是内容没有过多关注，这样信息在网络上迁移传输过程中不会注重其本身的内容。进一步来看，视频数据本身所含内容与含义非常丰富，且用机器进行内容语义分析非常困难，视频数据在网络中进行迁移和传输过程中对其进行语义探测并根据语义决定是否进行允许传播、确认播放和接收下载就非常困难。目前提出的语义网对信息资源有非常理想的处理方法，但因为过于理想，且系统要求全球互联网整合起来完成对信息资源的一体性且基本无二义性描述，工程太大以至于可行性太差，多年来在实际工作中无明显进展。在对视频内容进行管理的过程中，通常用文本元数据的方式来描述视频内容本身，以避免机器去理解以时间基线组织在一起图片序列所要表达的内容。视频内容管理包含视频文件管理和视频数据流的管理，也就是静态存在于磁盘、光盘等存储媒体中的数据和视频文件在传播状态下的数据。1、视频文件管理视频文件管理主要注重对视频文件内容的文本方式描述，文本之间的关系可以结构化并存入成熟的数据库，如关系型数据库。常常以文本元数据的方式对视频内容本身进行描述，文本元数据一方面描述视频文件表示的内容和与内容有关的属性，另外一方面描述视频文件之间或视频文件和其他资源如存储介质之间的关系。这样通过快速的数据库搜索，就可以发现用户查找的视频文件条目，并通过文件系统提供给用户相关的视频内容。2、视频数据流管理视频的使用目前以用户播放为最终目的占绝大多数，因此视频数据的迁移逐渐淡化了全体下载后播放而变成了以流媒体进行播送的方式，用户可以边下载边播放，大大节约了下载时间。这样视频数据流的管理就变得非常重要。视频数据流在通信模型的主要涉及信源组织、信道传输和信宿获取播放三个部分，分别对应于流式媒体播放前端组织(也即播放服务器)和实时传输信道(其代表为基于IPdnternet Protocol，互联网协议)网络的RTP(Real-time "TransportProtocol，实时传输协议)传输方式和基于数字广播信道 DVB (Digital VideoBroadcasting，简称 DVB)的 TS (Transport Stream，传输流)传输方式， 以及播放终端。图1是数字视频广播系统以传输流的方式提供视频广播服务的原理图。该数字视频广播系统把视频文件库中的视频文件打包成固定长度包结构复用并放入信道进行传输。同时为了能让客户端(信宿)可以进行节目选择，服务端(信源)还根据视频文件相关联文本元数据结合播放时间安排以及视频节目的传输流(TQ流代码结合在一起形成 EPG(Electronic Program Guide，电子节目菜单)节目单，并且把节目单也用TS流动方式传输到客户端让用户进行浏览，从而从复用的TS流中鉴别出感兴趣的视频节目。在这个过程中，信源端的音视频文件和该音视频文件内容描述信息是分别存放在音视频文件和文本元数据库中；信道中表示内容的文本元数据和音视频流也是分开用不同的TS流来进行传输的；在信宿端的EPG数据和用户选择的音视频文件也分开独立存在，在逻辑上相关，在物理上隔离。这样，客户端如果再次存放为视频文件时，如果不明确地用类似服务端文本元数据库进行联动存储就会丢失宝贵的内容描述性信息。当然在DVB播送服务中，这样合法的再存储需求不是普遍存在的，但二次存储和再迁移在网络大量应用的今天是大量存在的， 这样不但造成服务媒体没有内容描述性文本信息以外，脱离原宿主游离视频媒体的版权保护也成为一大难题。图2是RTP流式媒体服务过程中音视频文件和内容描述性的文本元数据存储、传输及接收原理图。在不以固定长度TS包进行流媒体服务的可以提供交互服务的互联网上，如图2所示，RTP流式媒体服务过程中音视频文件和内容描述性的文本元数据相关且也分离存在于交互通信模型的三个组成部分，即信源、信道和信宿中。服务端，即信源部分根据播送安排， 音视频文件通过流媒体服务器向客户端提供流包交换的方式提供服务，当然点播的流是在客户提出请求后才开始发送，同时把视频文件的内容描述信息形成WEB方式的音视频服务目录清单，每个目录清单项对应到相关的节目流服务。这样客户端就可以通过点击WEB服务器上节目项来向TS流播放服务器提出发送节目流的请求，同时客户端控制媒体接收对应的RTP包序列，经过处理后进行存储、播放或再服务。在这个过程中，可以明显看到信源端(服务端)的音视频文件和内容描述的文本元数据分开存放；信道中更是用不同的internet协议来进行数据传输；并且在信宿端分开处理，最终接收的视频数据如果再迁移的话就非常容易因在上次接收过程中对应文本元数据没妥善组织存放而丢失，造成再服务的困难。当然，通过在视频文件头部嵌入内容描述性的文本元数据可以解决上面提到分离传输所带来的问题。但在音视频文件头部嵌入文本元数据的方式的鲁棒性不太足够。通过简单的数据结构分析，就能移除，替换和修改。且在视频文件压缩格式转换过程中也极易丢失这样的信息，因为文本元数据除了描述视频内容外，还可能描述版权等相关敏感信息，删除后不利于版权的保护。这样鲁棒性要求高的语义标引在互联网视频内容极大丰富的情况下很有必要。首先极其丰富的视频文件因众多网民的炒作游离在互联网上不同的服务器、个人电脑、云服务平台等设施上，而游离的视频文件本身的内容描述性的语义标引，即文本元数据非常缺乏，对视频文件数据的收集非常困难，如果视频文件被众多的用户下载、传递、转换的过程中其本身的内容描述性的语义标引信息不以视频文件因网络位置的变化、格式和形态的改变而丢失，就更容易被再组织和检索。视频文件和流数据在互联网上的大量存在还引起另外一个问题就是某些流行或热点视频会因为网民大量复制、转发、再服务而呈幂级数放大效果。而因为没有统一内容描述而较难区分冗余性和冗余量的大小，冗余服务信息过载效应湮灭了其他有用视频数据的发现，排挤流稀疏的一些对特定人群有用的服务。

发明内容
本发明的目的在于克服现有技术的不足，提供一种基于语义隐藏标引的视频内容管理方法，以解决语义标引鲁棒性不强，而带来的语义标引信息容易被再组织、检索以及互联网上视频数据冗余性泛滥的问题。为实现上述目的，本发明基于语义隐藏标引的视频内容管理方法，其特征在于，包括以下步骤(1)、在信源端，根据视频内容和相关属性定义出视频数据所包含的视频内容的语义空间表，语义空间表包括内容描述、权属描述以及资源识别三大部分语义信息；(2)、在信源端，用信息隐藏的方法将语义空间表数据嵌入到视频数据中；(3)、在视频数据发生迁移后的信宿端，使用时，利用信息隐藏的逆方法提取视频数据中的语义空间表数据，得到视频数据的语义空间表；(4)、在信宿端，建立应用语义需求表，并与提取的语义空间表进行对比和运算，自主决定该语义空间表对应的视频数据的处理方式。
本发明的发明目的是这样实现的本发明通过定义语义空间表，对视频数据进行一体语义标引，然后将其用信息隐藏的方法嵌入到视频数据中，从而让视频数据在网络迁移和传播过程中一直存在，视频应用，如播放、智能下载代理、视频分级管理、网络管控等信宿系统中，通过提取视频数据的语义空间表，并与信宿端得语义需求表进行对比，来决定视频数据的处理方式。由于信息隐藏方法将语义空间表数据嵌入视频数据中，语义信息极难抹除和篡改，有极高的稳固性，这样存在于网络空间中任一位置的同一视频数据可明显的统一起来，可防止视频数据在二次传播过程中语义信息的丢失和视频数据的冗余请求。同时，根据提取的语义空间表，可以进一步帮助视频搜索引擎和其他视频应用系统进行选择、拒绝、丢弃等操作，使网络空间中视频数据传播有序有节。


图1是数字视频广播系统以传输流的方式提供视频广播服务的原理图；图2是RTP流式媒体服务过程中音视频文件和内容描述性的文本元数据存储、传输及接收原理图；图3是本发明基于语义隐藏标引的视频内容管理方法一种具体实施方式
原理图；图4是图1所示的语义空间表数据包结构图；图5是视音频文件的嵌入过程原理图；图6是MPEG 2视频码流解码过程示意图；图7是MPEG 2视频码流中嵌入语义空间表SST数据包的示意图；图8是基于DCT系数修改的语义空间表SST数据包的嵌入过程示意图；图9是视音频文件中提取语义空表SST’的过程图；图10是在MPEG 2文件上检测还原语义空间表SST，的过程图；图11是智能视频代理接收系统应用示意图；图12是视频内容分级接收系统应用示意图；图13是社区智能视频群体用户代理服务应用示意图。
具体实施例方式下面结合附图对本发明的具体实施方式
进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。实施例图3是本发明基于语义隐藏标引的视频内容管理方法一种具体实施方式
原理图。如图3所示，在本实施例中，本发明基于语义隐藏标引的视频内容管理方法包括以下步骤—、定义一个语义空间表在信源端，根据视频内容和相关属性定义出视频数据所包含的视频内容的语义空间表(Semantic Space Table，简称SST)，语义空间表包括内容描述、权属描述以及资源识别三大部分语义信息。
7
1、语义空间表的结构语义空间表中各数据项，即语义项代表的是语义空间表的组成，各语义项可进一步添加修饰词来扩展语义的具体含义，方便搜索引擎发现或应用系统使用，语义项体现了视频数据的某方面含义或视频的属性。语义空间表可按一定格式对语义项进行组织，组织也就是对语义表进行明文编码，编码主要考虑语义项的同步开始符和结束符、语义项之间的分离符。语义项包含了两部分，一部分是语义项名称，一部分是语义项对应语义值。一个语义项可含有多值，可由此需要在明文编码中用具体的字符或分离符号区分语义项名和语义项值，以及语义项多值之间的区分，语义项的修饰词也包含修饰项名和修饰项值，一个语义项可以有零到多个修饰项，每个修饰项也可由多值，在语义空间表的明文编码中都可以根据特殊的分离符号进行区分。如果在语义值中包含有分离符号在此字符前添加转义字符如 “\”。语义空间表的明文编码结束后需要对语义空间表进行熵编码以降低语义表嵌入量，使嵌入更能成功，同时，根据应用系统可选择熵编码。语义空间表用来表示某视频数据的标引体，同都柏林核心元数据倡议 (DublinCore Metadata Initiative，简称DCMI)针对出版物定义的都柏林核心元数据集类
似，在本实施例中，语义空间表SST用一维的元数据元素组成，具体见表1所示
权利要求
1.一种基于语义隐藏标引的视频内容管理方法，其特征在于，包括以下步骤(1)、在信源端，根据视频内容和相关属性定义出视频数据所包含的视频内容的语义空间表，语义空间表包括内容描述、权属描述以及资源识别三大部分语义信息；(2)、在信源端，用信息隐藏的方法将语义空间表数据嵌入到视频数据中；(3)、在视频数据发生迁移后的信宿端，使用时，利用信息隐藏的逆方法提取视频数据中的语义空间表数据，得到视频数据的语义空间表；G)、在信宿端，建立应用语义需求表，并与提取的语义空间表进行对比和运算，自主决定该语义空间表对应的视频数据的处理方式。
2.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法，其特征在于，步骤(1)所述的语义空间表由各数据项，即语义项组成；语义项包含了两部分，一部分是语义项名称，另一部分是语义项对应语义值，一个语义项可含有多值，在明文编码中用具体的字符或分离符号区分语义项名和语义项值，以及语义项多值之间的区分；语义项的修饰词包含修饰项名和修饰项值，一个语义项可以有零到多个修饰项，每个修饰项也可由多值，在语义空间表的明文编码中根据分离符号进行区分。
3.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法，其特征在于，步骤(2)所述的语义空间表数据为数据包；语义空间表数据包中，用12位二进制数来标识该包为语义空间表数据填充包；用4位二进制数来指明当前语义空间表数据的版本；用1位二进制数来指明是否压缩cmpr，以说明净荷Payload中的语义空间表数据是否使用了压缩方式，是为1，没有为0 ；用15位二进制数表示包大小locket Size，根据语义空间表净荷的占位长度，如果是否压缩cmpr值为 1，计算的是压缩后的长度；用16位二进制数来表示序列号kquence No，序列号表示的是当前语义空间表数据的序号；语义空间表数据包的净荷为表示语义空间表语义项的数据。
4.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法，其特征在于，所述的语义空间表数据还要用公共密钥进行加密，加密后的语义空间表数据打包后，与视频数据进行隐藏嵌入。
5.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法，其特征在于，所述的视频数据包括视频文件、视音频文件、实时视频以及动态图像组序列。
6.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法，其特征在于，所述的视频数据为视音频文件，步骤( 所述的嵌入为首先顺序的读取视音频文件F为数据流Vaii，在读取过程中同时鉴别并分出目标视频码流Vf和其它码流Vmict，然后把目标视频码流Vf和已经生成的语义空间表SST数据包利用适合目标视频码流Vf的信息隐藏方法Fm进行隐藏嵌入操作，并输出嵌入有语义空间表SST 数据的新视频流Vsst， Vsst = W SST)其中Fm为选定的信息隐藏方法，与具体视频压缩编码而进行的选择相关；新的视频码流Vsst再和其它码流Vwto —起通过同步信息Sync控制生产出含有语义空间表SST数据的新文件F，。
7.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法，其特征在于，所述的视频数据为MPEG2视频码流，步骤( 所述的嵌入为首先读取视频码流数据到帧缓冲区，然后识别视频组，接下来在关键帧上进行DCT系数修改，然后继续识别MPEG2中的像条和宏块，提取出各个宏块的DCT系数了，完成变长码解码；获取到宏块DCT系数后，根据信息隐藏方法Fm判断宏块嵌入水印的可能性，并根据这个信息，将语义空间表SST数据包一位一位提取出来对DCT系数进行修改；修改完成后，在 P帧中，对帧间预测的宏块的DCT差分值系数进行修改，修改到和未修改I帧时一样；然后将修改后的数据进行变长码编码，并写入为新的视频码流Vsst，接下来判断有没有到输入视频流的文件末尾，如果没有，就继续读视频码流数据，继续嵌入语义空间表SST数据包。
8.根据权利要求1所述的基于语义隐藏标引的视频内容管理方法，其特征在于，步骤 (2)所述的嵌入中，在嵌入完一个语义空间表SST数据包后，继续在接下来的视频数据中嵌入第二个、第三个语义空间表SST数据包，并对每个语义空间表SST数据包进行自动增量编号，一直到视频数据的末尾。
全文摘要
本发明公开了一种基于语义隐藏标引的视频内容管理方法，通过定义语义空间表，然后用信息隐藏的方法把语义空间表和视频数据进行一体语义标引，从而让语义空间表与视频数据在网络迁移和传播过程中一直随同存在。视频应用系统如智能播放与下载代理、视频分级管理、网络管控等，通过提取视频数据的语义空间表，与信宿端的语义需求表进行对比计算，让计算结果来辅助系统决策视频数据的具体处理方式。由于隐藏标引的语义信息极难抹除和篡改，防止视频数据在二次传播过程中语义信息的丢失，同时，内容视频数据可有效地统一并关联起来，降低数据的冗余传输，大大提高网络的利用效率。同样还可以更好地帮助视频搜索引擎和其他视频应用系统进行视频数据的选择、拒绝、丢弃等操作，使网络空间中视频数据传播有序有节，发现视频更加有效快捷。
文档编号H04N21/238GK102156734SQ201110090360
公开日2011年8月17日 申请日期2011年4月12日 优先权日2011年4月12日
发明者邢玲, 马建国, 黎茂锋 申请人:西南科技大学