专利名称：基于内容比对的视频检索系统的制作方法
技术领域：
本发明涉及多媒体视频比对技术领域，具体涉及一种基于内容比对的视频检索系 统。
背景技术：
在过去几十年里，计算机视觉领域在视频数据的获取、存储、操作及传输方面都取 得了很多重大理论突破和技术进步，而在视觉信息的查询和表征方面暂处于起步阶段。随 着科学技术的突飞猛进，近十多年，国内外许多大学、科研单位、军方及大型集团都开始投 入大量的人力、物力和财力研究开发基于内容的视频信息检索领域，力求利用能客观体现 视频信息本身的低级特征来检索数据，并建立低级特征到高级语义特征的联系。目前，国内外已研发出了多个基于内容的视频检索系统。QBIC全称是Query By Image Content，是IBM Almaden研究中心开发的基于内容 的检索系统，它是第一个功能齐全的视频数据库系统，也是基于内容检索系统的典型代表， 对视频数据库发展有较远的影响。QBIC系统支持示例查询和用户草图查询，抽取颜色、纹 理、形状特征、以及镜头和目标运动等信息，并采用R-tree作为高维索引结构，进而结合关 键字对大型图像和视频数据库进行查询。Visualkek美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视实验 室共同研究的Visualkek是一种在互联网上使用的基于内容的检索系统。它实现了互联 网上的基于内容的图像/视频检索系统，提供了一套供人们在Web上搜索和检索图像及视 频的工具。VideoQ是哥伦比亚大学研究的一个项目，它扩充了传统的关键字和主题导航的查 询方法，允许用户使用视觉特征和时空关系来检索视频。它有以下几个特征集成文本和视 觉搜索方法；自动的视频对象分割和追踪；丰富的视觉特征库，包括颜色、纹理、形状和运 动；通过WWW互联网交互查询和浏览。PhotoBook美国麻省理工学院媒体研究室研究的PhotoBook系统能够支持相似性 图像的检索，可以利用人脸、形状、纹理、相片簿等分别对人脸图像、工具和纹理进行基于内 容的检索，并随后在Virage系统中又进一步发展了将多种检索特征相融合的手段。TV-FI该系统的全称是Tsinghua Video Find It，是清华大学开发的视频节目管 理系统。这个系统可以提供如下几个功能视频数据入库、基于内容的浏览、检索等。TV-FI 提供多种模式访问视频数据，包括基于关键字的查询、基于示例的查询、按视频结构进行浏 览、以及按用户自己预先定义的类别进行浏览。尽管目前已有多种算法，但由于视频内容的丰富性，尚存在许多问题如大物体和 镜头运动的区分、高速的物体或镜头运动、灯光背景的照射和闪烁、复杂的剪辑效果(如碎 裂、波纹、变形等)等复杂情况下，误识别和漏识别率普遍较高；由于视频的数据量大，处理 时间长，很多算法的识别速度与实际应用相距还很远；提取是基于内容的视频检索技术的 关键，以往的研究特征主要集中在颜色、纹理、形状等低级特征上，但这些特征不能完全准确地描述出图像的含义。
发明内容
本发明的目的是提供一种基于内容比对的视频检索系统，通过客户端设备实时监 测视频节目，与服务器下载的视频模型做视频比对，实现对数字视频源包含的版权信息的 检测和追踪，使受保护的数字媒体内容得到实时的监控，不被随意复制、传播，算法复杂性 较低，误识别和漏识别率低，识别速度快，以克服现有技术中存在的不足。基于内容的视频检索必须对视频内容进行分析，摘要关键内容，形成一段极小且 有代表性的视频数据。用户只要给出示例或特征描述，系统就能自动地找到所需的视频片 断，即实现基于内容的视频检索。为实现上述目的，本发明采用如下技术方案一种基于内容比对的视频检索系统，该系统包括客户端(100)和服务器O00)，所 述客户端(100)指视频检索前端设备(101)，用于实时监测视频节目，将采集的视频数据与 下载的视频模型数据进行视频比对，生成规定的检索结果；所述服务器(200)指在网络环 境下运行的视频检索系统001)，用于将所述客户端(100)上传的检索结果进行统一的管 理，作为对电视节目管理、播出机构版权保护的必要依据。其中，所述的视频检索前端设备(101)即客户端是基于内容的电视节目检索设备。其中，所述下载的视频模型数据在制作样本时，支持MPEG-2、MPEG_4等多种视频 格式。其中，所述的客户端(100)之间相对独立，都可以通过网络与服务器进行通信，且 客户端采集的数据量可以根据用户的实际情况进行灵活配置。实现这种基于内容比对的视频检索系统的步骤Dl.客户端通过网络通道下载视频模型；D2.根据用户实际情况采集电视信号，比如射频信号或者AV信号；D3.将采集的电视信号与所述视频模型进行特征对比，检索出相似的视频数据；D4.将生成的检索结果实时上传给服务器，进行节目的管理与监督。其中，所述客户端比对检索出相似的视频数据后，可自动进行节目录制和统计分 析，生成规定的检索结果。在该系统中，视频检索的方法包括步骤Si.所述客户端采集电视信号后，提取查询视频片段的特征；S2.所述服务器下载视频模型，提取视频模型的特征；S3.将所述提取到视频模型的特征与查询视频片段的特征进行相似性比较；S4.将比较后的结果按照相似度大小排序；S5.由客户端将比对结果反馈给服务器。有益效果1、采用视频特征技术对待检索视频建立模型，检索过程与视频数据解码器紧密结 合，降低算法复杂性，提高性能。2、支持MPEG压缩的TS流，实时采集节目流，自动与模型对比，统计检索结果
3、视频检索效率高，单个模型检索小于2秒，400个模型检索时间不超过500秒。4、检索精确度高，检索精准到帧，检索准确率> 98%。5、支持8路同时检测。
图1为本发明基于内容比对的视频检索系统框图；图2为本发明基于内容比对的视频检索系统流程图；图3为本发明基于内容比对的视频检索系统检索原理图。
具体实施例方式本发明提出的基于内容比对的视频检索系统，结合附图和实例说明如下。如图1所示，本实施例中的基于内容比对的视频检索系统包括客户端(100)和服 务器000)，其中，客户端进一步包括视频检索前端设备(101)，用于将采集的视频数据与 所述服务器(200)下载的视频模型数据进行视频比对，实时监测视频节目；服务器进一步 包括在网络环境下运行的视频检索系统001)，用于将所述客户端(100)上传的检索结果 进行管理，作为对电视节目管理、播出机构版权保护的必要依据。其中，视频的检索可基于关键字，也可基于内容，选择哪种检索方法，取决于对各 项指标的具体要求，这受到视频质量、识别率、识别速度等因素的制约；选择基于关键字的视频检索，因视频具有数据量大、蕴涵信息丰富的特点，具有时 间及空间三维结构，其本身常常是无组织的数据流，将难以准确，快速的获取视频信息。选择基于内容的视频检索，对视频数据中蕴涵的视觉和语义内容进行计算机处 理、分析与理解并根据内容进行检索，其本质是对视频数据结构化，提取视觉与语义信息， 保证视频内容能被快速检索。而本实施例中选择基于内容的视频检索。基于内容的视频检索系统通过对视频内 容的分析，将非结构化的视频数据结构化，并提取有效的特征来描述结构化的内容单元，在 此基础上建立视频的索引、检索系统，旨在为用户提供方便的视频内容获取方式。如图2所示为本实施例中的基于内容比对的视频检索系统方法包括步骤Dl.客户端通过网络通道下载视频模型；D2.根据用户实际情况采集电视信号，比如射频信号或者AV信号；D3.将采集的电视信号与所述视频模型进行特征对比，检索出相似的视频数据；D4.将生成的检索结果实时上传给服务器，进行节目的管理与监督。其中，对于视频数据的检索，是基于内容的检索。如图3所示为本实施例中的基于内容比对的视频检索系统检索原理，方法包括步 骤Si.所述客户端采集电视信号后，提取查询视频片段的特征；S2.所述服务器下载视频模型，提取视频模型的特征；S3.将所述提取到视频模型的特征与查询视频片段的特征进行相似性比较；S4.将比较后的结果按照相似度大小排序；S5.由客户端将比对结果反馈给服务器。
实现一个高效的视频检索系统的基础和关键在于，对视频结构进行分析时，将视 频序列分割为镜头，并在镜头内选择关键帧。然后提取镜头的运动特征和关键帧中的视觉 特征，作为一种检索机制存入视频数据库。最后根据用户提交的查询按照一定特征进行视 频检索，将检索结果按相似性程度交给用户，当用户对查询结果不满意时可以优化查询结 果，自动根据用户的意见灵活地优化检索结果。通过使用本发明提供的系统，客户端设备实时监测视频节目，与服务器下载的视 频模型做视频比对，实现对数字视频源包含的版权信息的检测和追踪，使受保护的数字媒 体内容得到实时的监控，不被随意复制、传播，为电视节目管理结构、电视播出机构等提供 必要的依据，保护了数字媒体内容提供商以及整个产业链，解决了加密技术在视频领域难 以应用的“盲区”。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通 技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有 等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
权利要求
1.一种基于内容比对的视频检索系统，该系统包括客户端(100)和服务器000)。 其特征在于所述的客户端(100)指视频检索前端设备(101)，用于实时监测视频节目，将 采集的视频数据与所述服务器(200)下载的视频模型数据进行视频比对；所述的服务器 (200)指在网络环境下运行的视频检索系统001)，用于将所述客户端(100)上传的检索结 果进行管理，作为对电视节目管理、播出机构版权保护的必要依据。
2.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，所述的客户端 (100)采集的数据量可以根据用户的实际情况进行灵活配置。
3.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，在制作视频模型 数据样本时，支持MPEG-2、MPEG-4等多种视频格式。
4.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，所述的客户端 (100)之间相对独立，都可以通过网络与服务器进行通信。
5.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，所述的视频检索 前端设备(101)是基于内容的电视节目检索设备。
6.如权利要求1所述的基于内容比对的视频检索系统，其特征在于，该方法包括步骤Dl.客户端通过网络通道下载视频模型；D2.根据用户实际情况采集电视信号；D3.将电视信号与所述视频模型进行特征对比，检索出相似的视频数据；D4.生成规定的检索结果，实时上传给服务器。
7.如权利要求7所述的基于内容比对的视频检索系统，其特征在于，客户端比对检索 出相似的视频数据后，可自动进行节目录制和统计分析，生成规定的检索结果。
8.一种基于内容比对的视频检索系统，其中视频检索的方法包括步骤-51.所述客户端采集电视信号后，提取查询视频片段的特征；-52.所述服务器下载视频模型，提取视频模型的特征；-53.将所述提取到视频模型的特征与查询视频片段的特征进行相似性比较；-54.将比较后的结果按照相似度大小排序；-55.由客户端将比对结果反馈给服务器。
全文摘要
本发明涉及一种基于内容比对的视频检索系统，该系统包括客户端和服务器。其中客户端指用于实时监测视频节目的视频检索前端设备，服务器指在网络环境下运行的视频检索系统。本发明通过客户端设备实时监测视频节目，与服务器下载的视频模型做视频比对，实现对数字视频源包含的版权信息的检测和追踪，使受保护的数字媒体内容得到实时的监控，不被随意复制、传播，为电视节目管理结构、电视播出机构等提供必要的依据，保护了数字媒体内容提供商以及整个产业链，且克服了现有技术中存在的不足。
文档编号G06F17/30GK102043788SQ20091018073
公开日2011年5月4日 申请日期2009年10月21日 优先权日2009年10月21日
发明者姜河 申请人:北京金石智博科技发展有限公司