一种视频检索方法和系统的制作方法
【专利摘要】本发明提供一种视频检索方法和系统，包括：将视频切分为多个内容独立的视频片段；得到所述视频的主题词；根据所述主题词对每一个视频片段进行文本标注，制作每一个视频片段的视频摘要，根据所述文本标注和视频摘要构建视频的语义内容索引，根据所述语义内容索引快速浏览和检索视频内容。本发明能够将视频切分成内容相对独立的多个视频片段，得到每一个视频片段的主题词，并在此基础上对视频进行结构化，建立对视频的语义内容索引，从而方便用户快速预览视频内容，定位其感兴趣的信息，提高了用户浏览和检索的效率。
【专利说明】一种视频检索方法和系统
【技术领域】
[0001]本发明涉及多媒体【技术领域】，尤其涉及一种视频检索方法和系统。
【背景技术】
[0002]我国农村医疗条件和设施薄弱，医疗卫生建设步伐相对滞后，且由于经济相对落后，科学文化水平较低，农村居民普遍缺乏医疗卫生与营养健康意识，不利于群众的营养健康保健和疾病的防御防范，尤其是妇女、儿童及老人等弱势群体缺乏基本的营养知识及健康保健技术，其营养健康水平严重落后于发达地区。
[0003]为了普及营养健康保健及常见疾病预防诊治知识，可通过编制针对农村重点人群如妇女、儿童、老人等的营养健康保健及常见疾病防治的营养健康视频提高人们的营养健康意识，最大程度减少营养不良等健康问题的发生，并能对常见疾病进行预防和治疗。
[0004]但是对于一期长达I小时左右的营养健康视频来说，观众可能只对视频中的某些内容感兴趣。例如，一期以高血压的预防治疗为主题的健康教育视频，有些观众可能只对其中大约5分钟左右的高血压的日常饮食方面内容比较感兴趣。但是，由于营养健康视频没有进行结构化，缺乏内容索引，为了找到这部分内容，观众往往需要浏览整个视频，对于观众来说，浏览不感兴趣的内容不仅冗长乏味的，而且耗费时间、精力。
【发明内容】
[0005](一)要解决的技术问题
[0006]本发明提供一种视频检索方法和系统，以解决现有技术中对感兴趣部分查找困难的技术问题。
[0007](二)技术方案
[0008]为解决上述技术问题，本发明提供一种视频检索方法，包括:
[0009]将视频切分为多个内容独立的视频片段；
[0010]得到所述视频的主题词；
[0011]根据所述主题词对每一个视频片段进行文本标注，制作每一个视频片段的视频摘要，根据所述文本标注和视频摘要构建视频的语义内容索引，根据所述语义内容索引快速浏览和检索视频内容。
[0012]进一步地，所述将视频切分为多个内容独立的视频片段包括:
[0013]提取视频的视觉特征；
[0014]度量相邻两帧的相似性；
[0015]通过预先设定的切分镜头边缘的阈值，确定镜头切分位置，得到多个内容独立的视频片段。
[0016]进一步地，所述得到所述视频的主题词包括:
[0017]使用自动分词法对视频的字幕文档进行分句，对每一句使用全监督式分词模型进行分词；[0018]对每个词使用全监督式词性标注模型进行词性标注；
[0019]统计其中词性标注为名词的词在视频的字幕文档中出现的词频，将词频前20位的名词作为视频的主题词。
[0020]进一步地，所述根据所述主题词对每一个视频片段进行文本标注包括:
[0021]以视频的每个主题词作为查询词，在每一个视频片段的字幕文档中进行搜索，将成功搜索到的主题词作为该视频片段的文本标注。
[0022]进一步地，所述制作每一个视频片段的视频摘要包括:
[0023]提取每一个视频片段的首尾帧，并随机抽取中间的10帧，形成该视频片段的视频摘要。
[0024]另一方面，本发明还提供一种视频检索系统，包括:视频结构化模块、视频内容主题词提取模块和视频语义索引自动生成模块，视频结构化模块和视频内容主题词提取模块与视频语义索引自动生成模块分别相连，其中:
[0025]视频结构化模块，用于将视频切分为多个内容独立的视频片段；
[0026]视频内容主题词提取模块，用于得到所述视频的主题词；
[0027]视频语义索引自动生成模块，用于根据所述主题词对每一个视频片段进行文本标注，制作每一个视频片段的视频摘要，根据所述文本标注和视频摘要构建视频的语义内容索引，根据所述语义内容索引快速浏览和检索视频内容。
[0028]进一步地,所述视频结构化模块包括:
[0029]视频视觉特征提取模块，用于提取视频的视觉特征；
[0030]镜头相似度计算及镜头切分模块，用于度量相邻两帧的相似性；通过预先设定的切分镜头边缘的阈值，确定镜头切分位置，得到多个内容独立的视频片段。
[0031]进一步地，所述视频内容主题词提取模块包括:
[0032]自动分词模块，用于使用自动分词法对视频的字幕文档进行分句，对每一句使用全监督式分词模型进行分词；
[0033]词频统计和主题词提取模块，用于统计其中词性标注为名词的词在视频的字幕文档中出现的词频，将词频前20位的名词作为视频的主题词。
[0034]进一步地，所述视频语义索引自动生成模块包括:
[0035]文本标注生成模块，用于以视频的每个主题词作为查询词，在每一个视频片段的字幕文档中进行搜索，将成功搜索到的主题词作为该视频片段的文本标注。
[0036]进一步地，所述视频语义索引自动生成模块包括:
[0037]视频摘要提取模块，用于提取每一个视频片段的首尾帧，并随机抽取中间的10帧，形成该视频片段的视频摘要。
[0038](三)有益效果
[0039]可见，在本发明提出的一种视频检索方法和系统中，能够将视频切分成内容相对独立的多个视频片段，得到每一个视频片段的主题词，并在此基础上对视频进行结构化，建立对视频的语义内容索引，从而方便用户快速预览视频内容，定位其感兴趣的信息，提高了用户浏览和检索的效率。
【专利附图】
【附图说明】[0040]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0041]图1是本发明实施例1视频检索方法的流程不意图；
[0042]图2是本发明实施例2视频检索方法的流程不意图；
[0043]图3是本发明实施例3视频检索系统的基本结构不意图；
[0044]图4是本发明实施例3视频检索系统的一个优选结构示意图。
【具体实施方式】
[0045]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]实施例1:
[0047]本发明实施例1提供一种视频检索方法，参见图1，包括:
[0048]步骤101:将视频切分为多个内容独立的视频片段；
[0049]步骤102:得到所述视频的主题词；
[0050]步骤103:根据所述主题词对每一个视频片段进行文本标注，制作每一个视频片段的视频摘要，根据所述文本标注和视频摘要构建视频的语义内容索引，根据所述语义内容索引快速浏览和检索视频内容。
[0051 ] 可见，在本发明实施例提出的一种视频检索方法中，能够将视频切分成内容相对独立的多个视频片段，并得到视频的主题词，在此基础上对视频进行结构化，建立对视频的语义内容索引，从而方便用户快速预览视频内容，定位其感兴趣的信息，提高了用户浏览和检索的效率。
[0052]优选地，将视频切分为多个内容独立的视频片段可以包括:提取视频的视觉特征；度量相邻两帧的相似性；通过预先设定的切分镜头边缘的阈值，确定镜头切分位置，得到多个内容独立的视频片段。
[0053]优选地，得到所述视频的主题词可以包括:使用自动分词法对视频的字幕文档进行分句，对每一句使用全监督式分词模型进行分词；对每个词使用全监督式词性标注模型进行词性标注；统计其中词性标注为名词的词在视频的字幕文档中出现的词频，将词频前20位的名词作为视频的主题词。
[0054]优选地，根据所述主题词对每一个视频片段进行文本标注可以包括:以视频的每个主题词作为查询词，在每一个视频片段的字幕文档中进行搜索，将成功搜索到的主题词作为该视频片段的文本标注。
[0055]优选地，制作每一个视频片段的视频摘要可以包括:提取每一个视频片段的首尾帧，并随机抽取中间的10帧，形成该视频片段的视频摘要。
[0056]实施例2:
[0057]本发明实施例2提供一种基于内容的营养健康视频快速检索方法，参见图2，该方法包括:
[0058]步骤201:将输入的营养健康视频文件切分为多个内容独立的视频片段。
[0059]本步骤中，可以通过镜头边缘检测技术，如颜色直方图法、绝对帧差法、图像象素差法等检测镜头边缘，获得相邻镜头之间的边缘，作为镜头切分的依据。具体为:首先，提取视频的视觉特征，如颜色直方图、像素块等；然后，选择度量相邻帧之间相似度的计算方法，如可以通过计算相邻两帧图像的直方图差或者相邻两帧图像的像素差等方法度量相邻两帧的相似性；最后，通过预先设定的切分镜头边缘的阈值，确定镜头切分的位置，最终得到一系列的视频片段。
[0060]在本发明实施例2中，对于给定的营养健康视频，采用颜色直方图法提取镜头边缘。具体为:
[0061]I)分别获取任意相邻两帧，即第i帧&的RGB颜色直方图HistJfi, j)、HistJfi, j)、HistB(fi, j)和第 i+1 中贞 fi+1 的 RGB 颜色直方图 HistE(fi+1, j)、Histc(fi+1, j)、HistB(fi+1，j)，其中 i=0，1，2，…255。
[0062]2)计算相邻两帧fi和fi+1的直方图差D (fi; fi+1)，其中
[0063]D(fi； fi+1) =
【权利要求】
1.一种视频检索方法，其特征在于，包括: 将视频切分为多个内容独立的视频片段； 得到所述视频的主题词； 根据所述主题词对每一个视频片段进行文本标注，制作每一个视频片段的视频摘要，根据所述文本标注和视频摘要构建视频的语义内容索引，根据所述语义内容索引快速浏览和检索视频内容。
2.根据权利要求1所述的视频检索方法，其特征在于，所述将视频切分为多个内容独立的视频片段包括: 提取视频的视觉特征； 度量相邻两帧的相似性； 通过预先设定的切分镜头边缘的阈值，确定镜头切分位置，得到多个内容独立的视频片段。
3.根据权利要求1所述的视频检索方法，其特征在于，所述得到所述视频的主题词包括: 使用自动分词法对视频的字幕文档进行分句，对每一句使用全监督式分词模型进行分词； 对每个词使用全监督式词性标注模型进行词性标注； 统计其中词性标注为名词的词在视频的字幕文档中出现的词频，将词频前20位的名词作为视频的主题词。
4.根据权利要求1至3中任一项所述的视频检索方法，其特征在于，所述根据所述主题词对每一个视频片段进行文本标注包括: 以视频的每个主题词作为查询词，在每一个视频片段的字幕文档中进行搜索，将成功搜索到的主题词作为该视频片段的文本标注。
5.根据权利要求1至3中任一项所述的视频检索方法，其特征在于，所述制作每一个视频片段的视频摘要包括: 提取每一个视频片段的首尾帧，并随机抽取中间的10帧，形成该视频片段的视频摘要。
6.一种视频检索系统，其特征在于，包括:视频结构化模块、视频内容主题词提取模块和视频语义索引自动生成模块，视频结构化模块和视频内容主题词提取模块与视频语义索引自动生成模块分别相连，其中: 视频结构化模块，用于将视频切分为多个内容独立的视频片段； 视频内容主题词提取模块，用于得到所述视频的主题词； 视频语义索引自动生成模块，用于根据所述主题词对每一个视频片段进行文本标注，制作每一个视频片段的视频摘要，根据所述文本标注和视频摘要构建视频的语义内容索引，根据所述语义内容索引快速浏览和检索视频内容。
7.根据权利要求6所述的视频检索系统，其特征在于，所述视频结构化模块包括: 视频视觉特征提取模块，用于提取视频的视觉特征； 镜头相似度计算及镜头切分模块，用于度量相邻两帧的相似性；通过预先设定的切分镜头边缘的阈值，确定镜头切分位置，得到多个内容独立的视频片段。
8.根据权利要求6所述的视频检索系统，其特征在于，所述视频内容主题词提取模块包括: 自动分词模块，用于使用自动分词法对视频的字幕文档进行分句，对每一句使用全监督式分词模型进行分词； 词频统计和主题词提取模块，用于统计其中词性标注为名词的词在视频的字幕文档中出现的词频，将词频前20位的名词作为视频的主题词。
9.根据权利要求6至8中任一项所述的视频检索系统，其特征在于，所述视频语义索引自动生成模块包括: 文本标注生成模块，用于以视频的每个主题词作为查询词，在每一个视频片段的字幕文档中进行搜索，将成功搜索到的主题词作为该视频片段的文本标注。
10.根据权利要求6至8中任一项所述的视频检索系统，其特征在于，所述视频语义索引自动生成模块包括: 视频摘要提取模块，用于提取每一个视频片段的首尾帧，并随机抽取中间的10帧，形成该视频片段的视 频摘要。
【文档编号】G06F17/30GK103761284SQ201410014651
【公开日】2014年4月30日 申请日期:2014年1月13日 优先权日:2014年1月13日
【发明者】杨颖 , 高万林, 陈瑛 申请人:中国农业大学