互联网多媒体信息挖掘分析系统的制作方法
【专利摘要】本发明的技术方案为：用户通过多媒体IO载体输入所需访问的多媒体内容或多媒体信息搜索条件；读取这些内容或根据搜索条件从互联网上获得多媒体内容；对于其中的图像/视频部分，判断所包含各个物体的区域及它们的内容；提取多媒体内容中与感知有关的特征；建立单幅图像中各物体间、视频中不同帧间同一物体、视频中不同镜头间、文本中相邻关键字间的特征关系；利用多媒体挖掘分析过程确定上述内容含有哪些敏感内容；将用户所需的内容通过IO载体反馈给用户。本发明综合了图像中物体之间的关系、视频中前后帧图像和音频的变化，以及文本中关键词上下文关系，适用于对互联网上视频/图像的挖掘/分析及对离线各个视频内容的分析和判断。
【专利说明】互联网多媒体信息挖掘分析系统
【技术领域】
[0001]本发明涉及一种互联网多媒体信息挖掘分析系统，属于信息【技术领域】。
【背景技术】
[0002]随着以互联网信息的爆炸式增长，视频/图像以其直观性和信息量丰富等都有的特色越来越在社会生活中扮演着重要角色。然而，互联网上的内容纷繁复杂，视频/图像中蔓延着各种色情、血腥、暴力及其它敏感内容，严重危害人们，特别是青少年的成长，及时准确提取和掌握信息情报的能力呈现了强烈的市场需求，由此诞生了科技新宠“数据挖掘技术”，并已经成为新闻舆论、媒体娱乐、商业情报、科学研究等领域占领先机的有力工具。
[0003]目前互联网上的内容挖掘分析系统层出不穷。但是它们的实现大多是基于文本信息，一些基于图像的搜索/挖掘/分析系统也只是根据图像底层的纹理、色彩等信息进行，无法分析或根据图像的高层语义，也就是通过图像中具有什么物体来进行，更不用说根据视频/图像中所包含的敏感内容进行挖掘和分类。另外，目前的互联网挖掘分析系统要么只针对文本，要么只针对图像本身这种单一的模态来进行。
[0004]因此建立一套高效多媒体信息挖掘分析系统十分必要。
【发明内容】
[0005]为解决以上问题，本发明提出了一种基于视频/图像高层语义分析和高层情感分析为主，结合语音识别和文本解析技术对互联网上相关的视频/图像内容进行分析的系统。该系统通过综合分析判断视频/图像中是否含有色情、暴力、恐怖、敏感以及用户可定制特定类别等相关的内容并进行相应的过滤或处理。
[0006]本发明的目的是通过以下技术方案实现的:
[0007](I)用户通过多媒体IO载体输入他所需要访问的多媒体内容或者是多媒体信息搜索条件；
[0008](2)读取用户输入的多媒体内容或者根据多媒体搜索条件从互联网上获得多媒体内容；
[0009](3)对于获得的多媒体内容中的图像/视频部分，通过以下步骤判断其中所包含各个物体的区域以及它们的内容:
[0010]①进行图像分割，获得多个局部区域；
[0011]②对每个区域提取相应的色彩、纹理信息；
[0012]③分析得到每个区域的物体含义；
[0013]④将具有相同物体含义的相邻的区域进行合并，得到不同的区域并获知每个区域是什么物体；
[0014]⑤将时间和空间上相邻的区域和物体进行联合分析，推理出物体的高层语义解释，以及事件/行为的计算机诠释，敏感内容识别。
[0015](4)根据视觉感知理论，提取多媒体内容中与感知有关的特征；[0016](5)建立单幅图像中各个物体之间的特征关系，建立视频中不同帧之间同一物体的特征关系，建立视频中不同镜头之间的特征关系，建立文本中相邻关键字之间的特征关系;
[0017](6)通过支持大数据的云端处理机制，利用多媒体挖掘分析过程确定上述多媒体内容含有哪些敏感内容，比如色情、暴力、恐怖等，一组多媒体内容中可能还有I个或多个敏感内容；
[0018](7)将用户所需要的多媒体内容通过智能多媒体IO载体反馈给用户。
[0019]所述的智能多媒体IO载体是指电脑、手机、移动终端及智能手表中一种。
[0020]所述的多媒体内容是指视频、图像、音频、文本中的一种或多种。
[0021]本发明首先基于感知学的基本原理从视频/图像/音频中抽取与敏感内容相关联的特征；同时，系统能根据用户自定义敏感信息来进行内容分析和检索，将实现视频/图像的高层次语义分析和敏感内容的识别，融合文本、语音以及视觉信息完成语义分析和敏感内容识别。互联网多媒体信息挖掘分析系统不再是对单一的媒体(模态)进行分析，而是将图像中物体之间的关系，视频中前后帧图像和音频的变化，以及文本中关键词上下文关系都考虑进去，建立一个多媒体数据综合分析系统。本发明不仅适用于对互联网上视频/图像的挖掘/分析，也适用于对离线各个视频内容的分析和判断，系统分析识别准确率可达 90%。
【具体实施方式】
[0022]以下采用实施例具体说明本发明的互联网多媒体信息挖掘分析系统。
[0023]实施例1
[0024]互联网多媒体信息挖掘分析系统是通过以下技术方案实现的:
[0025](I)用户通过多媒体IO载体输入他所需要访问的多媒体内容或者是多媒体信息搜索条件；
[0026](2)读取用户输入的多媒体内容或者根据多媒体搜索条件从互联网上获得多媒体内容；
[0027](3)对于获得的多媒体内容中的图像/视频部分，通过以下步骤判断其中所包含各个物体的区域以及它们的内容:
[0028]①进行图像分割，获得多个局部区域；
[0029]②对每个区域提取相应的色彩、纹理信息；
[0030]③分析得到每个区域的物体含义；
[0031]④将具有相同物体含义的相邻的区域进行合并，得到不同的区域并获知每个区域是什么物体；
[0032]⑤将时间和空间上相邻的区域和物体进行联合分析，推理出物体的高层语义解释，以及事件/行为的计算机诠释，敏感内容识别。
[0033](4)根据视觉感知理论，提取多媒体内容中与感知有关的特征；
[0034](5)建立单幅图像中各个物体之间的特征关系，建立视频中不同帧之间同一物体的特征关系，建立视频中不同镜头之间的特征关系，建立文本中相邻关键字之间的特征关系；[0035](6)通过支持大数据的云端处理机制，利用多媒体挖掘分析过程确定上述多媒体内容含有哪些敏感内容，比如色情、暴力、恐怖等，一组多媒体内容中可能还有I个或多个敏感内容；
[0036](7)将用户所需要的多媒体内容通过智能多媒体IO载体反馈给用户。
[0037]所述的智能多媒体IO载体是指电脑。
[0038]所述的多媒体内容是指视频。
【权利要求】
1.互联网多媒体信息挖掘分析系统，其特征在于是通过以下技术方案实现的: (1)用户通过多媒体IO载体输入他所需要访问的多媒体内容或者是多媒体信息搜索条件； (2)读取用户输入的多媒体内容或者根据多媒体搜索条件从互联网上获得多媒体内容； (3)对于获得的多媒体内容中的图像/视频部分，通过以下步骤判断其中所包含各个物体的区域以及它们的内容: ①进行图像分割，获得多个局部区域； ②对每个区域提取相应的色彩、纹理信息； ③分析得到每个区域的物体含义； ④将具有相同物体含义的相邻的区域进行合并，得到不同的区域并获知每个区域是什么物体； ⑤将时间和空间上相邻的区域和物体进行联合分析，推理出物体的高层语义解释，以及事件/行为的计算机诠释，敏感内容识别。 (4)根据视觉感知理论，提取多媒体内容中与感知有关的特征； (5)建立单幅图像中各个物体之间的特征关系，建立视频中不同帧之间同一物体的特征关系，建立视频中不同镜头之间的特征关系，建立文本中相邻关键字之间的特征关系； (6)通过支持大数据的云端处理机制，利用多媒体挖掘分析过程确定上述多媒体内容含有哪些敏感内容，比如色情、暴力、恐怖等，一组多媒体内容中可能还有I个或多个敏感内容； (7)将用户所需要的多媒体内容通过智能多媒体IO载体反馈给用户。
2.根据权利要求1所述的互联网多媒体信息挖掘分析系统，其特征在于所述的智能多媒体IO载体是指电脑、手机、移动终端及智能手表中一种。
3.根据权利要求1所述的互联网多媒体信息挖掘分析系统，其特征在于所述的多媒体内容是指视频、图像、音频、文本中的一种或多种。
【文档编号】G06F17/30GK103455630SQ201310432932
【公开日】2013年12月18日 申请日期:2013年9月23日 优先权日:2013年9月23日
【发明者】熊伟华 申请人:江苏刻维科技信息有限公司