一种云环境下数字媒体内容资源的集成共享方法
【专利摘要】本发明涉及一种云环境下数字媒体内容资源的集成共享方法，主要包括：本发明针对数字媒体资源分布相对独立、分散和封闭建立一种统一视图，对数字媒体数据进行集成与共享；以WordNet为本体蓝本，构造了不同领域的可扩展的数字媒体资源的本体；建立一种数字媒体语义的表达方法，支持对数字媒体云素材进行不同粒度下的标注，对数字媒体云素材进行统一管理和使用。本发明整合异地的数字媒体资源和数据库，实现对数字媒体资源有效的共享、组织、管理和处理。支持不同粒度的数字媒体素材语义标注和检索。
【专利说明】—种云环境下数字媒体内容资源的集成共享方法
【技术领域】
[0001]本发明涉及虚拟现实、知识表达与数据库【技术领域】，具体涉及一种云环境下数字媒体内容资源的集成共享方法，具体地说是面向数字媒体云素材的集成共享、素材库构造及数字媒体语义表达方法。
【背景技术】
[0002]数字媒体是一个跨学科的综合性技术，它以信息科学和数字技术为主导，以大众传播理论为依据，以现代艺术为指导，将信息传播技术应用到文化、艺术、商业、教育和管理领域，包含图形图像处理技术、人机交互技术、虚拟现实技术和大众传媒技术等，具有明显多学科、多领域、多方向的技术交叉特性。
[0003]数字媒体服务的发展与应用需要各类数字媒体资源的支持。数字媒体资源是生成量大、使用广泛、结构复杂、研究价值高、信息量丰富的资源型态，包括图片资源、视频素材、三维模型、音频资源、软件资源、数据集资源等。但是，一方面，当前的数字媒体资源数量呈海量增长，资源又相对独立、分散和封闭，没有实现有效充分的共享，导致信息冗余，存在利用率低、存储资源浪费、资源重复建设等情况，已经成为众多数字媒体应用系统的瓶颈问题，使得数字媒体的内容制作和服务不能充分利用现有的丰富资源，严重影响了我国数字媒体的发展，因此必须建立统一的数字媒体素材数据库，有效整合数字媒体资源，以进行统一、有效的管理。另一方面，数字媒体素材有大量的检索和应用需求，数据获取的效率和精确性问题变得十分突出。如何有效地按照数字媒体数据的特性去存取这些数据，使人们能够方便地从大量数字媒体信息中找到自己感兴趣的相关片段已成为一种迫切的需求。用户在进行数字媒体资源检索时重点关注的是资源中蕴涵的、可用自然语言描述、易于用户理解和表示的语义信息，而传统查询是在符号匹配层次上进行查询，一方面没有充分扩展用户的查询意图，同时也忽略了数字媒体素材丰富的语义信息，而语义查询能从根本上改善信息检索性能，这就需要提供云环境下海量的数字媒体资源的有效知识化语义描述，即对资源进行标注和表达。
[0004]综合上述两点，需要一套面向数字媒体资源的语义素材库的构造方法。
【发明内容】
[0005]根据实际需求和关键问题，本发明的目的在于:提出面向数字媒体云素材的语义素材库构造方法。通过对实现数字媒体数据集成共享、构造不同领域的数字媒体资源的本体、以及通过建立一种对数字媒体的语义表达方法实现对数字媒体云素材进行统一管理和使用，并实现语义精确检索。
[0006]本发明采用的技术方案为:一种云环境下数字媒体内容资源的集成共享方法，其特征在于以下步骤:
[0007]步骤(I)、定义并实现数据库访问接口，利用云环境下异构数字媒体数据库访问与集成中间件，对不同地区的原始数字媒体素材进行统一的管理；[0008]步骤(2)、提出数字媒体素材的本体概念分类及表示，以WordNet为本体蓝本，构建了 一个针对不同应用领域的数字媒体素材语义本体库；
[0009]步骤(3)、通过语义本体树节点与原始数字媒体素材建立对应关系，提供一种规范化语义描述方法，实现对原始数字媒体素材，在不同粒度下的语义标注。
[0010]其中，步骤(I)中的数字媒体数据库访问与集成中间件整合的包括图像资源、视频资源、三维模型资源、音频资源、数据集资源和软件资源在内的广域分布的异构的数字媒体资源。
[0011]其中，步骤(I)中定义并实现数据库访问接口是建立一种统一的mysql数据库格式，利用云环境下异构数字媒体数据库访问与集成中间件，在数字媒体数据库的原始素材子库保存异构的数字媒体数据库的副本，并利用中间件的接口与异构的数字媒体数据库保持同步更新，这样可以保证数据格式的一致性，避免过多的数据接口和数据转换，以提高查询效率。
[0012]其中，步骤(2)中的数字媒体素材的通过提取wordnet中的蕴涵关系的层次(上位/下位关系)，形成语义本体库的顶层本体，并通过研究分析海量数字媒体资源的语义特征丰富数字媒体相关节点，建立领域本体。最终本体信息是以树形结构存入语义本体库中，建立了一颗完备的数字媒体领域的本体语义树，本体具有面向数字媒体领域的通用性、完备性以及可扩展性。
[0013]其中，步骤(3)中的不同粒度下的语义标注是指标签标注和对象轮廓标注，利用语义标注工具，对媒体素材中的对象、动作以及场景语义进行标注，从而建立起数字媒体资源到领域本体的映射关系，进而有效地按照本体语义去管理和检索数字媒体数据。
[0014]本发明的原理在于:
[0015]首先，本发明针对数字媒体资源分布相对独立、分散和封闭建立一种统一视图，定义并实现数据库访问接口，建设云环境下异构数字媒体数据库访问与集成中间件，建立一种统一的mysql数据库格式并在数字媒体数据库的原始素材子库保存异构的数字媒体数据库的副本，对不同地区的原始数字媒体素材进行统一的管理，并向数字媒体应用开发者和最终用户提供统一的视图和接口。
[0016]其次，本发明构建了一个针对不同应用领域的数字媒体素材语义本体库。这个语义库以WordNet为本体蓝本,WordNet是由Princeton大学的心理学家,语言学家和计算机工程师联合设计的按单词的意义组成一个“单词的网络”。本发明从WordNet —个最顶层的抽象概念,事物(thing)开始，通过提取WordNet中蕴涵关系的层次(上位/下位关系)，建立语义本体库的顶层本体，并通过研究分析海量数字媒体资源的语义特征丰富数字媒体相关节点建立领域本体。最终建立了一颗本体语义树，其中每一个节点表示一类通用的概念。
[0017]最后，本发明通过语义本体树节点与原始数字媒体素材建立对应关系，提供一种规范化语义描述方法，实现对原始媒体素材的语义标注。将数字媒体素材的内容信息用本体语言形式化表示，同时支持不同粒度的语义标注。实现对本体的管理和对素材的语义检索。
[0018]与现有技术其他视频图像素材库相比，本发明的特点在于:
[0019](I)、本发明整合异地的数字媒体资源和数据库，实现对数字媒体资源有效的共享、组织、管理和处理。[0020](2)、本发明具有可扩展的领域本体知识。
[0021](3)、本发明支持不同粒度的数字媒体素材语义标注和检索。本发明所构造的素材库不仅可以标注和检索完整的媒体素材素材，还对媒体素材中的对象、动作以及场景语义进行标注或检索，并向数字媒体应用开发者和最终用户提供统一的视图和接口。
[0022](4)、本发明标注服务可以配合用户激励制度，鼓励用户共享数字媒体媒体资源和给库中资源添加标注。提高资源的共享程度，创造知识资源(如学术数据集)等。
【专利附图】
【附图说明】
[0023]图1是本发明的总体结构示意图(知识表达模型)；
[0024]图2是本发明的本体语义视图；
[0025]图3是本发明的数字媒体资源的标签标注；
[0026]图4是图像资源的对象轮廓标注；
[0027]图5是本发明的数据库结构示意图；
[0028]图6是本发明的数字媒体素材检索流程图；
[0029]图7是本发明的数字媒体素材语义检索结果图。
【具体实施方式】
[0030]下面结合附图以及【具体实施方式】对本发明做详细说明。
[0031]参阅图1本发明的总体结构示意图。数字媒体资源云由数据库统一视图，资源注册模块，语义标注模块与资源检索模块组成。数字媒体资源云数据库统一视图由素材数据库、语义本体库和语义标记库组成，用于存储、管理在不同地方的原始数字媒体数据库资源，知识库资源和标记库资源。本发明建立了一种统一的mysql数据库格式，利用云环境下异构数字媒体数据库访问与集成中间件，将异构的数字媒体数据库中的原始数字媒体素材数据导入素材数据库中，将异构的数字媒体数据库中的本体概念整合到本体语义库中。利用中间件的接口，在素材数据库对媒体素材基本信息的修改、删除会同步更新到异构的数字媒体数据库中，来保证数据的一致性。有效的对异构的数字媒体资源进行统一的管理。素材数据库用于直接存储各种数字媒体资源的基本信息，如数据类别、数据大小、标题与基本描述信息等。语义本体库存储了数字媒体的本体知识集合。语义标记库存储素材与语义本体的映射关系。资源注册模块通过注册用户上传的和整合存储在异地的原始媒体素材这两种方式增加数字媒体资源云的媒体素材。原始资源注册后，利用标注模块在语义本体的指导下，媒体数据库中的原始媒体素材映射到一个或多个本体库中的概念。资源检索模块既可以根据关键词对媒体素材库进行检索，也可以通过查询语义标注库对媒体内容进行检索。
[0032]参阅图2本发明所构建的本体语义视图，本体视图利用本体服务，在本体库中检索所有的概念以及概念与概念之间的关系，用树形结构的形式向用户展现检索结果。本体树由顶层本体和领域本体组成:顶层本体描述的是最普遍的概念及概念之间的关系，与具体应用无关，领域本体描述的是特定领域中的概念和概念之间的关系。这颗语义本体树的顶层本体是在分析WordNet之后得出的。从WordNet —个最顶层的抽象概念，事物(thing)开始，通过提取WordNet中蕴涵关系的层次(上位/下位关系)，构成了一棵原始本体树，再对这课原始本体树进行修整、翻译就形成了顶层本体。在顶层本体的基础上，通过研究分析了海量数字媒体资源的语义特征，对一些数字媒体的相关概念进行扩充，构成领域本体。在本体中，每一个节点是一个概念类。语义树的总节点是“Thing (事物)”，其他所有的类都是根类“Thing (事物)”的子类。在具体的子类上构造领域本体树。
[0033]语义标注主要有标签标注和对象轮廓标注。标签标注参阅图3所示，系统管理人员与用户在本体库的约束下，可以对数字媒体资源云内的各种类型的数字媒体资源添加标签标注，这些标签可以是语义库中的节点，也可以由用户自行构造。用户还可以提交增加语义节点的请求，由管理员审核通过后即可丰富语义本体库。对象轮廓标注只针对图像资源，参阅图4所示，用户利用语义标注工具描绘出图像中对象的轮廓信息，再对该对象添加语义。无论是标签标注还是对象轮廓标注，通过标注产生的数字媒体资源与语义节点的映射关系都存储在数据库的语义标注表中。对象轮廓标注中的对象轮廓的详细信息存储在xml文件中，这些轮廓信息不仅包含对象语义，还可作为对象提取，场景分析等数字媒体研究的数据集数据集使用。本发明设置了一种用户激励制度，数字媒体资源云系统采取积分制度，系统用户上传数字媒体资源和给数字媒体资源添加标注奖励积分，积分可以用来下载库中的资源和使用系统中数字媒体相关工具。鼓励系统用户共享数字媒体媒体资源和给库中资源添加标注。提高资源的共享程度，创造知识资源(如学术数据集)等。
[0034]参阅图5本发明的数据库结构示意图，黑色箭头表示不同表结构的字段的对应关系。素材数据库，包括“t_picture (图像)”、“t_vide (视频)”、“t_model (模型)”等表，实体记录数字媒体资源的ID、URL地址、标题等基本信息，数字媒体资源在入库时，相应产生一条资源的记录，对应其资源的类型存储在这些表中。语义本体库，包括“t_onology (语义)”等表，用于存储语义本体树。一条记录存储一个本体树中的语义节点，记录了语义节点的ID、语义名称、父节点的ID等信息。语义表的树形结构根据节点间的父子关系来确定。语义标注库，包括“t_annotation (标注)”等表,记录数字媒体资源与语义节点的映射关系。每一条映射关系就是一条标注。“t_annotation (标注)”表中的resourceType字段记录这条标注的标注对象的类型，由图中虚线表示，可以是数字媒体素材四种类型的任意一种。表中resourceID字段记录标注对象在对应的素材表中的ID。resourceType+resourcelD就可以在库中唯一的确定标注的对象的记录。表中onologyID字段，存放的是本体的ID，由图中虚线表示，指向语义本体库中“t_onology (语义)”表中的一个本体，也就是这条标注的语义。
[0035]参阅图6本发明的数字媒体素材检索流程图。数字媒体数据库中数字媒体素材支持两种方式的检索:简单检索(关键词检索)和语义检索。当收到一条查询请求是，首先判断请求的类型，如果是简单检索，用查询请求中的关键词对原始素材库中数字媒体素材表的标题、描述等字段进行匹配，检索出结果。如果是语义检索，首先用查询请求中的检索关键词匹配本体语义库，得到一个匹配的语义节点，再利用这个语义节点检索语义标记库，得到包含这条语义的所有语义标注记录，最后在原始素材库中查询出各条语义标注记录所对应的数字媒体素材，既为语义检索结果。语义检索参阅图7所示，在语义浏览页面，点击左侧本体语义树中的节点“体育赛事”，检索出了所以包含“体育赛事”这一语义的素材。
[0036]本发明未详细公开的部分属于本领域的公知技术。
[0037]尽管上面对本发明说明性的【具体实施方式】进行了描述，以便于本【技术领域】的技术人员理解本发明，但应该清楚，本发明不限于【具体实施方式】的范围，对本【技术领域】的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
【权利要求】
1.一种云环境下数字媒体内容资源的集成共享方法，其特征在于以下步骤: 步骤(I)、定义并实现数据库访问接口，利用云环境下异构数字媒体数据库访问与集成中间件，对不同地区的原始数字媒体素材进行统一的管理； 步骤(2)、提出数字媒体素材的本体概念分类及表示，以WordNet为本体蓝本，构建了一个针对不同应用领域的数字媒体素材语义本体库； 步骤(3)、通过语义本体树节点与原始数字媒体素材建立对应关系，提供一种规范化语义描述方法，实现对原始数字媒体素材，在不同粒度下的语义标注。
2.如权利要求1所述的云环境下数字媒体内容资源的集成共享方法，其特征在于:(1)中的数字媒体数据库访问与集成中间件整合的包括图像资源、视频资源、三维模型资源、音频资源、数据集资源和软件资源在内的广域分布的异构的数字媒体资源。
3.如权利要求1所述的云环境下数字媒体内容资源的集成共享方法，其特征在于:(1)中定义并实现数据库访问接口是建立一种统一的mysql数据库格式，利用云环境下异构数字媒体数据库访问与集成中间件，在数字媒体数据库的原始素材子库保存异构的数字媒体数据库的副本，并利用中间件的接口与异构的数字媒体数据库保持同步更新，这样可以保证数据格式的一致性，避免过多的数据接口和数据转换，以提高查询效率。
4.如权利要求1所述的云环境下数字媒体内容资源的集成共享方法，其特征在于:(2)中的数字媒体素材的通过提取wordnet中的蕴涵关系的层次，形成语义本体库的顶层本体，并通过研究分析海量数字媒体资源的语义特征丰富数字媒体相关节点，建立领域本体，最终本体信息是以树形结构存入语义本体库中，建立了一颗完备的数字媒体领域的本体语义树，本体具有面向数字媒体领域的通用性、完备性以及可扩展性。
5.如权利要求1所述的云环境下数字媒体内容资源的集成共享方法，其特征在于:(3)中的不同粒度下的语义标注是指标签标注和对象轮廓标注，利用语义标注工具，对媒体素材中的对象、动作以及场景语义进行标注，从而建立起数字媒体资源到领域本体的映射关系，进而有效地按照本体语义去管理和检索数字媒体数据。
【文档编号】G06F17/30GK103699572SQ201310611983
【公开日】2014年4月2日 申请日期:2013年11月26日 优先权日:2013年11月26日
【发明者】陈小武, 王晓诗, 赵沁平, 张宇, 李嘉藩 申请人:北京航空航天大学