专利名称：基于媒体分析的数字媒体内容服务网关系统的制作方法
技术领域：
本发明属于无线多媒体通信领域，具体涉及基于媒体分析的数字媒体内容服务网关系统。
背景技术：
进入二^^一世纪，以数字媒体技术、网络技术与文化内容相融合而产生的数字内容产业在世界各地高速成长。我国也大力发展基于不同网络、不同终端的各类数字媒体内容运营综合服务如移动增值、数字电视、IPTV等领域都取得了重要的进展，不同网络、不同业务正在进行融合。随着各大运营商3G网络的陆续建成，移动数字媒体内容服务无疑将成为其最为重要的业务和前景最为广阔的应用之一。有关数据指出，到2012年移动视频数据量将占总体数据量的90%左右。
从市场需求来看，传统2G时代的移动业务，如信息通信、手机音乐等，是基于低带宽、低速率传输的，已不能满足现代用户多样化的要求。以提供移动多媒体业务为主要特征的3G网络，加速了手机视频业务的发展。此外，手机等移动终端技术在逐渐增强，如CPU处理能力、电池容量和屏幕分辨率等都在提高。这些技术的发展都加强了移动业务的渗透性，尤其是能为移动运营商带来更大价值的手机视频业务。从用户需求来看，现代物质文化水平日益提高，都市生活节奏加快，消费需求呈现多样化、个性化的发展趋势，而且，人们花费的移动时间也在逐渐增加，这些需求都加速了移动业务的发展。随着无线网络技术的发展，网络带宽和传输速率都有所提升，加上公共场所无线网络的覆盖，人们迫切希望享受移动业务的便捷性和丰富性，从手机上享受到互联网上丰富的应用，如移动支付、手机电视、手机新闻等。手机视频业务更加贴近用户的消费心理，能满足人们消费需求的转变。目前，多媒体内容适配技术研究的重点和发展趋势总的来说可以分为两个大类数字内容转码和可伸缩编解码技术。国外在这两种技术方面的研究开展较早在内容转码方面，国外针对MPEG-1、MPEG-2、MPEG-4的转码算法已有广泛研究，有关厂商推出了专用的媒体内容转码设备；在可伸缩编码方面，国际MPEG组织成立SVC小组(隶属于MPEG-21)致力于可伸缩视频编解码技术的研究、评估以及相关标准的制定。以上两种适配技术都是基于率失真模型，以优化率失真特性为目标，主要问题在于适配后的客观质量指标能达到较好的效果，但用户视觉质量则有可能得不到保证；而且由于准确的率失真模型难于获得，编码速率、分辨率的减少都具有较大的局限性。
发明内容
为了克服现有技术的不足，充分保证优化用户感受质量，本发明提出了一种基于媒体内容分析的数字媒体内容服务网关系统。该系统首先基于以媒体内容价值评价模型，对数字媒体内容的各组成要素进行价值评分；然后根据移动终端的能力、带宽变化、时延抖动等约束条件，结合媒体内容评价信息，在最大限度的保留对用户感受质量重要的数字媒体内容要素的基础上，动态调整数字媒体内容的编码特性，实现数字媒体内容在不同网络环境、消费终端上的有效使用。本发明的技术方案为一种基于媒体内容分析的数字媒体内容服务网关系统，数字媒体内容服务网关系统设置在移动运营商的服务器端上，数字媒体内容服务网关系统中设置移动终端信息获取模块、数字媒体内容管理数据库模块、数字媒体内容价值评价与分析模块和数字媒体内容适配决策与处理模块；所述移动终端信息获取模块，用于提供入口页面，在移动终端访问入口页面时获取移动终端型号信息和用户所要访问的数字媒体内容地址信息，然后和本地的移动终端参数信息库进行匹配，记录下相应移动终端设备参数和用户所要访问的资源地址信息；移动终端信息获取模块将用户所要访问的数字媒体内容地址信息发送给数字媒体内容价值评价与分析模块，同时将移动终端设备参数发送给数字媒体内容适配决策与处理模块； 所述数字媒体内容管理数据库模块，用于通过数据库管理来完成数字媒体内容的更新及读写工作；所述数字媒体内容价值评价与分析模块，用于确定组成数字媒体内容的关键元素对于用户主观感受质量的价值；该模块根据数字媒体内容地址信息向相应位置的数字媒体内容服务器发送页面请求消息，将数字媒体内容从数字媒体内容服务器下载到数字媒体内容管理数据库模块的数据库中；采用媒体内容价值评价模型对数字媒体内的关键元素进行价值评估，数字媒体内容价值评价与分析模块产生的分析结果也存放在数字媒体内容管理数据库模块的数据库中；所述数字媒体内容适配决策与处理模块，用于调用数字媒体内容管理数据库模块的数据库中所存储的数字媒体内容价值评价与分析模块产生的分析结果，结合移动终端信息获取模块所得移动终端设备参数以及网络环境性能，对数字媒体内容管理数据库模块存放的数字媒体内容资源采取相应的适配操作并发送给移动终端。而且，所述数字媒体包括数字图像和数字视频，数字媒体内容价值评价与分析模块对于静止的数字图像，采用感兴趣区域提取算法，提取出图像中各个关注区域及相对重要程度，并以此为基础对各个图像块或图像区域进行内容价值评分；对于数字视频，采用帧内和帧间运动分析相结合的方法，利用视觉注意力模型、运动目标检测、感知运动能量模型来分析视频中不同的编码帧对于用户主观感知质量的重要性。本发明可直接应用于移动数字媒体内容服务的开展，为众多移动用户随时随地提供高质量的数字媒体内容；也有助于网络运营商开展移动学习、移动电子政务、电子商务、企业培训等业务，带动数字媒体内容制作企业的发展，具有重要的理论价值和开阔的应用前景。
图1是本发明实施例的多媒体内容价值评价模型图。图2是本发明实施例的基于内容评价模型多媒体适配示意图。图3是本发明实施例的数字媒体内容服务网关系统的功能模块图。图4是本发明实施例的基于感知运动能量模型的视频质量分层结果图。图5是本发明实施例的移动终端信息获取模块图。
图6是本发明实施例的图像适配处理模块图。图7是本发明实施例的文字适配处理模块图。
具体实施例方式以下结合附图和实施案例详细说明本发明技术方案。本发明需要在移动运营商的服务器端(例如电信服务器端)建立基于媒体分析的数字媒体内容服务网关系统，具体的功能模 块如图3所示。1、移动终端信息获取模块，用于提供入口页面，在移动终端访问入口页面时获取移动终端型号信息和用户所要访问的数字媒体内容地址信息，然后和本地的移动终端参数信息库进行匹配，记录下相应移动终端设备参数和用户所要访问的资源地址信息；移动终端信息获取模块将用户所要访问的数字媒体内容地址信息发送给数字媒体内容价值评价与分析模块，同时将移动终端设备参数发送给数字媒体内容适配决策与处理模块。该过程的详细流程如图5所示。移动终端首先访问数字媒体内容服务网关系统，并在服务网关的首页提交所需要访问的网页地址。数字媒体内容服务网关系统的移动终端信息获取模块将自动获取移动终端超文本传输协议(HTTP)信息，获取User Agent字段中的移动终端型号和所要访问的地址(URL)，和移动终端参数信息库中的移动终端型号进行匹配。如果匹配成功，则可以找出此型号移动终端的详细性能参数信息；如果匹配不成功，则对此款移动终端采用默认参数。然后将移动终端性能参数信息传给数字媒体内容适配决策与处理模块作为适配处理的依据。将用户所要访问的数字媒体内容地址信息发送给数字媒体内容价值评价与分析模块，同时将移动终端设备参数发送给数字媒体内容适配决策与处理模块。移动终端可以手机为主要实验对象，在用户通过手机访问页面时，该模块获取手机型号、资源链接地址等信息，然后和本地的手机参数信息库进行匹配，记录下手机设备参数信息和用户所要访问的资源信息。2、数字媒体内容管理数据库模块，用于通过数据库管理来完成数字媒体内容的更新及读写工作。数字媒体内容管理数据库模块管理的数据库可简称数字媒体内容管理数据库。所述数字媒体内容管理数据库模块，主要是通过建立数据库来保存数字媒体内容的位置信息、质量分析结果、格式、分辨率等重要数据，同时数据库的数据需要及时维护、更新，以完成各个模块的信息交互。3.数字媒体内容价值评价与分析模块，用于确定组成数字媒体内容(主要是数字图片和数字视频)的关键元素对于用户主观感受质量的价值。该模块采用媒体内容价值评价模型对数字媒体内组成单元进行价值评估，主要包括对于数字静止图像，采用精确的感兴趣区域提取算法，提取出图像中各个关注区域及其相对重要程度，并以此为基础对各个图像块、图像区域进行内容价值评分；对于数字视频，采用帧内和帧间运动分析相结合的方法，利用视觉注意力模型、运动目标检测、感知运动能量模型来分析视频中不同的编码帧对于用户主观感知质量的重要性。该模块利用媒体内容价值评价模型决定数字媒体内容的各组成要素对用户的重要程度，将数字媒体内容组成元素分成若干内容质量层，包括高质量层、次高质量层、中质量层、低质量层，可以称为数字媒体内容组成元素质量分层结果。该结果存放在数字媒体内容管理数据库,供数字媒体内容适配决策与处理模块对数字媒体内容进行适配时调取。实施例建立如图1所示的媒体内容价值评价与分析模型，其具体流程如下首先对于静止图像数据，主要是在空间方向考虑以块(block)或图像区域为基本单位来分析其对感受质量的重要程度，目标是提取出用户关注的若干感兴趣区域(ROI)。由于用户关注的区域会随用户的知识背景和需求而有很大差别，因此本发明中研究的是在人类视觉系统(Human Visual System)中将引起用户关注的区域。基本研究方法是通过统计分析图象的纹理、颜色、形状、Gabor特征等特征信息，应用特征子空间划分、映射、聚类等方法，提取出各个空间关注区域及其相对重要程度，并以此为基础对静止图像中各个图像块、图像区域进行内容价值评分。其次，对于运动图像数据，考虑到视频运动对用户感受质量的重要性，除了对每一 帧基于图像特征提取用户关注区域外，还要基于视频运动信息来进一步对视频帧、帧序列和镜头等视频内容单元进行价值评估。采取的基本方法是首先通过镜头分割，将视频分解为镜头序列，以镜头为基本单位进行分析；然后提取运动关注图、运动强度、运动方向、运动抖动、运动透度与强度的对比度等运动信息特征，确定运动关注区域、运动关注帧(或序列)；在此基础上，结合空间关注区域结果进行多源特征融合评价，确定运动图像中镜头、视频帧、视频帧内区域或宏块的内容价值评分，得到视频组成元素的内容价值评价参数。4.数字媒体内容适配决策与处理模块，首先调用数字媒体内容管理数据库模块的数据库中所存储的数字媒体内容价值评价与分析模块产生的分析结果，结合移动终端信息获取模块所得移动终端设备参数以及网络环境性能，对数字媒体内容管理数据库模块存放的数字媒体内容资源采取相应的适配操作并发送给移动终端。主要是根据移动终端的屏幕大小、分辨率大小以及所支持的视频、图片格式对数字媒体内容进行适配，并将适配后的结果返回到移动终端的屏幕上。实施例可以结合网络中的适配节点(如移动运营商的服务器)上已有的适配方法和模块，在网络提供的带宽、移动终端反馈的终端能力基础上，综合设计对数字媒体内容的不同部分应该采取的适配操作，并将适配之后的数字媒体内容发送给用户(有线网络用户或无线网络用户)，如图2所示主要参考上下文特征信息(包括网络特性、终端特性、用户偏好)、数字媒体内容价值评价与分析模块产生的内容价值评价参数。主要包括以下几个方面的适配操作■数字媒体内容码率调整处理这一适配过程是为了满足网络可用带宽，在调整数字媒体内容编码速率的过程中尽可能地丢弃属于低质量层的数字媒体内容组成要素(如图片区域、视频帧)，而尽可能多地保留属于高质量层数字媒体内容组成要素，从而最优化数字媒体内容传输后的用户感知质量。例如根据移动终端信息获取模块得到的的移动终端参数和数字图片组成元素质量分层结果，降低低质量视频层的编码速率，保持高质量视频层的编码速率，从而降低整体视频的编码速率，以适应当前网络可用带宽(BW)；■数字媒体内容格式转换处理这一适配过程是通过数字媒体编码类库完成的。具体方式首先根据获取的移动终端所支持的数字媒体格式，利用相应的解码器类进行解码，再利用编码器重新编码成移动终端所支持的格式；■数字媒体内容分辨率调整这一适配过程主要是考虑移动设备屏幕分辨率小的特点，对分辨率较大的数字媒体内容进行调整，如减小数字图片的大小。在这一过程中，主要是根据数字媒体内容组成元素质量分层结果，在空间方向上保留重要的数字媒体内容区域，以显示更清楚的数字媒体内容，例如针对数字图片分辨率的减小，重点保留图片中的感兴趣区域，其他次要区域则作相应裁剪。■数字媒体内容无线传输保护针对无线信道的差错率大的问题，基于内容价值评价参数和质量分层信息对数字媒体内容进行非均匀误码保护，结合已有的物理层信道编码如RCPC码、Turbo码，重点保护属于高质量层的数字媒体内容组成要素合，对低质量层的数字媒体内容组成要素施加较少保护或者不保护，从而在一定的有效带宽基础上，提高数字媒体内容在无线信道上的传输质量和最终用户的感受质量。为便于实施参考起见，以手机为移动终端为例，以下提供实施例的运行流程具体 说明。一、数字媒体内容服务网关系统作为移动终端访问数据资源的代理，首先应建立站点实现对移动终端信息的获取，实现步骤如下步骤1，在服务器上使用PHP技术建立一个新的站点，作为数字媒体内容服务网关系统的入口并为手机提供代理访问的功能。当手机访问网关系统的时候，用户只需要在系统主页中的输入栏中提交要访问的网站的网址。步骤2，当手机向数字媒体内容服务网关系统提交访问网站的网址后，在服务器上便可以获取到手机的超文本传送协议(HTTP)的头部(Header)信息。从中可以得到手机的型号和手机的浏览器版本等信息。步骤3，在服务器端的数字媒体内容服务网关系统的主页上获取到手机型号之后，通过手机型号，到手机参数信息库(预先存储于数字媒体内容管理数据库中)查找与之匹配的手机型号，从而获得手机的详细参数。具体的实现方法如下步骤3.1,建立设备信息数据结构stDevicelnfo,用于在适配中方便针对需要适
配的手机提供其所能支持的详细参数。
struct stDevicelnfo
{ CString strDeveiceName; // 声明议名 名称变.W
int nMaxImageHeight;// Iff 明 _ 片的最大 ft度变M
int iiMixImageWidth;// 片的a大宽度变量
int nScreenWidth;//声#手-机I#幕的物理宽度
int nScreenHeight;// Jif_手机W幕的勸IlW度
int nReso Iut ion Width;//卢明水平分辨率变IS
int IiResolutionHeight;// 声_垂.—￡1 分辨率变fit
权利要求
1.一种基于媒体内容分析的数字媒体内容服务网关系统，其特征在于将数字媒体内容服务网关系统设置在移动运营商的服务器端上，数字媒体内容服务网关系统中设置移动终端信息获取模块、数字媒体内容管理数据库模块、数字媒体内容价值评价与分析模块和数字媒体内容适配决策与处理模块；所述移动终端信息获取模块，用于提供入口页面，在移动终端访问入口页面时获取移动终端型号信息和用户所要访问的数字媒体内容地址信息，然后和本地的移动终端参数信息库进行匹配，记录下相应移动终端设备参数和用户所要访问的资源地址信息；移动终端信息获取模块将用户所要访问的数字媒体内容地址信息发送给数字媒体内容价值评价与分析模块，同时将移动终端设备参数发送给数字媒体内容适配决策与处理模块；所述数字媒体内容管理数据库模块，用于通过数据库管理来完成数字媒体内容的更新及读写工作；所述数字媒体内容价值评价与分析模块，用于确定组成数字媒体内容的关键元素对于用户主观感受质量的价值；该模块根据数字媒体内容地址信息向相应位置的数字媒体内容服务器发送页面请求消息，将数字媒体内容从数字媒体内容服务器下载到数字媒体内容管理数据库模块的数据库中；采用媒体内容价值评价模型对数字媒体内的关键元素进行价值评估，数字媒体内容价值评价与分析模块产生的分析结果也存放在数字媒体内容管理数据库模块的数据库中；所述数字媒体内容适配决策与处理模块，用于调用数字媒体内容管理数据库模块的数据库中所存储的数字媒体内容价值评价与分析模块产生的分析结果，结合移动终端信息获取模块所得移动终端设备参数以及网络环境性能，对数字媒体内容管理数据库模块存放的数字媒体内容资源采取相应的适配操作并发送给移动终端。
2.如权利要求所述基于媒体内容分析的数字媒体内容服务网关系统,其特征在于所述数字媒体包括数字图像和数字视频，数字媒体内容价值评价与分析模块对于静止的数字图像，采用感兴趣区域提取算法，提取出图像中各个关注区域及相对重要程度，并以此为基础对各个图像块或图像区域进行内容价值评分；对于数字视频，采用帧内和帧间运动分析相结合的方法，利用视觉注意力模型、运动目标检测、感知运动能量模型来分析视频中不同的编码帧对于用户主观感知质量的重要性。
全文摘要
本发明提出了一种基于媒体内容分析的数字媒体内容服务网关系统，该发明首先通过移动终端信息获取模块获取移动终端设备参数和用户所要访问的资源地址信息；并将用户所要访问的数字媒体内容资源地址信息发送给数字媒体内容价值评价与分析模块，同时将移动终端设备参数发送给数字媒体内容适配决策与处理模块。数字媒体内容价值评价与分析模块基于媒体内容价值评价模型，对数字媒体内组成单元进行价值评估，产生数字媒体内容价值评分；数字媒体内容适配决策与处理模块依据数字媒体内容价值评价与分析模块的分析结果，结合移动终端设备参数以及网络环境性能，对数字媒体内容资源管理数据库模块存放的数字媒体内容资源采取相应的适配操作，将适配后的内容发送给移动终端。
文档编号H04W4/16GK103024713SQ201210554670
公开日2013年4月3日 申请日期2012年12月19日 优先权日2012年12月19日
发明者赵刚, 余丽芹, 野秋旭, 刘小春, 韩存齐, 潘瑞雪, 陈凌云, 徐忠成 申请人:华中师范大学