专利名称：一种移动可视设备自适应显示方法
技术领域：
本发明涉及视频处理技术领域，尤其涉及一种移动可视设备自适应显示方法。
背景技术：
在我们的日常生活中，越来越多的信息资源由可视的内容来表征和传播，在网络内容自适应中我们需要考虑的一个要点就是让图像这一主要的可视媒体形式能够自动适应不同的客户端环境。除传统的个人电脑以外的许多设备对多媒体资源的使用越来越多，例如wcbTV、移动电话、掌上电脑及智能手机等。特别是随着内置摄像头的移动设备的使用和移动博客(moblogging)的兴起，多媒体内容，包括图像，视频在移动设备上的使用越来越广泛。但是对于大多数移动设备，它们显示屏幕小，存储空间有限，计算能力弱。网络带宽窄，这就需要有专门适合其应用环境的多媒体内容。另外，不同的用户有不同兴趣偏好。对于多媒体信息的发布者来说，提供适合各种设备显示及符合个人兴趣的不同版本的内容，其工作量非常大。这就要求研究新的内容自适应转换和传输的系统和技术，来满足复杂的客户端环境，并提供最好的浏览体验。尽管已经有很多种图像自适应的研究方案和方法，但目前的研究主要集中在对多媒体内容的压缩及缓冲以减少数据传输量、获得更快的传输速度上，而对于在小屏幕上人的视觉观感则很少见考虑。而移动设备的有限显示屏幕正逐渐成为限制其获取网络信息的最主要瓶颈限制。目前，对视频自适应显示的研究主要集中在视频的压缩和缓存方面，对于显示面积的约束考虑得很少。而且对于可供移动设备所访问的视频资源与图像不同，多数已经经过很好的编辑，不过我们注意到一些拍摄比较随意的视频，例如家庭录像、监测视频等等在移动设备上有越来越广泛的应用，对于返一类视频，有可能同时也有针对不同的显示条件作自适应的优化需求。在实际应用中，目前的研究主要集中在对多媒体内容的压缩及缓冲以减少数据传输量、获得更快的传输速度上，而对于在小屏幕上人的视觉观感则很少见考虑。移动设备的有限显示屏幕成为限制其获取网络信息的最主要瓶颈限制。因此，有必要提供一种移动可视设备自适应显示方法来解决上述缺陷。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种移动可视设备自适应显示方法，能够将用户感兴趣的内容放大显示，而放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感，实现小屏幕移动设备的自适应显示。为了解决上述问题，本发明提出了一种移动可视设备自适应显示方法，所述方法包括步骤I :对输入的高分辨率视频流进行解码；步骤2 :感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列；步骤3 :快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。较佳地，所述步骤3的快速转码过程包括步骤31 :运动矢量调整，修正不同帧中的感兴趣区域不同造成的运动信息错误；步骤32 :快速模式选择，利用原码流中的运动信息，采用快速模式选择算法加速编码；步骤33 :运动矢量插值，对没有运动信息的宏块，通过其周围运动信息进行插值以计算所述宏块的运动矢量。 较佳地，在所述步骤32快速模式选择时，每个宏块包括16个4x4的小块，每个小块对应有运动矢量，通过快速模式选择算法加速编码的步骤包括步骤321 :步骤将一个宏块内的运动矢量相同的分为一组；步骤322:统计各组相同运动矢量的个数并找出具有最多运动矢量的组，该组的运动矢量为表示为MVmax,个数为Nmax ;步骤323 :如果Nmax大于8，则该宏块的模式设定为16x16，运动矢量即MVmax，跳到步骤326 ;步骤324 :如果Nmax小于或等于8，进一步分析如果该宏块上半部分和下半部分的8个运动矢量分别相等，则该模式为16x8 ;如果左右两部分相等，则模式为8x16 ;宏块所有运动矢量保持不变，跳到步骤6 ;步骤325 :如果上述条件均不满足，则判定模式为PSx8，需要分别对四个8x8的块进行运动估计和模式选择；步骤326 :执行变换，量化、熵编码。较佳地，所述感兴趣区域的所提取的特征对象包括运动分量、人脸、文本、显著度。利用本发明实施例的移动可视设备自适应显示方法，用户可以看到视频中感兴趣区域的放大显示，比如说，视频中出现的含有人脸的区域或含有文字的段落。因为在小屏幕上很可能由于过于缩小而看不清楚其中的内容，而放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感，可以实现小屏幕移动设备的自适应显示。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图I是本发明的移动可视设备自适应显示方法的流程示意图；图2是本发明实施例的移动可视设备自适应显示方法的原理示意图；图3是应用本发明的移动可视设备自适应显示方法的自适应显示系统的结构示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明中，建立了一种针对视频的视觉注意力模型，借助数值化的注意力模型我们可以把理解一个信息内容对象的问题拆分为一系列更简单、计算量更小的局部分析问题。在数值化的注意力建模问题上，通过把多种图像特征综合到一张单独的显著特征图上，利用动态神经网络可以把那些受关注的区域按照特征的显著值从高到低的顺序逐个检测出来。在本发明实施例的移动可视设备自适应显示系统中，用户可以看到视频中感兴趣区域的放大显示，比如说，视频中出现的含有人脸的区域或含有文字的段落。因为在小屏幕上很可能由于过于缩小而看不清楚其中的内容，而放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感。如果我们单独考虑视频中的每一帧，可以很容易地把前面图像自适应的方法应用到视频中，找出每帧中感兴趣的区域。但是如果直接输出这些从原帧中剪切出的感兴趣的区域，得到的视频片断会有很严重的跳动感，因此，引入了虚拟镜头控制的概念解决这一问题。在像素域对原始视频检测视频帧中的感兴趣对象，之后进行自动建模，生成适合显示区域的视频，然后再对处理过的视频进行编码传输到客户端的移动设备上。在实际应用中，这种完全解码再编码的方法的计算量很大。会给服务器端带来巨大的处理压力。所以我们在采用空间转码的方法来避免再次重新编码的步骤。这种方法比原来需要重新编码的方法的执行效率大大提高了，而在输出视频的质量上只有很小的影响。与一般的空间转码方法来比，由于我们只处理感兴趣的区域，所以能够获得更好的视觉观感，同时节省了大量的带宽。图I是本发明实施例的移动可视设备自适应显示方法的流程示意图，如图I所示，该方法包括步骤SlOl :对输入的高分辨率视频流进行解码；步骤S102 :感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列；步骤S103 :快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。图2是本发明实施例的移动可视设备自适应显示方法的原理示意图，下面结合图I、图2对本发明实施例的移动可视设备自适应显示方法进行进一步说明。本发明整个系统包括三大模块解码部分，感兴趣区域提取部分和转码部分。解码部分对输入的高分辨率视频首先执行解码操作，得到各种解码信息，并输入感兴趣区域和转码部分两个模块；感兴趣区域提取模块首先检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，最终确定满足屏幕尺寸限制的区域，最后从解码得到的视频序列中裁剪出感兴趣区域组成一个新的低分辨率视频序列转码部分利用本发明提出的快速转码算法。生成具有原高分辨率视频大部分信息且满足显示屏尺寸限制的低分辨率的视频码流，最后发送给用户。
提取感兴趣区域时，信息的载体为感兴趣对象，每个感兴趣对象有两个属性SR (spatial region)和AV (attention value) · SR表示感兴趣对象在图像中具体的位置；AV反映了感兴趣对象的重要性，即在整个图像所包含的信息中的贡献。为了精确地检测图像中的感兴趣信息，基于上述的模型，本发明实施例的系统采用了四种感兴趣对象运动对象(motion object).人脸对象(face object),文本对象(text object)和显著对象(saliency object)。通常情况下,视频中的运动对象比其他类型的对象更加吸引用户的注意，也就是说具有更多的感兴趣信息。因此，在本实施例的系统中，运动对象的检测是最重要的。采用视频是以H. 264格式编码的，所以可以直接提取视频序列中的运动场来表示并衡量运动信息。在本发明实施例的移动可视设备自适应显示的方法中，涉及虚拟镜头的控制，虚拟镜头的控制可以假设在原视频的场景中再架设一台摄像机，能够在原视频变化的帧中进行镜头的平移和缩放。定义两类焦点镜头焦点(CF)和目标焦点(TF)。镜头焦点表示当前显示给用户的区域的焦点；目标焦点是虚拟镜头要移向的区域的焦点。相应的定义两类显示比率镜头比率(CR)和目标比率(TR)，来表征相对于原图的缩放比。CF和TF之间的欧氏距离定义为CR和TR之间的差定义为4r。两帧之问两个感兴趣的区域直接的切换可以用一个从当前显示区域到目标区域下一帧中的感兴趣的区域平滑的过渡来代替，这个平滑的过渡由虚拟镜头的平移和缩放两个操作组成。另外，考虑到在原视频中不同的镜头(shot)中的内容一般没有联系，在视频流到达一个镜头(shot)的边界时，虚拟镜头也将直接跳转到切换状态。
快速转码时，通常不同帧的感兴趣区域的大小并不相同，但在我们系统应用环境中，感兴趣区域的尺寸要受到编码标准的限制。即各帧中截取的感兴趣区域的大小是一定的。此外，为了便于后续转码算法的设计，在我们的系统中。感兴趣区域的尺寸被限制为有限集合，比如CIF (352x288)，QCIF (176x144)。在本系统中，感兴趣区域被定义为一个矩形，实际的尺寸根据移动设备的显示屏尺寸确定。如果搜索算法决定的视频帧中的感兴趣区域不符合事先确定的尺寸，则对检测的区域进行放宽或缩小以满足确定的尺寸。在转码方案的设计中，要想快速有效地生成码流，关键性的问题是如何利用原码流中的运动信息生成新码流的运动信息。这个问题在H. 264/AVC标准中变得更加复杂，不仅需要计算运动矢量的值，还要确定最优的模式(mode)。两者对最终的转码性能都有着巨大的影响。在本发明的方案中.提出了一种快速模式选择的方法，包括以下几个步骤步骤S31 :运动矢量调整；运动矢量调整是快速模式选择中要最先执行的操作，这是为了修正不同帧中感兴趣区域位置不同造成的运动信息错误。运动矢量调整可以带来转码性能的大幅度提高。步骤S32 :快速模式选择；利用原码流中的运动信息，本发明提出一种快速模式选择的算法加速编码过程。由于不需要对所有的模型进行运动估计，所以可以大幅度减少编码复杂度。每个宏块(macro block)由16个4x4的小块组成，每个小块都有自己独立的运动矢量，即每个宏块有16个运动矢量。当然，部分运动矢量可以是相同的。快速模式选择算法如下步骤321 :将一个宏块内的运动矢量相同的分为一组；步骤322 :统计各组相同运动矢量的个数并找出具有最多运动矢量的组。该组的；运动矢量为表示为MVmax，个数为Nmax ;步骤323 :如果Nmax大于8,则该宏块的模式设定为16x16,运动矢量即MVmax ;跳到步骤6 ;步骤324 :如果Nmax小于或等于8，则需要进一步的分析才能确定模式，如果该宏块上半部分和下半部分的8个运动矢量分别相等，则该模式为16x8 :如果左右两部分相等，则模式为8x16。宏块所有运动矢量保持不变，跳到步骤326;步骤325:上述条件均不满足。则判定模式为PSx8，需要分别对四个8x8的块；进行运动估计和模式选择。为了简化复杂度，对于8x8的分块，我们只选择Inter8x8模式；步骤326 :执行变换，量化、熵编码。步骤S33:运动矢量插值；上述快速模式选择算法是利用了宏块的运动信息，但是,在H. 264/AVC标准中，inter巾贞的宏块可以是inter模式也可以是intra模式。而intra宏块是没有运动信息的，如果简单地设定这些宏块运动矢量为0，会造成转码性能的损失。为解决这一问题，考虑周围运动信息的插值方法以计算intra宏块的运动矢量。较佳地，应用本发明移动可视设备自适应显示方法的对应的自适应显示系统可被安置在代理服务器或网关上，如图3所示，当视频服务器将高质量高分辨率的视频经过代理服务器或同关发送给移动用户时，自适应系统根据实际的显示屏尺寸。利用转码技术调整原始视频，生成满足尺寸限制的视频。 通过本发明的移动可视设备自适应显示的方法，用户可以看到视频中感兴趣区域的放大显示，比如说，视频中出现的含有人脸的区域或含有文字的段落。因为在小屏幕上很可能由于过于缩小而看不清楚其中的内容，而放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感。本发明针对小屏幕设备提出合理实用的图像和视频的自适应显示方法，实现了小屏幕移动设备的自适应显示。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。另外，以上对本发明实施例所提供的移动可视设备自适应显示方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种移动可视设备自适应显示方法，其特征在于，所述方法包括 步骤I:对输入的高分辨率视频流进行解码； 步骤2 :感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列； 步骤3 :快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。
2.如权利要求I所述的移动可视设备自适应显示方法，其特征在于，所述步骤3的快速转码过程包括 步骤31 :运动矢量调整，修正不同帧中的感兴趣区域不同造成的运动信息错误； 步骤32 :快速模式选择，利用原码流中的运动信息，采用快速模式选择算法加速编码； 步骤33 :运动矢量插值，对没有运动信息的宏块，通过其周围运动信息进行插值以计算所述宏块的运动矢量。
3.如权利要求2所述的移动可视设备自适应显示方法，其特征在于，在所述步骤32快速模式选择时，每个宏块包括16个4x4的小块，每个小块对应有运动矢量，通过快速模式选择算法加速编码的步骤包括 步骤321 :步骤将一个宏块内的运动矢量相同的分为一组； 步骤322 :统计各组相同运动矢量的个数并找出具有最多运动矢量的组，该组的运动矢量为表示为MVmax,个数为Nmax ； 步骤323 :如果Nmax大于8，则该宏块的模式设定为16x16，运动矢量即MVmax，跳到步骤 326 ； 步骤324 :如果Nmax小于或等于8，进一步分析如果该宏块上半部分和下半部分的8个运动矢量分别相等，则该模式为16x8 ;如果左右两部分相等，则模式为8x16 ;宏块所有运动矢量保持不变，跳到步骤6 ; 步骤325 :如果上述条件均不满足，则判定模式为PSx8，需要分别对四个8x8的块进行运动估计和模式选择； 步骤326 :执行变换，量化、熵编码。
4.如权利要求I所述的移动可视设备自适应显示方法，其特征在于，所述感兴趣区域的所提取的特征对象包括运动分量、人脸、文本、显著度。
全文摘要
本发明实施例公开了一种移动可视设备自适应显示方法，包括以下步骤步骤1对输入的高分辨率视频流进行解码；步骤2感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列；步骤3快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。利用本发明的移动可视设备自适应显示方法，可以实现小屏幕移动设备的自适应显示，用户可以看到视频中感兴趣区域如出现的含有人脸的区域或含有文字的段落的放大显示，即放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感。
文档编号H04N21/2343GK102625147SQ20121005004
公开日2012年8月1日 申请日期2012年2月29日 优先权日2012年2月29日
发明者吴仁涛, 罗笑南 申请人:中山大学