多区域视频会议编码的制作方法_3

文档序号:8461029阅读:来源:国知局
]图7至图9是按照本发明的一实施例的方面的视频会议编码机制的示例流程图。本发明的各个实施例的一部分可以以无价值信息的图像质量为代价来降低视频会议的比特率。面部检测和ROI (感兴趣区域)识别技术可以相结合,使得视频帧的关键信息、例如出席者面部或者用户定义ROI部分可被提取出来并且以高质量等级来编码。由于帧大小可变得较小,所以视频会议的比特率可降低。
[0032]在一些实施例中,视频帧中的信息可分类为至少3种类型。各类型可按照其重要性来指配有不同质量值。在许多情况下,包含发言人的面部和用户定义ROI的帧面积可指配成采用最高优先级质量等级来编码。第二等级可指配给其它出席者的面部。最后一个等级可指配给帧的背景。
[0033]对于这个示例,分类策略可基于视频会议应用的典型情形。发言人及其动作可以是视频会议的焦点。发言人可采用工具、例如黑板或投影屏幕来帮助呈现。对应地,一些实施例可自动检测发言人的面部以及发言人定义(一个或多个)用户定义ROI的特权。作为听众,其它出席者可能较少贡献于当前视频会议,因此它们可指配给第二级质量。最后,其余面积中的信息可大致为静态的,被看作背景并且指配有最小质量。
[0034]示例实施例可包括三个模块:“R0I守护程序”、“预编码”模块和“辨别编码”模块。图7示出“R0I守护程序”模块的流程图。在会议本地侧,“R0I创建事件”可定义为例如鼠标在本地视图上的恒定移动,而“R0I破坏事件”定义为例如在预定义ROI区域中的双击。守护程序可保持所创建R0I,监测并且响应本地视图事件,向用户提供ROI创建和破坏服务。具体来说,在这个示例中,在处理框710,可本地监测(一个或多个)窗口事件。在框720检测到ROI创建事件时,新ROI面积可添加到ROI池。如果在框750检测到ROI破坏事件时,可从ROI池中去除新ROI面积。
[0035]图8是“预编码”模块800的流程图,以及图9是“辨别编码”模块900的流程图。预编码模块800可在框810从照相装置接收原始帧。通过使用面部分析技术,可在框820提取出席者面部。通过跟踪嘴唇移动或表情变化的关于发言人是否已经改变的判断可在框830进行。除了由当前发言人进行的初始变化之外,如果发言人发生变化,则可预计发言人可定义了新R0I,并且因此关于ROI是否已经改变的检查可在框840进行。“R0I重新定义”框860可向“R0I守护程序”发送请求,以请求最近的用户定义ROI。在框850,脸部和ROI可按照先前所述的三个质量等级来分类。来自“预编码”模块的分类面部和ROI面积可在框860传递给“辨别编码”模块,其中分类面部和ROI面积可分别采用最高、中等和最低质量来编码。
[0036]未编码面部和/或(一个或多个)用户定义面积可在框910来接收。如果面积在框960确定为第I级面积(例如最高优先级质量等级),则它可在框930以最高质量等级来编码。如果面积在框970确定为分级为第2级面积(例如中等优先级质量等级),则它可在框940以中等质量等级来编码。否则,它可在框950以低质量等级来编码。这个过程继续进行到在框920确定所有面部和面积已经编码。编码帧然后可在框980封装发送给网络。
[0037]这个示例实施例可通过修改H.264编码模块以将不同QP (量化参数)值指配给三种类型的面积来实现。实验结果表明,通过原始H.264所编码的视频输出具有187 Kbps的比特率。但是,修改H.264编码器的视频输出,其中面部的编码质量比背景要大1.4倍并且比特率具有从187 kbps到127 Kbps的降低比特率。结果表示对比特率的32%改进。
[0038]图10示出系统1000的一实施例。在实施例中,系统1000可以是媒体系统,但是系统1000并不局限于这个上下文。例如,系统1000可结合到个人计算机(PC)、膝上型计算机、超膝上型计算机、平板、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能装置(例如智能电话、智能平板或者智能电视机)、移动因特网装置(MID)、消息传递装置、数据通信装置等。
[0039]在实施例中,系统1000包括耦合到显示器1020的平台1002。平台1002可从诸如(一个或多个)内容服务装置1030或者(一个或多个)内容传递装置1040之类的内容装置或者其它类似内容源来接收内容。包括一个或多个导航特征的导航控制器1050可用来与例如平台1002和/或显示器1020进行交互。下面更详细描述这些组件的每个。
[0040]在实施例中,平台1002可包括芯片组1005、处理器1010、存储器1012、存储装置1014、图形子系统1015、应用1016和/或无线电1018的任何组合。芯片组1005可提供处理器1010、存储器1012、存储装置1014、图形子系统1015、应用1016和/或无线电单元1018之间的相互通信。例如,芯片组1005可包括存储适配器(未示出),其能够提供与存储装置1014的相互通信。
[0041]处理器1010可实现为复杂指令集计算机(CISC)或简化指令集计算机(RISC)处理器、X86指令集兼容处理器、多核心或者任何其它微处理器或中央处理器(CPU)。在实施例中,处理器1010可包括(一个或多个)双核处理器、(一个或多个)双核移动处理器等。
[0042]存储器1012可实现为易失性存储器装置,非限制性地例如随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM (SRAM)。
[0043]存储装置1014可实现为非易失性存储装置,非限制性地例如磁盘驱动器、光盘驱动器、磁带驱动器、内部存储装置、附连存储装置、闪速存储器、电池备用SDRAM(同步DRAM)和/或网络可访问存储装置。在实施例中,例如,存储装置1014可包括在包括多个硬盘驱动器时增加有价值数字媒体的存储性能增强保护的技术。
[0044]图形子系统1015可执行诸如静止或视频之类的图像的处理供显示。例如,图形子系统1015可以是图形处理单元(GPU)或者视觉处理单元(VPU)。模拟或数字接口可用来在通信上耦合图形子系统1015和显示器1020。例如,接口可以是高清晰度多媒体接口、DisplayPort、无线HDMI和/或符合无线HD的技术中的任一个。图形子系统1015可集成到处理器1010或芯片组1005中。图形子系统1015可能是通信上耦合到芯片组1005的独立卡。
[0045]本文所述的图形和/或视频处理技术可通过各种硬件架构来实现。例如,图形和/或视频功能性可集成在芯片组中。备选地,可使用分立图形和/或视频处理器。作为又一个实施例,图形和/或视频功能可通过包括多核处理器的通用处理器来实现。在另一实施例中,功能可在消费电子装置中实现。
[0046]无线电单元1018可包括一个或多个无线电单元,其能够使用各种适当的无线通信技术来传送和接收信号。这类技术可涉及跨一个或多个无线网络的通信。示范无线网络包括(但不限于)无线局域网(WLAN)、无线个人区域网络(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这类网络的通信中,无线电单元1018可按照任何版本的一个或多个适用标准进行操作。
[0047]在实施例中,显示器1020可包括任何电视机类型监视器或显示器。显示器1020可包括例如计算机显示屏幕、触摸屏显示器、视频监视器、类似电视机的装置和/或电视机。显示器1020可以是数字和/或模拟的。在实施例中,显示器1020可以是全息显示器。另夕卜,显示器1020可以是可接收视觉投影的透明表面。这类投影可传送各种形式的信息、图像和/或对象。例如,这类投影可以是移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用1016的控制下,平台1002可在显示器1020上显示用户界面1022。
[0048]在实施例中,(一个或多个)内容服务装置1030可由任何国家、国际和/或独立服务来托管,并且例如因而是平台1002经由因特网可访问的。(一个或多个)内容服务装置1030可耦合到平台1002和/或显示器1020。显示器1002和/或(一个或多个)内容服务装置1030可耦合到网络1060,以便向/从网络1060传递(例如发送和/或接收)媒体信息。(一个或多个)内容传递装置1040还可耦合到平台1002和/或显示器1020。
[0049]在实施例中,内容服务装置1030可包括有线电视盒、个人
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1