多区域视频会议编码的制作方法
【专利说明】
【背景技术】
[0001]视频会议应用的通信质量可极大地依靠网络的实时状态。许多当前视频会议系统引入复杂算法来平滑通过视频会议应用所生成的内容与处理流播数据的网络能力之间的不匹配比特率等等所引起的(一个或多个)网络扰动。但是，这些算法可对会议系统带来复杂度，并且在通信质量受到有限可用带宽显著限制的环境下仍然无法良好地表现。这类环境的示例包括:移动通信网络、乡村通信网络、其组合等。所需的是一种在无需牺牲视频帧中的重要信息的质量的情况下降低视频会议的比特率的方式。
【附图说明】
[0002]通过阅读以下说明书和所附权利要求书并参照以下附图，本领域的技术人员将会清楚地知道本发明的实施例的各种优点，附图包括:
图1示出按照本发明的一实施例的方面的示例视频会议方案；
图2A示出按照本发明的一实施例的方面、具有各种所识别实体和对象的示例视频帧； 图2B示出按照本发明的一实施例的方面、具有各种所识别区域的示例视频帧；
图3A和图3B示出按照本发明的一实施例的方面、具有各种所识别区域的示例视频帧；
图4和图5是按照本发明的一实施例的方面的示例多区域视频会议编码器的框图；
图6是按照本发明的一实施例的方面的示例多区域视频会议的流程图；
图7-9是按照本发明的一实施例的方面的视频会议编码机制的示例流程图；以及图10和图11是本发明的一实施例的图示。
【具体实施方式】
[0003]本发明的实施例可通过以不同质量等级对视频帧的不同区域进行编码，在无需牺牲视频帧中的重要信息的质量的情况下降低视频会议的比特率。例如，可确定帧的最重要部分是发言人的面部。在这种情况下，实施例可按照比视频帧的其余部分要高的质量来对帧中包括发言人面部的区域进行编码。这个选择性编码可产生较小帧大小，其可安全地降低视频会议流的比特率。
[0004]示例视频会议在图1中示出。在这个示例视频会议中，照相装置120可捕获出席者110的编组的视频130。视频130然后可由电话会议装置140来输入和处理。电话会议装置140可以是例如:计算机系统，具有所附连和/或集成的照相装置；分立电话会议装置；其组合；等等。在一些实施例中，照相装置120可与电话会议装置140相集成，从而形成电话会议系统100。
[0005]电话会议装置140可使用编解码器从视频130来生成编码视频信号150，其中编解码器能够是运行于计算装置的装置或计算机程序，其能够对视频进行编码，以供存储、传输、加密、解码以回放或编辑、以上组合等。按照某些实施例，编解码器可设计和/或配置成优于视频的其它区域来强调视频的某些区域。可用编解码器的示例包括但不限于:从British Broadcast System 可得到的 Dirac ;从 Forbidden Technologies PLC 可得到的Blackbird ;从 DivX, Inc.可得到的 DivX ;从 Nero AG 可得到的 Neo Digital ;Apple Inc.可得到的ProRes ;以及从On2 Technologies可得到的VP8。编解码器的许多使用压缩算法，例如 MPEG -1、MPEG-2、MPEG-4 ASP、H.261、H.263、VC-3、WMV7、WMV8、MJPEG, MPEG_4v3和DVo
[0006]视频编解码器速率控制策略可使用可变比特率(VBR)和恒定比特率(CBR)速率控制策略。可变比特率(VBR)是使可视视频质量为最大而使比特率为最小的策略。例如，在快速运动画面，可变比特率可使用比它在相似时长的慢速运动画面要多的比特，但仍然实现一致可视质量。对于在可用带宽可固定时的实时和非缓冲视频流播(例如在固定带宽的信道所传递的视频会议中)，可使用恒定比特率(CBR)。CBR可用于诸如视频会议、卫星和有线电视广播、其组合等的应用。
[0007]编解码器可实现的质量可受到编解码器使用的压缩格式影响。多个编解码器可实现相同压缩规范。例如，MPEG-1编解码器通常没有实现与实现更现代H.264规范的编解码器相当的质量/大小比率。但是，由相同规范的不同实现所产生的输出的质量/大小比率也可改变。
[0008]编码视频150可通过网络传输给第二电话会议装置。网络可以是本地网络(例如内联网)、基本通信网络(例如POTS(简易老式电话系统))、高级电信系统(例如卫星重放系统)、混合网络、因特网等。电话会议装置170可与电话会议装置140相似。但是，在这个示例中，电话会议装置140可需要具有与编解码器兼容的解码器。解码器可以是与计算硬件结合操作的装置或软件，其进行编码器的逆操作，从而撤消编码，使得能够恢复原始信息。在这种情况下，解码器可需要恢复由电话会议装置140所编码的信息。
[0009]电话会议装置140和1470中的编码器和解码器可以是硬件编解码器。硬件编解码器可以是一种装置，其充当对信号或数据流的编码器和解码器，其中具有相同或独立电路或算法。在一些文献中，术语“编解码器”与术语“硬件编解码器”等效地使用。与硬件(其使用压缩算法来创建MPEG音频和/或视频)结合运行的装置或程序常常称作编码器，以及回放这类文件的装置或程序常常称作解码器。但是，这常常也可称作编解码器。
[0010]解码视频180可从电话会议装置170传递给显示装置190，以呈现解码视频195。显示装置可以是计算机、TV、投影仪、其组合等。
[0011]图2A示出按照本发明的一实施例的方面、具有各种所识别实体(210、232、234、236和238)和对象(240)的示例视频帧200。如这个图示所示，前景的肖像210是主要发言人。实体232、234、236和238是附加参与者。对象(240)是(一个或多个)附加项，其在电话会议期间对示范目的会是重要的。
[0012]图2B示出按照本发明的一实施例的方面、具有各种区域的视频帧。在这个图示中，覆盖发言人的面积可识别为第一区域212，以及该帧的其余部分(背景)可识别为第二区域222。
[0013]图3A和图3B示出具有所识别的各种备选区域的视频帧。图3A中，覆盖发言人的面积可识别为第一区域212，覆盖附加实体/参与者232、234、236和238 (图2A)的面积可识别为第三区域330，覆盖(一个或多个)对象240的面积可识别为第四区域342，以及该帧的其余部分(背景)可识别为第二区域222。区域的大小可改变。例如，图3A中，第一区域212包括发言人以及发言人的外露身体的一部分。但是，图3B中，第一区域212仅包括发言人的头部。类似地，图3A中，第三区域330包括附加参与者以及附加参与者的外露身体的一部分。但是，图3B中，第三区域330仅包括附加参与者的头部。
[0014]按照各个实施例的一部分，区域辨别可由电话会议装置140来执行。图4是按照本发明的一实施例的方面的多区域视频会议编码器的框图。电话会议装置140可包括一个或多个区域确定模块420，以确定一个或多个帧415中的一个或多个区域。区域确定模块420可包括多个区域确定模块，例如区域确定模块I (421)、区域确定模块2 (422)等，一直到区域确定模块η (429)。区域确定模块的每个可配置成识别(一个或多个)帧200(图2Α和图2Β)中的不同区域(例如区域212、330、342和222 ;图3Α和图3Β)。各区域确定模块(421、422、…、429)可从视频415区域数据(分别为431、432、…、439)来生成，其中区域数据(431、432、…、439)可由编码器模块440以不同质量来编码。例如，区域I数据431可由区域I编码器模块441以第一质量来编码，区域2数据431可由区域2编码器模块441以第二质量来编码，一直到区域η数据431可由区域η编码器模块449以又一不同质量来编码。在一些实施例中，有可能的是，一些区域确定模块可处理一个以上区域。还有可能的是，一个以上区域数据(431、432、…、和/或439)可由不同或相同编码器模块(441、442、…、和/或449)以相同或相似质量来编码。编码器模块440的输出可以是编码视频490，其具有按照不同质量的编码的不同区域，以改进编码视频的总比特率，而没有降低帧的重要元素、例如发言人面部的质量。
[0015]继续参照图2Α、图2Β和图4，第一区域212可包括发