对视频通话的画中画处理的制作方法

专利名称：对视频通话的画中画处理的制作方法
技术领域：
本发明涉及数字视频编码及解码，且更特定来说涉及用于对涉及到画中画(PIP)
呈现的视频通话(VT)应用的信息进行处理的技术。
背景技术：
人们已制订了大量不同的视频编码标准来用于对数字视频序列进行编码。例如， 运动画面专家组(MPEG)已开发出大量标准，其中包含MPEG-l、MPEG-2和MPEG-4。 其它实例包含国际电信联盟(ITU) &263标准和新兴1丁1;11.264标准。这些视频编码 标准一般通过以压缩方式对数据进行编码来支持视频序列的改进传输效率。
视频通话(VT)准许用户分享视频和音频信息以支持例如视频会议的应用。例示性 视频通话标准包含由对话起始协议(SIP)、 ITU H.323标准和ITU H.324标准定义的标 准。在双向VT中，用户发送并接收视频信息。某些VT系统提供画中画(PIP)特征， 其准许用户观看来自远程用户的传入视频和发送到远程用户的传出视频两者。
利用所述画中画特征，传出视频可呈现在覆盖在含有传入视频的较大画面上的较 小画面中。所述较大画面通常占据整个视频帧。所述较小画面可占据所述视频帧的约 20%到25%，覆盖了所述较大画面的一部分。画中画特征可准许用户观看传出视频来 确保正确的照相机对准。例如，用户可能希望确保其面部或另一对象将在传出视频帧 中完全可见。通过使用画中画特征，所述用户可更好地定位照相机以改进传出视频的 内容。

发明内容
本发明旨在用于对视频通话(VT)进行画中画(PIP)处理的技术。根据所揭示技 术，本地视频通信装置将画中画信息传输到远程视频通信装置。通过使用画中画信息， 所述远程视频通信装置对传输到本地视频传输装置的视频的非画中画区域应用优先编 码。
当启用画中画特征时，本地视频通信装置呈现一视频帧，其含有从远程视频通信 装置接收的传入视频和传输到远程视频通信装置的传出视频。所述传入视频大致占据 整个视频帧。所述传出视频占据视频帧的较小区域，所述区域称作画中画区域。本地 视频通信装置将画中画信息传输到远程视频通信装置。
画中画信息识别其中将传出视频呈现给本地视频通信装置的用户的画中画区域。画中画信息可嵌入到已编码的传出视频中，或可以通过带外信令技术传输。在某些实 施例中，画中画内容和画中画信息可以从中间网络服务器提供。
通过使用画中画信息，远程视频通信装置对传入视频中在画中画区域外部的区进 行优先编码。远程视频通信装置可以用较低的质量对传入视频中在画中画区域内部的 区进行编码。或者，远程视频通信装置可以跳过对传入视频中在画中画区域内部的区 的编码。在任一情况下，画中画信息从本地视频通信装置到远程视频通信装置的传输 都准许以增强的视觉质量对传入视频的非画中画区域进行编码。
画中画信息的交换使远程视频通信装置知晓由本地视频通信装置指定的画中画。 从这个意义上来说，视频通信装置合并有能够处理从另一视频通信装置远程指定的画
中画信息的"画中画感知的(PIP-aware)"视频编解码器(CODEC)，且基于所述画中 画信息对传出视频进行编码。在某些实施例中，视频通信装置还可以基于本地指定的 画中画信息对传入视频的非画中画区域进行优先解码，例如，通过跳过或应用画中画 区域中较低复杂度的错误隐藏或后处理。
在一个实施例中，本发明提供一种方法，其包括接收画中画(PIP)信息；及 基于所述画中画信息对将要传输到远程视频通信装置的视频进行编码。
在另一实施例中，本发明提供一种方法，其包括对将要传输到远程视频通信装 置的视频进行编码；及将所述视频和画中画(PIP)信息传输到所述远程视频通信装置。
在附加实施例中，本发明提供一种视频通信装置，其包括模块，其接收画中画 (PIP)信息；及视频编码器，其基于所述画中画信息对将要传输到远程视频通信装置 的视频进行编码。
在进一步的实施例中，本发明提供一种视频通信装置，其包括编码器，其对将 要传输到远程视频通信装置的视频进行编码；及信令模块，其将画中画(PIP)信息发
送到所述远程视频通信装置。
在另一实施例中，本发明提供一种视频通信系统，其包括本地视频通信装置， 及远程视频通信装置，其中所述远程视频通信装置将远程画中画(PIP)信息传输到所 述本地视频通信装置，且所述本地视频通信装置基于远程画中画信息对视频进行编码 以传输到所述远程视频通信装置。
本文所描述的技术可实施于硬件、软件、固件，或其任一组合中。如果实施于软 件中，则所述技术可部分地通过计算机可读媒体来实现，所述计算机可读媒体包括含 有在由处理器执行时执行本文所述方法的一者或多者的指令的程序代码。
在附图及下文说明中将列举一个或多个实施例的细节。依据所述说明及图式并依 据权利要求书，本发明的其它特征、目的及优点将显而易见。


图1是图解说明合并有画中画感知的视频编解码器(CODEC)的视频编码及解码系统的框图。
图2是图解说明视频帧中呈现在与无线视频通信装置相关联的显示器上的画中画
区域的呈现的图式。图3是图解说明合并有画中画感知的编解码器的视频通信装置
的框图。
图4是图解说明视频帧中呈现给用户的画中画和非画中画区域的图式。 图5是图解说明处理画中画信息来对传出视频的非画中画区域进行优先编码的流 程图。
图6是图解说明处理画中画信息来对传出视频的非画中画区域进行优先编码且对 传入视频的非画中画区域进行优先解码的流程图。
图7是图解说明视频编码和解码系统的框图，其中画中画内容和信息由中间网络 服务器来提供。
具体实施例方式
图1是图解说明合并有画中画感知的视频编解码器(CODEC)的视频编码及解 码系统10的框图。如下文将描述，当在视频通话(VT)中使用画中画特征时，系统 IO可增强视频质量。系统IO解决在视频帧的一部分被画中画区域覆盖时对所述视频 帧进行编码的问题，当在远程显示器上观看时，所述画中画区域可以是较小的本地预 览窗口。
如图1中所示，系统IO包含第一视频通信装置12和第二视频通信装置14。通信 装置12、 14通过传输信道16连接。传输信道16可以是有线或无线媒体。系统10支 持用于视频通话的视频通信装置12、 14之间的双向音频和视频传输。装置12、 14可 以按大致对称的方式操作。可在信道16的相对末端上提供互逆的编码、解码、多路复 用(MUX)和多路分用(DEMUX)组件。
在图1的实例中，视频通信装置12包含多路复用/多路分用组件18、画中画感知 的视频编解码器20及音频编解码器22。类似地，视频通信装置14包含多路复用/多路 分用组件26、画中画感知的视频编解码器28及音频编解码器30。如果每一编解码器 20、 28都能够处理从另一视频通信装置12、 14或从中间服务器远程提供的画中画信 息，则其都是"画中画感知的"。以这种方式，每一编解码器20、 28都通过考虑覆盖 在接收装置处的画中画帧来对视频帧进行编码，以改进所述视频帧的可见区域的视频 质量。在某些实施例中，编解码器20、 28还可以响应于在其自身的视频通信装置中本 地指定的画中画信息或由中间服务器提供的画中画信息。
视频通信装置12、 14可以实施为为视频流、视频通话或此二者配备的无线移动 终端或有线终端。为此，视频通信装置12、 14可进一步包含适当的发射、接收、调制 解调及处理电子装置，以支持无线通信。无线移动终端的实例包含移动无线电电话、 移动个人数字助理(PDA)、移动计算机，或其它配备有无线通信能力和视频编码及/或解码能力的移动装置。有线终端的实例包含桌上型计算机、视频电话、网络应用程序、 机顶盒、交互式电视机等。视频通信装置12、 14的任一者均可经配置以发送视频信息、 接收视频信息，或发送及接收视频信息以及音频信息。
根据所揭示技术，本地视频通信装置12呈现含有从远程视频通信装置14接收的 传入视频和传输到所述远程视频通信装置的传出视频的视频帧。所述传入视频占据大 致整个视频帧。所述传出视频占据本地呈现的视频帧的较小区域。这个较小区域称作 画中画区域。本地视频通信装置12将画中画信息传输到远程视频通信装置14。所述 画中画信息指示，本地视频通信装置12的用户已经激活了画中画特征。利用这个指示， 远程视频通信装置14可为画中画区域采用将由本地视频通信装置12的用户观看到的 默认位置和尺寸。或者，如果画中画区域的特性是可变的，则画中画信息还可以识别 其中将传出视频呈现给本地视频通信装置12 (例如，根据位置和尺寸)的用户的画中 画区域。画中画信息可嵌入在已编码的传出视频中，或可以通过带外信令技术来传输。
通过使用画中画信息，远程视频通信装置14对传入视频在画中画区域外部的区 进行优先编码。所述画中画区域是其中将传出视频呈现为画中画内容的区域。远程视 频通信装置14可以用较低的质量对传入视频在画中画区域内部的区进行编码。或者， 因为传入视频在画中画区域中通常是完全遮蔽的，所以远程视频通信装置14可以更优 选地跳过对传入视频在画中画区域内部的区的编码。在任一情况下，画中画信息从本 地视频通信装置12到远程视频通信装置14的传输都准许以增强的质量对传入视频的 非画中画区域进行编码。
画中画信息的交换使远程视频通信装置14知晓由本地视频通信装置12指定的画 中画。从这个意义上来说，远程视频通信装置14合并有能够处理远程指定的来自视频 通信装置12的画中画信息的"画中画感知的"视频编解码器(CODEC)，且基于所述 画中画信息对传出视频进行编码。本地视频通信装置12可包含互逆功能。在某些实施 例中，视频通信装置12、 14还可以基于本地指定的画中画信息对传入视频的非画中画 区域进行优先解码，例如，通过跳过或应用对传入视频在画中画区域中的低复杂度错 误隐藏或后处理。
由本地视频通信装置12传输的画中画信息可以指定视频帧中的坐标。所述坐标 可以界定其中将呈现传出视频的画中画区域的边界。画中画区域的坐标可以是视频帧 中的x-y坐标。然而，所述x-y坐标可经处理来产生画中画映射。确切地说，所述坐 标可以呈现为视频块映射的形式，例如画中画宏块(MB)映射。所述宏块映射识别驻 留在视频帧的画中画区域中的宏块。画中画宏块映射可以将画中画中的宏块标记为1， 并将画中画外的宏块标记为O，.以容易地识别包含在画中画的(l)中及从画中画的(O)中 排除的宏块。或者，画中画信息可基于画中画宏块映射，但是包含较少量的信息而不 足以识别远程视频通信装置14的画中画区域。宏块是形成帧的一部分的视频块。宏块 的尺寸可以是16x16个像素。然而，其它的宏块尺寸也是可能的。因此，宏块可指代 任何视频块，其包含但不限于在特定视频编码标准(例如，MPEG-1、 MPEG-2和MPEG-4、 ITUH.263、 ITUH.264)或任何其它标准中所界定的宏块。
画中画宏块映射可选择最紧密地符合相关画中画区域的坐标的宏块边界。例如， 如果画中画区域跨越一宏块，则画中画宏块映射可将画中画区域边界放置在相关宏块 的外部边缘或内部边缘处。换句话说，画中画宏块映射可经配置以只包含整个地位于 画中画区域中的宏块，或还包含部分地位于画中画区域中的宏块。在任一情况下，画 中画宏块映射可识别最紧密接近指定画中画区域的一组全宏块。视频编码器44或视频 解码器50以宏块级来操作，且通常将需要将画中画区域信息转换为宏块映射。通过将 个别宏块指明为包含在画中画区域中或从所述画中画区域排除，画中画宏块映射还可 以准许界定具有不规则或非矩形形状的画中画区域。
通过使用由本地视频通信装置12传输的画中画信息，远程视频通信装置通过优 先位分配或量化来对传入视频的对应画中画或非画中画区域应用优先编码。确切地说， 可将附加的编码位分配到非画中画区域，而可将减少数量的编码位或零编码位分配到 画中画区域，由此来改进传入视频的非画中画区域的图像质量。以这种方式，本地视 频通信装置12能够远程地影响由远程视频通信装置14进行的视频编码。由远程视频 通信装置14进行的优先编码准许本地视频通信装置12的用户更清晰地观看非画中画 区域中的传入视频。
本地视频通信装置12还可以本地应用画中画信息来对传入视频的区域进行优先 解码。在知晓(a)传入视频的画中画区域将被传出视频遮蔽且(b)如果远程视频通信装置 14是画中画感知的则传入视频的画中画区域可能甚至不会被编码的情况下，本地视频 通信装置12可应用优先解码对传入视频的画中画区域应用较低复杂度错误隐藏或后 处理技术。在这种情况下，本地视频通信装置12可以对从远程视频通信装置14接收 的传入视频的非画中画区域应用标准的或较高复杂度的错误隐藏或后处理。因此，既 可在本地视频通信装置12中本地使用画中画信息，也可在远程视频通信装置14中远 程使用画中画信息来进行优先编码。
系统10可根据对话起始协议(SIP)、 ITUR323标准、ITUH.324标准或其它标准 来支持视频通话。每一视频编解码器20、 28均根据视频压縮标准(例如MPEG-2、 MPEG-4、 ITUH.263或ITUH.264)产生已编码的视频数据。如图1中进一步显示， 视频编解码器20、 28可以与相应的音频编解码器22、 30整合，并包含适当的多路复 用/多路分用组件18、 26来处理数据流的音频和视频部分。多路复用-多路分用单元18、 26可以符合ITU H.223多路复用器协议、或例如用户数据报协议(UDP)的其它协议。
图2是图解说明视频帧36中呈现在与无线视频通信装置12相关联的显示器38 上的画中画区域34的呈现的图式。在图2的实例中，画中画区域34是含有将由装置 12编码并传输的传出视频的矩形区域。画中画区域34准许装置12的用户观看传输到 另一装置的传出视频。虽然画中画区域34可含有任何图像或对象，但呈现在画中画区 域内的对象通常为本地视频通信装置12的用户的面部，或头部及肩部。所述用户是作 为和另一有线或无线视频通信装置的用户进行视频会议的参与者的人。画中画区域34覆盖传入视频呈现在视频帧36中的小部分区域。例如，画中画区 域34可以覆盖视频帧36的约20%到25%。画中画区域34的尺寸、形状及位置可以 是固定的或可调节的，且可以手动地或自动地以各种各样的方式对其进行界定、描述 或调节。出于本地观看的目的而呈现在本地视频通信装置12上的画中画区域34的内 容还被编码并作为传出视频从本地视频通信装置40传输到远程视频通信装置14。然 后，远程视频通信装置14将从本地视频通信装置接收的传出视频呈现在全尺寸的视频 帧中。同样地，本地视频通信装置12接收传入视频以在视频帧36的画中画区域34 中以全尺寸来呈现。
画中画区域34的内容可以由与本地视频通信装置12相关联的视频捕获装置来捕 获。或者，画中画区域34的内容可以从视频档案中产生。例如，画中画区域34可以 含有信息性覆盖(例如，广告、呼叫状态、网络状态，或其它图形或文本信息)而不 是本地捕获的视频。在任一情况下，界定画中画区域34的位置和尺寸的画中画信息协 助远程视频通信装置14来对传入视频中传输到本地视频通信装置12的非画中画覆盖 区域进行优先编码。
图3是图解说明合并有画中画感知的编解码器20的视频通信装置12的框图。 虽然图3绘示图1的视频通信装置12，但可类似地构造视频通信装置14。视频通信装 置12或14可以起到接收及发送器装置的作用以支持视频通话。然而，出于图解说明 的目的，根据视频通信装置12的透视图，可将操作描述为传入视频的接收及传出视频 的发送。如图3中所显示，视频通信装置12包含画中画感知的编解码器20、视频捕 获装置40和用户界面42。虽然图3中显示有通信信道16,但出于易于图解说明的目 的将多路复用-多路分用及音频组件省去。视频捕获装置40可以是与视频通信装置12 整合在一起或以可操作方式耦合到视频通信装置12的摄像机。例如，在某些实施例中， 视频捕获装置40可以与移动电话整合在一起，以形成所谓的摄像机电话或视频电话。 以这种方式，视频捕获装置40支持移动视频通话应用。
用户界面42可以包含显示器装置，例如，液晶显示器(LCD)、等离子屏幕、投 影机显示器或任何其它可与视频通信装置12整合在一起或以可操作方式耦合到视频 通信装置12的显示器设备。显示器装置将视频影像呈现给视频通信装置12的用户。 所述视频影像可以包含由视频捕获装置40本地获得且呈现在画中画区域34中的传出 视频。所述视频影像还可以包含从远程视频通信装置14接收的传入视频。另外，用户 界面42可以包含各种各样的用户输入媒体的任一者，其中包含硬键、软键、各种指向 装置、记录笔及类似装置，以供由视频通信装置12的用户来输入信息。在某些实施例 中，显示器装置及用户界面42的用户输入媒体可以与移动电话整合在一起。视频通信 装置12的用户依赖于用户界面42来观看画中画区域34中的传入视频和传出视频。另 外，所述用户可以依赖于用户界面42来输入用于界定画中画区域34的尺寸、形状或 位置的信息。
如图3中进一步显示，画中画感知的编解码器20包含画中画感知的视频编码器44、画中画信息提取模块46、画中画信息信令模块48、及画中画感知的视频解码器 50。画中画感知的视频编码器44对从视频捕获装置40获得的本地产生视频("LOCAL VIDEO")进行编码以便传输到远程接收装置。术语"本地"指明与从远程视频通信装 置(例如，视频通信装置14)接收的"远程"视频相比本地产生于视频通信装置12 中的视频。在图3的实例中，画中画感知的视频编码器44使用从远程视频通信装置 14获得的画中画信息来对本地视频进行优先编码，并产生用于经由信道16传输到远 程视频通信装置14的传出视频("ENCODED OUTGOING VIDEO")。
画中画信息提取模块46从远程视频通信装置14接收传入画中画信息 ("INCOMING PIPINFO")。所述传入画中画信息可以通过带内信令或带外信令来接 收。在使用带内信令时，传入画中画信息可以嵌入到传入视频位流中。在这种情况下， 画中画信息提取模块46可以与画中画感知的视频解码器50协同操作以在已解码传入 视频中搜寻画中画信息。在使用带外信令时，传入画中画信息可以从传入视频位流单 独地传输，例如可以通过实时输送控制协议(RTCP)报告、汀1111245协议消息传送 或会话起始协议(SIP)消息传送。传入画中画信息可以界定呈现给远程视频通信装置 14的用户的画中画区域的尺寸和位置，除非已知默认尺寸和位置可适用。
在如上文提到的带内信令的情形中，画中画信息可嵌入到从远程视频通信装置14 接收的已编码视频位流中。例如，在MPEG4位流格式中，存在可用于描述位流的嵌 入信息的称为"user—data"的字段。在不违背位流顺从性的情况下，所述"useLdata"字段 或其它位流格式的类似字段可以用于嵌入画中画信息。或者，可以通过所谓的数据隐 藏技术(例如，隐写术)来将画中画信息嵌入到视频位流中。在任一情况下，画中画 信息提取模块46都可以经配置来在user—data字段中或来自远程装置14的传入视频中 的其它处搜寻画中画信息。
传入画中画信息可以根据视频帧中落入画中画区域内部的坐标或宏块(MB)来 界定画中画区域。或者，传入画中画信息可仅指示，已经激活画中画特征且应为画中 画区域采用默认尺寸和位置。在图3的实例中，基于传入画中画信息，画中画信息提 取模块46产生画中画宏块映射，其识别落入远程视频通信装置14的画中画区域中的 宏块。例如，如先前所论述，画中画信息可以将宏块标记为被画中画区域覆盖或不被 画中画区域覆盖。
通过使用画中画宏块映射，画中画感知的视频编码器44对本地视频中不在由画 中画宏块映射所识别的画中画区域中的区域进行优先编码。例如，如果宏块驻留在画 中画区域中，画中画宏块映射可以引导画中画感知的视频编码器44来强制宏块不被编 码。以这种方式，可替代地保存本应花费在编码运动向量上的位及纹理位，来对由画 中画宏块映射识别为位于画中画区域中的那些宏块进行编码。结果，非画中画区域(也 就是视频帧中没有被画中画内容覆盖的区域)中的视频质量得以改进。
优先编码可以涉及到本地视频中在画中画区域内部的区域和本地视频中在画中 画区域外部的区域之间的编码位的加权分配。然而，本地视频中在画中画区域内部的区域将被完全遮蔽。因此，更优选地，应跳过对本地视频中落入画中画区域中的宏块 的编码。在任一情况下，正常情况下将用以由画中画区域遮蔽的本地视频的位可替代 地用于本地视频的剩余部分，由此来改进本地视频的可见区域的视觉质量。
远程视频通信装置14可以包含互逆功能，也就是画中画感知的编解码器。为了
将画中画信息传输到远程视频通信装置14,本地视频通信装置12包含画中画信息信 令模块48。画中画信息信令模块48可以从用户界面42接收本地画中画信息("LOCAL PIP INFO"),并产生用于经由信道16传输到远程视频通信装置14的传出画中画信息 ("OUTGOING PIPINFO")。可在用户激活画中画特征时自动地激活画中画信息信令 模块48。像传入画中画信息一样，可经由带内或带外信令来传输提供给远程视频通信 装置14的传出画中画信息。在带内信令的情形中，画中画信息信令模块48可以与画 中画感知的视频编码器44协同操作来将传出画中画信息放置在已编码传出视频位流 中。
和传入画中画信息一样，传出画中画信息可以界定画中画区域的位置和尺寸。然 而，传出画中画信息旨在由本地视频通信装置12呈现的画中画区域。由本地视频通信 装置12呈现的画中画区域覆盖从远程视频通信装置14接收的传入视频的一小部分。 通过使用传出画中画信息，远程视频通信装置14对由画中画感知的视频解码器50接 收的已编码传入视频("ENCODED INCOMING VIDEO")应用优先编码。以这种方式， 可改进本地视频通信装置12的用户可见的传入视频部分的视觉质量。
视情况，还可将传出画中画信息提供给画中画感知的视频解码器50来用于对已 编码传入视频的非画中画区域进行优先解码。例如，除了将传出画中画信息传输到远 程视频通信装置14之外，画中画信息信令模块48还可以向画中画感知的视频解码器 50提供画中画宏块映射。所述画中画宏块映射识别传入视频中将由本地呈现的画中画 区域覆盖或遮蔽的宏块。画中画感知的视频解码器50使用画中画宏块映射来对传入视 频中不在画中画区域内部的区域进行优先解码。确切地说，画中画感知的视频解码器 50可以对传入视频的非画中画区域应用更高质量的错误隐藏或后处理技术，或整个地 跳过对传入视频中将由本地呈现的画中画区域覆盖的区域的错误隐藏或后处理。 一般 来说，画中画感知的视频解码器50对传入视频的非画中画宏块应用比对传入视频的画 中画宏块更好的错误隐藏或后处理。在某些情况下，完全地跳过对画中画宏块的解码、 错误隐藏或后处理。
传入画中画信息和传出画中画信息可以在本地视频通信装置12和远程视频通信 装置14之间周期性地或间歇地交换。例如，在带内信令的情形中，画中画信息可以周 期性地嵌入每一帧或所选帧中。或者，对于带外信令来说，画中画信息可以通过周期 性的或间歇的消息来发送。然而，画中画区域的尺寸和位置可以是固定的，或可相对 不频繁地改变。因此，考虑到带宽和处理效率，相对不频繁地发送画中画信息或只在 相关画中画区域的尺寸或位置中存在变化时发送画中画信息可能是合乎需要的。
根据某些实施例，视频通信装置12、 14可经配置以采用固定的默认画中画区域，直到对所述画中画区域的尺寸或位置做出改变(如果准许)。作为进一步的考虑，画中 画特征可以不是总是激活的。画中画信息可以只包含对是否已激活画中画特征的指示， 所述指示可周期性地或在激活时发送。如果所述画中画区域是固定的，则画中画信息 可以只包含对画中画特征激活的指示。如果画中画区域是可调节的，则画中画信息可 包含对画中画特征激活以及画中画区域的可应用尺寸和位置信息的指示。在任何情况 下，画中画信息都准许视频通信装置12、 14对视频的非画中画区域进行优先编码以增 强视觉质量。
可以用各种各样的方式形成画中画感知的视频编码器44、画中画信息提取模块 46、画中画信息信令模块48、及画中画感知的视频解码器50，来作为离散功能模块或 作为囊括归属于每一模块的功能的单片模块。在任何情况下，画中画感知的编解码器 20的各种组件可以用硬件、软件、固件或其组合来实现。例如，这种组件可以操作为 在下列装置上执行的软件过程 一个或多个微处理器或数字信号处理器(DSP)、 一个或 多个专用集成电路(ASIC)、 一个或多个场可编程门阵列(FPGA)、或其它等效集成或离 散逻辑电路。如果实施在软件中，则所述技术可部分地通过计算机可读媒体来实现， 所述计算机可读媒体包括含有当在处理器(例如DPS)中执行所述指令时可执行本文 所描述方法的一者或多者的指令的程序代码。
图4是图解说明呈现给用户的视频帧中的传入视频的画中画和非画中画区域的图 式。在图4的实例中，呈现于显示器38上的传出视频的帧36包含将不会被远程视频 通信装置14处的画中画内容覆盖的非画中画覆盖区域52，及将会被画中画内容覆盖 的画中画覆盖区域54。通过使用指示由远程视频通信装置14产生的画中画内容的位 置和尺寸的画中画信息，本地视频通信装置12的画中画感知的视频编码器46对非画 中画区域52应用优先编码。同样，画中画信息可包含画中画宏块映射。画中画感知的 视频编码器46重新捕获正常情况下将用于对画中画覆盖区域54中的宏块进行编码的 编码位。重新捕获的位可用于对非画中画覆盖区域52中的宏块进行编码以达到更高的 视觉质量，而不是被废弃。画中画覆盖区域54可以用较低质量来编码或被完全跳过。 当画中画内容使画中画覆盖区域54完全遮蔽时，跳过编码通常将是优选的。如果以半 透明的方式呈现画中画内容，则对画中画覆盖区域54的低质量编码可能是合乎需要 的。
图5是图解说明处理画中画信息以对传出视频的非画中画覆盖区域进行优先编码 的流程图。将参照图3中显示的组件来描述图5中所显示的操作。如图5中所显示， 在接收到传入视频(56)时，画中画感知的视频解码器50对传入视频进行解码(58)。 然后，与用户界面42相关联的显示器向本地视频通信装置12的用户显示已解码的视 频(60)。
画中画信息提取模块50在传入视频位流中带内搜寻画中画信息，或经由信令协 议而带外搜寻传入画中画信息。如果没有可用的传入画中画信息(62)，则画中画信息 提取模块48通知画中画感知的视频编码器46。在这种情况下，画中画感知的视频编码器46在没有优先编码的情况下对传出视频的每一帧进行整体编码(64)。如果存在 可用的传入画中画信息，则画中画信息提取模块48提取画中画信息(66)并产生识别 将由远程画中画区域覆盖的宏块的画中画宏块映射(68)。
通过使用画中画宏块映射，画中画感知的视频编码器46对传出视频的非画中画 覆盖区域进行编码(70)，并跳过对传出视频的画中画覆盖区域的编码(72)。正常情 况下将用于传出视频的画中画覆盖区域的编码位替代地用于对传出视频的非画中画覆 盖区域进行编码，由此来增强视觉质量。 一旦针对帧完成对传出视频的优先编码，画 中画信息信令模块48即确定本地视频通信装置12是否已经指定了本地画中画信息 (75)。如果已经指定，则画中画信息信令模块48将画中画信息嵌入到传出视频中， 或者将所述画中画信息发送到远程视频通信装置14 (77)。如果没有指定本地画中画， 则处理器继续到下一帧。
可逐个帧地或间歇地提供传入和传出画中画信息。 一旦获得传入画中画信息，其 可继续由本地视频通信12用于对传出视频进行编码，直到远程视频通信装置14另外 进行指示。或者，画中画信息提取模块50可以为已处理的每一帧接收传入画中画信息， 也就是如图5的实例中所显示的每一循环迭代。正常情况下，画中画边界可能遇到宏 块边界。在某些实施例中，如果画中画边界平分宏块，则可以相依于设计偏好将所述 宏块视为包含在画中画区域中或从画中画区域中排除。
图6是图解说明处理画中画信息以对传出视频的非画中画覆盖区域进行优先编码 且对传入视频的非画中画覆盖区域进行优先解码的流程图。将参照图3中显示的组件 来描述图6中所显示的操作。如图6中所显示，在接收到传入视频(74)时，画中画 信息信令模块48确定本地视频通信装置12是否已经指定了本地画中画信息(76)。如 果已经指定，则将本地画中画信息作为传出画中画信息传输到远程视频通信装置14， 如下文将描述。另外，在知晓传入视频的一部分将由本地画中画区域遮蔽的情况下， 本地画中画信息可用于传入视频的解码。
如果没有指定本地画中画(76),则画中画感知的视频解码器50在没有任何优先 解码的情况下对传入视频进行解码(78)，且用户界面42显示所述已解码的视频(80)。 然而，如果已指定本地画中画(76)，则画中画信息提取模块46从本地画中画信息中 提取画中画信息(82)，并产生由画中画感知的视频解码器50用来对从远程视频通信 装置14接收的传入视频进行解码的画中画宏块映射(84)。确切地说，(例如)通过使 用标准的错误隐藏和后处理，画中画感知的视频解码器50对传入视频的非画中画覆盖 区域进行解码(86),然而，通过使用画中画宏块映射，画中画感知的视频解码器50 跳过错误隐藏和后处理，或对传入视频的画中画覆盖区域应用较低质量的错误隐藏和 后处理(88)。然后，画中画信息信令模块48发送或嵌入由远程视频通信装置14使用 的传出画中画信息(90)，且由用户界面42来显示已解码的视频(80)。
跳过对传入视频的画中画覆盖区的解码是有意义的，因为本地画中画区域将遮蔽 那个区。如果远程视频通信装置是画中画感知的，则传入视频的画中画覆盖区无论如何将甚至不会被编码。然而，当本地视频通信装置12正在从非画中画感知的远程视频
通信装置中接收传入视频时，也可应用优先解码。因此，可应用画中画感知处理以基 于用于接收传出视频的装置的远程画中画信息对传出视频进行编码，基于用于接收传 入视频的装置的本地画中画信息对传入视频进行解码，或此两者。画中画感知的处理 可由作为其中呈现画中画的视频会议的参与者的一个或两个装置在所述视频会议的任
一端使用。
如图6中进一步显示，画中画信息提取模块46确定传入画中画信息是否已经由 远程视频通信装置14通过带内或带外信令传输(92)。如果没有，则画中画信息提取 模块46不向画中画感知的视频编码器44提供画中画宏块映射，或所述画中画宏块映 射指示零区的画中画区域。在任一情况下，在不对画中画覆盖和非画中画覆盖区域进 行优先编码的情况下对传出视频进行整体地编码(94)。然而，如果存在可用的传入画 中画信息(92),则画中画信息提取模块46提取画中画信息(96)并产生由画中画感 知的视频编码器44使用的画中画宏块映射(98)。提取可能涉及到坐标或其它值的转 换，以识别视频帧中被画中画区域覆盖的宏块。画中画感知的视频编码器44使用画中 画宏块映射来对传出视频的非画中画覆盖区域进行编码(100)，并跳过对传出视频的 画中画覆盖区域的编码(102)。
图7是图解说明其中由中间网络服务器106提供画中画内容和信息的视频编码和 解码系统104的框图。在这一揭示内容中， 一般己将画中画内容描述为由视频通信装 置12、 14产生的内容，例如传出视频。然而，所述画中画内容可包含其它信息作为传 出视频的替代或附加。例如，传送信息(例如，时间、日期、已过去的视频会议时间、 网络状态、及类似信息)的文本或图形信息可呈现于画中画区域中。这种信息可本地 产生于视频通信装置12、 14中。或者，这种画中画内容可由中间画中画服务器106 产生。在这种情况下，可提供和画中画服务器106通信的网络基础设施设备108来将 画中画内容添加到在视频通信装置12、 14之间传输的已编码视频。
出于这个目的，网络设备108可包含足以准许将画中画内容放置在视频流中的编 码器和解码器组件。或者，可将画中画内容从网络设备108发送到各自的视频通信装 置12、 14并放置在已解码的视频中。作为状态信息的替代信息，由画中画服务器106 提供的画中画内容可包含用于商业产品或服务的广告信息或信息性公共服务消息。的 确，画中画内容不限于任何特定类型的内容，且可包含发送者视频、广告、公共或私 人信息、或任何呈现为覆盖在己解码视频的一部分上的内容。在任何情况下，由画中 画服务器106产生的画中画内容显示于覆盖在已解码视频的一部分上的画中画区域 中。因此，已解码视频的一部分被画中画区域遮蔽，从而使本文中所描述的优先编码 或解码成为合乎需要的。为支持优先编码、解码或此二者，网络设备108从本地视频 通信装置12接收视频、添加来自画中画服务器106的画中画内容、并将所述视频和所 述画中画内容发送到远程视频通信装置14。
另外，网络设备108通过带内或带外信令将指定画中画区域的尺寸和位置的画中画信息发送到远程视频通信装置14，用以对不被所述画中画区域覆盖的视频进行优先
编码或解码。从图7可显而易见，网络设备108可对本地和远程视频通信装置12、 14 互逆地操作。确切来说，网络设备108将来自视频通信装置12的视频和来自画中画服 务器106的画中画内容连同画中画信息一起提供给视频通信装置14。类似地，网络设 备108将来自视频通信装置14的视频和来自画中画服务器106的画中画内容连同画中 画信息一起提供给视频通信装置12。所述画中画内容以及所述画中画内容的尺寸和位 置对视频通信装置12、 14来说可以是相同的或不同的。
本文所描述的技术可实施于硬件、软件、固件、或其任一组合中。如果实施在软 件中，则所述技术可部分地通过计算机可读媒体来实现，所述计算机可读媒体包括含 有指令的程序代码，当执行所述指令时，可执行上文所描述方法的一者或多者。在这 种情况下，所述计算机可读媒体可包括随机存取存储器(RAM)，例如同步动态随机 存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、 电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类 似装置。
所述程序代码可由一个或多个处理器来执行，例如一个或多个数字信号处理器 (DSP)、通用微处理器、专用集成电斷ASIC)、场可编程逻辑阵列(FPGA)、或其它等 效集成或离散逻辑电路。在某些实施例中，可在经配置用于编码和解码的专用软件模 块或硬件单元中提供本文所描述的功能，或将本文所描述的功能合并到组合视频编解 码器(CODEC)中。
本文已经描述了各种实施例。这些及其它实施例仍归属于以下权利要求书的范围内。
权利要求
1. 一种方法，其包括接收画中画(PIP)信息；及基于所述画中画信息对将要传输到远程视频通信装置的视频进行编码。
2、 如权利要求1所述的方法，其中接收画中画信息包含从服务器接收所述画中画信息。
3、 如权利要求2所述的方法，其中所述画中画信息包含广告、状态信息及已过 去的视频电话会议时间中的至少一者。
4、 如权利要求1所述的方法，其中接收画中画信息包含从所述远程视频通信装 置接收所述画中画信息。
5、 如权利要求4所述的方法，其中所述画中画信息指示由所述远程视频通信装 置呈现的画中画区域的尺寸和位置。
6、 如权利要求4所述的方法，其中编码包含对所述视频中不被由所述远程视频 通信装置呈现的画中画区域覆盖的区域进行优先编码。
7、 如权利要求6所述的方法，其中优先编码包含以比所述视频中被所述画中画 区域覆盖的区域更高的质量对所述视频中不被所述画中画区域覆盖的区域进行编码。
8、 如权利要求6所述的方法，其中优先编码包含对所述视频中不被所述画中画 区域覆盖的所述区域进行编码及跳过对所述视频中被所述画中画区域覆盖的区域的编 码。
9、 如权利要求8所述的方法，其中优先编码包含使用附加编码位对所述视频中 不被所述画中画区域覆盖的所述区域进行编码，所述附加编码位原本将用于对所述视 频中被所述画中画区域覆盖的所述区域迸行编码。
10、 如权利要求l所述的方法，其进一步包括基于所述画中画信息产生画中画宏 块(MB)映射，其中所述画中画宏块映射识别所述视频中被所述画中画区域覆盖的宏 块，且其中编码包含跳过对所述已识别宏块的编码。
11、 如权利要求l所述的方法，其进一步包括 从所述远程视频通信装置中接收已编码视频； 从本地视频通信装置中接收本地画中画信息； 基于所述本地画中画信息对所述已编码视频进行解码；及 将所述已解码视频呈现在所述本地视频通信装置处。
12、 如权利要求11所述的方法，其中所述本地画中画信息指示由所述本地视频 通信装置呈现的本地画中画区域的尺寸和位置。
13、 如权利要求11所述的方法，其中解码包含对所述已接收视频中不被由所述 本地视频通信装置呈现的本地画中画区域覆盖的区域进行优先解码。
14、 如权利要求13所述的方法，其中优先解码包含跳过对所述已接收视频中被 所述本地画中画区域覆盖的区域的错误隐藏和后处理中的至少一者。
15、 如权利要求1所述的方法，其中对视频进行编码包含对本地视频通信装置中 的所述视频进行编码，且其中所述本地视频通信装置和所述远程视频通信装置中的至 少一者包含参加到视频通话中的移动无线装置。
16、 如权利要求15所述的方法，其中所述移动无线装置包含具有摄像机和视频 显示器的移动电话。
17、 一种方法，其包括对将要传输到远程视频通信装置的视频进行编码；及 将所述视频和画中画(PIP)信息传输到所述远程视频通信装置。
18、 如权利要求17所述的方法，其中所述画中画信息指示由本地视频通信装置 呈现的画中画区域的尺寸和位置。
19、 如权利要求17所述的方法，其进一步包括从所述远程视频通信装置中接收 远程画中画信息，其中编码包含基于所述远程画中画信息对所述视频进行编码。、 如权利要求19所述的方法，其中所述远程画中画信息指示由所述远程视频 通信装置呈现的画中画区域的尺寸和位置，且其中编码包含对所述视频中不被由所述 远程视频通信装置呈现的所述画中画区域覆盖的区域进行优先编码。
20、 如权利要求17所述的方法，其中对视频进行编码包含对本地视频通信装置 中的所述视频进行编码，且其中所述本地视频通信装置和所述远程视频通信装置中的 至少一者包含参加到视频通话中的移动无线装置。
21、 一种视频通信装置，其包括 模块，其接收画中画(PIP)信息；及视频编码器，其基于所述画中画信息对将要传输到远程视频通信装置的视频进行 编码。
22、 如权利要求21所述的装置，所述模块从服务器接收画中画信息。
23、 如权利要求22所述的装置，其中所述画中画信息包含广告、状态信息、及 已过去的视频电话会议时间中的至少一者。
24、 如权利要求21所述的装置，其中所述模块从所述远程视频通信装置接收画 中画信息。
25、 如权利要求24所述的装置，其中所述画中画信息指示由所述远程视频通信 装置呈现的画中画区域的尺寸和位置。
26、 如权利要求24所述的装置，其中所述视频编码器对所述视频中未被由所述 远程视频通信装置呈现的画中画区域覆盖的区域进行优先编码。
27、 如权利要求26所述的装置，其中所述视频编码器以比所述视频中被所述画 中画区域覆盖的区域更高的质量对所述视频中不被所述画中画区域覆盖的所述区域进 行优先编码。
28、 如权利要求26所述的装置，其中所述视频编码器对所述视频中不被所述画 中画区域覆盖的所述区域进行编码，并跳过对所述视频中被所述画中画区域覆盖的区 域的编码。
29、 如权利要求28所述的装置，其中所述视频编码器使用附加的编码位对所述 视频中不被所述画中画区域覆盖的所述区域进行编码，所述附加编码位原本将用于对 所述装置中被所述画中画区域覆盖的所述区域进行编码。
30、 如权利要求24所述的装置，其中所述模块基于所述画中画信息产生画中画 宏块(MB)，其中所述画中画宏块映射识别所述视频中被所述画中画区域覆盖的宏块， 且其中所述视频编码器跳过对所述已识别宏块的编码。
31、 如权利要求24所述的装置，其中所述装置是从所述远程视频通信装置接收 己编码视频的本地视频通信装置，所述装置进一步包括模块，其为所述本地视频通信装置接收本地画中画信息；及 解码器，其基于所述本地画中画信息对来自所述远程视频通信装置的所述己编码 视频进行解码。
32、 如权利要求31所述的装置，其中所述本地画中画信息指示由所述本地视频 通信装置呈现的本地画中画区域的尺寸和位置。
33、 如权利要求31所述的装置，其中所述解码器对所述已接收视频中未被由所 述本地视频通信装置呈现的本地画中画区域覆盖的区域进行优先解码。
34、 如权利要求33所述的装置，其中所述解码器跳过对所述已接收视频中被所 述本地画中画区域覆盖的区域的错误隐藏和后处理中的至少一者。
35、 如权利要求24所述的装置，其中所述装置包含参加到视频通话中的移动无 线装置。
36、 如权利要求21所述的装置，其进一步包括摄像机和视频显示器。
37、 一种视频通信装置，其包括编码器，其对将要传输到远程视频通信装置的视频进行编码；及信令模块，其将画中画(PIP)信息发送到所述远程视频通信装置。
38、 如权利要求37所述的装置，其中所述画中画信息指示由所述视频通信装置 呈现的画中画区域的尺寸和位置。
39、 如权利要求37所述的装置，其进一步包括从所述远程视频通信装置中接收 远程画中画信息的模块，其中所述编码器基于所述远程画中画信息对所述视频进行编 码。
40、 如权利要求39所述的装置，其中所述远程画中画信息指示由所述远程视频 通信装置呈现的画中画区域的尺寸和位置，且其中所述编码器对所述视频中未被由所 述远程视频通信装置呈现的所述画中画区域覆盖的区域进行优先编码。
41、 一种视频通信系统，其包括 本地视频通信装置；及远程视频通信装置，其中所述远程视频通信装置将远程画中画(PIP)信息传输到所述本地视频通信 装置，且所述本地视频通信装置基于所述远程画中画信息对视频进行编码以供传输到 所述远程视频通信装置。
42、 如权利要求41所述的系统，其中所述画中画信息指示由所述远程视频通信 装置呈现的画中画区域的尺寸和位置。
43、 如权利要求41所述的系统，其中所述本地视频通信装置对所述视频中不被 由所述远程视频通信装置呈现的画中画区域覆盖的区域进行优先编码。
44、 如权利要求41所述的系统，其中所述本地视频通信装置跳过对所述视频中 被所述画中画区域覆盖的区域的编码，并使用附加的编码位对所述视频中不被所述画 中画区域覆盖的所述区域进行编码，所述附加编码位原本将用于对所述视频中被所述 画中画区域覆盖的所述区域进行编码。
45、 如权利要求41所述的系统，其中所述本地视频通信装置将本地画中画信息 传输到所述远程视频通信装置，且所述远程视频通信装置基于所述本地画中画信息对 视频进行编码以供传输到所述本地视频通信装置。
46、 如权利要求41所述的系统，其中所述本地视频通信装置基于所述本地画中画信息对从所述远程视频通信装置接收的视频进行解码。
47、 如权利要求41所述的系统，其中所述本地和远程视频通信装置中的至少一者为移动无线通信装置。
全文摘要
本揭示内容针对用于对视频通话(VT)进行画中画(PIP)处理的技术。根据所揭示技术，本地视频通信装置将画中画信息传输到远程视频通信装置。通过使用所述画中画信息，所述远程视频通信装置对传输到所述本地视频通信装置的视频的非画中画区域应用优先编码。
文档编号H04N7/14GK101288303SQ200680038264
公开日2008年10月15日 申请日期2006年8月21日 优先权日2005年8月19日
发明者哈立德·希勒米·厄勒-马列, 李彦辑, 蔡明章 申请人:高通股份有限公司