用于视频电话的感兴趣区域处理的制作方法

专利名称：用于视频电话的感兴趣区域处理的制作方法
技术领域：
本发明涉及数字视频编码及解码，且更特定而言，涉及用于为视频电话(VT)应 用处理感兴趣区域(ROI)信息的技术。
背景技术：
人们已制订了许多用于编码数字视频序列的不同视频编码标准。例如，移动图像 专家组(MPEG)已编制许多标准，包含MPEG-1、 MPEG-2及MPEG-4。其它实例包含 国际电信联盟(ITU)H.263标准和新兴的ITU H.264标准。通常，这些视频编码标准通 过以压缩方式对数据进行编码来支持经改进的传输效率。视频电话(VT)准许用户分享视频和音频信息，以支持诸如视频会议的应用。实例 性视频电话标准包含由对话发起协议(SIP)、 ITU H.323标准及ITU H.324标准定义的 标准。在VT系统中，用户可发送及接收视频信息、仅接收视频信息、或仅发送视频 信息。接收方通常观看到以发送方所传输形式呈现的所接收视频信息。人们已经建议对视频信息的所选部分进行优先编码。例如，发送方可规定将感兴 趣区域(ROI)编码成具有更高的质量，以传输给接收方。发送方可能期望向远程接收方 强调ROI。 ROI的典型实例是人的面部，不过发送方可能期望将注意力集中在视频景 物内的其它对象上。通过对ROI进行优先编码，接收方能够比非ROI区域更加清楚地 观看ROI。发明内容本发明针对用于为视频电话(VT)进行感趣区域(ROI)处理的技术。根据所揭示的 技术，本地接收方装置为由远程发送方装置编码和传输的视频(亦即，远端视频)界 定ROI信息。本地接收方装置将所述ROI信息传输到远程发送方装置。使用由接收方 装置传输的ROI信息，发送方装置将对视频景物内的ROI应用优先编码(例如，更高
质量的编码或错误保护)。以此方式，接收方装置能够远程控制对由发送方装置所编码 的远端视频进行ROI编码。除接收远端视频外，接收方可经配备以发送视频，亦即，近端视频。因此，参与到VT通信中的装置可对称地即可充当视频信息的发送方也可充当视频信息的接收方。在充当接收方时，每一装置可为由作为发送方的远程装置所编码的视频界定远端ROI信息。同样，在充当发送方时，每一装置可为要传输到作为接收方的另一装置的 视频信息界定近端01信息。在能够处理由另一装置提供的ROI信息以支持对ROI视 频编码的远程控制的意义上，发送方或接收方装置可称为"ROI知晓"。远端ROI信息准许接收方控制由发送方装置实施的远程ROI编码以更清楚地观 看所接收视频景物内的对象件或区域。近端ROI信息准许发送方控制本地ROI编码以 强调所传输视频景物内的对象或区域。因此，发送方实施的ROI优先编码可基于接收 方或发送方产生的ROI信息。另外，接收方装置还可优选地(例如)通过应用更高质 量的后处理(例如，错误隐匿、解块或去振鸣技术)以根据ROI信息对ROI迸行解码。为便于ROI处理，本方面进一步涵盖以下技术ROI选择、ROI映射、ROI提取、 ROI信令、ROI跟踪及接收方装置的存取验证以准许远程控制由发送方装置实施的ROI 编码。ROI选择可依赖于预界定的ROI图案、语言或文本ROI说明或由用户绘制的 ROI。 ROI映射涉及将所选ROI图案转译成ROI映射图，所述ROI映射图可采取适于 由视频编码器使用的宏块(MB)映射图的形式。ROI信令可涉及从接收方到发送方装置的ROI信息的带内或带外信令。ROI跟踪 涉及响应于ROI运动动态地调节ROI映射图。存取验证可涉及出于远程ROI控制的 目的授予接收方装置存取权和存取等级，以及解决本地与一个远程用户或多个远程用 户之间的ROI控制冲突。ROI提取可涉及对感兴趣区域(ROI)的用户说明进行处理以根据所述说明产生规 定ROI的信息。近端视频可根据规定ROI的信息来进行编码以相对于近端视频的非 ROI区增强所述ROI的图像质量。用户说明可为文本、图形或基于语言。提取模块对 从用户说明中所产生的ROI信息施加适宜的处理。提取模块可在本地与视频通信装置 驻存在一起，或驻存于经配置用于ROI提取的不同中间服务器中。在一个实施例中，本发明提供一种包括如下操作的方法从远程装置接收在由本 地装置编码的且由远程装置接收的近端视频内规定感兴趣区域(ROI)的信息；及根据所 述ROI对近端视频进行编码以相对于所述视频的非ROI区增强所述ROI的图像质量。在另一实施例中，本发明提供一种视频编码装置，所述视频编码装置包括感兴 趣区域(ROI)引擎，其从远程视频通信装置接收在要传输到远程装置的近端视频内规定 感兴趣区域(ROI)的信息；及视频编码器，其对所述近端视频进行编码以相对于所述视 频的非ROI区增强所述ROI的图像质量。在附加实施例中，本发明提供一种包括以下操作的方法产生规定由远程装置传 输且由本地装置接收的远端视频内的感兴趣区域(ROT)的信息；及将所述信息传输到
远程装置供用于根据所述ROI对远端视频进行编码以相对于所述视频的非ROI区增强所述ROI的图像质量。在又一实施例中，本发明提供一种视频编码装置，所述视频编码装置包括感兴 趣区域(ROI)引擎，其产生规定从远程装置所接收的远端视频内的感兴趣区域(ROI)的 信息；及视频编码器，其对所述近端视频进行编码并传输规定ROI的信息与已编码近 端视频以供所述远程装置用来根据所述ROI对远端视频进行编码从而相对于所述远端 视频的非ROI区增强所述ROI的图像质量。在另一实施例中，本发明提供一种包括以下操作的方法从用户接收对由本地装 置产生的近端视频内的感兴趣区域(ROI)的说明；根据所述说明产生规定ROI的信息 及根据所述规定ROI的信息对近端视频进行编码以相对于近端视频的非ROI区增强所 述ROI的图像质量。在附加实施例中，本发明提供一种视频编码装置，所述视频编码装置包括感兴趣区域(ROI)引擎，其接收对由所述装置编码的近端视频内的感兴趣区域(ROI)的说明 并根据所述说明产生规定ROI的信息；及视频编码器，其对近端视频进行编码以相对 于所述视频的非ROI区增强所述ROI的图像质量。在又一实施例中，本发明提供一种视频编码系统，所述视频编码系统包括第一视频通信装置，其对所述近端视频进行编码；第二视频通信装置，其从所述第一视频 通信装置接收近端视频，其中所述第二视频通信装置产生对由第一视频通信装置产生的近端视频内的感兴趣区域(ROI)的用户说明；及中间服务器，其在结构上与第一和第二视频通信装置不同并根据所述说明产生规定ROI的信息，其中第一视频通信装置根 据所述规定ROI的信息对近端视频进行编码以相对于近端视频的非ROI区增强所述 ROI的图像质量。本文所述的技术可构建于硬件、软件、固件、或其任一组合中。如果构建在软件 中，则所述技术可部分地通过计算机可读媒体来实现，所述计算机可读媒体包括含有 指令的程序代码，当执行所述指令时，可实施本文所述的一个或一个以上方法。在附图及下文说明中将阐述一个或一个以上实施例的细节。依据所述说明及图式 并依据权利要求书，本发明的其它特征、目的及优点将显而易见。


图i是框图，其图解说明并入有r0I知晓视频编解码器(CODEC)的视频编码和解 码系统。图2是图解说明在与无线通信装置相关联的显示器上呈现的视频景物中界定ROI 的图式。图3是图解说明并入有ROI知晓CODEC的通信装置的框图。图4是图解说明具有ROI知晓CODEC且进一步并入有ROI提取模块的另一通信
装置的框图。图5是图解说明通过中间提取服务器分配ROI提取的框图。图6是图解说明为多个视频电话对话分配ROI提取的框图。图7A-7D是图解说明供用户选择的预界定ROI图案的图式。图8图解说明在接收方装置处产生ROI信息以控制在远程发送方装置处对近端视频进行优先ROI编码的流程图。图9是图解说明对来自接收方装置的ROI信息进行处理以便结合ROI跟踪在发送方装置处对近端视频进行优先ROI编码的流程图。图10是图解说明对来自接收方装置的ROI信息进行处理以便结合用户验证在发送方装置处对近端视频进行优先ROI编码的流程图。 图11是图解说明预界定ROI图案的选择的流程图。图12是图解说明通过扩展及收縮ROI模板来界定所显示视频景物中的ROI图案 的图式。图13是图解说明通过拖动ROI模板来界定所显示视频景物中的ROI图案的图式。 图14是图解说明通过用记录笔在触摸屏上绘制ROI区来界定所显示视频景物中 的ROI图案的图式。图15是图解说明使用下拉式菜单与要动态地提取及跟踪的所规定ROI对象来界 定所显示视频景物中的ROI图案的图式。图16是图解说明使用下拉式菜单与被映射到如图7A-7D中预界定ROI图案的所 规定ROI对象来界定所显示视频景物中的ROI图案的图式。图17是图解说明使用ROI说明接口来界定所显示视频景物中的ROI图案的流程图。图18是图解说明解决发送方与接收方装置之间的ROI冲突的流程图。 图19是图解说明对近端视频内的ROI宏块进行优先编码的流程图。
具体实施方式
图1是框图，其图解说明并入有ROI知晓视频编解码器(CODEC)的视频编码和解 码系统10。如图1中所示，系统10包含第一视频通信装置12及第二视频通信装置14。 通信装置12、 14通过传输信道16连接。传输信道16可以是有线或无线媒体。系统 10支持视频电话的视频通信装置12、 14之间的双向视频传输。装置12、 14可以大致 对称的方式运作。然而，在某些实施例中，视频通信装置12、 14中的一者或两者可经 配置仅用于单向通信，以支持ROI知晓视频流。对于双向应用，可在信道16的对置端上提供互逆编码、解码、多路复用(MUX) 及多路分用(DEMUX)组件。在图1的实例中，视频通信装置12包含MUX/DEMUX 组件18、 ROI知晓视频CODEC 20及音频CODEC 22。类似地，视频通信装置14包
含MUX/DEMUX组件26、 ROI知晓视频CODEC 28及音频CODEC 30。在能够对从 另一视频通信装置12、 14远程提供的或从其自己的视频通信装置本地提供的ROI信 息进行处理的意义上，每一 CODEC 20、 28均为"ROI知晓"。视频通信装置12、 14可构建成为经配备用于视频流、视频电话或其两者的无线 移动终端机或有线终端机。为此，视频通信装置12、 14可进一步包含适宜的进行发射、 接收、调制解调及处理的电子装置以支持无线通信。无线移动终端机的实例包含移动 式无线电电话、移动式个人数字助理(PDA)、移动式计算机、或配备有无线通信能力 和视频编码及/或解码能力的其它移动装置。有线终端机的实例包含膝上型计算机、视 频电话、网络装备、电视机顶盒、交互式电视等。视频通信装置12、 14的任一者均可 经配置以发送视频信息、接收视频信息、或发送及接收视频信息。对于视频电话应用而言，通常需要装置12既支持视频发送能力又支持视频接收 能力。然而，本发明还涵盖了流式视频应用。在视频电话，且特定而言通过无线通信 实施的移动视频电话中，带宽是最为关心的问题。因此，给ROI选择性分配额外编码 位或其它优化编码步骤可改进一部分所述视频的图像质量，同时维持整体编码效率。 为进行优先编码，可给ROI分配额外的位，同时可减少分配给非ROI区域(例如，视 频景物中的背景)的位数。通常，系统10采用为视频电话(VT)应用处理感兴趣区域(ROI)的技术。然而，如 上文所述，这些技术还可适用于视频流应用。出于例示目的，假设每一视频通信装置 12、 14能够既作为视频信息的发送方又作为接收方来运作，且由此作为VT对话中的 全参与者来运作。对于从视频通信装置12传输到视频通信装置14的视频信息，视频 通信装置12是发送方装置，而视频通信装置14是接收方装置。相反，对于从视频通 信装置14传输到视频通信装置12的视频信息，视频通信装置12是接收方装置，而视 频通信装置14是发送方装置。当论及要由本地视频通信装置12、 14编码和传输的视 频信息时，所述视频信息可称为"近端"视频。当论及要由远程视频通信装置12、 14 编码和从远程视频通信装置12、 14接收的视频信息时，所述视频信息可称为"远端" 视频。根据所揭示的技术，当作为接收方装置运作时，视频通信装置12或14为从发送 方装置接收的远端视频信息界定ROI信息。同样，在其是从位于所述视频信息远端处 的另一 (发送方)装置接收到的意义上，可将从发送方装置接收的视频信息称为"远 端"视频信息。同样，为从发送方装置接收的视频信息界定的ROI信息将称为"远端" ROI信息。远端ROI通常指远端视频内的所述远端视频的接收方最感兴趣的区域。接 收方装置将远端视频信息解码，并将经解码的远端视频通过显示器装置呈现给用户。 用户在由远端视频呈现的视频景物内选择ROI。接收方装置根据由用户选择的ROI来产生远端ROI信息，并将所述远端ROI信 息发送到发送方装置。远端ROI信息可采取ROI宏块(MB)映射图的形式，所述ROI 宏块映射图根据驻存于ROI内的宏块来界定ROI。 ROI MB映射图可将处于ROI内的MB标记为1 ，并将ROI外的MB标记为0，以便捷地识别MB包含(l)在ROI中，及 不包含(O)在ROI中。MB是形成帧的一部分的视频块。MB的大小可以是16x16个像 素。然而，可能是其它的MB大小。因此，MB可指代任一视频块，包含但不限于特 定视频编码标准(例如，MPEG-l、 MPEG-2和MPEG-4、 ITUH.263、 ITUH.264)或任一其它标准内所界定的宏块。使用由接收方装置传输的远端ROI信息，发送方装置可对视频景物内的对应ROI 施加优先编码。特定而言，可给ROI分配额外的编码位，图式可减少分配给非ROI 区域的编码位的量，由此改进ROI的图像质量。以此方式，接收方装置能够远程控制 由发送方装置实施的对远端视频信息的ROI编码。与非ROI区相比，优先编码对视频 景物的ROI区施加更高质量的编码，例如，通过在ROI区中实施预先位分配或优先量 化。经优先编码的ROI准许接收方装置的用户更清楚地观察对象或区域。例如，接收 方装置的用户可能期望比视频景物的背景区域更清楚地观看脸部或某一其它对象。当作为发送方装置运作时，视频通信装置12、 14还可为由发送方装置传输的视 频信息界定ROI信息。同样，在视频信息产生于通信信道的近端处的意义上，可将发 送方装置中所产生的视频信息称为"近端"视频。由发送方装置产生的ROI信息将称 为"近端"ROI信息。近端ROI通常指代发送方想要给接收方强调的近端视频的区域。 因此，ROI可由接收方装置用户规定为远端ROI信息，或由发送方装置用户规定为近 端ROI信息。发送方装置通过显示器装置向用户呈现近端视频。与发送方装置相关联 的用户在近端视频呈现的视频景物内选择ROI。发送方装置使用用户选择的ROI来对 近端视频进行编码，以便将近端视频中的ROI优先编码，例如使用相对非ROI区更高 质量的编码。由本地用户在发送方装置处选择近端ROI允许发送方装置的用户强调视频景物 内的区域或对象，且由此使这些区域或对象成为接收方装置用户的关注点。值得注意 的是，不需要将发送方装置用户所选择的近端ROI传输到接收方装置。而是，发送方 装置使用已选择的近端ROI信息，以便在将近端视频传输到接收方装置之前在本地对 近端视频进行编码。然而，在某些实施例中，发送方装置可向接收方装置发送ROI信 息，以准许应用优先解码技术，例如更高质量的错误纠正(例如，错误隐匿)或后处 理(例如，解块及去振鸣滤波器)。如果ROI信息是由发送方装置和接收方装置二者提供的，则发送方装置应用自接 收方装置接收的远端ROI信息或本地产生的近端ROI信息来对近端视频进行解码。在 由发送方装置和接收方装置提供的近端与远端ROI选择之间，可能发生ROI冲突。可 能需要对此等冲突加以解决，例如由本地用户实施的主动解决，或根据规定的访问权 限和等级来进行解决，如将在本发明中别处所作的描述。在两种情况的任一情况下， 发送方装置会根据发送方装置本地提供或接收方装置远程提供的近端ROI信息来对 ROI进行优先编码。为便于ROI处理，本发明进一步涵盖用于以下操作的技术近端ROI选择、ROI
映射、ROI信令、ROI跟踪及接收方装置的存取验证以准许远程控制由发送方装置实 施的ROI编码。如将所述，由接收方装置或发送方装置应用的不同近端ROI选择技术 可涉及选择预界定ROI图案、语言或文本ROI说明或由用户绘制的ROI。在接收方装 置中，ROI映射涉及将所选远端或近端ROI图案转译成ROI映射图，所述ROI映射 图可采取宏块(MB)映射图的形式。ROI信令可涉及对从接收方装置到发送方装置的远 端ROI信息的带内或带外信令。ROI跟踪涉及响应于ROI运动动态地调节由接收方装 置产生的远端ROI映射图或由发送方自己产生的本地近端ROI。存取验证可涉及出于 远程远端ROI控制的目的授予接收方装置存取权及存取等级，以及解决接收方与发送 方装置之间的ROI控制冲突。系统10可根据对话发起协议(SIP)、 ITU H.323标准、ITU H.324标准或其它标准 支持视频电话。每一视频CODEC 20、 28根据视频压缩标准(例如MPEG-2、 MPEG-4、 ITU H.263或ITU H.264)产生经编码的视频数据。如图1中所谓进一步显示，视频 CODEC 20、 28可与相应的音频CODEC 22、 30整合，且包含适宜的MUX/DEMUX 组件18、 26以处理数据流的音频和视频部分。MUX-DEMUX单元18、 26可遵守ITU H.223多路复用器协议、或诸如用户数据报协议(UDP)等其它协议。图2是图解说明在与无线通信装置38相关联的显示器36上呈现的视频景物34 内的ROI32的界定的图式。在图2的实例中，ROI32是含有呈现于视频景物34中的 人的面部39的矩形区域，虽然ROI可含有任何需要改进的或增强的编码的图像或对 象。在VT应用中，呈现于视频景物34中的人通常为远程发送方装置的用户，所述用 户是与运作为接收方装置的无线通信装置38的用户的视频会议的一方。ROI 32构成 远端ROI，这是因为其界定从远程发送方装置传输的视频景物中的ROI。根据本发明， 远端ROI 32传输到发送方装置以规定对所述ROI内的视频景物的各区进行优先编码。 以这种方式，接收方装置38的本地用户能够远程控制远端ROI32的图像质量。如将 描述，远端ROI32的大小、形状及位置可固定或可调节，且可以各种方式来界定、描 述或调节。ROI 32准许接收方装置用户更清楚地观看视频景物34内的个别对象，例如，人 的面部39。 ROI 32内的面部39是以相对于非ROI区(例如，视频景物34的背景区 域)更高的图像质量加以编码。以这种方式，用户能够更清楚地观看脸部表情、唇部 动作、眼部动作等。然而，另一选择为，ROI32可用于规定除面部以外的任何对象。 大体而言，VT应用中的ROI可十分主观，并可因用户不同而变化。所需的ROI还取 决于VT是如何使用的。在某些情况下，与视频会议不同，VT可用来观看和估计对象。例如，丈夫可使用VT应用来显示他想在机场礼品店中购买的礼品。丈夫可能期 望以及时且交互的方式从妻子那里得到第二选项。通过这样做，丈夫可按照其将搭乘 航班的启程时间而即刻作出决定。在这种情况下，ROI就是覆盖丈夫正考虑礼品的区 域。通过允许妻子(或丈夫)来选择ROI，就可能获得对特定ROI的更好编码或更好 的服务质量且由此准许妻子更清楚地观看礼品。
作为另一实例，两个或两个以上工程师可进行涉及在白板上呈现及讨论对各种方程式或程序的VT呼叫。在这种情况下，远程用户可能期望以更好的图像质量观看白板的一部分，例如，以更清楚地看到方程式的细节。为此，远程用户选择可包围所述方程式的ROI。另外，当工程师给白板添加内容时，远程用户可期望移动ROI以跟踪 新添加到白板的标的物。远程用户规定ROI的能力可明显地改进技术讨论中的信息交 换。本文所述的ROI技术不仅可改进ROI的视频质量，还可改进两个用户之间的视 频交互作用。 一般而言，常规的VT应用仅能组合两个单向视频传输及完成在声音上 的任何交互作用。在传统VT应用中，通常在视频侧上不存在交互作用。允许接收方 装置用户对在VT呼叫期间从发送方装置接收的视频内容具有至少有限的控制，可准 许增加的视频交互作用。以这种方式，可将VT应用设计成接收方装置用户可选择ROI，并将ROI信息发 送回到发送方装置以便对ROI进行优先处理，例如，更高质量的编码(例如，分配更 多编码位)或更强壮的错误保护(例如，MB内刷新)。实际上，通过规定远端ROI， 接收方装置用户可远程控制发送方装置编码器。另外，这种远端ROI信息可由接收远 端视频的装置中的ROI知晓视频解码器用来更好地进行后处理，例如，错误隐匿、解 块或去振鸣。已编码视频的接收方对视频编码器的远程控制不同于仅控制远程摄像机 的扫视、倾斜、变焦距或聚焦。相反，使用远程ROI处理，用户能够影响应用到特定 区域或各区域的编码质量。然而，在某些实施例中，可结合远程视频编码器控制来提 供远程摄像机控制。图3是图解说明并入有ROI知晓CODEC的视频通信装置12的框图。虽然图3 描绘图1的视频通信装置12，但可类似地构造视频通信装置14。同样，视频通信装置 12或14可担当接收方装置、发送方装置且优选地接收方及发送方装置两者。如图3 中所示，视频通信装置12包含ROI知晓CODEC 20、视频捕捉装置40和用户接口 42。 虽然图3中显示有信道16，但MUX-DEMUX及音频组件是出于易于图解说明的目的 而省略。视频捕捉装置40可为视频摄像机，所述视频摄像机与视频通信装置12整合 在一起或以可操作方式耦合到视频通信装置12。在某些实施例中，例如，视频捕捉装 置40可与移动电话相整合在一起，以形成所谓的摄像电话。以这种方式，视频捕捉装 置40可支持移动式VT应用。用户接口42可包含显示器装置，例如，液晶显示器(LCD)、等离子屏幕、投影机 显示器或任何其它可与视频通信装置12整个在一起或以可操作方式耦合到视频通信 装置12的显示器设备。显示器装置给视频通信装置12的用户呈现视频图像。视频图 像可包含视频捕捉装置40在本地获得的近端视频，以及从发送方装置远程传输的远端 视频。另外，用户接口42可包含各种用户输入媒体的任一者，其中包含硬键、软键、 各种指向装置、记录笔及类似物，以供视频通信装置12的用户输入信息。在某些实施 例中，显示器装置及用户接口 42的用户输入媒体可与移动电话整个在一起。视频通信 装置12的用户依赖于用户接口42以观看远端视频且视需要，近端视频。另外，用户 依赖于用户接口 42以输入用于界定或选择远端ROI且视需要，近端ROI的信息。如图3中的进一步显示，ROI知晓CODEC 20包含ROI引擎44、 ROI知晓视频 编码器46和ROI知晓视频解码器48。 ROI知晓视频编码器46对从视频捕捉装置40 获得的近端视频("NEAR-END VIDEO")进行编码以便传输到接收方装置。同样，术 语"近端"指示与从远程视频通信装置(例如，视频通信装置14)接收的"远端"视 频相比在本地产生于视频通信装置12内的视频。在图3的实例中，ROI知晓视频编码 器46使用从远程接收机获得的近端ROI信息("REMOTE NEAR-END ROI")来对近 端ROI进行优先编码。远程接收机是与远程视频通信装置14相关联的用户。从远程用户的观点来看，当远程近端ROI是由远程装置14来传输时其为远程远 端ROI，而从接收远程近端ROI的装置12的本地用户的观点来看，其可称作远程近 端ROI。也就是说，从装置12、 14作为发送方或接收方的观点来确定视频和ROI是 适用于近端还是远端视频。同样，远程控制在远程装置14处进行的视频编码的本地装 置12用户规定远端ROI。但是，当远程装置14的用户接收远端ROI时，其将近端 ROI视为从属于将由本地装置14编码的近端视频。 一般而言，出于本发明中所用标记 的目的，观点极为重要。视需要，ROI知晓视频编码器46可使用从视频通信装置14的本地用户获得的近 端ROI信息("LOCAL NEAR-END ROI")。本地近端ROI也可称作发送方驱动的ROI， 这是因为其是由已编码近端视频的发送方所产生。本地近端ROI信息由本地编码器46 使用且通常不发送到其它视频通信装置14，除非远程装置14中的视频解码器设计成 对由发送方装置12的用户规定的近端ROI应用优先解码。远程近端ROI还可称作接 收方驱动的ROI，这是因为其是由已编码近端视频的远程接收方所产生。远程近端ROI 准许视频通信装置12所产生视频的接收方控制由ROI知晓编码器46实施的ROI编码， 而本地近端ROI准许视频通信装置12所产生视频的发送方控制由ROI知晓编码器46 实施的ROI编码。在某些情况下，如将所述，远程与本地ROI的界定可发生冲突，因 此需要解决冲突。本地和远程近端ROI信息可以近端ROI宏块(MB)映射图("近端ROI MB映射图") 的形式提供给ROI知晓编码器46。近端ROI MB映射图识别驻存于接收方近端ROI 或发送方近端ROI内的特定MB。 ROI知晓编码器46使用更高质量的编码、更强壮的 错误保护或其两者来对近端视频中的ROI进行优先编码以在远程用户(例如)在远程 视频通信装置14处观看时改进ROI的图像质量。无线电话应用中特别需要对ROI的 更好错误保护。然后，将所得的已编码近端视频("ENCODED NEAR-END VIDEO") 传输到远程装置14。如将解释，ROI知晓视频编码器46还传输由视频通信装置12的本地用户为从远 程视频通信装置14所接收的远端视频而产生的远端ROI信息("FAR-END ROI")。远端 ROI用作由远程视频通信装置14所编码视频的接收方驱动的R01。实际上，由视频通
信装置12传输的远端ROI信息准许至少部分地控制远程视频通信装置14所产生近端 视频的编码器，就像由视频通信装置12用来控制ROI知晓视频编码器46的由ROI 知晓解码器48所接收的远程近端ROI—样。以这种方式，每一视频通信装置12、 14 均能够影响在由其它装置所产生的远端视频中进行的ROI编码。可以带内或带外信令信息的形式来传输由视频通信装置12所传输的远端ROI信 息。在带内信令的情况下，远端ROI信息可嵌于要传输到远程视频通信装置14的已 编码近端视频位流内。在MPEG4位流格式中，例如，存在可用于嵌入描述位流的信 息的所谓"user—data"的字段。采取其它位流格式的"user —data"字段或类似字段可 用来嵌入远端ROI信息而不会违背位流顺从性。另一选择为，ROI信息可通过所谓数 据隐藏技术(例如，隐写术)嵌入视频位流。ROI知晓视频解码器48经配置以在来自远程装置的进入远端视频内的user_data 字段或别处来寻找ROI信息。在带外信令的情况下，信令协议(例如，ITUH.245或 SIP)可用于传送远端ROI信息。在以上两种情况的任一情况下，远端ROI信息可采 取ROI MB映射图或界定远端ROI的位置及/或大小的实体座标的形式。 一旦解码器 48接收到远端视频位流，其会根据与远程发送方装置商定的格式来检索ROI信息，并 在将远程近端ROI提供给视频编码器56之前传递所述ROI信息以存取验证模块58 从而获得对近端ROI控制的存取权限。除控制远程视频编码器以对远端视频中的ROI进行优先编码外，远端ROI信息 还可施加到本地视频解码器以在远端视频中对ROI内的MB进行优先编码。例如，如 图3中的进一步显示，ROI映射器54为传输到远程编码器所产生的相同远端ROI MB 映射图可提供给ROI知晓视频解码器48。 ROI知晓视频解码器48使用ROI MB映射 图以对从远程视频通信装置14接收的远端视频内的MB进行优先解码。例如，ROI 知晓视频解码器48可给ROI MB应用比给非ROI MB更好的后处理。另外，或另一选 择为，ROI知晓视频解码器48可给ROI MB应用比给非ROI MB更健壮的错误隐匿技 术。以这种方式，ROI知晓视频解码器48依赖由本地用户所产生的远端ROI信息来 对进入的远端视频的ROI部分进行优先解码以获得增强的图像质量。ROI知晓视频解码器48从远程视频通信装置(例如，图1的视频通信装置14) 接收进入的远端视频。R01知晓视频解码器48对所述远端视频进行解码并将已解码视 频提供到用户接口42以便在显示器装置上呈现给本地用户。另外，如上所论述，ROI 知晓视频解码器48从远程视频通信装置14接收远程近端ROI信息("REMOTE NEAR-END ROI")。由ROI知晓视频解码器48接收的近端ROI信息是由远程视频通 信装置14的用户所产生以规定由视频通信装置12所传输视频内的ROI。如上所述， 由ROI知晓视频解码器48接收的远程近端ROI信息用于远程控制ROI知晓视频编码 器46以对由视频通信装置12所产生近端视频内的ROI进行优先编码。如上所论述， 远程近端ROI是通过带内或带外信令技术来传输。进一步参照图3， ROI知晓视频编码器46及ROI知晓视频解码器48与ROI引擎44交互作用。ROI弓I擎44处理本地及远程近端ROI信息以便对来自视频捕捉装置40 的近端视频位流进行编码和传输。另外，ROI引擎44处理经由用户接口42提供的远 端ROI信息以进行编码并传输到远程视频通信装置14。 ROI引擎44包含ROI控制器 52、 ROI映射器54、 ROI跟踪模块56及验证模块58。在某些实施例中，ROI跟踪模 块56及验证模块58可为任选。ROI知晓视频编码器46、 ROI知晓视频解码器48、 ROI控制器52、 ROI映射器 54、 ROI跟踪模块56及验证模块58可以各种方式形成为离散功能性模块或为包含赋 予每一模块的功能性的单片模块。无论如何，ROI知晓CODEC 20的各种组件(包含 ROI引擎44、视频编码器46及视频解码器48)可以硬件、软件、固件或其组合来实 现。例如，此等组件可运作为在下列装置上执行的软件过程 一个或一个以上微处理 器或数字信号处理器(DSP)、 一个或一个以上专用集成电路(ASIC)、 一个或一个以上场 可编程门阵列(FPGA)、或其它等效集成或离散逻辑电路。如果构建在软件中，则所述 技术可部分地通过一个计算机可读媒体来实现，所述计算机可读媒体包括含有指令的 程序代码，当在处理器或DPS中执行所述指令时，可实施上文所述的一个或一个以上 方法。在操作中，视频通信装置12的用户选择由视频捕捉装置40产生的近端视频或由 ROI知晓视频解码器48解码的远端视频以便在与用户接口 42相关联的显示器装置上 观看。在某些实施例中，画中画(PIP)功能性可准许用户同时观看近端视频及远端视频。 为出于ROI界定目的而观看近端或远端视频，用户可操纵用户接口 42以调用ROI界 定模式。通过缺省，视频通信装置12可在不考虑ROI的情况下来处理视频编码及解 码。通过进入ROI界定模式，用户启动视频通信装置12的ROI知晓编码及解码方面。 另一选择为，ROI知晓编码及解码可为缺省模式。在呈现远端视频后，用户使用各种技术中的任一技术来指示远端视频中的ROI， 此将更详细地描述。远端ROI在视频景物内突出显示用户感兴趣的且期望具有更高图 像质量的区域或对象用户接口 42根据用户输入产生远端ROI指示。ROI信息可由ROI 引擎44进行进一步处理以产生远端ROI信息供传输到视频通信装置14。另一选择为，用户可为ROI界定选择从视频捕捉装置40获得的近端视频。在呈 现近端视频后，用户可视需要使用类似于或相同于用于远端视频中的ROI指示的那些 技术的技术来指示近端视频中的ROI。近端ROI或远端ROI可在VT呼叫开始时初始 地加以规定，或在VT呼叫过程期间的任何时间加以规定。在某些实施例中，初始ROI 可由本地用户或远程用户来更新，或由ROI跟踪模块56自动地更新。如果ROI是自 动地更新，则不需要用户继续输入ROI信息。相反，将根据用户的初始输入来维持 ROI直到用户改变或停止ROI为止。用户接口 42根据用户提供的指示产生本地近端ROI指示。与远端ROI指示相同， 近端ROI指示可由ROI引擎44进行进一步处理。近端ROI指示在视频景物内突出显 示用户期望向远程用户强调的区域或对象，亦即，通过增强的图像质量。本地用户可
通过预界定的ROI图案或经由用户接口 42绘制ROI图案来选择近端ROI或远端ROI。 绘制ROI图案可涉及使用记录笔的徒手画法或对缺省ROI图案进行重设大小或重新定 位。在图3的实例中，用户接口 42给ROI引擎44内的ROI控制器52提供本地近端 ROI指示(如果提供的话)及远端ROI指示两者。另外，ROI控制器52经由验证模 块58从ROI知晓视频解码器48接收远程近端R01。特定而言，ROI知晓视频解码器 48在所接收远端视频流内或经由带外信令检测远程近端ROI信息的存在，并将远程近 端ROI信息提供到验证模块58。本地近端ROI及远端ROI指示可根据相应近端视频 或远端视频的视频帧内的坐标来表示。ROI的坐标可为视频帧内的x-y坐标。然而， 如将解释，x-y坐标经处理以产生供编码器46或解码器48使用的ROI MB映射图。ROI控制器54处理本地近端ROI、远程近端ROI及远端ROI，并将其应用到ROI 映射器54。 ROI映射器54将相应的ROI坐标转变成宏块(MB)映射图。更特定而言， ROI映射器54产生远端MB映射图，所述映射图规定远端视频内的对应于本地用户所 指示远端ROI的MB。另外，ROI映射器54产生近端ROIMB映射图，所述映射图规 定近端视频内的对应于本地近端ROI、远程近端ROI或两者的组合的MB。对于预界定ROI图案，ROI映射是直截了当的。每一预界定ROI图案可具有也 为预界定的所指定MB映射。然而，对于绘制、重新定位或重设大小的ROI图案，ROI 映射器54选择最接近符合由用户所规定ROI图案坐标的MB边界。例如，如果所规 定的ROI跨越穿过MB，则ROI映射器54将ROI边界置于相关MB的外边缘或内边 缘处。换句话说,ROI映射器54可经配置以仅将完全处在ROI内的MB包含于ROI MB 映射图中，或也包含部分地处在ROI内的MB。在以上两种情况的任一种情况下，ROI 包含一组最接近近似所规定ROI的全MB。同样，视频编码器46或视频解码器48在 MB等级下运作，且通常需要将ROI到MB映射图的转译。通过将个别MB指定为包 含于ROI内或排除在所述ROI外，ROI MB映射图准许界定具有不规则或非矩形形状 的ROI。ROI知晓视频编码器46在己编码近端视频内或经由带外信令来将远端ROI MB 映射图传输到远程视频通信装置14。近端ROIMB映射图不传输到远程视频通信装置 14。而是，近端ROI MB映射图由ROI知晓视频编码器46用来在传输到远程视频通 信装置14之前使用更高质量的编码或更强壮的错误保护来对近端视频中的所规定MB 进行优先编码。因此，ROI知晓视频编码器46将已编码近端视频与优先编码的ROI 以及远端ROI信息一起传输到远程视频通信装置14。ROI跟踪模块56跟踪近端视频的ROI区域的改变。例如，如果VT应用驻存于 移动视频通信装置内，则用户可能时而会移动，此可导致用户相对于先前所规定ROI 的位置改变。另外，即使用户位置是稳定的，ROI内的其它对象可能移出ROI区域。 例如，湖中的小船可随着波浪运动而上下摆动或左右移动。为避免需要用户在出现移 动时重界定ROI,可提供ROI跟踪模块56以自动地跟踪ROI区域内的对象。 在图3的实例中，ROI跟踪模块56从由ROI知晓视频编码器46产生的已编码近 端视频接收运动信息。运动信息可采取针对已编码近端视频内的MB的运动向量的形 式，以准许ROI映射器54对ROIMB映射图界定进行闭路控制。根据运动信息，ROI 跟踪模块56为近端ROI MB映射图产生增量位置调节，并将所述调节提供到ROI映 射器54。位置调节可采取MB状态改变为包含于ROI内或排除在ROI外的形式。如果运动信息指示ROI的明显移动，则ROI MB映射图中的MB状态发生改变。 通常，状态改变将针对在ROI外边界处的MB而发生。响应于位置调节，ROI映射器 54使近端ROI MB映射图所规定的ROI移位，以使ROI位置在逐帧基础上适应于己 编码近端视频内的移动。ROI跟踪模块56及ROI映射器54协作以在检测到视频景物 内的运动时自动地调节ROI位置。以这种方式，ROI引擎44调节ROI以跟踪R01内 的移动对象。验证模块58用于解决远程用户的ROI权利，其中包含个别用户的权利及多个用 户当中的权利优先权。当ROI知晓视频解码器48从远程视频通信装置14接收远程近 端ROI时，其将远程近端ROI提供到ROI引擎44。然而，在某些例示中，由远程用 户规定的远程近端ROI可能与由本地用户规定的本地近端ROI发生冲突。例如，本地 及远程用户可在视频景物内规定重叠的ROI或完全不同的ROI。在这种情况下，可提 供验证模块58以解决ROI冲突。在某些实施例中，验证模块58可应用所谓"主从"机制来协调在既定时间应使 用哪一近端ROI信息(本地或远程)。特定而言，在发送方接收接收方驱动的ROI信息 之前，发送方为近端ROI主人并控制其近端ROI。换句话说，在视频通信装置12处 接收到远程近端ROI之前，本地用户控制近端ROI。然后，远程用户成为近端ROI"仆 从"且不控制近端ROI，除非主人(亦即，本地用户)授予控制近端ROI的存取权。一旦本地用户将存取权授予远程用户，则本地用户不再控制其近端ROI。而是， 与视频通信装置14相关联的远程用户获得对视频通信装置12所产生近端视频的近端 ROI的控制并变为近端ROI的主人。远程用户可保持控制直到本地用户明确地取消存 取特权或另外远程用户拒绝存取，或远程用户停止近端ROI选择，在此情况下主人 ROI控制恢复给本地用户。一旦ROI知晓视频解码器48接收到已编码远端视频(如果有的话)，则其根据与 发送方协商的格式从视频位流中检索远程近端ROI信息。同样，近端ROI信息可嵌于 已编码远端视频中或通过带外信令来发送。在以上两种情况的任一种情况下，ROI知 晓视频解码器48将远程近端ROI传递到验证模块58以在经由ROI控制器52及ROI 映射器54将远程近端ROI发送到ROI知晓视频编码器46之前获得存取权限。验证模 块58限制给特定用户的存取权，以使用户在没有本地用户授权的情况下无法控制编码 过程。验证模块58可经配置以授予及管理一个或一个以上远程用户之间存取权及存取 等级。例如，本地用户可将存取权授予所选远程用户。因此，本地用户可准许某些远
程用户控制近端ROI并禁止其它远程用户控制近端ROI。同样，本地用户可给远程用 户指配相对的存取等级或优先权。以这种方式，本地用户可在远程用户之间规定存取 等级的层次，以便在多个远程用户同时请求ROI控制的情况下某些远程用户可在控制 近端ROI方面具有优于其它远程用户的优先权。例如，多个远程用户可在多方视频会 议过程中同时请求ROI控制。在此等情况下，ROI控制通常排他地授予一个用户、任 一本地用户、或如果由本地用户来授予，则授予远程用户中的所选用户。在某些实施例中，验证模块58也可能负责资源监控以确定本地视频通信装置12 是否具有能力来启用ROI知晓视频处理。如果本地装置没有充足的处理资源以在既定 时间支持远程ROI控制，或服务特定类型的ROI请求，则验证模块58取消远程R01 控制存取权或拒绝ROI请求。作为实例，通信信道施加的带宽限制或本地处理负载可 导致对远程ROI控制的拒绝。作为进一步实例，此等限制可准许使用预配置的ROI 图案，但不准许绘制或描述ROI图案。验证模块58可通过将状态消息嵌于要发送到 远程装置的输出已编码近端视频中来将ROI决定通知远程装置。另外，可授予个别远程用户不同的存取等级以控制使远程用户可控制近端ROI 的程度。例如，可将远程用户限制为选择一组预界定ROI图案、特定ROI位置或大小、 或仅在本地用户批准后对ROI加以规定。因此，验证模块58可自动地解决近端ROI 的远程用户控制或通过与本地用户的交互作用来协商以主动地批准远程用户的近端 ROI控制。例如，当远程用户请求存取以控制近端ROI时，验证模块58可经由用户 接口 42向本地用户呈现讯问，以请求对远程用户ROI控制给予批准。验证模块58可以各种方式中的任一方式来跟踪远程用户的存取等级。如上所述， 本地用户可对来自远程用户的对控制近端ROI的请求主动地给予批准，并有效地控制 授予远程用户的存取等级。另一选择为，本地用户可在视频通信装置12中的存储器内 维持地址薄，所述地址薄存储与远程用户相关联的信息，其中包含存取权或等级。地 址薄可采取数据库的形式，所述数据库具有一远程用户清单及关联的存取等级。当远 程用户请求近端ROI控制时，验证模块58从地址薄中检索相关的存取权信息并在自 发基础上应用验证过程以解决本地用户、远程用户及可能的数个远程用户之间的ROI 控制。如果远程用户未被列入地址薄中，则本地用户可在具有可适用存取权的情况下 选择将所述远程用户添加到地址薄。在某些情况下，本地用户可重叠地址薄中为特定远程用户所规定的缺省存取等 级。例如，验证模块58可准许本地用户在VT呼叫过程期间主动地重新布置不同远程 用户之间的ROI控制优先权或加以干涉以作为本地用户重新获得对近端ROI的排他性 控制。在维持地址薄或主动地管理ROI控制请求中，本地用户与验证模块58之间的 交互作用由图3中的ACCESS CONTROL INFO来表示。在自动地或主动地批准远程用户的近端ROI控制后，验证模块58将远程近端ROI 传递到ROI控制器52以便由ROI映射器54进行处理及映射。另一选择为，亦即，如 果未提供远程近端ROI或本地用户已选择排除远程用户来控制近端ROI，则ROI控制
器52处理本地用户经由用户接口 42提供的本地近端ROI。验证模块58用于解决本地与远程用户之间的ROI冲突。通过缺省，验证模块58 应用本地用户藉此具有近端ROI控制的主从概念。在将具有最高等级的存取权授予远 程用户后，远程用户可完全控制针对视频通信装置12的ROI知晓视频编码器46的近 端ROI选择。否则，本地用户具有可重叠远程用户所作出的近端ROI选择的近端ROI 控制。即使可授予远程用户存取权，但本地用户仍会在近端ROI控制方面占优势，这是 因为远程用户的存取权通常处在比本地用户的那些存取权低的等级。因此，如果本地 用户选择规定近端ROI，则由远程用户所作出的任一近端ROI选择将可忽略不计。另 一方面，如果本地用户不规定近端ROI，则指配给远程用户的存取权等级有效，且远 程用户能够控制近端ROI。尽管如此，如上所述，本地用户仍可选择重叠缺省主从关 系并赋予本地用户最高等级的存取权。图4是图解说明具有ROI知晓编解码器且进一步并入有ROI提取模块60的另一 视频通信装置12'的框图。图4的视频通信装置12'几乎与图3的视频通信装置12 —致。 然而，视频通信装置12'进一步包含ROI提取模块60以根据来自用户的输入形成本地 近端ROI及远端ROI。除简化处理对预配置ROI图案的选择或准许用户对缺省ROI 进行绘制、重新定位或重设大小外，ROI提取模块60还准许本地用户通过语言或文本 ROI说明来规定ROI。特定而言，ROI提取模块60根据由本地用户提供的ROI说明 来产生本地近端ROI或远端ROI。ROI说明的实例包含例如"面部"、"移动对象"、"唇部"、"人类"、"背景"及类 似物的措辞的文本或语言输入。高度期望对所述对象进行优先编码。例如，唇部或面 部的优先编码可更好地表示面部表情、说话的口形及类似情况。文本输入可从由用户 接口 42呈现的菜单中输入或选择。语言输入可通过对着与视频通信装置12'相关联的 麦克风讲话来提供。在每一情况下，本地用户"描述"ROI而非选择或绘制ROI。 ROI 提取模块60将说明转变为可适用的近端或远端视频景物内的一组坐标。在使用语言 ROI说明的情况下，用户接口 42或ROI提取模块60可并入常规的语言辨别能力。特 定而言，ROI提取模块60可根据一个或一个以上经辨别的措辞来产生规定ROI的信 息。ROI提取模块60通过应用经配置以检测所期望ROI的常规预编码处理算法来自 动地选择ROI坐标。特定而言，ROI提取模块60可根据视频ROI处理领域中的技术 人员已知的常规技术来应用算法以便进行面部检测、特征提取、对象分段或跟踪。例 如，ROI提取模块60可应用依赖于ROI识别的常规技术，所述ROI识别基于视频输 入数据的像素的亮度或色度值。常规面部检测方案通常牵扯将肤色用作指南来识别面部对非面部像素。常规面部 检测方案的实例描述于C,W. Lin， Y,J. Chang及Y.-C. Chen, "A low-complexity face-assisted coding scheme for low bit-rate video telephony" IEICE Trans. Inf. & Syst.，
第E86-D巻,第1期，2003年1月,第101-108页中及D. Chai和K. N. Ng叫"Face segmentation using skin-color map in videophone applications," IEEE Trans On Circuits and Systems for Video Technology，第9巻，第4期，1999年6月，第551-564页中。当本地用户根据"面部"来描述ROI时，ROI提取模块60分析近端或远端视^频 (只要可适用)以自动地识别面部并指定与经识别面部相关联的坐标作为ROI。 ROI 提取模块60然后将坐标传递到ROI控制器52以便由ROI映射器54进行处理及映射。 值得注意的是，ROI提取模块60处理本地近端ROI说明或远端ROI说明(只要可适 用)、将所述说明映射到适宜的提取算法并自动地分析可适用的预编码近端视频或预解 码远端视频来自动地提取适宜的ROI。为支持自动ROI检测，ROI提取模块60从视频捕捉装置40接收近端视频并从 ROI知晓视频解码器48接收远端视频。使用来自用户接口 42的本地近端ROI说明或 远端ROI说明以及自动检测算法，ROI提取模块60产生本地近端ROI及远端ROI(只 要可适用)以便应用到ROI控制器52。在所有情况下，ROI提取模块60会将本地近 端ROI说明或远端ROI说明转变成最适合可适用说明的坐标。在这种情况下，不需要 用户来绘制ROI。另外，用户不会被限制在一组预界定ROI图案。而是，ROI控制器 52主动地检测近端视频内匹配ROI说明的适宜区域。ROI映射器54将ROI坐标至视频帧内的相关宏块(MB)，并产生近端或远端ROI MB映射图。实际上，ROI映射器54将来自ROI控制器52的ROI坐标转译成视频编 码器46可理解的格式。特定而言，视频编码器46经配备以处理在MB等级下的编码， 亦即，在MB对MB的基础上。为此，ROI映射器54为近端或远端视频产生ROIMB 映射图。ROI MB映射图识别属于所指定ROI内的MB以便视频编码器46可对那些 MB应用优先编码。除处理ROI说明外，ROI提取模块60还可经配备以处理本地用户从一组预界定 图案中选择的或由本度用户绘制、重新定位或重设大小的ROI图案。因此，视频通信 装置12，可产生大致如关于图3的视频通信装置12所述的ROI信息，但进一步并入有 ROI提取模块60以处理由本地用户以文本形式或语言形式输入的ROI说明。ROI提 取模块60在易于本地用户使用方面可能是需要的。然而，某些视频通信装置可能并不 具有充足的处理功率来支持ROI提取模块60。因此，ROI提取模块60表示根据本发明的视频通信装置的需要但是任选的组件。在某些实施例中，ROI提取模块60可处理并非仅由本地用户而是也由远程用户 所产生的ROI说明。以这种方式，在某些装置中除在本地外还可远程地实施提取功能 性。例如，特定视频通信装置14可能并不具有充足的本地资源或能力来支持对由装置 14的用户所提供的ROI说明进行ROI提取。然而，另一视频通信装置12可经配备而 可更好地用于ROI提取。在这种情况下，本发明涵盖可卸载到或分配到远程视频通信 装置的本地ROI提取。为支持远程提取，可以各种方式将ROI说明提供到远程装置。例如，语言说明可包含于传输到远程装置的音频流中。同样地，文本ROI说明以及预界定ROI图案或绘 制的ROI图案可通过(例如)将此等信息嵌于已编码视频流中而传输到远程装置。因 此，从一个装置发送到另一装置的ROI信息可采取经预处理的ROIMB映射图形式， 或任何其它ROI指示或说明的形式，其中包含需要在应用到远程编码器之前于远程装 置处进行处理的指示或说明。图5是图解说明通过中间提取服务器61分配ROI提取的框图。如图5中所示， 视频通信装置12、 14可将充足的信息提供至中间提取服务器61以便可提取ROI。例 如，每一装置12、 14可提供相应的本地近端ROI说明、远端ROI说明、已编码或原 始近端视频及已编码远端视频。作为从近端装置提供已编码远端视频的替代方案，ROI 提取服务器61可直接从远端装置接收远端视频。使用此信息，提取服务器61产生远 端ROI及本地近端ROI中的一者或两者，并将其提供到相应的装置12、 14。提取服 务器61可为位于通信网络内任何地方的服务器，且可通过有线媒体、无线媒体或两者 的组合耦合到装置12、 14。提取服务器61可位于距视频通信装置12、 14遥远处或与 装置12、 14驻扎在同一地点。然而，在许多例示中，提取服务器61可为远程服务器。 一般而言，提取服务器61与视频通信装置12、 14在结构上截然不同。提取服务器61的作用更像提取模块60，但其是在远程分配的基础上运作以致不 需要在装置12、 14内实施本地ROI提取。以这种方式，ROI提取的处理成本可分配 到不同的装置，从而可具有更大的处理功率。类似于ROI提取模块60，提取服务器 61可处理不同类型的ROI说明，例如，由用户提供的语言、文本或图形说明。为此， ROI提取服务器61可并入有适合于处理所述说明的能力，例如，语言辨别能力。另外， ROI提取服务器61可配备有视频解码能力以准许对视频及ROI的提取进行分析，以 及编码能力以对视频进行重新编码并嵌入ROI信息(如果需要)。图6是图解说明为多个视频电话对话分配ROI提取的框图。在图6的实例中， ROI提取服务器61运作以针对多个视频通信装置12A-14A、 12B-14B、 12C-14D至 12N-14N之间的VT对话处理ROI提取。以这种方式，ROI提取服务器61平行地实施 多个ROI提取任务以支持将在既定通信网络上进行的各种VT对话。图7A-7D是图解说明供本地或远程用户选择的预界定ROI图案的图式。图7A-7D 的ROI图案是出于实例目的，而不应将其视为限制。图7A显示呈现于与无线通信装 置38相关联的显示器36上的视频景物34内的ROI 62。 ROI 62是其中心大致位于视 频景物34内的基本矩形。矩形ROI62的主长度在视频景物34内垂直延伸。在许多情 况下，预界定中心的矩形ROI62将会有效地捕捉到人的面部，亦即，参与VT呼叫的 远程用户的面部。图7B显示另一呈矩形的ROI 64,所述矩形具有在视频景物34内水平延伸的主 长度。ROI 64的中心大致位于视频景物34内且可有效地捕捉到对象，例如，车辆、 小船、产品、礼品及类似物。图7C显示另一 ROI 66,其具有经设计以捕捉参与VT呼叫的远程用户的面部及 肩部的形状。另一选择为，ROI66可捕捉正播报新闻广播的记者、聚会主持人或会议 演讲人的面部及肩部(例如，在单向视频流应用中)。无论如何，预界定ROI66聚焦 于人类VT参与者或呈现者上，并实现对这个人的实体特征进行优先编码。图7D显示在视频景物34内并排呈现的两组ROI 68、 70。在图5D的实例中， ROK8、 70可有效地捕捉到两个并排坐着或站立的人的面部。以这种方式，可对两个 参与者的面部进行优先编码以支持面部表情及移动的更高图像质量。图7A-7D中所描绘的预界定ROI图案均出于图解说明的目的。可提供其它具有 替代位置或形状的预界定ROI图案。例如，某些ROI图案可具有圆形或不规则形状， 只要所述图案可映射到MB边界。在某些实施例中，可准许用户对所选ROI图案进行重设大小或重新定位。可使用 传统的光标及拐角拖动技术来实现重设大小及重新定位。另外，可通过拐角拖动或通 过明确地规定縮放百分比来实现对ROI大小的重新缩放。当然，当ROI变大时，优先 编码的程度因带宽限制而减小。因此，在某些情况下，可在视频通信装置12内强制执 行最大ROI大小。图8是图解说明在接收方装置处产生远端ROI信息以控制在发送方装置处于近端 视频中进行的优先ROI编码的流程图。图8中描绘的过程可在图4的视频通信装置12' 的图3的视频通信装置12内实施。在操作中，视频通信装置12内的ROI知晓视频解 码器48对来自远程发送方装置(例如，视频通信装置14(图1))的远端视频进行解码 (72)。在对远端视频进行解码后，接收方装置12的用户接口 42显示远端视频以供本 地用户来观看(74)。如果本地用户不请求近端ROI选择(76)，则不采取动作且不对远端视频的下一帧 进行解码(72)。然而，如果请求近端ROI选择(76)，则用户接口42接受来自本地用户 的远端ROI信息(78)。然后，ROI控制器52及ROI映射器54协作以产生远端ROI MB 映射图(80)。 ROI知晓编码器46将远端ROIMB映射图嵌于己编码近端视频中且由此 将远端ROI映射图传输到对远端视频进行解码的远程发送方装置14(82)。远端R01 MB 映射图规定与远程视频通信装置14相关联的编码器应对要发送到视频通信装置12的 远端视频的相关ROI内的MB应用优先编码。图9是图解说明对来自接收方装置的ROI信息进行处理以便结合ROI跟踪在发 送方装置处对近端视频进行优先ROI编码的流程图。在图9的实例中，用户接口 42 接收由视频捕捉装置40所产生的近端视频流并将近端视频呈现给本地用户(84)。如果 本地用户或远程用户都不请求近端ROI选择(86)，则对每一视频帧内的所有MB进行 正常编码(88)，亦即，不对ROI内的MB进行任何优先编码。然后，将已编码近端视 频发送到远程接收方装置14(89)。然而，如果本地用户或远程用户均请求近端ROI选择(86)，则ROI控制器52及 ROI映射器54处理相关的近端ROI信息以产生近端ROI MB映射图(90)。如果近端 ROI是由本地用户及远程用户两者来规定，则验证模块58可进行干涉以解决冲突以有
利于ROI中的一者。在接收到近端ROIMB映射图后(90), ROI知晓视频编码器46通 过应用更高质量的编码、更强壮的错误保护或两者来对ROI内的MB进行编码(92)。跟踪模块56通过监控ROI知晓视频编码器46所产生的运动信息来跟踪ROI在 近端视频内的位置(94)。如果未检测到ROI中有移位(96)，则应用现有的ROI映射 图以对近端视频内的ROI MB进行编码(100)并将已编码近端视频发送到远程接收方装 置(102)。如果检测到ROI中有移位(96),则视频跟踪模块56在对近端视频进行编码之 前(100)根据运动信息调节ROIMB映射图(98)。图10是图解说明对来自接收方装置的ROI信息进行处理以便结合用户验证在发 送方装置处对近端视频迸行优先ROI编码的流程图。图10描绘图3或图4的验证模 块58的操作，以准许远程用户控制近端ROI且为简化起见，假定未对本地近端ROI 加以规定。如图10中所示，对于由视频通信装置12中的视频捕捉装置40所产生的近 端视频流(104)，验证模块58确定视频通信装置14的远程用户是否已请求远程近端 ROI(廳)。如果未请求远程近端R01(106)，且未请求本地近端ROI，则对近端视频中的所有 MB进行正常编码(110)。然而，如果请求远程近端ROI(106)，则验证模块58接下来 确定请求近端ROI的远程用户是否通过了验证(108)。特定而言，验证模块58可通过 参考在本地存储于视频通信装置12中的地址薄自动地确定远程用户的存取权。另一选 择为，验证模块58可经由用户接口 42主动地询问本地用户以获得对由远程用户实施 近端ROI控制的存取权的批准或拒绝。如果远程用户未通过验证(108)，则对近端视频中的所有MB进行正常编码(110)。 然而，如果远程用户通过了验证(108)，则将近端ROI控制授予远程用户。在这种情况 下，ROI控制器52及ROI映射器54处理来自远程用户的近端ROI信息并产生近端 MB映射图(112)。使用近端MB映射图，ROI知晓编码器46对通过近端MB映射图识 别的MB进行优先编码(114)。然后，视频通信装置12将已编码近端视频发送到远程 视频通信装置14(116)。图11是图解说明对预界定ROI图案的选择的流程图。 一旦ROI知晓视频解码器 48对从远程视频通信装置14接收的远端视频进行解码(118)，即经由用户接口 42将远 端视频显示给本地用户(120)。如果本地用户请求ROI选择(122)，则用户接口42显示 预界定ROI图案的菜单(124)，例如，图7A-7D中所显示的那些ROI图案。另一选择 为，用户可提供ROI说明或对ROI图案加以绘制、重新定位或重设大小。然而，在图 11的实例中，操作聚焦于对预界定ROI图案的呈现。在由本地用户选择预界定ROI 图案后(126)， ROI控制器52及ROI映射器54根据所选图案界定ROI MB映射图(128)。 ROI知晓视频编码器46将ROIMB映射图嵌于已编码近端视频内并将ROIMB映射图 传输到远程视频通信装置14(130)以供在对远端视频中的ROI进行优先编码中使用。图12是图解说明通过扩展及收縮ROI模板132来界定所显示视频景物34中的 ROI图案的图式。图12大致对应于图2，但图解说明可由用户重设大小的ROI模板 132的呈现。在图12的实例中，ROI模板132可通过拐角拖动ROI模板拐角中的一者 来扩展及收縮ROI模板来重设大小。进行拐角拖动以扩展ROI模板132的结果由经扩 展的ROI模板134来表示。拐角拖动导致ROI模板132大小的增加或降低，但维持相 对的长度对宽度比率縮放。然而，在某些实施例中，还可准许用户拖动ROI模板132 的侧边以增加或降低ROI模板的大小同时也改变长度对宽度比率縮放。拖动可使用与 触摸屏结合的记录笔，或与视频通信装置12的用户接口 42相关联的其它指向装置来 实现。其它指向装置可包含操纵杆、触摸垫、滚动轮、跟踪球及类似物。图13是图解说明通过拖动ROI模板132来界定所显示视频景物中的ROI图案的 图式。特定而言，图13显示通过将ROI模板拖动到视频景物34内的另一位置135重 新定位ROI模板132。拖动可通过记录笔与触摸屏或与用户接口 42相关联的指向装置 来实现。图14是图解说明通过用记录笔138在触摸屏上绘制ROI图案136来界定所显示 视频景物中的ROI图案的图式。在图14的实例中，ROI图案136是通过徒手画法所 产生。ROI控制器52及ROI映射器54协作以将与所绘制ROI图案相关联的坐标转换 成MB映射图，所述映射图识别视频景物34内大约属于ROI图案136范围内的MB。 图12、 13及14中所示的ROI图案的界定可应用于近端视频或远端视频内的ROI。图15是图解说明使用下拉式菜单140与要动态跟踪的所规定ROI对象来界定所 显示视频景物中的ROI图案的图式。如图15中所示，用户接口42呈现下拉式菜单140， 所示菜单呈现ROI说明，例如,"面部(FACE)"、"唇部(LIP)"、"背景(BACKGROUND)" 及"移动(MOVEMENT)"。本地用户在下拉式菜单中选择一个输入项作为所需要的 ROI说明。响应于此，ROI提取模块60(图4)分析近端视频或远端视频(只要可适用) 以检测对应于所述说明的ROI图案。作为下拉式菜单140的替代方案，用户可通过用 户接口 42或以语言方式将文本读入麦克风来输入文本。在所有情况下，使用传统的特 征检测算法(例如，皮肤色调检测、对象分段或类似方法)将所选ROI匹配于适宜的 ROI图案。在选择ROI图案后，ROI控制器52及ROI映射器54产生适宜的ROIMB 映射图。在每一ROI说明必须动态地匹配所考虑特定视频景物内的ROI图案的意义上， 图15中的过程可称为"动态的"。图16是图解说明使用下拉式菜单142与被映射到如图7A-7D中预界定ROI图案 的所规定ROI对象来界定所显示视频景物中的ROI图案的图式。如图16中所示，用 户接口42呈现下拉式菜单142，所述菜单呈现ROI说明，例如，"单面部(SINGLE FACE)"、"双面部(DUAL FACE)""头部/肩部(HEAD/SHOULDERS)"及"对象 (OBJECT)"。本地用户在下拉式菜单中选择一个输入项作为所需要的ROI图案。响 应于此，ROI控制器52将所选ROI图案匹配于对应的预界定ROI图案，例如，图7A-7D 中所描绘的那些图案。因此，不同于图15中所示的ROI说明，静态ROI图案不需要 视频分析。而是，ROI控制器52及ROI映射器54产生对应于下拉式菜单142中的备 选项的预配置ROIMB映射图。同样，作为下拉式菜单142的替代方案，用户可通过
用户接口 42或以语言方式将文本读入麦克风来输入文本。在每一 ROI图案均对应于 预界定ROI图案及MB映射图的意义上，图15中的过程可称作"静态的"。图17是图解说明使用ROI说明接口界定所显示视频景物中的ROI图案的流程图。 图17中所示的过程可与图15的下拉式菜单或其它输入媒体结合使用。如图17中所示， ROI知晓视频解码器48对从远程发送方装置14接收的远端视频进行解码(144)。然后， 用户接口 42将远端视频显示给本地用户(146)。如果本地用户不请求对远端视频的近 端ROI选择(148)，则没有ROI信息发送到远程视频通信装置14。然而，如果请求近 端ROI选择(148)，则用户接口 42呈现ROI说明接口(150)，例如，图17的下拉式菜 单140。在接收到本地用户ROI说明(152)后，ROI控制器52及ROI映射器54根据所述 说明选择ROI图案(154)并根据所选ROI图案界定R01 MB映射图(156)。同样，可通 过使用传统检测技术来分析远端视频并将ROI说明与远端视频内的特定MB匹配来确 定所选ROI图案。在产生远端ROI MB映射图后，ROI知晓视频编码器12将远端ROI MB映射图嵌入已编码近端视频中并将其传输到远程视频通信装置14以供对远端ROI 进行优先编码。图18是图解说明解决发送方与接收方装置12、 14之间的ROI冲突的流程图。特 定而言，图18图解说明验证模块58(图3或图4)在解决由本地用户所指定的近端ROI 与由远程用户所指定的近端ROI之间的冲突时的运作。在发送方装置处产生近端视频 后(160)，验证模块58确定近端RQI已由本地用户还是远程用户提出请求(162)。如果 没有，则对所有MB进行正常编码(164)而不需要对ROI进行优先编码，并将所得的已 编码视频发送到接收方视频通信装置14(166)。如果请求近端ROI(162)，则验证模块58确定由本地用户规定的近端ROI与由远 程用户规定的近端ROI之间是否存在冲突(168)。如果不存在规定的远程近端ROI，或 如果本地与远程近端ROI —致，则验证可将所选近端ROI传递到ROI控制器52以进 行处理。如果不存在本地近端ROI，但己选择远程近端ROI，则验证模块58可准许应用 远程近端ROI。另一选择为，在某些实施例中，仅在授予远程用户显式存取，通过本 地用户交互作用或通过记录于地址薄中的存取等级的情况下，验证模块58方可准许应 用远程近端ROI。如果不存在ROI冲突，则ROI映射器54根据可适用的近端ROI产 生近端MB映射图并将其应用到ROI知晓视频编码器46。然后，ROI知晓视频编码器 46对近端视频的ROI内的MB进行优先编码(172)。如果本地与远程近端ROI之间存在冲突(168)，则验证模块58确定是否已指配存 取等级(174)，例如，在本地存储于视频通信装置12内的地址薄中。如果已指配存取 等级(174)，则验证模块58根据存取等级解决ROI冲突(176)。例如，所存储的远程用 户的存取等级可指示应授予远程用户优于本地用户的ROI控制。如果未指配存取等级 (174)，则验证模块58从本地用户寻求对远程ROI控制的批准(178)。特定而言，验证 模块58可经由用户接口 42呈现讯问以请求批准由远程用户实施近端ROI控制。如果本地用户给予批准，则验证模块58将远程近端ROI传递到ROI控制器52 以便进行处理。如果未给予批准，则ROI控制器52处理本地近端ROI。在以上两种 情况的任一情况下，ROI知晓视频编码器46使用所选ROI来对近端视频内属于ROI 范围内的MB进行优先编码(172)，并将已编码近端视频读出到远程接收方装置 14(166)。在某些情况下，验证模块58不仅可解决本地用户与一个远程用户还可解决 与可能的数个远程用户之间的ROI冲突。本地用户可主动地将控制近端ROI的存取权 授予远程用户中的一者，或指配可区分不同远程用户的ROI控制权优先次序的相关存 取等级。通常，将控制ROI的存取权排他地授予一个用户，例如，本地用户或远程用 户中的一者。图19是图解说明对远端视频内的ROI宏块进行优先解码的流程图。如图19中所 示，在从远程发送方装置14接收到远端视频后(180)，本地接收方装置12中的ROI 知晓视频解码器48确定远端ROI是否已由本地用户加以规定(182)。如果没有，则ROI 知晓视频解码器48对远端视频中的所有MB进行正常编码(184)。然而，如果远端ROI 信息已由本地用户加以规定，则ROI知晓视频解码器48对所接收远端视频中的ROI MB进行优先解码(186)。可通过应用更高质量的内插方程式或更健壮的错误隐匿技术 (相对于应用于非ROIMB的内插方程式及错误隐匿技术)来对ROI MB进行优先解 码。优先解码可包含优先后处理，例如，更高质量的解块或去振鸣滤波器。本文所述的技术可构建于硬件、软件、固件、或其任一组合中。如果构建在软件 中，则所述技术可部分地通过一个计算机可读媒体来实现，所述计算机可读媒体包括 含有指令的程序代码，当执行所述指令时，可实施上文所述的一个或一个以上方法。 在这种情况下，计算机可读媒体可包括随机存取存储器(RAM),例如同步动态随机 存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、 电可擦可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及类似 装置。程序代码可由一个或一个以上处理器来执行，例如一个或一个以上数字信号处理 器(DSP)、通用微处理器、专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)、或其它 等效集成或离散逻辑电路。在某些实施例中，可在经配置用于编码和解码的专用软件 模块或硬件单元中提供本文所述的功能，或将本文所述功能并入到经组合的视频编解 码器(CODEC)中。本文已阐述了各种实施例。这些及其它实施例仍归属于以下权利要求书的范畴内。
权利要求
1、一种方法，其包括从远程装置接收规定由本地装置编码的且由所述远程装置接收的近端视频内的感兴趣区域(ROI)的信息；及根据所述ROI对所述近端视频进行编码以相对于所述视频的非ROI区增强所述ROI的图像质量。
2、 如权利要求1所述的方法，其进一步包括将所述已编码近端视频传输到所述 远程装置，及在所述本地装置中接收由所述远程装置编码的远端视频。
3、 如权利要求1所述的方法，其进一步包括接收规定所述ROI的信息，所述ROI 具有从所述远程装置接收的已编码远端视频，其中所述规定所述ROI的信息被嵌于所 述已编码远端视频内。
4、 如权利要求1所述的方法，其进一步包括通过来自所述远程装置的带外信令 接收所述规定所述ROI的信息。
5、 如权利要求l所述的方法，其进一步包括 在所述本地装置中接收由所述远程装置编码的远端视频； 产生规定所述已编码远端视频内的ROI的信息；及将所述ROI信息与所述已编码近端视频一起传输到所述远程装置。
6、 如权利要求l所述的方法，其进一步包括 在所述本地装置中接收由所述远程装置编码的远端视频；及 对从所述远程装置接收的所述已编码远端视频进行解码以相对于所述远端视频的非ROI区增强所述远端视频中的所述ROI的图像质量。
7、 如权利要求6所述的方法，其中对所述已编码远端视频进行解码包含相对于 所述远端视频的非ROI区对所述远端视频中的所述ROI应用更高质量的后处理或错误 隐匿技术。
8、 如权利要求l所述的方法，其进一步包括根据所述规定所述ROI的信息产生 识别处于所述ROI内的宏块(MB)的MB映射图。
9、 如权利要求1所述的方法，其中对所述近端视频进行编码包含相对于所述近 端视频的非ROI区对所述近端视频中的所述ROI应用更高质量的编码或错误保护技 术。
10、 如权利要求l所述的方法，其进一步包括在根据所述ROI对所述近端视频进 行编码之前验证与所述远程装置相关联的远程用户。
11、 如权利要求10所述的方法，其中验证包含确定是否已授权所述远程用户来 控制根据所述ROI对所述近端视频的编码。
12、 如权利要求10所述的方法，其中验证包含从与所述本地装置相关联的本地用户寻求对所述远程用户控制根据所述ROI对所述远端视频的编码的授权。
13、 如权利要求l所述的方法，其中从远程装置接收信息包含从多个远程装置接 收规定所述近端视频内多个ROI的信息，所述方法进一步包括验证与所述远程装置相 关联的远程用户以选择所述远程用户中的一者来控制根据所述相应的ROI对所述近端 视频的编码。
14、 如权利要求1所述的方法，其进一步包括 监控与所述已编码近端视频相关联的运动信息； 根据所述运动信息调节所述ROI;及根据所述经调节的ROI对所述近端视频进行编码。
15、 如权利要求14所述的方法，其进一步包括根据所述规定所述ROI的信息产 生识别处于所述ROI内的宏块(MB)的MB映射图，且其中调节所述ROI包含根据所 述运动信息将MB的状态修改为包含于所述ROI内或排除在所述ROI外。
16、 如权利要求l所述的方法，其中所述规定ROI的信息包含文本或语言信息， 所述方法进一步包括根据所述文本或语言信息界定所述ROI。
17、 如权利要求16所述的方法，其中界定所述ROI包含在与所述本地装置和所 述远程装置中至少一者通信的中间服务器处界定所述ROI。
18、 一种视频编码装置，其包括感兴趣区域(ROI)引擎，其从远程视频通信装置接收规定传输到所述远程装置的 近端视频内的感兴趣区域(ROI)的信息；及视频编码器，其对所述近端视频进行编码以增强所述ROI相对于所述视频的非 ROI区的图像质量。
19、 如权利要求18所述的装置，其中所述视频编码器将所述已编码近端视频传 输到所述远程装置，所述装置进一步包括接收由所述远程装置编码的远端视频的视频 解码器。
20、 如权利要求19所述的装置，其中所述视频解码器接收规定所述ROI的信息， 所述ROI具有从所述远程装置接收的已编码远端视频，且其中所述规定所述ROI的信 息被嵌于从所述远程装置接收的所述已编码远端视频内。
21、 如权利要求18所述的装置，其进一步包括接收由所述远程装置编码的远端 视频的视频解码器，其中所述视频解码器通过来自所述远程装置的带外信令接收所述 规定所述ROI的信息。
22、 如权利要求21所述的装置，其中所述ROI引擎产生规定所述已编码远端视 频内的ROI的信息，且所述视频编码器将所述ROI信息与所述已编码近端视频一起传 输到所述远程装置。
23、 如权利要求18所述的装置，其进一步包括视频解码器，所述视频解码器对 从所述远程装置接收的所述己编码远端视频进行解码以相对于所述远端视频的非ROI 区增强所述远端视频中的所述ROI的图像质量。
24、 如权利要求23所述的装置，其中所述视频解码器相对于所述远端视频的非 ROI区对所述远端视频中的所述ROI应用更高质量的后处理或错误隐匿技术。
25、 如权利要求18所述的装置，其进一步包括ROI映射器模块，其根据所述 规定所述ROI的信息产生识别处于所述ROI内的宏块(MB)的MB映射图；及ROI控 制器，其处理所述规定所述ROI的信息供应用于所述ROI映射器模块。
26、 如权利要求18所述的装置，其中所述视频编码器相对于所述近端视频的非 ROI区对所述近端视频中的所述ROI应用更高质量的编码或错误保护技术。
27、 如权利要求18所述的装置，其进一步包括验证模块，所述验证模块在根据 所述ROI对所述近端视频进行编码之前验证与所述远程装置相关联的远程用户，其中 所述验证模块确定是否已授权所述远程用户控制根据所述ROI对所述近端视频的编 码。
28、 如权利要求27所述的装置，其中所述验证模块从与所述装置相关联的本地 用户寻求对所述远程用户控制根据所述ROI对所述近端视频的编码的授权。
29、 如权利要求18所述的装置，其中所述从远程装置接收的信息包含来自多个 远程装置的规定所述近端视频中多个ROI的信息，所述系统进一步包括验证模块，所 述验证模块对与所述远程装置相关联的远程用户进行验证以选择所述远程用户中的一 者来控制根据相应的ROI对所述近端视频的编码。
30、 如权利要求18所述的装置，其进一步包括跟踪模块，所述跟踪模块监控与 所述近端视频相关联的运动信息并根据所述运动信息来调节所述ROI,其中所述编码 器根据所述经调节的ROI对所述近端视频进行编码。
31、 如权利要求30所述的装置，其进一步包括ROI映射器模块，所述ROI映射 器模块根据所述规定所述ROI的信息产生识别处于所述ROI内的宏块(MB)的MB映 射图，其中所述跟踪模块对所述ROI的调节包含根据所述运动信息将MB的状态修改 为包含于所述ROI内或排除在所述ROI外。
32、 如权利要求18所述的装置，其中所述规定ROI的信息包含文本或语言信息， 所述系统进一步包括根据所述文本或语言信息界定所述ROI的提取模块。
33、 如权利要求18所述的装置，其中所述规定ROI的信息包含文本或语言信息， 所述系统进一步包括根据所述文本或语言信息界定所述ROI的中间提取服务器，其位 于与所述视频通信装置和所述远程视频通信装置相距遥远的地方。
34、 一种计算机可读媒体，其包括使处理器执行以下操作的指令-从远程装置接收规定由本地装置编码且由远程装置接收的近端视频内的感兴趣区域(ROI)的信息；及对所述近端视频进行编码以相对于所述视频的非ROI区增强所述ROI的图像质
35、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器将所述 已编码近端视频传输到所述远程装置，并在所述本地装置中接收由所述远程装置编码 的远端视频。
36、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器接收所 述规定所述ROI的信息，所述ROI具有从所述远程装置接收的已编码远端视频，其中 所述规定所述ROI的信息被嵌于所述已编码远端视频内。
37、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器通过来 自所述远程装置的带外信令接收所述规定所述ROI的信息。
38、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器产生规 定从所述远程装置接收的已编码远端视频内的ROI的信息，并将所述ROI信息与所述 已编码近端视频一起传输到所述远程装置。
39、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器对从所 述远程装置接收的所述已编码远端视频进行解码以相对于所述远端视频的非ROI区增 强所述远端视频中的所述ROI的图像质量。
40、 如权利要求39所述的计算机可读媒体，其中所述指令使所述处理器通过相 对于所述远端视频的非ROI区对所述远端视频中的所述ROI应用更高质量的后处理或错误隐匿技术来对所述已编码远端视频进行解码。
41、 如权利要求34所述的计算机可读媒体，其中所述规定所述ROI的信息包含 识别处于所述ROI内的宏块(MB)的MB映射图。
42、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器通过相 对于所述近端视频的非ROI区对所述近端视频中的所述ROI应用更高质量的编码或错误保护技术来对所述近端视频进行编码。
43、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器在根据 所述ROI对所述近端视频进行编码之前确定是否已授权所述远程用户来控制根据所述 ROI对所述近端视频的编码，且其中所述指令使所述处理器从与所述本地装置相关联 的本地用户寻求对所述远程用户控制根据所述ROI对所述近端视频的编码的授权。
44、 如权利要求34所述的计算机可读媒体，其中从多个远程装置接收规定所述 近端视频内多个ROI的所述信息，且所述指令使所述处理器验证与所述远程装置相关 联的远程用户以选择所述远程用户中的一者来控制根据所述相应的ROI对所述近端视 频的编码。
45、 如权利要求34所述的计算机可读媒体，其中所述指令使所述处理器执行以下操作监控与所述已编码近端视频相关联的运动信息；根据所述运动信息调节所述ROI;及根据所述经调节的ROI对所述近端视频进行编码。
46、 如权利要求45所述的计算机可读媒体，其中所述规定所述ROI的信息包含 识别处于所述ROI内的宏块(MB)的MB映射图，且所述指令使所述处理器调节所述 ROI包含根据所述运动信息将MB的状态修改为包含于所述ROI内或排除在所述ROI 外。
47、 一种方法，其包括产生规定由远程装置传输且由本地装置接收的远端视频内的感兴趣区域(ROI)的 信息；及将所述信息传输到所述远程装置供用于根据所述ROI对所述远端视频进行编码 以相对于所述视频的非ROI区增强所述ROI的图像质量。
48、 如权利要求47所述的方法，其中将所述规定所述ROI的信息嵌于由所述本 地装置编码且被传输到所述远程装置的近端视频内。
49、 如权利要求47所述的方法，其中通过来自所述远程装置的带外信令来接收 所述规定所述ROI的^f言息。
50、 如权利要求47所述的方法，其中所述规定所述ROI的信息包含识别处于所 述ROI内的宏块(MB)的MB映射图。
51、 一种视频编码装置，其包括感兴趣区域(ROI)引擎，其产生规定从远程装置接收的远端视频内的感兴趣区域 (ROI)的信息；及视频编码器，其对近端视频进行编码并将规定所述ROI的信息与所述已编码近端 视频一起传输以供所述远程装置用来根据所述ROI对所述远端视频进行编码，从而相 对于所述远端视频的非ROI区增强所述ROI的图像质量。
52、 如权利要求51所述的装置，其中所述规定所述ROI的信息被嵌于传输至所 述远程装置的所述近端视频内。
53、 如权利要求51所述的装置，其中所述规定所述ROI的信息通过带外信令传 输到所述远程装置。
54、 如权利要求51所述的装置，其中所述规定所述ROI的信息包含识别处于所 述ROI内的宏块(MB)的MB映射图。
全文摘要
本发明涉及用于视频电话(VT)应用的感兴趣区域(ROI)处理的技术。根据所揭示的技术，接收方装置为发送方装置所传输的视频信息(即，远端视频信息)界定ROI信息。所述接收方装置将ROI信息传输到所述发送方装置。使用所述接收方装置所传输的ROI信息，所述发送方装置对视频景物内的ROI应用优先编码。通过这种方式，所述接收方装置能够远程控制发送方装置对远端视频信息进行的ROI编码。
文档编号H04N7/26GK101167365SQ200680014519
公开日2008年4月23日 申请日期2006年3月8日 优先权日2005年3月9日
发明者哈立德·希勒米·厄勒-马列, 李彦辑, 蔡明章 申请人:高通股份有限公司