利用多个组合分集的多描述编码的制作方法
【专利摘要】本公开内容提供了针对多媒体内容，利用多种形式的分集，使用多描述编码（MDC）的装置、系统和方法。可以基于运动或者任何其它感兴趣的度量，将源场景分割成一个或多个感兴趣区域（ROI）部分和非ROI部分。此外，可以通过对各个部分进行子采样，以生成例如各个版本中具有交替的像素组的多个较低分辨率版本，来进一步对这些部分中的一个或多个部分进行分段。另外，可以通过例如各个分割中具有交替的帧的图像帧对这些部分中的一个或多个部分进行进一步分段。随后，可以将至少一个ROI部分和较低分辨率版本编码成多个描述并进行发送。使用ROI分集、分辨率分集和帧速率分集的各种组合可以提高用于流式传送多媒体内容的信道利用率和健壮性。
【专利说明】利用多个组合分集的多描述编码
【技术领域】
[0001]概括地说，本公开内容涉及无线通信，具体地说，涉及无线网络上的流式媒体内容。
【背景技术】
[0002]无线通信系统已广泛地部署，以提供诸如电话、视频、数据、消息发送和广播之类的各种电信服务。在现代无线接入终端中，包括高性能处理器、大存储器容量的增加的功能和越来越多的多媒体输入源(例如,视频摄像机、WLAN收发机等)产生了生成大量的内容的可能性，其中接入终端的用户可能希望使用无线网络来共享这些内容。然而，在无线网络中，从接入终端向一个或多个接入终端或者向云服务器的上传一个流通常受制于反向链路(即，上传接入终端处的上行链路)的有限带宽。
[0003]多描述编码(MDC)频繁地用于将内容分割成多个描述，该多个描述可以通过通信介质进行单独发送，当接收到时进行聚合以生成输出内容。这些描述可以通过一个或多个路径发送给汇聚方，并且这些描述中的每一个描述通常是原始内容的一个压缩和编码部分。在一些示例中，将分割的内容组织成片段组，任意片段排序(ASO)用于对片段组进行组织。然而，ASO尚未被广泛地采用，因此在某些情况下，利用ASO实现MDC可能造成互操作性问题。
[0004]因此，对将来自移动设备的大文件和媒体内容在网络上进行流式传送的能力的提高是非常期望的。
【发明内容】
[0005]本公开内容提供了使用多描述编码(MDC)向汇聚方发送流内容的装置、系统和方法。本公开内容的一些方面使用基于宏块(MB)的MDC，其中这些描述可以是基于感兴趣区域(ROI)分集、分辨率分集和/或帧速率分集。也就是说，一个或多个描述可以包括R0I，而一个或多个描述可以包括内容的非ROI部分。在此，可以对非ROI部分进行子采样并将其分割成多个片段(通过将像素适当地分布到这些片段)。此外，可以通过将源内容中的连续帧分布成交替的或者连续的节奏，来将ROI片段和非ROI片段中的一者或两者进一步划分成多个部分。使用这些算法，在无需使用任意片段排序(ASO)的情况下能够进行基于MB的映射，从而提高与传统系统的互操作性。
[0006]在本公开内容的一个方面，一种发送内容的方法包括:将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分。此外，该方法还包括:将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本；将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述；以及通过通信介质来发送所述多个描述。
[0007]在本公开内容的另一个方面，一种接收内容的方法包括:接收与场景的感兴趣区域部分相对应的第一描述；以及接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述。此外，该方法还包括:对所述多个描述中的至少一个描述进行解码；以及对经解码的描述进行组合，以生成输出场景。
[0008]在本公开内容的另一个方面，一种用于发送内容的装置包括:处理器、耦合到所述处理器的存储器和耦合到所述处理器的发射机。在此，所述处理器配置为:将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分；将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本；将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述；以及利用所述发射机，通过通信介质来发送所述多个描述。
[0009]在本公开内容的另一个方面，一种用于接收内容的装置包括:处理器、耦合到所述处理器的存储器和耦合到所述处理器的接收机。在此，所述处理器配置为:利用所述接收机接收与场景的感兴趣区域部分相对应的第一描述；利用所述接收机接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述；对所述多个描述中的至少一个描述进行解码；以及对经解码的描述进行组合，以生成输出场景。
[0010]在本公开内容的另一个方面，一种计算机程序产品包括计算机可读介质，其中所述计算机可读介质具有:用于将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分的代码；用于将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本的代码；用于将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述的代码；以及用于通过通信介质来发送所述多个描述的代码。
[0011]在本公开内容的另一个方面，一种计算机程序产品包括计算机可读介质，其中所述计算机可读介质具有:用于接收与场景的感兴趣区域部分相对应的第一描述的代码；用于接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述的代码；用于对所述多个描述中的至少一个描述进行解码的代码；用于对经解码的描述进行组合，以生成输出场景的代码。
[0012]在本公开内容的另一个方面，一种用于发送内容的装置包括:用于将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分的模块；用于将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本的模块；用于将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述的模块；以及用于通过通信介质来发送所述多个描述的模块。
[0013]在本公开内容的另一个方面，一种用于接收内容的装置包括:用于接收与场景的感兴趣区域部分相对应的第一描述的模块；用于接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述的模块；用于对所述多个描述中的至少一个描述进行解码的模块；以及用于对经解码的描述进行组合，以生成输出场景的模块。
【专利附图】
【附图说明】
[0014]图1是示出用于使用处理系统的装置的硬件实现的示例的图。
[0015]图2是示出一种内容服务器装置的简化框图。
[0016]图3是示出一种汇聚方装置的简化框图。[0017]图4是示出使用多描述编码的特定方案的示意图。
[0018]图5是示出基于感兴趣区域分集的多描述编码的示意图。
[0019]图6是示出基于分辨率分集的多描述编码的示意图。
[0020]图7是示出使用感兴趣区域分集、分辨率分集和帧速率分集的多描述编码的示意图。
[0021]图8是示出用于流式内容服务器的过程的流程图。
[0022]图9是示出用于汇聚方接收内容的多个描述的过程的流程图。
【具体实施方式】
[0023]下面结合附图给出的详细描述旨在作为各种配置的描述，而不是为了表示能够实现本文所述概念的唯一配置。为了提供对各种概念的彻底理解，详细描述包括了具体细节。然而，对本领域的技术人员显而易见的是，可以不使用这些具体细节来实现这些概念。在一些实例中，以框图的形式示出公知的结构和部件，以避免模糊这些概念。
[0024]现在将围绕各种装置和方法来给出电信系统的多个方面。将在下面的详细描述中描述并在附图中通过各种方框、模块、组件、电路、步骤、过程、算法等(统称为“元素”)示出这些装置和方法。可以使用电子硬件、计算机软件、或其任意组合来实现这些元素。这些元素是实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。
[0025]举例而言，元素或者元素的任何部分或者元素的任意组合，可以用包括一个或多个处理器的“处理系统”来实现。处理器的示例包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分离硬件电路和被配置为执行贯穿本公开内容描述的各种功能的其它适当硬件。处理系统中的一个或多个处理器可以执行软件。软件应当被广泛地解释为意味着指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例行程序、子例行程序、对象、可执行文件、执行的线程、过程、函数等，无论其被称为软件、固件、中间件、微代码、硬件描述语言还是其它术语。软件可以位于计算机可读介质上。计算机可读介质可以是非临时性计算机可读介质。举例而言，非临时性计算机可读介质可以包括磁存储器件(例如，硬盘、软盘、磁带)、光盘(例如，紧致碟(CD)、数字多用途光碟(DVD))、智能卡、闪存器件(例如，卡、棒、钥匙驱动器)、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM (PR0M)、可擦除PROM(EPR0M)、电可擦除PROM(EEPROM)、寄存器、移动硬盘、以及用于存储可由计算机存取和读取的软件和/或指令的任何其它适当介质。计算机可读介质可以位于处理系统之内，也可以位于处理系统之外，也可以分布在包括处理系统的多个实体之中。计算机可读介质可以用计算机程序产品来体现。举例而言，计算机程序产品可以包括具有封装材料的计算机可读介质。本领域普通技术人员应当认识到，如何最佳地实现贯穿本公开内容给出的所描述功能，取决于特定的应用和对整个系统所施加的全部设计约束条件。
[0026]图1是示出了使用处理系统114的装置100的硬件实现的示例的概念图。在这个示例中，可以利用由总线102总体表示的总线架构来实现处理系统114。根据处理系统114的特定应用和整体设计约束，总线102可以包括任意数量的互连的总线和桥。总线102将包括(由处理器104总体地表示的)一个或多个处理器和(由计算机可读介质106总体地表示的)计算机可读介质的各种电路链接在一起。总线102还可以链接各种其它电路，例如定时源、外围设备、稳压器、以及电源管理电路，由于这些电路在本领域中是公知的，因此不做进一步描述。总线接口 108提供总线102和收发机110之间的接口。收发机110提供用于在传输介质上与各种其它装置进行通信的模块。根据装置的特性，还可以提供用户界面112(例如，键区、显示器、扬声器、麦克风、操纵杆)。
[0027]处理器104负责管理总线102和一般处理，其包括执行存储在计算机可读介质106上的软件。当由处理器104执行时，软件使得处理系统114执行下面针对任何特定的装置所描述的各种功能。计算机可读介质106还可以用于存储当执行软件时由处理器104所操作的数据。
[0028]多描述编码(MDC)是一种用于将诸如媒体流之类的内容分割成多个子流(其称为描述)的编码技术。在生成之后，可以将每一个描述路由到汇聚方设备，该汇聚方设备可以将这些描述进行聚合以恢复该内容。在MDC中，描述是彼此不同，但彼此相关的。也就是说，对这些描述的编码通常使得可以对这些描述中的任何单独一个进行解码来恢复全部的内容，但如果这些描述中的一个或多个描述未能到达汇聚方，可以实现质量上的降级。因此，即使这些流中的一个流未能到达其目的地，接收机仍然应当能够恢复全部的内容，但该内容中的一些或者全部可能处于相对较低的质量。
[0029]MDC可以用于增加冗余，例如，对于发送大型文件，通常在单个链路上或者从单个设备在多个无线信道上使用诸如FTP之类的协议。用这种方式利用MDC减少了发送该内容所需要的带宽的量，这是由于不需要接收所有的流来恢复该内容。此外，由于即使这些流中的一个流丢失，接收机仍然可以恢复全部的内容，因此MDC提供了改善的健壮性，但该内容的一些部分可能处于降低的质量。
[0030]根据本公开内容的一个方面，随着将内容流式传送到汇聚方，UE可以动态地将相同的内容编码成多个描述。
[0031]在此，汇聚方可以接收这些流中的一个或多个。当汇聚方接收到多个流时，其可以选择性地将这些流汇聚在一起，以恢复该内容。也就是说，汇聚方可以从每一个描述中选择最佳的一部分或多部分，理想地恢复在进行分割和MDC编码之前的原始质量内容。
[0032]图2是根据本公开内容的一些方面，示出移动服务器装置200的简化框图。该移动服务器包括处理器202。在此，处理器202可以是图1中所示出的处理器104，也可以是任何其它适当的处理器或处理系统。处理器202耦合到存储器204。该存储器可以是能够向处理器202提供数据的非随机聚合的任何适当存储空间，而不管其存储或者呈现模式。
[0033]此外，所示出的移动服务器200还包括无线广域网(WffAN)收发机206，其用于使用天线208，通过适当的WffAN空中接口来发送和接收数据。该WWAN空中接口可以遵循任何适当的无线通信协议,例如,但不限于:CDMA、TDMA, GSM、UMTS、CDMA2000、LTE, WiMAX等。
[0034]此外，所示出的移动服务器200还包括无线局域网(WLAN)和/或无线个域网(WPAN)收发机210，其用于使用天线212，通过适当的WLAN和/或WPAN空中接口来发送和接收数据。该WLAN/WPAN空中接口可以遵循任何适当的无线通信协议，例如，但不限于:IEEE802.11,802.15、Bluetooth?、Zigbee 等。在此，使用 WLAN/WPAN 空中接 口的通信可以称为带外链路，其描述了该链路可以使用与WWAN收发机206所使用的频带或者一些频带不相同的频带。
[0035]此外，所示出的移动服务器200还包括内容源214。在一些方面，内容源214可以与存储器204相同；也就是说，内容可以存储在存储器204中。在其它方面，内容源214可以是收发机206或者210中的一个；也就是说，可以使用各自的空中接口来接收内容。在其它方面，内容源214可以是静止或者视频摄像头、麦克风、传感器、或者移动服务器200的用户希望共享的任何其它内容源。
[0036]此外，所示出的移动服务器200还包括耦合到处理器202的编码器216。编码器216配置为对内容执行多描述编码(MDC)，例如，用于对来自内容源214的内容生成多个描述。
[0037]在本公开内容的一些方面，移动服务器200可以是诸如移动蜂窝电话之类的传统用户设备(UE)，其中MDC应用可以是安装在该设备上的软件，使得该设备可以配置为充当移动服务器200。
[0038]图3是示出根据本公开内容的一些方面的汇聚方300的简化框图。所示出的汇聚方300包括处理器302。在此，处理器302可以是图1中所示出的处理器104，也可以是任何其它适当的处理器或处理系统。处理器302耦合到存储器304。该存储器可以是能够向处理器302提供数据的非随机聚合的任何适当存储空间，而不管其存储或者呈现模式。
[0039]此外，所示出的汇聚方300还包括WffAN收发机306，其用于使用天线308，通过适当的WffAN空中接口来发送和接收数据。该WWAN空中接口可以遵循任何适当的无线通信协议，例如，但不限于:CDMA、TDMA、GSM、UMTS、CDMA2000、LTE、WiMAX 等。
[0040]此外，所示出的汇聚方300还包括无线局域网(WLAN)和/或无线个域网(WPAN)收发机310，其用于使用天线312，通过适当的WLAN和/或WPAN空中接口来发送和接收数据。该WLAN/WPAN空中接口可以遵循任何适当的无线通信协议。
[0041]此外，所示出的汇聚方300还包括耦合到处理器302的解码器316。解码器316配置为对(例如，使用WffAN收发机306从移动服务器200)接收的MDC编码的内容进行解码，例如对所接收的描述进行聚合以生成该内容的一个版本。此外，所示出的汇聚方300还包括诸如显示设备、扬声器等之类的用户接口 318，使得汇聚方300的用户可以欣赏解码后的内容。
[0042]图4是示出根据本公开内容的一个方面，使用MDC的特定方案的示意图。在此，移动服务器402 (例如，图2中所示的移动服务器200)和协作的辅助节点404 (例如，其与图2中所示的移动服务器200包括相同的组件)可以进行协作，来向汇聚方408 (例如，图3中所示的汇聚方300)提供内容的多个描述Dl和D2。当然，各种实现可以提供除了两个之外的任何适当描述，每一个节点(即，移动服务器402和所述一个或多个辅助节点404)可以在相应的上行链路上提供一个或多个描述。在此，在发现和选择辅助节点404、并生成所述多个描述Dl和D2之后，移动服务器402可以通过上行链路发送第一描述Dl。移动服务器402可以与辅助节点404共享第二描述D2 (例如，通过带外链路的方式)，使得辅助节点404可以随后通过相应的上行链路来发送第二描述D2。
[0043]云406表示WWAN，其可以包括基站、服务器和用于将描述Dl和D2路由到汇聚方408的其它节点。例如，云406可以包括互联网。在此，云406例如在下行链路上向汇聚方408提供所述多个描述Dl和D2。因此，汇聚方408可以选择性地对所述多个描述Dl和D2进行组合，以便获得来自于移动服务器402的原始内容的一个版本。
[0044]图5示出了基于感兴趣区域(ROI) 506将源场景502分割成片段504A和504B，以及将片段504A-B编码成多个描述。在此，场景可以指代一个或多个图像，例如，静止图像或者用于顺序地观看以生成运动图像的一系列图像等。在源场景502的基于ROI的划分中，可以将场景中的一个或多个对象识别成R0I。可以基于时空活动、眼球追踪或者其它适当的感兴趣度量评估，同样地对每一个ROI进行识别和标记和/或划分优先级。在本公开内容的一些方面，可以针对整个场景应用单个的分割映射，对象(包括它们的运动范围)可以形成各自的区域(R0I和非R0I)。
[0045]编码器508可以基于R0I506来分离这些划分，基于R0I506来生成多个描述504A和504B。也就是说，可以将源场景502分割成多个水平的ROI和非ROI。例如，可以将场景中的具有最大加速度或运动的对象，识别成水平IROI (其具有最高优先级)；可以将水平IROI周围的具有较低或者中间加速度或运动的像素，识别成水平2R0I。可以将该场景的剩余部分(其包括背景)识别成水平3R0I。在此，水平I到3通常指代不同的优先级，如下面所讨论的，可以向各个ROI水平应用不同的编码质量。
[0046]可以基于适当的感兴趣度量，向该场景的区域分配优先级水平。当然，在特定的实现中，可以使用任何适当数量的优先级水平、以及任何适当形式的对于基于各个ROI的片段的编码。
[0047]在图5的视图中，编码器508基于R0I506，将源场景502分离成两个描述504A-B，并对这些描述进行不同地编码。在第一描述504A中，按照最高质量(其表示为Q8)对ROI部分进行编码。在一个示例中，该质量可以是与源场景502的质量相对应的全分辨率质量。按照最低质量(其表示为Ql)对剩余部分(第一描述504A的非ROI部分)进行编码。用此方式，如果汇聚方510接收到单独的第一描述504A，则可以按照全分辨率对ROI部分进行恢复，而按照相对的低分辨率对非ROI部分进行恢复。此外，编码器508按照中间质量(其表示为Q4)对第二描述504B的ROI部分和非ROI部分进行编码。在此，中间质量可以是Ql和Q8的分辨率之间的分辨率。用此方式，如果汇聚方510接收到单独的第二描述504B，则可以按照中间分辨率对整个场景进行恢复。
[0048]当这两个描述被汇聚方510都接收到时，可以对描述504A-B进行解码，并选择性地组合以生成输出场景512。在此，汇聚方510可以基于各个部分的质量，对所接收的描述中的每一个描述之外的各个ROI和非ROI部分进行选择。也就是说,虽然第一描述504A的ROI部分具有最佳质量，但第二描述504B的非ROI部分与第一描述504A的非ROI部分相比具有更佳的质量。因此，汇聚方510将第一描述504A的ROI部分与第二描述504B的非ROI部分进行组合，以生成输出场景512，其中该输出场景512具有处于最高质量Q8的ROI部分514和处于中间质量Q4的非ROI部分。
[0049]在本公开内容的另外方面，可以对帧速率进行调整，以便进一步减少总比特分配。例如，可以不对最低感兴趣水平区域进行编码，或者在交替的帧中将这些区域编码成略过。如下面所进一步详细讨论的，基于ROI的分集与帧速率分集的组合，可以减少无线传输的开销。
[0050]图6是示出分辨率分集的简化图，其中在该图中，可以通过对场景的全部或者一部分进行子采样，将场景分割成一些片段，使得每一个片段可以携带该场景的该分辨率的一部分。在所示出的示例中，源场景602包括多个像素。在此，将这些像素示出成位于四个组中的一个组，其包括星形像素604、圆形像素606、方形像素608和三角形像素610。也就是说，各个星形、圆形、方形和三角形在本质上只是表述或符号，其并不是必需地表示在场景602中显示的图像。其示出了每一第二个水平行的像素包括交替的圆形像素606和三角形像素610 ;而交织的水平行的像素包括交替的星形像素604和方形像素608。当然，在特定的实施例中，可以使用任何模式的像素。此外，可以进行子采样来划分成任何适当数量的组。例如，可以通过将每隔一个水平行中的像素或者每隔一个列中的像素子采样成各个片段，来生成两个组。当一个场景被均匀地子采样成M个片段时，则每一个片段相对于源场景的分辨率，携带l/Μ的分辨率。当然，也可以将该场景划分成一些非均匀片段，其中每一个片段具有可变的分辨率。
[0051]在该视图中，将源场景转发给编码器612，以进行子采样和编码。编码器612可以通过对源场景602进行子采样，生成多个(例如，四个)像素组，将来自源场景602的像素分离成片段614、616、618和620。在所不出的不例中，将所有圆形像素606组合成第一片段614，将所有三角形像素610组合成第二片段616，将所有星形像素604组合成第三片段618，将所有方形像素608组合成第四片段620。由于编码器612对源场景602中的各个像素进行了分配，将它们预先确定地组合到各个片段中，这种分离导致了多个片段，这些片段中的每一个片段可以扩展到表示整个场景的全尺寸图像。另外，可以将这些片段中的两个或者三个的任何子集进行组合和扩展为表示整个场景的全尺寸图像，其具有这些片段中的一个的分辨率和源场景的分辨率之间的分辨率。也就是说，可以使用任何各种适当处理方法中的一种，来扩展这四个片段中的一个、两个或者三个的子集，以产生全尺寸图像，其中这些方法包括但不限于:在任何漏掉的像素上进行插值。当然，可以对所有片段进行重新组合，以获得原始的源场景。
[0052]编码器612可以使用一种或多种适当的编码方案，对片段614、616、618和620进行编码，以便生成要向汇聚方622发送的多个(例如，四个)描述。可以使用任何适当的通信介质(例如，无线空中接口、有线接口等)，将这些描述发送给汇聚方。汇聚方622可以基于通信介质的特性，接收这些各个描述中的一个或多个。也就是说，由于干扰、噪声、衰落或者丢失信号的任何其它原因，这些描述中的一个或多个在传输时丢失。随后，汇聚方622可以对所接收的描述进行解码，通过将所接收的描述中的像素重新排序成与源场景602相对应的顺序，对这些像素进行组合，并使用所恢复的像素来生成目的图像624。当汇聚方接收到全部的所述多个描述时，目的图像624可以与源场景602具有相同的分辨率和质量。当汇聚方接收到与全部的所述多个描述相比更少的描述时，可以对所接收的描述进行解码和组合，可以对所获得的图像进行上变换，以补偿没有接收到的遗漏的一个或多个描述中的像素。
[0053]在本公开内容的一些方面，可以将源场景的不同区域分割成一些基于分辨率的片段，而不是一个整个的源场景。例如，如下所述，可以独立地将ROI部分和非ROI部分分割成一些基于分辨率的片段。在此，汇聚方可以对一个描述的某些部分进行选择性组合，以便收集可从该场景的每一个区域中获得的最佳分辨率。另外，可以将分辨率分集与帧速率分集进行组合，以便将子采样的场景或者场景的区域分割成多个描述，其中所述多个描述具有来自该场景的不同帧，如下所述。
[0054]图7是示出组合的分集(其包括ROI分集、分辨率分集和帧速率分集)的简化图。当通过通信接口向汇聚方发送所述描述时，对各种形式的分割进行组合，可以导致传输开销的减少。
[0055]在一个示例中，可以将基于ROI的划分与分辨率分集进行组合。例如，源场景702可以包括多个像素。在此，可以通过任何适当的感兴趣度量评估，识别源场景中的一个或多个感兴趣区域704。可以将源场景提供给编码器706，以便将源场景702分割成一些片段，并对各个片段进行编码。
[0056]在此，可以对源场景702进行分割，使得R0I704生成单独的片段708，从而将该片段708编码成和发送成一个单独的描述。根据本公开内容的各个方面，可以按照与源场景702的分辨率相对应的全分辨率，对包括R0I704的片段708进行编码。替代地，可以按照与源场景702相比的较低分辨率，对包括R0I704的片段708进行编码，以便减少在传输期间的开销。在本公开内容的一些方面，可以按照一个或多个分辨率来生成与片段708相对应的多个描述，以便提高当这些描述中的一个或多个在传输期间丢失情况下的健壮性。在此，当汇聚方712接收到这些描述时，选择具有最高质量的分辨率的描述。
[0057]此外，可以对源场景702的背景或者非ROI区域进行子采样，使得将源场景702的非ROI区域的像素分离到多个片段(例如，片段714、716、718和720)。随后，可以将这些片段编码成各个描述，以便通过通信介质向汇聚方712进行发送。
[0058]在与非ROI片段714、716、718和720相对应的描述中，可以略过与场景的ROI部分相对应的宏块(MB)，以减少开销。替代地，可以按照与背景(即，非ROI部分)不同的质量，对与ROI部分相对应的MB进行编码。也就是说，可以按照相对较低的质量，对ROI部分进行编码，而对非ROI部分进行子采样以实现分辨率分集。替代地，可以使用与背景(即，该片段中的非ROI部分)相同或者不同的方式，采用子采样对ROI部分进行编码。
[0059]在此，MB对应于一个像素块或者像素组。例如，MB可以是以16乘16模式进行排列的256个像素的块。
[0060]在汇聚方712处，这些描述中的一些通过通信介质到达，而其它的描述则在传输过程中丢失。在此，汇聚方712可以对所接收的描述进行解码，并进行选择性地组合，例如以便使用所接收的描述中的图像的最佳部分。例如，如果汇聚方712接收到所有描述，则可以将更高质量的ROI描述708与非ROI描述714、716、718和720的重新排序的像素进行合并，以获得全分辨率图像722。替代地，如果汇聚方712接收到与所有的描述相比更少的描述时，则汇聚方712可以从所接收的ROI描述和非ROI描述中选择最高质量图像部分，通过像素合并(在分辨率分集用于非ROI描述的情况下)和MB替换(在接收到ROI描述的情况下)对所选定的描述进行组合。
[0061]在本公开内容的另外方面，可以结合ROI分集和/或分辨率分集来使用帧速率分集。通常，帧速率分集指代:源场景的一部分帧的多个描述中的一个或多个进行携带。例如，一对描述可以包括交替节奏的源帧。当然，来自于源场景的该部分帧可以是不同于1/2，任何适当数量的描述可以包括源场景的帧的任何适当部分，它们彼此之间可以相同，也可以不相同。
[0062]举例而言，再次参见图7，可以如上所述地在源场景702中识别R0I704。编码器706可以将该ROI分离成单独的片段，并按照适当的帧速率，将该ROI编码成一个描述。例如，对于ROI中的最大质量而言，可以按照与源场景702的帧速率相对应的全帧速率，对ROI描述进行编码。在本公开内容的一些方面，可以按照与全帧速率相比较低的速率对ROI描述进行编码，例如，使用两个片段708和710，每一个片段包括全帧速率的二分之一，并包含来自于源场景702的交替节奏的中贞。
[0063]此外，可以如上所述地对源场景702的非ROI区域进行子采样，例如以便生成四个片段714、716、718和720，其每一个片段都具有来自于源场景702的四分之一像素。此外，非ROI片段714、716、718和720可以包括来自源场景的帧的四分之一、或者二分之一、或者任何其它适当的分数，以便当通过传输介质进行发送时，进一步减少开销。此外，还可以将这些像素组中的一个或多个(例如，第一片段714)进一步划分成多个帧速率分集片段(例如，包括交替的节奏的帧的两个片段)，以便发送成描述。也就是说，特定的描述可以是处于半帧速率的、源场景的四分之一分辨率非ROI部分(其包括每一第二个帧)。
[0064]因此，根据本公开内容的各个方面，在基于MDC的系统中，对于ROI部分和非ROI部分之间的场景划分、分辨率分集和/或帧速率分集的变型，可以在只需要相对较少的片段的情况下，实现简化的基于MB的质量分配，其在H.264编码中导致片段开销减少。此外，可以在无需使用任意片段排序(ASO)的情况下，启用基于MB的映射，其中ASO没有被广泛采用，并且当使用基于ROI的编码时，可能造成互操作性问题。
[0065]图8是示出用于从源向汇聚方发送内容的处理800的流程图。在本公开内容的一些方面，处理800可以由图1中所示的处理系统114来实现。在本公开内容的其它方面，处理800可以由图2中所示的移动服务器装置200来实现。在本公开内容的其它方面，处理800可以由用于向汇聚方发送内容的任何适当装置来实现。在方框802，该处理识别源场景中的ROI，在方框804，该处理将源场景分割成至少一个ROI部分和至少一个非ROI部分。在方框806，该处理将所述至少一个非ROI部分子采样成所述至少一个非ROI部分中的每一个的多个较低质量版本。在方框808，该处理对所述至少一个ROI部分进行编码，以生成ROI描述，在方框810,该处理将所述至少一个非ROI部分中的每一个的多个较低质量版本编码成多个非ROI描述。在方框812，该处理通过通信介质向汇聚方发送所生成的描述。
[0066]图9是示出用于由汇聚方从源接收内容的处理900的流程图900。在本公开内容的一些方面，处理900可以由图1中所示的处理系统114来实现。在本公开内容的其它方面，处理900可以由图3中所示的汇聚方300来实现。在本公开内容的其它方面，处理900可以由用于向汇聚方发送内容的任何适当装置来实现。在方框902，该处理接收与场景的感兴趣区域部分相对应的第一描述，接收与该场景的子采样的非ROI部分相对应的第二描述。在方框904，该处理对所接收的描述进行解码，在方框906，该处理根据所接收的描述的各个部分的分辨率或者质量，对解码后的描述进行选择性地组合。在方框908，该处理基于选择性组合后的描述，生成输出场景。
[0067]参见图1和图2，在一种配置中，一种用于发送内容的装置可以包括:用于将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分的模块；用于将源场景的至少一部分子采样成各个部分中的每个部分的多个较低质量版本的模块；用于将各个部分编码成多个描述的模块；用于通过通信介质来发送所述多个描述的模块；用于根据感兴趣度量评估，识别源场景的感兴趣区域部分的模块；用于从感兴趣区域部分中生成多个片段的模块；和/或用于从至少一个非感兴趣区域部分的多个较低质量版本中生成多个片段的模块。前述的模块可以是配置为执行这些前述单元所陈述的功能的处理系统114。如上所述，处理系统114可以包括处理器202、编码器216和存储器204。因此，在一种配置中，前述的模块可以是配置为执行这些前述单元所陈述的功能的处理器202、编码器216、辅助节点管理器218、存储器204、WffAN收发机206和WLAN/WPAN收发机210。
[0068]在另一种配置中，参见图1和图3，一种用于接收内容的装置可以包括:用于接收与场景的感兴趣区域部分相对应的描述的模块；用于接收与子采样的该场景的非感兴趣区域部分相对应的描述的模块；用于对所述多个描述进行解码的模块；用于对经解码的描述进行组合，以生成输出场景的模块；用于根据所接收的描述的质量，选择所接收的描述的一部分进行组合的模块；用于基于具有最高质量的分辨率的描述，在描述之间进行选择的模块；用于将来自描述的帧进行合并，以便提供增加的帧速率的模块；用于将描述的像素进行合并，以便提供增加的分辨率的模块；和/或用于将来自描述的帧进行合并，以便提供增加的帧速率的模块。前述的模块可以是配置为执行这些前述单元所陈述的功能的处理系统114。如上所述，处理系统114可以包括处理器302、解码器310和存储器304。因此，在一种配置中，前述的模块可以是配置为执行这些前述单元所陈述的功能的处理器302、解码器310、存储器304、WffAN收发机306和WLAN/WPAN收发机310。
[0069]应该理解的是，在公开的过程中的步骤的特定顺序或层次是示例性方法的一个例子。应该理解的是，根据设计偏好，过程中的步骤的特定顺序或层次可以被重新排列。所附的方法权利要求以示例性顺序呈现了多个步骤的要素，而并不意味着受限于所呈现的特定顺序或层次。
[0070]提供前面的描述以使本领域任何技术人员能够实现本文所描述的各个方面。对于本领域技术人员来说，对这些方面的各种修改将是显而易见的，并且本文定义的总体原理可以应用于其它方面。因此，权利要求并不旨在限于本文所示的各个方面，而是与符合书面权利要求的最广范围相一致，其中，除非另外指定，否则以单数形式引用某一要素并不旨在意味着“一个且仅仅一个”，而是“一个或多个”。除非另外专门指定，否则术语“一些”是指一个或多个。贯穿本发明所描述的各个方面的要素的所有结构和功能等价物以引用方式明确地并入本文中并且旨在由权利要求涵盖，这些结构和功能等价物对于本领域普通技术人员来说是公知的或将要是公知的。此外，本文中没有任何公开内容是想要奉献给公众的，不管这样的公开内容是否明确地记载在权利要求书中。不应依据35U.S.C.§112第6段的规定来解释任何权利要求的要素，除非该要素是用短语“用于……的模块”来明确地叙述的，或者在方法权利的情况下，该要素是使用短语“用于……的步骤”来叙述的。
【权利要求】
1.一种发送内容的方法，包括: 将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分； 将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本； 将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述；以及 通过通信介质来发送所述多个描述。
2.根据权利要求1所述的方法，还包括: 根据感兴趣度量评估，识别所述源场景的所述至少一个感兴趣区域部分。
3.根据权利要求2所述的方法，其中，所述感兴趣度量评估对应于所述源场景中的成像对象的图像纹理或者运动中的至少一项。
4.根据权利要求1所述的方法，其中，所述编码包括:从所述感兴趣区域部分中生成多个片段。
5.根据权利要求4所述的方法，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个包括来自所述源场景的所述帧的一部分。
6.根据权利要求5所述的方法，其中，所述一部分是二分之一，并且其中，所述多个片段包括所述帧的交替节奏。
7.根据权利要求1所述的方法，其中，所述编码包括:从所述至少一个非感兴趣区域部分的所述多个较低质量版本中的每一个生成多个片段。
8.根据权利要求7所述的方法，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个片段包括来自所述源场景的所述帧的一部分。
9.一种接收内容的方法，包括: 接收与场景的感兴趣区域部分相对应的第一描述； 接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述； 对所述多个描述中的至少一个描述进行解码；以及 对经解码的描述进行组合，以生成输出场景。
10.根据权利要求9所述的方法，还包括: 接收第三描述，其中所述第三描述与所述场景的所述感兴趣区域部分或子采样的所述场景的非感兴趣区域部分中的至少一个相对应， 其中，所述组合包括:根据所接收的描述的质量，选择所接收的描述的一部分进行组合。
11.根据权利要求10所述的方法，其中，所述选择包括:基于具有最高质量的分辨率的描述，在所述第三描述和所述第一描述或所述第二描述中的一个之间进行选择。
12.根据权利要求10所述的方法，其中，所述第三描述与所述场景的所述感兴趣区域部分相对应，并且其中，与所述第一描述不相同地对所述第三描述进行编码。
13.根据权利要求12所述的方法，其中，所述组合包括:将来自所述第一描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率。
14.根据权利要求10所述的方法，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述组合包括:将所述第二描述和所述第三描述的像素进行合并，以提供分辨率增加的所述场景的非感兴趣区域部分。
15.根据权利要求10所述的方法，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述组合包括:将来自所述第二描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率。
16.一种用于发送内容的装置，包括: 处理器和耦合到所述处理器的存储器；以及 耦合到所述处理器的发射机，其中，所述处理器配置为: 将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分； 将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本； 将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述；以及 利用所述发射机，通过通信介质来发送所述多个描述。
17.根据权利要求16所述的装置，其中，所述处理器还配置为: 根据感兴趣度量评估，识 别所述源场景的所述至少一个感兴趣区域部分。
18.根据权利要求17所述的装置，其中，所述感兴趣度量评估对应于所述源场景中的成像对象的图像纹理或者运动中的至少一项。
19.根据权利要求16所述的装置，其中，所述编码包括:从所述感兴趣区域部分中生成多个片段。
20.根据权利要求19所述的装置，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个包括来自所述源场景的所述帧的一部分。
21.根据权利要求20所述的装置，其中，所述一部分是二分之一，并且其中，所述多个片段包括所述帧的交替节奏。
22.根据权利要求16所述的装置，其中，所述编码包括:从所述至少一个非感兴趣区域部分的所述多个较低质量版本中的每一个生成多个片段。
23.根据权利要求22所述的装置，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个片段包括来自所述源场景的所述帧的一部分。
24.一种用于接收内容的装置，包括: 处理器和耦合到所述处理器的存储器；以及 耦合到所述处理器的接收机，其中，所述处理器配置为: 利用所述接收机接收与场景的感兴趣区域部分相对应的第一描述； 利用所述接收机接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述； 对所述多个描述中的至少一个描述进行解码；以及 对经解码的描述进行组合，以生成输出场景。
25.根据权利要求24所述的装置，其中，所述处理器还配置为: 接收第三描述，其中所述第三描述与所述场景的所述感兴趣区域部分或子采样的所述场景的非感兴趣区域部分中的至少一个相对应， 其中，所述组合包括:根据所接收的描述的质量，选择所接收的描述的一部分进行组口 ο
26.根据权利要求25所述的装置，其中，所述选择包括:基于具有最高质量的分辨率的描述，在所述第三描述和所述第一描述或所述第二描述中的一个之间进行选择。
27.根据权利要求25所述的装置，其中，所述第三描述与所述场景的所述感兴趣区域部分相对应，并且其中，与所述第一描述不相同地对所述第三描述进行编码。
28.根据权利要求27所述的装置，其中，所述组合包括:将来自所述第一描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率。
29.根据权利要求25所述的装置，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述组合包括:将所述第二描述和所述第三描述的像素进行合并，以提供分辨率增加的所述场景的非感兴趣区域部分。
30.根据权利要求25所述的装置，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述组合包括:将来自所述第二描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率。
31.一种计算机程序产品，包括: 计算机可读介质，其包括用于进行以下操作的代码: 将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分； 将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本； 将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述；以及· 通过通信介质来发送所述多个描述。
32.根据权利要求31所述的计算机程序产品，其中，所述计算机可读介质还包括: 用于根据感兴趣度量评估，识别所述源场景的所述至少一个感兴趣区域部分的代码。
33.根据权利要求32所述的计算机程序产品，其中，所述感兴趣度量评估对应于所述源场景中的成像对象的图像纹理或者运动中的至少一项。
34.根据权利要求31所述的计算机程序产品，其中，所述用于编码的代码包括:用于从所述感兴趣区域部分中生成多个片段的代码。
35.根据权利要求33所述的计算机程序产品，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个包括来自所述源场景的所述帧的一部分。
36.根据权利要求34所述的计算机程序产品，其中所述一部分是二分之一，并且其中，所述多个片段包括所述帧的交替节奏。
37.根据权利要求31所述的计算机程序产品，其中，所述用于编码的代码包括:用于从所述至少一个非感兴趣区域部分的所述多个较低质量版本中的每一个生成多个片段的代码。
38.根据权利要求36所述的计算机程序产品，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个片段包括来自所述源场景的所述帧的一部分。
39.一种计算机程序产品，包括: 计算机可读介质，其包括用于进行以下操作的代码: 接收与场景的感兴趣区域部分相对应的第一描述； 接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述；对所述多个描述中的至少一个描述进行解码；以及 对经解码的描述进行组合，以生成输出场景。
40.根据权利要求39所述的计算机程序产品，其中，所述计算机可读介质还包括: 用于接收第三描述的代码，其中所述第三描述与所述场景的所述感兴趣区域部分或子采样的所述场景的非感兴趣区域部分中的至少一个相对应， 其中，所述用于组合的代码包括:用于根据所接收的描述的质量，选择所接收的描述的一部分进行组合的代码。
41.根据权利要求40所述的计算机程序产品，其中，所述用于选择的代码包括:用于基于具有最高质量的分辨率的描述，在所述第三描述和所述第一描述或所述第二描述中的一个之间进行选择的代码。
42.根据权利要求40所述的计算机程序产品，其中，所述第三描述与所述场景的所述感兴趣区域部分相对应，并且其中，与所述第一描述不相同地对所述第三描述进行编码。
43.根据权利要求42所述的计算机程序产品，其中，所述用于组合的代码包括:用于将来自所述第一描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率的代码。
44.根据权利要求40所述的计算机程序产品，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述用于组合的代码包括:用于将所述第二描述和所述第三描述的像素进行合并，以提供分辨率增加的所述场景的非感兴趣区域部分的代码。
45.根据权利要求40所述的计算机程序产品，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述用于组合的代码包括:用于将来自所述第二描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率的代码。
46.一种用于发送内容的装置，包括: 用于将源场景分割成至少一个感兴趣区域部分和至少一个非感兴趣区域部分的模块； 用于将所述至少一个非感兴趣区域部分子采样成所述至少一个非感兴趣区域部分中的每一个的多个较低质量版本的模块； 用于将所述至少一个感兴趣区域部分和所述至少一个非感兴趣区域部分的所述多个较低质量版本编码成多个描述的模块；以及 用于通过通信介质来发送所述多个描述的模块。
47.根据权利要求46所述的装置，还包括: 用于根据感兴趣度量评估，识别所述源场景的所述至少一个感兴趣区域部分的模块。
48.根据权利要求47所述的装置，其中，所述感兴趣度量评估对应于所述源场景中的成像对象的图像纹理或者运动中的至少一项。
49.根据权利要求46所述的装置，其中，所述用于编码的模块包括:用于从所述感兴趣区域部分中生成多个片段的模块。
50.根据权利要求49所述的装置，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个包括来自所述源场景的所述帧的一部分。
51.根据权利要求50所述的装置，其中，所述一部分是二分之一，并且其中，所述多个片段包括所述帧的交替节奏。
52.根据权利要求46所述的装置，其中，所述用于编码的模块包括:用于从所述至少一个非感兴趣区域部分的所述多个较低质量版本中的每一个生成多个片段的模块。
53.根据权利要求52所述的装置，其中，所述源场景包括多个帧，并且其中，所述多个片段中的每一个片段包括来自所述源场景的所述帧的一部分。
54.一种用于接收内容的装置,包括: 用于接收与场景的感兴趣区域部分相对应的第一描述的模块； 用于接收与子采样的所述场景的非感兴趣区域部分相对应的第二描述的模块； 用于对所述多个描述中的至少一个描述进行解码的模块；以及 用于对经解码的描述进行组合，以生成输出场景的模块。
55.根据权利要求54所述的装置，还包括: 用于接收第三描述的模块，其中所述第三描述与所述场景的所述感兴趣区域部分或子采样的所述场景的非感兴趣区域部分中的至少一个相对应， 其中，所述用于组合的模块包括:用于根据所接收的描述的质量，选择所接收的描述的一部分进行组合的模块。
56.根据权利要求55所述的装置，其中，所述用于选择的模块包括:用于基于具有最高质量的分辨率的描述，在所述第三描述和所述第一描述或所述第二描述中的一个之间进行选择的模块。
57.根据权利要求55所述的装置，其中，所述第三描述与所述场景的所述感兴趣区域部分相对应，并且其中，与所述第一描述不相同地对所述第三描述进行编码。
58.根据权利要求57所述的装置，其中，所述用于组合的模块包括:用于将来自所述第一描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率的模块。
59.根据权利要求55所述的装置，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述用于组合的模块包括:用于将所述第二描述和所述第三描述的像素进行合并，以提供分辨率增加的所述场景的非感兴趣区域部分的模块。
60.根据权利要求55所述的装置，其中，所述第三描述与所述子采样的所述场景的非感兴趣区域部分相对应，并且其中，所述用于组合的模块包括:用于将来自所述第二描述和所述第三描述的帧进行合并，以针对所述场景的所述非感兴趣区域部分提供增加的帧速率的模块。
【文档编号】H04L29/06GK103583027SQ201280027866
【公开日】2014年2月12日 申请日期:2012年6月7日 优先权日:2011年6月7日
【发明者】V·R·拉维德朗, P·K·巴米迪帕蒂 申请人:高通股份有限公司