图像处理设备、图像处理方法以及计算机程序的制作方法
【专利摘要】提供了一种图像处理设备，其包括：组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息，其中该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。
【专利说明】图像处理设备、图像处理方法以及计算机程序
[0001]交叉引用相关申请
[0002]本申请要求2013年3月26日提交的日本优先权专利申请JP2013-064014的利益，在此通过引用并入其全部内容。
【技术领域】
[0003]本公开涉及图像处理设备、图像处理方法以及计算机程序。
【背景技术】
[0004]由于内容的数字化和能够发送图像的基础设施得到了发展，通过互联网分发图像越来越常见。近年来，除了个人计算机之外，越来越多可与网络连接的电视接收器被做成接收设备。因此，可以在电视接收器上观看分发的运动图像内容。
[0005]并且，近年来云服务得到了发展，使得通过互联网为观众提供了包括私密内容的多种频道。于是，越来越需要能够同时观看多个运动图像内容项和易于检索要观看的运动图像内容项的多图像再现系统。
[0006]存在一种使用编码流信息进行多屏幕复合以实现多个运动图像内容项的同时观看的系统。不用客户机执行复杂解码过程地将通过服务器压缩保存的多个编码流信息项转换成一个编码流信息项。使用编码流信息的多屏幕复合可以降低服务器执行过程的负担、要使用的网络带宽、和客户机执行过程的负担。
【发明内容】
[0007]但是，关于这个技术，如果有的话，当要输入到多屏幕复合的过程中的编码流信息项包括一点点丢失时，客户机就不能生成组合画面。并且，当信息延迟到达时，必须等待多屏幕复合所需的每种流的到达；于是，例如，在视频聊天的情况下，难以管理实时内容项。
[0008]于是，本公开的一个或多个实施例提供了新式的和改进的、以及即使在发送通过服务器压缩保存的多个编码流信息项的时候选成了丢失或延迟，也可以使客户机能够执行多屏幕复合的过程的图像处理设备、图像处理方法以及计算机程序。
[0009]按照本公开的一个实施例，提供了一种图像处理设备，其包括:组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息。该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。
[0010]按照本公开的另一个实施例，提供了一种图像处理方法，其包括:在解码编码流之前组合多种编码流；在多种编码流中检测信息的丢失；以及当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息。在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。
[0011]按照本公开的另一个实施例，提供了一种使计算机执行如下步骤的计算机程序:在解码编码流之前组合多种编码流；在多种编码流中检测信息的丢失；以及当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息。在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。
[0012]如上所述，按照本公开的一个或多个实施例，可以提供新式的和改进的、以及即使在发送通过服务器压缩保存的多个编码流信息项的时候选成了丢失或延迟，也可以使客户机能够执行多屏幕复合的过程的图像处理设备、图像处理方法以及计算机程序。
【专利附图】
【附图说明】
[0013]图1示出了按照本公开的一个实施例的图像处理系统I的总体配置例子；
[0014]图2示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子;
[0015]图3示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子;
[0016]图4示出了按照本公开的一个实施例的客户机终端100的功能配置例子；
[0017]图5示出了在流组合单元105中组合多种编码流的过程；
[0018]图6示出了在流组合单元105中组合多种编码流的过程；
[0019]图7示出了在流组合单元105中已经组合的多种编码流的状态；
[0020]图8示出了在流组合单元105中组合多种编码流的过程；
[0021]图9示出了在流组合单元105中组合多种编码流的过程；
[0022]图10示出了按照本公开的一个实施例的客户机终端100的功能配置例子；
[0023]图11示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子；
[0024]图12示出了按照本公开的一个实施例的包括在客户机终端100中的替代画面生成单元108的功能配置例子；
[0025]图13示出了包括在替代画面生成单元108中的IDR画面存储生成单元112的配置例子；
[0026]图14是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图；
[0027]图15A是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图；
[0028]图15B是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图；
[0029]图15C是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图；
[0030]图16是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图；
[0031]图17A是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图；
[0032]图17B是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图；
[0033]图18示出了按照本公开的一个实施例的客户机终端100执行的组合多种编码流的过程；
[0034]图19示出了按照本公开的一个实施例的客户机终端100执行的组合多种编码流的过程；
[0035]图20示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子;
[0036]图21示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子;
[0037]图22示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子;
[0038]图23示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子;
[0039]图24示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子;
[0040]图25示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子;
[0041]图26示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子；以及
[0042]图27示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。
【具体实施方式】
[0043]在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书及附图中，具有基本相同功能和结构的结构元件用相同标号表示，并省略对这些结构元件的重复说明。
[0044]注意，该描述将按如下次序给出。
[0045]〈1.本公开的实施例>
[0046][总体配置例子]
[0047][运动图像内容服务器的功能配置例子]
[0048][客户机终端的功能配置例子]
[0049][客户机终端的操作例子]
[0050]<2.结论〉
[0051]〈1.本公开的实施例〉
[0052][总体配置例子]
[0053]首先，将参考附图描述按照本公开的一个实施例的系统的总体配置例子。图1示出了按照本公开的一个实施例的图像处理系统I的总体配置例子。下面将参考图1描述按照本公开的一个实施例的图像处理系统I的总体配置例子。
[0054]显示在图1中的图像处理系统I具有这样的配置，其中客户机终端100通过像互联网那样的网络10接收来自多个运动图像内容服务器2和3的编码流信息，以及包括在显示在图1中的图像处理系统I中的客户机终端100解码来自运动图像内容服务器2和3的接收编码流信息，并组合多个运动图像内容项以便同时再现运动图像内容项。
[0055]运动图像内容服务器2和3的每一个都保存转换成编码流的运动图像内容，将运动图像内容转换成编码流，并依照来自客户机终端100的请求将编码流发送给客户机终端100。在这个实施例中，运动图像内各服务器2保存作为实时拍摄的运动图像内各项的实时运动图像内容项A、和作为事先已经拍摄的运动图像内容项的累积运动图像内容项B。并且，运动图像内容服务器3保存作为实时拍摄的运动图像内容项的实时运动图像内容项C、和作为事先已经拍摄的运动图像内容项的累积运动图像内容项D。不用说，运动图像内容服务器保存的运动图像内容项的类型和数量不限于上面的例子。
[0056]这个实施例中的编码流通过，例如，H.264/高级视频编码(AVC)方案来编码。不用说，编码方案不限于这个例子。
[0057]客户机终端100通过像互联网那样的网络10接收从运动图像内容服务器2和3发送的多种编码流，组合该多种编码流，并解码该组合编码流。通过在复合之后解码多种编码流，客户机终端100可以同时再现多个运动图像内容项。注意，多个运动图像内容项的同时再现可以由客户机终端100来进行，或可以由含有显示屏和有线或无线地与客户机终端100连接的另一个设备来进行。
[0058]假设运动图像内容服务器2和3保存的每个运动图像内容项具有N个画面组(GOP)0运动图像内容项中的相同GOP使客户机终端100能够组合多种编码流和解码该组合编码流。
[0059]上面参考图1描述了按照本公开的一个实施例的图像处理系统I的总体配置例子。接着，将描述按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子。
[0060][运动图像内容服务器的功能配置例子]
[0061]如上所述，按照本公开的一个实施例的运动图像内容服务器2和3每一个可以保存实时运动图像内容和累积运动图像内容的任何一种。于是，将描述在分发实时运动图像内容的情况下和在分发累积运动图像内容的情况下按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子。
[0062]图2示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子。图2示出了分发累积运动图像内容时运动图像内容服务器2和3的功能配置例子。
[0063]如图2所示，按照本公开的一个实施例的运动图像内容服务器2和3的每一个包括控制单元11、处理后编码流累积单元12、编码流发送单元15、和网络发送和接收单元16。
[0064]控制单元11控制运动图像内容服务器2和3中的每个单元的操作。处理后编码流累积单元12事先重新编码运动图像内容并累积重新编码编码流。在控制单元11的控制下将累积在处理后编码流累积单元12中的运动图像内容的重新编码编码流发送给编码流发送单元15。
[0065]使用H.264/AVC方案方案的编码流在相同切片中与基于上下文的自适应二进制算术编码(CABAC)、帧内宏块(MB)预测、运动矢量预测等存在依赖关系。编码从顶部开始沿着每个水平行和沿着每个水平行从左边开始来进行。
[0066]处理后编码流累积单元12累积运动图像内容的编码流的宏块，该宏块沿着水平方向排列并被重新编码成相同切片。通过将沿着水平方向排列的宏块重新编码成相同切片，沿着垂直方向具有不同位置的宏块之间的依赖关系在每个运动图像内容项中消失了。因此，通过在客户机终端100中组合运动图像内容项的多种编码流，即使宏块的编码次序不同，经过解码的多画面再现图像也变成与原始运动图像内容的图像相同。
[0067]编码流发送单元15在控制单元11的控制下使网络发送和接收单元16使用像发送控制协议(TCP)或实时传输协议(RTP)那样的协议发送累积在处理后编码流累积单元12中的运动图像内容的编码流。
[0068]网络发送和接收单元16接收来自网络10的数据并将数据发送给网络10。在这个实施例中，网络发送和接收单元16在控制单元11的控制下接收从编码流发送单元15发送的运动图像内容的编码流，并将编码流发送给网络10。
[0069]图3示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子。图3示出了，例如，分发实时拍摄的实时运动图像内容时运动图像内容服务器2和3的功能配置例子。
[0070]如图3所示，按照本公开的一个实施例的运动图像内容服务器2和3的每一个包括控制单元11、待处理编码流累积单元13、编码流转换单元14、编码流发送单元15、和网络发送和接收单元16。
[0071]控制单元11控制运动图像内容服务器2和3中的每个单元的操作。待处理编码流累积单元13累积未经过上述重新编码的实时运动图像内容的编码流。在控制单元11的控制下将累积在待处理编码流累积单元13中的实时运动图像内容的编码流发送给编码流转换单元14。
[0072]编码流转换单元14在控制单元11的控制下对实时运动图像内容的编码流进行上述重新编码。在重新编码了实时运动图像内容的编码流之后，编码流转换单元14在控制单元11的控制下将实时运动图像内容的重新编码编码流发送给编码流发送单元15。
[0073]编码流发送单元15在控制单元11的控制下使网络发送和接收单元16使用像TCP或RTP那样的协议发送从编码流转换单元14发送的实时运动图像内容的编码流。网络发送和接收单元16接收来自网络10的数据并将数据发送给网络10。在这个实施例中，网络发送和接收单元16在控制单元11的控制下接收从编码流发送单元15发送的实时运动图像内容的编码流，并将接收的编码流发送给网络10。
[0074]借助于显示在图2或图3中的配置，按照本公开的一个实施例的运动图像内容服务器2和3可以将适合在客户机终端100中复合多种编码流的编码流发送给客户机终端100。
[0075]上面参考图2和3描述了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子。接着，将描述按照本公开的一个实施例的客户机终端100的功能配置例子。首先，将描述简单组合多种编码流加以再现时客户机终端100的功能配置例子。随后，将描述简单组合多种编码流加以再现时可能发生的现象。在描述了现象之后，将描述解决现象的客户机终端100的功能配置例子。
[0076][客户机终端的功能配置例子]
[0077]图4示出了按照本公开的一个实施例的客户机终端100的功能配置例子。图4示出了具有简单组合和再现从运动图像内容服务器2和3发送的编码流的配置的客户机终端100的例子。下面参考图4描述按照本公开的一个实施例的客户机终端100的功能配置例子。
[0078]如图4所示，按照本公开的一个实施例的客户机终端100包括控制单元101、网络发送和接收单元102、编码流分类单元103、内容缓冲单元104a，104b, 104c,...，104η、流组合单元105、AVC解码单元106、和应用单元107。
[0079]控制单元101控制客户机终端100中每个元件的操作。网络发送和接收单元102在控制单元101的控制下接收来自网络10的数据并将数据发送给网络10。在这个实施例中，网络发送和接收单元102接收从运动图像内容服务器2和3发送的编码流。网络发送和接收单元102依照控制单元101的控制将接收的编码流发送给编码流分类单元103。由于网络发送和接收单元102可以同时接收多种编码流，所以当接收到多种编码流时，由后一级中的编码流分类单元103分类多种编码流。
[0080]编码流分类单元103按运动图像内容单元分类网络发送和接收单元102接收到的编码流。如上所述，由于网络发送和接收单元102可以同时接收多种编码流，所以当接收到多种编码流时，编码流分类单元103按运动图像内容单元分类多种编码流。编码流分类单元103可以参照，例如，标识包含在接收编码流中的内容的信息按运动图像内容单元分类编码流。在按运动图像内容单元分类了编码流之后，编码流分类单元103按运动图像内容单元将分类编码流输出到内容缓冲单元104a，104b, 104c,...，104η。
[0081]内容缓冲单元104a，104b，104c，...，104n的每一个按运动图像内容单元保存编码流分类单元103按运动图像内容单元分类的编码流。将按运动图像内容单元保存在各自内容缓冲单元104a, 104b, 104c,...，104η中的编码流输出到流组合单元105。
[0082]流组合单元105在控制单元101的控制下提取和组合按运动图像内容单元保存在内容缓冲单元104a，104b, 104c，...，104η的每一个中的编码流。流组合单元105重写多个运动图像内容项的编码流的切片首标，以便将多种编码流组合成一种。在将多种编码流组合成一种之后，流组合单元105将组合编码流输出到AVC解码单元106。
[0083]下面将描述流组合单元105中复合过程的例子。流组合单元105从多个运动图像内容项的编码流中识别切片的网络抽象层(NAL)单元的数据长度I和切片的宏块的数量sx0然后，根据数据长度1、宏块的数量sx、和再现图像中多个运动图像内容项的排列，流组合单元105重写多个运动图像内容项的编码流的切片首标。
[0084]并且，流组合单元105从包括在内容缓冲单元104a，104b, 104c,...，104η供应的多个运动图像内容项的每种编码流中的画面参数集(PPS)的NAL单元中获取代表可逆编码系统的可逆编码系统标志。这里，可逆编码系统的例子包括基于上下文的自适应可变长度编码(CAVLC)和基于上下文的自适应二进制算术编码(CABAC)。并且，可逆编码系统标志当代表CABAC时是1，而当代表CAVLC时是O。
[0085]根据可逆编码系统标志，流组合单元105对重写了切片首标的多个运动图像内容项的每种编码流的切片数据进行预定处理。并且，根据再现图像中多个运动图像内容项的排列，流组合单元105组合包括已经经过上述预定处理的切片数据的运动图像内容项的编码流和重写的切片首标，从而生成作为一个图像再现多个运动图像内容项的再现图像的编码流。
[0086]AVC解码单元106在控制单元101的控制下解码流组合单元105已经组合成一种的编码流。通过解码流组合单元105已经组合成一种的编码流，AVC解码单元106可以生成和输出作为一个图像再现多个运动图像内容项的再现图像。AVC解码单元106将解码数据输出到应用单元107。
[0087]这里，将具体描述在流组合单元105中组合多种编码流的过程。图5示出了在流组合单元105中组合多种编码流的过程。图5示出了组合四个运动图像内容项的编码流的过程:运动图像内容项A到D。图5示出了流组合单元105组合运动图像内容项A的画面号PN是i的画面、运动图像内容项B的画面号PN是j的画面、运动图像内容项C的画面号PN是k的画面、和运动图像内容项D的画面号PN是I的画面的例子。
[0088]四个运动图像内容项A到D的编码流由流组合单元105组合在一起，然后从流组合单元105输出编码流成为完成了切片复合的一个画面。变成一个画面的编码流由AVC解码单元106解码，从AVC解码单元106输出成为各自运动图像内容项A到D的像素组。
[0089]图6示出了在流组合单元105中组合多种编码流的过程。图6还示出了内容缓冲单元104a, 104b, 104c和104d。当组合多种编码流时,流组合单元105排列所有编码流的GOP配置。也就是说，如图6所示，进行复合以便复合单元中的画面是相同类型的画面(IDR画面或非IDR画面)。
[0090]图7示出了在流组合单元105中已经组合的多种编码流的状态。在流组合单元105中按画面单元组合(切片组合)了四个运动图像内容项A到D的编码流之后，如图7所示，按画面单元从流组合单元105输出组合编码流，并发送给AVC解码单元106。
[0091]通过排列画面的类型和解码以这种方式从流组合单元105发送的组合编码流，AVC解码单元106可以生成含有各自运动图像内容项A到D的像素组的图像。
[0092]应用单元107进行由客户机终端100进行的应用。应用单元107获取从AVC解码单元106输出的数据。应用单元107然后在控制单元101的控制下，可以将通过解码获得的图像显示在显示屏上，或将图像传送给含有显示屏的另一个设备。
[0093]按照本公开的一个实施例的客户机终端100具有显示在图4中的配置；因此，可以通过排列画面的类型组合和解码从运动图像内容服务器2和3发送的编码流，以便在一个屏幕上再现多个运动图像内容项。
[0094]同时，由于显示在图4中的配置，客户机终端100可以发生下面所述的现象。
[0095]图8示出了在流组合单元105中组合多种编码流的过程。图8示出了与显示在图5中的例子一样组合四个运动图像内容项A到D的编码流的过程。但是，图8示出了尽管流组合单元105将组合运动图像内容项A的画面号PN是i的画面、运动图像内容项B的画面号PN是j的画面、和运动图像内容项D的画面号PN是I的画面，但由于某种原因未输入运动图像内容项C的编码流的情况。
[0096]可以假设为什么未输入运动图像内容项C的编码流的多种原因。例如，可以给出如下情况:由于在运动图像内容服务器2和3到客户机终端100的传输路径中存在障碍使分组丢失了，或因为分组从运动图像内容服务器2和3到达客户机终端100延迟了，所以不存在目标画面。
[0097]当这样未输入一个运动图像内容项的编码流时，如图8所示，在流组合单元105中编码流的切片复合失败了。这是因为流组合单元105无法完成一个画面。当编码流的切片复合失败了时，在AVC解码单元106中也不能正常解码。于是，当只有一个运动图像内容项未输入时，可能发生不再现和显示其它(在图8中的例子中，三个)运动图像内容项的现象。
[0098]图9示出了在流组合单元105中组合多种编码流的过程。图9示出了与显示在图6中的例子一样组合四个运动图像内容项A到D的编码流的过程。但是，图9示出了当在流组合单元105中组合四个运动图像内容项A到D的编码流时，在运动图像内容项A到D的至少一个的编码流中丢失了一些画面的情况。
[0099]例如，图9示出了内容缓冲单元104b存储运动图像内容项B的画面号PN是j的IDR画面，内容缓冲单元104c存储运动图像内容项C的画面号PN是k的IDR画面，和内容缓冲单元104d存储运动图像内容项D的画面号PN是I的IDR画面，但因为由于某种原因未输入IDR画面，所以内容缓冲单元104a未存储运动图像内容项A的画面号PN是i的IDR画面的情况。在这种状态下，流组合单元105无法切片组合四个运动图像内容项A到D的编码流。这是因为流组合单元105无法完成一个画面。
[0100]在运动图像内容项A到D的至少一个的编码流中，在多个画面上选成这样的画面丢失，流组合单元105在画面丢失的时候无法切片组合编码流。
[0101]于是，这个实施例示出了即使在运动图像内容项的任何一个的编码流中这样丢失了画面，也可以进行多个运动图像内容项的同时再现和显示的客户机终端100。
[0102]图10示出了按照本公开的一个实施例的客户机终端100的功能配置例子。图10示出了具有组合和再现从运动图像内容服务器2和3发送的编码流的配置的客户机终端100的例子。下面参考图10描述按照本公开的一个实施例的客户机终端100的功能配置例子。
[0103]如图10所示，按照本公开的一个实施例的客户机终端100包括控制单元101、网络发送和接收单元102、编码流分类单元103、内容缓冲单元104a，104b, 104c,...，104η、流组合单元105、AVC解码单元106、应用单元107、和替代画面生成单元108。
[0104]在显示在图10中的客户机终端100的配置中，除了替代画面生成单元108之外的其它配置与显示在图4中的客户机终端100的配置相同，因此这里省略对它们的详细描述，而详细描述替代画面生成单元108。
[0105]当在客户机终端100接收的多个运动图像内容项的编码流中存在丢失时，替代画面生成单元108在控制单元101的控制下生成替代画面，以便可以用另一个画面(也叫做替代画面)取代丢失部分。
[0106]取决于丢失画面的类型，替代画面生成单元108可以生成不同替代画面。例如，当丢失画面是IDR画面时，替代画面生成单元108可以将作为相关编码流中的最后画面正常接收的IDR画面设置成替代画面。
[0107]当丢失画面是P画面时，替代画面生成单元108可以将使用跳过宏块的P画面设置成替代画面。
[0108]从内容缓冲单元104a，104b, 104c,...，104η中提取编码流的流组合单元105确定在编码流中是否选成丢失。当在复合多个运动图像内容项的编码流期间检测到编码流中的丢失时，流组合单元105将包括丢失和丢失画面的类型的与编码流相对应的运动图像内容项的信息通知控制单元101。
[0109]流组合单元105可以通过确定，例如，存储在内容缓冲单元104a，104b，104c，...，104η中的画面的画面号是否以正确次序输出到流组合单元105来确定在编码流中是否选成丢失。
[0110]在从流组合单元105接收到接收编码流中的丢失的通知之后，控制单元101将该丢失通知替代画面生成单元108。替代画面生成单元108生成与该丢失相对应的替代画面，并将生成的替代画面输出到流组合单元105。流组合单元105用从替代画面生成单元108发送的替代画面取代丢失画面，并进行切片复合。
[0111]借助于上面的配置，即使在运动图像内容项的任何一个的编码流中丢失了画面，按照本公开的一个实施例的客户机终端100也可以通过用替代画面取代丢失画面进行复合，同时再现和显示多个运动图像内容项。
[0112]注意，运动图像内容服务器2和3可以取代客户机终端100来生成替代画面。当运动图像内容服务器2和3生成替代画面时，除了运动图像内容的编码流之外，运动图像内容服务器2和3还发送编码替代画面的编码流。下面将描述运动图像内容服务器2和3生成替代画面的配置例子。
[0113]图11示出了按照本公开的一个实施例的运动图像内容服务器2和3的功能配置例子。图11示出了当运动图像内容服务器2和3生成替代画面时，运动图像内容服务器2和3的功能配置例子。
[0114]如图11所示，按照本公开的一个实施例的运动图像内容服务器2和3包括控制单元11、编码流发送单元15、网络发送和接收单元16、编码内容流生成/累积单元21、和编码替代流生成/累积单元22。
[0115]编码内容流生成/累积单元21生成和累积要发送给客户机终端100的编码流。编码内容流生成/累积单元21可以包括显示在图2中的处理后编码流累积单元12、和显示在图3中的待处理编码流累积单元13和编码流转换单元14。
[0116]当在编码流到客户机终端100的发送中在编码流的一部分中选成丢失时，编码替代流生成/累积单元22生成和累积用作在客户机终端100中生成的替代画面的基础的流。在编码替代流生成/累积单元22中生成流具有与其它编码流相同的G0P。
[0117]借助于显示在图11中的配置，运动图像内容服务器2和3可以生成和累积替代画面。并且，借助于显示在图11中的配置，运动图像内容服务器2和3可以将包括替代画面的编码流发送给客户机终端100。
[0118]随后，将描述按照本公开的一个实施例的包括在客户机终端100中的替代画面生成单元108的功能配置例子。图12示出了按照本公开的一个实施例的包括在客户机终端100中的替代画面生成单元108的功能配置例子。
[0119]如图12所示，替代画面生成单元108包括参数生成单元IlUIDR画面存储生成单元112、P画面生成单元113、和画面选择单元114。
[0120]参数生成单元111从从运动图像内容服务器2和3发送的运动图像内容的编码流中生成用于生成替代画面的参数。在从运动图像内容的编码流中生成用于生成替代画面的参数之后，参数生成单元111将生成的参数输出到IDR画面存储生成单元112和P画面生成单元113。
[0121]当替代画面是IDR画面时，IDR画面存储生成单元112从运动图像内容的编码流中获取用作替代画面的基础的IDR画面以便存储该IDR画面，存储固定IDR画面，或生成给定IDR画面。IDR画面存储生成单元112根据从参数生成单元111输出的参数生成用作替代画面的基础的IDR画面。IDR画面存储生成单元112的配置例子将在以后描述。IDR画面存储生成单元112将用作替代画面的基础的IDR画面输出到画面选择单元114。
[0122]当替代画面是P画面时，P画面生成单元113生成用作替代画面的基础的P画面。P画面生成单元113根据从参数生成单元111输出的参数生成用作替代画面的基础的P画面。P画面生成单元113将用作替代画面的基础的P画面输出到画面选择单元114。
[0123]在这个实施例中，P画面生成单元113根据从参数生成单元111输出的参数，使用跳过宏块生成P画面。注意，在使用MPEG-4的情况下，P画面生成单元113通过使用与跳过宏块相同的参考帧的像素生成P画面。在使用H.264/AVC的情况下，P画面生成单元113通过使用预测运动矢量和作为跳过宏块的运动补偿预测信号生成P画面。
[0124]画面选择单元114选择从IDR画面存储生成单元112输出的IDR画面或从P画面生成单元113输出的P画面，并将所选画面设置成替代画面。IDR画面或P画面的选择基于发送给画面选择单元114的信息。也就是说,画面选择单元114取决于IDR画面还是P画面丢失地选择IDR画面或P画面。
[0125]接着，将描述IDR画面存储生成单元112的配置例子。图13示出了包括在替代画面生成单元108中的IDR画面存储生成单元112的配置例子。
[0126]如图13所示，IDR画面存储生成单元112包括固定IDR画面存储单元121、给定IDR画面生成单元122、最终IDR画面存储单元123a到123η、和服务器IDR画面存储单元124a 到 124η ο
[0127]当IDR画面丢失以及将固定画面用作替代画面时，固定IDR画面存储单元121存储固定IDR画面。存储在固定IDR画面存储单元121中的IDR画面的例子包括显示特定图像或字符的画面。
[0128]当IDR画面丢失以及将给定画面用作替代画面时,给定IDR画面生成单元122生成给定IDR画面。给定IDR画面的例子包括显示依照客户机终端100的状态生成的图像或字符的画面。
[0129]当IDR画面丢失以及将最近IDR画面用作从运动图像内容服务器2和3发送的运动图像内容的编码流中的替代画面时，最终IDR画面存储单元123a到123η存储最近(最终)IDR画面。
[0130]最终IDR画面存储单元123a到123η的数量可以与内容缓冲单元104a到104η的数量相同。也就是说，可以将运动图像内容项A的最终IDR画面存储在最终IDR画面存储单元123a中，将运动图像内容项N的最终IDR画面存储在最终IDR画面存储单元123η中。
[0131]当IDR画面丢失以及将IDR画面用作从运动图像内容服务器2和3发送的替代画面的编码流中的替代画面时，服务器IDR画面存储单元124a到124η存储从运动图像内容服务器2和3发送的替代画面的编码流中的IDR画面。
[0132]服务器IDR画面存储单元124a到124η的数量可以与内容缓冲单元104a到104η的数量相同。也就是说，可以将与运动图像内容项A相对应的替代画面的IDR画面存储在服务器IDR画面存储单元124a中，将与运动图像内容项N相对应的替代画面的IDR画面存储在服务器IDR画面存储单元124η中。
[0133]客户机终端100的用户可以选择要用作替代画面的IDR画面。
[0134]借助于这种配置，即使在运动图像内容项之一的编码流中丢失了画面，按照本公开的一个实施例的客户机终端100也可以生成替代画面，或用从运动图像内容服务器2和3获得的替代画面取代丢失画面，以便进行复合。即使在运动图像内容项之一的编码流中丢失了画面，按照本公开的一个实施例的客户机终端100也可以通过用替代画面取代丢失画面进行复合，从而继续进行多个运动图像内容项的同时再现和显示。
[0135]上面描述了按照本公开的一个实施例的客户机终端100的功能配置例子。接着，将描述按照本公开的一个实施例的客户机终端100的操作例子。
[0136][客户机终端的操作例子]
[0137]图14是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图。图14示出了客户机终端100从运动图像内容服务器2和3接收多种编码流，并组合和编码画面以便同时再现多个运动图像内容项的过程。下面参考图14描述按照本公开的一个实施例的客户机终端100的操作例子。
[0138]首先，客户机终端100进行初始设置以便同时再现多个运动图像内容项(步骤SlOl到S105)。控制单元101可以进行步骤SlOl到S105中的初始设置。客户机终端100将要同时再现的运动图像内容项的数量设置成变量N(步骤S101)。并且，客户机终端100将保存各自运动图像内容项的最终IDR画面的缓冲器(最终IDR画面存储单元123a到123η)设置成零(步骤S102)。
[0139]并且，客户机终端100将与各自运动图像内容项有关的替代模式标志设置成“假”(步骤S103)，并设置有关是否实时分发各自运动图像内容项的标志(步骤S104)。然后，客户机终端100将标识当前画面是否是IDR画面的IDR定时标志设置成“真”(步骤S105)。
[0140]注意，替代模式标志是由于画面的丢失生成替代画面以及确定是否将替代画面用于复合过程的标志。
[0141]在步骤SlOl到S105进行初始设置以便同时再现多个运动图像内容项之后，客户机终端100开始从运动图像内容服务器2和3获取运动图像内容项(步骤S106)。然后，在开始从运动图像内容服务器2和3获取运动图像内容项之后，客户机终端100获取各自运动图像内容项的画面参数(步骤S107)。
[0142]在获取了各自运动图像内容项的画面参数之后，客户机终端100按画面单元执行使用各自所获运动图像内容项的画面参数组合多个运动图像内容项的复合主过程(步骤S108)。流组合单元105执行该复合主过程。注意，复合主过程的概况将在后面作详细描述。
[0143]在执行了组合多个运动图像内容项的复合主过程之后，客户机终端100等待下一个复合定时(步骤S109)，并确定是非中断复合过程(步骤S110)。当不中断复合过程时，客户机终端100继续执行步骤S108中的复合主过程；当中断复合过程时，客户机终端100结束该一系列过程。
[0144]接着，将详细描述显示在图14中的步骤S108中的复合主过程。图15Α到17Β是示出按照本公开的一个实施例的客户机终端100的操作例子的流程图。图15Α到17Β示出了显示在图14中的步骤S108中的复合主过程的详细流程。下面参考图15Α到17Β描述按照本公开的一个实施例的客户机终端100的操作例子。
[0145]当执行复合主过程时，首先，客户机终端100将缓冲器号设置成1(步骤S111)。控制单元101可以执行步骤Slll中的过程。在将缓冲器号设置成I之后，客户机终端100将具有该缓冲器号的缓冲器设置成目标缓冲器(步骤S112)。控制单元101可以执行步骤S112中的过程。也就是说，当缓冲器号是I时，内容缓冲单元104a被设置成过程目标缓冲器。
[0146]接着，客户机终端100确定过程目标缓冲器的头部是否是空的或是否存在事先到达的画面(步骤S113)。控制单元101可以执行步骤S113中的确定过程。
[0147]作为步骤S113中的确定结果，当过程目标缓冲器的头部非空以及没有画面事先到达时，客户机终端100确定目标缓冲器是否要存储实时(具有“真”的实时模式标志)分发的运动图像内容项的编码流，以及目标缓冲器的头部是否是经过替代过程的画面(步骤S114)。控制单元101可以执行步骤S114中的确定过程。
[0148]作为步骤S114中的确定结果，当目标缓冲器要存储实时分发的运动图像内容项的编码流，以及目标缓冲器的头部是经过替代过程的画面时，客户机终端100提取目标缓冲器的头部上的画面(步骤S115)。控制单元101可以使流组合单元105执行步骤S115中的过程。
[0149]由于目标缓冲器存储实时分发的运动图像内容项，所以当在目标缓冲器的头部存在经过替代过程的画面(即，以后到达的画面)时，为了保持时间轴，客户机终端100提取以后到达的画面(在缓冲器的头部上的画面)，以便不将这个画面用于复合过程。
[0150]在步骤S115中提取了目标缓冲器的头部上的画面之后，客户机终端100确定提取的画面是否是IDR画面(步骤S116)。控制单元101可以执行步骤S116中的确定过程。
[0151]作为步骤S116中的确定结果，当提取的画面是IDR画面时，客户机终端100将提取的IDR画面存储在与缓冲器号相对应的最终IDR画面存储单元123a到123η之一中(当缓冲器号是I时，在最终IDR画面存储单元123a中)(步骤S117)。控制单元101可以执行步骤S117中的过程。当提取的画面是IDR画面但不将该画面用于复合过程时，该画面可能被用在画面的随后替代过程中；于是，客户机终端100将提取的IDR画面存储在与缓冲器号相对应的最终IDR画面存储单元123a到123η之一中。
[0152]同时，作为步骤S116中的确定结果，当提取的画面是P画面时，客户机终端100跳过步骤S117中的过程。
[0153]在将提取的IDR画面存储在与缓冲器号相对应的最终IDR画面存储单元123a到123η之一中(或跳过存储过程)之后，客户机终端100返回到步骤S112中的过程。
[0154]同时，作为步骤S114中的确定结果，当目标缓冲器不存储实时分发的运动图像内容项的编码流时，或当目标缓冲器的头部不包含经过替代过程的画面时，客户机终端100提取目标缓冲器的头部上的画面(步骤S118)。控制单元101可以使流组合单元105执行步骤S118中的过程。
[0155]在步骤S118中提取了目标缓冲器的头部上的画面之后，客户机终端100确定IDR定时标志是否是“真”(步骤S119)。控制单元101可以执行步骤S119中的确定过程。
[0156]作为步骤SI 19中的确定结果，当IDR定时标志是“真”时，客户机终端100将在步骤SI 18中提取的IDR画面存储在与缓冲器号相对应的最终IDR画面存储单元123a到123η之一中(当缓冲器号是I时，在最终IDR画面存储单元123a中)(步骤S120)。控制单元101可以执行步骤S120中的过程。
[0157]在将提取的IDR画面存储在与缓冲器号相对应的最终IDR画面存储单元123a到123η之一中之后，客户机终端100将与过程目标的缓冲器相对应的替代模式标志设置成“假”(步骤S121)。控制单元101可以执行步骤S121中的过程。
[0158]同时，作为步骤SI 19中的确定结果，当IDR定时标志非“真”时(B卩，当IDR定时标志是“假”时)，客户机终端100不执行步骤S120和S121中的过程，而是确定与作为过程目标的缓冲器相对应的替代模式标志是否是“真”(步骤S122)。控制单元101可以执行步骤S122中的确定过程。
[0159]作为步骤S122中的确定结果，当与过程目标缓冲器相对应的替代模式标志是“真”时，客户机终端100针对与该缓冲器相对应的编码流生成P画面的替代画面(步骤S123)。替代画面生成单元108可以执行步骤S123中的过程。这里生成P画面的替代画面的原因将在后面作详细描述，但如下是简单描述。
[0160]此刻替代模式标志是“真”意味着先前IDR画面已经丢失了，并已经执行了生成替代画面的过程。P画面依赖于相同先前GOP中的IDR画面的信息。因此，即使正常接收到P画面，只要生成IDR画面的替代画面，客户机终端100也移除正常接收的P画面，并使用跳过宏块用一个P画面取代该P画面。
[0161]在执行了步骤S121或S123中的过程之后，客户机终端100将在步骤S118中提取的画面或在步骤S123中生成的替代画面发送给流组合单元105 (步骤S124)。替代画面生成单元108可以执行步骤S124中的过程。在步骤S124中将画面发送给流组合单元105之后，客户机终端100开始后面将描述的步骤S130中的过程。
[0162]作为步骤S113中的确定结果，当过程目标缓冲器的头部是空的或存在事先到达的画面时，客户机终端100确定IDR定时标志是否是“真”(步骤S125)。控制单元101可以执行步骤S125中的确定过程。
[0163]作为步骤S125中的确定结果，当IDR定时标志是“真”时，客户机终端100确定IDR画面丢失了，并在替代画面生成单元108中生成作为IDR画面的替代物的替代画面(替代IDR画面)(步骤S126)。
[0164]同时，作为步骤S125中的确定结果，当IDR定时标志非“真”时(B卩，当IDR定时标志是“假”时，客户机终端100确定P画面丢失了，并在替代画面生成单元108中生成作为P画面的替代物的替代画面(替代P画面)(步骤S127)。在替代画面生成单元108中生成替代IDR画面的过程和生成替代P画面的过程的流程将在后面作详细描述。
[0165]在步骤S126或S127中生成替代IDR画面或替代P画面之后，客户机终端100将在步骤S126或S127中生成的替代IDR画面或替代P画面从替代画面生成单元108发送到流组合单元105 (步骤S129)。
[0166]在将替代IDR画面或替代P画面从替代画面生成单元108发送到流组合单元105之后，客户机终端100将缓冲器号加I (步骤S130)。控制单元101可以执行步骤S130中的过程。
[0167]在将缓冲器号加I之后，客户机终端100确定递增的缓冲器号是否小于等于内容项的数量N (步骤S131)。控制单元101可以执行步骤S130中的确定过程。
[0168]作为步骤S131中的确定结果，当递增的缓冲器号小于等于内容项的数量N时，客户机终端100返回到步骤S112中的过程。同时，作为步骤S131中的确定结果，当递增的缓冲器号大于内容项的数量N时，客户机终端100在流组合单元105中执行画面的复合过程(步骤S132)。由于画面的复合过程上面已经描述过，所以这里省略对它详细描述。
[0169]在步骤S132中执行了画面的复合过程之后，客户机终端100确定当前画面是否是GOP的最终画面(步骤S133)。控制单元101可以执行步骤S133中的确定过程。
[0170]作为步骤S133中的确定结果，当当前画面是GOP的最终画面时，客户机终端100将IDR定时标志设置成“真”(步骤S134)。同时，作为步骤S133中的确定结果，当当前画面不是GOP的最终画面时，客户机终端100将IDR定时标志设置成“假”(步骤S135)。控制单元101可以执行步骤S135中的过程。
[0171]在步骤S134或S135中将IDR定时标志设置成“真”或“假”之后，客户机终端100终止复合主过程，并开始步骤S109中的过程(等待下一个复合定时)。
[0172]接着，将描述在替代画面生成单元108中生成替代IDR画面的过程和生成替代P画面的过程的流程。当生成替代IDR画面时，首先，客户机终端100确定最后接收到的IDR画面是否要用作替代IDR画面(步骤S141)。控制单元101可以执行步骤S141中的确定过程。
[0173]作为步骤S141中的确定结果，当最后接收到的IDR画面要用作替代IDR画面时，客户机终端100将存储在最终IDR画面存储单元123a到123η的某一个中的IDR画面返还给流组合单元105作为替代IDR画面(步骤S142)。替代画面生成单元108可以执行步骤S142中的过程。
[0174]同时，作为步骤S141中的确定结果，当最后接收到的IDR画面不用作替代IDR画面时，客户机终端100确定运动图像内容服务器2和3提供的IDR画面是否要用作替代IDR画面(步骤S143)。控制单元101可以执行步骤S143中的确定过程。
[0175]作为步骤S143中的确定结果，当运动图像内容服务器2和3提供的IDR画面要用作替代IDR画面时，客户机终端100将运动图像内容服务器2和3提供的和存储在服务器IDR画面存储单元124a到124η的某一个中的IDR画面返还给流组合单元105作为替代IDR画面(步骤S144)。替代画面生成单元108可以执行步骤S144中的过程。
[0176]同时，作为步骤S143中的确定结果，当运动图像内容服务器2和3提供的IDR画面不用作替代IDR画面时，客户机终端100从具有该目标缓冲器号的画面中获取相应编码流的参数(步骤S145)。控制单元101可以执行步骤S145中的过程。
[0177]在步骤S145中从具有该目标缓冲器号的画面中获取了相应编码流的参数之后，客户机终端100使用所获参数生成给定IDR画面，并将给定IDR画面返还给流组合单元105作为替代IDR画面(步骤S146)。替代画面生成单元108可以执行步骤S146中的过程。
[0178]注意，作为步骤S143中的确定结果，当运动图像内容服务器2和3提供的IDR画面不用作替代IDR画面时，客户机终端100可以将固定IDR画面返还给流组合单元105作为替代IDR画面。
[0179]当生成替代P画面时，首先，客户机终端100从具有该目标缓冲器号的画面中获取相应编码流的参数(步骤S151)。控制单元101可以执行步骤S151中的过程。
[0180]在步骤S151中从具有该目标缓冲器号的画面中获取了相应编码流的参数之后，客户机终端100使用所获参数和使用跳过宏块生成P画面，并将P画面返还给流组合单元105作为替代P画面(步骤S152)。替代画面生成单元108可以执行步骤S152中的过程。
[0181]上面描述了在替代画面生成单元108中生成替代IDR画面的过程和生成替代P画面的过程。
[0182]通过执行上述操作，即使在运动图像内容项的某一个的编码流中丢失了画面，按照本公开的一个实施例的客户机终端100也可以生成替代画面或从运动图像内容服务器2和3获取替代画面，并用从运动图像内容服务器2和3获得的替代画面取代丢失画面，以便进行复合。即使在运动图像内容项的某一个的编码流中丢失了画面，按照本公开的一个实施例的客户机终端100也可以通过用替代画面取代丢失画面进行复合，从而继续进行多个运动图像内容项的同时再现和显示。
[0183]这里，将更详细描述按照本公开的一个实施例的客户机终端100的操作例子。
[0184]图18示出了按照本公开的一个实施例的客户机终端100执行的组合多种编码流的过程。图18示出了当要组合四个运动图像内容项A到D的编码流时，在复合定时未输入运动图像内容项C的编码流的过程。
[0185]当未输入运动图像内容项C的编码流时，客户机终端100将替代画面生成单元108生成的替代画面的画面号PN设置成k，并将替代画面并入假设组合运动图像内容项C的编码流的地方。然后，客户机终端100在流组合单元105中组合并入替代画面的四个运动图像内容项的编码流的切片组。在流组合单元105中组合的一个画面在AVC解码单元106中被解码，用作运动图像内容项A，B和D的像素组、和用作运动图像内容项C的替代物的替代内容项的像素组。
[0186]图19示出了按照本公开的一个实施例的客户机终端100执行的组合多种编码流的过程。与图18的例子一样，图19示出了当要组合四个运动图像内容项A到D的编码流时，在复合定时未输入运动图像内容项C的编码流的过程。
[0187]图19示出了将运动图像内容服务器2和3提供的替代画面用作替代画面的例子。当未输入运动图像内容项C时，客户机终端100将运动图像内容服务器2和3提供的替代画面的画面号设置成k，并将替代画面并入假设组合运动图像内容项C的编码流的地方。
[0188]然后，客户机终端100在流组合单元105中组合并入替代画面的四个运动图像内容项的编码流的切片组。在流组合单元105中组合的一个画面在AVC解码单元106中被解码，用作运动图像内容项A，B和D的像素组、和用作运动图像内容项C的替代物的替代内容项的像素组。
[0189]图20示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。图20示出了当编码流没有画面丢失地到达客户机终端100时，在正常接收的时候编码流的例子。注意，为了便于描述起见，图20只示出了内容缓冲单元104a和104b。
[0190]如图20所示，当编码流没有丢失地正常到达客户机终端100时，客户机终端100从内容缓冲单元104a和104b中逐个提取画面，相互组合IDR画面，并相互组合非IDR画面，从而进行多个运动图像内容项的同时再现和显示。
[0191]当多种接收编码流的至少一种丢失了时，如上所述，客户机终端100准备替代画面，并使用替代画面来组合画面。
[0192]图21示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。图21示出了运动图像内容项B还未到达客户机终端100时编码流的例子。注意，为了便于描述起见，图21只示出了内容缓冲单元104a和104b。并且，显示在图21中的例子对应于显示在图15A中的流程图中的步骤S125到S129中的过程。
[0193]如图21所示，尽管存在运动图像内容项A的IDR画面，但当运动图像内容项B的IDR画面未到达客户机终端100时，假设该IDR画面要与运动图像内容项A的IDR画面组合，则客户机终端100准备来自替代画面生成单元108的替代IDR画面。
[0194]即使一个画面还未到达，客户机终端100也准备来自替代画面生成单元108的替代IDR画面，并将该替代IDR画面与另一种编码流中的画面组合，从而继续进行多个运动图像内容项的同时再现和显示。
[0195]图22示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。图22示出了作为复合目标的画面延迟到达以及假设要在随后复合定时或以后组合的画面事先到达的情况。注意，为了便于描述起见，图22只示出了内容缓冲单元104a和104b。并且，显示在图22中的例子对应于显示在图15A中的流程图中的步骤S125到S129中的过程。
[0196]当使用像用户数据报协议(UDP)那样，生成丢失在网络中的分组的协议时，为了管理实时内容，如图22所示，假设要在随后复合定时或以后组合的画面可能事先到达。
[0197]如图22所示，当复合目标画面延迟到达以及假设要在随后复合定时或以后组合的画面事先到达客户机终端100时，客户机终端100准备来自替代画面生成单元108的替代IDR画面(显示在图22中的例子中的替代IDR画面)。
[0198]即使复合目标画面延迟到达了，客户机终端100也准备来自替代画面生成单元108的替代IDR画面，并将该替代IDR画面与另一种编码流中的画面组合，从而继续进行多个运动图像内容项的同时再现和显示。
[0199]在这样执行了生成替代画面的过程之后，如上所述，在GOP中的IDR画面之后，SP使正常接收到P画面，客户机终端100也移除P画面，并使用跳过宏块用一个P画面取代该P画面。这是因为该P画面依赖于先前IDR画面的信息。
[0200]图23示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。与图22—样，图22示出了因为作为复合目标的画面延迟到达以及假设要在随后复合定时或以后组合的画面事先到达，所以准备替代画面时的例子。显示在图23中的例子对应于显示在图16中的流程图中的步骤S122到S124中的过程。
[0201]如图23所示，客户机终端100移除GOP中的IDR画面之后的P画面，并用替代画面生成单元108使用跳过宏块准备的画面取代该P画面，从而将天然图像与另一个运动图像内容项组合。
[0202]图24示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。图24示出了运动图像内容项B的编码流到达客户机终端100延迟时的例子。注意，为了便于描述起见，图24只示出了内容缓冲单元104a和104b。并且，显示在图24中的例子对应于显示在图15C中的流程图中的步骤S114到S117中的过程。
[0203]如图24所示，当运动图像内容项B的编码流到达客户机终端100延迟时，客户机终端100准备来自替代画面生成单元108的针对运动图像内容项B的替代画面，并将该替代画面与运动图像内容项A的画面组合。即使运动图像内容项B的编码流延迟到达，客户机终端100也准备来自替代画面生成单元108的替代画面，并将该替代画面与另一种编码流中的画面组合，从而继续进行多个运动图像内容项的同时再现和显示。
[0204]这里，当实时分发运动图像内容项B以及准备了延迟到达的画面的替代画面时，如图24所示，客户机终端100移除以后到达的画面，以便保持时间轴。但是，如上所述，由于更自然的是用最近IDR画面取代丢失的随后IDR画面，所以客户机终端100将IDG画面保存在最终IDR画面存储单元123a到123η的某一个中。
[0205]此后，当解决了延迟问题以及对于运动图像内容项A和B，IDR画面能够相互组合以及非IDR画面也能够相互组合时，客户机终端100使用运动图像内容项A和B的编码流中的各自画面重新开始复合过程。图25示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子，并且是使用运动图像内容项A和B的编码流中的各自画面重新开始复合过程的例子。当这样解决了延迟问题时，客户机终端100使用运动图像内容项A和B的编码流中的各自画面重新开始复合过程。
[0206]当分发的运动图像内容不是实时分发的，而是事先累积在运动图像内容服务器2和3中的时，与实时分发运动图像内容的情况不同，客户机终端100不移除画面。这是因为保持内容的连续性比保持时间轴更自然；但是，本公开不局限于这个例子。即使分发的运动图像内容是事先累积在运动图像内容服务器2和3中的，客户机终端100也可以与实时分发运动图像内容的情况一样地移除画面。
[0207]图26示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。图26与显示在图24中的例子一样，示出了运动图像内容项B的编码流到达客户机终端100延迟时的例子。注意，为了便于描述起见，图26只示出了内容缓冲单元104a和104b。并且，显示在图26中的例子对应于显示在图16中的流程图中的步骤S118到S124中的过程。
[0208]即使分发的运动图像内容是事先累积在运动图像内容服务器2和3中的，但当运动图像内容项B的编码流到达客户机终端100延迟时，客户机终端100也准备来自替代画面生成单元108的针对运动图像内容项B的替代画面，并将该替代画面与运动图像内容项A的画面组合。
[0209]并且，在显示在图26中的例子中，即使为以后到达的画面准备了替代画面，客户机终端100也留下，S卩，不移除以后到达的画面。
[0210]此后，当解决了延迟问题以及对于运动图像内容项A和B，IDR画面能够相互组合以及非IDR画面也能够相互组合时，客户机终端100使用运动图像内容项A和B的编码流中的各自画面重新开始复合过程。图27示出了按照本公开的一个实施例的已经到达客户机终端100的编码流的例子。
[0211]这样，按照本公开的一个实施例的客户机终端100可以依照复合目标画面是否是IDR画面或是否实时分发作为复合目标的运动图像内容改变替代画面的生成或到达画面的管理。
[0212]<2.结论〉
[0213]如上所述，按照本公开的实施例，提供了接收和组合多个运动图像内容项的编码流并同时再现多个运动图像内容项的客户机终端100。在接收和组合多个运动图像内容项的编码流的情况下，当编码流之一中的画面丢失时，或当画面延迟时，按照本公开的一个实施例的客户机终端10准备替代画面。
[0214]通过在选成丢失或延迟时准备替代画面，按照本公开的一个实施例的客户机终端10可以避免由于编码流之一中的丢失或延迟而无法复合多种编码流的状况。
[0215]按照本公开的一个实施例的客户机终端10可以将整个黑屏、从网络正常接收的最终IDR画面、描述错误状态的图像等用作替代画面。通过准备这样的替代画面，客户机终端100可以为用户提供最适合的观看环境。
[0216]按照本公开的一个实施例的客户机终端10可以依照所分发内容的性质切换替代画面的过程。通过依照所分发内容的性质切换替代画面的过程，按照本公开的一个实施例的客户机终端10可以在内容的实时性质重要时使信息的延迟最小，而在内容的连续性重要时使息的丢失最少。
[0217]本说明书中设备执行的过程中的步骤未必以描述在顺序图或流程图中的次序按时序执行。例如，设备执行的过程中的步骤可以以与描述在流程图中的次序不同的次序执行，或可以并行地执行。
[0218]并且，可以编写使像CPU、ROM、或RAM那样，并入每个设备中的硬件可以以与上述设备中的结构相似的方式起作用的计算机程序。而且，可以提供含有记录在上面的计算机程序的记录介质。此外，通过将显示在功能框图中的各自功能块配置成硬件，则该硬件可以实现一系列过程。
[0219]尽管参考附图详细描述了本公开的优选实施例，但本公开的技术范围不局限于此。本领域的普通技术人员应该明白，只要在所附权利要求书或其等效物的范围之内，视设计要求和其它因素而定，可以作出各种修改、组合、分组合和变更。
[0220]另外，本技术也可以按如下配置。
[0221](I)
[0222]一种图像处理设备，其包括:
[0223]组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及
[0224]替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息，
[0225]其中该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复入口 O
[0226](2)
[0227]按照(I)所述的图像处理设备，其中该替代信息提供单元包括:
[0228]配置成生成替代信息的替代信息生成单元。
[0229](3)
[0230]按照(2)所述的图像处理设备，其中该替代信息生成单元使用多种编码流生成替代信息。
[0231](4)
[0232]按照(2)所述的图像处理设备，其中该替代信息生成单元使用与该组合单元要组合的编码流不同的编码流生成替代信息。
[0233](5)
[0234]按照(2)到(4)的任何一项所述的图像处理设备，其中该替代信息生成单元针对能够单独编码的画面，使用多种编码流生成替代信息。
[0235](6)
[0236]按照(I)到(5)的任何一项所述的图像处理设备，其中该替代信息提供单元从分发编码流的设备中获取替代信息。
[0237](7)
[0238]按照(2)到(6)的任何一项所述的图像处理设备，其中该组合单元依照编码流的类型，改变如何在选成丢失时及之后管理流中的信息。
[0239](8)
[0240]按照(7)所述的图像处理设备，其中该组合单元在信息延迟到达时，移除与该组合单元检测的丢失相对应的信息。
[0241](9)
[0242]按照(7)所述的图像处理设备，其中该替代信息生成单元在信息延迟到达时，使用与该组合单元检测的丢失相对应的信息生成替代信息。
[0243](10)
[0244]按照(2)到(7)的任何一项所述的图像处理设备，其中该替代信息生成单元将跳过宏块用作不能单独编码的画面的替代信息。
[0245](11)
[0246]一种图像处理方法，其包括:
[0247]在解码编码流之前组合多种编码流；
[0248]在多种编码流中检测信息的丢失；以及
[0249]当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息，
[0250]其中在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。
[0251](12)
[0252]一种使计算机执行如下步骤的计算机程序:
[0253]在解码编码流之前组合多种编码流；
[0254]在多种编码流中检测信息的丢失；以及
[0255]当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息，
[0256]其中在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。
【权利要求】
1.一种图像处理设备，其包含: 组合单元，被配置成在解码编码流之前组合多种编码流和在多种编码流中检测信息的丢失；以及 替代信息提供单元，被配置成当该组合单元检测到丢失时，向该组合单元提供用作该丢失的替代物的替代信息， 其中该组合单元通过用替代信息取代多种编码流中包括信息丢失的部分进行复合。
2.按照权利要求1所述的图像处理设备，其中该替代信息提供单元包括: 配置成生成替代信息的替代信息生成单元。
3.按照权利要求2所述的图像处理设备，其中该替代信息生成单元使用多种编码流生成替代信息。
4.按照权利要求2所述的图像处理设备，其中该替代信息生成单元使用与该组合单元要组合的编码流不同的编码流生成替代信息。
5.按照权利要求2所述的图像处理设备，其中该替代信息生成单元针对能够单独编码的画面，使用多种编码流生成替代信息。
6.按照权利要求1所述的图像处理设备，其中该替代信息提供单元从分发编码流的设备中获取替代信息。
7.按照权利要求2所述的图像处理设备，其中该组合单元依照编码流的类型，改变如何在选成丢失时及之后管理流中的信息。
8.按照权利要求7所述的图像处理设备，其中该组合单元在信息延迟到达时，移除与该组合单元检测的丢失相对应的信息。
9.按照权利要求7所述的图像处理设备，其中该替代信息生成单元在信息延迟到达时，使用与该组合单元检测的丢失相对应的信息生成替代信息。
10.按照权利要求2所述的图像处理设备，其中该替代信息生成单元将跳过宏块用作不能单独编码的画面的替代信息。
11.一种图像处理方法，其包含: 在解码编码流之前组合多种编码流； 在多种编码流中检测息的丢失；以及 当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息， 其中在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复口 O
12.—种使计算机执行如下步骤的计算机程序: 在解码编码流之前组合多种编码流； 在多种编码流中检测息的丢失；以及 当在检测步骤中检测到丢失时，提供用作该丢失的替代物的替代信息， 其中在组合步骤中，通过用替代信息取代多种编码流中包括信息丢失的部分进行复入口 ο
【文档编号】H04N19/174GK104079975SQ201410102497
【公开日】2014年10月1日 申请日期:2014年3月19日 优先权日:2013年3月26日
【发明者】栗原邦彰 申请人:索尼公司