数据处理装置、数据处理方法、程序、记录介质以及数据处理系统的制作方法
【技术领域】
[0001]本发明涉及一种数据处理装置、数据处理方法、程序、记录介质以及数据处理系统。
【背景技术】
[0002]近年来，随着以MPEG(Moving Picture Experts Group:动态图像专家组)_4为首的运动图像编码技术的革新、通信技术的发展，能够将高精细的影像传输至便携式终端等客户终端。例如，还进行如下处理:在将合并多个影像编码比特流(以下称为“视频流”)而成的单个流(以下称为“合并流”)与音频流、同步再现信息等控制信息、传输用头部信息等进行多路复用之后，从服务器发送至客户终端。
[0003]在服务器侧将多个视频流合并来生成合并流并将该合并流作为多路复用流来发送，由此，在接收装置侧，无需在接收多个视频流时与服务器侧取得同步。另外，在想要将多个图像同时显示在显示画面的各个分割区域的位置的情况下，也无需将解码处理和显示处理同时进行、或者无需在多个图像之间相互取得显示的同步。因而，不仅能够通过处理能力高的计算机，通过便携式终端、嵌入式设备等各种类型的接收装置也能够容易地进行视频流的解码及显示。
[0004]例如在专利文献I中记载了以下内容:将合并多个视频流而得到的单个流从服务器发送至客户终端。
[0005]专利文献1:日本特开2011-24018号公报
【发明内容】
[0006]发明要解决的问题
[0007]另外，一般来说，视频流是如上述那样作为多路复用流来传输的。作为多路复用流的文件格式，广泛使用用于广播、通信的MPEG-2TS(Transport Stream:传输流)、用于存储的MPEG-2PS(Program Stream:节目流)、MP4文件格式。在近年来盛行起来的经由因特网的动态图像传送服务中，一般采用MP4文件格式。
[0008]MP4文件格式本来是为了将视频流、音频流保存为文件而规定的文件格式，通常在文件的开头配置头部(header)。在头部内，包含构成视频流的各图片(picture)在文件内的位置信息、各图片的数据大小(代码量)的信息等。
[0009]因而，在如专利文献I所记载的技术那样合并多个视频流来生成单个流及其头部的情况下，需要在进行多路复用处理之前先通过将多个视频流合并来生成合并视频流。这是因为，若不实际尝试生成合并视频流，则不清楚构成视频流的各图片在文件内的位置的信息、各图片的代码量等应该包含于头部的信息。
[0010]在合并视频流的生成处理中，首先进行以下处理:从多个视频流中抽出作为合并对象的图片的图片数据部分。然而，若不尝试将视频流从其开头解析到末尾，则不知道图片数据存在于视频流中的什么位置。因而，首先进行视频流的解析，之后进行提取图片数据的处理。之后，将以下处理进行与所需的合并图片的张数相应的次数:将抽出的多个图片数据部分合并来生成一张合并图片。由于要经过这样的处理，因此合并视频流的生成处理需要非常长的时间。
[0011]在以往的方法中，必须在像这样需要长的处理时间的合并视频流的生成处理结束之后，才能生成多路复用流的头部。即，从要求生成多路复用流起至开始生成多路复用流的头部为止的时间非常长。在视频流本身的数据量或合并视频流的数据量多的情况下，该延迟变得更加明显。
[0012]本发明是鉴于所述问题而完成的，其目的在于能够更提前开始生成多路复用流的头部O
[0013]用于解决问题的方案
[0014]本发明的数据处理装置为具备数据大小计算部、头部生成部、合并视频流生成部以及多路复用流输出部的结构，各部的结构和功能如下。即，数据大小计算部假定将第一帧与第二帧合并，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。然后，计算在该情况下最终生成的合并帧的数据大小。头部生成部使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。合并视频流生成部生成合并视频流。多路复用流输出部进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。
[0015]另外，本发明的数据处理方法首先假定将第一帧与第二帧合并，其中，该第一帧是以合并对象的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的规定的帧。然后，计算在该情况下生成的合并帧的数据大小。接着，使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。接着，生成合并视频流。接着，进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。
[0016]另外，本发明的程序是使计算机实现以下的处理过程(a)?(d)的程序。
[0017](a)计算在假定将第一帧与第二帧合并的情况下生成的合并帧的数据大小的过程，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。
[0018](b)使用合并帧的数据大小的信息来生成多路复用流的头部的过程，该多路复用流是包括由合并帧构成的合并视频流的流。
[0019](C)生成合并视频流的过程。
[0020](d)进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理的过程。
[0021]另外，在本发明的记录介质中记录有用于使计算机实现(a)?(d)的处理过程的程序。
[0022]另外，本发明的数据处理系统为具备数据大小计算装置、头部生成装置、合并视频流生成装置以及多路复用流输出装置的结构，各装置的结构和功能如下。数据大小计算装置假定将第一帧与第二帧合并，其中，该第一帧是以规定的编码方式对第一影像信号进行编码而成的第一视频流内的合并对象的帧，该第二帧是与第一视频流不同的第二视频流内的合并对象的帧。然后，计算在该情况下生成的合并帧的数据大小。头部生成装置使用合并帧的数据大小的信息来生成多路复用流的头部，该多路复用流是包括由合并帧构成的合并视频流的流。合并视频流生成装置生成合并视频流。多路复用流输出装置进行多路复用流的头部的输出处理、或者进行输出包括合并视频流的多路复用流的处理。
[0023]发明的效果
[0024]根据本发明，不是实际合并多个视频流，而是计算在将多个视频流合并的情况下得到的合并帧的数据大小，使用通过计算所得出的合并帧的数据大小的信息来生成多路复用流的头部。因而，与在实际生成合并帧之后生成多路复用流的头部的以往的方式相比，能够更提前开始生成多路复用流的头部。
【附图说明】
[0025]图1是表示本发明的第一实施方式所涉及的数据处理装置的结构例的框图。
[0026]图2是表示本发明的第一实施方式所涉及的合并视频流的结构例的说明图。
[0027]图3是表示本发明的第一实施方式所涉及的合并对象的视频流的结构例以及合并视频流的结构例的说明图。
[0028]图4是表示本发明的第一实施方式所涉及的视频流的结构例的说明图。
[0029]图5是表示本发明的第一实施方式所涉及的多路复用流的结构例的说明图。
[0030]图6是表示本发明的第一实施方式所涉及的多路复用流的数据结构的例子的说明图。
[0031]图7是表示本发明的第一实施方式所涉及的多路复用流的头部内的stsz箱(box)的结构例的说明图。
[0032]图8是表示本发明的第一实施方式所涉及的多路复用流的头部内的Stco箱的结构例的说明图。
[0033]图9是表示本发明的第一实施方式所涉及的数据处理装置的处理的一例的流程图。
[0034]图1OA是表示本发明的第一实施方式所涉及的多路复用流的生成处理的流程图，图1OB是表示本发明的第一实施方式所涉及的多路复用流用头部的生成处理的一例的流程图。
[0035]图11是表示本发明的第二实施方式所涉及的数据处理装置的结构例的框图。
[0036]图12是表示本发明的第二实施方式所涉及的数据处理装置的处理的一例的流程图。
[0037]图13是表示本发明的第二实施方式所涉及的数据处理装置的处理的一例的流程图。
[0038]图14是表示本发明的第三实施方式所涉及的数据处理系统的结构例的框图。
[0039]图15是表示本发明的第三实施方式所涉及的数据处理系统的处理的一例的流程图。
[0040]图16是表示本发明的第三实施方式所涉及的数据处理系统的处理的一例的流程图。
【具体实施方式】
[0041]本发明在利用多个视频流(视频信号)创建合并视频流、并将合并视频流与头部信息一起进行多路复用的情况下，在进行处理量最多的视频流的合并处理之前预先创建头部。由此，能够实现流式传输(传输)开始时刻的低延迟化。另外，在本发明中，无需将临时合并的视频流保管在存储器等。因此，本发明无需进行成为信号处理延迟的最大瓶颈的向存储器、盘等的写入处理。
[0042]在此，从原理上来说，若没有作为多路复用对象的“包括多个视频流的合并视频流”，则不可能在视频流的合并处理之前创建“头部”。这是因为，在头部中包含“包括多个视频流的合并视频流”中所包含的各合并图片的代码量信息(例如，MP4格式中的stsz箱)、关于该合并图片位于最终的“多路复用流内”的何处的信息(例如，MP4格式中的Stco箱)，需要“先(合并前)”知道这些信息。
[0043]在以往，原本就没有“包括多个视频流的合并视频流”这样的概念(要求)。这是因为，“单个视频流”存在于传送服务器内(本地)，手头上有构成上述头部的信息。另外，如果原本就是以传输多路复用的视频流为目的来准备文件，则一般在事前创建保存有多路复用的视频流的MP4格式等的文件(YouTube(注册商标)等)。因此，无需动态地创建这种格式的流。
[0044]但是，关于在本发明中作为对象的“包括多个视频流的合并视频流”而言，动态地存在来自用户(视听者)等的视听要求，之后才决定作为合并对象的视频流。因此，事前不存在作为多路复用对象的“包括多个视频流的合并视频流”，其结果，手头上不存在构成上述头部的信息(素材信息)。
[0045]因此，如何在获得“包括多个视频流的合并视频流”之前获取构成不存在的头部的“素材信息”是最大的课题。针对该课题，在本发明中，使得能够依赖于“合并算法(编码方式)”来对该头部的大小等进行预先估计(预测)计算。
[0046]在合并算法中，被压缩的代码的修正、追加、修正宏块代码的插入等各种处理是在“压缩空间”内或“非压缩空间”中进行的。在合并算法明确的情况下，能够“事前”估计出“包括多个视频流的合并视频流”的各合并图片的代码量。在此，“事前”归根结底是指作为合并对象的多个视频流被确定之后。
[0047]此外，关于该“合并算法”，在本发明人们提出的日本专利第5089658号、日本特开2013-93656号公报、日本特开2013-98596号公报中已经公开。能够应用这些“合并算法”或其它算法来估计头部的大小等。在本发明中，关于合并算法、其它算法的种类没有限定。
[0048]由此，明确合并视频流的各合并图片的代码量，因此能够“事前”创建作为头部内的第一个信息的代码量信息(例如stsz箱)。
[0049]另一方面，如何创建表示合并图片位于最终的“多路复用流内”的何处的信息(例如Stco箱)也是课题。作为该“表示位于何处的信息”，需要描述从最终的多路复用流的开头起的偏移位置。但是，在MP4格式等由“头部部分+媒体部分(header part+media part)”构成的多路复用流中存在以下