信息处理设备、信息处理方法和程序的制作方法

专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理设备、信息处理方法和程序。更具体而言，本发明涉及信息处 理设备、信息处理方法和程序，其中当多个数据流是多路复用的并作为多路复用视频帧传 输时，可以传输与多路复用视频帧中的数据流的布置位置相关的信息以及与数据流的格式 相关的信息。
背景技术：
对诸如时钟、水平同步信号和竖直同步信号之类的定时信号以及影像数据进行传 输所用的单向传输协议被称为“视频接口”。电影及电视工程师学会(SMPTE) 125M和SMPTE 274M是视频接口的典型示例。视频接口的其他示例包括添加数据能力信号的协议(例如交互(DVI)/视频电子 标准协会(VESA))，其中使视频数据串行化的协议(例如高解析度多媒体接口(HDMI))，以 及其中将定时信息进一步多路复用到数据线中的协议(例如SMPTE 259M和SMPTE 292M)。此后，如合适，将经由视频接口传输的信号的组称为“视频信号”，并将视频接口的 输入针和输出针的组称为“视频端口”。视频端口带宽视频端口稳定地提供了较宽的带宽和有效的速度。例如，24比特HD(在30帧每 秒(fps)的情况下1920X1080)视频端口确保了以1920X1080X30像素每秒=186兆字 节每秒(MB/s)的速率进行稳定的数据传输。由于显示解析度的提高、广播质量从标准解析度(SD) (720X480)转变为高解析 度(HD) (1920X1080)、显示器的显示性能的多样性(480i/480p/1080i/720p/1080p)、以及 其他原因，近年来视频端口带宽迅速地增大。在当前情况下，HD (30fps下1920X1080)和 极速扩展图形阵列(WUXGA) (60fps下1920X1200)带宽已经成为通常可获得。多信道视频和音频近年来的音频视讯装置可以处理多路视频/音频信号。例如，家用数字记录器可以处理输出系统的数据，其包括不具有菜单或向导的视频的输出(视频输出)具有菜单或向导的视频的输出(监视输出)通过对来自天线的比特流进行解码获得的视频的输出(解码输出)。此外，还存在对于在视频处理中使用的专业装置的需求，在许多情况下，该专业装 置能够对输出系统的数据进行处理并且输出，其包括标准视频的输出(节目输出、视频输出)叠加视频的输出(监视输出)数秒之前的画面的视频(先前输出)要在外部显示器上显示的屏幕装置显示器上的显示。
5
具体而言，在视频处理中使用的专业装置中处理的数据可以包含各种显示尺寸以 及各种帧频率(刷新率)(例如SD/HD,4:2:2/4:4:4, RGB/YcbCr,隔行或逐行)的数据。还存在对于能够同时将多路视频流输入至处理器(例如同时输入和同时记录不 同格式的异步视频信号，在同时输入它们的情况下切换视频信号，或者在切换它们时处理 或修改视频信号并合成得到的信号)的输入系统的需求。配属于视频的音频的信道数量也 显著增加，例如5. lch, 7. lch, 9. Ich,以及在多个信道之间的多种语言。因此，要求音频视讯装置的处理器能够同时输入或输出多个视频流和多个音频 流。例如，日本未经审查的专利申请公开号2009-71701揭示了一种技术，该技术用于 使具有多个格式的输入视频数据多路复用以产生多路复用视频帧的数据(该多路复用视 频帧是具有较大屏幕尺寸的视频帧)，并用于将多路复用视频帧的数据从处理器的视频端 口输入至处理器。日本未经审查的专利申请号2009-71701还描述了，从多路复用视频帧提取的各 格式的视频数据由处理器处理，并且经处理的各格式的视频数据由处理器再次多路复用成 为多路复用视频帧。经处理的各格式的视频数据根据从处理器的视频端口输出的多路复用 视频帧来提取得到，并被输出至设备外部。日本未经审查的专利申请号2006-236056是现有技术的另一个示例。

发明内容
日本未经审查的专利申请号2009-71701中描述的技术会涉及预先将多路复用视 频数据帧中各格式的视频数据的多路复用位置相关的信息在位于输入侧的电路与处理器 之间以及在处理器与位于输出侧的电路之间进行匹配。在已经从位于输入侧的电路接收到 通过对各格式的视频数据进行多路复用获得的多路复用视频帧的处理器中，或者在已经从 处理器接收到多路复用视频帧的位于输出侧的电路中，基于与多路复用位置相关的信息来 提取数据。与多路复用位置相关的信息包括诸如表示视频数据的哪个信道(流)以及视频数 据配属于多路复用视频帧中的哪个位置之类的信息。可以影响数据阵列的视频信号的格式也预先在位于输入侧的电路与处理器之间 以及在处理器与位于输出侧的电路之间确定。因此，在多路复用视频帧中各格式的视频数据的多路复用位置是固定的，并且不 容易改变多路复用位置以支援各信号的传输。此外，能够处理的视频数据的格式受到限制，因此位于输入侧的电路难以基于从 外部输入的信号来自动地判别视频信号的有无或类型以因此改变多路复用视频真的结构。因此，在将多个数据流作为多路复用视频帧的数据来多路复用化并进行传输时， 期望传输与多路复用视频帧中的数据流的布置位置相关的信息，以及与数据流的格式相关 的信息。此外，在日本未经审查的专利申请号2009-71701中描述的技术不允许已经获得 了利用来自位于输入侧的电路或位于输出侧的电路(其以及从处理器获得了数据)的多路 复用视频帧而多路复用的数据的处理器判定所获得的数据的连续性和可靠性。
例如，即使视频输入的部分已经不能在位于输入侧的电路中的接收电路中同步， 已经接收了数据输入的处理器仍难以判定哪个视频输入已经不能被同步。此外，即使在位于输入侧的电路中某个帧丢失并且替代地已经将不同的帧插入多 路复用视频帧，则已经接收到数据输入的处理器会判定为帧的连续性得到维持并且会执行处理。如上所述，经处理的各格式的视频数据在处理器中被再次多路复用。但是，即使由 于处理器的处理延迟导致至此再次多路复用操作尚未完成，则位于输出侧的电路难以对该 未完成的多路复用进行判定。因为其中各数据流被多路复用的多路复用视频帧周期性地从 位于输入侧的电路输入，所以处理器在输入下一个多路复用视频帧时的时刻之前执行对一 个多路复用视频帧的处理。因此，在将多个数据流作为多路复用视频帧的数据来多路复用化并进行传输时， 期望传输至少与各数据流的连续性相关的信息。根据本发明的实施例，一种信息处理设备包括以下元件。产生装置，其用于产生多 路复用视频帧，并用于将第一信息插入到所述多路复用视频帧中，所述多路复用视频帧是 具有预定屏幕尺寸的视频帧，并且所述第一信息是与所述多路复用视频帧的构造相关的信 息。第一多路复用装置，其用于将输入视频数据中包括的一个帧布置在所述多路复用视频 帧中，用于将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置位置相 对应的数据进行传输，并用于将第二信息和第三信息插入到在多路复用之后获得的多路复 用视频帧中，所述第二信息是与所述帧的布置位置相关的信息，所述第三信息是与所述视 频数据的格式相关的信息。处理装置，其用于根据所述第一信息、所述第二信息和所述第三 信息提取在多路复用之后获得的所述多路复用视频帧中被多路复用的帧的数据，并用于执 行对所提取的所述数据的处理，其中在多路复用之后获得的所述多路复用视频帧从所述处 理装置的输入视频端口输入所述处理装置。信息处理设备还可包括以下元件。划分装置，其用于按照从所输入的音频数据的 起始样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所 述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本。第二多路复用装置，其 用于将通过所述划分装置进行的划分获得的各个所述音频数据项布置在所述多路复用视 频帧中，用于将所述音频数据项多路复用以作为所述多路复用视频帧的与所述音频数据项 的布置位置相对应的数据进行传输，并用于将第四信息、第五信息和第六信息插入到所述 多路复用视频帧中，所述第四信息是表示所述音频数据项中包括的样本数的信息，所述第 五信息是与所述音频数据项的布置位置相关的信息，所述第六信息是与所述音频数据的格 式相关的信息。所述处理装置可被构造为根据所述第一信息、所述第四信息、所述第五信息 和所述第六信息提取在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划 分获得的所述音频数据项，并执行对提取的所述数据项的处理。第一多路复用装置可被构造为将所述视频数据的多个格式中的每个格式的一个 帧划分为各个线来将所述帧布置在所述多路复用视频帧中，使得以所述帧的各个线不连续 的方式将同一所述帧的各个线从下到上地布置在设置于所述多路复用视频帧中的第一视 频区域中，并将所述多个格式的所述帧的数据多路复用。第二多路复用装置可被构造为将通过划分获得的所述音频数据项多路复用以作为设置在所述多路复用视频帧的第一视频区域下方的第一音频区域中的数据进行传输。所述处理装置可被构造为将在处理之后获得的各个格式的所述帧中的每个帧划 分为各个线，将所述各个帧布置在所述多路复用视频帧中，使得以所述帧的各个线不连续 的方式将同一帧的各个线从上到下地布置在设置于所述多路复用视频帧中的第二视频区 域中，并将所述帧多路复用以作为所述多路复用视频帧的与所述帧的布置位置相对应的数 据进行传输。所述处理装置还可被构造为将在处理之后获得的、通过划分获得的所述音频 数据项多路复用以作为设置在所述多路复用视频帧的所述第二视频区域上方的第二音频 区域中的数据进行传输，并且所述处理装置从所述处理装置的输出视频端口输出其中传输 了处理之后获得的数据的多路复用视频帧。信息处理设备还可包括以下元件。第一提取装置，其用于根据所述第一信息、所述 第二信息和所述第三信息，从由所述处理装置输出的所述多路复用视频帧提取各格式的各 个所述帧的数据。第一发送装置，其用于将所提取的所述各格式的各个所述帧的数据在基 于所述第三信息执行了与所述格式相对应的处理之后输出至外部。信息处理设备还可包括以下元件。第二提取装置，其用于根据所述第一信息、所述 第四信息、所述第五信息和所述第六信息，从由所述处理装置输出的所述多路复用视频帧 提取通过划分获得所述音频数据项。第二发送装置，其用于基于所述第六信息对通过划分 获得的所提取的所述音频数据项执行与所述格式相对应的处理，并用于将已经执行了所述 处理的、通过划分得到的所述音频数据项按照从所述音频数据项的起始样本开始的顺序输 出至外部。根据本发明的另一实施例，一种信息处理方法包括以下步骤产生多路复用视频 帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；将第一信息插入到所述多路复用 视频帧中，所述第一信息是与所述多路复用视频帧的构造相关的信息；将输入视频数据中 包括的一个帧布置在所述多路视频帧中；将所述帧的数据多路复用以作为所述多路复用视 频帧的与所述帧的布置位置相对应的数据进行传输；将第二信息和第三信息插入到在多路 复用之后获得的多路复用视频帧中，所述第二信息是与所述帧的布置位置相关的信息，所 述第三信息是与所述视频数据的格式相关的信息；用于根据所述第一信息、所述第二信息 和所述第三信息提取在多路复用之后获得的所述多路复用视频帧中被多路复用的帧的数 据，在多路复用之后获得的所述多路复用视频帧从输入视频端口输入；并且执行对所提取 的所述数据的处理。根据本发明的另一实施例，一种程序使得计算机执行包括以下步骤的处理产生 多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；将第一信息插入到 所述多路复用视频帧中，所述第一信息是与所述多路复用视频帧的构造相关的信息；将输 入视频数据中包括的一个帧布置在所述多路视频帧中；将所述帧的数据多路复用以作为所 述多路复用视频帧的与所述帧的布置位置相对应的数据进行传输；将第二信息和第三信息 插入到在多路复用之后获得的多路复用视频帧中，所述第二信息是与所述帧的布置位置相 关的信息，所述第三信息是与所述视频数据的格式相关的信息；根据所述第一信息、所述第 二信息和所述第三信息提取在多路复用之后获得的所述多路复用视频帧中被多路复用的 帧的数据，在多路复用之后获得的所述多路复用视频帧从输入视频端口输入；并且执行对 所提取的所述数据的处理。
在本发明的实施例中，产生多路复用视频帧，所述多路复用视频帧是具有预定屏 幕尺寸的视频帧；并且将第一信息插入到所述多路复用视频帧中，所述第一信息是与所述 多路复用视频帧的构造相关的信息。此外，将输入视频数据中包括的一个帧布置在所述多 路视频帧中；并且将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置 位置相对应的数据进行传输。此外，将第二信息和第三信息插入到在多路复用之后获得的 多路复用视频帧中，所述第二信息是与所述帧的布置位置相关的信息，所述第三信息是与 所述视频数据的格式相关的信息。此外，根据所述第一信息、所述第二信息和所述第三信 息提取在多路复用之后获得的所述多路复用视频帧中被多路复用的帧的数据，在多路复用 之后获得的所述多路复用视频帧从输入视频端口输入；并且执行对所提取的所述数据的处 理。根据本发明的实施例，当多个数据流被多路复用并被传输作为多路利用视频帧的 数据时，可以传输与多路复用视频帧中的各个数据流的布置位置相关的信息以及与各个数 据流的格式相关的信息。根据本发明的另一实施例，当多个数据流被多路复用并被传输为作多路复用视频 帧的数据时，可以传输至少与各个数据流的连续性相关的信息。


图1是图示根据本发明的实施例的信息处理设备的示例构造的框图；图2是图示被截取出的音频样本的示例的图；图3是图示多路复用视频帧的示例的图；图4是图示在多路复用之后获得的多路复用视频帧的示例的图；图5是图示多路复用视频帧的视频信号的示例的图；图6是图示视频接口的示意图；图7是图示视频信号的波形的示例的图；图8是详细图示由图7中的实线箭头所表示的范围内的波形的图；图9是图示多路复用帧布置信息的示例的图；图10是在图9之后图示多路复用帧布置信息的示例的图；图11是图示信息处理设备的处理的流程图；图12是图示图11的步骤Sl中执行的视频接收处理的流程图；图13是图示在图11的步骤S2中执行的音频接收处理的流程图；图14是图示在图11的步骤S5中执行的多路复用处理的流程图；图15是图示在图11的步骤S7中执行的提取处理的流程图；图16是图示在图11的步骤S9中执行的音频输出处理的流程图；图17是在图11的步骤SlO中执行的视频输出处理的流程图；图18是图示多路复用帧状态信息的示例的图；图19是图示信息处理设备的处理的流程图；图20是图示图19的步骤SlOl中执行的视频接收处理的流程图；图21是图示在图19的步骤S102中执行的音频接收处理的流程图；图22是图示在图19的步骤S104中执行的多路复用处理的流程图23是图示在图19的步骤S107中执行的提取处理的流程图；图M是图示在图19的步骤S108中执行的音频输出处理的流程图；图25是图示在图19的步骤S109中执行的视频输出处理的流程图；图沈是图示多路复用视频帧的示例的图；图27是图示多路复用视频帧的另一示例的图；图28是图示信息处理设备的另一示例构造的框图；图四是图示用于输入的多路复用视频帧的区域构造的图；图30是图示要被多路复用的视频帧的示例；图31是图示其中数据从下向上插入的多路复用视频帧的示例；图32是图示从下向上布置的优点的示例的图；图33是图示用于输出的多路复用视频帧的区域构造的示例的图；图34是图示其中数据从上至下输入的多路复用视频帧的示例的图；图35是图示从上至下布置的优点的图；并且图36是图示计算机的示例的框图。
具体实施例方式信息处理设备的总体构造图1是图示根据本发明的实施例的信息处理设备1的示例构造的框图。信息处理设备1可以是被配置为使用具有单输入单输出视频端口的处理器43来 对视频数据流和音频数据流这两个流进行处理并将视频数据流和音频数据流这两个流输 出的装置。从外部供应的视频流#1的视频信号与同步信号一起被输入至视频接收电路 21-1，并且视频流#2的视频信号与同步信号一起被输入至视频接收电路21-2。视频流#1和#2可以具有相同的格式或不同的格式，例如解析度、帧率、扫描协议、 传输协议、以及压缩协议。视频流#1和#2的帧的输入定时可以不一定彼此同步。从外部供应的音频流#1的音频信号被输入至音频接收电路31-1，并且音频流#2 的音频信号被输入至音频接收电路31-2。音频信号可以例如三线音频(其具有时钟信号、 数据信号、以及表示采样频率的信号)的模式被输入至音频接收电路31-1和31-2。音频流#1和#2也可以具有相同的格式或不同的格式，例如采用频率、比特数、以 及信道数。此外，音频流#1和#2的输入定时可以不一定彼此同步。音频可以配属于视频， 或者可以与视频相独立。视频接收电路21-1包括线缆均衡器、并行器、各种解码器、4:2:2/4:4:4解码器、 模拟/数字(A/D)转换器、以及任意其他合适装置。视频接收电路21-1对输入视频信号执 行诸如A/D转换之类的各种处理，并产生视频流#1的视频信号的帧数据。视频接收电路21-1还获得作为配属于视频流#1的帧数据的信息进行传输的辅助 数据。辅助数据是使用视频空白时段(video blanking period)进行传输的数据。辅助数 据包括诸如时间码(timecode)、视频索引(video index)、以及封闭字幕之类的非影像数据 fn息ο视频接收电路21-1向帧同步器22-1输出所产生的帧数据、辅助数据以及与视频流#1相关的视频格式信息。视频格式信息是与视频信号的格式相关的信息，并被包括在下 述的多路复用帧布置信息中。以下将描述包括在多路复用帧布置信息中的信息(例如视频 格式信息)。帧同步器22-1使得多个视频流之间的帧的定时同步，并使从视频接收电路21-1 供应的一个帧的数据存储在帧存储器23-1中。帧同步器22-1还使从视频接收电路21-1 供应的视频流#1的辅助数据及视频格式信息存储在帧存储器23-1中。根据来自多路复用电路42-1的请求，帧同步器22-1从帧存储器23_1读取数据， 并输出该数据。关于实施，如果具有不同频率的时钟被用作视频接收电路21-1、帧同步器22-1和 多路复用电路42-1的工作时钟，则在视频接收电路21-1与帧同步器22-1之间以及在帧同 步器22-1与多路复用电路42-1之间设置诸如双端口随机存取存储器(RAM)之类的先入先 出机制(FIFO)。通过FIFO的数据被可靠地发送和接收。此外，可以减少存储器存取期间数
据率偏差。FIFO也可以被适当地设置在视频接收电路21-2与帧同步器22-2之间以及影像传 感器22与多路复用电路42-2之间。同样在用于处理音频数据的构造中，FIFO可以被适当 地设置在音频接收电路31-1与存储器控制电路32-1之间，存储器控制电路32-1与多路复 用电路42-3之间，以及存储器控制电路32-2与多路复用电路42-4之间。这里，不保证视频流#1的输入视频信号的帧频率和如下所述多路复用视频信号 的帧频率一致。帧同步器22-1通过将存储在帧存储器23-1中的视频数据冗余地供应至多 路复用电路42-1 (连续供应相同帧的数据)或通过跳过数据的读取，来吸收帧频率之间的 差异。视频流#1的视频信号的帧频率和多路复用视频信号的帧频率之间的一致化在日本 未经审查的专利申请公开号2009-71701中描述。与视频接收电路21-1相似，视频接收电路21-2对输入视频信号执行各种处理，并 产生视频流#2的帧数据。视频接收电路21-2还获得视频流#2的辅助数据。视频接收电路21-2将所产生的帧数据、辅助数据和与视频流#2相关的视频格式 信息输出至帧同步器22-2。与帧同步器22-1相似，帧同步器22-2使各个视频信号流之间的帧定时同步，并使 得从视频接收电路21-2供应的帧数据存储在帧存储器23-2中。帧同步器22-2还使得从视 频接收电路21-2供应的辅助数据和与视频流#2相关的视频格式信息存储在帧存储器23-2中。根据来自多路复用电路42-2的请求，帧同步器22-2从帧存储器23_2读取数据， 并输出数据。帧同步器22-2还根据需要冗余地读取存储在帧存储器23-2中的帧数据或跳 过读取。音频接收电路31-1对输入音频信号执行各种处理，例如A/D转换、采样率转换、以 及串行/并行(S/P)转换，并产生音频流#1的音频数据。所产生的音频数据由音频样本的 时间序列构成。音频接收电路31-1将音频流#1的音频数据划分(截取)为音频数据项，每个所 述音频数据项具有在与多路复用视频帧的一个帧时段对应的时段期间输入的样本。音频接 收电路31-1还将得到的音频样本数据项与样本数信息(其是表示其音频样本的数量的信
11息)一起输出至存储器控制电路32-1。表示多路复用视频帧的一个帧时段的同步信号从多 路复用视频信号产生电路41供应至音频接收电路31-1。多路复用视频帧将在下文描述。图2是图示被截取的音频样本的示例。在图2中，横轴表示时间，时间轴上的实线表示音频样本。在图2的示例中，从多 路复用视频信号产生电路41供应的同步信号(竖直同步信号)界定了时段T1(其是从时刻 、到时刻t2的时间段)和时段T2(其是从时刻t2到时刻t3的时间段)中的每个均是多路 复用视频帧的一个帧时段。音频接收电路31-1对时段T1期间输入的音频样本的数量进行计数，并在时刻t2 的定时截取在时段T1期间输入的音频样本。音频接收电路31-1将截取的音频样本的数据 作为要在时段T1期间被多路复用到从多路复用视频信号产生电路41输出的多路复用视频 帧中的数据，与样本数信息一起输出至存储器控制电路32-1。相似地，音频接收电路31-1截取时段T2期间输入的音频样本，并将截取的音频样 本的数据作为要在时段T2期间被多路复用到从多路复用视频信号产生电路41输出的多路 复用视频帧中的数据，与样本数信息一起输出。对音频数据的处理与对视频数据的处理的不同之处在于不使用同步器功能。在原 理方面，不不允许音频数据的冗余或丢弃。因此，在音频接收电路31-1中，基于多路复用视 频帧的同步信号，在一个帧时段期间输入的音频样本被原样截取作为要被多路复用到一个 多路复用视频帧中的音频数据。如果音频数据的采样频率不是多路复用视频帧的帧频率的整数倍，则会在一个帧 时段期间输入至音频接收电路31-1的音频样本的数量方面产生变化。样本数信息也被多 路复用至多路复用视频帧中，从而使得已经接收了多路复用视频帧的处理器43等能够判 断已经被多路复用在多路复用视频帧中的音频样本的数量。再参照图1，音频接收电路31-1还将与音频流#1相关的音频格式信息输出至存储 器控制电路32-1。音频格式信息是与音频信号的格式相关的信息，并被包括在多路复用帧 布置信息中。存储器控制电路32-1使得从音频接收电路31-1供应的音频样本的数据、样本数 信息和音频格式信息存储在存储器33-1中。根据来自多路复用电路42-3的请求，存储器 控制电路32-1从存储器33-1读取数据，并输出数据。与音频接收电路31-1相似，音频接收电路31-2执行对输入音频信号的各种处理， 并产生音频流#2的音频数据。音频接收电路31-2将音频流#2的音频数据划分为音频数 据项(每个所述音频数据项具有在与多路复用视频帧的一个帧时段期间输入的样本)，并 且将各个得到的音频数据项与样本数信息一起输出至存储器控制电路32-2。音频接收电路31-2还将与音频流#2相关的音频格式信息输出至存储器控制电路 32-2。存储器控制电路32-2使得从音频接收电路31-2供应的音频样本的数据、样本数 信息和音频格式信息存储在存储器33-2中。根据来自多路复用电路42-4的请求，音频接 收电路32-2从存储器33-2读取数据，并输出数据。多路复用视频信号产生电路41可以是具有振荡器和锁相环路的频率倍增器 (PLL)。多路复用视频信号产生电路41产生要被输入至处理器43或从处理器43输出的视频帧，其中视频数据和音频数据的各个流被多路复用。通过多路复用视频信号产生电路41 产生的视频帧可以是具有在其中例如用于传输的带宽不超过处理器43的视频端口的带宽 的范围内允许的最大尺寸(像素数量)的帧。此后，将用于多路复用视频数据、音频数据等的视频帧成为“多路复用视频帧”。此 外，将多路复用视频帧的信号称为“多路复用视频信号”。图3是图示多路复用视频帧的示例的图。如图3所示，由多路复用视频信号产生电路41产生的多路复用视频帧可以是其中 没有视频数据或音频数据被多路复用的影像。多路复用视频信号产生电路41将多路复用 视频帧构造信息插入到多路复用视频帧中。多路复用视频帧构造信息是与多路复用视频帧 的构造相关的信息，并被包括在多路复用帧布置信息中。多路复用视频帧的尺寸大于各个流的视频的帧尺寸与在多路复用视频帧的一个 帧时段期间输入的各个流的音频的音频数据的尺寸的总和。可以将各个流的视频的帧贴附 于多路复用视频帧以彼此不重叠。还可以将在多路复用视频帧的一个帧时段期间输入的各 个流的音频的音频样本的数据插入。多路复用视频信号产生电路41将多路复用视频帧的数据和同步信号输出至多路 复用电路42-1。多路复用视频帧的同步信号与多路复用视频帧的数据一起被供应至设置于 多路复用电路42-1之后的各电路。从多路复用视频信号产生电路41输出的同步信号也被 供应至音频接收电路31-1和31-2。多路复用电路42-1将其数据已经根据请求从帧同步器22-1供应的视频流#1的 帧贴付(插入)至从多路复用视频信号产生电路41供应的多路复用视频帧。在将视频流 #1的帧贴附至多路复用视频帧之后，多路复用电路42-1将视频多路复用相关信息插入到 多路复用视频帧中。视频多路复用相关信息是与视频帧的多路复用和布置相关的信息，并 被包括在多路复用帧布置信息中。多路复用电路42-1还将从帧同步器22-1供应的与视频流#1相关的视频格式信 息以及辅助数据插入到多路复用视频帧中。多路复用电路42-1将具有插入其中的各种数据的多路复用视频帧的数据输出至 多路复用电路42-2。从多路复用电路42-1输出的多路复用视频帧除了包含由多路复用视 频信号产生电路41插入的多路复用视频帧构造信息之外，还包含视频流#1的帧数据、视频 格式信息、辅助数据和视频多路复用相关信息。多路复用电路42-2将其数据已经根据请求从帧同步器22-2供应的视频流#2的 帧贴付(插入)至从多路复用电路42-1供应的多路复用视频帧。视频流#2的一个帧被贴 附在不与视频流#1的帧重叠的位置。在将视频流#2的帧贴附至多路复用视频帧之后，多 路复用电路42-2将视频多路复用相关信息插入到多路复用视频帧中。多路复用电路42-2还将从帧同步器22-2供应的与视频流#2相关的视频格式信 息以及辅助数据插入到多路复用视频帧中。多路复用电路42-2将具有插入其中的各种数据的多路复用视频帧的数据输出至 多路复用电路42-3。从多路复用电路42-2输出的多路复用视频帧的数据是其中视频流#1 的一个帧的数据和视频流#2的一个帧的数据已经被多路复用的数据。多路复用电路42-3将已经根据请求从存储器控制电路32-1供应的音频流#1的音频样本的数据、样本数信息和音频格式信息插入到从多路复用电路42-2供应的多路复 用视频帧。在将音频流#1的音频样本的数据插入之后，多路复用电路42-3还将音频多路 复用相关信息插入到多路复用视频帧中。音频多路复用相关信息是与音频样本的数据的多 路复用和布置相关的信息，并被包括在多路复用帧布置信息中。多路复用电路42-3将具有插入其中的数据的多路复用视频帧的数据输出至多路 复用电路42-4。多路复用电路42-4将已经根据请求从音频接收电路32-2供应的音频流#2的音 频样本的数据、样本数信息和音频格式信息插入到从多路复用电路42-3供应的多路复用 视频帧。多路复用电路42-4将其中已经插入数据的多路视频帧的数据输出至处理器43。 即，一个视频数据流被输入处理器43。图4是图示在多路复用之后获得的多路复用视频帧的示例的图。这里，将描述使用多路复用视频帧的视频数据和音频数据的多路复用。也以相似 方式将多路复用帧布置信息进行多路复用。在以下描述中，根据需要，布置在水平线中的像 素由线表示。在图4的示例中，视频流#1的帧被贴附使得帧的左上角与多路复用视频帧的有效 影像帧的左上端对准。视频流#1的帧的第一线与多路复用视频帧的第一线一致。此外，视频流#2的帧被贴附为不与视频流#1的帧重叠，使得视频流#2的帧的第 一线与多路复用视频帧的第m线对准。此外，音频流#1的音频数据被插入到第(n-2)线与下一线(S卩，第(n_l)线)之 间，并且音频流#2的音频数据被插入到多路复用视频帧的底部线(即，第η线)中。图5是图示其中各个数据项以如图4所示的方式贴附的多路复用视频帧的视频信 号的示例的图。如图5所示，当绘制在时间轴上时，多路复用视频信号其中由多路复用视频帧的 第一线至第η线的范围内的线的数据被传输的各个时段的信号构成。在图5的示例中，时段T1 (作为从时刻、至时刻t2的时段)是多路复用视频帧的 第一线的数据被传输的时段，时段T2 (作为从时刻t2至时刻t3的时段)是多路复用视频帧 的第二线的数据被传输的时段。此外，时段Tm(作为从时刻tm至时刻tm+1的时段)是多路复用视频帧的第m线的 数据被传输的时段，时段Tn_2 (作为从时刻tn_2至时刻tn_i的时段)是多路复用视频帧的第 n-2线的数据被传输的时段。时段Tlri (作为从时刻tn_i至时刻tn的时段)是多路复用视 频帧的第n-1线的数据被传输的时段，并且时段Tn(作为从时刻tn至时刻tn+1的时段)是 多路复用视频帧的第η线的数据被传输的时段。如果各个数据项以如图4所示的方式贴附，则视频流#1的帧的第一线的信号被插 入在多路复用视频信号的时段T1中。此外，视频流#1的帧的第二线的信号被插入在多路 复用视频信号的时段T2中。视频流#1的帧的第m线的信号和视频流#2的帧的第一线的信号在两者之间具有 预定间隔的情况下被分别插入在多路复用视频帧的时段Tm的前一半和后一半中。视频流#1的音频样本(其数量由样本数信息表示)的信号被插入在多路复用视 频帧的时段τη_2和Tlri中的每个中。
视频流#2的音频样本(其数量由样本数信息表示)的信号被插入在多路复用视 频帧的时段Tn中。以此方式，通过将数据的信号插入到构成多路复用视频信号的全部时段当中的、 与多路复用视频帧中数据的插入位置对应的时段中，来完成要被输入至处理器43的数据 的多路复用。将诸如帧数据和音频数据之类的数据贴附于或插入到多路复用视频帧中意味着 将该数据与贴附位置或插入位置相对应地作为多路复用视频帧的数据进行传输。多路复用 视频帧的数据用作其中所贴附或插入的数据已经被多路复用的数据。再参照图1，处理器43提取在被输入至视频端口(视频输入)的多路复用视频帧 的数据中被多路复用的各视频数据流和各音频数据流，并对所提取的数据执行预定处理。 处理器43可以是诸如中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、或 片上系统(SoC)装置之类的运算单元。例如，以与下述由提取电路45-3和45-4执行的提取相似的方式来执行视频数据 的提取，并且以与提取电路45-1和45-2执行的提取相似的方式来执行音频数据的提取。处理器43还将已经对其执行了处理的各个流的视频帧和音频样本贴附于多路复 用视频帧，并将这些数据项多路复用。如果由处理器43从多路复用视频帧提取的数据的位 置与处理之后获得的数据的插入位置不同，则根据需要使被插入在多路复用视频帧中的视 频多路复用相关信息和音频多路复用相关信息进行更新。处理器43从视频端口(视频输出)输出其中处理之后获得的数据项已经被多路 复用的多路复用视频帧的数据。来自处理器43的输出也是一个视频数据流。来自处理器 43的输出的多路复用视频帧的数据与同步信号一起被供应至提取电路45-1。来自处理器 43的输出的同步信号也被供应至定时产生电路44。定时产生电路44根据从处理器43供应的同步信号或者各个流的视频和音频格式 产生输出定时信号，基于所述定时信号确定各个流的视频帧和音频样本的输出定时。从提 取电路45-1至45-4供应与每个流中的视频和音频的格式相关的信息。具体而言，定时产生电路44根据从处理器43供应的同步信号以及与从提取电路 45-4供应的视频流#1相关的视频格式信息产生用于视频流#1的输出定时信号，并将输出 定时信号输出至视频发送电路53-1。定时产生电路44还根据从处理器43供应的同步信号以及与从提取电路45_3供 应的视频流#2相关的视频格式信息产生用于视频流#2的输出定时信号，并将输出定时信 号输出至视频发送电路53-2。定时产生电路44根据从处理器43供应的同步信号以及与从提取电路45_2供应 的音频流#1相关的音频格式信息来产生用于音频流#1的输出定时信号，并将输出定时信 号输出至音频发送电路63-1。定时产生电路44根据从处理器43供应的同步信号以及从提取电路45_1供应的 与音频流#2相关的音频格式信息来产生用于音频流#2的输出定时信号，并将输出定时信 号输出至音频发送电路63-2。提取电路45-1由从处理器43供应的多路复用视频帧的数据提取音频流#2的音 频样本的数据。
由提取电路45-1提取的音频流#2的音频样本的数据的多路复用位置由被插入到 多路复用视频帧中的音频流#2相关的音频多路复用相关信息表示。此外，被插入多路复用 视频帧的音频流#2的音频样本的数量由与音频流#2相关的样本数信息表示。当被供应多路复用视频帧时，提取电路45-1提取与音频流#2相关的样本数信息， 并识别被插入多路复用视频帧的音频流#2的音频样本的数量。此外，提取电路45-1提取 被插入在由与音频流#2相关的音频多路复用相关信息表示的线(其量对应于所识别的音 频样本的数量)中的数据，作为音频流#2的音频样本的数据。提取电路45-1将音频流#2的音频样本的提取数据输出至存储器控制电路61-2。 提取电路45-1还提取被插入在多路复用视频帧中的与音频流#2相关的音频格式信息，并 将音频格式信息输出至定时产生电路44和存储器控制电路61-2。提取电路45-1将从处理器43供应的多路复用视频帧的数据输出至提取电路 45-2。提取电路45-2以与提取电路45-1相似的方式由从提取电路45-1供应的多路复 用视频帧提取音频流#1的音频样本的数据。换言之，提取电路45-2提取与音频流#1相关的样本数量信息，并规定插入多路复 用视频帧的音频流#1的音频样本的数量。提取电路45-2还提取插入由与音频流#1相关 的音频多路复用相关信息表示的线中的数据(其大小对应于规定的音频样本的数量)作为 音频流#1的音频样本的数据。提取电路45-2向存储器控制电路61-1输出音频流#1的音 频样本的提取数据。提取电路45-2还提取与插入多路复用视频帧中的音频流#1相关的音 频格式信息，并向定时产生电路44以及存储器控制电路61-1输出音频格式信息。提取电路45-2将从提取电路45-1供应的多路复用视频帧的数据输出至提取电路 45-3。提取电路45-3由从提取电路45-2供应的多路复用视频帧的数据提取视频流#2 的帧数据。要由提取电路45-3提取的视频流#2的帧数据的插入位置由被插入在多路复用视 频帧中的与视频流#2相关的视频多路复用相关信息表示。提取电路45-3从多路复用视频 帧提取由与视频流#2相关的视频多路复用相关信息表示的位置的数据，作为视频流#2的 帧数据。提取电路45-3将所提取的视频流#2的帧数据输出至帧同步器51_2。提取电路 45-3还提取被插入在多路复用视频帧中的与视频流#2相关的视频格式信息，并将视频格 式信息输出至定时产生电路44和帧同步器51-2。提取电路45-3将从提取电路45-2供应的多路复用视频帧的数据输出至提取电路 45-4。提取电路45-4由从提取电路45-3供应的多路复用视频帧的数据提取视频流#1 的帧数据。要由提取电路45-4提取的视频流#1的帧数据的插入位置由被插入在多路复用视 频帧中的与视频流#1相关的视频多路复用相关信息表示。提取电路45-4从多路复用视频 帧提取由与视频流#1相关的视频多路复用相关信息表示的位置的数据，作为视频流#1的 帧数据。
提取电路45-4将所提取的视频流#1的帧数据输出至帧同步器51-1。提取电路 45-4还提取被插入在多路复用视频帧中的与视频流#1相关的视频格式信息，并将视频格 式信息输出至定时产生电路44和帧同步器51-1。帧同步器51-1使得从提取电路45-4供应的视频流#1的帧数据和与视频流#1相 关的视频格式信息被存储在帧存储器52-1中。根据来自视频发送电路53-1的请求，帧同 步器51-1从帧存储器52-1读取数据，并输出数据。视频发送电路53-1包括线缆驱动器、串行化器、各种编码器、4:2:2/4:4:4转换 器、数字/模拟(D/A)转换器、以及任意其他合适的装置。视频发送电路53-1根据从定时产生电路44供应的输出定时信号，将根据请求从 帧同步器51-1供应的视频流#1的帧数据与同步信号一起输出至信息处理设备1的外部。在将视频流#1的帧数据输出至信息处理设备1的外部之前，视频发送电路53-1 适当地执行基于与视频流#1相关的视频格式信息来调节视频流#1的帧数据的数据格式的处理。就实施而言，如果将具有不同频率的时钟用作提取电路45-4、帧同步器51-1和视 频发送电路53-1的工作时钟，则将诸如双端口 RAM之类的FIFO设置在提取电路45-4与帧 同步器51-1之间以及帧同步器51-1与视频发送电路53-1之间。通过FIFO的数据可以被 可靠地发送和接收。此外，也可以减小存储器存取期间的数据率偏差。FIFO也适当地设置在提取电路45-3与帧同步器51_2之间以及帧同步器51_2与 视频发送电路53-2之间。同样在用于处理音频数据的构造中，将FIFO适当地设置在提取电 路45-2与存储器控制电路61-1之间，存储器控制电路61-1与音频发送电路63_1之间，提 取电路45-1与存储器控制电路61-2之间，以及存储器控制电路61-2与音频发送电路63_2 之间。这里，不保证视频流#1的输出视频信号的帧频率和多路复用视频信号的帧频率 一致。帧同步器51-1通过将帧存储器52-1中存储的视频数据冗余地供应(将相同帧的视 频数据连续地供应)至视频发送电路53-1或者通过跳过数据的读取，来吸收帧频率之间的差。帧同步器51-2使得从提取电路45-3供应的视频流#2的帧数据和与视频流#2相 关的视频格式信息存储在帧存储器52-2中。根据来自视频发送电路53-2的请求，帧同步 器51-2从帧存储器52-2读取数据，并输出该数据。与视频发送电路53-1相似，视频发送电路53-2根据从定时产生电路44供应的输 出定时信号，将响应于请求从帧同步器51-2供应的视频流#2的帧数据与同步信号一起输 出至外部。在将视频流#2的帧数据输出至信息处理设备1的外部之前，视频发送电路53-2 适当地执行用于基于与视频流#2相关的视频格式信息来调节视频流视频流#2的帧数据的 数据格式。存储器控制电路61-1使得从提取电路45-2供应的音频流#1的数据临时地存储 在存储器62-1中。存储器62-1以多路复用视频帧的一个帧时段期间输入的音频样本为单 位存储音频流#1的音频数据。存储器62-1还存储与视频流#1相关的音频格式信息。根据来自音频发送电路63-1的请求，存储器控制电路61-1从存储器62_1读取数据，并输出该数据。音频发送电路63-1根据从定时产生电路44供应的输出定时信号，以一个样本的 数据为单位将从存储器控制电路61-1供应的音频流#1的音频样本的数据输出至信息处理 设备1的外部。在将音频流#1的音频样本的数据输出至信息处理设备1的外部之前，音频发送电 路63-1适当地执行用于基于与音频流#1相关的音频格式信息来调节音频流#1的音频样 本的数据格式的处理。存储器控制电路61-2使得从提取电路45-1供应的音频流#2的音频样本的数据 暂时地存储在存储器62-2中。存储器62-2以多路复用视频帧的一个帧时段期间输入的音 频样本为单位存储音频流#2的音频数据。存储器62-2还存储与音频流#2相关的音频格 式fe息。根据来自音频发送电路63-2的请求，存储器控制电路61-2从存储器62_2读取数 据，并输出该数据。音频发送电路63-2根据从定时产生电路44供应的输出定时信号，以一个样本的 数据为单位将从存储器控制电路61-2供应的音频流#2的音频样本的数据输出至信息处理 设备1的外部。在将音频流#2的音频样本的数据输出至信息处理设备1的外部之前，音频发送电 路63-2适当地执行用于基于与音频流#2相关的音频格式信息来调节音频流#2的音频样 本的数据格式的处理。在图1中，两个视频数据流和两个音频数据流被输入至信息处理设备1，并受到处 理。但是，被输入的数据流的数量可以根据需要改变。例如，信息处理设备1可以对于每个视频数据流设置有与视频接收电路21-1、帧 同步器22-1、帧存储器23-1和多路复用电路42-1相似的构造，作为输入侧的构造。信息 处理设备1也可以设置有与提取电路45-4、帧同步器51-1、帧存储器52-1和视频发送电路 53-1相似的构造，作为输出侧的构造。信息处理设备1对于每个音频数据流设置有与音频接收电路31-1、存储器控制电 路32-1、存储器33-1和多路复用电路42-3相似的构造，作为输入侧的构造。信息处理设备 1也可以设置有与提取电路45-2、存储器控制电路61-1、存储器62-1和音频发送电路63-1 相似的构造，作为输出侧的构造。如合适，在以下说明中，除非另外单独地指明，否则具有相同名称的电路由横线前 相同的数字表示。视频接口图6是图示视频接口的示意图。在视频接口中，水平同步信号(H-Sync)、竖直同步信号(V-Sync)、场标记信号 (Field Flag)、包括影像和声音的数据信号(Data)、表示时钟的激活信号(EN)等从发送器 侧传输至接收器侧。场标记信号表示第一场或第二场。使用如图6所示的视频接口传输的视频信号的波形的示例如图7所示。在图7的 上部中的信号组#11中，图示了隔行视频信号的波形的示例，并且在图7的下部中的信号组 #12中，图示了逐行视频信号的波形的示例。
18
在如图7中的信号组#11所示的波形当中在由实线箭头表示的范围内的波形的细 节在图8中示出。图8图示了高解析度(HD)影像的视频信号的波形的示例。如图8所示，在竖直同步信号(V)的一个周期期间传输用于一个场(540线)的数 据(Data)(有效视频)。此外，在水平同步信号(H)的一个周期期间传输用于一个线的数据 (Data) (1920 个像素)。多路复用帧布置信息多路复用帧布置信息包括如上所述的多路复用视频帧构造信息、视频多路复用相 关信息、视频格式信息、音频多路复用相关信息、音频格式信息、以及用作音频的贴附数据 的样本数信息。将参照图9和10描述以上各信息。如图9所示，多路复用视频帧构造信息包括表示多路复用视频帧的水平长度、水 平空白长度、水平有效长度、竖直长度、竖直空白长度、以及竖直有效长度的信息。多路复用视频帧构造信息还包括表示多路复用视频帧的帧结构(隔行或逐行)、 帧频率、比特宽度(8比特/10比特/12比特/16比特)的信息。视频多路复用相关信息包括表示视频(帧数据)的是否存在、多路复用位置、水平 尺寸、竖直尺寸、以及多路复用线间隔的信息。视频的是否存在由表示视频数据是否以及被 多路复用的标记来表示，并且多路复用位置由用作起点位置的位置(例如，所贴附的帧的 左上角)相对于多路复用视频帧的作为原点的预定位置的χ坐标和y坐标表示。视频多路复用相关信息还包括表示辅助数据的是否存在、多路复用位置、水平尺 寸、竖直尺寸、以及多路复用线间隔的信息。辅助数据的是否存在由表示辅助数据是否已经 被多路复用的标记表示，并且多路复用位置由用作起点的位置(例如在辅助数据的开始处 的数据的位置)相对于多路复用视频帧的用作原点预定位置的χ坐标和y坐标表示。对于每个流的视频数据均设置包括以上信息的视频多路复用相关信息。视频格式信息包括表示时钟频率、空白脉冲的极性(H，V)、水平长度、水平空白长 度、水平有效长度、竖直长度、竖直空白长度、以及竖直有效长度的信息。视频格式信息还包括表示帧结构(隔行/逐行)、帧频率、影像格式(交错/平 面)、比特数(8比特/10比特/12比特/14比特/16比特)的信息。视频格式信息还包 括表示采样格式0:2:2/4:4:4/4:1:1)、颜色数和颜色格式(RGB/YcbCr/CMYK/六色/八色 /...)、辅助数据的线数、以及时间码的线数的信息。针对每个流的每个视频数据均设置视频格式信息。如图10所示，音频多路复用相关信息包括表示音频样本的数据的是否存在、多路 复用位置水平尺寸、竖直尺寸、以及多路复用线间隔的信息。音频样本的数据的是否存在由 表示音频样本的数据是否已经被多路复用的标记表示，并且多路复用位置由在音频样本的 数据已经被插入所在的区域中用作起点的位置相对于多路复用视频帧的用作原点预定位 置的X坐标和y坐标表示。针对每个流的每个音频数据均设置音频多路复用信息。音频格式信息包括表示时钟频率、信道数(单声道/双-单声道/立体 声.../5. lch/7. lch/9. Ich)、采样频率(32kHz/44. lkHz/48kHz/96kHz/192kHz)、以及比特 数(16比特/20比特/24比特)的信息。
针对每个流的每个音频数据均设置音频格式信息。也针对每个流的每个音频数据均设置用作音频的贴附信息的样本数信息表示被包括在多路复用帧布置信息中的每个信息的插入位置的信息被预先设定 为表示输入电路与处理器43之间以及处理器43与输出电路之间的共用位置。输入电路表示被配置为将数据输入至处理器43的整个电路，并且输出电路表示 将数据从处理器43输出至信息处理设备1的外部的整个电路。输入电路包括图1中的视频接收电路21、帧同步器22、帧存储器23、音频接收电路 31、存储器控制电路32、存储器33、多路复用视频信号产生电路41、以及多路复用电路42。 输出电路包括图1中的定时产生电路44、提取电路45、帧同步器51、帧存储器52、视频发送 电路53、存储器控制电路61、存储器62、以及音频发送电路63。输入电路的操作现在将描述与被包括在多路复用帧布置信息中的各个信息相关的输入电路的处理。由多路复用视频信号产生电路41将多路复用视频帧构造信息插入多路复用视频 帧。处理器43能够基于多路复用视频帧构造信息来识别多路复用视频帧的数据区域(有 效影像帧)。视频多路复用相关信息由对视频数据进行处理的多路复用电路42(在图1的示例 中，多路复用电路42-1和多路复用电路42- 产生，并被插入到多路复用视频帧中。视频 多路复用相关信息可以预先设定在对视频数据进行处理的多路复用电路42中，或者可以 根据要被多路复用的视频数据自动地产生。如果预先设定视频多路复用相关信息，则该信息被存储在例如对视频数据进行处 理的多路复用电路42中的寄存器中。多路复用电路42将存储在寄存器中的视频多路复用 相关信息插入到多路复用视频帧中。如果根据要被多路复用的视频数据自动地产生视频多路复用相关信息，则在对视 频数据进行处理的多路复用电路42中设置用于基于视频数据的格式来自动地确定要被多 路复用的视频数据的插入位置的功能(电路)。多路复用电路42将通过使用该功能确定的 插入位置所表示的信息作为多路复用相关信息插入到多路复用视频帧中。处理器43能够基于多路复用相关信息从多路复用视频帧提取所需要的视频帧的 流的数据。视频格式信息从视频接收电路21输出，并通过对视频数据进行处理的多路复用 电路42插入到多路复用视频帧中。视频格式信息可以被预先设定在视频接收电路21中， 或可以根据基于视频信号检测到的格式来由视频接收电路21产生。视频格式信息也可以 由影像传感器22而不是视频接收电路21产生。处理器43能够基于视频格式信息确定从多路复用视频帧提取的视频帧的数据的 构造。音频多路复用相关信息由对音频数据进行处理的多路复用电路42(在图1的示例 中，多路复用电路42-3和多路复用电路42-4)产生，并被插入到多路复用视频帧中。音频 多路复用相关信息可以被预先设定在对音频数据进行处理的多路复用电路42中，或可以 根据要被多路复用的音频数据自动地产生。
如果预先设定音频多路复用相关信息，则该信息被存储在例如对音频数据进行处 理的多路复用电路42中的寄存器中。多路复用电路42将存储在寄存器中的音频多路复用 相关信息插入到多路复用视频帧中。如果根据要被多路复用的音频数据自动地产生音频多路复用相关信息，则在对音 频数据进行处理的多路复用电路42中设置用于基于音频数据的格式来自动地确定要被多 路复用的音频数据的插入位置的功能(电路)。多路复用电路42将通过使用该功能确定的 插入位置所表示的信息作为音频多路复用相关信息插入到多路复用视频帧中。处理器43能够基于音频多路复用相关信息从多路复用视频帧提取所需要的流中 的音频样本的数据。音频格式信息从音频接收电路31输出，并通过对音频数据进行处理的多路复用 电路42被插入到多路复用视频帧中。音频格式信息可以被预先设定在音频接收电路31中， 或可以根据基于音频信号检测到的格式来由音频接收电路31产生。音频格式信息也可以 由存储器控制电路32而不是音频接收电路31产生。处理器43能够基于音频格式信息判定从多路复用视频帧提取的音频样本的数据 的构造。样本数信息由音频接收电路31产生，并通过对音频数据进行处理的多路复用电 路42被插入到多路复用视频帧中。样本数信息也可以由存储器控制电路32而不是音频接 收电路31产生。处理器43能够基于样本数信息确定由音频多路复用相关信息所指明的音频数据 的插入位置内的有效区域(音频样本被实际插入所在的区域)。输出电路的操作现在将描述与被包括在多路复用帧布置信息中的各个信息相关的输出电路的处理。被插入在从处理器43输出的多路复用视频帧中的视频多路复用相关信息由对视 频数据进行处理的提取电路45 (在图1中，提取电路45-3和提取电路45-4)读取，并被用 于提取帧数据。视频格式信息也由对视频数据进行处理的提取电路45读取，并被供应至定时产 生电路44和视频发送电路53。定时产生电路44基于视频格式信息产生用于视频发送电路53的输出定时信号 (视频的H-Sync和V-Sync)。视频发送电路53执行用于基于视频格式信息来调节信号输 出格式的处理。例如，由视频发送电路53的D/A转换器执行D/A转换，或者执行格式的转换。被插入在从处理器43输出的多路复用视频帧中的音频多路复用相关信息由对音 频数据进行处理的提取电路45 (在图1的示例中，提取电路45-1和提取电路45- 读取， 并被用于提取音频样本。音频格式信息由对音频数据进行处理的提取电路45读取，并被供应至定时产生 电路44和音频发送电路63。定时产生电路44基于音频格式信息产生用于音频发送电路63的输出定时信号 (视频和音频的fs)。音频发送电路63执行用于基于音频格式信息调节信号输出格式的处理。例如，由被包括在音频发送电路63中的采样率转换器执行采样率的转换，由其D/A转 换器执行D/A转换，并执行格式的转换。信息处理设备的操作这里，将参照图11的流程图描述如图1所示的信息处理设备1的处理。在步骤Si，视频接收电路21-1和21-2执行视频接收处理。在步骤S2，音频接收电路31-1和31_2执行音频接收处理。在步骤S3，多路复用视频信号产生电路41产生多路复用视频帧。在步骤S4,多路复用视频信号产生电路41将多路复用视频帧构造信息插入到多 路复用视频帧中，并输出多路复用视频帧的数据和同步信号。在步骤S5，提取电路45-1至45_4执行多路复用处理。在步骤S6，处理器43提取被输入至视频端口的多路复用视频帧的数据中所多路 复用的视频数据和音频数据，并执行预定处理。处理器43从视频端口输出其中在处理之后 获得的数据已经被多路复用的多路复用视频帧的数据。在步骤S7，提取电路45-1至45_4执行提取处理。在步骤S8，定时产生电路44基于对应的流的视频和音频的格式来产生对于每个 数据流的输出定时信号，并输出该输出定时信号。在步骤S9，音频发送电路63-1和63_2执行音频输出处理。在步骤S10，视频发送电路53-1和53_2执行视频输出处理。在已经完成视频输出 处理之后，处理结束。接着，将参照图12的流程图描述在图11的步骤Sl中执行的视频接收处理。在步骤Sl 1，视频接收电路21-1接收输入视频信号，并执行诸如A/D转换之类的各 种处理以产生视频流#1的帧数据和辅助数据。视频接收电路21-2也执行相似处理以产生 视频流#2的帧数据和辅助数据。在步骤S12，视频接收电路21-1检测格式，并产生与视频流#1相关的视频格式信 息。在此示例中，通过检测格式来产生视频格式信息。在步骤S13，帧同步器22-1使得视频流#1的帧数据、辅助数据和视频格式信息存 储在帧存储器23-1中。帧同步器22-2也使得视频流#2的帧数据、辅助数据和视频格式信 息存储在帧存储器23-2中。在视频流#1的数据和视频流#2的数据被存储在帧存储器23中之后，处理返回图 11的步骤Si，并执行后续步骤。接着，将参照图13的流程图描述图11的步骤S2中执行的音频接收处理。在步骤S21，音频接收电路31-1接收输入音频信号，并执行诸如A/D转换之类的处 理以产生由音频样本的时间序列构成的音频流#1的音频数据。音频接收电路31-2也执行 相似处理以产生音频流#2的音频数据。在步骤S22，音频接收电路31-1检测格式，并产生与视频流#1相关的音频格式信 息。在此示例中，通过检测格式来产生音频格式信息。在步骤S23，音频接收电路31-1在对样本数进行计数的同时截取在多路复用视频 帧的一个帧时段内输入的音频流#1的音频样本。音频接收电路31-2也执行相似处理，并 截取在多路复用视频帧的一个帧时段内输入的音频流#2的音频样本。
在步骤S24，存储器控制电路32-1使得所截取的音频流#1的音频样本的数据、样 本数信息以及音频格式信息存储在存储器33-1中。存储器控制电路32-2也使得所截取的 音频流#2的音频样本的数据、样本数信息以及音频格式信息存储在存储器33-2中。在音频流#1的数据和音频流#2的数据被存储在存储器33中之后，处理返回至图 11的步骤S2，并执行后续步骤。接着，将参照图14的流程图描述在图11的步骤S5中执行的多路复用处理。在图 11的步骤S3中产生的多路复用视频帧的数据被供应至多路复用电路42-1。在步骤S31，多路复用电路42-1请求帧同步器22_1从帧存储器23_1读取视频流 #1的数据。从帧存储器23-1读取视频流#1的帧数据、辅助数据和视频格式信息。在步骤S32，多路复用电路42-1将从帧存储器23_1读取的视频流#1的帧数据插 入到多路复用视频帧中。在步骤S33，多路复用电路42-1将从帧存储器23_1读取的视频流#1的辅助数据 插入到多路复用视频帧中。在步骤S34，多路复用电路42-1将从帧存储器23_1读取的视频流#1的帧数据的 插入位置和视频格式信息插入到多路复用视频帧中。还由多路复用电路42-2执行与步骤S31至S34相似的处理，从帧存储器23_2读 取的视频流#2的帧数据被插入到从多路复用电路42-1供应的多路复用视频帧中。与视频 流#2相关的视频多路复用相关信息和视频格式信息也被插入。在步骤S35，多路复用电路42-3请求存储器控制电路32_1从存储器33_1读取数 据。从存储器33-1读取视频流#1的音频样本的数据、样本数信息和音频格式信息。在步骤S36，多路复用电路42-3将音频流#1的音频样本的数据插入到从多路复用 电路42-2供应的多路复用视频帧中。在步骤S37，多路复用电路42-3将与视频流#1相关的样本数信息、音频多路复用 相关信息和音频格式信息插入到从多路复用电路42-2供应的多路复用视频帧中。还由多路复用电路42-4执行与S35至S37相似的处理。从存储器33_2读取的音 频流#2的音频样本的数据与样本数信息、音频多路复用相关信息和音频格式信息一起被 插入到从多路复用电路42-3供应的多路复用视频帧中。在全部视频数据和音频数据的流已经被插入到多路复用视频帧中之后，处理返回 至图11的步骤S5，并执行后续步骤。接着，将参照图15的流程图描述在图11的步骤S7中执行的提取处理。在步骤S51，提取电路45-1接收从处理器43输出的多路复用视频帧的数据。在步骤S52，提取电路45-1基于被插入到多路复用视频帧中的音频多路复用相关 信息和样本数信息从多路复用视频帧提取音频流#2的音频样本的数据。在步骤S53，提取电路45-1从多路复用视频帧提取与音频流#2相关的音频格式信 肩、ο在步骤S54，存储器控制电路61-2使得由提取电路45_1提取的音频流#2的音频 样本的数据和音频格式信息存储在存储器62-2中。还由提取电路45-2和存储器控制电路61-1执行与步骤S52至SM相似的处理，并 将从多路复用视频帧提取的音频流#1的音频样本和音频格式信息存储在存储器62-1中。
23
在步骤S55，提取电路45-3基于被插入在多路复用视频帧中的视频多路复用相关 信息从多路复用视频帧提取视频流#2的帧数据和辅助数据。在步骤S56，提取电路45-3从多路复用视频帧提取视频格式信息。在步骤S57，帧同步器51-2使得由提取电路45_3提取的与视频流#2相关的帧数 据、辅助数据和视频格式信息存储在帧存储器52-2中。还由提取电路45-4和帧同步器51-1执行与步骤S55至S57相似的处理。从多路 复用视频帧提取的与视频流#1相关的帧数据、辅助数据和视频格式信息被存储在帧存储 器52-1中。在已经从多路复用视频帧提取全部视频数据和音频数据的流之后，处理返回至图 11的步骤S7，并执行后续处理。接着，将参照图16的流程图描述在图11的步骤S9中执行的音频输出处理。在步骤S61，音频发送电路63-2请求存储器控制电路61_2从存储器62_2读取音 频流#2的音频样本和音频格式信息。在步骤S62，音频发送电路63-2执行用于基于音频格式信息调节信号输出格式的处理。在步骤S63，音频发送电路63-2以一个样本的数据为单位将其输出格式已经经过 调节的音频流#2的音频数据输出至外部。还由音频发送电路63-1执行与步骤S61至S63相似的处理，并将从存储器62_1 读取的音频流#1的音频数据输出至外部。在已经输出全部音频数据的流之后，处理返回至图11的步骤S9，并执行后续步
马聚ο接着，将参照图17的流程图描述在图11的步骤SlO中执行的视频输出处理。在步骤S71，视频发送电路53-2请求帧同步器51_2从帧存储器52_2读取视频流 #2的帧数据和视频格式信息。在步骤S72，视频发送电路53-2执行用于基于视频格式信息调节信号输出格式的处理。在步骤S73，视频发送电路53-2将其输出格式已经经过调节的视频流#2的帧数据 输出至外部。如果已经从多路复用视频帧提取视频流#2的辅助数据，则还根据需要从帧存 储器52-2读取辅助数据，并将辅助数据与帧数据一起输出至外部。还由视频发送电路53-1执行与步骤S71至S73相似的处理，并将从帧存储器52_1 读取的视频流#1的帧数据输出至外部。在全部视频流的帧数据已经输出之后，处理返回至图11的步骤S10，并执行后续处理。上述步骤的处理可以不一定按照图中所示的顺序执行，并可以根据需要与其他步 骤的处理并行地执行，或者在其他步骤的处理之前或之后执行。利用上述这些系列的处理，可以将视频数据和音频数据的多个流输入至包括一个 输入视频端口的处理器43。此外，将视频数据和音频数据的多个流从包括一个输出视频端 口的处理器43输出。换言之，能够利用一个视频端口高效地进行将数据输入至处理器43 和从处理器43输出数据。
此外，可以保证将数据输入至信息处理设备1的较高的灵活性和较高的自由度。S卩，从输入电路将与数据的多路复用位置相关的信息等提供给后续的阶段，因此 不需要在输入电路与处理器43之间以及处理器43与输出电路之间以固定的方式预先设定 数据的多路复用位置等。由此，可以改变多路复用位置，从而使得容易支持信号的各种组合的输入。例如， 四个HD视频帧可以被贴附于4KXI多路复用视频帧，或者可以贴附四个SD视频帧。可以 包含HD帧和SD帧两者。可以仅通过改变输入电路的设定来支持信号的各种组合。此外，可以避免或降低在输入电路与处理器43之间以及处理器43与输出电路之 间的设定方面的不匹配的风险。输入电路也能够基于通过自动地判定是否存在信号或者信号的类型(格式)来改 变或修改多路复用视频帧。例如，可以由输入电路基于特定的准则而不是根据用户输入来 自动地擦除未从多路复用视频帧输入的信道的数据(不将该数据插入到多路复用视频帧 中)的操作。此外，也可以由输入电路执行判定在要输入的视频帧的SD/HD之间切换以及 改变视频要被插入的区域的尺寸(其在多路复用视频帧需要被确保)的操作。基于多路复用帧布置信息自动地调节输出信号的格式的操作也可以由输出电路 执行。因为输出电路是能够读取多路复用帧布置信息并自动地改变输出格式的电路，所以 可以不用在输出电路中执行额外设定。在输入视频数据包含帧和场的情况下，对多路复用帧布置信息的界定可以有助于 数据传输。例如，可以产生具有60Hz的帧频率的多路复用视频信号并可以利用该多路复用 视频信号将具有60Hz的场频率的视频数据进行多路复用，或者，可以产生具有30Hz的帧频 率的多路复用视频信号，并可以利用该多路复用视频信号将具有60Hz的场频率的视频数 据进行多路复用。即使在此情况下，多路复用帧布置信息的传输仍允许正确地存储原始视 频信号。此外，将多路复用帧布置信息插入到各个多路复用视频帧中允许对于每个多路复 用视频帧使与视频/音频数据相关的值进行改变和更新。通用输入/输出(GPIO)线或者 串行线不能获得这样高响应的数据传输。多路复用状态信息图18是图示了被包括在多路复用状态信息中的信息的图。如图18所示，被包括在多路复用帧状态信息中的信息可以被分离为与数据连续 性相关的信息、与数据可靠性相关的信息、以及写入完成标记。与连续性相关的信息包括表示多路复用视频帧的序列号、帧/场识别信息、表示 序列帧号的信息、时间码、表示音频样本的序列号的信息、以及样本数信息。帧/场识别信息、表示序列帧号的信息、以及时间码对于每个其中帧数据已经被 插入到多路复用视频帧中的视频数据流设定。表示音频样本的序列号的信息、以及样本数 信息对于每个其中音频样本的数据已经被插入到多路复用视频帧中的音频频数据流设定。与数据可靠性相关的信息包括多路复用视频信号的同步稳定性标记、视频信号的 同步稳定性标记、以及音频数据的有效比特。视频信号的同步稳定性标记对于每个其中帧数据已经被插入到多路复用视频帧 中的视频数据流设定。音频数据的有效比特对于每个其中音频样本的数据已经被插入到多路复用视频帧中的音频频数据流设定。由处理器43设定的视频写入完成标记对于每个其中帧数据已经被插入到多路复 用视频帧中的视频数据流设定。音频写入完成标记对于每个其中音频样本的数据已经被插 入到多路复用视频帧中的音频频数据流设定。全部流写入完成标记对于每个多路复用视频 帧设定。表示被包括在多路复用帧状态信息中的各个信息的插入位置的信息被预先设定， 以表示在输入电路与处理器43之间以及处理器43与输出电路之间的共同位置。输入电路表示被配置为将数据输入至处理器43的整个电路，并且输出电路表示 被配置为将从处理器43输出的数据输出至信息处理设备1的外部的整个电路。输入电路包括图1中的视频接收电路21、帧同步器22、帧存储器23、音频接收电路 31、存储器控制电路32、存储器33、多路复用视频信号产生电路41和多路复用电路42。输 出电路包括图1中的定时产生电路44、提取电路45、帧同步器51、帧存储器52、视频发送电 路53、存储器控制电路61、存储器62和音频发送电路63。输入电路的操作现在将描述与被包括在多路复用帧状态信息中的各个信息相关的输入电路的处理。由多路复用视频信号产生电路41将表示多路复用视频帧的序列号的信息插入到 多路复用视频帧中。表示多路复用视频帧的序列号的信息以被插入在多路复用视频帧中的 方式供应至处理器43。处理器43基于表示多路复用视频帧的序列号的信息来判定多路复用视频帧的序 列号是否增加1。如果序列号增加了 1，则判定为输入电路正在正常状况下工作。如果多路复用视频帧的序列号未增加1，则输入电路可能未在正常状况下工作。在 此情况下，处理器43执行诸如跳过接收整个多路复用视频信号(不接收多路复用视频帧) 的处理之类的处理。因此，不执行其他的操作，带来处理器43上负荷的减小。表示视频数据的序列帧号的信息由视频接收电路21产生，并被临时存储在帧存 储器23中。此后，通过对视频数据进行处理的多路复用电路42 (在图1的示例中，多路复 用电路42-1和42-2)将信息插入到多路复用视频帧中。表示视频数据的序列帧号的信息 以被插入在多路复用视频帧中的方式供应至处理器43。处理器43基于表示视频数据的序列帧号判定序列帧号是否增加1。如果序列帧好 增加了 1，则判定为视频数据的连续性得到维持(不存在帧丢失或冗余)。如果即使视频信号的同步稳定性标记为“接通”但序列帧号未增加1，则处理器43 判定为已经由帧同步器22引起了帧丢失或冗余。基于序列帧号，处理器43可以精确地判 定诸如多少帧被丢失、到哪帧为止被丢失、多少帧冗余之类的信息。例如，如果检测到帧冗余，处理器43省略用于已经被冗余地传输的第二和后续帧 的处理。因此，可以减小处理器43上的负荷。如果检测到帧丢失，则处理器43可以执行诸 如内插丢失帧或者将丢失帧替换为灰色影像或黑色影像之类的处理。视频帧/场识别信息和时间码由视频接收电路21从输入视频信号读取，并被临时 存储在帧存储器23中。此后，视频帧/场识别信息和时间码由对视频数据进行处理的多路 复用电路42插入到多路复用视频帧中。处理器43也可以基于帧/场识别信息和时间码来判定视频数据的连续性是否得到维持。表示音频样本的序列号和样本数信息由例如音频接收电路31产生。以上信息也 可以由存储器控制电路32产生。表示音频样本的序列号的信息以及样本数信息被临时存 储在存储器33中，并此后由对音频数据进行处理的多路复用电路42(在图1的示例中，多 路复用电路42-3和42-4)插入到多路复用视频帧中。处理器43计算被插入在多路复用视频帧中的起始音频样本的序列号和由样本数 信息表示的样本的数量的和值。如果通过计算获得的和值与被插入在接下来的多路复用视 频帧中的起始音频样本的序列号一致，则处理器43判定为音频数据的连续性得到维持。如果通过计算获得的值与被插入到接下来的多路复用视频帧中的起始音频样本 的序列号不一致，则音频数据的连续性未得到保证。在此情况下，处理器43执行诸如跳过 对于不可靠的音频数据的读取处理和音频信号处理以及将该音频数据替换为静音音频样 本之类的处理。因此，不执行其他操作，带来了处理器43上负荷的减小。多路复用视频帧的同步稳定性标记由多路复用视频信号产生电路41插入到多路 复用视频帧中。多路复用视频信号的同步稳定性标记以被插入在多路复用视频帧中的方式 供应至处理器43。处理器43基于多路复用视频信号的同步稳定性标记来判定对所供应的多路复用 视频帧进行阐述的多路复用视频信号是否是在维持了同步性的情况下从多路复用视频信 号产生电路41输出的信号。如果同步稳定性标记为“接通”，则处理器43判定为多路复用 视频信号产生电路41正在正常状况下工作。如果多路复用视频信号的同步稳定性标记不为“接通”，则多路复用视频信号本身 的可靠性较低。在此情况下，处理器43执行诸如跳过接收整个多路复用视频信号的处理之 类的处理。因此，不执行其他操作，带来了处理器43上负荷的减小。视频信号的同步稳定性标记从视频接收电路21输出，并由对视频数据进行处理 的多路复用电路42插入到多路复用视频帧中。视频信号的同步稳定性标记以被插入到多 路复用视频帧中的方式供应至处理器43。处理器43基于视频信号的同步稳定性标记来判定当从视频接收电路21输出被插 入在多路复用视频帧中的视频帧时是否已经在视频接收电路21中发生输入视频信号的同 步失效。如果视频信号的同步稳定性标记为“接通”，则处理器43判定为尚未发生同步失 效。如果视频信号的同步稳定性标记不为“接通”，被插入在多路复用视频帧中的视频 帧的数据的可靠性会较低。在此情况下，处理器43判定为被插入在多路复用视频帧中的视 频帧是无效数据，并跳过对于该无效视频数据的读取处理和影像处理。处理器43还执行例如如下处理将被插入在多路复用视频帧中的视频帧替换为 诸如灰色影像、黑色影像或静态影像之类的另一帧。因此，不执行其他操作，带来了处理器 43上负荷的减小。由音频接收电路31将有效比特与在多路复用视频帧的一个帧时段期间的音频样 本的数据一起截取。有效比特以与音频样本的数据一起被插入在多路复用视频帧中的方式 被供应至处理器43。如果有效比特不为“接通”，则未保证被插入在多路复用视频帧中的音频样本的数据的可靠性。处理器43跳过对于不可实现的音频样本的数据的读取处理和音频信号处理。处理器43还执行诸如将被插入在多路复用视频帧中的音频样本的数据替换为静 音数据之类的处理。因此，不执行其他处理，带来了在处理器43上负荷的减小。输出电路的操作将描述与被包括在多路复用帧状态信息中的各个信息相关的输出电路的处理。处理器43在每次从输入视频端口输入多路复用视频帧时执行对被插入在多路复 用视频帧中的各个数据流的处理，将处理之后获得的数据进行多路复用，并将得到的数据 从输出视频端口输出。以上操作可以不一定在多路复用视频帧的一个帧时段内完成。为了检查处理器43是否已经经过这样的未在多路复用视频帧的一个帧时段内完 成操作的情况，可以使用视频写入完成标记、音频写入完成标记和全部流写入完成标记。在处理之后获得的视频数据已经被插入到多路复用视频帧中之后，处理器43设 定表示视频的帧数据插入对应流中的操作已经完成的视频写入完成标记。在处理之后获得的音频数据已经被插入到多路复用视频帧中之后，处理器43设 定表示音频的音频样本的数据插入对应流中的操作已经完成的音频写入完成标记。在全部数据流已经被插入并且已经产生了要被输出至输出电路的多路复用视频 帧之后，处理器43在多路复用视频帧中设定全部流写入完成标记。视频写入完成标记由对视频数据进行处理的提取电路45 (在图1的示例中，提取 电路45-3和45-4)读取，并由视频发送电路53使用。如果视频写入完成标记不为“接通”(其表示写入尚未完成)，则其中设定有该标 记的流的视频数据可能是尚未完全写入或者尚未写入的视频数据。在此情况下，视频发送电路53执行诸如如下处理输出使用先前帧的静态影像、 灰色影像、或黑色影像来代替例如从多路复用视频帧提取的视频帧。可以使用保留在帧存储器52中的帧之前的帧来输出静态影像。在此情况下，帧同 步器51通过执行防止数据写入帧存储器52的操作来保持保留在帧存储器52中的先前帧。 因为灰色影像或黑色影像由具有固定值的帧形成，所以可以容易地替换输出数据。音频写入完成标记由对音频数据进行处理的提取电路45 (在图1的情况下，提取 电路45-1和45-2)读取，并由音频发送电路63使用。如果音频写入完成标记不为“接通”，则其中设定有该标记的流的音频数据可能是 尚未完全写入或者尚未写入的音频数据。在此情况下音频发送电路63执行诸如如下处理使输出消音而例如不输出从多 路复用视频帧提取的视频帧。可以容易地产生静音数据。在此情况下，可以执行淡入或淡 出处理来代替使得输出消音的处理。多路复用视频帧的序列号、视频数据的序列号、音频样本的序列号、以及样本数信 息也可以被用于判定处理器43是否已经正确地执行了处理。如果视频数据的连续性或音 频数据的连续性未得到维持，则视频发送电路53或音频发送电路63可以执行与当写入完 成标记不为“接通”时执行的处理相似的处理。例如，如果视频数据的序列帧号未增加1，则判定为视频数据的连续性未得到维 持。此外，如果起始视频样本的序列号和由样本数信息所表示的样本的数量的和值与被插 入在接下来的多路复用视频帧中的起始音频样本的序列号不一致，则判定为连续性未得到维持。信息处理设备的操作这里，将参照图19的流程图描述如图1所示的信息处理设备1的处理。在步骤S101，视频接收电路21-1和21_2执行视频接收处理在步骤S102，音频接收电路31-1和31_2执行音频接收处理。在步骤S103，多路复用视频信号产生电路41产生多路复用视频帧，并将表示多路 复用视频帧的序列号的信息和同步稳定性标记插入。在步骤S104，多路复用电路42-1至42_4执行多路复用处理。在步骤S105，处理器43提取被输入至视频端口的多路复用视频帧的数据中所多 路复用的视频数据和音频数据，并执行预定处理。在步骤S106，处理器43将处理之后获得的视频数据插入到多路复用视频帧中，并 对每个视频数据流在插入完成时的时刻设定视频写入完成标记。处理器43还将处理之后 获得的音频数据插入到多路复用视频帧中，并对每个音频数据流在插入完成时的时刻设定 音频写入完成标记。处理器43从视频端口输出其中数据已经被多路复用的多路复用视频 帧的数据。在步骤S107，提取电路45-1至45_4执行提取处理。在步骤S108，音频发送电路63-1和63_2执行音频输出处理在步骤S109，视频发送电路53-1和53_2执行视频输出处理。在已经完成视频输 出处理之后，处理结束。接着，将参照图20的流程图描述在图19的步骤SlOl中执行的视频接收处理。在步骤S111，视频接收电路21-1接收输入视频信号，并执行诸如A/D转换之类的 各种处理以产生被包括在视频流#1中的帧数据。视频接收电路21-1还基于视频流#1的 视频信号读取帧/场识别信息和时间码。在步骤S112，视频接收电路21-1在步骤Sll中产生的各帧中设定序列帧号。在步骤S113，帧同步器22-1使得视频流#1的帧数据、帧/场识别信息、时间码和 表示序列帧号的信息存储在帧存储器23-1中。也由视频接收电路21-2和帧同步器22-2执行步骤Sl 11至Sl 13的处理，并将视频 流#2的帧数据、帧/场识别信息、时间码和表示序列帧号的信息存储在帧存储器23-2中。在视频流#1和#2的数据被存储在帧存储器23中之后，处理返回图19的步骤 S101，并执行后续步骤。接着，将参照图21的流程图描述在图19的步骤S102中执行的音频接收处理。在步骤S121，音频接收电路31-1接收输入音频信号，并执行诸如A/D转换之类的 处理以产生由音频样本的时间序列构成的音频流#1的音频数据。在步骤S122，音频接收电路31-1基于音频流#1的音频信号检测有效比特。在步骤S123，音频接收电路31-1在对样本数进行计数的同时截取在多路复用视 频帧的一个帧时段内输入的音频流#1的音频样本。在步骤S124，音频接收电路31-1在所截取的音频样本中设定序列号，以产生表示 音频样本序列号的信息，并还产生表示所计数的音频样本的数量的样本数信息在步骤S125，存储器控制电路32-1使得所截取的音频流#1的音频样本的数据、有效比特、表示序列号的信息以及样本数信息存储在存储器33-1中。也由音频接收电路31-2和存储器控制电路32-2执行步骤S121至S125的处理， 并将所截取的音频流#2的音频样本的数据、有效比特、表示序列号的信息以及样本数信息 存储在存储器33-2中。在音频流#1和#2的数据被存储在存储器33中之后，处理返回至图19的步骤 S102，并执行后续步骤。接着，将参照图22的流程图描述图19的步骤S104中执行的多路复用处理。在图 19的步骤S103中产生的多路复用视频帧的数据被供应至多路复用电路42-1。在步骤S131，多路复用电路42-1请求帧同步器22_1从帧存储器23_1读取视频流 #1的数据。从帧存储器23-1读取视频流#1的帧数据、帧/场识别信息、时间码、以及表示 序列帧号的信息。在步骤S132，多路复用电路42-1将从帧存储器23_1读取的视频流#1的帧数据插 入到多路复用视频帧中。在步骤S133，多路复用电路42-1将从帧存储器23_1读取的与视频流#1相关的多 路复用帧状态信息插入到多路复用视频帧中。还由多路复用电路42-2执行与步骤S131至S133相似的处理，并将从帧存储器 23-2读取的视频流#2的帧数据和多路复用帧状态信息插入到从多路复用电路42-1供应的 多路复用视频帧中。在步骤S134，多路复用电路42-3请求存储器控制电路32_1从存储器33_1读取数 据。从存储器33-1读取视频流#1的音频样本的数据、有效比特、表示序列号的信息、以及 样本数信息。在步骤S135，多路复用电路42-3将视频流#1的音频样本的数据插入到从多路复 用电路42-2供应的多路复用视频帧中。在步骤S136，多路复用电路42-3将与音频流#1相关的多路复用帧状态信息插入 到从多路复用电路42-2供应的多路复用视频帧中。还由多路复用电路42-4执行与S134至S136相似的处理，并将从存储器33_2读 取的音频流#2的音频样本的数据和多路复用帧状态信息插入到从多路复用电路42-3供应 的多路复用视频帧中。在全部视频数据和音频数据的流已经被插入到多路复用视频帧中之后，处理返回 至图19的步骤S104，并执行后续步骤。接着，将参照图23的流程图描述在图19的步骤S107中执行的提取处理。在步骤S151，提取电路45-1接收从处理器43输出的多路复用视频帧的数据。被 插入在从处理器43输出的多路复用视频帧中的多路复用帧状态信息还包括由处理器43设 定的写入完成标记。在步骤S152，提取电路45-1提取与被插入在多路复用视频帧中的音频流#2相关 的多路复用帧状态信息。在步骤S153，提取电路45-1基于被包括在所提取的多路复用帧状态信息中的样 本数来从多路复用视频帧提取音频流#2的音频样本的数据。在步骤S154，存储器控制电路61-2使得由提取电路45_1提取的音频流#2的音频样本的数据和例如被包括在多路复用帧状态信息中的音频写入完成标记存储在存储器 62-2 中。还由提取电路45-2和存储器控制电路61-1执行与步骤S152至SlM相似的处理， 并将从多路复用视频帧提取的音频流#1的音频样本和多路复用帧状态信息存储在存储器 62-1 中。在步骤S155，提取电路45-3提取与被插入在多路复用视频帧中的视频流#2相关 的多路复用帧状态信息。在步骤S156，提取电路45-3从多路复用视频帧提取被插入在多路复用视频帧中 的视频流#2的帧数据。在步骤S157，帧同步器51-2使得由提取电路45_3提取的视频流#2的帧数据、以 及例如被包括在多路复用帧状态信息中的视频写入完成标记存储在帧存储器52-2中。还由提取电路45-4和帧同步器51-1执行与步骤S155至S157相似的处理。从多 路复用视频帧提取的视频流#1的帧数据以及被包括在多路复用帧状态信息中的视频写入 完成标记被存储在帧存储器52-1中。在已经从多路复用视频帧提取全部视频数据和音频数据的流之后，处理返回至图 19的步骤S107，并执行后续处理。接着，将参照图M的流程图描述在图19的步骤S108中执行的音频输出处理。在步骤S161，音频发送电路63-2请求存储器控制电路61-2从存储器62-2读取音 频流#2的音频样本的数据和音频写入完成标记。在步骤S162，音频发送电路63-2以一个样本的数据为单位将与音频写入完成标 记相对应的数据输出至外部，作为音频流#2的音频数据。具体而言，如果音频写入完成标记为“接通”，则将从多路复用视频帧提取的音频 样本的数据作为与音频写入完成标记的值相对应的音频数据输出。如果音频写入完成标记 不为“接通”，则将静音数据等代替从多路复用视频帧提取的音频样本作为与音频写入完成 标记的值相对应的音频数据输出。还由音频发送电路63-1执行与步骤S161和S162相似的处理，并将从存储器62_1 读取的与音频写入完成标记的值相对应的音频流#1的音频数据输出至外部。在已经输出全部音频数据的流之后，处理返回至图19的步骤S108，并执行后续步
马聚ο接着，将参照图25的流程图描述在图19的步骤S109中执行的视频输出处理。在步骤S171，视频发送电路53-2请求帧同步器51_2从帧存储器52_2读取视频流 #2的帧数据和视频格写入完成标记。在步骤S 172，视频发送电路53-2将与视频写入完成标记的值相对应的数据输出 至外部，作为视频流#2的帧数据。具体而言，如果视频写入完成标记为“接通”，则将从多路复用视频帧提取的帧数 据作为与视频写入完成标记的值相对应的视频数据输出。如果视频写入完成标记不为“接 通”，则其他帧数据(例如静态影像的数据)代替从多路复用视频帧提取的帧数据作为与视 频写入完成标记的值相对应的视频数据输出。还由视频发送电路53-1执行与步骤S171和S172相似的处理，并将从帧存储器52-1读取的与视频写入完成标记的值相对应的视频流#1的帧数据输出至外部。在全部视频流的帧数据已经输出之后，处理返回至图19的步骤S109，并执行后续处理。上述步骤的处理可以不一定按照图中所示的顺序执行，并可以根据需要与其他步 骤的处理并行地执行，或者在其他步骤的处理之前或之后执行。利用上述这些系列的处理，可以将视频数据和音频数据的多个流输入至包括一个 输入视频端口的处理器43。此外，可以将视频数据和音频数据的多个流从包括一个输出视 频端口的处理器43输出。换言之，能够利用一个视频端口高效地进行将数据输入至处理器 43和从处理器43输出数据。此外，已经接收了利用多路复用视频帧被多路复用的视频数据或音频数据的处理 器43或输出电路可以基于被包括在多路复用帧状态信息中的信息来判定数据连续性是否 得到维持。因此，可以保证高可靠性的系统操作。如果判定连续性未得到维持或者如果数据可靠性较低，则例如如上所述对于视频 数据输出静态影像、灰色影像或黑色影像，从而实现较高的系统稳定性。多路复用的示例在前述说明中，两个视频信号流和两个音频信号流被输入至信息处理设备1。但 是，要被输入的信号的数量可以根据需要改变。例如，可以输入四个视频信号流和四个音频 信号流。图沈是图示在输入四个视频信号流和四个音频信号流的情况下多路复用视频帧 的示例的图。在如图沈所示的多路复用视频帧中，设置空白区域以沿着水平和竖直方向延伸， 并且在有效影像帧内从第一线到预定线的区域被设定为用于多路复用帧布置信息的区域 A10如图9和10所示的各个信息被插入在区域A1中的分配位置处。代替如图沈所示共同地插入在连续区域中，被包括在多路复用帧布置信息中的 各个inxi可以被插入到多路复用视频帧内彼此远离地界定的多个区域中。在如图沈所示的多路复用中，作为用于视频的区域的视频区域A2还设置在区域 A1下方。在视频区域A2中，视频流#0至#3的帧被贴附为在维持其帧尺寸的情况下彼此不 重叠。作为用于音频数据的音频区域A3被设置在视频区域A2下方。音频流#0至#3的 音频数据按照被输入到信息处理设备1中的顺序从音频区域A3的各个线的左端开始被紧 密地插入到各个线中。在图沈中，被插入在各个线中的音频数据的不同水平长度表示被插入的音频数 据的量取决于流而不同。如上所述，被多路复用到同一多路复用视频帧中的音频数据在多 路复用视频帧的帧时段期间输入。因此，如果各音频数据具有不同的采用频率或不同的量 化精度，则会在被多路复用到同一多路复用中的音频数据的量方面产生不同。在被分配给 音频数据的各线当中，其中已经记录了数据的区域用作上述音频数据的有效区域。图27是图示在四个视频信号流和四个音频信号流被输入的情况下多路复用的另 一示例。在如图27所示的多路复用的视频区域A2中，具有沿着水平方向布置的像素(其
32数量等于有效影像帧在水平方向上的像素数量)和沿着竖直方向布置的像素(其数量对应 于线的预定数量)的区域被设定为各视频流的帧数据要被插入的区域。在图27的示例中， 视频流#0至#3的帧数据要被插入的区域从上部开始按顺序设定。以此方式，代替在输入尺寸得到维持的情况下贴附于多路复用视频帧，各个视频 流的帧可以以与其被输入时不同的形状被贴附。取决于各个视频流的帧要被贴附的区域的 设定，可以实现数据的有效多路复用。示例性修改图28是图示信息处理设备1的另一示例构造的框图。在如图28所示的构造中，与图1所示相同或相似的元件由相同的附图标记表示。 如合适，将省略冗余的描述。如图观所示的构造与如图1所示的信息处理设备1的不同之处在于，在多路复用 视频信号产生电路41之前设置切换电路111。视频流#1的同步信号、视频流#2的同步信号、以及作为与以上两个同步信号相独 立地从外部输入的同步信号的外同步信号被输入至切换电路111。外同步信号也被供应至 定时产生电路44。切换电路111在视频流#1的同步信号、视频流#2的同步信号以及外同步信号当 中选择需要的同步信号，并将所选择的同步信号输出至多路复用视频信号产生电路41。多路复用视频信号产生电路41以由从切换电路111供应的同步信号所界定的周 期来产生多路复用视频帧，并将所产生的多路复用视频帧的数据与从切换电路111供应的 同步信号一起输出至多路复用电路42-1。定时产生电路44根据外同步信号或各个视频和音频流的格式来产生同步信号， 并输出该同步信号。以此方式，也可以通过切换将从外部输入的同步信号用作界定了产生多路复用视 频帧的周期的同步信号。利用用于输入的多路复用视频帧进行的多路复用操作这里，将描述利用多路复用视频帧来将视频数据和音频数据进行多路复用的方 法。可以取决于数据的插入位置减小数据的延迟。首先，将描述由多路复用电路42执行的用于输入至处理器43的多路复用视频帧 的多路复用。图四是用于输入的多路复用视频帧的区域构造的示例的图。如图四所示，设置空白区域以沿着用于输入的多路复用视频帧的水平方向和竖 直方向延伸。在图四的示例中，在有效影像帧内从第一线到第Hl1线的区域被设定为作为 用于视频的区域的视频区域An。此外，在有效影像帧内从第(mi+l)线到第m2线的区域被 界定为作为用于音频的区域的音频区域A12。从第(m2+l)线到作为最后线的第η线的区域 被设定为用于多路复用帧布置信息的区域Α13。以此方式，视频区域A11被界定在用于输入的多路复用视频帧的上部，并且音频区 域A12被界定在视频区域A11下方。当在时间轴上绘制用于输入的多路复用视频帧时，按照 从用于输入的多路复用视频帧的上部到下部的顺序执行处理。图30是图示要被贴附于如图四所示的用于输入的多路复用视频帧的视频帧的示例的图。将就四个视频数据流(S卩，视频流#0至#3)的多路复用的内容给出以下说明。在图30的示例中，视频流#0具有720X486i (SD)的帧尺寸，并且视频流#1具有 1280X720p(720p)的帧尺寸。此外，视频流#2具有1280X720p (720p)的帧尺寸，其与视频 流#1的帧尺寸相同，并且视频流#3具有1920 X 1080i (HD)的帧尺寸。要被贴附于用于输入的多路复用视频帧的帧被划分为例如线，并且每个线被贴附 于用于输入的多路复用视频帧上的不同线。此外，要被贴附的帧数据被贴附为彼此不重叠，并且交错。交错是用于将同一帧的 线以沿着竖直方向不连续的方式布置在用于输入的多路复用视频帧上的方法。视频流#0和#3的帧是隔行帧。实际上，在视频流#0和#3中，形成一个场的线被 贴附至一个用于输入的多路复用视频帧。但是，在以下说明中，假定帧被贴附。图31是图示在通过多路复用电路42进行多路复用之后获得的用于输入的多路复 用视频帧的示例的图。在图31的示例中，视频流#0的帧的线在720像素的范围内沿着水平方向从有效 影像帧的左端向右插入，并在243X2线的范围内沿着竖直方向从作为视频区域A11的最后 线的第Hi1线向上插入。在一个场中的线的数量，即243个线被隔行地插入，不过在图31中， 四个线被图示为视频流#0的帧的线。此外，在图31的示例中，视频流#1的帧的线在1280像素的范围内沿着水平方向 从有效影像帧的左端向右插入，并在720X2线的范围内沿着竖直方向从作为视频区域A11 的最后线的第Hi1线向上插入。一个帧的线的数量，即720线被隔行地插入以不与视频流#0 的帧的线重叠，不过在图31中，十个线被示出为视频流#1的帧的线。视频流#2的帧的线在1280像素的范围内沿着水平方向从第1281像素(在有效 像素的左端被用作第一像素的情况下)起向右插入。此外，视频流#2的帧的线在720X2 线的范围内沿着竖直方向从作为视频区域A11的最后线的第Hl1线向上插入。虽然一个帧的 线的数量，即720线被隔行地插入，不过在图31中，十个线被示出为视频流#2的帧的线。视频流#3的帧的线在1920像素的范围内沿着水平方向从第1281像素(在有效 像素的左端被用作第一像素的情况下)起向右插入。此外，视频流#3的帧的线在540X2 线的范围内沿着竖直方向从作为视频区域A11的最后线的第Hl1线向上插入。在一个场中的 线的数量，即540线被隔行地插入，由此不会与视频流#2的帧的线重叠，不过在图31中，七 个线被示出为视频流#3的帧的线。在所示示例中，用于输入的多路复用视频帧的有效影像帧的每水平行的像素数量 被设定为3200像素(U80+1920像素)。在各个帧的线已经被插入的区域上方，将对应视频流的辅助数据插入在多路复用 视频帧中以与各个帧的线相似的方式交错。不对辅助数据执行与对帧数据执行的相同处理。例如，如果以与对帧数据相似的 方式对辅助数据执行4:2:2至4:4:4转换和YcbCr至RGB转换，则辅助数据会被破坏。因 此，辅助数据和帧数据被分别输入至处理器43。如图31所示，辅助数据和帧数据分立地插 入在视频区域A11中可以防止辅助数据被破坏。此外，如图31所示，音频流#0至#3按照被输入至信息处理设备1的顺序从每个线的左端起被紧密地插入到用于输入的多路复用视频帧的音频区域A12中。在图31的示例中，作为音频区域A12的开始位置的第(mi+l)线以及第(mi+2)线被 分配给音频流#0的音频数据。以第(mi+l)线的整体以及直到第(mi+2)线的中部被音频数 据填充的方式将音频流#0的音频数据插入到第(mi+l)线以及第0 + 线中。此外，第(mi+3)线和第(mi+4)线被分配给音频流#1的音频数据。以第mi+3线的 整体以及直到第(mi+4)线的中部被音频数据填充的方式将音频流#1的音频数据插入到第 (mi+3)线以及第(mi+4)线中。第(mi+5)线和第(mi+6)线被分配给音频流#2的音频数据。以第(mi+5)线的整 体以及直到第(mi+6)线的中部被音频数据填充的方式将音频流#2的音频数据插入到第 (mi+5)线以及第(mi+6)线中。第(mi+7)线和第(mi+8)线被分配给音频流#3的音频数据。以第(mi+7)线的整 体以及直到第(mi+8)线的中部被音频数据填充的方式将音频流#3的音频数据插入到第 (mi+7)线以及第(mi+8)线中。利用要由各个多路复用电路42处理的音频数据的数据率、用于输入的多路复用 视频帧的帧频率(一个帧时段)等来确定要被插入到用于输入的多路复用视频帧中的音频 数据的尺寸。因此，可以在已经检测到各音频数据流的格式之后确定被分配的线的数量，作为 其中各音频数据流要被插入的线的数量。在图31的示例中，将两个线分配给每个音频数据 流。例如，音频区域A12的线的数量必须被设定为与被分配给各个音频数据流的线的 总和相同。此外，在图31的示例中，因此设定音频区域A12的线的数量。如上所述，要被贴附的帧经由帧的逐线地交错而不会彼此重叠，并在用于输入的 多路复用视频帧的视频区域A11中从下向上贴附。此外，利用例如音频区域A12的整体线将 要被插入的各个信息插入在被界定在视频区域A11下方的音频区域A12中。多路复用视频帧 帧布置信息被插入到界定在音频区域A12下方的区域A13中。如在整个用于输入的多路复用视频帧中观察，各个数据流从下向上布置。因此，即使当利用用于输入的多路复用视频帧将多个数据流进行多路复用并输入 至处理器43时，仍可以减小输入延迟。输入延迟由要由处理器43处理的数据被输入至信 息处理设备1时的时间与数据被输入至处理器43时的时间之间的差表示。图32是图示从下向上布置的优点的图。在图32中，横轴表示时间。在图32的示例中，视频流#0至#3的视频数据(输入视频信号)在不同的定时输 入。例如，视频流#0的一个帧的数据在时刻t3至时刻t7的定时被输入至信息处理设 备1。此外，视频流#1的一个帧的数据在时刻、至时刻t5的定时被输入至信息处理设备 1。视频流#2的一个帧的数据在时刻t4至时刻t8的定时被输入至信息处理设备1。 视频流#3的一个帧的数据在时刻t2至时刻t6的定时被输入至信息处理设备1。例如，在用于输入的多路复用视频帧的一个帧的时段内输入最后线的数据的视频 帧被贴附于在同一时段期间产生的用于输入的多路复用视频帧。
因此，在此情况下，由图32中各个线中的阴影线所表示的视频流#0至#3的帧被 多路复用到多路复用视频帧F1中，多路复用视频帧Fl是在从时刻t4至时刻t8的时段T期 间产生的用于输入的多路复用视频帧(多路复用视频信号)。由各个线中的阴影线所表示的视频流#0的帧的最后线的数据在时段T内即将在 时刻t7之前的时刻被输入。相似地，由各个线中的阴影线所表示的视频流#1至#3的帧的 最后线的数据在时段T内的一时刻、被输入。对于音频，如上所述，在用于输入的多路复用视频帧的一个帧期间输入的音频样 本被插入到在同一时段期间产生的用于输入的多路复用视频帧中。因此，在图32的示例中，在音频流#0的音频样本当中被包括在时段T中的由粗线 表示的音频样本被插入到多路复用视频帧F1中。虽然在图32中仅图示了音频流#0，但是 其他音频数据流也以相似方式被插入到多路复用视频帧F1中。用于输入的多路复用视频帧的一个帧的时段由多路复用视频信号产生电路41产 生的同步信号所界定。在图32中，同步信号sync-Ι表示由多路复用视频信号产生电路41 产生的同步信号。在图32的示例中，同步信号sync-Ι与用于视频流#2的同步信号同步。如参照图 观所述，从外部输入的视频同步信号也可以用作界定用于输入的多路复用视频帧的一个帧 时段所用的同步信号。同步信号sync-2表示界定用于输入的多路复用视频帧的一个帧时段所用的同步 信号，其在将用于输入的多路复用视频帧输出至处理器43的最后阶段从多路复用电路42 输出。根据同步信号sync-2，其中各个数据流已经被多路复用的用于输入的多路复用视频 帧在最后阶段从多路复用电路42输出至处理器43。在图1的示例中，多路复用电路42-4 用作最后阶段中的多路复用电路。各个多路复用电路42在等待要被多路复用的数据输入之后执行多路复用。根据 要被多路复用的数据的最后数据项被输入的时刻，在先前阶段用于输入的多路复用视频帧 从多路复用视频信号产生电路41或从多路复用电路42输入时的时刻与在通过将数据多路 复用为用于输入的多路复用视频帧之后获得的用于输入的多路复用视频帧从某个多路复 用电路42输出时的时刻之间存在差异。这里，假定视频接收电路21或音频接收电路31接 收数据所涉及的时间、或者帧存储器23或存储器33临时存储数据所涉及的时间可忽略。彼此接近的同步信号sync-Ι和sync-2的定时(1的值的时刻)意味着用于输入 的多路复用视频帧从多路复用视频信号产生电路41输出时的时刻与在多路复用之后获得 的用于输入的多路复用视频帧被输入至处理器43时的时刻之间较小的差异。换言之，彼此 接近的同步信号sync-Ι和sync-2的定时意味着输入延迟减小。基于该假定，现在将描述将数据从下向上插入到用于输入的多路复用视频帧中。如图32所示的多路复用视频帧&表示在其中已经将各个数据项以如上参照图31 所述的方式从下向上插入的多路复用之后获得的用于输入的多路复用视频帧。如图32所示，当绘制在从左向右经过的时间轴上时，视频区域A11被表示在多路复 用视频帧F1中的左部，而音频区域A12在右部。在图32中，多路复用视频帧F1的右部中的 粗线表示被插入在音频区域A12中的音频流#0的音频数据。要被贴附于多路复用视频帧F1的视频流#0的帧的最后线的数据可以在即将在数据被输入时的时刻t7之前的时刻之后插入。如果视频流#0的帧的最后线的数据要被插入 在多路复用视频帧F1的视频区域A11的上部(时间上较早)中，则与插入位置相对应的多 路复用视频帧F1的线的时间可以晚于时刻t7。作为影像，整个多路复用视频帧F1处于相对 于如图32所示的位置靠右的位置。因此，为了减小输入延迟，优选地，视频流#0的帧的最后线的数据被插入在多路 复用视频帧F1的与比即将在时刻t7之前的时刻晚的时刻相对应的位置。在数据实际插入 时的时刻之前输入的数据被存储在存储器中，直到插入时刻。此外，要被多路复用到多路复用视频帧F1中的视频流#2的帧的最后线的数据可 以在即将在数据被输入时的时刻t8之前的时刻之后(包括即将在时刻t8之前的时刻)插 入。如果视频流#2的帧的最后线的数据被插入到多路复用视频帧F1的视频区域A11的上 部中，则与插入位置相对应的多路复用视频帧F1的线的时刻可以晚于即将在时刻t8之前的 时刻。作为影像，整个多路复用视频帧F1处于相对于如图32所示的位置靠右的位置。因此，为了减小输入延迟，优选地，视频流#2的帧的最后线的数据被插入与即将 在时刻t8之前的时刻晚的时刻相对应的多路复用视频帧Fl的位置。相同情况应用于视频流#1至#3的帧的最后线的数据。由同步信号sync-Ι确定要被插入到多路复用视频帧F1中的音频流#0的音频样 本的数据以及样本数信息。在作为时段T的结束时刻的时刻、之后(包括时刻t8)，可以 插入音频流#0的音频数据。如果视频流#0的音频数据被插入在界定在多路复用视频帧F1的上部中的区域 中，则与插入位置相对应的多路复用视频帧&的线的时刻可以晚于时刻t8。作为影像，多 路复用视频帧F1处于相对于如图32所示的位置靠右的位置。因此，为了减小输入延迟，优选地，音频流#0的音频数据被插入在多路复用视频 帧&的与比时刻伪晚的时刻相对应的位置。此外，对于多路复用帧布置信息，使得其中例如包括样本数信息的信息插入的时 刻可以是在要被多路复用到多路复用视频中的样本数已经确定之后的时刻。因此，如果多 路复用帧布置信息被共同插入，则优选地将样本数信息插入在与时刻、之后的时刻相对应 的位置，其中时刻t8是确定要被多路复用的样本数时的时刻。因此，各个视频流的视频数据的帧被逐线地交错，并从下向上被插入在视频区域 A11中，并且各个音频流的音频数据被插入在界定于视频区域A11下方的音频区域A12中，由 此整个用于输入的多路复用视频帧的数据可以从下向上布置，从而允许输入延迟的减小。 此外，多路复用帧布置信息被插入在界定于音频区域A12下方的区域A13中。在图32的示例中，输入延迟被减小为与数个线相对应的时间，这是时刻t4与多路 复用视频帧F1开始被输入至处理器43的时刻tn之间的差。如图32所示，如果视频流#0至#3的帧数据在不同的定时插入，则最后线的数据 被较早输入的流的视频数据在较早阶段被多路复用电路42处理。最后线的数据被更晚输 入的流的视频数据在较晚阶段被多路复用电路42处理。因此，如上所述，视频帧的线可以 从下向上插入。此外，在比对视频数据进行处理的多路复用电路42更晚的阶段由多路复用电路 42对音频数据进行处理。因此，如上所述，音频数据可以被插入到界定于用于输入的多路复用视频帧的下部中的音频区域A12中。被包括在多路复用帧布置信息中的各个信息在最后阶段被供应至多路复用电路 42，并在最后阶段通过多路复用电路42被共同插入到多路复用视频帧中。因此，多路复用 帧布置信息可以被插入到界定于用于输入的多路复用视频帧的音频区域A12下方的区域A13 中。如图1所示的多路复用电路42-1至42-4可以被集成为单个电路。得到的单个电 路可以在无需考虑以哪个数据流以及如图1所示的方式串联链接的多个多路复用电路42 当中的哪个多路复用电路42对该数据流进行处理的情况下将全部数据项进行多路复用。利用用于输出的多路复用视频帧进行的多路复用操作接着，将描述利用用于输出的多路复用视频帧进行的多路复用操作。用于输出的多路复用视频帧在其中具有已经从用于输入的多路复用视频帧提取 并已经经过各种处理的各个数据流。即，利用用于输出的多路复用视频帧进行的数据(在 处理之后获得的数据)的多路复用由处理器43执行。在处理器43中，与利用用于输入的多路复用视频帧进行多路复用操作不同，各个 数据流从上向下插入。图33是图示用于输出的多路复用视频帧的区域构造的图。如图33所示，用于输出的多路复用视频帧设置有沿着水平方向和竖直方向中各 方向的空白区域。在图33的示例中，在有效影像帧内从第一线到第Hi11线的区域被界定为 用于多路复用视频帧帧布置信息的区域A21。此外，在有效影像帧内从第(mn+l)线到第m12 线的区域被界定为作为用于音频的区域的音频区域A22。在有效影像帧内从第(m12+l)线到 作为最后线的第η线的区域被界定为用于视频的视频区域A23。以此方式，音频区域A22被界定在用于输出的多路复用视频帧的上部，并且视频区 域A23被界定在音频区域A22下方。图34是图示在由处理器43进行多路复用之后获得的用于输出的多路复用视频帧 的上部的示例的图。当用于输入的多路复用视频帧被输入时，处理器43提取视频流#0至#3的帧的数 据以及音频流#0至#3的音频数据，并根据需要执行处理。已经根据需要经过处理的视频 流#0至#3的帧的数据和音频流#0至#3的音频数据被插入到用于输出的多路复用视频帧 中。如图34所示，多路复用布置信息被插入到用于输出的多路复用视频帧的区域A21 中。此外，音频流#0至#3的音频数据从各个线的左端开始被紧密地插入到用于输出 的多路复用视频帧的音频区域A22中。在图34的示例中，作为音频区域^2的开始位置的第(mn+l)线、以及第(mn+2)线 被分配给音频流#0的音频数据。以第(mn+l)线的整体以及直到第(mn+2)线的中部被音 频数据填充的方式将音频流#0的音频数据插入到第(mn+l)线以及第0 + 线中。此外，在图34的示例中，第(mn+3)线和第(mn+4)线被分配给音频流#1的音频数 据。以第(mn+3)线的整体以及直到第(mn+4)线的中部被音频数据填充的方式将音频流#1 的音频数据插入到第(mn+3)线以及第(mn+4)线中。
38
第(mn+5)线和第(mn+6)线被分配给音频流#2的音频数据。以第(mn+5)线的 整体以及直到第(mn+6)线的中部被音频数据填充的方式将音频流#2的音频数据插入到第 (mn+5)线以及第(mn+6)线中。第(mn+7)线和第(mn+8)线被分配给音频流#3的音频数据。以第(mn+7)线的 整体以及直到第(mn+8)线的中部被音频数据填充的方式将音频流#3的音频数据插入到第 (mn+7)线以及第(mn+8)线中。例如，音频区域^2的线的数量可以被设定为与被分配给各个音频数据流的线的 总和相同。此外，在图34的示例中，因此设定音频区域A22的线的数量。此外，要被贴附的帧经由帧的逐线交错而不会彼此重叠，并随后在用于输出的多 路复用视频帧的视频区域Am中从上到下被贴附于辅助数据。在图34的示例中，视频流#0的帧的线在720像素的范围内沿着水平方向从有效 影像帧的左端向右插入。此外，视频流#0的帧的线在M3X2线的范围内沿着竖直方向从被 插入在视频区域A23中的辅助数据的倒数第二线向下插入。在一个场中的线的数量，即243 个线被隔行地插入，不过在图31中，四个线被图示为视频流#0的帧的线。此外，视频流#1的帧的线在1280像素的范围内沿着水平方向从有效影像帧的左 端向右插入，并在720X2线的范围内沿着竖直方向从被插入在视频区域Am中的辅助数据 的倒数第二线向下插入。一个帧的线的数量，即720线被隔行地插入以不与视频流#0的帧 的线重叠，不过在图34中，十个线被示出为视频流#1的帧的线。视频流#2的帧的线在1280像素的范围内沿着水平方向从第1281像素(在有效像 素的左端被用作第一像素的情况下)起向右插入。此外，视频流#2的帧的线在720X2线 的范围内沿着竖直方向从被插入在视频区域A23中的辅助数据的倒数第二线向下插入。虽 然一个帧的线的数量，即720线被隔行地插入，不过在图34中，十个线被示出为视频流#2 的帧的线。视频流#3的帧的线在1920像素的范围内沿着水平方向从第1281像素(在有效像 素的左端被用作第一像素的情况下)起向右插入。此外，视频流#3的帧的线在540 X 2线的 范围内沿着竖直方向从被插入在视频区域A23中的辅助数据的倒数第二线线向下插入。在 一个场中的线的数量，即540线被隔行地插入，由此不会与视频流#2的帧的线重叠，不过在 图34中，七个线被示出为视频流#3的帧的线。在所示示例中，用于输出的多路复用视频帧的有效影像帧的每水平行的像素数量 被设定为3200个。用于输入的多路复用视频帧的尺寸可以与用于输出的多路复用视频帧 的尺寸不同。以此方式，如在整个用于输出的多路复用视频帧中观察，各个数据流从上向下插 入。因此，即使当利用用于输出的多路复用视频帧将多个数据流进行多路复用并从处 理器43输出时，仍可以减小输出延迟。输出延迟由在处理之后获得的数据从处理器43输出 时的时刻与处理之后获得的数据被输出至信息处理设备1的外部时的时刻之间的差表示。图35是图示从上向下布置的优点的图。在图35中，横轴表示时间。如图35所示的多路复用视频帧F2表示从处理器43输出的用于输出的多路复用 视频帧。同步信号sync-3是从处理器43输出的同步信号，并界定了多路复用视频帧F2的一个帧时段。在从时刻、至时刻t2的时段期间多路复用视频帧F2从处理器43输出。由各个线中的阴影线表示的视频流#0至#3的帧数据表示已经从多路复用视频帧 F2提取并已经从视频发送电路53输出至信息处理设备1外部的数据(输出视频信号)。此 外，由粗线表示的音频流#0的音频样本的数据表示已经从多路复用视频帧F2提取并已经 从音频发送电路63输出至信息处理设备1外部的数据(输出音频信号)。例如，在根据从定时产生电路44输出的同步信号的同一定时，被多路复用在同一 用于输出的多路复用视频帧中的数据被输出至信息处理设备1的外部。如图35所示的同步信号sync-4是由定时产生电路44产生并被供应至视频发送 电路53和音频发送电路63的同步信号。在从时刻tn至时刻t12的时段期间，从多路复用 视频帧F2提取的各个数据流被输出至信息处理设备1的外部。在各个视频发送电路53中，在从用于输出的多路复用视频帧提取要输出的帧数 据之后，可以输出该数据。此外，在各个音频发送电路63中，在从用于输出的多路复用视频帧提取要输出的 音频样本的数据之后，可以输出该数据。如果为了使得视频发送电路53和音频发送电路63输出该数据使被多路复用在同 一用于输出的多路复用视频帧中的数据在同一时刻输出，则全部视频发送电路53和音频 发送电路63接收已经从同一用于输出的多路复用视频帧提取的、要输出的数据。根据要输出的数据当中的起始数据被输入至各个帧存储器52和各个音频发送电 路63时的时刻，在从处理器43输出用于输出的多路复用视频帧时的时刻与将数据输出至 外部时的时刻之间存在差异。这里，假定提取电路45提取数据所涉及的时间或者帧存储器 52或存储器62临时存储数据所涉及的时间可忽略。同步信号sync-3和sync-4的定时(1的值的时刻)意味着用于输出的多路复用视 频帧从处理器43输出时的时刻与各个数据流被输出至外部时的时刻之间较小的差异。换 言之，彼此接近的同步信号sync-3和sync-4的定时意味着输出延迟减小。基于该假定，现在将描述将数据从上向下插入到用于输出的多路复用视频帧中。多路复用帧布置信息是包括用于提取视频数据和音频数据的各个流的信息在内 的信息。因此，如果多路复用布置信息尚未从多路复用视频帧提取，则会难以提取视频数据 和音频数据的各个流。为了减小输出延迟，优选地，多路复用帧布置信息可以被插入在用于 输出的多路复用视频帧之前的位置。对于音频数据，如果音频数据要被插入在界定于多路复用视频帧&下部中的区域 中，则音频流#0的音频数据的输出的开始时刻可以晚于与插入位置相对应的时刻。作为影像，音频流#0的输出时刻可以相对于如图35所示的位置靠右的位置。因 为从同一用于输出的多路复用视频帧提取的数据在同一时刻输出，所以视频流#0至#3的 输出时刻也处于相对于如图35所示的位置靠右的位置。因此，为了减小输出延迟，优选地，音频流#0的音频数据被插入在用于输出的多 路复用视频帧中较早的位置处。此外，假定各个视频流的帧是逐线交错的，并从下向上插入在用于输出的多路复 用视频帧中。在此情况下，视频流#0的帧的起始线的数据的输出时刻会晚于与插入位置相 对应的时刻。具体而言，视频流#0的帧的线的总数越小，则输出时间越晚。
作为影像，视频流#0的输出定时处于相对于如图35所示的位置靠右的位置。因 为从同一用于输出的多路复用视频帧提取的数据在同一定时输出，所以视频流#1至#3的 输出定时以及音频流#0的输出定时也处于相对于如图35所示的位置靠右的位置。此外，为了减小输出延迟，优选地，视频流#0的帧的起始线的数据被插入在多路 复用视频帧F2的视频区域A23的上部处。同一情况应用于视频流#1至#3。如以上可见，各个音频流的音频数据被插入到界定于用于输出的多路复用视频帧 的上部中的音频区域^2中，并且对于各个视频流的视频数据，帧被逐线交错并从上向下插 入在界定于音频区域^2下方的视频区域^3中，由此作为整个用于输出的多路复用视频帧， 数据可以从上向下布置。因此，可以减小输出延迟。在图35的示例中，将输出延迟减小为与数个线相对应的时间，这是多路复用视频 帧F2开始从处理器43输出时的时刻、与数据开始输出至外部时的时刻tn之间的差异。其他示例性修改在前述说明中，处理器43具有单输入单输出视频端口。但是，可以设置多输入和 多输出。使用各个视频端口输入/输出多路复用视频帧，从而能够将更大量的数据流输入 至处理器43并能够将处理之后获得的数据从处理器43输出。此外，压缩比特流也可被用作要被输入至信息处理设备1的视频数据及音频数 据。此外，利用多路复用视频信号，不仅可传输视频数据及音频数据，还可传输具有特定尺 寸的数据，并且其也可被输入至处理器43或从处理器43输出。例如，也可以应用平面(基 于颜色)传输或多色(例如6色或8色)传输。在以上描述中，主要逐帧地处理了输入视频数据及多路复用视频帧。但是，也可以 逐区域地执行处理。在以上描述中，术语“帧”可以由术语“场”替代。计算机的示例构造可通过硬件或软件来执行上述一系列处理。如果通过软件来执行上述一系列处 理，则可从程序记录介质向结合在专用硬件中的计算机或通用个人计算机等装载构成软件 的程序。图36是图示根据程序执行上述那些系列的处理的计算机的硬件构造的示例的框 图。中央处理单元(CPU) 201、只读存储器(ROM) 202、以及随机存取存储器(RAM) 203经 由总线204彼此连接。输入/输出接口 205也连接至总线204。输入/输出接口 205连接至输入单元206 和输出单元207，输入单元206包括键盘和鼠标，输出单元207包括显示器和扬声器。输入 /输出接口 205还连接至存储单元208、通信单元209、以及驱动器210，存储单元包括硬盘 和非易失性存储器，通信单元209包括网络接口，驱动器210对可移除介质211进行驱动。在具有以上构造的计算机中，CPU 201将存储在例如存储单元208中的程序经由 输入/输出接口 205和总线204加载到RAM 203中，并执行该程序，由此执行上述的那些系 列的处理。由CPU 201执行的程序可以设置为例如记录在可移除介质211上的形式或者经由 诸如局域网、互联网或者数字广播之类的有线或无线传输介质的形式，并可以被安装到存 储单元208中。
由计算机执行的程序可以是据此来按照本文所述的顺序以时间序列方式执行处 理的程序，或者可以是据此并行地或者在诸如被调用时的需要时机执行处理的程序。本发明的实施例不限于上述实施例，并可以在不偏离本发明的范围的情况下进行 多种修改。本发明包含了与2010年1月14日向日本专利局递交的日本在先专利申 请JP2010-006137以及2010年1月14日向日本专利局递交的日本在先专利申请 JP2010-006138中公开的主题相关的主题，这里通过引用引入其全部内容。本领域技术人员应理解，只要在所附权利要求或与其相当的范围内，可以按照设 计要求等其它因素进行各种改变、组合、子组合和替换。
权利要求
1.一种信息处理设备，包括产生装置，其用于产生多路复用视频帧，并用于将第一信息插入到所述多路复用视频 帧中，所述多路复用视频帧是具有预定屏幕尺寸的视频帧，并且所述第一信息是与所述多 路复用视频帧的构造相关的信息；第一多路复用装置，其用于将输入视频数据中包括的一个帧布置在所述多路复用视频 帧中，用于将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置位置相 对应的数据进行传输，并用于将第二信息和第三信息插入到在多路复用之后获得的多路复 用视频帧中，所述第二信息是与所述帧的布置位置相关的信息，所述第三信息是与所述视 频数据的格式相关的信息；以及处理装置，其用于根据所述第一信息、所述第二信息和所述第三信息提取在多路复用 之后获得的所述多路复用视频帧中被多路复用的帧的数据，并用于执行对所提取的所述数 据的处理，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端 口输入所述处理装置。
2.根据权利要求1所述的信息处理设备，还包括划分装置，其用于按照从所输入的音频数据的起始样本开始的顺序将所述音频数据划 分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对 应的时段期间输入的样本；以及第二多路复用装置，其用于将通过所述划分装置进行的划分获得的各个所述音频数据 项布置在所述多路复用视频帧中，用于将所述音频数据项多路复用以作为所述多路复用视 频帧的与所述音频数据项的布置位置相对应的数据进行传输，并用于将第四信息、第五信 息和第六信息插入到所述多路复用视频帧中，所述第四信息是表示所述音频数据项中包括 的样本数的信息，所述第五信息是与所述音频数据项的布置位置相关的信息，所述第六信 息是与所述音频数据的格式相关的信息，其中，所述处理装置根据所述第一信息、所述第四信息、所述第五信息和所述第六信息 提取在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音 频数据项，并执行对提取的所述数据项的处理。
3.根据权利要求2所述的信息处理设备，其中，所述第一多路复用装置将所述视频数 据的多个格式中的每个格式的一个帧划分为各个线来将所述帧布置在所述多路复用视频 帧中，使得以所述帧的各个线不连续的方式将同一所述帧的各个线从下到上地布置在设置 于所述多路复用视频帧中的第一视频区域中，并将所述多个格式的所述帧的数据多路复 用。
4.根据权利要求3所述的信息处理设备，其中，所述第二多路复用装置将通过划分获 得的所述音频数据项多路复用以作为设置在所述多路复用视频帧的第一视频区域下方的 第一音频区域中的数据进行传输。
5.根据权利要求4所述的信息处理设备，其中，所述处理装置将在处理之后获得的各 个格式的所述帧中的每个帧划分为各个线，将所述各个帧布置在所述多路复用视频帧中， 使得以所述帧的各个线不连续的方式将同一帧的各个线从上到下地布置在设置于所述多 路复用视频帧中的第二视频区域中，并将所述帧多路复用以作为所述多路复用视频帧的与 所述帧的布置位置相对应的数据进行传输，其中，所述处理装置将在处理之后获得的、通过划分获得的所述音频数据项多路复用 以作为设置在所述多路复用视频帧的所述第二视频区域上方的第二音频区域中的数据进 行传输，并且其中，所述处理装置从所述处理装置的输出视频端口输出其中传输了处理之后获得的 数据的多路复用视频帧。
6.根据权利要求5所述的信息处理设备，还包括第一提取装置，其用于根据所述第一信息、所述第二信息和所述第三信息，从由所述处 理装置输出的所述多路复用视频帧提取各格式的各个所述帧的数据；以及第一发送装置，其用于将所提取的所述各格式的各个所述帧的数据在基于所述第三信 息执行了与所述格式相对应的处理之后输出至外部。
7.根据权利要求6所述的信息处理设备，还包括第二提取装置，其用于根据所述第一信息、所述第四信息、所述第五信息和所述第六信 息，从由所述处理装置输出的所述多路复用视频帧提取通过划分获得所述音频数据项；以 及第二发送装置，其用于基于所述第六信息对通过划分获得的所提取的所述音频数据项 执行与所述格式相对应的处理，并用于将已经执行了所述处理的、通过划分得到的所述音 频数据项按照从所述音频数据项的起始样本开始的顺序输出至外部。
8.一种信息处理方法，包括以下步骤产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；将第一信息插入到所述多路复用视频帧中，所述第一信息是与所述多路复用视频帧的 构造相关的信息；将输入视频数据中包括的一个帧布置在所述多路视频帧中；将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置位置相对应 的数据进行传输；将第二信息和第三信息插入到在多路复用之后获得的多路复用视频帧中，所述第二 信息是与所述帧的布置位置相关的信息，所述第三信息是与所述视频数据的格式相关的信 息；根据所述第一信息、所述第二信息和所述第三信息提取在多路复用之后获得的所述多 路复用视频帧中被多路复用的帧的数据，在多路复用之后获得的所述多路复用视频帧从输 入视频端口输入；并且执行对所提取的所述数据的处理。
9.一种信息处理设备，包括产生装置，其用于产生多路复用视频帧，并用于将与所述多路复用视频帧的连续性相 关的信息插入到所述多路复用视频帧中，所述多路复用视频帧是具有预定屏幕尺寸的视频 帧；第一多路复用装置，其用于将输入视频数据中包括的一个帧布置在所述多路复用视 频帧中，用于将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置位置 相对应的数据进行传输，并用于将与所述帧的连续性相关的信息插入到在多路复用视频帧 中；划分装置，其用于按照从所输入的音频数据的起始样本开始的顺序将所述音频数据划 分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对 应的时段期间输入的样本；以及第二多路复用装置，其用于将通过所述划分装置进行的划分获得的各个所述音频数据 项布置在所述多路复用视频帧中，用于将所述音频数据项多路复用以作为所述多路复用视 频帧的与所述音频数据项的布置位置相对应的数据进行传输，并用于将表示所述音频数据 项中包括的样本数的信息和与连续性相关的信息插入到所述多路复用视频帧中。
10.一种信息处理设备，包括产生单元，其被配置为产生多路复用视频帧，并将第一信息插入到所述多路复用视频 帧中，所述多路复用视频帧是具有预定屏幕尺寸的视频帧，并且所述第一信息是与所述多 路复用视频帧的构造相关的信息；第一多路复用单元，其被配置为将输入视频数据中包括的一个帧布置在所述多路复用 视频帧中，将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置位置相 对应的数据进行传输，并将第二信息和第三信息插入到在多路复用之后获得的多路复用视 频帧中，所述第二信息是与所述帧的布置位置相关的信息，所述第三信息是与所述视频数 据的格式相关的信息；以及处理单元，其被配置为根据所述第一信息、所述第二信息和所述第三信息提取在多路 复用之后获得的所述多路复用视频帧中被多路复用的帧的数据，并执行对所提取的所述数 据的处理，其中在多路复用之后获得的所述多路复用视频帧从所述处理单元的输入视频端 口输入所述处理装置。
11.一种信息处理设备，包括产生单元，其被配置为产生多路复用视频帧，并将与所述多路复用视频帧的连续性相 关的信息插入到所述多路复用视频帧中，所述多路复用视频帧是具有预定屏幕尺寸的视频 帧；第一多路复用单元，其被配置为将输入视频数据中包括的一个帧布置在所述多路复用 视频帧中，将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置位置相 对应的数据进行传输，并将与所述帧的连续性相关的信息插入到在多路复用视频帧中；划分单元，其被配置为按照从所输入的音频数据的起始样本开始的顺序将所述音频数 据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段 相对应的时段期间输入的样本；以及第二多路复用单元，其被配置为将通过所述划分装置进行的划分获得的各个所述音频 数据项布置在所述多路复用视频帧中，将所述音频数据项多路复用以作为所述多路复用视 频帧的与所述音频数据项的布置位置相对应的数据进行传输，并将表示所述音频数据项中 包括的样本数的信息和与连续性相关的信息插入到所述多路复用视频帧中。
全文摘要
本发明涉及信息处理设备、信息处理方法和程序。信息处理设备包括以下元件。产生单元，其产生多路复用视频帧，并将第一信息插入到所述多路复用视频帧中，所述多路复用视频帧是具有预定屏幕尺寸的视频帧，并且所述第一信息是与所述多路复用视频帧的构造相关的信息。第一多路复用单元，其将输入视频数据中包括的一个帧布置在所述多路复用视频帧中，将所述帧的数据多路复用以作为所述多路复用视频帧的与所述帧的布置位置相对应的数据进行传输，并将第二信息和第三信息插入到在多路复用之后获得的多路复用视频帧中，所述第二信息是与所述帧的布置位置相关的信息，所述第三信息是与所述视频数据的格式相关的信息。处理单元，其根据所述第一信息、所述第二信息和所述第三信息提取在多路复用之后获得的所述多路复用视频帧中被多路复用的帧的数据，并执行对所提取的所述数据的处理。
文档编号H04N21/2368GK102131105SQ20111000611
公开日2011年7月20日 申请日期2011年1月7日 优先权日2010年1月14日
发明者仓重雅文, 大贯淳, 植田求, 荻窪纯一, 藤堂晋, 西川正树 申请人:索尼公司