信息处理设备、信息处理方法和程序的制作方法

专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理设备、信息处理方法和程序。更具体而言，本发明涉及信息处 理设备、信息处理方法和程序，其允许利用视频端口有效地将音频数据输入至音频端口并 有效地将音频数据从处理器输出。
背景技术：
视频接口对诸如时钟、水平同步信号和竖直同步信号之类的定时信号以及影像数据进行传 输所用的单向传输协议被称为“视频接口”。电影及电视工程师学会(SMPTE) 125M和SMPTE 274M是视频接口的典型示例。视频接口的其他示例包括添加数据能力信号的协议(例如数字视频交互(DVI)/ 视频电子标准协会(VESA))，其中使视频数据串行化的协议(例如高解析度多媒体接口 (HDMI))，以及其中将定时信息进一步多路复用到数据线中的协议(例如SMPTE 259M和 SMPTE 292M)。此后，如合适，将经由视频接口传输的信号的组称为“视频信号”，并将视频接口的 输入针和输出针的组称为“视频端口”。视频端口带宽视频端口稳定地提供了较宽的带宽和有效的速度。例如，24比特HID (在30帧每 秒(fps)的情况下1920X1080)视频端口确保了以1920X1080X30像素每秒=186兆字 节每秒(MB/s)的速率进行稳定的数据传输。由于显示解析度的提高、广播质量从标准解析度(SD) (720X480)转变为高解析 度(HD) (1920X1080)、显示器的显示性能的多样性(480i/480p/1080i/720p/1080p)、以及 其他原因，近年来视频端口带宽迅速地增大。在当前情况下，HD (30fps下1920X1080)和 极速扩展图形阵列(WUXGA) (60fps下1920X1200)带宽已经成为通常可获得。多信道视频
和音频近年来的音频视讯装置可以处理多路视频/音频信号。例如，家用数字记录器可以处理输出系统的数据，其包括不具有菜单或向导的视频的输出(视频输出)具有菜单或向导的视频的输出(监视输出)通过对来自天线的比特流进行解码获得的视频的输出(解码输出)。此外，还存在对于在视频处理中使用的专业装置的需求，在许多情况下，该专业装 置能够对输出系统的数据进行处理并且输出，其包括标准视频的输出(节目输出、视频输出)叠加视频的输出(监视输出)数秒之前的画面的视频(先前输出)要在外部显示器上显示的屏幕
装置显示器上的显示。具体而言，在视频处理中使用的专业装置中处理的数据可以包含各种显示尺寸以 及各种帧频率(刷新率)(例如SD/HD,4:2:2/4:4:4, RGB/YcbCr,隔行或逐行)的数据。还存在对于能够同时将多路视频流输入至处理器(例如同时输入和同时记录不 同格式的异步视频信号，在同时输入它们的情况下切换视频信号，或者在切换它们时处理 或修改视频信号并合成得到的信号)的输入系统的需求。配属于视频的音频的信道数量也 显著增加，例如5. lch, 7. lch, 9. Ich,以及在多个信道之间的多种语言。因此，要求音频视讯装置的处理器能够同时输入或输出多个视频流和多个音频 流。例如，日本未经审查的专利申请公开号2006-236056和2009-71701是现有技术的示例。

发明内容
通常处理器的视频和音频输入/输入端口在数年之前，已经良好地建立的是，地址信号和控制信号的信号线以及双向数据 线，或者控制信号的信号线以及地址/数据多路复用线被用作中央处理单元(CPU)、数字信 号处理器(DSP)等的输入/输出线。设置视频接口输入/输出端口已经较不普遍。设置有音频输入/输出端口的音频专用DSP已经可获取，并且设置有音频输入/ 输出端口的非音频专用DSP也变得日益更易于获取。随着近年来处理器的性能提高以及基 于使用对片上系统(SoC)的研发，包括视频输入/输出端口的处理器(例如媒体处理器、图 形处理单元(GPU)以及视频应用专用DSP)已经变得越来越易于获取。如上所述多个视频流经由传输的输入在从数百MHz至数GHz的范围内的波带中实 现。但是，将这样宽波带的信号输入至通用处理器是不现实的。并行输入涉及每端口数十 个信号线。串行输入音频是可行的，但是涉及每端口三个信号线(通常，两个信道)。对于视 频和音频两者，为处理器设置的针数与信道数量的增大成比例地增大。因此，通常，即使在包括音频及视频输入/输出端口的处理器中，一个输入端口和 一个输出端口可以被设置用于视频，并且多达一个或两个多信道输入/输出端口可以被设 置用于音频。为了使得处理器对如上所述多个视频流和多个音频流进行处理，这样小数量的输 入/输出端口被用于有效地输入和输出数据。因此，希望提供利用视频端口有效地将音频数据输入至处理器并有效地将音频数 据从处理器输出。此外，尤其在专业装置中，优选地，如上所述多个视频流和多个音频流的输入以减 小的延迟来进行。延迟包括例如由数据被输入至装置时的时间与数据被输入之处理器时的 时间之间的差异。因此，希望减小例如通过将多个输入数据流多路复用以同时从视频端口输入至处 理器所引起的数据延迟。根据本发明的实施例，一种信息处理设备包括以下元件。产生装置，其产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧。划分装置，其按照从所输入 的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据 项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本。多路复用 装置，其将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复 用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输 入的音频数据进行划分获得的。处理装置，其对在多路复用之后获得的所述多路复用视频 帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并用于从所述处理装置的 输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数据项以及所 述样本数信息进行多路复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路 复用视频帧从所述处理装置的输入视频端口输入所述处理装置。提取装置，其根据所述样 本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获 得的音频数据项的各流。发送装置，其按照从所述音频数据项的起初样本开始的顺序将所 提取的通过划分获得的音频数据项的所述流输出至外部。可以以与要输入的音频数据的流的数量相等的数量设置所述划分装置，并且可以 以与要输入的音频数据的流的数量相等的数量设置所述发送装置。每个所述划分装置和每 个所述发送装置可以对音频数据的一个流执行处理。所述多路复用装置可以被配置为将通过划分获得的多个音频数据项和与之相关 的样本数信息多路复用作为针对各个流位于预定位置的数据。所述提取装置可以被配置为通过提取样本来提取通过划分获得的音频数据项的 各个流，所述样本的数量由作为在所述预定位置处的数据被多路复用的所述样本数信息表示。所述多路复用视频帧可以被配置为其具有的屏幕尺寸大于或等于具有不同格式 的多个视频数据项的帧图像的屏幕尺寸的总和，所述屏幕尺寸由所述多个视频数据项的格 式界定，所述帧图像被配置为以彼此不重叠的方式贴附。所述多路复用装置可以被配置为还通过在维持由所述格式界定的所述屏幕尺寸 的情况下以彼此不重叠的方式将所述多个视频数据项的所述帧图像贴附于所述多路复用 视频帧，来将所述多个视频数据项多路复用。根据本发明的另一实施例，一种信息处理方法，包括以下步骤产生多路复用视频 帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；按照从所输入的音频数据的起初 样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在与所述多 路复用视频帧的一个帧的时段相对应的时段期间输入的样本；将多个音频数据项和表示包 括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据， 所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的；对在 多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据 项执行处理，并从所述处理装置的输出视频端口输出其中将已经对其执行了处理的、通过 划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视频帧，其 中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输入所述 处理装置；根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多 路复用的、通过划分获得的音频数据项的各流；并且按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。根据本发明的另一实施例，程序使得计算机执行包括以下步骤的处理产生多路 复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；按照从所输入的音频数 据的起初样本开始的顺序将所述音频数据划分为音频数据项，每个所述音频数据项具有在 与所述多路复用视频帧的一个帧的时段相对应的时段期间输入的样本；将多个音频数据项 和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频 帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获 得的；对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所 述音频数据项执行处理，并从所述处理装置的输出视频端口输出其中将已经对其执行了处 理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用 视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口 输入所述处理装置；根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频 帧中被多路复用的、通过划分获得的音频数据项的各流；并且按照从所述音频数据项的起 初样本开始的顺序将所提取的通过划分获得的音频数据项的所述流输出至外部。在本发明的实施例中，产生多路复用视频帧，所述多路复用视频帧是具有预定屏 幕尺寸的视频帧；按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为 音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的 时段期间输入的样本。此外，将多个音频数据项和表示包括在所述音频数据项中的样本数 的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多 个数据流中的每个输入的音频数据进行划分获得的。处理装置对在多路复用之后获得的所 述多路复用视频帧中被多路复用的、通过划分获得的所述音频数据项执行处理，并从所述 处理装置的输出视频端口输出其中将已经对其执行了处理的、通过划分获得的所述音频数 据项以及所述样本数信息进行多路复用得到的多路复用视频帧。此外，根据所述样本数信 息提取在从所述处理装置输出的所述多路复用视频帧中被多路复用的、通过划分获得的音 频数据项的各流。按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得 的音频数据项的所述流输出至外部。根据本发明的实施例，可以利用视频端口有效地将音频数据输入至处理器和将音 频数据从处理器输出。根据本发明的另一实施例，可以减小由将多个输入数据流多路复用以同时从视频 端口输入至处理器所引起的数据延迟。


图1是图示根据本发明的实施例的信息处理设备的示例构造的框图；图2是图示被截取出的音频样本的示例的图；图3是图示多路复用视频帧的示例的图；图4是图示在多路复用之后获得的多路复用视频帧的示例的图；图5是图示多路复用视频帧的视频信号的示例的图；图6是图示视频接口的示意图；图7是图示视频信号的波形的示例的图8是详细图示由图7中的实线箭头所表示的范围内的波形的图；图9是图示信息处理设备的处理的流程图；图10是图示图9的步骤Sl中执行的视频接收处理的流程图；图11是图示在图9的步骤S2中执行的音频接收处理的流程图；图12是图示在图9的步骤S4中执行的多路复用处理的流程图；图13是图示在图9的步骤S6中执行的提取处理的流程图；图14是图示在图9的步骤S7中执行的音频输出处理的流程图；图15是在图9的步骤S8中执行的视频输出处理的流程图；图16是图示多路复用视频帧的示例的图；图17是图示多路复用视频帧的另一示例的图；图18是图示用于输入的多路复用视频帧的区域构造的图；图19是图示要被多路复用的视频帧的示例的图；图20是图示视频流#0的帧的贴附的示例的图；图21是图示视频流#1的帧的贴附的示例的图；图22是图示视频流#2的帧的贴附的示例的图；图23是图示视频流#3的帧的贴附的示例的图；图M是图示音频数据的插入的示例的图；图25是图示从下向上布置的优点的示例的图；图沈是图示将音频数据插入在视频数据上方的缺点的图；图27是图示视频从上向下布置的缺点的图；图28是图示用于输出的多路复用视频帧的区域构造的示例的图；图四是图示在多路复用之后获得的多路复用视频帧的示例的图；图30是图示从上向下布置的优点的图；图31是图示音频数据插入在视频数据下方的缺点的图；图32是图示视频从下向上布置的缺点的图；图33是图示信息处理设备的处理的流程图；图34是图示图33的步骤SlOl中执行的视频接收处理的流程图；图35是图示在图33的步骤S102中执行的音频接收处理的流程图；图36是图示在图33的步骤S104中执行的多路复用处理的流程图；图37是图示在图33的步骤S107中执行的提取处理的流程图；图38是图示在图33的步骤S108中执行的音频输出处理的流程图；图39是图示在图33的步骤S109中执行的视频输出处理的流程图；图40是图示信息处理设备的另一示例构造的框图；图41是图示信息处理设备的另一示例构造的框图；图42是如图41所示的多路复用视频的放大视图；图43是图示信息处理设备的另一示例构造的框图；图44是图示信息处理设备的另一示例构造的框图；图45是图示信息处理设备的另一示例构造的框图；图46是图示信息处理设备的另一示例构造的框图；并且
图47是图示计算机的示例构造的框图。
具体实施例方式信息处理设备的总体构造图1是图示根据本发明的实施例的信息处理设备1的示例构造的框图。信息处理设备1可以是被配置为使用具有单输入单输出视频端口的处理器43来 对视频数据流和音频数据流这两个流进行处理并将视频数据流和音频数据流这两个流输 出的装置。从外部供应的视频流#1的视频信号与同步信号一起被输入至视频接收电路 21-1，并且视频流#2的视频信号与同步信号一起被输入至视频接收电路21-2。视频流#1和#2可以具有相同的格式或不同的格式，例如解析度、帧率、扫描协议、 传输协议、以及压缩协议。视频流#1和#2的帧的输入定时可以不一定彼此同步。从外部供应的音频流#1的音频信号被输入至音频接收电路31-1，并且音频流#2 的音频信号被输入至音频接收电路31-2。音频信号可以例如三线音频(其具有时钟信号、 数据信号、以及表示采样频率的信号)的模式被输入至音频接收电路31-1和31-2。音频流#1和#2也可以具有相同的格式或不同的格式，例如采用频率、比特数、以 及信道数。此外，音频流#1和#2的输入定时可以不一定彼此同步。音频可以配属于视频， 或者可以与视频相独立。视频接收电路21-1包括线缆均衡器、并行器、各种解码器、4:2:2/4:4:4解码器、 模拟/数字(A/D)转换器、以及任意其他合适装置。视频接收电路21-1对输入视频信号执 行诸如A/D转换之类的各种处理，并产生视频流#1的视频信号的帧数据。视频接受电路 21-1将所产生的帧数据输出至帧同步器22-1。帧同步器22-1使得多个视频流之间的帧的定时同步，并使从视频接收电路21-1 供应的一个帧的数据存储在帧存储器23-1中。根据来自多路复用电路42-1的请求，帧同 步器22-1从帧存储器23-1读取帧数据，并输出该帧数据。关于实施，如果具有不同频率的时钟被用作视频接收电路21-1、帧同步器22-1和 多路复用电路42-1的工作时钟，则在视频接收电路21-1与帧同步器22-1之间以及在帧同 步器22-1与多路复用电路42-1之间设置诸如双端口随机存取存储器(RAM)之类的先入先 出机制(FIFO)。通过FIFO的数据被可靠地发送和接收。此外，可以减少存储器存取期间数
据率偏差。FIFO也可以被适当地设置在视频接收电路21-2与帧同步器22-2之间以及影像传 感器22与多路复用电路42-2之间。同样在用于处理音频数据的构造中，FIFO可以被适当 地设置在音频接收电路31-1与存储器控制电路32-1之间，存储器控制电路32-1与多路复 用电路42-3之间，音频接收电路31-2与存储器控制电路32-2之间，以及存储器控制电路 32-2与多路复用电路42-4之间。这里，不保证视频流#1的输入视频信号的帧频率和如下所述多路复用视频信号 的帧频率一致。帧同步器22-1通过将存储在帧存储器23-1中的视频数据冗余地供应至多 路复用电路42-1 (连续供应相同帧的数据)或通过跳过数据的读取，来吸收帧频率之间的 差异。视频流#1的视频信号的帧频率和多路复用视频信号的帧频率之间的一致化在日本未经审查的专利申请公开号2009-71701中描述。与视频接收电路21-1相似，视频接收电路21-2对输入视频信号执行各种处理，并 产生视频流#2的帧数据。视频接收电路21-2将所产生的帧数据输出至帧同步器22-2。与帧同步器22-1相似，帧同步器22-2使各个视频信号流之间的帧定时同步，并使 得从视频接收电路21-2供应的帧数据存储在帧存储器23-2中。根据来自多路复用电路 42-2的请求，帧同步器22-2从帧存储器23-2读取帧数据，并输出该帧数据。帧同步器22_2 还根据需要冗余地读取存储在帧存储器23-2中的帧数据或跳过读取。音频接收电路31-1对输入音频信号执行各种处理，例如A/D转换、采样率转换、以 及串行/并行(S/P)转换，并产生音频流#1的音频数据。所产生的音频数据由音频样本的 时间序列构成。音频接收电路31-1将音频流#1的音频数据划分(截取)为音频数据项，每个所 述音频数据项具有在与多路复用视频帧的一个帧时段对应的时段期间输入的样本。音频接 收电路31-1还将得到的各个音频数据项与样本数信息(其是表示其音频样本的数量的信 息)一起输出至存储器控制电路32-1。表示多路复用视频帧的一个帧时段的同步信号从多 路复用视频信号产生电路41供应至音频接收电路31-1。多路复用视频帧将在下文描述。图2是图示被截取的音频样本的示例。在图2中，横轴表示时间，时间轴上的实线表示音频样本。在图2的示例中，从多 路复用视频信号产生电路41供应的同步信号(竖直同步信号)界定了时段T1(其是从时刻 、到时刻t2的时间段)和时段T2(其是从时刻t2到时刻t3的时间段)中的每个均是多路 复用视频帧的一个帧时段。音频接收电路31-1对时段T1期间输入的音频样本的数量进行计数，并在时刻t2 的定时截取在时段T1期间输入的音频样本。音频接收电路31-1将截取的音频样本的数据 作为要在时段T1期间被多路复用到从多路复用视频信号产生电路41输出的多路复用视频 帧中的数据，与样本数信息一起输出至存储器控制电路32-1。相似地，音频接收电路31-1截取时段T2期间输入的音频样本，并将截取的音频样 本的数据作为要在时段T2期间被多路复用到从多路复用视频信号产生电路41输出的多路 复用视频帧中的数据，与样本数信息一起输出。对音频数据的处理与对视频数据的处理的不同之处在于不使用帧同步器功能。在 原理方面，不不允许音频数据的冗余或丢弃。因此，在音频接收电路31-1中，基于多路复用 视频帧的同步信号，在一个帧时段期间输入的音频样本被原样截取作为要被多路复用到一 个多路复用视频帧中的音频数据。如果音频数据的采样频率不是多路复用视频帧的帧频率的整数倍，则会在一个帧 时段期间输入至音频接收电路31-1的音频样本的数量方面产生变化。样本数信息也被多 路复用至多路复用视频帧中，从而使得已经接收了多路复用视频帧的处理器43等能够判 断已经被多路复用在多路复用视频帧中的音频样本的数量。再参照图1，存储器控制电路32-1使得从音频接收电路31-1供应的音频数据、样 本数信息存储在存储器33-1中。根据来自多路复用电路42-3的请求，存储器控制电路32-1 从存储器33-1读取音频数据和样本数信息，并输出音频数据和样本数信息。与音频接收电路31-1相似，音频接收电路31-2执行对输入音频信号的各种处理，
12并产生音频流#2的音频数据。音频接收电路31-2将音频流#2的音频数据划分为音频数 据项(每个所述音频数据项具有在与多路复用视频帧的一个帧时段期间输入的样本)，并 且将各个得到的音频数据项与样本数信息一起输出至存储器控制电路32-2。存储器控制电路32-2使得从音频接收电路31-2供应的音频数据和样本数信息存 储在存储器33-2中。根据来自多路复用电路42-4的请求，音频接收电路32-2从存储器 33-2读取音频数据和样本数信息，并输出音频数据和样本数信息。多路复用视频信号产生电路41可以是具有振荡器和锁相环路的频率倍增器 (PLL)。多路复用视频信号产生电路41产生要被输入至处理器43或从处理器43输出的视 频帧，其中视频数据和音频数据的各个流被多路复用。通过多路复用视频信号产生电路41 产生的视频帧可以是具有在其中例如用于传输的带宽不超过处理器43的视频端口的带宽 的范围内允许的最大尺寸(像素数量)的帧。此后，将用于多路复用视频数据、音频数据等的视频帧成为“多路复用视频帧”。此 外，将多路复用视频帧的信号称为“多路复用视频信号”。图3是图示多路复用视频帧的示例的图。如图3所示，由多路复用视频信号产生电路41产生的多路复用视频帧可以是其中 没有视频数据或音频数据被多路复用的空白影像。多路复用视频帧的尺寸大于各个流的视频的帧尺寸与在多路复用视频帧的一个 帧时段期间输入的各个流的音频的音频数据的尺寸的总和。可以将各个流的视频帧贴附于 多路复用视频帧以彼此不重叠。还可以将在多路复用视频帧的一个帧时段期间输入的各个 流的音频的音频样本的数据插入。多路复用视频信号产生电路41将多路复用视频帧的数据和同步信号输出至多路 复用电路42-1。多路复用视频帧的同步信号与多路复用视频帧的数据一起被供应至设置于 多路复用电路42-1之后的各电路。从多路复用视频信号产生电路41输出的同步信号也被 供应至音频接收电路31-1和31-2。多路复用电路42-1将其数据已经根据请求从帧同步器22-1供应的视频流#1的 帧贴付(插入)至从多路复用视频信号产生电路41供应的多路复用视频帧。多路复用电 路42-1将其中已经贴附了视频流#1的帧的多路复用视频帧的数据输出至多路复用电路 42-2。多路复用电路42-2将其数据已经根据请求从帧同步器22-2供应的视频流#2的 帧贴付(插入)至从多路复用电路42-1供应的多路复用视频帧。视频流#2的一个帧被贴 附在不与视频流#1的帧重叠的位置。多路复用电路42-2将其中已经贴附了视频流#2的 帧的多路复用视频帧的数据输出至多路复用电路42-3。从多路复用电路42-2输出的多路复用视频帧的数据是其中视频流#1的一个帧的 数据和视频流#2的一个帧的数据已经被多路复用的数据。多路复用电路42-3将已经根据请求从存储器控制电路32-1供应的音频流#1的 音频数据和样本数信息插入到从多路复用电路42-2供应的多路复用视频帧。多路复用电 路42-3将其中已经插入了音频流#1的音频数据和样本数信息的多路复用视频帧的数据输 出至多路复用电路42-4。多路复用电路42-4将已经根据请求从音频接收电路32-2供应的音频流#2的音频数据和样本数信息插入到从多路复用电路42-3供应的多路复用视频帧。多路复用电路 42-4将其中已经插入了音频流#2的音频数据和样本数信息的多路复用视频帧的数据输出 至处理器43。被输入至处理器43的是一个视频数据流。图4是图示在多路复用之后获得的多路复用视频帧的示例的图。被输入至处理器43的多路复用视频帧是其中视频流#1的一个帧和视频流#2的 一个帧已经被贴附并且其中在多路复用视频帧的一个帧时段期间输入的音频流#1和#2的 音频数据被插入的影像。在以下说明中，根据需要，布置在水平线中的像素由线表示。在图4的示例中，视频流#1的帧被贴附使得帧的左上角与多路复用视频帧的有效 影像帧的左上端对准。视频流#1的帧的第一线与多路复用视频帧的第一线一致。此外，视频流#2的帧被贴附为不与视频流#1的帧重叠，使得视频流#2的帧的第 一线与多路复用视频帧的第m线对准。此外，音频流#1的音频数据被插入到第(n-2)线与下一线(即，第(n_l)线)之 间，并且音频流#2的音频数据被插入到多路复用视频帧的底部线(即，第η线)中。例如，如图4所示，表示被插入在多路复用视频帧中的音频流#1的音频样本的数 量的样本数信息S1被插入在作为被分配给音频流#1的线的开始的第(Π-2)线的开始处。此外，例如，表示被插入在多路复用视频帧中的音频流#2的音频样本的数量的样 本数信息&被插入在作为被分配给音频流#2的线的开始的第η线的开始处。与各个数据线的多路复用位置相关的信息被预先设定在多路复用电路42-1至 42-4、处理器43以及提取电路45-1至45-4中。与多路复用位置相关的信息包括表示什么 数据在什么位置被贴附至多路复用视频帧相关的信息，例如，水平位置、竖直位置、横向尺 寸、纵向尺寸、以及线间隔。图5是图示其中各个数据项以如图4所示的方式贴附的多路复用视频帧的视频信 号的示例的图。如图5所示，当绘制在时间轴上时，多路复用视频信号其中由多路复用视频帧的 第一线至第η线的范围内的线的数据被传输的各个时段的信号构成。在图5的示例中，时段T1 (作为从时刻、至时刻t2的时段)是多路复用视频帧的 第一线的数据被传输的时段，时段T2 (作为从时刻t2至时刻t3的时段)是多路复用视频帧 的第二线的数据被传输的时段。此外，时段Tm(作为从时刻tm至时刻tm+1的时段)是多路复用视频帧的第m线的 数据被传输的时段，时段Tn_2 (作为从时刻tn_2至时刻tn_i的时段)是多路复用视频帧的第 (n-2)线的数据被传输的时段。时段Tlri (作为从时刻V1至时刻tn的时段)是多路复用 视频帧的第(n-1)线的数据被传输的时段，并且时段Tn(作为从时刻tn至时刻tn+1的时段) 是多路复用视频帧的第η线的数据被传输的时段。如果各个数据项以如图4所示的方式贴附，则视频流#1的帧的第一线的信号被插 入在多路复用视频信号的时段T1中。此外，视频流#1的帧的第二线的信号被插入在多路 复用视频信号的时段T2中。此外，视频流#1的帧的第m线的信号和视频流#2的帧的第一线的信号在两者之 间具有预定间隔的情况下被分别插入在多路复用视频帧的时段Tm的前一半和后一半中。样本数信息S1被插入在多路复用视频帧的时段Tn_2的开始处。在时段Τη_2和Tlri中，在样本数信息S1之后，插入其数量已经由样本数信息S1表示的音频流#1的音频样本的 fn息ο样本数信息&被插入在多路复用视频帧的时段Tn的开始处，并且，在样本数信息 S2之后，插入其数量已经由样本数信息&表示的音频流#2的音频样本的信息。以此方式，通过将输入数据的信号插入到构成多路复用视频信号的全部时段当中 的、与多路复用视频帧中贴附位置对应的时段中，来完成要被输入至处理器43的数据的多 路复用。再参照图1，处理器43提取在被输入至视频端口(视频输入)的多路复用视频帧 的数据中被多路复用的各视频数据流和各音频数据流，并对所提取的数据执行预定处理。 处理器43可以是诸如CPU、GPU、DSP、或SoC装置之类的运算单元。例如，以与下述由提取电路45-3和45-4执行的提取相似的方式来执行视频数据 的提取，并且以与提取电路45-1和45-2执行的提取相似的方式来执行音频数据的提取。处理器43还将已经对其执行了处理的各个流的视频帧和音频样本贴附于多路复 用视频帧，并将这些数据项多路复用。从处理器43输出的多路复用视频帧中各个视频数据项和音频数据项的多路复用 位置可以与被输入至处理器43的多路复用视频帧中的多路复用位置不同。此外，可以对整 个多路复用视频帧而不是对各个视频数据流和各个音频数据流进行处理。处理器43从视频端口(视频输出)输出其中处理之后获得的数据项已经被多路 复用的多路复用视频帧。来自处理器43的输出也是一个视频数据流。从处理器43输出的 多路复用视频帧的数据与同步信号一起被供应至提取电路45-1。从处理器43输出的同步 信号也被供应至定时产生电路44。定时产生电路44根据从处理器43供应的同步信号或者各个流的视频和音频格式 产生定时信号，基于所述定时信号确定各个流的视频帧和音频样本的输出定时。例如，视频 流#1的一个帧的数据和视频流#2的一个帧的数据被同步并同时输出。在定时产生电路44中，与各个流的视频格式(例如帧频率)相关的信息以及与各 个流的音频格式(例如采样频率)相关的信息被预先设定。具体而言，定时产生电路44将用于视频流#1的同步信号输出至视频发送电路 53-1，并将用于视频流#2的同步信号输出至视频发送电路53-2。定时产生电路44还将用 于音频流#1的同步信号输出至音频发送电路63-1，并将用于音频流#2的同步信号输出至 音频发送电路63-2。提取电路45-1由从处理器43供应的多路复用视频帧的数据提取音频流#2的音 频数据。如参照图4所述，要由提取电路45-1提取的音频流#2的音频数据的多路复用位 置例如被预先设定为多路复用视频帧的第η线。此外，被插入在第η线中的音频流#2的音 频样本的数量由被插入在第η线的开始处的样本数信息&表示。当被供应多路复用视频帧时，提取电路45-1提取被插入在第η线的开始处的预定 比特数的数据作为样本数信息&，并识别被插入在第η线中的音频流#2的音频样本的数 量。提取电路45-1还提取在样本数信息&之后被插入在第η线中、并且其量对应于所识 别的样本数的数据作为音频流#2的音频样本。
提取电路45-1将所提取的音频流#2的音频样本输出至存储器控制电路61-2，并 将从处理器43供应的多路复用视频帧的数据输出至提取电路45-2。提取电路45-2以与提取电路45-1相似的方式由从提取电路45_1供应的多路复 用视频帧提取音频流#1的音频数据。具体而言，提取电路45-2提取被插入在第(n-2)线的开始处的预定比特数的数据 作为样本数信息S1，并识别被插入在第(n-2)线和第(n-1)线中的音频流#1的音频样本数。 提取电路45-2还提取在样本数信息&之后被插入在第(n-2)线和第(n-1)线中的、并且 其量对应于所识别的样本数的数据作为音频流#1的音频样本。提取电路45-2将所提取的视频流#1的音频样本输出至存储器控制电路61-1，并 将从提取电路45-1供应的多路复用视频帧的数据输出至提取电路45-3。提取电路45-3由从提取电路45-2供应的多路复用视频帧的数据提取视频流#2 的帧数据。如参照图4所述，要由提取电路45-3提取的视频流#2的帧数据的多路复用位置 被预先设定。提取电路45-3从多路复用视频帧提取被预先设定为视频流#2的帧的多路复 用位置的位置处的数据，作为视频流#2的帧数据。提取电路45-3将所提取的视频流#2的帧数据输出至帧同步器51_2，并将从提取 电路45-2供应的多路复用视频帧的数据输出至提取电路45-4。提取电路45-4以与提取电路45-3相似的方式由从提取电路45_3供应的多路复 用视频帧的数据提取视频流#1的帧数据。提取电路45-4将所提取的视频流#1的帧数据 输出至帧同步器51-1。帧同步器51-1使得从提取电路45-4供应的视频流#1的帧数据被存储在帧存储 器52-1中。根据来自视频发送电路53-1的请求，帧同步器51-1从帧存储器52_1读取帧 数据，并输出帧数据。视频发送电路53-1包括线缆驱动器、串行化器、各种编码器、4:2:2/4:4:4转换 器、数字/模拟(D/A)转换器、以及任意其他合适的装置。视频发送电路53-1根据从定时 产生电路44供应的输出定时信号，将根据请求从帧同步器51-1供应的视频流#1的帧数据 与同步信号一起输出至信息处理设备1的外部。在将从帧同步器51-1供应的帧数据输出 至信息处理设备1的外部之前，视频发送电路53-1适当地执行对从帧同步器51-1供应的 帧数据的预定处理，例如D/A转换。就实施而言，如果将具有不同频率的时钟用作提取电路45-4、帧同步器51-1和视 频发送电路53-1的工作时钟，则将诸如双端口 RAM之类的FIFO设置在提取电路45-4与帧 同步器51-1之间以及帧同步器51-1与视频发送电路53-1之间。通过FIFO的数据可以被 可靠地发送和接收。此外，也可以减小存储器存取期间的数据率偏差。FIFO也适当地设置在提取电路45-3与帧同步器51_2之间以及帧同步器51_2与 视频发送电路53-2之间。同样在用于处理音频数据的构造中，将FIFO适当地设置在提取电 路45-2与存储器控制电路61-1之间，存储器控制电路61-1与音频发送电路63_1之间，提 取电路45-1与存储器控制电路61-2之间，以及存储器控制电路61-2与音频发送电路63_2 之间。这里，不保证视频流#1的输出视频信号的帧频率和多路复用视频信号的帧频率一致。帧同步器51-1通过将帧存储器52-1中存储的视频数据冗余地供应(将相同帧的视 频数据连续地供应)至视频发送电路53-1或者通过跳过数据的读取，来吸收帧频率之间的差。帧同步器51-2使得从提取电路45-3供应的视频流#2的帧数据被存储在帧存储 器52-2中。根据来自视频发送电路53-2的请求，帧同步器51-2从帧存储器52_2读取帧 数据，并输出帧数据。与视频发送电路53-1相似，视频发送电路53-2根据从定时产生电路44供应的输 出定时信号，将响应于请求从帧同步器51-2供应的视频流#2的帧数据与同步信号一起输 出至外部。在将从帧同步器51-2供应的帧数据输出至信息处理设备1的外部之前，视频发 送电路53-2根据需要对从帧同步器51-2供应的帧数据执行预定处理，例如D/A转换。存储器控制电路61-1使得从提取电路45-2供应的音频流#1的数据临时地存储 在存储器62-1中。存储器62-1以多路复用视频帧的一个帧时段期间输入的音频样本为单 位存储音频流#1的音频数据。根据来自音频发送电路63-1的请求，存储器控制电路61-1 从存储器62-1读取音频数据，并输出音频数据。音频发送电路63-1根据从定时产生电路44供应的输出定时信号，以一个样本的 数据为单位将从存储器控制电路61-1供应的音频流#1的音频数据输出至信息处理设备1 的外部。在将从帧同步器51-1供应的音频数据输出至信息处理设备1的外部之前，音频发 送电路63-1根据需要执行对从帧同步器51-1供应的音频数据的预定处理，例如采样频率 转换和D/A转换。存储器控制电路61-2使得从提取电路45-1供应的音频流#2的音频数据暂时地 存储在存储器62-2中。根据来自音频发送电路63-2的请求，存储器控制电路61-2从存储 器62-2读取音频数据，并输出音频数据。音频发送电路63-2根据从定时产生电路44供应的同步信号，以一个样本的数据 为单位将从存储器控制电路61-2供应的音频流#2的音频数据输出至信息处理设备1的外 部。在将从存储器控制电路61-2供应的音频数据输出至信息处理设备1的外部之前，音频 发送电路63-2根据需要对从存储器控制电路61-2供应的音频数据执行预定处理，例如D/ A转换。视频接口图6是图示视频接口的示意图。在视频接口中，水平同步信号(H-Sync)、竖直同步信号(V-Sync)、场标记信号 (Field Flag)、包括影像和声音的数据信号(Data)、表示时钟的激活信号(EN)等从发送器 侧传输至接收器侧。场标记信号表示第一场或第二场。使用如图6所示的视频接口传输的视频信号的波形的示例如图7所示。在图7的 上部中的信号组#11中，图示了隔行视频信号的波形的示例，并且在图7的下部中的信号组 #12中，图示了逐行视频信号的波形的示例。在如图7中的信号组#11所示的波形当中在由实线箭头表示的范围内的波形的细 节在图8中示出。图8图示了高解析度(HD)影像的视频信号的波形的示例。如图8所示，在竖直同步信号(V)的一个周期期间传输用于一个场(540线)的数 据(Data)(有效视频)。此外，在水平同步信号(H)的一个周期期间传输用于一个线的数据(Data) (1920 个像素)。信息处理设备的操作这里，将参照图9的流程图描述如图1所示的信息处理设备1的处理。在步骤Si，视频接收电路21-1和21-2执行视频接收处理。由视频接收电路21_1 接收的视频流#1的帧数据被存储在帧存储器23-1中。此外，由视频接收电路21-2接收的 视频流#2的帧数据被存储在帧存储器23-2中。在步骤S2，音频接收电路31-1和31-2执行音频接收处理。由音频接收电路31_1 截取出的、在多路复用视频帧的一个帧时段期间输入的音频流#1的音频样本以及样本数 信息被存储在存储器33-1中。此外，由音频接收电路31-2截取出的、在多路复用视频帧的 一个帧时段期间输入的音频流#2的音频样本以及样本数信息被存储在存储器33-2中。在步骤S3，多路复用视频信号产生电路41产生多路复用视频帧，并输出多路复用 视频帧的数据和同步信号。在步骤S4,执行多路复用处理。具体而言，由多路复用电路42-1将视频流#1的一 个帧贴附于多路复用视频帧，并由多路复用电路42-2将视频流#2的一个帧贴附于多路复 用视频帧。此外，由多路复用电路42-3将音频流#1的音频数据和样本数信息插入到多路 复用视频帧中，并由多路复用电路42-4将音频流#2的音频数据和样本数信息插入到多路 复用视频帧中。在步骤S5，提取电路45对被输入至视频端口的多路复用视频帧的数据中所多路 复用的视频数据和音频数据执行预定处理。此外，处理器43将其中处理之后获得的数据已 经被多路复用的多路复用视频帧从视频端口输出。在步骤S6，执行提取处理。具体而言，由提取电路45-1从多路复用视频帧的数据 提取音频流#2的音频数据，并由提取电路45-2从多路复用视频帧的数据提取音频流#1的 音频数据。此外，由提取电路45-3从多路复用视频帧的数据提取视频流#2的视频数据，并 由提取电路45-4从多路复用视频帧的数据提取视频流#1的视频数据。在步骤S7，执行音频输出处理。从多路复用视频帧提取的音频流#1的数据被临时 存储在存储器62-1中，并接着逐个样本地输出至外部。此外，从多路复用视频帧提取的音 频流#2的数据被临时存储在存储器62-2中，并接着逐个样本地输出至外部。在步骤S8，执行视频输出处理。从多路复用视频帧提取的视频流#1的帧数据被 临时存储在帧存储器52-1中，并接着被输出至外部。此外，从多路复用视频帧提取的视频 流#2的帧数据被临时存储在帧存储器52-2中，并接着被输出至外部。在音频输出处理已 经完成之后，处理结束。接着，将参照图10的流程图描述在图9的步骤Sl中执行的视频接收处理。在步骤Sl 1，视频接收电路21-1接收输入视频信号，并执行诸如A/D转换之类的各 种处理以产生视频流#1的帧数据。视频接收电路21-2也执行相似处理以产生视频流#2 的帧数据。在步骤S12，帧同步器22-1使得由视频接收电路21_1产生的视频流#1的帧数据 存储在帧存储器23-1中。帧同步器22-2也使得视频流#2的帧数据存储在帧存储器23-2中。在视频流#1的帧数据和视频流#2的帧数据被分别存储在帧存储器23-1和23_2
18中之后，处理返回图9的步骤Si，并执行后续步骤。接着，将参照图11的流程图描述图9的步骤S2中执行的音频接收处理。在步骤S21，音频接收电路31-1接收输入音频信号，并执行诸如A/D转换之类的处 理以产生由音频样本的时间序列构成的音频流#1的音频数据。音频接收电路31-2也执行 相似处理以产生音频流#2的音频数据。在步骤S22，音频接收电路31-1在对样本数进行计数的同时截取在多路复用视频 帧的一个帧时段内输入的音频流#1的音频样本。音频接收电路31-2也执行相似处理，并 截取在多路复用视频帧的一个帧时段内输入的音频流#2的音频样本。在步骤S23，存储器控制电路32-1使得所截取的音频流#1的音频样本以及样本数 信息存储在存储器33-1中。存储器控制电路32-2也使得所截取的音频流#2的音频样本 以及样本数信息以及音频格式信息存储在存储器33-2中。在音频流#1的音频样本和音频流#2的音频样本被存储在存储器33-1和33_2中 之后，处理返回至图9的步骤S2，并执行后续步骤。接着，将参照图12的流程图描述在图9的步骤S4中执行的多路复用处理。在图 9的步骤S3中产生的多路复用视频帧的数据被供应至多路复用电路42-1。在步骤S31，多路复用电路42-1请求帧同步器22_1从帧存储器23_1读取视频流 #1的帧数据。在步骤S32，多路复用电路42-1将从帧存储器23_1读取的视频流#1的帧插入到 从多路复用视频信号产生电路41供应的多路复用视频帧的预定位置。还由多路复用电路42-2执行与步骤S31和S32相似的处理，并将其数据已经从帧 存储器23-2读取的视频流#2的帧贴附于从多路复用电路42-1供应的多路复用视频帧。在步骤S33，多路复用电路42-3请求存储器控制电路32_1从存储器33_1读取音 频流#1的音频数据并从存储器33-1读取样本数信息。在步骤S34，多路复用电路42-3将音频流#1的音频数据以及从存储器33_1读取 的样本数信息插入到从多路复用电路42-2供应的多路复用视频帧中。还由多路复用电路42-4执行与步骤S33和S34相似的处理，并将从存储器33_2 读取的音频流#2的音频数据与样本数信息一起插入到从多路复用电路42-3供应的多路复 用视频帧中。在全部视频数据和音频数据的流已经被多路复用到多路复用视频帧的数据中之 后，处理返回至图9的步骤S4，并执行后续步骤。处理器43对被多路复用为多路复用视频 帧的数据的视频数据和音频数据执行处理，并将其中处理之后的数据已经被多路复用的多 路复用视频帧的数据供应至提取电路45-1。接着，将参照图13的流程图描述在图9的步骤S6中执行的提取处理。在步骤S51，提取电路45-1接收从处理器43输出的多路复用视频帧的数据。在步骤S52，如上所述，提取电路45-1参照样本数信息，并从多路复用视频的数据 提取音频流#2的音频数据。在步骤S53，存储器控制电路61-2使得由提取电路45_1提取的音频流#2的音频 数据存储在存储器62-2中。还由提取电路45-2和存储器控制电路61-1执行与步骤S52和S53相似的处理，并将从多路复用视频帧的数据提取的音频流#1的音频数据存储在存储器62-1中。在步骤S54，提取电路45-3从多路复用视频帧的数据提取视频流#2的帧数据。在步骤S55，帧同步器51-2使得由提取电路45_3提取的视频流#2的帧数据存储 在帧存储器52-2中。还由提取电路45-4和帧同步器51-1执行与步骤SM和S55相似的处理，并将从 多路复用视频帧的数据提取的视频流#1的帧数据存储在帧存储器52-1中。在已经从多路复用视频帧提取全部视频数据和音频数据的流之后，处理返回至图 9的步骤S6，并执行后续处理。接着，将参照图14的流程图描述在图9的步骤S7中执行的音频输出处理。在步骤S61，音频发送电路63-2请求存储器控制电路61_2从存储器62_2读取音 频流#2的音频数据。在步骤S62，音频发送电路63-2以一个样本的数据为单位将音频流#2的音频数据 输出至外部。还由音频发送电路63-1执行与步骤S61和S62相似的处理，并将从存储器62_1 读取的音频流#1的音频数据输出至外部。在已经输出全部音频数据的流之后，处理返回至图9的步骤S7，并执行后续步骤。接着，将参照图15的流程图描述在图9的步骤S8中执行的视频输出处理。在步骤S71，视频发送电路53-2请求帧同步器51_2从帧存储器52_2读取视频流 #2的帧数据。在步骤S72，视频发送电路53-2将从帧存储器52_2读取的视频流#2的帧数据输 出至外部。还由视频发送电路53-1执行与步骤S71和S72相似的处理，并将从帧存储器52_1 读取的视频流#1的帧数据输出至外部。在全部视频流的帧数据已经输出之后，处理返回至图9的步骤S8，并执行后续处理。上述步骤的处理可以不一定按照图中所示的顺序执行，并可以根据需要与其他步 骤的处理并行地执行，或者在其他步骤的处理之前或之后执行。利用上述这些系列的处理，可以将视频数据和音频数据的多个流输入至包括一个 输入视频端口的处理器43。此外，可以将视频数据和音频数据的多个流从包括一个输出视 频端口的处理器43输出。换言之，能够利用一个视频端口高效地进行将数据输入至处理器 43和从处理器43输出数据。多路复用的示例在前述说明中，两个视频信号流和两个音频信号流被输入至信息处理设备1。但 是，要被输入的信号的数量可以根据需要改变。例如，可以输入四个视频信号流和四个音频 信号流。图16是图示在输入四个视频信号流和四个音频信号流的情况下多路复用视频帧 的示例的图。在图16的示例中，视频流#0至#3的帧被贴附在多路复用视频帧的有效影像帧 中，以在维持其帧尺寸的情况下彼此不重叠。在如图16所示的多路复用视频帧中，设置空白区域以沿着水平和竖直方向延伸，并且在有效影像帧内从第一线到预定线的区域被设定 为视频区域A1作为用于视频的区域。作为用于音频的区域的音频区域A2还界定在区域A1下方。音频流#0至#3的音 频数据按照被输入到信息处理设备1中的顺序从音频区域A2的各个线的左端开始被紧密 地插入到各个线中。在各个线的开始处，表示音频样本的数量的样本数信息被插入在线中。样本数信 息可以不一定被插入在被各个音频数据流的线的开始处，并可以被插入在另一位置，例如 多路复用帧的空白时段。在图16中，被插入在各个线中的音频数据部分的不同水平长度表示被插入的音 频数据的量取决于流而不同。如上所述，被多路复用到同一多路复用视频帧中的音频数据 在多路复用视频帧的帧时段期间输入。因此，如果各音频数据具有不同的采用频率或不同 的量化精度，则会在被多路复用到同一多路复用中的音频数据的量方面产生不同。图17是图示在四个视频信号流和四个音频信号流被输入的情况下多路复用视频 帧的另一示例的图。在如图17所示的多路复用视频帧的视频区域A1中，具有沿着水平方向布置的像 素(其数量等于有效影像帧在水平方向上的像素数量)和沿着竖直方向布置的像素(其数 量对应于线的预定数量)的区域被设定为各视频流的帧数据要被插入的区域。在图17的 示例中，视频流#0至#3的帧数据要被插入的区域按照从上部开始的顺序设定。以此方式，代替在输入尺寸得到维持的情况下贴附于多路复用视频帧，各个视频 流的帧可以以与其被输入时不同的形状被贴附。取决于各个视频流的帧要被贴附的区域的 设定，可以实现数据的有效多路复用。利用用于输入的多路复用视频帧进行的多路复用操 作这里，将描述利用多路复用视频帧来将视频数据和音频数据进行多路复用的方 法。首先，将描述由多路复用电路42 (在图1的示例中，多路复用电路42-1至42_4) 执行的使用用于输入至处理器43的多路复用视频帧进行的多路复用。图18是用于输入的多路复用视频帧的区域构造的示例的图。如图18所示，设置空白区域以沿着用于输入的多路复用视频帧的水平方向和竖 直方向延伸。在图18的示例中，在有效影像帧内从第一线到第Hi1线的区域被设定为作为 用于视频的区域的视频区域~。此外，在有效影像帧内从第(mi+l)线到第η线的区域被界 定为作为用于音频的区域的音频区域Α2。以此方式，视频区域A1被界定在用于输入的多路复用视频帧的上部，并且音频区 域八2被界定在视频区域A1下方。当在时间轴上绘制用于输入的多路复用视频帧时，按照从 用于输入的多路复用视频帧的上部到下部的顺序执行处理。图19是图示要被贴附于如图18所示的用于输入的多路复用视频帧的视频帧的示 例的图。将就四个视频数据流(即，视频流#0至#3)的多路复用的内容给出以下说明。在图19的示例中，视频流#0具有720X486i (SD)的帧尺寸，并且视频流#1具有 1280X720p(720p)的帧尺寸。此外，视频流#2具有1280X720p (720p)的帧尺寸，其与视频流#1的帧尺寸相同，并且视频流#3具有1920 X 1080i (HD)的帧尺寸。要被贴附于用于输入的多路复用视频帧的帧被划分为例如线，并且每个线被贴附 于用于输入的多路复用视频帧上的不同线。此外，要被贴附的帧数据被贴附为彼此不重叠，并且交错。交错是用于将同一帧的 线以沿着竖直方向不连续的方式布置在用于输入的多路复用视频帧上的方法。将描述视频流#0和#3的帧按此顺序被贴附于多路复用帧的情况。视频流#0至 #3的帧是隔行帧。实际上，在视频流#0和#3中，形成一个场的线被贴附至一个用于输入的 多路复用视频帧。但是，在以下说明中，假定帧被贴附。图20是图示其中视频流#0的帧已经被贴附的用于输入的多路复用视频帧的示例 的图。在图20的示例中，视频流#0的帧的线在720像素的范围内沿着水平方向从有效 影像帧的左端向右插入，并在243X2线的范围内沿着竖直方向从作为视频区域A1的最后 线的第Hi1线向上插入。在一个场中的线的数量，即243个线被隔行地插入，不过在图20中， 四个线被图示为视频流#0的帧的线。与视频流#0的帧的线的插入位置(多路复用位置)相关的信息被预先设定在接 收用于输入的多路复用视频帧并对视频流#0的帧进行贴附的多路复用电路42中。图21是图示其中视频流#1的帧已经在视频流#0的帧之后被贴附的用于输入的 多路复用视频帧的示例的图。在图21的示例中，视频流#1的帧的线在1280像素的范围内沿着水平方向从有效 影像帧的左端向右插入，并在720X2线的范围内沿着竖直方向从作为视频区域A1的最后 线的第Hi1线向上插入。一个帧的线的数量，即720线被隔行地插入以不与视频流#0的帧 的线重叠，不过在图21中，十个线被示出为视频流#1的帧的线。在作为视频区域A1的最后线的第ml线向上M3X 2线的范围内，视频流#0的帧 的线以及视频流#1的帧的线被交替地插入。与视频流#1的帧的线的插入位置相关的信息被预先设定在接收用于输入的多路 复用视频帧并对视频流#1的帧进行贴附的多路复用电路42中。图22是图示其中视频流#2的帧已经在视频流#0和#1的帧之后被贴附的用于输 入的多路复用视频帧的示例的图。在图22的示例中，视频流#2的帧的线在1280像素的范围内沿着水平方向从第 1281像素(在有效像素的左端被用作第一像素的情况下)起向右插入。此外，视频流#2的 帧的线在720X2线的范围内沿着竖直方向从作为视频区域A1的最后线的第Hi1线向上插 入。虽然一个帧的线的数量，即720线被隔行地插入，不过在图22中，十个线被示出为视频 流#2的帧的线。与视频流#2的帧的线的插入位置相关的信息被预先设定在接收用于输入的多路 复用视频帧并对视频流#2的帧进行贴附的多路复用电路42中。图23是图示其中视频流#3的帧已经在视频流#0、#1和#2的帧之后被贴附的用 于输入的多路复用视频帧的示例的图。在图23的示例中，视频流#3的帧的线在1920像素的范围内沿着水平方向从第 1281像素(在有效像素的左端被用作第一像素的情况下)起向右插入。此外，视频流#3的帧的线在540X2线的范围内沿着竖直方向从作为视频区域A1的最后线的第Hi1线向上插 入。在一个场中的线的数量，即540线被隔行地插入，由此不会与视频流#2的帧的线重叠， 不过在图23中，七个线被示出为视频流#3的帧的线。与视频流#3的帧的线的插入位置相关的信息被预先设定在接收用于输入的多路 复用视频帧并对视频流#3的帧进行贴附的多路复用电路42中。在所示示例中，用于输入的多路复用视频帧的有效影像帧的每水平行的像素数量 被设定为3200像素(U80+1920像素)。图M是图示其中音频数据已经被插入的用于输入的多路复用视频帧的示例的 图。将就四个音频数据流(S卩，音频流#0至#3)的多路复用给出以下说明。如图M所示，音频流#0至#3的音频数据按照被输入至信息处理设备1的顺序从 每个线的左端起被紧密地插入到用于输入的多路复用视频帧的音频区域A2中。在图M的示例中，作为音频区域A2的开始位置的第(mi+l)线以及第(mi+2)线被 分配给音频流#0的音频数据。在第(m1+l)线以及第(mi+2)线当中第(rn^l)线的开始(左端)处，插入表示如 图对所示被多路复用在用于输入的多路复用视频帧中的音频流#0的音频样本的数量的样 本数信息。此外，在样本数信息之后，将音频流#0的音频数据插入在第(nii+1)线整体直至 第(mi+2)线的中部。此外，在图24的示例中，第(mi+3)线和第(mi+4)线被分配给音频流#1的音频数 据。在第(mi+3)线以及第(mi+4)线当中第(mi+3)线的开始处，插入表示如图对所 示被多路复用在用于输入的多路复用视频帧中的音频流#1的音频样本的数量的样本数信 息。此外，在样本数信息之后，将音频流#1的音频数据插入在第(mi+3)线整体直至第(mi+4) 线的中部。第(mi+5)线和第(mi+6)线被分配给音频流#2的音频数据。在第(mi+5)线以及第(mi+6)线当中第(mi+5)线的开始处，插入表示如图对所 示被多路复用在用于输入的多路复用视频帧中的音频流#2的音频样本的数量的样本数信 息。此外，在样本数信息之后，将音频流#2的音频数据插入在第0 + 线整体直至第(mi+4) 线的中部。第(mi+7)线和第(mi+8)线被分配给音频流#3的音频数据。在第(mi+7)线以及第(mi+8)线当中第(mi+7)线的开始处，插入表示如图对所 示被多路复用在用于输入的多路复用视频帧中的音频流#1的音频样本的数量的样本数信 息。此外，在样本数信息之后，将音频流#3的音频数据插入在第(mi+7)线整体直至第(mi+8) 线的中部。与各个视频数据的插入位置相关的信息被预先设定在接收用于输入的多路复用 视频帧并插入音频数据的多路复用电路42中。利用要由各个多路复用电路42处理的音频数据的数据率、用于输入的多路复用 视频帧的帧频率(一个帧时段)等来确定要被插入到用于输入的多路复用视频帧中的音频 数据的尺寸。
因此，可以在设计时确定被分配的线的数量，作为其中各音频数据流要被插入的 线的数量。在图M的示例中，将两个线分配给每个音频数据流。例如，音频区域A2的线的数量可以被设定为与被分配给各个音频数据流的线的总 和相同。此外，在图M的示例中，因此设定音频区域A2的线的数量。如上所述，要被贴附的帧经由帧的逐线地交错而不会彼此重叠，并在用于输入的 多路复用视频帧的视频区域A11中从下向上贴附。此外，利用例如音频区域A12的整体线将 要被插入的各个信息插入在被界定在视频区域A11下方的音频区域A12中。多路复用视频帧 帧布置信息被插入到界定在音频区域A12下方的区域A13中。如在整个用于输入的多路复用视频帧中观察，各个数据流从下向上布置。因此，即使当利用用于输入的多路复用视频帧将多个数据流进行多路复用并输入 至处理器43时，仍可以减小输入延迟。输入延迟由要由处理器43处理的数据被输入至信 息处理设备1时的时刻与数据被输入至处理器43时的时刻之间的差表示。图25是图示从下向上布置的优点的图。在图25中，横轴表示时间。在图25的示例中，视频流#0至#3的视频数据(输入视频信号)在不同的定时输 入。例如，视频流#0的一个特定帧的数据在时刻t3至时刻t7的定时被输入至信息处 理设备1。此外，视频流#1的一个特定帧的数据在时刻、至时刻t5的定时被输入至信息 处理设备1。视频流#2的一个特定帧的数据在时刻t4至时刻t8的定时被输入至信息处理设备 1。视频流#3的一个特定帧的数据在时刻t2至时刻t6的定时被输入至信息处理设备1。例如，在用于输入的多路复用视频帧的一个帧的时段内输入最后线的数据的视频 帧被贴附于在同一时段期间产生的用于输入的多路复用视频帧。因此，在此情况下，由图25中各个线中的阴影线所表示的视频流#0至#3的帧被 多路复用到多路复用视频帧F1中，多路复用视频帧Fl是在从时刻t4至时刻t8的时段T期 间产生的用于输入的多路复用视频帧(多路复用视频信号)。由各个线中的阴影线所表示的视频流#0的帧的最后线的数据在时段T内即将在 时刻t7之前的时刻被输入。相似地，由各个线中的阴影线所表示的视频流#1至#3的帧的 最后线的数据在时段T内的一时刻被输入。对于音频，如上所述，在用于输入的多路复用视频帧的一个帧期间输入的音频样 本与样本数信息一起被插入到在同一时段期间产生的用于输入的多路复用视频帧中。因此，在图25的示例中，在音频流#0的音频样本当中被包括在时段T中的由粗线 表示的音频样本被插入到多路复用视频帧F1中。虽然在图25中仅图示了音频流#0，但是 其他音频数据流也以相似方式被插入到多路复用视频帧F1中。用于输入的多路复用视频帧的一个帧的时段由多路复用视频信号产生电路41产 生的同步信号所界定。在图25中，同步信号sync-Ι表示由多路复用视频信号产生电路41 产生的同步信号。在图25的示例中，同步信号sync-Ι与用于视频流#2的同步信号同步。如下所 述，从外部输入的视频同步信号也可以用作界定用于输入的多路复用视频帧的一个帧时段 所用的同步信号。
24
同步信号sync-2表示界定用于输入的多路复用视频帧的一个帧时段所用的同步 信号，其在将用于输入的多路复用视频帧输出至处理器43的最后阶段从多路复用电路42 输出。根据同步信号sync-2，其中各个数据流已经被多路复用的用于输入的多路复用视频 帧在最后阶段从多路复用电路42输出至处理器43。在图1的示例中，多路复用电路42-4 用作最后阶段中的多路复用电路。各个多路复用电路42在等待要被多路复用的数据输入之后执行多路复用。根据 要被多路复用的数据的最后数据项被输入的时刻，在先前阶段用于输入的多路复用视频帧 从多路复用视频信号产生电路41或从多路复用电路42输入时的时刻与在通过将数据多路 复用为用于输入的多路复用视频帧之后获得的用于输入的多路复用视频帧从某个多路复 用电路42输出时的时刻之间存在差异。这里，假定视频接收电路21或音频接收电路31接 收数据所涉及的时间、或者帧存储器23或存储器33临时存储数据所涉及的时间可忽略。彼此接近的同步信号sync-Ι和sync-2的定时(1的值的时刻)意味着用于输入 的多路复用视频帧从多路复用视频信号产生电路41输出时的时刻与在多路复用之后获得 的用于输入的多路复用视频帧被输入至处理器43时的时刻之间较小的差异。换言之，彼此 接近的同步信号sync-Ι和sync-2的定时意味着输入延迟减小。基于该假定，现在将描述将数据从下向上插入到用于输入的多路复用视频帧中。如图25所示的多路复用视频帧&表示在其中已经将各个数据项以如上参照图20 至M所述的方式从下向上插入的多路复用之后获得的用于输入的多路复用视频帧。如图25所示，当绘制在从左向右经过的时间轴上时，视频区域A1被表示在多路复 用视频帧F1中的左部，而音频区域A2在右部。在图25中，多路复用视频帧F1的右部中的 粗线表示被插入在音频区域A2中的音频流#0的音频数据。要被贴附于多路复用视频帧F1的视频流#0的帧的最后线的数据可以在即将在数 据被输入时的时刻t7之前的时刻之后插入。如果视频流#0的帧的最后线的数据要被插入 在多路复用视频帧F1的视频区域A1的上部(时间上较早)中，则与插入位置相对应的多路 复用视频帧F1的线的时间可以晚于时刻t7。作为影像，整个多路复用视频帧F1处于相对于 如图25所示的位置靠右的位置。因此，为了减小输入延迟，优选地，视频流#0的帧的最后线的数据被插入在多路 复用视频帧F1的与比即将在时刻t7之前的时刻晚的时刻相对应的位置。在数据实际插入 时的时刻之前输入的数据被存储在存储器中，直到插入时刻。此外，要被多路复用到多路复用视频帧F1中的视频流#2的帧的最后线的数据可 以在即将在数据被输入时的时刻t8之前的时刻之后(包括即将在时刻t8之前的时刻)插 入。如果视频流#2的帧的最后线的数据被插入到多路复用视频帧F1的视频区域A1的上部 中，则与插入位置相对应的多路复用视频帧&的线的时刻可以晚于即将在时刻、之前的时 刻。作为影像，整个多路复用视频帧F1处于相对于如图25所示的位置靠右的位置。因此，为了减小输入延迟，优选地，视频流#2的帧的最后线的数据被插入与即将 在时刻t8之前的时刻晚的时刻相对应的多路复用视频帧F1的位置。相同情况应用于视频流#1至#3的帧的最后线的数据。由同步信号sync-Ι确定要被插入到多路复用视频帧F1中的音频流#0的音频样 本的数据以及样本数信息。在作为时段T的结束时刻的时刻、之后(包括时刻t8)，可以插入音频流#0的音频数据。如果视频流#0的音频数据被插入在界定在多路复用视频帧F1的上部中的区域 中，则与插入位置相对应的多路复用视频帧&的线的时刻可以晚于时刻t8。作为影像，多 路复用视频帧F1处于相对于如图25所示的位置靠右的位置。因此，为了减小输入延迟，优选地，音频流#0的音频数据被插入在多路复用视频 帧&的与比时刻伪晚的时刻相对应的位置。因此，各个视频流的视频数据的帧被逐线地交错，并从下向上被插入在视频区域 A1中，并且各个音频流的音频数据被插入在界定于视频区域A1下方的音频区域A2中，由此 整个用于输入的多路复用视频帧的数据可以从下向上布置，从而允许输入延迟的减小。在图25的示例中，输入延迟被减小为与数个线相对应的时间，这是时刻t4与多路 复用视频帧F1开始被输入至处理器43的时刻tn之间的差。如图25所示，如果视频流#0至#3的帧数据在不同的定时输入，则最后线的数据 被较早输入的流的视频数据在较早阶段被多路复用电路42处理。最后线的数据被更晚输 入的流的视频数据在较晚阶段被多路复用电路42处理。因此，如上所述，视频帧的线可以 从下向上插入。此外，在比多路复用电路42对视频数据进行处理更晚的阶段由多路复用电路42 对音频数据进行处理。因此，如上所述，音频数据可以被插入到界定于用于输入的多路复用 视频帧的下部中的音频区域A2中。如图1所示的多路复用电路42-1至42-4可以被集成为单个电路。得到的单个电 路可以在无需考虑以哪个数据流以及如图1所示的方式串联连接的多个多路复用电路42 当中的哪个多路复用电路42对该数据流进行处理的情况下将全部数据项进行多路复用。图沈是图示将音频数据插入在视频数据上方的缺点的图。在图沈中，各个数据项的输入定时和同步信号sync-Ι的定时与如图25所示的定 时相同。即，要被插入到由多路复用视频信号产生电路41在时段T期间产生的用于输入的 多路复用视频帧中的数据与参照图25所述的数据相同。将合适地省略冗余描述。在图沈的示例中，用于音频的区域被界定在用于输入的多路复用视频帧的上部， 并且用于视频的区域被界定在用于音频的区域的下方。在此情况下，如上所述，在时刻、之后，可以插入音频流#0的音频数据。因此，被 界定在多路复用视频帧F1的上部中的音频流#0的音频数据的插入位置是与时刻t8之后的 时刻对应的位置。因此，如图26所示，多路复用视频帧F1开始被输入至处理器43时的时刻t21晚于 如图25所示的时刻tn。输入延迟基本等于与多路复用视频帧F1的一个帧时段相对应的时 间，其等于时刻t4与时刻t21之间的差。图27是图示视频帧的从上向下贴附的缺点的图。在图27中，各个数据项的输入定时和同步信号sync-Ι的定时与如图25所示的相 同。将合适地省略冗余描述。在图27的示例中，与图25的情况相似，视频区域~被界定在用于输入的多路复 用视频帧的上部，并且音频区域A2被界定在视频区域A1的下方。假定视频流#0的帧的线从上向下插入在用于输入的多路复用视频帧的视频区域A1中。在此情况下，在多路复用视频帧F1中视频流#0的最后线的数据的插入位置是与即 将在最后线的数据被输入时的时刻t7之前的时刻(包括即将在时刻t7之前的时刻)对应 的位置。因此，如图27所示，多路复用视频帧F1开始被输入至处理器43时的时刻t31晚于 如图25所示的时刻tn。输入延迟是由时刻t4与时刻t31之间的差表示的时间。利用用于输出的多路复用视频帧进行的多路复用操作接着，将描述利用用于输出的多路复用视频帧进行的多路复用操作。在用于输出的多路复用视频帧中，已经从用于输入的多路复用视频帧提取并已经 经过各种处理的各个数据流被多路复用。即，利用用于输出的多路复用视频帧进行的数据 (在处理之后获得的数据)的多路复用由处理器43执行。在处理器43中，与利用用于输入的多路复用视频帧进行多路复用操作不同，各个 数据流从上向下插入。图观是图示用于输出的多路复用视频帧的区域构造的图。如图观所示，用于输出的多路复用视频帧设置有沿着其水平方向和竖直方向延 伸的空白区域。在图观的示例中，在有效影像帧内从第一线到第叫线的区域被设定为作为 用于音频的区域的音频区域An。此外，在有效影像帧内从第(m2+l)线到作为最后线的第η 线的区域被设定为作为用于视频的区域的视频区域Α12。以此方式，音频区域A11被界定在用于输出的多路复用视频帧的上部，并且视频区 域A12被界定在音频区域A11下方。图四是图示在由处理器43进行多路复用之后获得的用于输出的多路复用视频帧 的示例的图。当用于输入的多路复用视频帧被输入时，处理器43提取视频流#0至#3的帧数据 以及音频流#0至#3的音频数据，并根据需要执行处理。已经根据需要经过处理的视频流 #0至#3的帧数据和音频流#0至#3的音频数据被插入到用于输出的多路复用视频帧中。如图四所示，音频流#0至#3的音频数据从各个线的左端开始被紧密地插入到用 于输出的多路复用视频帧的音频区域A11中。在图四的示例中，作为音频区域A11的开始位置的第一线、以及第二线被分配给音 频流#0的音频数据。在第一线和第二线当中第一线的开始(左端)处，插入表示如图四所示被多路复 用在用于输出的多路复用视频帧中的音频流#0的音频样本的数量的样本数信息。此外，在 样本数信息之后，音频流#0的音频数据被插入被第一线的整体以及直到第二线的中部。此外，在图四的示例中，第三线和第四线被分配给音频流#1的音频数据。在第三线和第四线当中第三线的开始处，插入表示如图四所示被多路复用在用 于输出的多路复用视频帧中的音频流#1的音频样本的数量的样本数信息。此外，在样本数 信息之后，音频流#1的音频数据被插入被第三线的整体以及直到第四线的中部。第五线和第六线被分配给音频流#2的音频数据。在第五线和第六线当中第五线的开始处，插入表示如图四所示被多路复用在用 于输出的多路复用视频帧中的音频流#2的音频样本的数量的样本数信息。此外，在样本数 信息之后，音频流#2的音频数据被插入被第五线的整体以及直到第六线的中部。
第七线和第八线(第m2线)被分配给音频流#3的音频数据。在第七线和第八线当中第七线的开始处，插入表示如图四所示被多路复用在用 于输出的多路复用视频帧中的音频流#3的音频样本的数量的样本数信息。此外，在样本数 信息之后，音频流#3的音频数据被插入被第七线的整体以及直到第八线的中部。与各个音频数据流的插入位置相关的信息被预先设定在处理器43中。利用音频数据的数据率、用于输入的多路复用视频帧的帧频率、以及由处理器43 执行的处理内容等确定要被插入到用于输出的多路复用视频帧中的音频数据的尺寸。因此，可以在设计时确定被分配的线的数量，作为其中各音频数据流要被插入的 线的数量。在图四的示例中，将两个线分配给每个音频数据流。例如，音频区域A11的线的数量可以被设定为与被分配给各个音频数据流的线的 总和相同。此外，在图四的示例中，因此设定音频区域A2的线的数量。此外，要被贴附的帧经由帧的逐线地交错而不会彼此重叠，并在用于输出的多路 复用视频帧的视频区域A12中从上向下贴附。在图四的示例中，视频流#0的帧的线在720像素的范围内沿着水平方向从有效 影像帧的左端向右插入。此外，视频流#0的帧的线在M3X2线的范围内沿着竖直方向从 作为视频区域A12的最上线的第(m2+l)线向下插入。在一个场中的线的数量，即243个线 被隔行地插入，不过在图四中，四个线被图示为视频流#0的帧的线。此外，视频流#1的帧的线在1280像素的范围内沿着水平方向从有效影像帧的 左端向右插入，并在720X2线的范围内沿着竖直方向从作为视频区域A12的最上线的第 (m2+l)线向下插入。一个帧的线的数量，即720线被隔行地插入以不与视频流#0的帧的线 重叠，不过在图四中，十个线被示出为视频流#1的帧的线。视频流#2的帧的线在1280像素的范围内沿着水平方向从第1281像素(在有效 像素的左端被用作第一像素的情况下)起向右插入。此外，视频流#2的帧的线在720X2 线的范围内沿着竖直方向从作为视频区域A12的最上线的第(m2+l)线向下插入。虽然一个 帧的线的数量，即720线被隔行地插入，不过在图四中，十个线被示出为视频流#2的帧的线。视频流#3的帧的线在1920像素的范围内沿着水平方向从第1281像素(在有效像 素的左端被用作第一像素的情况下)起向右插入。此外，视频流#3的帧的线在540X2线 的范围内沿着竖直方向从作为视频区域A12的最上线的第(m2+l)线向下插入。在一个场中 的线的数量，即540线被隔行地插入，由此不会与视频流#2的帧的线重叠，不过在图四中， 七个线被示出为视频流#3的帧的线。在所示示例中，用于输出的多路复用视频帧的有效影像帧的每水平行的像素数量 被设定为3200个。用于输入的多路复用视频帧的尺寸可以与用于输出的多路复用视频帧 的尺寸不同。与各个帧的线的插入位置相关的信息被预先设定在处理器43中。以此方式，如在整个用于输出的多路复用视频帧中观察，各个数据流从上向下插 入。因此，即使当利用用于输出的多路复用视频帧将多个数据流进行多路复用并从处 理器43输出时，仍可以减小输出延迟。输出延迟由在处理之后获得的数据从处理器43输出时的时刻与处理之后获得的数据被输出至信息处理设备1的外部时的时刻之间的差表示。图30是图示从上向下布置的优点的图。在图30中，横轴表示时间。如图30所示的多路复用视频帧F2表示从处理器43输出的用于输出的多路复用 视频帧。同步信号sync-3是从处理器43输出的同步信号，并界定了多路复用视频帧F2的 一个帧时段。在从时刻、至时刻t2的时段期间从处理器43输出多路复用视频帧F2。由各个线中的阴影线表示的视频流#0至#3的帧数据表示已经从多路复用视频帧 F2提取并已经从视频发送电路53输出至信息处理设备1外部的数据(输出视频信号)。此 外，由粗线表示的视频流#0的音频样本的数据表示已经从多路复用视频帧F2提取并已经 从音频发送电路63输出至信息处理设备1外部的数据(输出音频信号)。例如，在根据从定时产生电路44输出的同步信号的同一定时，被多路复用在同一 用于输出的多路复用视频帧中的数据被输出至信息处理设备1的外部。如图30所示的同步信号sync-4是由定时产生电路44产生并被供应至视频发送 电路53和音频发送电路63的同步信号。在从时刻tn至时刻t12的时段期间，从多路复用 视频帧F2提取的各个数据流被输出至信息处理设备1的外部。在各个视频发送电路53中，在从用于输出的多路复用视频帧提取要输出的帧数 据之后，可以输出该数据。此外，在各个音频发送电路63中，在从用于输出的多路复用视频帧提取要输出的 音频样本的数据之后，可以输出该数据。如果为了使得视频发送电路53和音频发送电路63输出该数据使被多路复用在同 一用于输出的多路复用视频帧中的数据在同一时刻输出，则全部视频发送电路53和音频 发送电路63接收已经从同一用于输出的多路复用视频帧提取的、要输出的数据。根据要输出的数据当中的起始数据项被输入至各个帧存储器52和各个音频发送 电路63时的时刻，在从处理器43输出用于输出的多路复用视频帧时的时刻与将数据输出 至外部时的时刻之间存在差异。这里，假定提取电路45提取数据所涉及的时间或者帧存储 器52或存储器62临时存储数据所涉及的时间可忽略。同步信号sync-3和sync-4的定时(1的值的时刻)意味着用于输出的多路复用视 频帧从处理器43输出时的时刻与各个数据流被输出至外部时的时刻之间较小的差异。换 言之，彼此接近的同步信号sync-3和sync-4的定时意味着输出延迟减小。基于该假定，现在将描述将数据从上向下插入到用于输出的多路复用视频帧中。如果音频流#0的音频数据要被插入在界定于多路复用视频帧F2下部中的区域 中，则音频流#0的音频数据开始输出的时刻可以晚于与插入位置相对应的时刻。作为影像，音频流#0的输出时刻可以相对于如图30所示的位置靠右的位置。因 为从同一用于输出的多路复用视频帧提取的数据在同一时刻输出，所以视频流#0至#3的 输出时刻也处于相对于如图30所示的位置靠右的位置。因此，为了减小输出延迟，优选地，音频流#0的音频数据被插入在用于输出的多 路复用视频帧中较早的位置处。因此，基于样本数信息来指明被多路复用在用于输出的多 路复用视频帧中的音频样本的数量，并在已经指明音频样本的数量之后提取音频样本。因 此，优选地，样本数信息可以被插入在对应线的开始处。此外，假定各个视频流的帧是逐线交错的，并从下向上插入在用于输出的多路复用视频帧中。在此情况下，视频流#0的帧的起始线的数据的输出时刻会晚于与插入位置相 对应的时刻。具体而言，视频流#0的帧的线的总数越小，则输出时间越晚。作为影像，视频流#0的输出定时处于相对于如图30所示的位置靠右的位置。因 为从同一用于输出的多路复用视频帧提取的数据在同一定时输出，所以视频流#1至#3的 输出定时以及音频流#0的输出定时也处于相对于如图30所示的位置靠右的位置。因此，为了减小输出延迟，优选地，视频流#0的帧的起始线的数据被插入在多路 复用视频帧F2的视频区域A12的上部。同一情况应用于视频流#1至#3。如以上可见，各个音频流的音频数据被插入到界定于用于输出的多路复用视频帧 的上部中的音频区域A11中，并且对于各个视频流的视频数据，帧被逐线交错并从上向下插 入在界定于音频区域A11下方的视频区域A12中，由此作为整个用于输出的多路复用视频帧， 数据可以从上向下布置。因此，可以减小输出延迟。在图30的示例中，将输出延迟减小为与数个线相对应的时间，这是多路复用视频 帧F2开始从处理器43输出时的时刻、与数据开始输出至外部时的时刻tn之间的差异。图31是图示将音频数据插入在视频数据下方的缺点的图。在图31中，同步信号sync-3的定时与如图30所示的定时相同。将合适地省略冗 余描述。在图31的示例中，用于音频的区域被界定在用于输出的多路复用视频帧的下部， 并且用于视频的区域被界定在用于音频的区域的下方。在此情况下，如图31所示，音频流#0的起初音频样本的数据的输出时刻晚于与数 据在多路复用视频帧F2中的插入位置相对应的时刻。此外，因为从同一用于输处的多路复用视频帧提取的数据在同一时刻输出，所以 从多路复用视频帧F2提取的各个数据流开始输出的时刻t21晚于如图30所示的时刻tn。 输出延迟基本等于与多路复用视频帧&的一个帧时段相对应的时间，其等于时刻、与时刻 t21之间的差。图32是图示视频帧的从下向上贴附的缺点的图。在图32中，同步信号sync-3的定时与如图30所示的相同。将合适地省略冗余描 述。在图32的示例中，与图30的情况相似，音频区域A11被界定在用于输出的多路复 用视频帧的上部，并且视频区域A12被界定在音频区域A11的下方。假定具有较小线数的视频流#0的帧数据被输出。在此情况下，视频流#0的帧的 起初线的数据被插入在多路复用视频帧F2中比被从上向下插入时的位置下方的位置处。因 此，如虚线所示，视频流#0的帧的起初线的数据在与插入位置相对应的时刻输出。此外，因为从同一用于输处的多路复用视频帧提取的数据在同一时刻输出，所以 从多路复用视频帧F2提取的各个数据流开始输出时的时刻t31晚于如图30所示的时刻tn。 输出延迟基本等于由时刻、与时刻t31之间的差表示的时间。信息处理设备的操作这里，将参照图33的流程图描述信息处理设备1的处理。在如图1所示的信息处理设备1中，两个视频数据流和两个音频数据流利用用于 输入的多路复用视频帧进行多路复用，并被输入至处理器43。此外，由处理器43从其中在
30处理之后获得的数据被多路复用的用于输出的多路复用视频帧提取的两个视频数据流和 两个音频数据流被输出至外部。在步骤S101，视频接收电路21-1和21_2执行视频接收处理。由视频接收电路 21-1接收的视频流#1的帧数据被存储在帧存储器23-1中。此外，由视频接收电路21-2接 收的视频流#2的帧数据被存储在帧存储器23-2中。在步骤S102，音频接收电路31-1和31_2执行音频接收处理。由音频接收电路 31-1截取出的在多路复用视频帧的一个帧时段输入的音频流#1的音频样本以及样本数信 息被存储在存储器33-1中。此外，由音频接收电路31-2截取出的在多路复用视频帧的一 个帧时段输入的音频流#2的音频样本以及样本数信息被存储在存储器33-2中。在步骤S103，多路复用视频信号产生电路41产生多路复用视频帧，并输出多路复 用视频帧的数据和同步信号。在步骤S104，执行多路复用处理。具体而言，由多路复用电路42-1将视频流#1的 一个帧贴附于多路复用视频帧，并由多路复用电路42-2将视频流#2的一个帧贴附于多路 复用视频帧。此外，由多路复用电路42-3将音频流#1的音频样本的数据和样本数信息插 入到多路复用视频帧中，并由多路复用电路42-4将音频流#2的音频样本的数据和样本数 信息插入到多路复用视频帧中。在多路复用处理中，如上所述，各个数据项从下向上插入在用于输入的多路复用 视频帧中。在步骤S105，处理器43对被输入至视频端口的多路复用视频帧的数据中所多路 复用的视频数据和音频数据执行预定处理。在步骤S106，处理器43将处理之后获得的数据从上向下插入到多路复用视频帧 中。处理器43将其中处理之后获得的数据已经被多路复用的用于输出的多路复用视频帧 的数据从视频端口输出在步骤S107，执行提取处理。具体而言，由提取电路45-1从多路复用视频帧的数 据提取音频流#1的音频数据，并由提取电路45-2从多路复用视频帧的数据提取音频流#2 的音频数据。此外，由提取电路45-3从多路复用视频帧的数据提取视频流#2的视频数据， 并由提取电路45-4从多路复用视频帧的数据提取视频流#1的视频数据。在步骤S108，执行音频输出处理。从多路复用视频帧的数据提取的音频流#1的数 据被临时存储在存储器62-1中，并接着被逐个样本地输出至外部。此外，音频流#2的数据 被临时存储在存储器62-2中，并被逐个样本地输出至外部。在步骤S109，执行视频输出处理。从多路复用视频帧提取的视频流#1的帧数据被 临时存储在帧存储器52-1中，并接着被输出至外部。此外，视频流#2的帧数据被临时存储 在帧存储器52-2中，并接着被输出至外部。在已经完成视频输出处理之后，处理结束。接着，将参照图34的流程图描述在图33的步骤SlOl中执行的视频接收处理。在步骤S111，视频接收电路21-1接收输入视频信号，并执行诸如A/D转换之类的 各种处理以产生视频流#1的帧数据。视频接收电路21-2也执行相似处理以产生视频流#2 的帧数据。在步骤Sl 12，帧同步器22-1使得由视频接收电路21_1产生的视频流#1的帧数 据存储在帧存储器23-1中。帧同步器22-2也使视频流#2的帧数据存储在帧存储器23-2中。在视频流#1和#2的帧数据被存储在帧存储器23中之后，处理返回至图33的步 骤S101，并执行后续处理。接着，将参照图35的流程图描述在图33的步骤S102中执行的音频接收处理。在步骤S121，音频接收电路31-1接收输入音频信号，并执行诸如A/D转换之类的 处理以产生由音频样本的时间序列构成的音频流#1的音频数据。在步骤S122，音频接收电路31-1在对样本数进行计数的同时截取在多路复用视 频帧的一个帧时段内输入的音频流#1的音频样本。音频接收电路31-2也执行相似处理， 并截取在多路复用视频帧的一个帧时段内输入的音频流#2的音频样本。在步骤S123，存储器控制电路32-1使得所截取的音频流#1的音频样本以及样本 数信息存储在存储器33-1中。存储器控制电路32-2也使得所截取的音频流#2的音频样 本以及样本数信息存储在存储器33-2中。在音频流#1和#2的音频样本被存储在存储器33中之后，处理返回至图33的步 骤S102，并执行后续处理。接着，将参照图36的流程图描述图33的步骤S104中执行的多路复用处理。在图 33的步骤S103中产生的多路复用视频帧的数据被供应至多路复用电路42-1。在步骤S131，多路复用电路42-1请求帧同步器22_1从帧存储器23_1读取视频流 #1的数据。在步骤S132，多路复用电路42-1将从其数据已经从帧存储器23-1读取的视频流 #1的帧数据逐线地交错，并将该帧从下向上地插入到用于输入的多路复用视频帧的视频区 域A1中。还由多路复用电路42-2执行与步骤S131和S132相似的处理，并将其数据已经从 帧存储器23-2读取的视频流#2的帧从下向上插入在从多路复用电路42-1供应的用于输 入的多路复用视频帧的视频区域A1中。在步骤S133，多路复用电路42-3请求存储器控制电路32_1从存储器33_1读取音 频流#1的音频数据和样本数信息。在步骤S134，多路复用电路42-3将从存储器33_1读取的音频流#1的音频数据和 样本数信息插入到从多路复用电路42-2供应的用于输入的多路复用视频帧的音频区域A2 中。还由多路复用电路42-4执行与S133和S134相似的处理。将从存储器33_2读取 的音频流#2的音频样本的数据与样本数信息一起插入到从多路复用电路42-3供应的用于 输入的多路复用视频帧的音频区域A2中。在全部视频数据和音频数据的流已经被插入到用于输入的多路复用视频帧中之 后，处理返回至图33的步骤S104，并执行后续步骤。处理器43对利用用于输入的多路复用 视频帧进行多路复用的视频数据和音频数据执行处理，并且其中处理之后的数据被多路复 用的用于输出的多路复用视频帧的数据被供应至提取电路45-1。接着，将参照图37的流程图描述在图33的步骤S107中执行的提取处理。在步骤S151，提取电路45-1接收从处理器43输出的多路复用视频帧的数据。在步骤S152，提取电路45-1参照样本数信息，并从多路复用视频帧的数据提取被从上向下插入的音频流#2的音频样本的数据。在步骤S153，存储器控制电路61-2使得由提取电路45-1提取的音频流#2的音频 样本的数据存储在存储器62-2中。还由提取电路45-2和存储器控制电路61-1执行与步骤S152和S153相似的处理， 并将从用于输出的多路复用视频帧提取的音频流#1的音频样本存储在存储器62-1中。在步骤S154，提取电路45-3从用于输出的多路复用视频帧提取与被从上向下插 入的视频流#2的帧数据。在步骤S155，帧同步器51-2使得由提取电路45_3提取的视频流#2的帧数据存储 在帧存储器52-2中。还由提取电路45-4和帧同步器51-1执行与步骤SlM和S155相似的处理，并将 从用于输出的多路复用视频帧提取的视频流#1的帧数据存储在帧存储器52-1中。在已经从多路复用视频帧提取全部视频数据和音频数据的流之后，处理返回至图 33的步骤S107，并执行后续处理。接着，将参照图38的流程图描述在图33的步骤S108中执行的音频输出处理。在步骤S161，音频发送电路63-2请求存储器控制电路61_2从存储器62_2读取音 频流#2的音频样本的数据。在步骤S162，音频发送电路63-2以一个样本的数据为单位将从存储器62_2读取 的音频流#2的音频数据输出至外部。还由音频发送电路63-1执行与步骤S162相似的处理，并将从存储器62-1读取的 音频流#2的音频数据输出至外部。在已经输出全部音频数据的流之后，处理返回至图33的步骤S108，并执行后续步
马聚ο接着，将参照图39的流程图描述在图33的步骤S109中执行的视频输出处理。在步骤S171，视频发送电路53-2请求帧同步器51_2从帧存储器52_2读取视频流 #2的帧数据。在步骤S172，视频发送电路53-2将从帧存储器52_2读取的视频流#2的帧数据输 出至外部。还由视频发送电路53-1执行与步骤S171和S172相似的处理，并将从帧存储器 52-1读取的视频流#1的帧数据输出至外部。在全部视频流的帧数据已经输出之后，处理返回至图33的步骤S109，并执行后续处理。上述步骤的处理可以不一定按照图中所示的顺序执行，并可以根据需要与其他步 骤的处理并行地执行，或者在其他步骤的处理之前或之后执行。利用上述这些系列的处理，可以将视频数据和音频数据的多个流输入至包括一个 输入视频端口的处理器43。此外，可以将视频数据和音频数据的多个流从包括一个输出视 频端口的处理器43输出。换言之，能够利用一个视频端口高效地进行将数据输入至处理器 43和从处理器43输出数据。此外，数据可以在减小输入延迟的情况下被输入至处理器43。此外，数据可以在减 小输出延迟的情况下从处理器43输出。
第一示例性修改图40是图示信息处理设备1的另一示例构造的框图。在如图40所示的构造中，与图1所示相同或相似的元件由相同的附图标记表示。 如合适，将省略冗余的描述。如图40所示的构造与如图1所示的信息处理设备1的不同之处在于，在多路复用 视频信号产生电路41之前设置切换电路111。视频流#1的同步信号、视频流#2的同步信号、以及作为与以上两个同步信号相独 立地从外部输入的同步信号的外同步信号被输入至切换电路111。外同步信号也被供应至 定时产生电路44。切换电路111在视频流#1的同步信号、视频流#2的同步信号以及外同步信号当 中选择需要的同步信号，并将所选择的同步信号输出至多路复用视频信号产生电路41。多路复用视频信号产生电路41以由从切换电路111供应的同步信号所界定的周 期来产生多路复用视频帧，并将所产生的多路复用视频帧的数据与从切换电路111供应的 同步信号一起输出至多路复用电路42-1。定时产生电路44根据外同步信号或各个视频和音频流的格式来产生同步信号， 并输出该同步信号。以此方式，也可以通过切换将从外部输入的同步信号用作界定了产生多路复用视 频帧的周期的同步信号。第二示例性修改图41是图示信息处理设备1的另一示例构造的框图。在图41中，四个音频数据流被输入至信息处理设备1。即，如图41所示的信息处 理设备1可以是音频数据专用装置。要被输入的音频数据项的数量也可以被设定为除4以 外的值。如合适，将省略冗余的描述。在图41中，音频接收电路31-1和31_2分别与如图1所示的音频接收电路31_1 和31-2相似。在音频接收电路31-1中，截取音频流#1的音频数据，并将其与样本数信息 一起存储在存储器33-1中。在音频接收电路31-2中，截取音频流#2的音频数据，并将其 与样本数信息一起存储在存储器33-2中。音频接收电路31-3对输入音频信号执行各种处理，并产生音频流#3的音频数据。 音频接收电路31-3将音频流#3的音频数据划分为音频数据项(每个所述音频数据项具有 在与多路复用视频帧的一个帧时段期间输入的样本)，并将得到各个音频数据项与样本数 信息一起输出至存储器控制电路32-3。存储器控制电路32-3使得从音频接收电路31-3供应的音频数据和样本数信息存 储在存储器33-3中。根据来自多路复用电路42-3的请求，存储器控制电路32-3从存储器 33-3读取音频数据和样本数信息，并输出音频数据和样本数信息。音频接收电路31-4也对输入音频信号执行各种处理，并产生音频流#4的音频数 据。音频接收电路31-4将音频流#4的音频数据划分为音频数据项(每个所述音频数据项 具有在与多路复用视频帧的一个帧时段期间输入的样本)，并将得到各个音频数据项与样 本数信息一起输出至存储器控制电路32-4。存储器控制电路32-4使得从音频接收电路31-4供应的音频数据和样本数信息存储在存储器33-4中。根据来自多路复用电路42-4的请求，存储器控制电路32-4从存储器 33-4读取音频数据和样本数信息，并输出音频数据和样本数信息。多路复用电路42-1将从存储器控制电路32-1供应的音频流#1的音频数据和样 本数信息插入到从多路复用视频信号产生电路41供应的多路复用视频帧的数据中。多路 复用电路42-1将其中已经插入了音频流#1的音频数据和样本数信息的多路复用视频帧的 数据输出至多路复用电路42-2。多路复用电路42-2将从存储器控制电路32-2供应的音频流#2的音频数据和样 本数信息插入到从多路复用电路42-1供应的多路复用视频帧的数据中。多路复用电路 42-2将其中已经插入了音频流#2的音频数据和样本数信息的多路复用视频帧的数据输出 至多路复用电路42-3。多路复用电路42-3将从存储器控制电路32-3供应的音频流#3的音频数据和样 本数信息插入到从多路复用电路42-2供应的多路复用视频帧的数据中。多路复用电路 42-3将其中已经插入了音频流#3的音频数据和样本数信息的多路复用视频帧的数据输出 至多路复用电路42-4。多路复用电路42-4将从存储器控制电路32-4供应的音频流#4的音频数据和样 本数信息插入到从多路复用电路42-3供应的多路复用视频帧的数据中。多路复用电路 42-4将其中已经插入了音频流#4的音频数据和样本数信息的多路复用视频帧的数据输出 至处理器43。提取电路45-1由从处理器43供应的多路复用视频帧的数据提取音频流#4的音 频数据，并将所提取的音频数据输出至存储器控制电路61-4。提取电路45-1还将从处理器 43供应的多路复用视频帧的数据输出至提取电路45-2。提取电路45-2由从提取电路45-1供应的多路复用视频帧的数据提取音频流#3 的音频数据，并将所提取的音频数据输出至存储器控制电路61-3。提取电路45-2还将从提 取电路45-1供应的多路复用视频帧的数据输出至提取电路45-3。提取电路45-3由从提取电路45-2供应的多路复用视频帧的数据提取音频流#2 的音频数据，并将所提取的音频数据输出至存储器控制电路61-2。提取电路45-3还将从提 取电路45-2供应的多路复用视频帧的数据输出至提取电路45-4。提取电路45-4由从提取电路45-3供应的多路复用视频帧的数据提取音频流#1 的音频数据，并将所提取的音频数据输出至存储器控制电路61-1。存储器控制电路61-1使得从提取电路45-4供应的音频流#1的音频数据临时存 储在存储器62-1中。音频发送电路63-1根据从定时产生电路44供应的同步信号，以一个样本的数据 为单位将从存储器控制电路61-1供应的音频流#1的音频数据输出至外部。存储器控制电路61-2使得从提取电路45-3供应的音频流#2的音频数据临时存 储在存储器62-2中。音频发送电路63-2根据从定时产生电路44供应的同步信号，以一个样本的数据 为单位将从存储器控制电路61-2供应的音频流#2的音频数据输出至外部。存储器控制电路61-3使得从提取电路45-2供应的音频流#3的音频数据临时存 储在存储器62-3中。
35
音频发送电路63-3根据从定时产生电路44供应的同步信号，以一个样本的数据 为单位将从存储器控制电路61-3供应的音频流#1的音频数据输出至外部。存储器控制电路61-4使得从提取电路45-1供应的音频流#4的音频数据临时存 储在存储器62-4中。音频发送电路63-4根据从定时产生电路44供应的同步信号，以一个样本的数据 为单位将从存储器控制电路61-4供应的音频流#1的音频数据输出至外部。以此方式，其中仅音频数据被多路复用的多路复用视频帧可以被输入至处理器43 或可以从处理器43输出。替代将一个音频数据流插入到多路复用视频帧的一个线的整体中，也可以通过将 多个音频数据流插入到一个线中，来执行将音频数据插入到多路复用视频帧中的操作。图42是如图41所示要被输入至处理器43的多路复用视频帧的放大视图。在图42的示例中，音频流#1至#2的音频数据被插入到多路复用视频帧的从第一 线至第三线范围内的各个线中。表示音频流#1的音频样本的数量的样本数信息S1被插入 在第一线中音频流#1的数据的开始处，并且表示音频流#2的音频样本的数量的样本数信 息&被插入音频流#2的数据的开始处。音频流#2的音频数据被插入在第四线和第五线中每个的一部分中。音频流#3的音频数据被插入在第六线和第七线每个的整体中。音频流M的音频 数据被插入在作为最后线的第η线的整体中。第三示例性修改图43是图示信息处理设备1的另一示例构造的框图。在图43所示的构造中，与图1或41所示相同或相似的元件由相同的附图标记表 示。如合适，将省略冗余的描述。在图43中，一个视频信号流和三个音频信号流被输入至信息处理设备1。视频流 #1的视频信号被输入至视频接收电路21-1，并且音频流#1至#3的音频信号被输入至音频 接收电路31-1至31-3。视频流#1的同步信号也被输入至多路复用视频信号产生电路41 和定时产生电路44。多路复用视频信号产生电路41在由视频流#1的同步信号界定的时段处产生多路 复用视频帧，并将所产生的多路复用视频帧与同步信号一起输出至多路复用电路42-1。在 图1的构造中，在信息处理设备1内自身产生的信号被用作多路复用视频帧的同步信号。相 反，在图43的构造中，使用输入视频信号的同步信号。定时产生电路44根据视频流#1的同步信号以及各个流的视频和音频的格式产生 同步信号，基于该同步信号确定各个流的视频帧数据和音频样本数据的输出定时。第四示例性修改图44是图示信息处理设备1的另一示例构造的框图。在图44所示的构造中，与图43所示相同或相似的元件由相同的附图标记表示。如 合适，将省略冗余的描述。在图44中，作为从外部输入的同步信号的外同步信号被输入至多路复用视频信 号产生电路41和定时产生电路44。多路复用视频信号产生电路41在由外同步信号所界定的时段处产生多路复用视频帧，并将所产生的多路复用视频帧与同步信号一起输出至多路复用电路42-1。在如图44 所示的构造中，外同步信号被用作多路复用视频帧的同步信号。定时产生电路44根据外同步信号或者各个流的视频和音频的格式产生同步信号 (基于该同步信号确定各个流的视频帧数据和音频样本数据的输出定时)，并输出该同步信号。第五示例性修改图45和46是图示信息处理设备1的另一示例构造的框图。图45图示了其上对被输入至处理器43的多路复用视频帧进行处理的输入侧的构 造，并且图46图示了其上对从处理器43输出的多路复用视频帧进行处理的输出侧的构造。 在如图45和46所示的构造中，与图43所示相同或相似的元件由相同的附图标记表示。如 合适，将省略冗余的描述。在图45的示例中，模组121至123串联连接在多路复用电路42-1之后。模组121 包括音频接收电路31-1、存储器控制电路32-1、存储器33-1和多路复用电路42_2。模组 122包括音频接收电路31-2、存储器控制电路32-2、存储器33_2和多路复用电路42_3。板 123包括音频接收电路31-3、存储器33-3和多路复用电路42_4。在图46的示例中，模组131至133串联连接在处理器43之后。模组131包括提 取电路45-1、存储器控制电路61-3、存储器62-3和音频发送电路63_3，并且模组132包括 提取电路45-2、存储器控制电路61-2、存储器62-2和音频发送电路63_2。模组133包括提 取电路45-3、存储器控制电路61-1、存储器62-1和音频发送电路63_1。在信息处理设备1中，在各个视频数据和音频数据项的输入/输出条件或者各个 视频数据和因数据项的处理内不存在互相依赖性，并且对多路复用方法或多路复用顺序不 存在限制。因此，其中各个视频数据和音频数据项被输入和多路复用的电路可以与其中各 个视频数据和音频数据项被提取和输出的电路完全独立。 S卩，可以通过将每个均被配置为将一个视频数据流进行多路复用的简单输入电路 和每个均被配置为将一个音频数据流进行多路复用的简单输入电路串联连接(并且简单 输入电路的数量等于流的总数)来实现所期望的输入电路。共同电路形成为模组，从而简化信息处理设备1的构造。其他示例性修改在前述说明中，处理器43具有单输入单输出视频端口。但是，可以设置多输入和 多输出。使用各个视频端口输入/输出多路复用视频帧，从而能够将更大量的数据流输入 至处理器43并能够将处理之后获得的数据从处理器43输出。在以上描述中，主要逐帧地处理了输入视频数据及多路复用视频帧。但是，也可以 逐场地执行处理。在以上描述中，术语“帧”可以由术语“场”替代。计算机的示例构造可通过硬件或软件来执行上述一系列处理。如果通过软件来执行上述一系列处 理，则可从程序记录介质向结合在专用硬件中的计算机或通用个人计算机等装载构成软件 的程序。图47是图示根据程序执行上述那些系列的处理的计算机的硬件构造的示例的框 图。
中央处理单元(CPU) 201、只读存储器(ROM) 202、以及随机存取存储器(RAM) 203经 由总线204彼此连接。输入/输出接口 205也连接至总线204。输入/输出接口 205连接至输入单元206 和输出单元207，输入单元206包括键盘和鼠标，输出单元207包括显示器和扬声器。输入 /输出接口 205还连接至存储单元208、通信单元209、以及驱动器210，存储单元208包括 硬盘和非易失性存储器，通信单元209包括网络接口，驱动器210对可移除介质211进行驱动。在具有以上构造的计算机中，CPU 201将存储在例如存储单元208中的程序经由 输入/输出接口 205和总线204加载到RAM 203中，并执行该程序，由此执行上述的那些系 列的处理。由CPU 201执行的程序可以设置为例如记录在可移除介质211上的形式或者经由 诸如局域网、互联网或者数字广播之类的有线或无线传输介质的形式，并可以被安装到存 储单元208中。由计算机执行的程序可以是据此来按照本文所述的顺序以时间序列方式执行处 理的程序，或者可以是据此并行地或者在诸如被调用时的需要时机执行处理的程序。本发明的实施例不限于上述实施例，并可以在不偏离本发明的范围的情况下进行 多种修改。本发明包含了与2010年1月14日向日本专利局递交的日本在先专利申 请JP2010-006135以及2010年1月14日向日本专利局递交的日本在先专利申请 JP2010-006136中公开的主题相关的主题，这里通过引用引入其全部内容。本领域技术人员应理解，只要在所附权利要求或与其相当的范围内，可以按照设 计要求等其它因素进行各种改变、组合、子组合和替换。
权利要求
1.一种信息处理设备，包括产生装置，其用于产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的 视频帧；划分装置，其用于按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划 分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对 应的时段期间输入的样本；多路复用装置，其用于将多个音频数据项和表示包括在所述音频数据项中的样本数的 样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个 数据流中的每个输入的音频数据进行划分获得的；处理装置，其用于对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通 过划分获得的所述音频数据项执行处理，并用于从所述处理装置的输出视频端口输出其中 将已经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路 复用得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理 装置的输入视频端口输入所述处理装置；提取装置，其用于根据所述样本数信息提取在从所述处理装置输出的所述多路复用视 频帧中被多路复用的、通过划分获得的音频数据项的各流；以及发送装置，其用于按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分 获得的音频数据项的所述流输出至外部。
2.根据权利要求1所述的信息处理设备，其中，以与要输入的音频数据的流的数量相 等的数量设置所述划分装置，并且以与要输入的音频数据的流的数量相等的数量设置所述 发送装置，并且其中，每个所述划分装置和每个所述发送装置对音频数据的一个流执行处理。
3.根据权利要求1所述的信息处理设备，其中，所述多路复用装置将通过划分获得的 多个音频数据项和与之相关的样本数信息多路复用作为针对各个流位于预定位置的数据。
4.根据权利要求3所述的信息处理设备，其中，所述提取装置通过提取样本来提取通 过划分获得的音频数据项的各个流，所述样本的数量由作为在所述预定位置处的数据被多 路复用的所述样本数信息表示。
5.根据权利要求1所述的信息处理设备，其中，所述多路复用视频帧具有的屏幕尺寸 大于或等于具有不同格式的多个视频数据项的帧图像的屏幕尺寸的总和，所述屏幕尺寸由 所述多个视频数据项的格式界定，所述帧图像被配置为以彼此不重叠的方式贴附。
6.根据权利要求5所述的信息处理设备，其中，所述多路复用装置还通过在维持由所 述格式界定的所述屏幕尺寸的情况下以彼此不重叠的方式将所述多个视频数据项的所述 帧图像贴附于所述多路复用视频帧，来将所述多个视频数据项多路复用。
7.一种信息处理方法，包括以下步骤产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧；按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项， 每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输 入的样本；将多个音频数据项和表示包括在所述音频数据项中的样本数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入 的音频数据进行划分获得的；对在多路复用之后获得的所述多路复用视频帧中被多路复用的、通过划分获得的所述 音频数据项执行处理，并从所述处理装置的输出视频端口输出其中将已经对其执行了处理 的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用得到的多路复用视 频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理装置的输入视频端口输 入所述处理装置；根据所述样本数信息提取在从所述处理装置输出的所述多路复用视频帧中被多路复 用的、通过划分获得的音频数据项的各流；并且按照从所述音频数据项的起初样本开始的顺序将所提取的通过划分获得的音频数据 项的所述流输出至外部。
8.一种信息处理设备，包括产生装置，其用于产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的 视频帧；第一多路复用装置，其用于将输入视频数据的多个格式中的每个的一个帧划分为各个 线，用于将所述帧布置在所述多路复用视频帧中使得所述帧的各个线从下到上布置在被设 置于所述多路视频帧中的第一视频区域中，使得同一帧的各个所述线不连续，并用于根据 所述帧的布置位置将所述多个格式中的每个的一个帧的数据多路复用以作为所述多路复 用视频帧的数据进行传输；划分装置，其用于按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划 分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对 应的时段期间输入的样本；第二多路复用装置，其用于将通过所述划分装置进行的划分获得的各个所述音频数据 项以及表示包括在所述音频数据项中的样本数的样本数信息进行多路复用以作为在设置 于所述多路复用视频帧的所述第一视频区域下方的第一音频区域中的数据进行传输；以及处理装置，其用于对在由所述第一多路复用装置和所述第二多路复用装置进行多路复 用之后获得的多路复用视频帧中被多路复用的数据进行处理，在所述多路复用之后获得的 所述多路复用视频帧从所述处理装置的输入视频端口输入所述处理装置。
9.根据权利要求8所述的信息处理设备，其中，所述处理装置将在处理之后获得的、所 述多个格式中的每个的一个帧划分为各个线，将所述帧布置在所述多路复用视频帧中，使 得所述帧的各个线从上到下布置在被设置于所述多路复用视频帧中的第二视频区域中，使 得同一所述帧的各个所述线不连续，并且与所述帧的布置位置相对应地将所述帧多路复用 以作为所述多路复用视频帧的数据进行传输，其中，所述处理装置将多路复用之后获得的、通过划分获得的所述音频数据项、以及所 述样本数信息多路复用，以作为被界定在所述多路复用视频帧的所述第二视频区域下方的 第二音频区域的数据进行传输；并且其中，所述处理装置从其输出视频端口输出其中对多路复用之后获得的数据进行传输 的多路复用视频帧。
10.根据权利要求9所述的信息处理设备，还包括第一提取装置，其用于由从所述处理装置输出的所述多路复用视频帧提取所述多个格 式中的每个的一个帧的数据；以及第一发送装置，其用于将所提取的所述多个格式中的每个的一个帧的所述数据输出至 外部。
11.根据权利要求10所述的信息处理设备，还包括第二提取装置，其用于根据所述样本数信息由从所述处理装置输出的所述多路复用视 频帧提取通过划分获得的所述音频数据项；以及第二发送装置，其用于按照从所述音频数据项的起初样本开始的顺序将所提取的通过 划分获得的所述音频数据项输出至外部。
12.根据权利要求11所述的信息处理设备，其中，以与要输入的音频数据的流的数量 相等的数量设置所述划分装置，并且以与要输入的音频数据的流的数量相等的数量设置所 述第二发送装置，并且其中，每个所述划分装置和每个所述发送装置对音频数据的一个流执行处理。
13.根据权利要求8所述的信息处理设备，其中，所述多路复用视频帧具有的屏幕尺寸 大于或等于各帧的屏幕尺寸的总和，所述屏幕尺寸由所述多个格式界定，所述多个格式中 的每个的一个帧被配置为以彼此不重叠的方式贴附。
14.一种信息处理方法，包括以下步骤产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺寸的视频帧； 将输入视频数据的多个格式中的每个的一个帧划分为各个线； 将所述帧布置在所述多路复用视频帧中使得所述帧的各个线从下到上布置在被设置 于所述多路视频帧中的第一视频区域中，使得同一帧的各个所述线不连续；根据所述帧的布置位置将所述多个格式中的每个的一个帧的数据多路复用以作为所 述多路复用视频帧的数据进行传输；按照从所输入的音频数据的起初样本开始的顺序将所述音频数据划分为音频数据项， 每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段相对应的时段期间输 入的样本；将通过划分获得的各个所述音频数据项以及表示包括在所述音频数据项中的样本数 的样本数信息进行多路复用以作为在设置于所述多路复用视频帧的所述第一视频区域下 方的第一音频区域中的数据进行传输；并且对在多路复用之后获得的多路复用视频帧中被多路复用的数据进行处理，在所述多路 复用之后获得的所述多路复用视频帧从输入视频端口输入。
15.一种信息处理设备，包括产生单元，其被配置为产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺 寸的视频帧；划分单元，其被配置为按照从所输入的音频数据的起初样本开始的顺序将所述音频数 据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段 相对应的时段期间输入的样本；多路复用单元，其被配置为将多个音频数据项和表示包括在所述音频数据项中的样本 数的样本数信息多路复用作为所述多路复用视频帧的数据，所述音频数据项是通过由作为多个数据流中的每个输入的音频数据进行划分获得的；处理单元，其被配置为对在多路复用之后获得的多路复用视频帧中被多路复用的、通 过划分获得的所述音频数据项执行处理，并从所述处理单元的输出视频端口输出其中将已 经对其执行了处理的、通过划分获得的所述音频数据项以及所述样本数信息进行多路复用 得到的多路复用视频帧，其中在多路复用之后获得的所述多路复用视频帧从所述处理单元 的输入视频端口输入所述处理单元；提取单元，其被配置为根据所述样本数信息提取在从所述处理单元输出的所述多路复 用视频帧中被多路复用的、通过划分获得的音频数据项的各流；以及发送单元，其被配置为按照从所述音频数据项的起初样本开始的顺序将所提取的通过 划分获得的音频数据项的所述流输出至外部。
16. 一种信息处理设备，包括产生单元，其被配置为产生多路复用视频帧，所述多路复用视频帧是具有预定屏幕尺 寸的视频帧；第一多路复用装置，其被配置为将输入视频数据的多个格式中的每个的一个帧划分为 各个线，以将所述帧布置在所述多路复用视频帧中使得所述帧的各个线从下到上布置在被 设置于所述多路视频帧中的第一视频区域中，使得同一帧的各个所述线不连续，并用于根 据所述帧的布置位置将所述多个格式中的每个的一个帧的数据多路复用以作为所述多路 复用视频帧的数据进行传输；划分装置，其被配置为按照从所输入的音频数据的起初样本开始的顺序将所述音频数 据划分为音频数据项，每个所述音频数据项具有在与所述多路复用视频帧的一个帧的时段 相对应的时段期间输入的样本；第二多路复用装置，其被配置为将通过所述划分装置进行的划分获得的各个所述音频 数据项以及表示包括在所述音频数据项中的样本数的样本数信息进行多路复用以作为在 设置于所述多路复用视频帧的所述第一视频区域下方的第一音频区域中的数据进行传输； 以及处理装置，其被配置为对在由所述第一多路复用单元和所述第二多路复用单元进行多 路复用之后获得的多路复用视频帧中被多路复用的数据进行处理，在所述多路复用之后获 得的所述多路复用视频帧从所述处理单元的输入视频端口输入所述处理单元。
全文摘要
本发明涉及信息处理设备、信息处理方法和程序。信息处理设备包括以下元件。产生单元产生具有预定屏幕尺寸的多路复用视频帧。划分单元其按照将所输入的音频数据划分为音频数据项，每个所述音频数据项具有针对多路复用视频帧的一个帧时段的样本。多路复用单元将通过划分每个输入音频数据流得到的音频数据项和表示其样本数的样本数信息多路复用。处理单元对从输入视频端口输入的多路复用视频帧中被多路复用的音频数据项执行处理，并从其输出视频端口输出其中获得的音频数据项及其样本数信息进行多路复用得到的多路复用视频帧。提取单元根据样本数信息提取在从处理单元输出的多路复用视频帧中被多路复用的音频数据项。发送装置将所提取的音频数据项输出至外部。
文档编号H04N21/4385GK102131119SQ20111000608
公开日2011年7月20日 申请日期2011年1月7日 优先权日2010年1月14日
发明者仓重雅文, 大贯淳, 植田求, 荻洼纯一, 藤堂晋, 西川正树 申请人:索尼公司