发送设备、接收设备、控制方法和通信系统的制作方法

专利名称：发送设备、接收设备、控制方法和通信系统的制作方法
技术领域：
本发明涉及发送设备、接收设备、控制方法和通信系统，具体而言涉及可以实现高精度同步的发送设备、接收设备、控制方法和通信系统。
背景技术：
用于经由诸如因特网、LAN(局域网)等的各种网络传送图像数据(尤其是运动图像数据)的应用和服务现在正得到广泛的使用。当图像数据经由网络被发送和接收时，通常是在通过发送侧上的编码(压缩)处理减小了数据量之后发送出图像数据，并且使所接收的经编码数据在接收侧上经历解码(解压缩)处理并再现数据。作为一种最广泛已知的图像压缩处理的方法，例如有被称为MPEG(运动图片专家组)的压缩技术。当使用MPEG压缩技术时，由MPEG压缩技术生成的MPEG流被存储在遵从 IP(因特网协议)的IP分组中，并经由网络分发。然后，MPEG流被利用诸如PC(个人计算机)、PDA(个人数字助理)、便携式电话等的通信系统接收，并被显示在每个终端的屏幕上。在这种情形中，在主要意图分发图像数据的应用(例如视频点播、实况视频的分发、视频会议、视频电话等)中，存在一种环境，其中由于网络的抖动、并不是发送侧上的所有数据都到达接收侧，另外还存在一种环境，其中图像数据被具有不同能力的终端接收，并且这些环境需要被考虑到。例如，从一个发送源发送的图像数据可能被具有低分辨率的显示器和低处理能力的CPU的接收终端(例如便携式电话等)接收和显示。另外，同时，该图像数据可能被具有高分辨率的监视器和高性能的处理器的接收终端(例如桌面PC等)接收和显示。当假定分组接收状况根据网络连接环境而不同时，例如使用了被称为分层编码的技术，该技术以分层方式对要发送和接收的数据编码。在分层编码的图像数据中，用于具有高分辨率的显示器的接收终端的经编码数据和用于具有低分辨率的显示器的接收终端的经编码数据例如被以彼此分离的状态保持，以允许在接收侧适当地改变图像大小和图像质量。例如，存在作为能够进行分层编码的压缩和解压缩系统的MPEG-4和JPEG 2000所提供的视频流。在MPEG-4中，预期结合了 i^GS (精细粒度可缩放性)技术并形成为一种标准。这种分层编码技术被认为能够在从低比特率到高比特率的范围中进行可缩放分发。另外，基于小波变换的JPEG 2000可以利用小波变换的特征基于空间分辨率生成分组，或者基于图像质量分层地生成分组。另外，JPEG 2000可以以根据运动JPEG 2000 (第3部分) 标准的文件格式存储分层的数据，该标准不仅可处理静止图像还可处理运动图像。另外，存在一种基于离散余弦变换(DCT)的系统，作为被提议为用于应用了分层编码的数据通信的具体方案的系统。该方法例如使图像数据作为DCT处理的对象，通过DCT 处理彼此区分高频和低频来实现分层，生成被划分为高频层和低频层的分组，并执行数据
ififn。当这种分层编码的图像数据被分发时，许多情况下需要实时特性。然而，在当前情
5形中，大屏幕和高图像质量显示要优先于实时特性。为了在图像数据的分发中确保实时特性，UDP(用户数据报协议)通常被用作基于 IP的通信协议。另外，RTP(实时传输协议)被用在高于UDP的层中。存储在RTP分组中的数据的数据格式遵从为每种应用(即，每种编码系统)定义的各个格式。另外，对于通信网络，使用了诸如无线或有线LAN、光纤通信、xDSL、电力线通信、 Co-ax等的通信系统。这些通信系统的速度逐年增大，并且这些通信系统所发送的图像内容的质量也在增大。例如，现在成为主流的MPEG系统或JPEG 2000系统中的典型系统具有两个图片或更大的代码延迟(编码延迟+解码延迟)，这使得难以确保图像数据分发中的足够实时特性。因此，近年来开始提议一种用于通过将一个图片划分为N行(N等于1或更大)的集合并对图像的每个划分集合(称为行块(line block))进行编码来缩短延迟时间的图像压缩系统(该系统在下文中将被称为基于行的编解码器)。基于行的编解码器的优点包括低延迟和能够进行高速处理并且能减小硬件规模，这是因为在图像压缩的一个单位中只用处理少量的信息。为基于行的编解码器提议的情况包括以下示例。日本专利早期公开 No. 2007-311948(专利文献1)描述了一种通信设备，该通信设备基于基于行的编解码器在通信数据的每个行块中适当地插值丢失的数据。日本专利早期公开No. 2008-28541 (专利文献2)描述了一种信息处理设备，该信息处理设备实现了在使用基于行的编解码器的情况下的延迟减小和处理效率的提高。日本专利早期公开No. 2008-42222(专利文献幻描述了一种发送设备，该发送设备用于通过发送图像数据的低频分量(由基于行的小波变换得到)来抑制图像质量的下降。因为可以利用基于行的编解码器进行高图像质量和低延迟的发送，所以基于行的编解码器被预期可应用于在未来执行实况中继(live relay)广播的相机系统。如在作为执行实况中继广播的相机系统所提议的情况的日本专利No. 3617087(专利文献4)中所公开的，本申请的申请人已提出了一种用于利用数字调制器来增大发送效率的系统。因此，如日本专利早期公开No. 2009_27邪45(专利文献5)中所公开的，本申请的申请人已开发了用于在使用基于行的编解码器的通信中稳定地获得同步的技术。

发明内容
然而，当执行现有的实况中继广播的相机系统要提供高图像质量并且要与诸如以太网(注册商标)、NGN(下一代网络)、无线电等的通用电路兼容时，由于延迟量的增大，难以以高速执行图像切换处理(它是实况中继广播的核心技术)。例如，在广播系统的情况下，高精度是必需的，以对多个相机定相，并且难以实现高图像质量和高精度同步。另外，需要应对执行实况中继广播的相机系统的复杂性。在当前情形中，在需要一个CCU (相机控制单元)来控制相机并且具有复杂系统配置的相机系统中，从连接和系统同步的角度看，难以添加具有不同帧同步定时的实况中继广播控制台站。难以提供用于同步锁相(genlock)到相机所必需的高精度的同步定时，该同步锁相对于执行实况中继广播同时满足高图像质量和低延迟的需求的相机系统来说是必要的。
鉴于这种情形作出了本发明。希望能够实现高精度的同步。根据本发明的第一实施例，提供了一种发送设备，包括再现时刻信息添加装置， 用于向作为发送对象的数据添加指定数据的再现定时的再现时刻信息；控制时刻信息添加装置，用于向数据传送控制信息添加指定何时在一电路上执行电路控制的控制定时的控制时刻信息，其中数据要通过该电路发送；以及发送装置，用于发送添加了再现时刻信息和控制时刻信息的数据。根据本发明的第一实施例，提供了一种发送设备的控制方法，该控制方法包括以下步骤向作为发送对象的数据添加指定数据的再现定时的再现时刻信息；向数据传送控制信息添加指定何时在一电路上执行电路控制的控制定时的控制时刻信息，其中数据要通过该电路发送；以及发送添加了再现时刻信息和控制时刻信息的数据。在本发明的第一实施例中，指定作为发送对象的数据的再现定时的再现时刻信息被添加到数据，指定何时在一电路(数据要通过该电路发送)上执行电路控制的控制定时的控制时刻信息被添加到数据传送控制信息，并且添加了再现时刻信息和控制时刻信息的数据被发送。根据本发明的第二实施例，提供了一种接收设备，包括接收装置，用于接收所发送的数据；同步处理装置，用于从数据中提取指定何时在一电路上执行电路控制的控制定时的控制时刻信息，并基于控制时刻信息执行同步处理，其中数据是通过该电路发送的；以及再现处理装置，用于从数据中提取指定数据的再现定时的再现时刻信息，并按基于再现时刻信息的定时执行再现处理。根据本发明的第二实施例，提供了一种接收设备的控制方法，该控制方法包括以下步骤接收所发送的数据；从数据中提取指定何时在一电路上执行电路控制的控制定时的控制时刻信息，并基于控制时刻信息执行同步处理，其中数据是通过该电路发送的；以及从数据中提取指定数据的再现定时的再现时刻信息，并按基于再现时刻信息的定时执行再现处理。在本发明的第二实施例中，接收所发送的数据，从数据中提取指定何时在一电路 (数据是通过该电路发送的)上执行电路控制的控制定时的控制时刻信息，并基于控制时刻信息执行同步处理。然后，从数据中提取指定数据的再现定时的再现时刻信息，并按基于再现时刻信息的定时执行再现处理。根据本发明的第三实施例，提供了一种通信系统，包括再现时刻信息添加装置， 用于向作为发送对象的数据添加指定数据的再现定时的再现时刻信息；控制时刻信息添加装置，用于向数据传送控制信息添加指定何时在一电路上执行电路控制的控制定时的控制时刻信息，其中数据要通过该电路发送；发送装置，用于发送添加了再现时刻信息和控制时刻信息的数据；接收装置，用于接收所发送的数据；同步处理装置，用于从数据中提取控制时刻信息，并基于控制时刻信息执行同步处理；以及再现处理装置，用于从数据中提取再现时刻信息，并按基于再现时刻信息的定时执行再现处理。根据本发明的第三实施例，提供了一种控制方法，包括以下步骤向作为发送对象的数据添加指定数据的再现定时的再现时刻信息；向数据传送控制信息添加指定何时在一电路上执行电路控制的控制定时的控制时刻信息，其中数据要通过该电路发送；发送添加了再现时刻信息和控制时刻信息的数据；接收所发送的数据；从数据中提取控制时刻信
7息，并基于控制时刻信息执行同步处理；以及从数据中提取再现时刻信息，并按基于再现时刻信息的定时执行再现处理。在本发明的第三实施例中，指定作为发送对象的数据的再现定时的再现时刻信息被添加到数据，指定何时在一电路(其中数据要通过该电路发送)上执行电路控制的控制定时的控制时刻信息被添加到数据传送控制信息，并且添加了再现时刻信息和控制时刻信息的数据被发送。另一方面，接收所发送的数据，从数据中提取控制时刻信息，并基于控制时刻信息执行同步处理。然后，从数据中提取再现时刻信息，并按基于再现时刻信息的定时执行再现处理。根据本发明的第一至第三实施例，可以实现高精度的同步。


图1是示出用于对图像数据编码的编码设备的配置示例的示图；图2是示出通过四次重复分析滤波而划分的系数数据的构成的示图；图3是帮助说明行块(line block)的示图；图4是示出应用了本发明的通信系统的第一实施例的配置示例的框图；图5是帮助说明CXU和相机之间图像数据的发送和接收的示图；图6是示出CXU的配置的框图；图7是示出在相机中发送图像数据的处理流程的流程图；图8是示出在CXU中接收图像数据的处理流程的流程图；图9A-9D是帮助说明IP分组的帧格式的示图；图10是帮助说明CXU之间同步的差异的示图；图11是帮助说明延迟控制设备的操作概况的示图；图12是示出延迟控制设备的配置示例的框图；图13是示出应用了本发明的通信系统的第二实施例的配置示例的框图；图14是示出在获得了同步之后的系统定时的示图；图15是帮助说明通信系统中的延迟的总量的示图；图16是示出延迟控制处理的流程的流程图；图17是帮助说明用于视频控制层同步的同步方法的示图；图18是帮助说明作为配置的第一示例的IP分组的帧格式的示图；图19是示出应用了本发明的成像显示设备的配置示例的框图；图20是帮助说明作为配置的第二示例的IP分组的帧格式的示图；图21是帮助说明作为配置的第三示例的IP分组的帧格式的示图；以及图22是示出应用了本发明的计算机的实施例的配置示例的框图。
具体实施例方式下文中将参考附图详细描述应用了本发明的具体实施例。[对编码处理的描述]首先将描述对图像数据编码的处理。图1是示出用于对图像数据编码的编码设备的配置示例的示图。
图1中所示的编码设备10通过对输入到编码设备10的图像数据编码来生成经编码数据，并输出经编码数据。如图1所示，编码设备10包括小波变换部件11、用于进行中计算的缓冲器部件12、用于系数重布置的缓冲器部件13、系数重布置部件14、量化部件15和熵编码部件16。输入到编码设备10的图像数据经由小波变换部件11被临时存储在用于进行中计算的缓冲器部件12中。小波变换部件11使得存储在用于进行中计算的缓冲器部件12中的图像数据经历小波变换。小波变换的细节将在后面描述。小波变换部件11将通过小波变换获得的系数数据提供给用于系数重布置的缓冲器部件13。系数重布置部件14按预定顺序(例如，按小波逆变换处理的顺序)读出写入到用于系数重布置的缓冲器部件13的系数数据，并将读取的系数数据提供给量化部件15。量化部件15按预定方法对提供给量化部件15的系数数据进行量化，并将所得到的系数数据(经量化系数数据)提供给熵编码部件16。熵编码部件16通过预定熵编码系统(例如Huffman编码或算术编码)对提供给熵编码部件16的系数数据进行编码。熵编码部件16将所生成的经编码数据输出到编码设备10的外部。[子带]接下来将描述小波变换。小波变换是将图像数据转换为每个频率分量的系数数据的处理，每个频率分量的系数数据是通过对所生成的低频分量递归地重复分析滤波来分层形成的，其中分析滤波将图像数据划分成高空间频率的分量(高频分量)和低空间频率的分量(低频分量)。另外，在下面假定高频分量的层是较低划分级(division level)，并且低频分量的层是较高划分级。在一层(划分级)中，在水平方向和垂直方向两者上执行分析滤波。一层的系数数据(图像数据)从而通过对一层的分析滤波被划分成四种分量。这四种分量是在水平方向和垂直方向两者上高频的分量(HH)，在水平方向上高频且在垂直方向上低频的分量(HL)， 在水平方向上低频且在垂直方向上高频的分量(LH)，以及在水平方向和垂直方向两者上低频的分量(LL)。各个分量的集合将各自被称为一个子带。在通过在某一层中执行分析滤波而生成四个子带的状态中，对四个所生成的子带中、在水平方向和垂直方向两者上低频的分量(LL)执行对下一层(紧邻的较高层)的分析滤波。通过这样递归地重复分析滤波，低空间频带的系数数据被驱动为较小的区域(低频分量)。因而，通过对这样由小波变换得到的系数数据编码，可以执行高效的编码。图2示出了通过四次重复分析滤波被划分成13个子带(1LH、1HL、1HH、2LH、2HL、 2HH、3LH、3HL、3HH、4LL、4LH、4HL和4HH)(直到划分级4)的系数数据的构成。[行块]接下来将描述行块。图3是帮助说明行块的示图。小波变换的分析滤波由作为处理对象的两行图像数据或系数数据在下一较高层中生成了四个子带中每一个的一行系数数据。因而，例如，当划分级的数目为4(如图3中阴影部分所指示)时，为了在作为最高
9层的划分级4处生成每个子带的一行系数数据需要子带3LL的两行系数数据。为了获得子带3LL的两行，即，为了获得划分级3处的每个子带的两行系数数据， 需要子带2LL的四行系数数据。为了获得子带2LL的四行，即，为了获得划分级2处的每个子带的四行系数数据， 需要子带ILL的八行系数数据。为了获得子带ILL的八行，即，为了获得划分级1处的每个子带的八行系数数据， 需要基带的十六行系数数据。S卩，为了获得划分级4处的每个子带的一行系数数据，需要基带的十六行图像数据。为最低频分量的子带(在图3的示例中是4LL)的一行生成系数数据所必需的多行图像数据被称为一个行块(或者一个区块(precinct))。例如，当划分级的数目为M时，为了生成最低频分量的子带的一行的系数数据，需要数目为2的M次幂的多行基带图像数据。这是一个行块的行数。另外，行块也指通过执行一个行块的图像数据的小波变换而获得的每个子带的系数数据的集合。另外，一行(line)针对帧图像(图片)的一行表示水平方向上的像素行，并且针对子带的一行表示水平方向上的系数行。该一行的系数数据也将被称为系数行。一行的图像数据也将被称为图像行。当需要更详细地区分来进行描述时，该表达将在下面适当地改变。另外，通过对一个系数行(一行的系数数据)编码而获得了其数据的一行的经编码数据也将被称为代码行(code line)。根据这种基于行的小波变换处理，与JPEG 2000的片状划分一样，可以利用被解析为更精细粒度的一个图片来执行处理，并且可以减少在图像数据的发送和接收时的延迟。另外，与JPEG 2000的片状划分不同，基于行的小波变换执行小波系数的划分而不是一个基带信号的划分，因而具有防止了在片边界处的图像劣化(例如块噪声)的另一特性。迄今为止进行的描述以基于行的小波变换作为基于行的编解码器的示例。要注意，在下面描述的本发明的每个实施例不仅可应用于基于行的小波变换，还可应用于任意的基于行的编解码器，例如包括诸如JPEG 2000或MPEG-4之类的现有分层编码。[第一实施例]图4是示出应用了本发明的通信系统的第一实施例的配置示例的框图。在图4中，通信系统20包括电路交换设备21、三个演播室(studio) 2 至22c、三个候补室(sub)23a至23c以及延迟控制设备Μ。例如，在通信系统20中，设备通过诸如以太网(注册商标)、NGN、无线电等的通用电路彼此相连。电路交换设备21中继构成通信系统20的多个设备的通信，并且在以太网(注册商标)的情况下例如是集线器。另外，集线器将被定义为是用在星形网络中的线路集中器的通用名，并且可以具有也可以不具有SNMP(简单网络管理协议)代理功能。即，电路交换设备21与构成通信系统20的演播室2 至22c、候补室23a至23c以及延迟控制设备M 相连，并且经由电路交换设备21执行演播室2 至22c、候补室23a至23c以及延迟控制设备M之间的相互通信。
10
演播室2 至22c是用于执行图像摄取以生成图像数据的场所。演播室2 至 22c各自具有多个相机和电路交换设备。演播室2 具有相机31a_l至31a_3以及电路交换设备32a。相机31a_l至31a_3 连接到电路交换设备32a。电路交换设备3 连接到电路交换设备21。与演播室2 — 样，演播室22b具有相机31b-l至31b-3以及电路交换设备32b，并且演播室22c具有相机 31c-l至31c-3以及电路交换设备32c。候补室23a至23c是用于选择演播室2 至22c、分别控制提供给演播室2 至 22c的相机31a-l至31c-3、并中继图像数据的场所。另外，在本实施例中假定了这样一种环境，其中候补室23a至23c由于各个候补室23a至23c的设备之间的相关而彼此不同步。候补室23a具有CXU (相机控制单元)33a、显示部件3 和操作部件35a。显示部件3 和操作部件3 连接到CXU 33a。CXU 33a连接到电路交换设备21。显示部件34a 例如由IXD(液晶显示器)或CRT(阴极射线管)形成。显示部件3 显示由相机31a-l至 31c-3摄取的图像等等。操作部件35a由多个开关和操纵杆组成。操作部件3 例如允许用户执行选择演播室2 至22c或者相机31a-l至31c_3并改变图像的操作。与候补室23a —样，候补室2 具有CXU 33b、显示部件34b和操作部件35b，并且候补室23c具有CXU 33c、显示部件3 和操作部件35c。延迟控制设备M执行候补室23a至23c之间的仲裁，并且确定主定时。另外，延迟控制设备M的配置将在后面参考图12描述。 在这样配置的通信系统20中，当要在演播室2 的相机31a_l和候补室23a的CXU 33a之间实现同步时，例如识别出图片的开始，并且从预定的解码开始点开始对图片内每行 (或者每个行块)的解码。即，该行(或行块)解码开始点取决于在发送侧(相机31a_l — 侧)上发送处理开始时的时刻。此时，当发送设备和接收设备以彼此一对一相关方式配置时，没有任何问题。然而，在对于接收设备(CCU 33a)存在多个发送设备的情况下，可能发生这样一种情形，其中当多条图像数据被在接收侧上管理或集成时，在这多条图像数据之间没有实现同步。本申请的申请人在上述专利文献5中已提出了一种用于解决该情形(其中在多条图像数据之间没有实现同步)的方法。除了这种提议以外，本申请的发明人还提出了一种用于即使在由于各个候补室内的设备之间的相关而导致多个候补室彼此不同步的环境中、也可以在所有集合(相机和 CCU的组合)中都实现多条图像数据之间的同步的方法。首先，将以两个相机31a_l和31a_2以及一个CXU 33a作为示例，来描述在通信系统20中的每个相机和每个CXU之间执行的通信处理。相机31a_l和31a_2各自是发送设备，用于对对象拍照，生成一系列图像数据，并将该系列图像数据发送到CXU 33a。尽管图4示出了摄像机作为相机31a-l和31a-2的示例，但是相机31a_l和31a_2并不限于摄像机。例如，相机31a_l和31a_2可以是具有运动图像拍照功能的数字静态相机、PC、便携式电话、游戏机等等。CXU 33a是用作主设备的设备，其确定通信系统20中图像数据的发送和接收的定时。尽管图4示出了商用的视频处理设备作为CCU 33a的示例，但是CCU 33a并不限于商用的视频处理设备。例如，CCU 33a可以是个人计算机、家用的视频处理设备(例如视频记录器等)、通信设备、任意的信息处理设备等等。
11
另外，尽管CXU 33a与相机31a_l和31a_2在图4中经由电路交换设备21通过有线通信彼此相连，但是CCU 33a与相机31a-1和31a_2可以基于例如IEEE 802. 11a、b、g、 η和s之类的标准规范通过无线电通信彼此相连。接下来将参考图5至8描述CXU 33a和相机31a_l之间的图像数据的发送和接收。 另外，CXU 33a和相机31a-2之间的图像数据的发送和接收是以与下面描述的类似的方式执行的。图5是示出相机31a_l的配置的框图。如图5所示，相机31a_l包括图像应用管理部件41、压缩部件42、发送存储器部件43和通信部件44。图像应用管理部件41从一应用接收发送由相机31a_l中包括的图像输入设备 (CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)传感器等)摄取的图像数据的请求，根据QoS执行路由控制和与无线电路有关的控制，并且调节相机31a-l和CCU 33a之间图像数据的发送定时。更具体而言，图像应用管理部件41从后面将描述的CCU 33a的同步控制部件57 (图6)接收发送开始指示信号，并在指定的发送状态时刻将图像数据输出到压缩部件42。图像应用管理部件41中的处理还可包括对图像输入设备的控制。压缩部件42、发送存储器部件43和通信部件44执行在发送开始时刻以结合本实施例描述的编码单位发送从图像应用管理部件41提供来的一系列图像数据的处理。图6是示出CXU 33a的配置的框图。参考图6，CXU 33a包括图像应用管理部件 51、压缩部件52、发送存储器部件53、通信部件M、接收存储器部件55、解码部件56和同步控制部件57。图像应用管理部件51从一应用接收发送拍照的图像数据的请求，并根据QoS执行路由控制和与无线电路有关的控制，或者管理在图像应用管理部件51和该应用之间图像数据的输入和输出。压缩部件52通过根据上述基于行的编解码器以一场内N行(N等于1或更大)的编码单位对从图像应用管理部件51提供来的图像数据编码，来减少数据量。压缩部件52 随后将数据输出到发送存储器部件53。发送存储器部件53临时存储从压缩部件52接收的数据。发送存储器部件53还具有路由功能，用于根据网络环境管理路由信息并控制到另一终端的数据传送。另外，接收存储器部件阳和发送存储器部件53可以被彼此集成以存储发送数据和接收数据。通信部件M例如执行以上述编码单位接收一系列图像数据(该图像数据被从相机31a-l的通信部件44发送来)的处理和发送存储在发送存储器部件53中的发送数据的处理。例如，通信部件M读出存储在发送存储器部件53中的数据，生成发送分组(例如在基于IP协议执行通信的情况下是IP分组)，并发送发送分组。另外，例如，当通信部件 54已接收到通信分组时，通信部件M分析接收分组，分离图像数据和控制数据以传送到图像应用管理部件51，并将图像数据和控制数据输出到接收存储器部件55。例如，在基于IP 协议执行通信的情况下，通信部件M可以参考接收分组中包括的目的地IP地址和目的地端口号，并将图像数据等输出到接收存储器部件55。另外，通信部件M可以具有用于控制到另一终端的数据传送的路由功能。接收存储器部件55临时存储从通信部件M输出的数据，确定开始解码的时间点，并将要解码的数据输出到解码部件56。例如，接收存储器部件55将从同步控制部件57获得的解码开始时刻设置为在其开始对图像数据解码的时间点。解码部件56以一场内N行(N等于1或更大)为单位对从接收存储器部件55输出的数据解码，然后将经解码数据输出到图像应用管理部件51。同步控制部件57用作定时控制器，其控制通信系统20内的设备之间图像数据的发送和接收的定时。与图像应用管理部件51 —样，同步控制部件57 —般被实现为应用层中的处理。在例如从图像应用管理部件51接收到指令或者从相机31a_l接收到同步请求信号作为触发后，同步控制部件57对图像数据的发送和接收的定时的调节开始。然后，同步控制部件57将指定图像数据发送开始时刻的发送开始指示信号发送到相机31a-l，并且为接收存储器部件阳指定解码开始时刻。假定此时发送到相机31a_l的图像数据发送开始时刻是通过从为接收存储器部件阳指定的解码开始时刻减去包含了由每个解码单元中数据量的变化引起的延迟或者由通信环境中的变化(例如通信路径等中的抖动)引起的延迟、硬件延迟、存储器延迟等等的时间而获得的时刻。另外，尽管在图5和图6中发送开始指示信号被示为在图像应用管理部件41和同步控制部件57之间直接交换以帮助对描述的理解，但是发送开始指示信号实际上是经由通信部件44和M发送和接收的。接下来将参考图7和图8描述相机31a_l发送图像数据的处理和(XU33a接收图像数据的处理的流程。图7是示出相机31a_l中发送图像数据的处理的流程的流程图。参考图7，首先，从CXU 33a发送的发送开始指示信号被图像应用管理部件41接收 (步骤Sll)。图像应用管理部件41获得发送开始指示信号中包括的发送开始时刻。然后，图像应用管理部件41待命直到发送开始时刻的到来(步骤S12)，并且在发送开始时刻到来时将图像数据输出到压缩部件42。压缩部件42以一场内N行(N等于 1或更大)为编码单位对输出图像数据编码，并将经编码图像数据输出到发送存储器部件 43 (步骤Si； )。之后，图像数据根据通信路径和发送处理的进行被存储在发送存储器部件 43中(步骤S14)。之后，当发送定时到来时，图像数据被从发送存储器部件43输出到通信部件44， 并且包括图像数据的通信数据的生成开始(步骤SM)。通信数据随后被发送到CCU 33a(步骤 S16)。图8是示出在CXU 33a中接收图像数据的处理的流程的流程图。参考图8，首先，从同步控制部件57向接收存储器部件55指定解码开始时刻(步骤S21)。这种情况下解码开始时刻的指定例如可通过以下方式执行向存储部件的预定地址写入解码开始时刻或者向接收存储器部件55输出信号。另外，此时，发送开始指示信号被从同步控制部件57发送到相机31a_l。之后，在接收存储器部件55中作出启动定时器(用于观察时间直到解码开始时刻)的请求(步骤S22)。另外，经由通信部件M从相机31a_l接收的图像数据被顺序地传送到接收存储器
13部件55(步骤S2!3)。在该步骤中传送的图像数据被存储直到解码开始时刻。然后，当在步骤S21中指定的解码开始时刻到来时(步骤S24)，判定要发送和接收的图像数据的接收在该时间点是否完成(步骤S2Q。当在该步骤中无法检测到要发送和接收的图像数据时，处理返回到步骤S21，以对图像数据的发送和接收的定时进行重新调节。另一方面，当在步骤S25中检测到要发送和接收的图像数据时，执行以解码单位对图像数据解码的处理(步骤S26)。以解码单位对图像数据解码的处理被重复，直到对一个图片内所有行的处理都完成为止(步骤S27)。接收处理在对所有行的处理完成时的时间点结束。迄今为止已参考图5至8描述了在作为本发明第一实施例的一部分的演播室2 和候补室23a之间实现同步的操作的概况。在本实施例中，CXU 33a具有用于向相机31a-l 和31a-2发送指定图像数据发送开始时刻的信号的同步控制部件57。根据这种配置，在对于接收设备存在多个发送设备的情况下，当多条图像数据在接收侧上被管理或集成时，CCU 33a可以用作定时控制器，并且实现多条图像数据之间的同
止
少ο另外，同步控制部件57为接收存储器部件55内的解码开始指示部件指定解码开始时刻，其中解码开始时刻和上述发送开始时刻之间的时间间隔包含了通信环境中的变动。然后，接收存储器部件55内的解码开始指示部件基于所指定的解码开始时刻来确定解码开始时间点，并且给出开始以解码单位对图像数据解码的指令。因而，可以在同步状态中稳定地对利用在发送设备之间实现的同步发送的图像数据解码，同时适应了通信环境等中的变化效果。例如，对于CXU 33a，为了实现相机31a_l和31a_2之间的同步，由同步控制部件 57插入的帧同步时间戳被用于在CXU 33a与相机31a_l和31a_2之间发送和接收的通信数据中。参考图9A-9D，将描述IP分组的帧格式，作为可在CXU 33a与相机31a_2之间发送和接收的通信数据的示例。图9A-9D按四个划分阶段A至D示出了一个IP分组的内部配置。参考图9A，IP 分组包括IP头部和IP数据。IP头部包括与基于IP协议对通信路径的控制有关的控制信息，例如目的地IP地址等等。IP数据还包括UDP头部和UDP数据(图9B)。UDP是一种OSI参考模型的传输层协议，该协议常用在分发例如运动图像或音频数据(其实时特性被认为是很重要的)时。 UDP头部例如包括作为应用标识信息的目的地端口号。UDP数据还包括RTP头部和RTP数据(图9C)。RTP头部包括用于确保数据流的实时特性的控制信息，例如序列号等。另外，该控制信息包括由同步控制部件57生成的帧同步时间戳以实现多个相机之间的同步。在本实施例中，RTP数据包括图像数据的头部(该头部在下文中将被称为图像头部)和经编码数据，经编码数据是基于行基编解码器压缩的图像主体(图9D)。图像头部例如还可包括图片号、行块号(在以一行为单位执行编码的情况下是行号)、子带号，等等。另外，图像头部可以被进一步划分成赋予每个图片的图片头部和赋予每个行块的行块头部。通过这样在IP分组中包括由同步控制部件57生成的帧同步时间戳，一个C⑶可
14以使多个相机彼此同步。在包括多个CXU和多个相机的通信系统中，S卩，在包括CXU 33a至33c以及相机 31a-l至31c-3的通信系统20(如图4所示)中，当CXU 33a至33c彼此不同步时，各个CXU 33a至33c的同步控制部件57在不同定时执行处理。当在CCU之间的同步中存在这种差异时，图像可能受到干扰，因为当候补室改变时处理是在不同定时执行的。例如，将参考图10描述C⑶之间的同步中的差异。图10示出了以演播室22a的相机31a_l和31a_2作为参考、CCU 33a和CCU 33b 之间的同步中的差异。如图10所示，当在CXU 33a和CXU 3 之间的同步中存在差异，并且视频数据被从候补室23a改变到23b时，图像彼此不同步。因而，在相机31a-l和31a_2以候补室23a 作为参考被操作，并且改变到候补室2 之后，相机31a-l和31a-2需要被再次与作为参考的候补室23b同步。因此，在频繁执行候补室23a和候补室2 之间的切换的视频系统中， 视频被频繁地干扰，并且因而不适合用于实况中继广播中。因此，如图4所示，在通信系统20中引入了延迟控制设备M。延迟控制设备M执行候补室23a和候补室2 之间的仲裁，并确定主定时。另外，延迟控制设备M不仅可以被配置为连接到电路交换设备21的设备，还可以被实现在候补室23a至23c中。将参考图11描述延迟控制设备M的操作的概况。图11表示在三个候补室23a 至23c中确定主定时的处理的示例。在具有三个不同帧同步定时的环境中，为了将一个候补室的帧同步定时设置为主定时，延迟控制设备M被提供了一个缓冲器，用于延迟其他两个候补室的视频数据，延迟控制器M搜索使得其他两个候补室的延迟量最小的候补室。假定，此时由于从每个候补室到每个演播室的网络连接而引起的延迟量是可忽略的级别的。即，假定在图4的通信系统 20中，候补室23a至23c先被连接到电路交换设备21，再被从电路交换设备21连接到演播室2 至22c。因为从候补室23a至23c到演播室2 至22c的距离是恒定的，所以可以仅从候补室23a至23c所拥有的CXU 33a至33c的帧同步定时来确定主定时。例如，延迟控制设备M首先将候补室23a和候补室2 彼此比较，并且检测可以更多地减小另一候补室的延迟缓冲器的量的候补室。在图11的示例中，候补室2 相比于候补室23a可以将另一候补室的延迟量减少更多。延迟控制设备M接下来将候补室2 和候补室23c彼此比较。对于候补室23c， 相对于候补室2 的延迟时间是情况A或情况B。延迟控制设备M据此将情况A和情况 B的时间间隔彼此比较，确定情况A的时间间隔更短，并且确定候补室2 是主设备。在图 11的示例中，同步定时A被设置为主定时。因而，候补室23a准备一缓冲器，以便能够提供从同步定时A到候补室23a的帧同步定时的延迟，并且候补室23c准备一缓冲器，以便能够提供从同步定时A到候补室23c的帧同步定时的延迟。因为候补室2 的帧同步定时被这样设置为主定时，所以候补室23a和候补室23c 使得缓冲器(例如，图6中CCU 33a的接收存储器部件55被用作缓冲器)仅延迟与候补室 23b的帧同步定时的差。接下来，图12是示出延迟控制设备24的配置示例的框图。如图12所示，延迟控制设备M包括切换部件61、物理层Rx62、物理层控制部件
1563、接收数据分析部件64、系统同步定时调节部件65、图像摄取定时管理表66、图像摄取定时调节管理部件67、同步控制信息发送部件68、发送数据生成部件69和物理层Tx 70。切换部件61具有在数据的发送和接收之间进行切换的功能。切换部件61连接到电路交换设备21 (图4)。物理层Rx62是用于从电路接收分组的物理层接收部件。物理层Rx62从诸如以太网(注册商标)、NGN等的数字网络电路或者从无线电路接收分组。例如，物理层Rx 62基于物理层控制部件63的请求开始操作，并将所接收的分组提供给接收数据分析部件64。物理层控制部件63检测接收分组，并开始接收操作。另外，物理层控制部件63基于来自发送数据生成部件69的控制来控制物理层。接收数据分析部件64分析接收分组的类型，并且例如确定接收到描述候补室23a 至23c的帧同步定时的分组。系统同步定时调节部件65基于由接收数据分析部件64分析的分组来调节同步定时，同时与图像摄取定时管理表66交换信息。即，系统同步定时调节部件65确定主定时， 如参考图11所描述的。图像摄取定时管理表66管理(存储)候补室23a至23c的帧同步定时以及来自系统同步定时调节部件65的从候补室23a至23c到演播室2 至22c的相机31a_l至31c_3 的延迟量。当确定主定时时，系统同步定时调节部件65参考候补室23a至23c的帧同步定时以及从候补室23a至23c到演播室2 至22c的相机31a_l至31c_3的延迟量。图像摄取定时调节管理部件67管理向演播室2 至22c的相机31a_l至31c_3 的帧同步信息的发送，以使得可以在由系统同步定时调节部件65确定的主定时接收到视频数据。同步控制信息发送部件68基于从图像摄取定时调节管理部件67接收的开始定时来控制同步信息的发送。发送数据生成部件69生成适于物理层Tx70的电路的每个分组。物理层Tx 70是用于向电路发送分组的物理层发送部件。物理层Τχ70从诸如以太网(注册商标)、NGN等的数字电路或者从无线电路发送分组。例如，物理层Tx70基于物理层控制部件63的请求开始操作，并将从发送数据生成部件69提供来的通信分组输出到切换部件61。注意，尽管本实施例被配置为使得参考图12描述的延迟控制设备M确定图11中所示的情况A和情况B的时间间隔，但是本实施例并不限于这种配置。在延迟控制设备M 获得了情况A和情况B之后，例如可以在候补室23a的显示部件3 上显示情况A和情况B 作为延迟信息，并允许观看延迟信息的用户通过操作操作部件3 来选择情况A或情况B。另外，延迟控制设备M可以被配置为包括用于为候补室23a至23c延迟数据以与主定时一致的缓冲器(例如具有物理层Rx 62和物理层Tx 70之间的缓冲器)，并向通信系统20的网络发送被延迟直到预定定时的数据。除了这种配置以外，还可以采用另一种配置，其中CXU 33a至33c具有延迟缓冲器并且通过从延迟控制设备M接收延迟指示信息的量来控制延迟量。另外，与本实施例同样地，当上述基于行的小波变换被用作基于行的编解码器时， 可以以行块的子带为单位而不是以行块为单位生成通信分组。在这种情况下，在接收存储器部件中可以确保例如与从图像头部中获得的行块号和子带号相对应的存储区域，并且可以以行块的子带为单位来存储被解析为频率分量的图像数据。此时，例如当在以行块为单位执行解码的同时由于发送错误等而导致子带(或者子带的一部分)丢失时，可以在行块内丢失子带后的子带中插入哑数据，并且可以从下一行块起执行正常解码。[第二实施例]图13是示出应用了本发明的通信系统的第二实施例的配置示例的框图。前述第一实施例的描述假定了由于从候补室23a至23c到演播室2 至22c的网络连接而引起的延迟量的差异是可忽略的级别。然而，在实践中，当连接路径彼此极大地不同时，需要在考虑到延迟量的差异的情况下来实现同步。因此，在第二实施例中，将描述这样的配置，其使得演播室2 至22c和候补室23a至23c之间的连接路径彼此不同。如图13所示，与图4的通信系统20相比，通信系统20’的电路连接配置(在以太网(注册商标)的情况下是网络拓扑)改变了。具体而言，在通信系统20’中，候补室23b 的CXU 3 和候补室23c的CXU 33c直接连接到电路交换设备21_1，而候补室23a的CXU 33a经由电路交换设备21-2至21_4连接到电路交换设备21_1。对于这种通信系统20’的配置示例，假定以下情况，其中候补室23a和候补室2 之间帧同步定时的差异与参考图4所述的类似，并且描述将集中于与第一实施例的差异。图14是示出在候补室2 具有主定时的情况下获得了演播室22a的相机31a_l 和31a-2的同步之后的系统定时的示图。即，在图14中，相机31a-l和31a_2的帧同步定时是利用候补室23b的帧同步定时(=主定时)作为参考来生成的。首先考虑图14中作为整体的通信系统20’的延迟的总量。假定从主定时到相机 31a-l的帧同步定时的延迟量为6 (包括从相机31a-l到候补室23b的抖动的延迟量)。在这种情况下，相机31a-l的帧同步定时相对于CCU 33b的帧同步定时在相位上领先与延迟时间6相对应的时间间隔，并且相机31a-l调节CXU 3 处分组的到达时间以使得可以按 CXU 3 的帧同步定时来处理分组。另一方面，假定从主定时到相机31a_2的帧同步定时的延迟量为5 (包括从相机 31a-2到CXU 3 的抖动的延迟量)。另外，候补室23a的CXU 33a具有相对于候补室2 的CXU 33b被延迟了延迟量3的帧同步定时。因而，通信系统20’中的延迟的总量为14(延迟量6+延迟量5+延迟量3)。另外，延迟量的单位并不限于本说明书中的。在上面，基于比率描述了延迟量。然而，延迟量可以是时间或者以时钟为单位。将参考图15描述相比于候补室2 具有主定时的情况、当主定时被设置在候补室 23a的CXU 33a中时通信系统20，中的延迟的总量。如图15所示，当主定时被设置在候补室23a的CXU 33a中时，与候补室2 具有主定时(图14)的情况相比，候补室23a和候补室2 之间的延迟量被增大了延迟量4(延迟量7-延迟量3)。然而，与图4的通信系统20不同，图13的通信系统20’中的电路连接配置(在以太网(注册商标)的情况下是网络拓扑)具有从主定时到相机31a_l的帧同步定时的延迟量2 (包括从相机31a-l到候补室23a的抖动的延迟量)，并且具有从主定时到相机31a_2 的帧同步定时的延迟量1 (包括从相机31a-2到候补室23a的抖动的延迟量)。因为相机31a_l和相机31a_2的帧同步定时循环地发生，并且多个电路交换设备被插入在电路交换设备21-1和候补室23a之间，所以由从候补室23b的角度的延迟量和从候补室23a的角度的延迟量之间的差异，引起了图4的通信系统20和图13的通信系统20’之间的延迟量的差异。因而，系统延迟的总量为10 (延迟量7+延迟量2+延迟量1)，该延迟量小于在候补室 23b具有主定时的情况下的延迟量(图14)。通过这样确定具有主定时的设备(CXU)(其中在确定主定时时考虑到了从具有帧同步定时的设备(CCU)到相机的延迟量)，可以减小系统延迟的总量，并且进行较低延迟的系统配置。注意，本实施例并不限于图13中所示的配置。图13的通信系统20’意图描述其中从相机到候补室的距离彼此不同的环境，并且该环境仅仅是用于以更容易理解的方式进行描述的手段。假定主定时例如是在考虑到到每个演播室内的相机的连接电路之间的延迟量的差异、或者由于每个候补室内的设备而引起的延迟量的差异以及演播室之间的电路之间的延迟量的差异的情况下而确定的。本发明也可应用于延迟量中的内部因素。另外，假定网络抖动不需要被包括在内。如上所述，第一实施例呈现了在计算相机和CXU之间的延迟之前执行CXU之间的帧同步定时的仲裁、并基于主定时将帧同步定时通知给每个相机的方法。另外，第二实施例呈现了不仅执行CCU之间的帧同步定时的仲裁、还通过将相机和CCU之间的延迟量加到搜索主定时时的仲裁参数来计算系统延迟的总量并选择减少了系统延迟的总量的主定时的方法。接下来将描述第三实施例，其中相机和C⑶之间的延迟量被通知给延迟控制设备 24 (图12)，并且延迟控制设备M执行这些延迟量的仲裁，从而检测到系统的参考延迟时间，该参考延迟时间不同于CCU的帧同步定时。另外，第三实施例基于上述参考延迟时间调节外部输入到相机的同步定时，并且确定作为整体的系统的最优参考延迟时间。[第三实施例]将参考图16的流程图描述在应用了本发明的通信系统的第三实施例中执行的延迟控制处理。另外，该处理是在与图4中的通信系统20类似的配置中执行的。例如，该处理在启动通信系统20时开始。在步骤S41中，延迟控制设备M设置一种组合作为测量相机31a-l至31c-3和CXU 33a至33c中的延迟时间的对。具体而言，延迟控制设备M确定相机31和CXU 33的组合作为一对，并且通知CXU 33测量被设置为一对的CXU 33和相机31之间的延迟时间。此时，例如，延迟控制设备M设置试验性主定时 (它是除了 CXU 33a至33c的同步定时以外的任意定时)，并且执行处理。在从延迟控制设备M接收到通知后，CXU 33测量被设置为一对的CXU 33和相机31之间的延迟量和网络抖动量，并计算延迟时间。当CXU 33向延迟控制设备M通知延迟时间时，延迟控制设备M在步骤S42中获得从CXU 33通知的延迟时间。处理随后进行到步骤S43。在步骤S43中，延迟控制设备M判定是否存在其延迟时间还未被测量的一对相机 31和CXU 33。当延迟控制设备M确定存在其延迟时间还未被测量的一对相机31和CXU 33时，处理返回到步骤S41。S卩，通过重复步骤S41至S43的处理，获得了构成通信系统20 的所有相机31和所有CXU 33的对之间的延迟时间。
另一方面，当延迟控制设备M在步骤S43中确定没有其延迟时间还未被测量的相机31和CXU 33的对时，处理进行到步骤S44。在步骤S44中，延迟控制设备M基于在步骤 S41至S43的处理中获得的其延迟时间已被测量的所有相机31和所有CXU 33的对之间的延迟时间来计算参考延迟时间Tb，它是用作参考的延迟时间。在步骤S45中，延迟控制设备M判定相机31和CXU 33之间的延迟时间是否小于参考延迟时间Tb。当延迟控制设备M在步骤S45中确定相机31和CXU 33之间的延迟时间小于参考延迟时间Tb时，处理进行到步骤S46。在步骤S46中，延迟控制设备M向CXU 33通知将试验性设置的试验性主定时延迟一时间，该时间是通过从参考延迟时间Tb中减去延迟时间Ts (它是相机31和CCU33之间的延迟时间并且小于参考延迟时间Tb)而获得的。在步骤S46的处理之后，处理返回到步骤S41并且之后重复类似处理。具体而言，因为延迟控制设备M计算延迟管理时间(不取决于(XU33的同步定时)(参考延迟时间Tb =延迟管理时间-相机的图像摄取时间)，所以延迟控制设备M向 CXU 33通知将相机的图像摄取时间延迟一时间(参考延迟时间Tb-延迟时间Ts)，其中延迟管理时间作为参考。这是为了使得能够在延迟管理时间对视频数据进行处理，即使在相机31和CXU 33之间存在延迟时间Ts也如此。在步骤S46中，延迟控制设备M向每个相机 31发送领先同步定时的命令或者延迟同步定时的命令，从而执行控制以使得可以利用延迟管理时间作为参考来处理视频数据。另一方面，当延迟控制设备M在步骤S45中确定相机31和CXU 33之间的延迟时间不小于参考延迟时间Tb (等于或大于参考延迟时间Tb)时，处理进行到步骤S47。在步骤S47中，延迟控制设备M判定相机31和CXU 33之间的延迟时间是否大于参考延迟时间Tb。当延迟控制设备M在步骤S47中确定相机31和CXU 33之间的延迟时间不大于参考延迟时间Tb时，处理进行到步骤S48。即，在这种情况下，当步骤S45中的判定被包括在内时，相机31和CXU 33之间的延迟时间与参考延迟时间Tb是相同的时间。在步骤S48中，延迟控制设备M向CXU 33通知获得与参考延迟时间Tb的同步。 从而，已接收到通知的CCU 33进行设置以便利用参考延迟时间Tb进行操作，即，继续操作而不新设置视频缓冲器的量，并且延迟控制处理结束。此时，当前定时(即，试验性设置的试验性主定时)被设置为主定时，并且利用主定时执行处理。另一方面，当延迟控制设备M在步骤S47中确定相机31和CXU 33之间的延迟时间大于参考延迟时间iTb时，处理进行到步骤S49。在步骤S49中，延迟控制设备M判定相机31和CXU 33之间的延迟时间Tl (该延迟时间Tl是相机31和CXU 33之间的延迟时间并且该延迟时间大于参考延迟时间Tb)是否是需要以帧为单位的延迟的时间。例如，当延迟时间Tl等于或大于一帧的时间时，延迟控制设备M确定延迟时间Tl是需要以帧为单位的延迟的时间，并且当延迟时间Tl小于一帧的时间时，延迟控制设备M确定延迟时间Tl不是需要以帧为单位的延迟的时间。当延迟控制设备对在步骤S49中确定延迟时间Tl是需要以帧为单位的延迟的时间时，处理进行到步骤S50。在步骤S50中，延迟控制设备M计算以帧为单位的延迟时间。例如，延迟控制设
19备M计算(参考延迟时间Tb+帧数目nX —帧时间Tfr)-延迟时间Tl，作为以帧为单位的延迟时间。这种情况下的帧数目是要延迟的帧的数目。在步骤S51中，延迟控制设备M基于在步骤S50中计算出其延迟时间的以帧为单位的延迟时间来计算存储图像数据达延迟时间所必需的缓冲器的量。在步骤S52中，延迟控制设备M向CXU 33通知在步骤S51中计算出的缓冲器的量以在CXU 33中设置该缓冲器的量。从而，到达CXU 33的图像的延迟精确地变为相对于参考延迟时间Tb η帧的延迟。 这种情况下被延迟的帧的数目η被确定为满足参考延迟时间Tb+帧的数目ηΧ —帧时间 Tfr >延迟时间Tl。另外，计算和设置缓冲器的量的处理可以在CXU 33—侧上执行。S卩，延迟控制设备M可以向CCU 33通知在步骤S50中计算出其延迟时间的以帧为单位的延迟时间，并且 CCU 33可以计算并设置缓冲器的量。在步骤S53中，延迟控制设备M通知CXU 33以向CXU 33后级的设备通知被延迟的帧的数目η。响应于该通知，CXU 33向后级的设备通知帧的数目η。然后延迟控制处理结束。另一方面，当延迟控制设备M在步骤S49中确定延迟时间Tl不是需要以帧为单位的延迟的时间时，处理进行到步骤S54。在步骤S54中，延迟控制设备M计算延迟时间(小于一帧的时间的延迟时间)。 例如，延迟控制设备M计算(参考延迟时间Tb+ —帧时间Tfr)-延迟时间Tl，作为延迟时间。之后，在步骤S55中，延迟控制设备M基于在步骤S54中计算出的延迟时间来计算存储达延迟时间的图像数据所必需的缓冲器的量。在步骤S56中，延迟控制设备M向 CXU 33通知缓冲器的量以在CXU 33中设置缓冲器的量。另外，计算和设置缓冲器的量的处理可以在CCU 33—侧上执行。另外，与延迟时间相对应的缓冲器的量被设置以便被尽可能地减小。在步骤S56的处理之后，延迟控制处理结束。如上所述，通过检测系统的参考延迟时间(该参考延迟时间不同于CXU的帧同步定时)，第三实施例可以调节外部输入到相机的同步定时，并且确定作为整体的系统的最优参考延迟时间。例如，在第一和第二实施例中，CXU 33执行作为主设备的定时管理，从而可以相对容易地执行系统定时管理，而第三实施例测量端对端(peer-to-peer)延迟的量而不是取决于某一 CCU 33的帧同步定时，因而可以进行更灵活的测量。因而，第三实施例适合于以下环境中的处理其中多个CCU 33(具有不同的帧同步定时)之一具有明显的延迟或者发生了等于或大于帧同步间隔的延迟量。另外，在第三实施例中，令Tb是用作参考的延迟时间，则由于每个相机31和每个 CXU 33之间的不同连接环境，存在小于参考延迟时间Tb的延迟(延迟时间Ts)的情况或者大于参考延迟时间Tb的延迟(延迟时间Tl)的情况。因此，当相机31和CXU 33之间的延迟小于参考延迟时间Tb (延迟时间Ts)时，延迟控制设备M指示预期相机将图像摄取定时延迟通过从参考延迟时间Tb中减去延迟时间Ts而获得的时间。从而，到达CXU 33的视频的延迟被调节为等于相机31和CXU 33之间的参考延迟时间Tb。另外，因为延迟控制设备M被期望在还考虑到与由CXU 33所掌握的网络抖动相对应的视频缓冲器的量的情况下确定参考延迟时间，所以测量次数可能增大，直到网络抖动得到掌握为止。另外，当延迟大于参考延迟时间Tb (延迟时间Tl)时，第三实施例可以选择两种情况作为一个系统。一种是将CCU 33的视频缓冲器的量调节为与以下时间相对应的延迟，该时间由(参考延迟时间Tb+—帧时间Tfr)-延迟时间Tl表达，以构建具有最小延迟量的系统。本方法在这样的应用中是有效的，其中作为整体的系统的延迟量被期望尽可能地减小。在另一种情况下，延迟管理部件指示CXU 33设置与一时间相对应的视频缓冲器， 该时间由(参考延迟时间Tb+帧的数目nX —帧时间Tfr)-延迟时间Tl表达，以使得延迟以帧为单位的延迟量。CCU 33进行调节以使得到达视频的延迟相对于参考延迟时间Tb精确地是η帧的延迟。在这种情况下，一帧时间Tfr是一帧时间，并且帧的数目η被确定为满足参考延迟时间Tb+帧的数目nX —帧时间Tfr >延迟时间Tl。利用本方法，在现有的系统中，例如在图4中当执行候补室23a和候补室2 之间的切换时发生由于η帧的延迟而引起的图片重复。然而，本功能至少提供了避免由于切换引起的图片干扰的效果。另外，提供了向连接在每个候补室23的后级的广播设备指示输入视频数据被延迟了 η帧的功能，这使得后级的设备能够去除图片重复。另外，在延迟控制设备M用于仲裁时，除了延迟控制设备M连接到电路交换设备 21的配置以外，延迟控制设备M也可结合到CXU 33中。另外，例如，在步骤S45中，参考延迟时间Tb可以被设置为每个相机31和每个特定CCU 33之间的最大延迟量。另外，至于对相机的图像摄取时间的调节，当作为整体的系统具有绝对时间轴(例如时钟)时，可以通过时间指定同步定时。另外，尽管在本实施例中仅设置了视频缓冲器的量，但是可以利用缓冲器和PLL相位调节两者来进行延迟调节。注意，尽管在本实施例中已描述了包括用于发送图像数据的相机和用于控制相机的CCU的通信系统，但是本发明并不限于这种配置。本发明可应用于包括用于发送数据的发送设备和用于控制发送设备的控制设备的通信系统，并且可应用于用于控制通信系统中的延迟的延迟控制设备。如上所述，根据本发明的实施例的延迟控制设备、控制方法和通信系统，可以通过提供诸如以太网(注册商标)、NGN、无线电等的通用电路(它们与专用电路或卫星电路相比是非常便宜的)来低成本地构造实况中继广播系统，而在相机系统中相机和CCU通过被称为光缆、三轴线缆或多线缆的复合线缆彼此相连以执行现有的实况中继广播。另外，因为可以向实况中继广播控制台站提供不同的帧同步定时，所以该系统可以被容易地扩展，并且可以在适当的场所构造适当的系统配置。例如，尽管在过去中继广播是在在同一广播台站设施内的多个演播室之间执行切换的同时执行的，但是中继广播切换等可以在不同设施中的多个演播室之间执行，或者通过与现有定时操作类似的定时操作利用远程设施来进行实况中继广播。另外，因为相机可以经由异步网络同步锁相，所以即使当利用多个中继广播控制台站和多个相机执行同时中继广播时，也可以利用基于行的编解码器发送低延迟和高质量的相机图像并且实现适合于基于行的编解码器的同步获得方法。从而可以以允许实时图像的高速切换处理(这是实况中继广播的核心技术)的级别来维持低的延迟。第一至第三实施例利用参考图9所描述的IP分组中包括的帧同步时间戳来执行
21CN 102215320 A
说明书
18/23页
获得CXU 33a至33c和相机31a-l至31c-3之间的同步的处理。然而，希望在以允许实时图像的高速切换处理(这是实况中继广播的核心技术)的级别来维持低的延迟的同时实现高精度的同步。[第四实施例]第四实施例通过执行两种同步获得方法来实现系统同步。第四实施例涉及例如用于以下情况下的同步获得的分组格式在用于诸如以太网(注册商标)、NGN等的电路的电路控制层中执行的同步获得(该同步在下文中将被称为电路控制层同步)，以及在视频控制层中的同步获得，其中基于由电路控制层松散同步的分组在视频帧或视频图片级别实现同步(该同步在下文中将被称为视频控制层同步)。首先将参考图17描述用于视频控制层同步的同步方法。另外，视频控制层同步是在计算第一至第三实施例中描述的延迟时间之前执行的。在图17所示的数据发送系统100中，数据流被从发送设备111发送到接收设备 112。发送设备111对应于上述相机31的发送装置。接收设备112对应于上述CXU 33的接收装置。数据发送系统100是用于发送运动图像数据、音频数据等的数据流并且实时再现和输出数据流的系统。数据发送系统100包括用于发送数据流的发送设备111、用于接收数据流的接收设备112以及传输线113(例如该电路包括上述电路交换设备21)，通过该传输线数据流被在这些设备之间传输。发送设备111包括用于临时存储所生成的数据流的发送存储器Illa ；用于对来自发送存储器Illa的输出数据进行分组化并将经分组化的输出数据输出到传输线113的输出装置Illb ；用于生成要发送给接收设备112的时间信息的时间信息生成装置Illc ；以及用于将时间信息添加到来自输出装置Illb的输出数据的时间信息添加装置llld。接收设备112包括用于临时存储经由传输线113接收的数据流的接收存储器 112a ；用于对来自接收存储器11 的输出数据解码的解码处理装置112b ；用于分离添加到所接收的数据流的时间信息的时间信息分离装置112c ；以及用于控制从接收存储器11 读出数据流的定时的读出控制装置112d。另外，发送设备111和接收设备112可以分别具有基准时钟Ille和112e，用于生成用作从发送设备111发送的时间信息的基准的时间。另外，基准时钟Ille和11 可以基于从设在外部的基准时间生成装置114接收的基准时间信息来生成时间。传输线113例如被实现为通信网络，例如以太网(注册商标)电路(包括LAN)、 NGN、无线LAN等等。发送设备111被提供以通过未在图17中示出的编码装置以预定编码系统编码的数据流。该数据流可以经由诸如硬盘等的存储介质提供。所提供的数据流被临时存储在发送存储器Illa中，提供给输出装置111b，并被输出到传输线113。在接收设备112中，所接收的数据流被临时存储在接收存储器11 中，并提供给解码处理装置112b以经历解码处理，并且数据流的内容通过诸如监视器、扬声器等的输出装置(未在图17中示出)输出。在这种数据流的发送中，直到由编码装置生成的数据流被提供给接收设备112中的解码处理装置112b为止的发送延迟时间被调节为在某一程度上恒定，从而在编码装置
22的数据输入和解码处理装置112b的数据输出之间实现同步。数据发送系统100被如上所述配置，从而发送和接收经分组化的数据，并且利用分组中包括的时间戳来执行如上所述的电路控制层同步和视频控制层同步。在下面，参考图18，将描述作为分组的配置的第一示例的IP分组的帧格式，其用于实现本实施例中的电路控制层同步和视频控制层同步。如图18所示，IP分组包括IP头部和IP数据。IP头部包括与基于IP协议对通信路径的控制有关的控制信息，例如目的地IP地址等。IP数据还包括UDP头部和UDP数据。 UDP是一种OSI参考模型的传输层协议，该协议常用在例如分发运动图像或音频数据(其实时特性被认为是很重要的)时。UDP头部例如包括作为应用标识信息的目的地端口号。UDP数据还包括RTP头部和RTP数据。RTP头部包括用于确保数据流的实时特性的控制信息，例如序列号等。RTP头部包括用于电路控制层同步的时间戳。RTP数据包括图像头部和经编码数据，该经编码数据是基于行基编解码器压缩的图像主体。图像头部例如可包括图片号、行块号(在以一行为单位执行编码的情况下是行号)、子带号，等等。图像头部包括用于视频控制层同步的时间戳。IP分组被这样配置，以使得用于电路控制层同步的时间戳被包括在RTP头部中并且用于视频控制层同步的时间戳被包括在图像头部中。在这种情况下，用于电路控制层同步的时间戳和用于视频控制层同步的时间戳不需要彼此同步。接下来，参考图19，将描述用于生成并发送这种IP分组并且输出发送到设备的IP 分组中包括的数据的设备。尽管在图17中发送设备111和接收设备112被配置为不同的设备，但是下面的描述在图19中将以具有发送功能和接收功能的成像显示设备作为示例。图19是示出应用了本发明的成像显示设备的配置示例的框图。图19中的成像显示设备120可以对包括所摄取的图像和音频的信号进行分组化并将经分组化的信号输出到异步传输线(图4中的演播室22的功能)，并且恢复经由异步传输线发送的分组化的信号并输出该信号(图4中的候补室23的功能)。另外，将参考图 19描述在成像显示设备120中生成的分组的结构。成像显示设备120包括相机部件121、图像编码部件122a、音频编码部件122b、图像分组生成部件123a、音频分组生成部件123b、时间戳生成部件12 和1Mb、图像同步定时调节部件125、缓冲器126、时间戳生成部件127、RTP分组生成部件128、异步传输线I/ F(接口)129、RTP分组解码部件130、时间戳解码部件131、缓冲器132、时间戳解码部件 133a和133b、图像去分组化部件134a、音频去分组化部件134b、图像解码部件135a、音频解码部件135b、输出部件136、时钟生成部件137、同步信号生成器138、电路同步定时调节部件139以及时间戳生成部件140。成像显示设备120可以将包括由相机部件121获得的图像和音频的信号输出到异步传输线(图4中的演播室22的功能)，并且恢复经由异步传输线发送的信号并将信号输出到输出部件136(图4中的候补室23的功能)。相机部件121包括诸如CXD或CMOS传感器之类的成像装置、诸如麦克风之类的音频输入装置，等等。相机部件121获得图像和音频。与相机部件121所获得的图像相对应的图像信号被输入到图像编码部件122a。与相机部件121所获得的音频相对应的音频信号被输入到音频编码部件122b。
图像编码部件12 对图像信号编码并压缩，并且将经编码数据提供给图像分组生成部件123a。音频编码部件122b对音频信号编码并压缩，并且将经编码数据提供给音频分组生成部件12 。图像分组生成部件123a通过将图像信号的经编码数据转换为一个分组的大小并向数据添加图像头部来对经编码数据进行分组化。图像分组生成部件123a将图像信号的分组化的经编码数据提供给时间戳生成部件IMa。类似地，音频分组生成部件12 将音频信号的分组化的经编码数据提供给时间戳生成部件124b。时间戳生成部件12 向图像信号的分组化的经编码数据添加与媒体同步的时间戳，即，用于视频控制层同步的时间戳(图18)。类似地，时间戳生成部件124b向音频信号的分组化的经编码数据添加与媒体同步的时间戳。图像同步定时调节部件125调节用于视频控制层同步的时间戳(该时间戳被时间戳生成部件12 添加)的定时。图像同步定时调节部件125还为时间戳解码部件133a调节用于视频控制层同步的时间戳的定时。在时间戳生成部件12 中添加了时间戳的经编码数据和在时间戳生成部件124b 中添加了时间戳的经编码数据被提供给缓冲器126，并在缓冲器126中被复用。时间戳生成部件127向在缓冲器1 中复用的数据添加用于电路控制层的时间戳 (图18)，然后将数据提供给RTP分组生成部件128。另外，时间戳生成部件127被提供以用于电路控制层同步的时间戳(该时间戳是在时间戳生成部件140中参考参考同步信号生成的，后面将描述)，并且时间戳生成部件127添加用于电路控制层同步的时间戳。RTP分组生成部件1 向包括经编码数据和图像头部的RTP数据添加RTP头部，并将结果提供给异步传输线I/F。异步传输线I/F 1 添加时间戳和IP头部，然后将结果输出到异步传输线。例如， 当成像显示设备120被视作图4中的相机31时，异步传输线I/F 129经由异步传输线将分组发送到CXU 33。另一方面，当成像显示设备120被视作图4中的CXU 33时，异步传输线 I/F 129经由异步传输线接收从相机31发送的分组。RTP分组解码部件130被提供以由异步传输线I/F 129接收的分组(图像数据分组、音频数据分组、命令数据分组等)。RTP分组解码部件130对分组解码，并将解码后的分组提供给时间戳解码部件131。时间戳解码部件131识别IP头部、UDP头部和RTP头部。包括图像数据和音频数据的RTP数据被提供给缓冲器132，并且在RTP头部的后面添加的用于电路控制层同步的时间戳(图18)被提供给时钟生成部件137。在缓冲器132中，De-MUM(解复用)电路将RTP数据分离为图像信号的经编码数据的分组和音频信号的经编码数据的分组。图像信号的经编码数据的分组被提供给时间戳解码部件133a，从其提取出与媒体同步的时间戳，即用于视频控制层同步的时间戳(图18)。用于视频控制层同步的时间戳被用在输出部件136中生成时钟和同步信号。图像去分组化部件13 对从时间戳解码部件133a提供来的图像信号的经编码数据的分组进行去分组化，然后将图像信号的经编码数据提供给图像解码部件13fe。图像解码部件13 对图像信号的经编码数据解码，然后将图像信号输出到输出部件136。
与时间戳解码部件133a、图像去分组化部件13 和图像解码部件13 —样，时间戳解码部件133b、音频去分组化部件134b和音频解码部件13 将音频信号的经编码数据的分组中包括的音频信号输出到输出部件136。经由异步传输线发送的图像和音频从而被从输出部件136输出。另外，时钟生成部件137生成预定频率的时钟，并将时钟提供给同步信号生成器 138。同步信号生成器138由时钟生成同步信号，并将同步信号提供给电路同步定时调节部件 139。电路同步定时调节部件139被提供以来自同步信号生成器同步信号生成器138的同步信号，并且还经由时钟生成部件137和同步信号生成器138被提供以来自时间戳解码部件131的用于电路控制层同步的时间戳。电路同步定时调节部件139基于用于电路控制层同步的时间戳来调节同步信号，然后输出参考同步信号，当时间戳生成部件140生成时间戳时该参考同步信号会被时间戳生成部件140参考。时间戳生成部件140参考来自电路同步定时调节部件139的参考同步信号，并且生成要提供给时间戳生成部件127的用于电路控制层同步的时间戳。在这样配置的成像显示设备120中，视频控制层中的同步(该同步在下文中将被称为视频控制层同步，其中以视频帧或视频图片级别实现同步)可以基于根据用于电路控制层同步的时间戳松散同步的分组获得，该时间戳被包括在分组中并且基于用于视频控制层同步的时间戳。从而可以在以允许实时图像的高速切换处理(这是实况中继广播的核心技术)的级别来维持低的延迟的同时实现高精度的同步。另外，当异步传输线相比于信号具有足够宽的频带时，图像编码部件12 和音频编码部件122b不是必需的，并且信号可以按原样以未压缩状态经历IP分组化。在这种情况下，图像解码部件13 和音频解码部件13 也不是必需的。接下来，参考图20，将描述作为分组的配置的第二示例的IP分组的帧格式。图20中所示的IP分组与图18中所示的IP分组的不同之处在于用于编码时刻同步的时间戳被包括在图20所示的IP分组的经编码数据中。图20中所示的IP分组在其他方面与图18中所示的IP分组相同。用于电路控制层同步的时间戳和用于视频控制层同步的时间戳不需要彼此同步。用于视频控制层同步的时间戳和用于编码时刻同步的时间戳彼此同步。如图20所示，不仅向IP分组添加了用于电路控制层同步的时间戳和用于视频控制层同步的时间戳，还添加了用于编码时刻同步的时间戳，这使得可以例如更精确地设置在图19的图像解码部件13 和音频解码部件13 中对经编码数据解码的定时，并实现较低的延迟。另外，当使用作为配置的第二示例的IP分组时，在图9的成像显示设备120中，用于生成用于编码时刻同步的时间戳的时间戳生成部件需要被设在图像编码部件12 和图像分组生成部件123a之间以及音频编码部件122b和音频分组生成部件12 之间。另外， 用于对用于编码时刻同步的时间戳解码的解码部件需要被设在图像去分组化部件13 和图像解码部件13 之间以及音频去分组化部件134b和音频解码部件13 之间。接下来，参考图21，将描述作为分组的配置的第三示例的IP分组的帧格式。图21中所示的IP分组与图20中所示的IP分组的不同之处在于图21中所示的
25IP分组具有用于FEC(前向纠错)同步的时间戳(该时间戳被包括在RTP头部中)并且具有添加到图像头部的开头的FEC头部。图21中所示的IP分组在其他方面与图20中所示的IP分组相同。另外，用于电路控制层同步的时间戳和用于视频控制层同步的时间戳不需要彼此同步。用于FEC同步的时间戳、用于视频控制层同步的时间戳以及用于编码时刻同步的时间戳彼此同步。向如图21所示的IP分组添加了 FEC头部和用于FEC同步的时间戳使得可以基于用于FEC同步的时间戳对分组进行擦除校正(该分组的抖动被FEC消除)并实现甚至更低的延迟。另外，当使用作为配置的第三示例的IP分组时，在图19的成像显示设备120中， 在缓冲器132的后级需要提供用于基于用于FEC同步的时间戳执行分组的擦除校正的处理 (该分组的抖动被FEC消除)的处理部件。另外，需要提供用于生成FEC头部和用于FEC同步的时间戳的生成部件。另外，作为配置的第三示例的IP分组与标准化的RTP分组兼容。另外，假定同样在作为配置的第二和第三示例的IP分组的情况下，也执行电路控制层同步和视频控制层同步。如上所述，第四实施例可以在以允许实时图像的高速切换处理(这是实况中继广播的核心技术)的级别来维持低的延迟的同时实现高精度的同步。即，利用上述的基于行的编解码器，与基于图片的编解码器相比，操作可能花费的时间极短。为了解决操作可能花费的极短时间所附带的问题，执行这样的处理，其使发送缓冲器的待命时间和接收缓冲器的待命时间的总时间保持恒定，并且改变发送缓冲器的待命时间和接收缓冲器的待命时间之间的比率。例如，当不同的图像数据被编码时，执行这样的处理，其改变待命时间以便增大用于发送的缓冲器的待命时间同时减小接收缓冲器的待命时间。当发送缓冲器的待命时间这样被延长时，就系统延迟而言可以适应根据不同图像生成的大量瞬时数据。例如，在现有技术中，由于图片延迟，提供了用于适应接收分组的抖动的缓冲器， 但是电路延迟和接收缓冲器的待命时间不能彼此分离。因为该分离不可能，所以需要不必要的缓冲器，并且低延迟系统受到影响。另一方面，本实施例可以将电路延迟和接收缓冲器的待命时间彼此分离，并且确定接收缓冲器的待命时间以便根据发送缓冲器的待命时间保持总时间恒定。因此，可以实现较低延迟的同步。另外，在本实施例中，通过可以以非常短的时间间隔改变发送缓冲器的待命时间和接收缓冲器的待命时间之间的比率，可以以低延迟发送高图像质量的数据。上述处理序列可以通过软件以及硬件执行。当处理序列通过软件执行时，构成软件的程序被从程序记录介质安装到专用硬件中结合的计算机上，或者例如安装到可以通过安装各种程序执行各种功能的通用个人计算机上。图22是示出通过程序执行上述处理序列的计算机的硬件配置示例的框图。 在计算机中，CPU (中央处理单元)201、R0M(只读存储器)202和RAM(随机访问存储器)203通过总线204互连。 总线204还与输入-输出接口 205相连。输入-输出接口 205与以下部件相连 由键盘、鼠标、麦克风等形成的输入部件206，由显示器、扬声器等形成的输出部件207，由硬盘、非易失性存储器等形成的存储部件208，由网络接口等形成的通信部件209，以及用于驱动可移除介质211(例如磁盘、光盘、磁光盘、半导体存储器等)的驱动器210。在如上所述配置的计算机中，CPU 201例如经由输入-输出接口 205和总线204将存储在存储部件208中的程序加载到RAM 203中，然后执行该程序。从而上述处理序列得到执行。计算机(CPU 201)所执行的程序例如以记录在可移除介质211上作为封装介质的状态提供，该封装介质包括磁盘(包括柔性盘)、光盘(例如CD-R0M(致密盘-只读存储器)、DVD(数字多功能盘)等等)、磁光盘、半导体存储器等等，或者该程序经由诸如局域网、 因特网、数字卫星广播等的有线或无线传输介质提供。该程序可以通过将可移除介质211加载到驱动器210中来经由输入-输出接口 205被安装到存储部件208中。另外，该程序可以经由有线或无线传输介质被通信部件209 接收并安装到存储部件208中。另外，该程序可以预先安装在ROM 202或存储部件208中。注意，计算机所执行的程序可以是按本说明书中所描述的顺序以时序执行处理的程序，或者可以是并行或按必要的定时(例如在进行调用时)执行处理的程序。另外，在本说明书中，系统指由多个设备形成的作为整体的装置。注意，本发明的实施例并不限于前述实施例，并且可以进行各种改变，而不脱离本发明的精神。本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子组合和更改，只要在权利要求及其等同物的范围内即可。本申请包含与2010年4月9向日本专利局提交的日本在先专利申请JP 2010-090962中所公开的内容有关的主题，该申请的全部内容通过引用结合于此。
2权利要求
1.一种发送设备，包括再现时刻信息添加装置，用于向作为发送对象的数据添加指定所述数据的再现定时的再现时刻信息；控制时刻信息添加装置，用于向数据传送控制信息添加控制时刻信息，所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据要通过所述电路被发送；以及发送装置，用于发送添加了所述再现时刻信息和所述控制时刻信息的数据。
2.如权利要求1所述的发送设备，还包括编码装置，用于对所述数据编码；以及编码时刻信息添加装置，用于向经所述编码装置编码的经编码数据添加指定编码定时的编码时刻信息。
3.如权利要求1所述的发送设备，还包括错误控制时刻信息添加装置，用于生成用于数据传送中的错误控制的控制信息并向所述数据添加所述控制信息，并添加指定错误控制处理的定时的错误控制时刻信息。
4.如权利要求1所述的发送设备，其中所述再现时刻信息被放置在数据的头部中，所述数据的头部被添加到所述数据的主体部分。
5.如权利要求1所述的发送设备，其中所述控制时刻信息被放置在用于电路控制的头部中，所述用于电路控制的头部被添加到包括所述数据的主体部分和数据的头部的数据部分，所述数据的头部被添加到所述数据的主体部分。
6.如权利要求2所述的发送设备，其中所述编码时刻信息被放置在所述数据的主体部分中。
7.如权利要求3所述的发送设备，其中用于错误控制的所述控制信息被添加到数据的头部，所述数据的头部被添加到所述数据的主体部分，并且所述错误控制时刻信息被放置在用于电路控制的头部中，所述用于电路控制的头部被添加到包括所述数据的主体部分和所述数据的头部的数据部分，所述数据的头部被添加到所述数据的主体部分。
8.—种发送设备的控制方法，该控制方法包括以下步骤向作为发送对象的数据添加指定所述数据的再现定时的再现时刻信息；向数据传送控制信息添加控制时刻信息，所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据要通过所述电路发送；以及发送添加了所述再现时刻信息和所述控制时刻信息的数据。
9.一种接收设备，包括接收装置，用于接收所发送的数据；同步处理装置，用于从所述数据中提取控制时刻信息，并基于所述控制时刻信息执行同步处理，其中所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据是通过所述电路发送的；以及再现处理装置，用于从所述数据中提取指定所述数据的再现定时的再现时刻信息，并按基于所述再现时刻信息的定时执行再现处理。
10.如权利要求9所述的接收设备，其中所述数据被编码并发送，并且所述接收设备还包括解码装置，用于从所述接收装置接收的经编码数据中提取指定编码定时的编码时刻信息，并按基于所述编码时刻信息的定时对经编码数据解码。
11.如权利要求9所述的接收设备，还包括错误控制处理装置，用于从所述数据中提取指定错误控制处理的定时的错误控制时刻信息，并按基于所述错误控制时刻信息的定时利用用于数据传送中的错误控制的控制信息来执行错误控制处理。
12.如权利要求9所述的接收设备，其中所述再现时刻信息被放置在数据的头部中，所述数据的头部被添加到所述数据的主体部分。
13.如权利要求9所述的接收设备，其中所述控制时刻信息被放置在用于电路控制的头部中，所述用于电路控制的头部被添加到包括所述数据的主体部分和数据的头部的数据部分，所述数据的头部被添加到所述数据的主体部分。
14.如权利要求10所述的接收设备，其中所述编码时刻信息被放置在所述数据的主体部分中。
15.如权利要求11所述的接收设备，其中用于错误控制的所述控制信息被添加到数据的头部，所述数据的头部被添加到所述数据的主体部分，并且所述错误控制时刻信息被放置在用于电路控制的头部中，所述用于电路控制的头部被添加到包括所述数据的主体部分和所述数据的头部的数据部分，所述数据的头部被添加到所述数据的主体部分。
16.一种接收设备的控制方法，该控制方法包括以下步骤接收所发送的数据；从所述数据中提取控制时刻信息，并基于所述控制时刻信息执行同步处理，其中所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据是通过所述电路发送的；以及从所述数据中提取指定所述数据的再现定时的再现时刻信息，并按基于所述再现时刻信息的定时执行再现处理。
17.一种通信系统，包括再现时刻信息添加装置，用于向作为发送对象的数据添加指定所述数据的再现定时的再现时刻信息；控制时刻信息添加装置，用于向数据传送控制信息添加控制时刻信息，所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据要通过所述电路发送；发送装置，用于发送添加了所述再现时刻信息和所述控制时刻信息的数据；接收装置，用于接收所发送的数据；同步处理装置，用于从所述数据中提取所述控制时刻信息，并基于所述控制时刻信息执行同步处理；以及再现处理装置，用于从所述数据中提取所述再现时刻信息，并按基于所述再现时刻信息的定时执行再现处理。
18.—种通信系统的控制方法，该控制方法包括以下步骤向作为发送对象的数据添加指定所述数据的再现定时的再现时刻信息； 向数据传送控制信息添加控制时刻系信息，所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据要通过所述电路发送； 发送添加了所述再现时刻信息和所述控制时刻信息的数据； 接收所发送的数据；从所述数据中提取所述控制时刻信息，并基于所述控制时刻信息执行同步处理；以及从所述数据中提取所述再现时刻信息，并按基于所述再现时刻信息的定时执行再现处理。
19.一种发送设备，包括再现时刻信息添加部分，被配置为向作为发送对象的数据添加指定所述数据的再现定时的再现时刻信息；控制时刻信息添加部分，被配置为向数据传送控制信息添加控制时刻信息，所述控制时刻信息指定在下述电路上执行电路控制的时刻的控制定时所述数据要通过所述电路发送；以及发送部分，被配置为发送添加了所述再现时刻信息和所述控制时刻信息的数据。
20.一种接收设备，包括接收部分，被配置为接收所发送的数据；同步处理部分，被配置为从所述数据中提取控制时刻信息，并基于所述控制时刻信息执行同步处理，其中所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据是通过所述电路发送的；以及再现处理部分，被配置为从所述数据中提取指定所述数据的再现定时的再现时刻信息，并按基于所述再现时刻信息的定时执行再现处理。
全文摘要
本发明公开了发送设备、接收设备、控制方法和通信系统。发送设备，包括再现时刻信息添加部分，用于向作为发送对象的数据添加指定所述数据的再现定时的再现时刻信息；控制时刻信息添加部分，用于向数据传送控制信息添加控制时刻信息，所述控制时刻信息指定在下述电路上执行电路控制的时间的控制定时所述数据要通过所述电路被发送；以及发送部分，用于发送添加了所述再现时刻信息和所述控制时刻信息的数据。
文档编号H04N7/26GK102215320SQ20111008589
公开日2011年10月12日 申请日期2011年4月2日 优先权日2010年4月9日
发明者久礼嘉伸, 吉村司, 椿聪史, 石见英辉, 藤田千裕 申请人:索尼公司