专利名称：通信系统、终端设备和计算机程序的制作方法
技术领域：
本发明涉及用于支持使用移动图像的发送和接收的双向通信的技术。
由发明者所提出的本发明包括通信系统、终端设备和计算机程序等方面。
背景技术：
在现有技术数字线路的电视(TV)会议系统中，使用ISDN作为通信线路。在ISDN中，保证了通信带宽。因此，通信速率是稳定的，并且几乎不出现数据丢失。
然而，近年来，作为通信线路，基于互联网的IP(互联网协议)的使用正在快速地增加，并取代窄带宽的ISDN。
在使用互联网的ADSL(非对称数字用户线路)或光线路中，提供了一种尽力(best-effort)服务，在这种服务中，不保证带宽(下文中，提供这种服务的网络将称为尽力服务网络)。然而，在这种网络中，通信状态随时间而改变。
因此，存在发生因拥堵或位错误引起的信息包丢失的可能性。
结果，在发送的图像和音频数据中，会出现损坏、干扰、跳行等。
此外，在互联网中，上行链路的信道质量和下行链路的信道质量通常是彼此不同的。
这样，在现有技术的电视会议系统或者电视电话系统中，会出现这种状态尽管在一侧能够没有损失地接收到图像，但在另一侧，什么也接收不到。
在此情况下，接收状态优良的用户A不注意接收状态不稳定的用户B的状态，并继续以单向方式对话，在过了一阵之后，他/她才注意到对方的状态。
因此，提出了一个设计，在此设计中，检测在传送路径上通信异常的出现，并且将它通知到接收状态优良的用户A。
JP-A-2005-210160
发明内容
然而，现有技术提出的技术是这样的技术，它通知发送器侧被发送的图像是否能在对方显示。这就是说，该技术是二元地通知接收状态是良好的或者是较差的。
因此，本发明者将下述处理装置放置到终端设备中，该终端设备向与尽力服务网络相连的对方的终端设备上发送或从该对方的终端设备上接收移动图像数据，并实时实现双向通信。
(a)再现画面质量判断部分，用于判断涉及从对方的终端设备接收的移动图像数据的再现画面质量，并将其作为再现画面质量信息通知对方。
(b)再现画面质量控制部分，用于控制在自身设备侧用来确认而显示的发送图像的画面质量以变成由所述再现画面质量信息通知的再现画面质量。
在采用由本发明者提出的本发明时，在对方实际再现和显示的发送图像的画面质量能够在发送侧实时再现和显示。这样，通信系统的用户就能实时确认相互的通信状态，并能实现顺利的通信。
图1是表示电视会议系统的结构的例子的视图。
图2是表示网络终端的内部结构的例子的视图。
图3是表示RTP信息包的分级结构的例子的视图。
图4是表示移动图像数据的传送处理程序的例子的视图。
图5是表示移动图像数据的接收处理程序的例子的视图。
图6是表示再现画面质量信息的传送定时的视图。
图7是表示在再现画面质量信息的接收定时和在发送图像中反映的画面质量之间的关系的视图。
图8是表示再现画面质量信息的格式的例子的视图。
图9A和图9B是表示在电视会议期间的显示屏面的例子的视图。
图10是表示在采用帧间编码系统来传送移动图像数据的情况下在再现画面质量信息的传送定时和发送图像中反映的画面质量之间的关系的视图。
具体实施例方式
下面，将说明具有一种技术的通信系统的具体实施例，通过该技术，在对方所显示的接收图像的画面质量能够在发送方上再现和显示。
顺便提及，本技术领域中周知的或公共的技术被应用到本说明书中没有特别说明或描述的部分中。
此外，下面说明的实施例只是本发明的实施例，本发明并不限于这些实施例。
(A)电视会议系统(a)系统结构图1示出了电视会议系统的结构的例子。
图1示出了电视会议系统，其中包括与尽力服务网络相连的两个终端设备A和B。尽管实际上能够将三个或更多的终端设备与网络相连，但是，由本发明人提出的处理功能以图1所示的一对一连接形式实现。顺便提及，在下面的描述中，将说明信息包通信网络104被用作为尽力服务网络的情况。
终端设备A包括用于摄取电视会议参与者图像的图像摄取装置101、网络终端103、以及用于显示接收图像的显示装置102。
同样地，终端设备B包括用于摄取电视会议参与者图像的图像摄取装置106、网络终端105、以及用于显示接收图像的显示装置107。
在此，尽管用下述结构进行说明，即其中终端设备是图像摄取装置、网络终端和显示装置的组合系统，但是这些装置的全部或一部分也可以安装在一个设备中。
网络终端具有下述的多个处理功能。顺便提及，网络终端103的内部结构和网络终端105的内部结构是相同的。因此，下面，将用网络终端103作为例子来说明各个处理功能。
处理功能之一是压缩编码从图像摄取装置101接收的移动图像数据的处理功能。该处理功能被提供用于改进传送效率和有效使用存储区.
处理功能之一是打包被压缩编码的移动图像数据和将其输出到信息包通信网络104的处理功能。该处理功能被提供用于通过信息包通信网络104传送数据。
处理功能之一是用于在显示装置102上显示从图像摄取装置101接收的移动图像数据(发送图像)的处理功能。提供此处理功能，以便能够在传送源上确认发送图像的内容。此外，还使用该处理功能来确认发送图像在对方上的画面质量。
处理功能之一是用于解码从对方接收的移动图像数据(接收图像)并将其显示在显示装置102上的处理功能。该处理功能被提供用于确认接收的图像。
处理功能之一是用于将涉及接收图像再现画面质量的信息(再现画面质量信息)作为解码结果发送给作为通信伙伴的网络终端105的处理功能。
顺便提及，除了这些处理功能外，根据需要，网络终端103安装有在出现信息包丢失时用于进行重新发送请求的处理功能；以及用于响应重新发送请求来重新发送特定信息包的处理功能。
顺便提及，显示装置可以是阴极射线管、平板显示器和投影仪的任何一个。此外，显示装置的数量不限于一个，可以为多个。
例如，在使用一个显示装置的情况下，由设备本身发送到对方的发送图像不得不仅仅显示在接收图像的一部分显示区中。此外，例如，在使用多个显示装置的情况下，可以分离地使用用于显示接收图像的显示装置和用于显示发送图像的显示装置。显示装置的数量和使用方法取决于系统用户的使用目的和操作策略。
此外，在此系统例子中，尽管图像摄取装置101被作为用于向网络终端提供移动图像(视频)的传送装置的例子，但是，可以采用图像再现装置。
(b)网络终端的内部结构(功能结构)参照图2说明网络终端的内部结构的例子。顺便提及，图2中，用相同的标号来表示与图1中对应的部分。事实上，由于网络终端的内部结构是彼此相同的，因此不管是终端设备A侧还是终端设备B侧，都用相同的标号来表示构成网络终端的处理功能部分。
编码器201是处理装置，用来编码从图像摄取装置输入的移动图像数据。在此例子的情况下，编码器201使用分级压缩编码系统以压缩移动图像数据。这里的分级压缩编码系统包括例如JPEG 2000(联合图像专家组)和MPEG(移动图像专家组)。前者是帧内压缩编码的典型例子，后者是帧间压缩编码系统的典型例子。
传送缓存器203是存储区，用来保存由编码器201压缩编码的移动图像数据，以用于传送。
本地缓存器205是存储区，用于保留由编码器201压缩编码的移动图像数据(发送图像)，以用于在自身设备侧的确认。
RTP(实时传送协议)信息包产生部分207是处理装置，用来将保存在传送缓存器203中的移动图像数据转换为RTP信息包。
RTP信息包传送部分209是处理装置，用来将RTP信息包发送到信息包通信网104中。
重新传送请求处理部分211是处理装置，用来控制一系列的处理，其中，在从作为RTP信息包传送目的地(对方)的网络终端105中接收了重新传送请求的情况下，从传送缓存器203中检索对应于要被重新发送的RTP信息包的移动图像数据、将其再次转换为RTP信息包、以及发送到信息包通信网络104。
RTP信息包接收部分213是处理装置，用来从信息包通信网络104中接收RTP信息包。顺便提及，在RTP信息包被进行冗余编码的情况下，RTP信息包接收部分213还执行错误校正处理。通过错误校正处理，能在某种程度上恢复在传送路径中的损失。
RTP信息包分析部分215是处理装置，它分析从RTP信息包接收部分213传递来的RTP信息包，并在有丢失的情况下，通知重新传送请求传送部分217。
顺便提及，RTP信息包被编码成例如图3所示的分级结构。在图3的情况下，移动图像数据被分级编码成三级分级L0到L2，并且，分级L0到L2的每一个被进一步分级为三个分辨率(resolutions)，给每个分辨率指定信息包号(图3示出了JPEG 2000的例子)，通过该信息包号来确定在传送路径上丢失的RTP信息包。
重新传送请求传送部分217是处理装置，用以发送信息包，该信息包请求发送侧重新发送RTP信息包，通过在RTP信息包分析部分215中的分析来确认RTP信息包的丢失。通常，设置超时(time-out)，在超时已经过去但仍然没有接收到正常RTP信息包的情况下，就从管理对象中删除相关信息包的重新传送请求。
接收缓存器219是存储区，用来保存接收到的RTP信息包。
再现画面质量判断部分221是处理装置，用来在再现一个帧的图像时判断再现画面质量。通过信息包通信网络104将判断结果通知传送侧网络终端。
解码器223是处理装置，用来解码从接收缓存器219中读出的帧数据，并将其作为接收图像输出到显示装置中。顺便提及，在来自对方的再现画面质量信息已到达的情况下，解码器223执行处理，以根据再现画面质量信息来解码从本地缓存器205中读出的、在自身设备侧的帧数据，并将其作为发送图像输出到显示装置。在此例的情况下，发送图像被作为小屏面显示。
顺便提及，从本地缓存器205读出到解码器223的帧数据可以仅仅是与发送图像显示尺寸相对应分辨率的数据。
再现画面质量控制部分225是处理装置，用以根据由对方通知的再现画面质量信息来控制要从本地缓存器205传递到解码器223的数据的等级。
(c)JPEG2000的分级编码在此，将补充说明JPEG2000的分级编码。
图3示出了JPEG2000的分级结构。在此图中，“J2K信息包”是指以JPEG2000分级编码的信息包。图3示出了一个例子，在此例子中，按照SNR渐进顺序进行J2K打包。
在此例的情况下，即使在信息包号N0.3后面的信息包没有到达，由于在层0的信息包中没有损失，因此能够再现对应于层0的接收图像。
另一方面，当直到信息包No.5的信息包到达时，能够再现直到层1的对应接收图像。
如上所述，在JPEG2000中，即使所有的信息包都没有到达，也能再现直到可再现层的图像。
此外，在类似子屏面显示具有低分辨率的图像的情况下，不必要使用所有的J2K信息包。例如，通过使用信息包号0、3和6，就能够再现具有低分辨率的图像。就是说，用于(子屏面)发送图确认的本地缓存器205保留所有的数据是不必要的。
此外，再现画面质量控制部分225根据从对方接收到的再现画面质量信息，只选择信息包0、信息包0和1或类似的信息包，作为用于解码处理的信息包。据此，能够在适合于发送图像确认的分辨率上得到直到任意层的画面质量。
(d)移动图像数据的传送处理程序参照图4来说明在终端设备向对方的终端设备发送移动图像数据时的处理程序。
首先，网络终端103获取通过图像摄取装置101摄取的一帧移动图像数据，并用编码器201对其进行压缩编码(处理401)。
网络终端103将压缩编码的移动图像数据传送到传送缓存器203，并将其保留到读出时为止(处理402)。
此外，网络终端103有选择地将一部分压缩编码的移动图像数据保留到本地缓存器205中，用于在自身设备中发送图像的(小屏面显示的)确认(处理403、处理404)。
如前所述，在使用JPEG 2000的编码译码器(codec)或类似装置的情况下，以及在保留具有低分辨率的图像以用于发送图像的(子屏面显示的)确认的情况下，不保留所有的数据，只保留具有子屏面所需要分辨率的数据。
随后，网络终端103判断是否存在重新传送请求(处理405)。在存在重新传送请求的情况下，网络终端103将所请求的信息包传送给传送缓存器203(处理406)。在没有重新传送请求的情况下或者当结束了向传送缓存器203传送重新传送信息包时，网络终端103就对存储在传送缓存器203中的数据进行RTP打包，并将其发送给信息包通信网络104(处理407、处理408)。
(e)移动图像数据的接收处理程序下面参照图5来说明在终端设备从对方的终端设备上接收移动图像数据时所执行的一系列处理程序。
首先，网络终端105通过RTP信息包接收部分213接收信息包，并通过RTP信息包分析部分215分析RTP信息包的报头(处理501、处理502)。
这里，当根据缺少顺序号等断定丢失发生时(处理503中的肯定结果)，网络终端105请求作为传送源的网络终端103重新发送RTP信息包(处理504)。
在请求重新传送RTP信息包的情况下，等待接收图像的再现定时直到重新传送操作完成为止是必须的。这样，网络终端105重复此循环处理直到到达图像再现定时为止(处理505)。
在帧图像的再现定时到达时，网络终端105重新构建要从RTP信息包中再现的帧的数据，并判断是否有RTP信息包的丢失(处理506)。
当在RTP信息包中有丢失的情况下，网络终端105判断再现图像的质量，并将再现画面质量信息发送到作为传送源的网络终端103，以及将再现的移动图像数据传送到解码器223(处理507)。
图6示出了该处理的内容。图6示出了在发送含有层0、层1、层2三层的移动图像数据的情况。在此图中，用方块表示的帧对应于J2K信息包，该帧中的号码表示层信息。
如图6所示，在再现能够被进行到最上层2的情况下，不发送再现画面质量信息。另一方面，在再现能够被进行到层1或层0、或者完全不能被再现的情况下，就将与能够被再现的层的号码相关的信息作为再现画面质量信息包发送给图像的传送源。
顺便提及，除了在此例子中所述的层信息之外，“再现画面质量”可以是颜色成分信息或者是分辨率信息。
随后，在再现接收图像之前，网络终端105判断是否从作为通信伙伴的网络终端103上接收到了再现画面质量信息(处理508)。
在收到了再现画面质量信息的情况下，网络终端105格式化用于发送图像确认的图像数据，并将其输出到解码器223中(处理509)。另一方面，在没有收到再现画面质量信息的情况下，网络终端105就照原样向解码器223输出在本地缓存器205中保留的用于确认的图像数据(处理510)。
图7举例说明了在接收再现画面质量信息之前/之后，为确认发送图像而再现的再现画面质量是如何改变的。
在包含层0、层1和层2三层的帧数据被保留在本地缓存器205中的情况下，在没有接收到再现画面质量信息时，再现画面质量控制部分225指令以达到层2的分辨率来再现发送图像。
另一方面，在包含层0、层1和层2三层的帧数据被保留在本地缓存器205中的情况下，在接收到再现画面质量信息时，再现画面质量控制部分225指令以达到由再现画面质量信息通知的层级例如达到层0或层1的画面质量、或者以使得丢失了该帧的画面质量来再现发送图像。图7示出了再现被进行到层1的情况。
(f)再现画面质量信息的格式的例子图8示出了再现画面质量信息的格式的例子。顺便提及，图8示出了传送单元是帧的情况。
该格式只包括标识符字段(即帧ID)，用于指定可以被再现的图像帧和层号。在没有指定图像的标识符的情况下，将这个字段定为“0”。在对于某个图像没有可以再现的层的情况下，将“0”输入到该层的字段中。
上述再现画面质量控制部分225根据这些信息选择要从本地缓存器205读入到解码器223中的数据，这里，在本地缓存器205中，存储有与设备自己的发送图像相对应的图像数据。
在接收了其层字段中放入了“0”的再现画面质量信息的情况下，再现画面质量控制部分225再次选择作为解码对象的最后的解码图像数据，以使得用于确认发送画面质量的图像保持不动(冻结住)。
(g)其中接收侧的再现画面质量被反映在传送源的确认屏面中的状态图9A和9B示出了在电视会议期间的显示屏面的例子。图9A示出了在终端设备A的显示装置上显示的屏面的例子，图9B示出了在终端设备B的显示装置上显示的屏面的例子。
图9A所示的显示屏面901包括主屏面902和小屏面903。通过信息包通信网络从终端设备B接收的接收图像被显示在主屏面902上。此外，通过信息包通信网络发送到终端设备B的发送图像被显示在小屏面903上。
图9B所示的显示屏面904包括主屏面905和小屏面906。通过信息包通信网络从终端设备A接收的接收图像被显示在主屏面905上。此外，通过信息包通信网络发送到终端设备A的发送图像被显示在小屏面906上。
通常，由于显示在小屏面上的发送图像是基于设备自身中的处理，因此，它不受信息包通信网络上的通信状态的影响。然而，如在此具体例子中那样，由于安装了再现画面质量控制部分225，因此在终端设备A侧的子屏面(图9A)上，能够确认与终端设备B侧的接收图像(图9B)的画面质量的降低程度相等的画面质量降低。
这样，终端设备A的用户就能够确认对侧屏面的干扰或者降低。就是说，在电视会议系统的用户之间，能够实现在共同识别相互接收图像之下的通信。这对减少重复说明和避免引起误会是有效的。
顺便提及，当控制要显示在小屏面上的发送图像的显示定时时，能够使其中出现了屏面干扰或损失的图像帧彼此一致。然而，当如果双方都能识别所出现的屏面干扰那么就足够了时，在对方上的、其中出现画面质量降低或类似情况的图像帧和在自身设备侧的小屏面上的、其中画面质量降低了的图像帧之间，可能出现时移(time shift)。
(h)电视会议系统的效果如上所述，由于提供了这样的功能，即，与在通信伙伴侧的显示图像的画面质量的降低等同步来降低显示在自身设备侧小屏面上的发送图像的画面质量，因此，在通过尽力服务网络来保持电视会议的情况下，就能够实现更为准确的通信。
这就是说，有可能解决不方便之处，如在现有技术系统中，相同画面质量的发送图像总是被显示在自身设备侧的小屏面上以及不能识别对方的接收状态。
例如，有可能消除对话中的故障和相同话的重复，前者是由于接收图像的画面质量降低而引起的，而后者是由于对话中的故障而引起的。
此外，例如，在重新开启对话的情况下，由于在重新开启对话时发送侧能够容易地识别时间点(time point)，因此，能够在相互共同识别之下重新开启对话。
结果，能够实现非常方便的电视会议系统。
(B)其它实施例(a)在系统例子的上述操作说明中，已经用如下情况作为例子进行了说明，这就是将用JPEG2000系统进行帧内编码的移动图像数据主要发送给对方的情况。本发明也适用于将用MPEG或类似系统进行帧间编码的移动图像数据发送给对方的情况。
图10示出了这种情况的例子。在诸如MPEG等的帧间编码系统中，存在一个帧的丢失影响其它多个帧的可能性。
也在此情况下，在将帧的丢失(缺少)反馈给发送侧的网络终端时，受影响帧的画面质量的降低能够反映在小屏面上显示的发送图像的画面质量上。
图10的上半部分示出发送侧的图像显示的例子，其下半部分示出接收侧的屏面显示的例子。如图10所示，可以理解，为在发送侧确认而显示的发送图像的画面质量是通过再现画面质量信息的反馈而与接收侧的画面质量的降低联系起来的。
(b)在系统例子的操作说明中，已对如下情况作了说明，这就是作为再现画面质量信息，能够最后被解码的图像数据的分级信息即层信息被发送给发送侧的终端设备。
然而，作为再现画面质量信息，也能使用用于指定丢失帧(包括帧内编码帧和帧间编码帧)的信息、用于指定丢失信息包的信息等等。在使用这些信息时，能够达到和上述系统实例相同的效果。
(c)在上述说明中，尽管已对将本发明用于电视会议系统的情况作了说明，但是，本发明也能用到电视电话系统中。
(d)构成上述系统实例的终端设备可以是静止的设备或便携式的设备。此外，为了与尽力服务网络相连，可以使用有线电缆，也可以使用无线电波。
顺便提及，终端设备的商品形式是随意的，可以被实现为以下形式例如，电视会议专用终端、电视电话专用终端、计算机、打印设备、视频摄像机、数字摄像机、游戏装置、扫描器、便携式信息终端(便携式计算机、便携式电话、便携式游戏机、电子书籍，等等)、手表、图像再现设备(例如，光盘设备、家用服务器)、监控器、电视接收机，或者安装有本发明功能的处理板或处理卡。
(e)能够通过硬件或软件来实现构成网络终端的各个处理功能。
此外，不仅能够通过硬件或软件来实现所有的这些处理功能，而且也可以利用硬件或软件来实现其部分的处理功能。这就是说，可以采用硬件和软件的组合。
(f)就上述的实施例而言，在本发明的要旨的范围内，可以设想出各种修改例子。此外，还可以设想的是，能够根据本说明书的叙述来建立或组合各种修改例子和应用例子。
本领域技术人员应当理解，只要在所附权利要求或等同物限定的范围内，根据设计要求和其它的因素，可以对本发明进行各种变更、组合、再组合和修改。
相关申请的交叉参考本发明包含2005年11月29日在日本专利局申请的涉及日本专利申请JP2005-344746的发明主题，其全部内容通过参考被引入本申请。
权利要求
1.一种通信系统，在此系统中，在与尽力服务网络相连的两个终端设备之间发送/接收移动图像数据并实时实现双向通信，其中，每个终端设备包括再现画面质量判断部分，用于判断与从对方的终端设备接收的移动图像数据相关的再现画面质量并将其作为再现画面质量信息通知对方；和再现画面质量控制部分，用于将为在自身设备侧的确认而显示的发送图像的画面质量控制为变成由所述再现画面质量信息通知的再现画面质量。
2.根据权利要求1所述的通信系统，其中，再现画面质量信息是作为可以最后被解码的图像数据的分级信息而给出的。
3.根据权利要求1所述的通信系统，其中，再现画面质量信息是作为用于指定丢失帧的信息而给出的。
4.根据权利要求1所述的通信系统，其中，再现画面质量信息是作为用于指定丢失信息包的信息而给出的。
5.根据权利要求1所述的通信系统，其中，再现画面质量信息是可以最后解码的帧间编码帧的丢失信息。
6.根据权利要求1所述的通信系统，其中，再现画面质量信息是可以最后解码的帧内编码帧的丢失信息。
7.根据权利要求1所述的通信系统，其中，再现画面质量控制部分控制自身设备内部的发送图像的读取，使得作为画面质量控制对象的图像帧与由再现画面质量信息所指定的图像帧相符合。
8.根据权利要求1所述的通信系统，其中，再现画面质量控制部分控制在再现画面质量信息的接收时间点上在自身设备侧显示的任意图像帧的图像质量。
9.根据权利要求1所述的通信系统，其中，终端设备安装有无线通信功能。
10.根据权利要求1所述的通信系统，其中，终端设备是用于电视会议业务的终端设备。
11.根据权利要求1所述的通信系统，其中，终端设备是用于电视电话业务的终端设备。
12.一种终端设备，它向与尽力服务网络相连的对方的终端设备发送移动图像数据或从那里接收移动图像数据并实现实时双向通信，该终端设备包括再现画面质量判断部分，用于判断与移动图像数据相关的再现画面质量并将其作为再现画面质量信息通知对方，所述移动图像数据是从对方的终端设备上接收的；和再现画面质量控制部分，用于将为在自身设备侧的确认而显示的发送图像的画面质量控制变成由再现画面质量信息通知的再现画面质量。
13.一种计算机程序，其使安装在终端设备的计算机工作，所述终端设备向与尽力服务网络相连的对方的终端设备发送移动图像数据或从那里接收移动图像数据并实现实时双向通信，所述计算机执行下述处理判断与从对方的终端设备上接收的移动图像数据相关的再现画面质量，并将其作为再现画面质量信息通知对方；和将为在自身设备侧的确认而显示的发送图像的画面质量控制为变成由再现画面质量信息通知的再现画面质量。
全文摘要
一种通信系统，在此通信系统中，在与尽力服务网络相连的两个终端设备之间发送/接收移动图像数据并实时实现双向通信，每个终端设备包括再现画面质量判断部分，用于判断与从对方的终端设备上接收的移动图像数据相关的再现画面质量，并将其作为再现画面质量信息通知对方，以及再现画面质量控制部分，用于将为在自身设备侧的确认而显示的发送图像的画面质量控制为变成由再现画面质量信息通知的再现画面质量。
文档编号H04N7/15GK1976433SQ200610163188
公开日2007年6月6日 申请日期2006年11月29日 优先权日2005年11月29日
发明者砂原星 申请人:索尼株式会社