专利名称：数据传送器－接收器、传送接收方法和双向数据传送系统的制作方法
技术领域：
本发明涉及用于在各种状态动态变化并且传送路径具有延迟的通信环境中进行双向数据传送的数据传送器-接收器、双向数据传送系统以及数据传送接收方法。
背景技术：
当在具有延迟的传送路径中进行双向通信时，在传送侧设备生成要被传送到接收侧设备的传送数据时的接收器状态与接收侧设备接收传送数据时的接收器状态之间可能存在不一致。因此，需要用于对这样的不一致进行补偿的机制。当由于负载分集(load dispersion)等原因，传送侧设备和接收侧设备协调地进行执行处理时，需要通过例如使传送侧设备和接收侧设备同步来掌握彼此的状态。
作为例子，以下对立体声传送的情况进行描述。
近年来，对用于通过双声道立体声系统实现立体声的系统进行了研究，并且，用于利用头部传递函数的技术是公知的，头部传递函数是一种从声源到收听者的耳朵的传递函数。当用HRTF对输入声源进行数字滤波并通过双声道扬声器或耳机对滤波的信号进行重放时，收听者能够感受到立体声效果。与用于通过在周围设置许多扬声器来再现环绕声学空间的多声道再现系统相比，这是一种适合于在蜂窝终端再现立体声的技术。但是，头部传递函数随收听者与声源的相对位置以及收听者的方向改变。为了再现自己一方或其他方说话的动态声场，即声源或收听者随意移动的动态声场，需要跟踪声源和收听者的位置以及头的方向。因此，使用了用于检测头的位置和旋转并且随后更新头部传递函数滤波器的方法(例如，参照“Reassessment of the roleof head movements in human sound localization”，F.Wightman等人，J.Acoust.Soc.Am.，95(5)，pp.3003-3004；下文中将其称为非专利文献1)。通过引入以下功能，希望能够提高方向检测的精度。
当在移动通信中利用上述技术再现立体声时，如图12所示，有一个用于接收多个声源数据并且进行立体声处理的终端。但是，在这种终端侧处理系统的情况下，针对在立体声空间中分配的声源，也需要大的带宽来传送所有声学数据。当应用于对处理功率和传送带宽具有限制的终端如蜂窝式电话时，最好使它们最小。
作为另一种方法，考虑使用包括服务器和终端的立体声传送系统，如图13所示，其中，服务器用于接收多个声源数据并且将已经经过立体声处理的声音数据传送到终端，而终端用于对接收的立体声数据进行再现。在这种服务器侧处理系统的情况下，上述的终端吞吐量以及传送数据量的问题得到了解决。但是，为了按照收听者的移动进行立体声处理，必须将收听者的头的位置和方向传送到服务器。当服务器与终端之间存在很大的传送延迟时，出现了另一个问题。即，在接收的立体声数据与头的实际位置和方向之间存在不匹配(头跟踪延迟)。
此外，作为另一种方法，考虑使用包括服务器和终端的立体声传送系统，如图14所示，其中，服务器用于接收多个声源数据并且将已经经过立体声处理的数据传送到终端，而终端用于对根据最新位置和方向信息接收的立体声数据进行校正和再现(例如，参照美国专利No.6259795；在下文中将其称为专利文献1)。在这种技术的情况下，如专利文献1中所披露的，当声场为静态时，可以利用简单操作生成立体声场，并且，如果服务器向终端发送经过立体声处理的声音并且对由于收听者头部的轻微移动引起的声音图像不匹配进行补偿，则可以减小跟踪延迟。
发明内容
但是，在专利文献1中披露的技术的情况下，除非当服务器进行立体声处理时在终端方已经知道了声源和收听者的位置和方向，否则不能进行补偿。因此，问题在于难以将该技术应用于像移动通信中那样的收听者和声源(另一通信方)的位置和头部的方向随时变化的动态立体声声场。
此外，当传送侧设备和接收侧设备通过具有延迟的传送路径进行双向数据传送时，由于传送延迟的影响，出现了难以使传送侧设备和接收侧设备的内部状态保持相同的问题。
当在利用具有延迟的传送路径时和在例如收听者的位置和方向、另一通信方设备的位置以及传送侧设备和接收侧设备的内部状态等各种状态动态变化的情况下，会在交互式通信(双向数据传送)上出现上述问题。
考虑到上述问题提出了本发明，本发明的目的是提供一种数据传送器-接收器、双向数据传送系统以及数据传送接收方法，当在各种状态动态变化的环境中与另一通信方设备进行双向通信时，能够减小传送延迟的影响。
为了解决上述问题，权利要求1的发明提供了一种用于与另一通信方设备进行双向数据通信的数据传送器-接收器，它包括数据获取装置，用于获取随时间变化的变化数据；时间信息获取装置，用于获取表示生成由数据获取装置获取的变化数据的时间的时间信息；接收装置，用于接收从所述另一通信方设备传送的传送数据和表示传送数据是在预定时间的数据的预定时间信息；以及校正装置，用于根据由数据获取装置获取的变化数据、由时间信息获取装置获取的时间信息、由接收装置接收的预定时间信息以及传送数据，对由于与所述另一通信方设备进行数据传送而引入的延迟进行校正。
按照上述配置，由于数据传送器-接收器能够获得表示生成变化数据和传送数据的时间的时间信息，并且，能够按照这些变化数据、传送数据和时间信息对由于与所述另一通信方设备进行数据传送而引入的延迟进行校正，因此，即使在各种状态随时间动态变化的环境中，也能够减小传送延迟的影响。
权利要求2的发明提供了如权利要求1所述的数据传送器-接收器，其还包括传送装置，用于将由数据获取装置获取的、在预定时间的变化数据和由时间信息获取装置获取的、表示预定时间的预定时间信息传送到所述另一通信方设备，并且，校正装置根据由传送装置传送的在预定时间的变化数据与由数据获取装置获得的最新的变化数据之间的差异，对由接收装置接收的在预定时间的传送数据进行校正。
按照上述配置，即使在各种状态随时间动态变化的环境中，当与另一通信方设备进行双向通信时，数据传送器-接收器也能够根据在预定时间的变化数据与最新变化数据之间的差异，对预定时间的传送数据的跟踪延迟进行校正，并且减小跟踪延迟的影响。
权利要求3的发明提供了如权利要求1或2所述的数据传送器-接收器，还包括存储装置，用于使由数据获取装置获得的变化数据与由时间信息获取装置获得的、表示时间的时间信息相关联并且存储所述信息；其中，校正装置根据存储在存储装置中的、对应于最新时间信息的最新变化数据与对应于预定时间信息的变化数据之间的差异，将由接收装置接收的、在预定时间的传送数据校正到与最新时间信息对应的传送数据。
按照上述配置，通过在使变化数据与时间信息相关联之后在存储装置中存储变化数据和时间信息，数据传送器-接收器能够根据对应于最新时间信息的最新变化数据与对应于预定时间信息的变化数据之间的差异，将在预定时间的传送数据容易地校正到对应于最新时间信息的传送数据。因此，即使在各种状态动态变化的环境中，当与另一通信方设备进行双向数据通信时，也能够减小跟踪延迟的影响。
权利要求4的发明提供了如权利要求1到3中的任何一个所述的数据传送器-接收器，其中，数据获取装置与时间信息获取装置获得时间信息的定时同步地获得变化数据。
按照上述配置，由于时间信息获取定时与变化数据获取定时同步，因此，通过按照所述定时生成包括变化数据的通信数据包，可以将添加到通信数据包的头部的时间标记用作时间信息并且抑制传送数据量。
权利要求5的发明提供了如权利要求4所述的数据传送器-接收器，其中，时间信息获取装置与要传送到另一通信方设备的经过编码的数据的编码周期同步地获得时间信息。
按照上述配置，当向另一通信方设备传送经过编码的数据时，可以利用经过编码的数据的编码周期获得时间信息。因此，数据传送器-接收器不必向另一通信方设备传送时间信息，并且，能够抑制传送数据量。
权利要求6的发明提供了一种用于与另一通信方设备进行双向数据传送的数据传送器-接收器，它包括接收装置，用于从另一通信方设备接收按照时间变化的变化数据和表示生成变化数据的时间的时间信息；数据生成装置，用于按照由接收装置接收的变化数据生成要传送到另一通信方设备的传送数据；时间信息复制装置，用于对由接收装置接收的时间信息进行复制；以及传送装置，用于将由数据生成装置生成的传送数据和由时间信息复制装置复制的时间信息传送到另一通信方设备。
按照上述配置，由于数据传送器-接收器在接收装置接收的时间信息表示的时间生成传送数据并且将时间信息与生成的传送数据一起传送到另一通信方设备，因此，当生成传送数据时，另一通信方设备能够掌握，并且，能够对通过数据传送而引入的延迟进行校正。
权利要求7的发明提供了如权利要求6所述的数据传送器-接收器，其中，接收装置接收经过编码的数据而不是时间信息，并且，时间信息复制装置利用由接收装置接收的经过编码的数据的编码周期对时间信息进行复制。
按照上述配置，在不接收来自另一通信方设备的时间信息的情况下，数据传送器-接收器能够利用经过编码的数据的编码周期对时间信息进行复制。因此，能够减小数据传送带宽。
权利要求8的发明提供了如权利要求1到7中的任何一个所述的数据传送器-接收器，其中，传送数据是媒体数据，而变化数据是表示用于接收媒体数据的接收器的位置和方向中的至少一个的位置方向信息。
按照上述配置，数据传送器-接收器通过获得生成位置方向信息和媒体数据的时间并且对媒体数据的跟踪延迟进行校正来减小跟踪延迟的影响，并且，可以实现高质量的媒体数据传送。
权利要求9的发明提供了一种包括第一数据传送器-接收器和第二数据传送器-接收器的双向数据通信系统，其中，第一数据传送器-接收器包括数据获取装置，用于获得随时间变化的变化数据；时间信息获取装置，用于获得表示生成由数据获取装置获得的变化数据的时间的时间信息；传送装置，用于将由数据获取装置获得的变化数据和由时间信息获取装置获得的时间信息传送到第二数据传送器-接收器；接收装置，用于接收从第二数据传送器-接收器传送的传送数据和表示传送数据是在预定时间的数据的预定时间信息；以及校正装置，用于根据由数据获取装置获得的变化数据、由时间信息获取装置获得的时间信息、由接收装置接收的预定时间信息以及传送数据，对由于与第二数据传送器-接收器进行数据传送而引入的延迟进行校正，并且，第二数据传送器-接收器包括接收装置，用于从第一数据传送器-接收器接收变化数据和表示生成变化数据的预定时间的预定时间信息；数据生成装置，用于按照由接收装置接收的变化数据生成传送数据；时间信息复制装置，用于对由接收装置接收的预定时间信息进行复制；以及传送装置，用于将由数据生成装置生成的传送数据和由时间信息复制装置复制的预定时间信息传送到第一数据传送器-接收器。
按照上述配置，构成双向数据传送系统的第二传送器-接收器将表示生成传送数据的时间的时间信息与传送数据一起传送到第一传送器-接收器，并且，当生成传送数据和变化数据时，第一传送器-接收器掌握，由此，即使在各种状态随时间动态变化的环境中，也能够对由于与第二数据传送器-接收器进行数据传送而引入的延迟进行校正并且能够减小传送延迟的影响。此外，由于通过将处理分散到第一数据传送器-接收器和第二数据传送器-接收器来进行处理，因此，即使数据传送器-接收器是资源贫乏的终端单元，也能够减小处理负担。因此，可以减小传送延迟的影响，同时保持每个数据传送器-接收器的合理的负荷和数据传送带宽。
权利要求10的发明提供了一种终端单元接收由服务器传送的媒体数据的数据传送接收方法，该方法包括如下步骤第一信息获取步骤，其中，终端单元获得表示接收器的位置和方向中的至少一个的第一位置方向信息以及表示生成第一位置方向信息的时间的第一时间信息；存储步骤，其中，终端单元使第一位置方向信息与第一时间信息相关联并将信息存储在存储器中；第一信息传送步骤，其中，终端单元将第一位置方向信息和第一时间信息传送到服务器；数据处理步骤，其中，服务器按照在第一信息传送步骤中传送的第一位置方向信息，对要传送到终端单元的媒体数据进行处理；时间信息复制步骤，其中，服务器对在第一信息传送步骤中传送的第一时间信息进行复制；媒体数据传送步骤，其中，服务器将在数据处理步骤中处理的媒体数据和在时间信息复制步骤中复制的第一时间信息传送到终端单元；第一位置方向信息获取步骤，其中，终端单元从存储器获得与在媒体数据传送步骤中传送的第一时间信息对应的第一位置方向信息；第二信息获取步骤，其中，终端单元获得第二位置方向信息以及表示生成第二位置方向信息的时间的第二时间信息；以及校正步骤，其中，终端单元按照第二位置方向信息、第二时间信息、第一位置方向信息以及第一时间信息，将在媒体数据传送步骤中传送的媒体数据校正到与第二时间信息对应的媒体数据。
按照上述方法，终端单元能够将第一位置方向信息和第一时间信息传送到服务器，服务器能够生成与第一时间信息对应的媒体数据，终端单元能够按照第一位置方向信息、第一时间信息以及新得到的第二位置方向信息和第二时间信息，将与第一时间信息对应的媒体数据校正到与第二时间信息对应的媒体数据。因此，即使位置方向信息被从终端单元反馈到服务器，也能够减小跟踪延迟并且能够对媒体数据进行再现。此外，由于通过将处理分散到服务器和终端单元，因此能够减小处理负担。即使在接收器的方向和位置动态变化的动态环境中，也能够减小在传送路径中的传送延迟的影响并且提高通信质量。
按照本发明，数据传送器-接收器能够得到表示生成变化数据和传送数据的时间的时间信息，并且能够按照变化数据、传送数据和时间信息对由于与另一通信方设备进行数据传送而引入的延迟进行校正。因此，即使在各种状态随时间动态变化的环境中，也能够减小传送延迟的影响。
图1示出了本发明第一实施例的立体声传送系统的示意性配置；图2为示出了第一实施例的终端的功能配置的框图；图3为示出了第一实施例的服务器的功能配置的框图；图4为用于说明第一实施例的终端和服务器的示例性操作的流程图；图5为用于对第一实施例的跟踪延迟与传统的跟踪延迟进行比较的顺序图；图6为示出了构成本发明第二实施例的双向数据传送系统的传送侧设备的功能配置的框图；图7为示出了构成第二实施例的双向数据传送系统的接收侧设备的功能配置的框图；图8为用于说明第二实施例的传送侧设备和接收侧设备的操作的流程图；图9为第一修改的终端的功能配置的框图，一个数据获取部分与时间信息获取部分同步运行的例子；图10为第二修改的终端的功能配置的框图，示出了时间信息获取部分与收听者方的编码的声学数据的编码周期同步运行的例子；图11为第三修改的服务器的功能配置的框图，示出了从接收的声学编码声学数据复制时间信息，从而将该信息与立体声数据一起传送的例子；
图12为传统的立体声传送系统的示意性配置，示出了用于对接收多个声源数据进行立体声处理的终端；图13为传统的立体声传送系统的另一种示意性配置，示出了包括服务器和终端的立体声传送系统，其中，服务器用于接收多个声源数据并且执行立体声处理并对其进行传送，而终端用于对接收的立体声数据进行再现；并且图14为传统的立体声传送系统的另一种示意性配置，示出了包括服务器和终端的立体声传送系统，其中，服务器用于接收多个声源数据并且执行立体声处理并对其进行传送，而终端用于根据最新的位置方向信息，对接收的立体声数据进行校正和再现。
具体实施例方式
以下将参照附图对本发明的实施例进行描述。在以下描述中被参照的附图中，与其它图中相同的部分具有相同的符号。
(第一实施例)首先，对本发明的第一实施例进行描述。在第一实施例的情况下，将本发明的数据传送器-接收器应用于构成立体声传送系统1的终端10和服务器20。
图1示出了本发明第一实施例的立体声传送系统的示意性配置。如图1所示，立体声传送系统1包括终端10和服务器20。终端10和服务器20包括硬件，如没有示出的CPU(中央处理器)、存储器和通信接口等。软件，如数据和程序，被存储在存储器中。在程序中，包括用于向和从另一通信方传送和接收时间信息并且利用时间信息进行处理的程序。通过终端10和服务器20的硬件和软件，在终端10和服务器20中实现下述功能配置。
<终端的功能配置>
图2为示出了终端10的功能配置的框图。
图2所示的数据获取部分11获得关于收听者的头部和身体的位置和方向的位置方向信息，作为随时间变化的变化数据。允许数据获取部分11从传感器如陀螺传感器或磁性传感器获得位置方向信息，或者从GPS(全球定位系统)或指南针获得位置方向信息。此外，当利用立体声信号对虚拟音频空间进行再现时，允许数据获取部分11获得当收听者使用游戏杆等时随意输入到终端10的位置或方向。
时间信息获取部分12获得表示生成由数据获取部分11获得的位置方向信息的时间的时间信息。该时间信息可以是内部时钟的时间信息，或者是当数据获取部分11接收来自GPS的接收位置方向信息时的GPS的时间信息。
存储器部分13包括如非易失存储器等存储器。存储器部分13存储由数据获取部分11获得的位置方向信息和由时间信息获取部分12获得的时间信息。
传送部分15将由数据获取部分11获得的位置方向信息和由时间信息获取部分12获得的时间信息传送到服务器20。接收部分16接收来自服务器20的、作为传送数据的立体声数据。此外，接收部分16接收立体声数据和表示生成立体声数据的时间的时间信息。
校正部分14按照由数据获取部分11获得的位置方向信息、由时间信息获取部分12获得的时间信息以及由接收部分16接收的时间信息和立体声数据，对由于与服务器20进行的数据传送所引入的跟踪延迟进行校正。
具体地说，校正部分14首先从存储器部分13读取与由接收部分16接收的时间信息对应的位置方向信息。然后，校正部分14从数据获取部分11获得最新的位置方向信息。校正部分14根据读取的位置方向信息与最新的位置方向信息之间的差异，对立体声数据进行校正。还允许校正部分14从数据获取部分11或者通过存储器部分13获得最新的位置方向信息。此外，作为一种校正立体声数据的方法，允许计算两个位置方向信息之间的差异，获得对应于该差异的校正传递函数，并通过该校正传递函数来处理接收到的立体声数据。也允许通过利用两个位置方向信息之间的差异来使用在美国专利No.6532291中披露的技术。在进行距离校正的情况下，允许利用滤波器模拟距离衰减，或者允许使用用于更简单地改变音量的技术。当从服务器20传送到终端10的传送数据是图像数据时，允许服务器20将视角比显示的范围宽的图像传送到终端10，并且，终端10的校正部分14根据头部旋转，改变要显示的图像范围。
<服务器的功能配置>
以下对服务器20的功能配置进行描述。图3为示出了服务器20的功能配置的框图。
服务器20的接收部分23从一个或多个终端10接收时间信息和位置方向信息。
数据生成部分21按照由接收部分23接收的位置方向信息，对接收的声学数据应用立体声处理。
时间信息复制部分22对由接收部分23从终端10接收的时间信息进行复制，这个时间信息表示与用于在数据生成部分21生成立体声数据的方向位置信息有关的时间信息。
传送部分24将由数据生成部分21生成的立体声数据以及由时间信息复制部分22复制的时间信息传送到终端10。
<运行>
以下将对构成立体声传送系统1的终端10和服务器20的运行的例子进行描述。
终端10的数据获取部分11获得收听者的位置方向信息D(步骤S101)，同时，时间信息获取部分12获得表示生成位置方向信息D的时间的时间信息Tn(步骤S102)。
终端10的传送部分15将在时间信息Tn的时间的位置方向信息D(Tn)和时间信息Tn传送到服务器20，并且，终端10还将位置方向信息D(Tn)和时间信息Tn写入存储器部分13(步骤S103)。
服务器20的接收部分23接收来自终端10的时间信息Tn和位置方向信息D(Tn)(步骤S201)。数据生成部分21按照位置方向信息D(Tn)，通过例如利用与位置方向信息D(Tn)和声学数据之间的相对关系对应的头部传递函数，对声学数据进行立体声处理，从而生成在时间信息Tn的时间的声场中的立体声数据S(Tn)(步骤S202)。为了表示生成的立体声数据S(Tn)是在时间Tn的声场，时间信息复制部分22对时间信息Tn进行复制(步骤S203)。传送部分24将立体声数据S(Tn)和时间信息Tn传送到终端10(步骤S204)。
终端10的接收部分16接收来自服务器20的时间信息Tn和立体声数据S(Tn)(步骤S104)。校正部分14从存储器部分13中读取在时间信息Tn的时间的位置方向信息D(Tn)(步骤S105)。
校正部分14接收来自数据获取部分11的最新位置方向信息D(Tm)(步骤S106)，按照位置方向信息D(Tn)与最新位置方向信息D(Tm)之间的差异对立体声数据S(Tn)进行校正(步骤S107)，并且生成要由终端10实际再现的立体声数据S’(Tm)(步骤S108)。
将立体声数据和表示用于生成立体声数据的位置方向信息的时间的辅助信息从用于进行立体声处理的服务器20传送到终端10，并且，终端10利用辅助信息对最新头部位置和方向之间的差异进行校正。可以对由跟踪延迟导致的声音图像不匹配进行补偿。
图5为用于说明按照传统方法的跟踪延迟以及在图4所描述的本实施例的运行例子中的跟踪延迟的顺序图。图5中示出的τa表示在图13所示的传统的服务器处理系统中对立体声数据S进行再现的方法(用于在Tn的时刻，将表示收听者的位置和方向的位置方向信息一次反馈到服务器20侧，由服务器20侧将进行了立体声处理的声学数据传送到终端10，并且在时刻Tn对声学数据S进行再现的方法)的情况下的跟踪延迟。此外，τb表示在图4所示的本实施例的再现方法(用于在终端10侧按照最新(在时刻Tm的)位置方向信息进行校正，并且在时刻Tm对立体声数据S进行再现的方法)中的跟踪延迟。因此，与传统方法的跟踪延迟τa相比，本实施例只需要很小的跟踪延迟τb。
在本实施例的情况下，即使为了再现动态立体声声场而将收听者头部的位置和方向从终端10反馈到服务器20侧，也可以在终端10通过接收作为辅助信息的时间信息，以很低的延迟对立体声声场进行再现。此外，由于对与头部和身体的旋转对应的立体声处理在服务器20侧和终端10侧分布，因此可以在不将处理负担加到资源贫乏的终端10的情况下，以很低的延迟对动态立体声声场进行再现。
即使改变收听者与声源之间的相对位置和收听者的方向，也能够改善跟踪延迟并降低处理负担。
对于上述实施例，对从服务器20传送到终端10的数据是立体声数据的情况进行了描述。但是，该实施例也可以被应用于图像数据、文本数据以及包括图像数据和立体声数据的媒体数据(medium data)。
此外，在上述实施例的情况下，对传送只有立体声数据的单个媒体数据的情况进行了描述。但是，当传送多个媒体数据时，允许使用与每个媒体数据对应的不同的时间信息，或者允许具有一个共同的时间信息。
(第二实施例)以下对本发明的第二实施例进行描述。对于第二实施例，将本发明的数据传送器-接收器应用于构成双向数据传送系统2的传送侧设备30和接收侧设备40。
传送侧设备30和接收侧设备40分别包括没有示出的CPU、存储器、显示器和通信接口，并且分别具有通用计算机的硬件配置。例如数据和程序的软件被存储在存储器中。在这些程序中，包括用于向和从另一通信方设备传送和接收时间信息与数据并且利用时间信息进行处理的程序。通过设备30和40中的每一个的硬件和软件，在设备30和40中的每一个中实现下述功能配置。
图6为示出了构成双向数据传送系统2的传送侧设备30的功能配置的框图。
数据获取部分31获得图像数据，作为要随时间变化的变化数据。
时间信息获取部分32获得表示生成由数据获取部分31获得的图像数据的时间的时间信息。
传送部分34将由数据获取部分31获得的图像数据和由时间信息获取部分32获得的时间信息传送到接收侧设备40。
接收部分35接收来自接收侧设备40的、作为传送数据的事件信息。事件信息是表示在接收侧设备40中出现预定事件的信息。此外，接收部分35接收事件信息和表示事件发生的时间的时间信息。
校正部分33根据由接收部分35接收的事件信息和时间信息，对在接收的时间信息表示的时间出现什么事件进行判断，并且，将由数据获取部分31获得的最新图像数据校正为事件发生时的图像数据。由此，本实施例对由数据获取部分31获得的变化数据进行校正。
图7为示出了构成双向数据传送系统2的接收侧设备40的功能配置的框图。图7所示的接收部分43接收图像数据和表示生成该图象数据的时间的时间信息。
数据生成部分41根据由接收部分43接收的图像数据生成事件信息。例如，当为了使图像数据停止，接收者通过鼠标点击由接收侧设备40接收的、显示在显示器上的图像数据时，数据生成部分41生成表示点击鼠标的事件信息。
传送部分44将由数据生成部分41生成的事件信息和由时间信息复制部分42复制的时间信息传送到传送侧设备30。
<运行>
以下参照图8对运行进行描述。作为运行的例子，使用了这样的例子，其中，传送侧设备30传送图像数据，接收侧设备40在显示器上显示接收的图像数据，并且，接收者通过用鼠标对图像进行点击使图像停止。
首先，传送侧设备30的数据获取部分31预先得到要传送到接收侧设备40的图像数据V(t)(步骤S301)，并且，时间信息获取部分32得到对应的时间信息t(步骤S302)。传送部分34将图像数据V(t)和时间信息t传送到接收侧设备40(步骤S303)。
接收侧设备40显示接收的图像数据V(t)(步骤S401)，并且向接收者示出数据。当接收者为了使显示的图像停止而通过鼠标点击时间信息t1的图像数据V(t1)时，接收侧设备40立即停止显示图像数据，并且，数据生成部分41生成表示点击鼠标的事件信息(步骤S402)。时间信息复制部分42对与发生了事件的图像数据对应的时间信息t1进行复制(步骤S403)。接收侧设备40将事件信息和时间信息t1返回到传送侧设备30(步骤S404)。
传送侧设备30接收事件信息和复制时间信息t1(步骤S304)。在这种情况下，当假设将事件信息和复制时间信息t1从接收侧设备40传送到传送侧设备30需要的时间为d时，传送侧设备30接收事件信息和复制时间信息t1的时间变为t1+d。因此，传送侧设备30完成向接收侧设备40传送从V(t1+1)到V(t1+d)的图像数据。
传送侧设备30的校正部分33判断在接收到的复制时间信息t1的时间在图像数据V(t1)中出现停止事件，将图像数据V(t1+d)校正到图像数据V(t1)(步骤S305)，并且在图像数据V(t1)中执行停止处理(步骤S306)。由此，传送侧设备30的图像停止在V(t1)。因此，当传送侧设备30和接收侧设备40停止时，它们的图像变为V(t1)。
由此，能够按照从接收侧设备40接收的时间信息t1，将传送侧设备30中的最新图像数据V(t1+d)校正到图像数据V(t1)，并且，消除了跟踪延迟的影响。当利用具有延迟的传送路径进行交互式通信时，尽管传送侧设备30和接收侧设备40得到的图像数据的状态随时改变，但传送侧设备30和接收侧设备40可以利用时间信息保持相同的内部状态。
因此认为，在基于确认双向通信的情况下，传送侧设备30变为接收侧而接收侧设备40变为传送侧。
此外，在上述实施例的情况下，对将图像数据从传送侧设备30传送到接收侧设备40进行了描述。但是，被传送的数据的类型不限于图像数据。还允许使用如立体声数据或文本数据等媒体数据。
此外，事件类型不限于使图像停止。例如，允许事件类型是使图像快速向前或向后。
(修改)本发明不限于上述实施例。可以对本发明进行各种修改，只要修改不脱离本发明的本质即可。作为修改，考虑了以下情况。
(1)第一修改图9示出了第一修改的终端10的功能配置。当数据获取部分111与时间信息获取部分12同步时，本修改起作用。即，数据获取部分111与时间信息获取部分12获得时间信息的获取定时同步地获得位置方向信息。
例如，考虑终端10和服务器20按照RTP(H.Schulzrinne等人的“RTP一种用于实时应用程序的传送协议(RTPA TransportProtocol for Real-Time Applications)”，RFC1889，Jan.1996)进行分组通信的情况。在这种情况下，终端10的时间信息获取部分12包括例如用于对RTP数据包的传送定时进行计时的定时器，并且，时间信息获取部分12按照由定时器计时的RTP数据包传送定时获得时间信息。时间信息获取部分12将获得的时间信息存储在存储器部分13中，并将用于获得位置方向信息的定时传送到数据获取部分111。数据获取部分111按照从时间信息获取部分12传送的定时获得位置方向信息。终端10生成包括位置方向信息的RTP数据包，并且，将生成RTP数据包的时间标记添加到RTP头部。
由此，可以将RTP头部的时间标记用作时间信息并且减少要被传送到服务器20的辅助信息。
作为另一个修改，允许时间信息获取部分12不包括用于对RTP数据包的传送定时进行计时的定时器，但是，时间信息获取部分12从外部定时器接收用于RTP数据包的传送定时的通知，并且，按照这个定时获得时间信息。
此外，这样的修改可以被相似地应用于第二实施例的传送侧设备30。
(2)第二修改图10示出了第二修改的终端10的功能配置。在这种修改的情况下，时间信息获取部分121的运行与收听者侧的编码声学数据的编码周期同步并由此获得时间信息。此外，在这种修改的情况下，与第一修改的情况相似，数据获取部分111的运行与时间信息获取部分121同步并由此获得位置方向信息。
当终端10对收听者侧的声学数据如收听者的语音进行编码并且将数据传送到服务器20时，时间信息获取部分121将声学数据的时间信息，如经过编码的帧周期或者采样周期用作要获得的时间信息。由于数据获取部分111与数据获取部分12同步运行，因此，数据获取部分111按照收听者侧声学数据的编码周期，获得位置方向信息。
具体地说，时间信息获取部分12只需要对例如经过编码的声学数据的经过编码的帧数进行计数，将帧数与位置方向信息一起存储在存储器部分13中作为时间信息。当假设通信开始时间为T0时，可以根据编码帧的长度L和数量N，将生成位置方向信息的时间Tn计算为Tn＝T0+L×N。
还允许按照每帧生成位置方向信息，或者，当使用短周期如采样周期时，允许按照每若干个样本生成位置方向信息。
即使当从服务器20侧接收的时间信息是帧数N或时间Tn时，上述的计算表达式也是有效的。因此，可以从存储器部分13中读取对应的位置方向信息。
接收经过编码的声学数据的服务器20可以利用与终端10的情况相同的程序，根据经过编码的声学数据计算时间。此外，由于即使在终端10从服务器20接收帧数的情况下，终端10也能够根据帧数计算时间，因此，终端10不必向服务器20传送时间信息，并且，可以减少要传送到服务器20的辅助信息。
经过编码的声学数据不限于声学数据。只要数据是经过编码的数据，则可以使用任何数据。例如，允许使用经过编码的位置方向信息。此外，这个修改可以相似地应用于第二实施例的传送侧设备30。
(3)第三修改图11示出了第三修改的服务器20的功能配置。在这样的修改的情况下，服务器20接收经过编码的声学数据而不是时间信息，并且，根据接收的经过编码的声学数据计算并生成时间信息。
服务器20的接收部分23从一个或多个终端10接收经过编码的声学数据和位置方向信息。
数据生成部分21根据由接收部分23获得的位置方向信息，对接收的经过编码的声学数据或者要传送到终端10的其它声学数据进行立体声处理，从而生成要在终端10侧再现的立体声数据。在这种情况下，如果需要，在进行立体声处理之前，部分21进行解码。
在这种情况下，为了在终端10侧按照最新位置方向信息进行校正，需要表示立体声数据属于声场的哪个时点(point of time)的时间信息。在这样的修改的情况下，当接收来自图10所示的终端10的经过编码的声学数据时，即使服务器20的接收部分23不接收时间信息，时间信息复制部分221也能够通过使用接收的经过编码的声学数据生成时间信息。例如，允许对由时间信息复制部分221接收的经过编码的声学数据的经过编码的帧数进行计数，并且将帧数用作时间信息。此外，允许时间信息复制部分221通过将通信开始时间设定为T0，利用上述的计算表达式，根据编码帧长度L和帧数N计算生成位置方向信息时的时间Tn。
由此，可以根据接收的经过编码的声学数据生成时间信息。因此，当图10所示的终端10按照经过编码的声学数据的编码周期生成位置方向信息并将该信息传送到服务器20时，即使服务器20不接收时间信息，服务器20也能够传送表示立体声数据属于声场的哪个时点的时间信息。由于不需要向服务器20传送时间信息，因此可以减少辅助信息并且抑制数据传送带宽。
经过编码的声学数据不限于声学数据，只要数据是经过编码的数据即可。此外，可以将本修改相似地应用于第二实施例的接收侧设备40。
当在通信环境中，例如在收听者的位置和方向、另一通信方设备的位置以及传送侧设备和接收侧设备的内部状态等各种状态动态变化的移动通信网络中，通过具有延迟的传送路径进行交互式通信时，可以将本发明应用于必须减小传送延迟的影响并提高通信质量的每个行业。
权利要求
1.一种数据传送器-接收器，用于与另一通信方设备进行双向数据传送，包括数据获取装置，用于获取随时间变化的变化数据；时间信息获取装置，用于获取表示生成从所述数据获取装置获取的变化数据的时间的时间信息；接收装置，用于接收从所述另一通信方设备传送的传送数据和表示所述传送数据是在预定时间的数据的预定时间信息；以及校正装置，用于根据由所述数据获取装置获取的变化数据、由所述时间信息获取装置获取的时间信息、由所述接收装置接收的预定时间信息以及传送数据，对由与所述另一通信方设备进行数据传送而引入的延迟进行校正。
2.如权利要求1所述的数据传送器-接收器，还包括传送装置，用于将由所述数据获取装置获取的在预定时间的变化数据和由所述时间信息获取装置获取的表示预定时间的所述预定时间信息传送到所述另一通信方设备；其中，所述校正装置根据由所述传送装置传送的在预定时间的变化数据与由所述数据获取装置获取的最新变化数据之间的差异，对由所述接收装置接收的在预定时间的传送数据的跟踪延迟进行校正。
3.如权利要求1或2所述的数据传送器-接收器，还包括存储装置，用于使由所述数据获取装置获取的变化数据与由所述时间信息获取装置获取的表示时间的所述时间信息相关联，并且存储所述数据和所述信息；其中所述校正装置根据存储在所述存储装置中的、对应于最新时间信息的最新变化数据与对应于所述预定时间信息的所述变化数据之间的差异，将由所述接收装置接收的在预定时间的传送数据校正为与最新时间信息对应的传送数据。
4.如权利要求1到3中的任何一个所述的数据传送器-接收器，其中所述数据获取装置与所述时间信息获取装置获取所述时间信息的定时同步地获得变化数据。
5.如权利要求4所述的数据传送器-接收器，其中所述时间信息获取装置与要传送到所述另一通信方设备的经过编码的数据的编码周期同步地获取时间信息。
6.一种数据传送器-接收器，用于与另一通信方设备进行双向数据传送，包括接收装置，用于从所述另一通信方设备接收随时间变化的变化数据和表示生成所述变化数据的时间的时间信息；数据生成装置，用于按照由所述接收装置接收的所述变化数据生成要传送到所述另一通信方设备的传送数据；时间信息复制装置，用于对由所述接收装置接收的时间信息进行复制；以及传送装置，用于将由所述数据生成装置生成的所述传送数据和由所述时间信息复制装置复制的时间信息传送到所述另一通信方设备。
7.如权利要求6所述的数据传送器-接收器，其中所述接收装置接收经过编码的数据而不是所述时间信息，并且所述时间信息复制装置利用由所述接收装置接收的所述经过编码的数据的编码周期对所述时间信息进行复制。
8.如权利要求1到7中的任何一个所述的数据传送器-接收器，其中所述传送数据是媒体数据，而所述变化数据是表示用于接收所述媒体数据的接收器的位置和方向中的至少一个的位置方向信息。
9.一种双向数据传送系统，包括第一数据传送器-接收器和第二数据传送器-接收器，其中所述第一数据传送器-接收器包括数据获取装置，用于获取按随时间变化的变化数据；时间信息获取装置，用于获取表示生成从所述数据获取装置获取的变化数据的时间的时间信息；传送装置，用于将由所述数据获取装置获取的所述变化数据和由所述时间信息获取装置获取的所述时间信息传送到所述第二数据传送器-接收器；接收装置，用于接收从所述第二数据传送器-接收器传送的传送数据和表示所述传送数据是在预定时间的数据的预定时间信息；以及校正装置，用于根据由所述数据获取装置获取的变化数据、由所述时间信息获取装置获取的时间信息，由所述接收装置接收的预定时间信息以及传送数据，对通过与所述第二数据传送器-接收器进行数据传送而引入的延迟进行校正，并且所述第二数据传送器-接收器包括接收装置，用于从第一数据传送器-接收器接收变化数据和表示生成所述变化数据的预定时间的所述预定时间信息；数据生成装置，用于按照由所述接收装置接收的所述变化数据生成传送数据；时间信息复制装置，用于对由所述接收装置接收的所述预定时间信息进行复制；以及传送装置，用于将由所述数据生成装置生成的所述传送数据和由所述时间信息复制装置复制的所述预定时间信息传送到所述第一数据传送器-接收器。
10.一种数据传送接收方法，其中终端单元接收由服务器传送的媒体数据，所述方法包括如下步骤第一信息获取步骤，其中，所述终端单元获取表示接收器的位置和方向中的至少一个的第一位置方向信息以及表示生成所述第一位置方向信息的时间的第一时间信息；存储步骤，其中，所述终端单元使所述第一位置方向信息与所述第一时间信息相关联并将该信息存储在存储器中；第一信息传送步骤，其中，所述终端单元将所述第一位置方向信息和所述第一时间信息传送到所述服务器；数据处理步骤，其中，所述服务器按照在所述第一信息传送步骤中传送的所述第一传送位置方向信息，对要传送到所述终端单元的所述媒体数据进行处理；时间信息复制步骤，其中，所述服务器对在所述第一信息传送步骤中传送的所述第一时间信息进行复制；媒体数据传送步骤，其中，所述服务器将在所述数据处理步骤中处理的所述媒体数据和在所述时间信息复制步骤中复制的所述第一时间信息传送到所述终端单元；第一位置方向信息获取步骤，其中，所述终端单元从所述存储器获取与在所述媒体数据传送步骤中传送的所述第一时间信息对应的第一位置方向信息；第二信息获取步骤，其中，所述终端单元获取第二位置方向信息以及表示生成所述第二位置方向信息的时间的第二时间信息；以及校正步骤，其中，所述终端单元按照所述第二位置方向信息、所述第二时间信息、所述第一位置方向信息以及所述第一时间信息，将在所述媒体数据传送步骤中传送的媒体数据校正为与所述第二时间信息对应的媒体数据。
全文摘要
本发明提供了在各种状态随时间动态变化的环境中，能减少与另一通信方设备进行双向通信的传送延迟的影响的数据传送器－接收器双向传送系统和数据传送接收方法。终端10的数据获取部分11获得位置方向信息D(Tn)，时间信息获取部分12获得时间信息Tn。终端10将D(Tn)和Tn存储在存储器部分13中，传送部分15将D(Tn)和Tn传送到服务器20，其数据生成部分21利用D(Tn)生成立体声数据S(Tn)，时间信息复制部分22复制Tn，传送部分24将S(Tn)和Tn传送到终端10。数据获取部分11获得位置方向信息D(Tm)，时间信息获取部分12获得时间信息Tm，校正部分14对D(Tm)与D(Tn)之间的差异进行校正，从而生成S’(m)。
文档编号H04S3/00GK1832634SQ20061005477
公开日2006年9月13日 申请日期2006年3月10日 优先权日2005年3月11日
发明者安田泰代, 仲信彦, 大矢智之, 三木俊雄 申请人:株式会社Ntt都科摩