专利名称：以流方式传送运动图像邮件的装置及方法
技术领域：
本发明涉及传送运动动图像邮件的装置及方法，并且更具体地涉及从运动图像邮件服务器向移动终端发送运动图像邮件的装置及方法。
背景技术：
移动终端目前已经能够传送高速数据以及话音通信的结构。特别地，基于国际移动通信-2000(IMT-2000)标准的移动通信网络能够使用该移动终端实现高速数据通信以及话音通信。用于执行数据通信的数据可以是信息包数据以及图像或画面数据。
由于通信公司以及消费者对运动图像邮件的需求在增加，因此正在实现提供运动图像邮件的服务。预期这一运动图像邮件服务将会增加。在运动图像被发送之处，会招致由于大量数据所造成的图像压缩问题。此外，当借助于移动终端来发送或接收运动图像时，图像压缩问题是相当大的。通常，运动图像信号压缩是依据运动图像专家组4(MPEG-4)标准。在运动图像信号被压缩之处，基于MPEG-4标准的压缩技术能够适当地压缩大量数据，但是需要大量数目的每秒百万条指令(MIPS)。因而，难于把基于MPEG-4标准的压缩技术应用于基于先进的RISC机器7(Advanced RICS Machine 7)(ARM-7)的移动终端。
在使用上述图像压缩方法时，能够仅仅用软件来处理图像。不过，不能提供具有高速图像更新速率的解决方案。配备有一内部相机或外部相机的移动终端具有一液晶显示器(LCD)和一用于压缩静态图像的图像数据的编解码器。
该用于压缩静止图像的编解码器可以是联合图像专家组(JPEG)编解码器。当提供诸如IMT-2000服务的宽带服务的时候，配备有上述部件的相机电话正在变得普通。因此，期望移动终端通过JPEG编解码器来连续地压缩运动图像信号以生成和显示半运动的图像信号或是通过网络把该半运动的图像信号发送给另一移动终端或运动图像邮件服务器。期望该移动终端将能够通过网络从另一移动终端或运动图像邮件服务器接收运动图像信号以再现所接收的运动图像信号。
当传送运动图像邮件或半运动图像邮件时，接收侧及发送侧预先决定用于该运动图像邮件的传输率。该发送侧或接收侧按所决定的传输率发送或接收运动图像邮件。发送与接收侧之间的信道环境影响发送方法，使得会发生在所接收的运动图像信号内的截止现象。如果发生了，接收侧将请求发送侧重新发送运动图像信号，或是将不适当地再现具有截止现象的运动图像信号。
发明内容
因此，本发明是已考虑到上述问题而做出的，并且本发明的一个目的是提供能够使运动图像邮件能够在移动通信网络内的运动图像邮件服务器与移动终端之间传送的装置及方法。
本发明的另一个目的是提供能够使移动通信网络能够以流方式从运动图像邮件服务器向移动终端发送运动图像邮件的装置及方法。
本发明的又一个目的是提供能够使设在移动通信网络内的移动终端能够以流方式从运动图像邮件服务器接收运动图像邮件的装置及方法。
本发明的再一个目的是提供能够使运动图像邮件服务器能够向移动终端发送运动图像邮件并能够根据移动终端所发送的接收状态信息更改该运动图像邮件的传输率的装置及方法。
本发明的还一个目的是提供能够使移动终端能够接收和再现从运动图像邮件服务器发送的运动图像邮件，以及使该移动终端能够向运动图像邮件服务器发送接收状态信息以使该运动图像邮件服务器能够确定基于该接收状态信息的运动图像邮件的传输率以改变传输率的装置及方法。
从以下包括结合附图的详细说明中将更为清楚地理解本发明的上述以及其它目的，特征和其它优点，其中图1是说明根据本发明实施例的用于发送运动图像邮件的网络的体系结构的框图；图2是说明在图1所示运动图像邮件服务器与移动终端之间的通信过程的框图；图3A和3B是说明根据本发明实施例的运动图像信号的格式的框图；图4A-4E是说明根据本发明实施例的用于发送运动图像邮件的信息包格式的框图；图5是说明根据本发明实施例的用于使运动图像邮件服务器能够发送运动图像邮件的过程的流程图；图6是说明改变从运动图像邮件服务器发送的运动图像邮件的传输率的例子的框图；图7是说明根据本发明实施例的使移动终端能够接收运动图像邮件以及使该运动图像邮件的接收状态信息能够被发送到运动图像邮件服务器的过程的流程图；图8是说明与图7所描述的运动图像邮件有关的接收状态信息的格式的框图；图9是说明根据本发明实施例的使移动终端能够接收和再现运动图像邮件的部件的方框图；以及图10是说明用于接收和再现图9所示移动终端内的运动图像邮件信息包的部件的方框图。
具体实施例方式
现在，将参照附图详细描述本发明的实施例。图中，相同或类似的元件用相同的参考数字来表示。
在下面的说明中，示例了与运动图像信号的格式，将被发送的信息包的格式，图像压缩技术，运动图像邮件的传输率，等等有关的特定细节。对于本领域的技术人员来说，显然本发明能够通过各种修改而无需这些特定细节来容易地实现。
在本发明的一个实施例中，假定运动图像信号包括运动图像以及半运动图像信号。此外，根据本发明的该实施例，运动图像信号能够是其中图像信号与其它信号相组合的一个组合信号。根据本发明的该实施例，运动图像信号能够是其中图像信号与音频信号，文本信号或音频与文本信号相组合的一个组合信号。下文中，假定措词“运动图像信号”或“运动图像邮件”是其中图像信号与音频信号相组合的一个组合信号。假定该运动图像信号是半运动图像信号。
假定根据本发明的该实施例采用联合图像专家组(JPEG)编码技术作为图像编码技术。另一方面，在本发明的该实施例中能够采用另一种图像编码技术。根据本发明的该实施例，用JPEG编码技术作为静态图像信号编码技术来按预定时间间隔编码接收到的运动图像信号以便能够生成编码图像数据。
假定根据本发明的该实施例用于处理运动图像信号的便携或移动终端是移动电话。根据本发明该实施例的便携或移动终端能够包括除了移动电话外的所有移动通信设备。例如，移动通信设备可以为个人数字助理(PDA)。
图1是说明根据本发明实施例的包括一能够发送运动图像邮件的移动通信系统的网络的体系结构的示意图。该移动通信系统网络可以是基于码分多址访问(CDMA)2000系统。用户终端可以是图1所示的便携或移动计算机。
参见图1，可以把便携或移动终端120连接到一个或多个用户终端110。把移动终端120连接到至少一个基站(BS)130以及至少一个基于CDMA 2000标准的无线电信道以便能够提供通话服务。通常，BS 130包括基收发器子系统(BTS)以及基站控制器(BSC)。移动交换中心(MSC)140通过一路径(未示出)把BS 130连到公共交换电话网络(PSTN)(未示出)或等等的另一个用户子系统以便能够向移动终端120提供基于电话电路的通话服务。多个BS 130和MSC 140形成基于CDMA 200标准的无线通信网络。
通过信息包数据服务节点(PDSN)150，把这些BS 130连到数据核心网络，即因特网协议(IP)网络160。这里，PDSN 150作为用于互连IP网络160与另一网络的网关。特别地，根据该先进的网络体系结构，连到无线通信网络的该PDSN 150能够包括MSC 140。
PDSN 150通过一基于CDMA的无线通信网络向移动终端120提供分组服务。在移动终端120在PDSN 140与用户终端110之间执行中继功能之处，PDSN 150建立具有用户终端110的点对点协议(PPP)，然后把一IP地址分配给用户终端110以便该用户终端110能够访问因特网。
此外，把IP网络160连接到包含多个因特网服务提供商及节点的另一网络170，然后向移动终端120提供分组数据服务。为此，把IP网络160连到多个网络元件，即域名服务器(DNS)162，验证，授权及计算(AAA)服务器164，本地代理(HA)166，运动图像邮件服务器180，等等。当运动图像邮件到达时，运动图像邮件服务器180把该运动图像邮件的到达通知给移动终端120，并以流方式把该运动图像邮件发送到移动终端120。
图2是说明在图1所示运动图像邮件服务器与移动终端之间的通信过程的框图。
参见图2，当出现要被发送到移动终端120的运动图像邮件时，运动图像邮件服务器180生成运动图像邮件到达通知消息并在步骤311把所生成的运动图像邮件到达通知消息发送到移动终端120。响应该运动图像邮件到达通知消息，移动终端120生成接收请求消息然后在步骤313把所生成的接收请求消息发送到运动图像邮件服务器180。一接收到该接收请求消息，在步骤315，运动图像邮件服务器180就开始按预置的传输率传送运动图像邮件数据。
移动终端120必须包括接收运动图像邮件以及使所接收的运动图像邮件能够被实时显示所需的最小缓冲空间。例如，在运动图像邮件服务器180根据运动图像邮件标准相应于每秒5帧发送图像及音频信号之处，移动终端120必须包括一个能够缓冲5秒或更多的运动图像邮件数据的缓冲器。此外，当该缓冲器满时，移动终端120同时执行用于存取和再现存储在该缓冲器内的运动图像的操作以及用于接收和存储从运动图像邮件服务器180发送的运动图像邮件的操作。
如果执行用于再现和接收运动图像邮件的操作，移动终端120以预定时间间隔检验表示累积于缓冲器内的数据数量的缓冲深度，根据检验结果确定通信网络的状态，以及把确定的结果通知给运动图像邮件服务器180。就是说，移动终端120按预定时间间隔生成表示通信网络状态的接收状态消息然后在步骤317把所生成的接收状态消息发送给运动图像邮件服务器180。此外，运动图像邮件服务器180响应该接收状态消息，根据通信网络的当前环境改变运动图像邮件的传输率以及在步骤315按所改变的传输率执行传送操作。在改变传输率的方法中，执行了用于完成图像帧的确定操作，或是减少了图像帧的大小或是像素的数目。
根据本发明的该实施例，运动图像邮件服务器180以流方式把运动图像邮件发送到移动终端120。运动图像邮件服务器180响应按预定时间间隔从移动终端120发送的接收状态消息根据预置的方法调整要发送的数据量。执行该操作以便补偿要被再现的运动图像信号的截止现象。此外，由于移动终端120必须实时再现从运动图像邮件服务器180发送的运动图像邮件，因此当所接收的运动图像邮件的数据量已达到预定大小或更大时，同时地执行用于再现从运动图像邮件服务器1 80发送的运动图像邮件的数据以及接收该运动图像邮件的其它数据的操作。这里，所发送的运动图像邮件的一个信息包使用用户数据报协议(UDP)来取代传输控制协议(TCP)。然而，在使用UDP之处，根据网络状态会发生信息包丢失。该信息包丢失能够不利地影响基于联合图像专家组(JPEG)数据的运动图像信号。出于这一原因，本发明的该实施例能够使用TCP最小化信息包丢失。
根据本发明的该实施例，假定运动图像邮件包括由连续的静态图像信号JPEG1，JPEG2和其它JPEG以及音频信号，并且音频信号交错于静态图像信号JPEG1，JPEG2和其它JPEG之间，如图3A所示。就是说，假定作为半运动图像信号的运动图像邮件具有其中音频信号被插入静态图像信号之间的格式。因此，该静态图像信号是一个帧的图像屏幕信号。把含有表示相应帧的大小的“L”以及表示图像的存在的图案信号“P”的图像标题插到静态图像信号内。运动图像邮件可以具有其中图像标题，JPEG编码图像信号以及音频信号如图3B所示被组合的一种格式。
当发送运动图像邮件时，运动图像邮件服务器180生成该运动图像邮件的传送信息包并发送所生成的信息包。
图4A-4E是说明根据本发明实施例的用于发送运动图像邮件的信息包格式的框图。
图4A表示要被从运动图像邮件服务器180发送的信息包的格式。能够选择性地决定要被发送的信息包的总的大小N，并且能够把该总的大小N设置在200～1500字节的范围内。要被发送的信息包的大小在每个信息包中必须是不变的。参见该信息包格式，44个字节的TCP/IP标题和7比特的序号S能够被包含在该信息包内。序号S表示所生成的信息包的顺序。该序号可以具有值0到值127之中的一个值。在值127的序号后，重新选择值0的序号。序号S随后的一个1比特A/V值表示相应信息包的第一个数据是音频还是JPEG图像数据。
图4B和4C表示JPEG图像数据格式的信息包。就JPEG图像数据来说，一帧的大小被设置在5～10K字节的范围内。一帧的图像数据长度大于一个信息包数据的长度。因而，一帧的JPEG图像数据必须通过多个信息包来发送。该帧JPEG图像数据的第一个信息包含有如图4B所示的图像标题的P和L值。在图4B中，P值表示用来区别在接收器接收信息包数据内的音频数据与JPEG图像数据之间的图案信号，并且它的图像标题信息。在图4B中，L值表示JPEG图像帧的总的大小。移动终端120通过来自图4B所示的发送信息包的图案信号P来检测JPEG图像，并读取相应于L值的JPEG图像数据。当该被接收并缓冲的数据与L值一致同时移动终端120连续地接收并缓冲数据时，把接收并缓冲的JPEG图像数据加到图像编解码器80上以使它能够被解码和再现。图4C表示在一帧的JPEG图像数据的第一个信息包被发送后的剩余信息包格式。能够用JPEG图像数据而无需用图像标题来填充该剩余信息包。
图4D表示音频信号信息包的格式。在本发明的该实施例中，假定音频编解码器85是一8Kbps的语音编解码器。在音频编解码器85是8Kbps的语音编解码器之处，每20毫秒生成一帧(20字节)的编码音频数据。此时，直到与数据的最大大小一致的N-45字节被装配到一个信息包内，多个编码音频帧数据单元才被连续地耦合到另一个单元以便能够生成一个音频信息包。例如，N为200之处，装配对应于17个帧和一3/4帧(15字节)的多个音频数据单元，以便能够生成一个信息包。由于JPEG图像数据一般地被插入到音频帧之间，所以生成如图4E所示音频数据与JPEG图像数据被混和的格式。
图5是说明根据本发明实施例的用于使运动图像邮件服务器能够发送运动图像邮件的过程的框图；以及图6是说明改变从运动图像邮件服务器发送的运动图像邮件的传输率的例子的说明图。
图7是说明根据本发明实施例的使移动终端能够接收运动图像邮件以及使该运动图像邮件的接收状态信息能够被发送到运动图像邮件服务器的过程的流程图；以及图8是说明与图7所描述的运动图像邮件有关的接收状态消息的格式的框图。
将参照图5-8描述用于使运动图像邮件服务器180能够发送运动图像邮件的操作以及使移动终端120能够接收运动图像邮件的操作。
首先，当出现要被发送到移动终端120的运动图像邮件时，在图5所示步骤411，运动图像邮件服务器180发送，向移动终端120，表示运动图像邮件已到达的消息。然后，在步骤413，运动图像邮件服务器180确定是否已经从移动终端120接收到接收请求消息。这里，如果尚未收到接收请求消息，那么运动图像邮件服务器180等待预定的时间过去，如在步骤413所示，并且在步骤411重复。如果在该预定时间过去之时没有接收到接收请求消息，那么在步骤433记录一备用消息并终止操作。就是说，在通知相应的移动终端运动图像邮件已到达后，运动图像邮件服务器180在预定时间期间等待从相应的移动终端接收该接收请求消息。因此，如果在预定时间期间没有收到该接收请求消息，那么在上述步骤433记录一备用消息并终止操作。在该预定时间已经过去后，运动图像邮件服务器180分析该备用消息并重复地执行上述操作。如果在该预定时间内尚未收到接收请求消息，那么运动图像邮件服务器180进到步骤415，决定发送活动图像邮件。如果在步骤417发送了活动图像，则操作终止。如果在步骤417没有发送活动图像，则操作进到将在下面说明的步骤419。
一接收到运动图像邮件到达通知消息，移动终端120就在图7所示的步骤511检测该运动图像邮件到达通知消息，并在步骤513显示表示运动图像邮件到达的信息。然后，当从用户生成对于运动图像邮件的接收请求命令时，移动终端120在步骤515检测该接收请求命令并在步骤517生成用于运动图像邮件的接收请求消息以发送所生成的用于运动图像邮件的接收请求消息。之后，移动终端120等待接收该运动图像邮件。如果移动终端120的用户在步骤515没有生成该接收请求命令，那么移动终端120进到步骤541并等待一预定时间。此时，如果在该预定时间之后没有生成接收请求命令，那么在步骤543，移动终端120存储运动图像邮件到达通知消息作为收到消息并终止操作。如果用户在确认该收到消息后生成接收请求消息，那么执行接收运动图像邮件的操作。
响应该接收请求消息，运动图像邮件服务器180开始按在图5所示的上述步骤415由移动终端120所设置的传输率来发送运动图像邮件。按该设置的传输率连续地执行发送操作直到从移动终端120收到一接收状态消息。
然后，移动终端120在图7所示的步骤519检测收到的运动图像邮件，并在步骤521把该收到的运动图像邮件存入一缓冲器。这里，该缓冲器必须具有缓冲能够在一预定时间或更多时间期间被再现的数据量所需的缓冲大小。在本发明的该实施例中，传输率相当于每秒5帧。假定移动终端120的缓冲器具有再现5秒或更多秒的运动图像邮件数据所需的缓冲大小。假定对应于一帧的图像及音频信号的大小为5K字节，那么该缓冲器必须具有125K字节或更多字节的大小。在本发明的该实施例中，假定该缓冲器具有大于125K字节的大小。
当移动终端120在步骤521累积并存储接收的运动图像邮件，并且存储在该缓冲器内的运动图像邮件的预定大小(即，125K字节)已经被收到时，移动终端120在步骤523判明存储在该缓冲器内的接收运动图像邮件已达到该预定大小(即，125K字节)的事实并访问存储在该缓冲器内的运动图像邮件以在步骤525在显示单元上显示该运动图像邮件。移动终端120连续地执行缓冲从运动图像邮件服务器180发送的运动图像邮件的其它数据的操作。
移动终端120按预置时间间隔检验累积在该缓冲器内的数据量，并根据通信网络的状态生成一消息。如果预置时间已经过去，那么移动终端120在步骤527判明该预置时间已经过去的事实，以及在步骤529检验累积在该缓冲器内的数据量并生成接收状态消息以把所生成的接收状态消息发送到运动图像邮件服务器180。如果预设的时间没有过去，移动通信终端120检验再现何缓冲是否完成了。如果没有，则过程返回到步骤525，并且完成上述的操作。如果完成了操作，则终止再现和缓冲。该接收状态消息具有图8所示的格式。接收状态消息的该格式含有TCP/IP标题，接收序号，丢失的信息包的累计数目，表示缓冲深度的缓冲信息，等等。缓冲信息表示累积在缓冲器内的数据量并且能够根据下列表1来决定。在服务开始前分析了通信网络的特性之后，包含在下列表1内的“x”值的范围能够根据来自通信公司的请求而改变。该缓冲信息被用作为用于决定运动图像邮件服务器180内的运动图像邮件的传输率的信息，并且被包含在图8所示的接收状态消息内以便该包含在接收状态消息内的缓冲信息能够被发送到运动图像邮件服务器180。
表1
当移动终端120发送图8所示的接收状态消息时，运动图像邮件服务器180在图5所示的步骤419判明该接收状态消息，在步骤421分析包含在该接收状态消息内的缓冲信息并根据分析结果确定是否必须改变传输率。这里，如果缓冲信息尚未被改变，那么运动图像邮件服务器180在步骤423判明缓冲信息尚未被改变的事实并返回到步骤415以便能够按先前的传输率发送运动图像邮件。另一方面，如果运动图像邮件服务器180判明在步骤423缓冲信息已被改变的事实，那么运动图像邮件服务器180在步骤425根据传输率分配表重新设置传输率以及之后在步骤427根据该重新设置的传输率编辑运动图像邮件以发送该编辑了的运动图像邮件。
表2
表2示出传输率分配表的一个例子。运动图像邮件服务器180包括诸如上述表2的传输率分配表并能够调整表示每秒的帧数的传输率。在表2中，假定在正常环境下每秒的帧数是“5”，并且其缓冲信息表示“0101”。此外，当接收状态消息的缓冲信息为“0011”时，把要被发送的每秒的帧数设为“3”。执行编辑操作以便能够发送包含在运动图像邮件内的所有音频信号。图6表示根据重新设置的传输率编辑和发送的运动图像邮件的一个例子。
移动终端120在每个预置时间重复地检验累积于缓冲器内的数据量并发送图8所示的接收状态消息。响应该接收状态消息，运动图像邮件服务器180根据图6所示的格式调整要被发送的运动图像邮件的传输率然后按所调整的传输率发送该运动图像邮件。
重复执行上述操作直到运动图像邮件服务器180终止运动图像邮件的发送操作。
根据本发明的该实施例，图6表示执行对于一个图像帧的抽取和发送操作的例子。就是说，由于必须实时再现运动图像邮件，因此发送时间必须固定并且必须更改运动图像邮件信息，其中传输率被改变。用于改变运动图像邮件信息的方法包括用于实现对于图6所示的图像帧的抽取操作并发送该抽取操作的结果的方法，用于减少该图像帧的大小并发送该减少了的图像帧的方法，用于减少图像帧像素的数目并发送该减少了的图像帧像素的方法，等等。
本发明的该实施例考虑了其中根据信道环境而降低传输率的情形。在较好的信道环境下发送运动图像邮件的时候，假定运动图像邮件服务器180不改变当前的传输率并按其原来的值保持当前的传输率。另一方面，在传输率较好的时候，运动图像邮件服务器180能够连续地发送运动图像邮件。
将描述移动终端120内的运动图像邮件通信过程。
图9示出说明根据本发明实施例的用于在装有一相机和一图像编解码器的移动终端120内接收和再现运动图像邮件的部件的方框图。在运动图像接收方法中，从运动图像邮件服务器180接收的运动图像邮件存储在存储器30内或者能被实时地显示。根据本发明的该实施例，存储器30包括缓冲器35用于缓冲运动图像邮件。
首先，将描述在缓冲器35内缓冲收到的运动图像邮件的操作。射频(RF)模块23把所收到的运动图像邮件的无线电信号转换成基带信号。数据处理器20执行对于该收到的运动图像邮件的信道解调和解码操作并把信道解调和解码操作的结果发送给控制器10。控制器10使该收到的运动图像邮件能够被存储在分配给存储器30的缓冲器35内。之后，当累积在缓冲器35内的数据量超过预置大小时，控制器10访问存储在缓冲器35内的运动图像邮件并把音频数据及JPEG编码图像数据从该运动图像邮件中分离出来。控制器10把JPEG编码图像数据发送到图像编解码器80以及把音频数据发送到音频编解码器85。图像编解码器80把JPEG编码图像数据解码成原始的图像数据，以及图像处理器50根据显示单元60的大小调整该原始图像数据的大小并把调整了的图像数据输出到显示单元60。移动终端120的显示单元60显示所收到的运动图像邮件的图像数据。通过扬声器(未示出)再现由音频编解码器85解码的音频数据。
控制器10在每个预置时间检验累积在缓冲器35内的数据量并决定缓冲信息。控制器10生成包含该缓冲信息的接收状态消息然后把所生成的接收状态消息发送到运动图像邮件服务器180。然后，移动终端120按调整了的传输率接收运动图像邮件并重复执行所述的操作。
图10是说明用于接收和再现图9所示移动终端内的运动图像邮件信息包的部件的方框图。如图10所示的信息包分解器255、标题分析器250、开关261、263、和265以及缓冲单元270能够包括控制器10。
现在将描述图10所示的这些元件。通过RF模块23和数据处理器20处理从运动图像邮件服务器180发送的信息包数据。信息包分解器255接收处理过的信息包数据。接收到的信息包具有图4A-4E所示的格式。信息包分解器255把TCP/IP标题从收到的信息包中取出。信息包分解器255能够根据该收到的信息包的序号来顺序地处理信息包。能够用A/V比特来区别音频信息包或JPEG图像信息包。因而，信息包分解器255能够根据图3A所示的格式分解收到的信息包。
存储器30的缓冲器3 5存储从信息包分解器255输出的图3B所示的运动图像邮件。当预置大小的或更大的运动图像邮件存储在缓冲器35内时，控制器10控制缓冲器35以便能够输出该运动图像邮件。标题分析器250分析从缓冲器35输出的运动图像邮件并生成用于把JPEG图像数据和音频数据从该运动图像邮件中分离出来所需的切换控制信号。一公共端子接在开关261与存储器30之间。开关261的第一输出端子连到用于切换音频信号的开关263的一个公共端子上，并且开关261的第二输出端子连到一图像缓冲器272。设在缓冲单元270内的图像缓冲器(Img_Buf)272缓冲从开关261输出的JPEG图像数据。第一和第二音频缓冲器(Aud_Buf1和Aud_Buf2)274和276缓冲编码音频数据。用于开关263的公共端子连到开关261的第一输出端子上。开关263的第一输出端子连到第一音频缓冲器274的输入端子上，并且开关263的第二输出端子连到第二音频缓冲器276的输入端子上。此外，开关或语音输出开关265的第一输入端子连到第一音频缓冲器274的输出端子上，并且开关265的第二输入端子连到第二音频缓冲器276的输出端子上。一公共端子接在开关265与音频编解码器(或语音解码器)85之间。开关263和265受图像缓冲器272的输出的控制。因而，缓冲单元270执行分离器功能用于把音频信号和JPEG图像信号从运动图像邮件中分离出来。音频编解码器(或语音解码器)85解码从开关265输出的编码音频信号并输出解码了的音频信号。图像解码器(或图像解码器)80解码从图像缓冲器272输出的JPEG图像数据并输出解码了的图像数据。
参见图10，信息包分解器255把TCP/IP标题从接收的信息包中取出。接收信息包存储在存储器30的缓冲器35内。当预置大小的或更大的运动图像邮件存储在缓冲器35内时，控制器10访问存储在缓冲器35内的运动图像邮件然后输出所访问的运动图像邮件。之后，信息包分析器250生成用于分离缓冲器35所输出的运动图像邮件所需的切换控制信号。连续地从运动图像邮件服务器180发送的运动图像邮件的TCP/IP标题由信息包分解器255去除并且该运动图像邮件存储在缓冲器35内。
此时，下面将描述用于把JPEG图像数据和音频数据从标题分析器250内的运动图像邮件中分离出来的操作。
在第一步，读取收到邮件的第一个信息包(20字节)。在第二步，执行用“0xFFFF”屏蔽该20字节的头两个字节的操作。如果在第三步屏蔽值为“0x0000”，那么执行第四步。另一方面，如果屏蔽值是除了“0x0000”外的另一个值，那么执行下述第十步。
在第四步，当前信息包被确定为是JPEG图像数据，并且标题分析器250使该开关或A/V开关261能够被切换到接触点(6)，如图10所示。然后，在第五步，读取该20字节中的具有表示JPEG图像数据的总的大小的L值的下两个字节。在第六步，把一开关或语音输入开关263切换到接触点(1)。在第七步，连续地计算输入数据的大小并且用在第五步读取的总的大小输入的数据被连续地存储在图像缓冲器(Img_Buf)272内。在第八步，如果作为在第七步执行的计算的结果的计算值等于在第五步读取的该总的大小，那么开关261切换到接触点(5)。在第九步把输入数据读入20字节的单元并执行第二步。
在第十步，把接收的音频数据存入第一音频缓冲器(Aud_buf1)274。在第十一步，把存储在图像缓冲器272内的JPEG图像数据发送到图像编解码器(或图像解码器)80，并把开关或语音输出开关265切换到接触点(3)，并且开关263切换到接触点(2)。把存储在第一音频缓冲器274内的音频数据发送到音频编解码器(或音频解码器)85，并且收到的音频数据存储在第二音频缓冲器276。当音频数据存储在第二音频缓冲器276，开关265切换到接触点(4)并且开关263切换到接触点(1)。
在第十二步，如果要被图像编解码器80处理的JPEG图像数据剩余，那么由于确定了图像编解码80不再能够执行处理操作，因此废除该剩余的JPEG图像数据。然后，操作返回到第九步。这里，把开关263和265切换到不同于先前接触点的点上。
这里，控制器10按预定时间间隔检验累积在缓冲器35内的运动图像邮件的大小，并根据检验结果决定缓冲信息。之后，控制器10生成图8所示的包含在所决定的缓冲信息内的接收状态消息，然后把该接收状态消息发送到运动图像邮件服务器180。之后，运动图像邮件服务器180确认该包含在接收状态消息内的缓冲信息并确定通信网络的状态。根据确定结果，运动图像邮件服务器180改变传输率并按改变了的传输率发送运动图像邮件。
从上面的描述显而易见，本发明提供了使运动图像邮件服务器能够以流方式把运动图像邮件发送到移动终端，使运动图像邮件服务器能够响应按预定时间间隔从移动终端发送的接收状态信息，根据预置方法来调整要被发送的数据量的装置和方法，以使要被在移动终端内再现的运动图像信号的截止现象能够得到补偿。
尽管出于说明性目的已经公开了本发明的优选实施例，但是本领域的那些技术人员将意识到各种修改，增加和替换都是可能的，而没有脱离本发明的范围。
权利要求
1.一种使运动图像邮件服务器能够把运动图像邮件发送到移动终端的方法，包括步骤(a)当运动图像邮件已到达时，允许运动图像邮件服务器通知移动终端运动图像邮件已到达；(b)当移动终端请求发送运动图像邮件时，按预置传输率发送运动图像邮件；以及(c)检验从移动终端供给的运动图像邮件的缓冲信息，根据缓冲信息的变化设置新的传输率，根据重新设置了的传输率编辑运动图像邮件，以及执行发送操作。
2.如权利要求1所述的方法，其中设置新的传输率的步骤包括步骤通过传输率分配表确认基于移动终端所发送的缓冲信息的新传输率并设置该确认的新传输率，其中运动图像邮件服务器包括对应于缓冲信息的传输率分配表。
3.如权利要求1所述的方法，其中根据重新设置了的传输率编辑运动图像邮件的步骤包括步骤通过根据该重新设置的传输率减少图像帧的大小来执行编辑操作，以便能够实时再现图像数据。
4.一种使移动终端能够接收从运动图像邮件服务器发送的运动图像邮件的方法，包括步骤(a)当运动图像邮件服务器通知移动终端运动图像邮件已到达的时候，允许移动终端请求发送运动图像邮件；(b)从运动图像邮件服务器接收运动图像邮件，把接收的运动图像邮件存入缓冲器，再现该接收的运动图像邮件的数据，以及当累积在该缓冲器内的数据量已达到预定大小或更大时缓冲该接收的运动图像邮件的其它数据；(c)允许移动终端按预定时间间隔根据累积在该缓冲器内的数据量而生成缓冲信息，并把缓冲信息发送到运动图像邮件服务器；以及(d)重复执行根据基于该缓冲信息而重新设置的传输率来从运动图像邮件服务器接收运动图像邮件的操作，把运动图像邮件存入该缓冲器内，以及再现该运动图像邮件。
5.如权利要求4所述的方法，其中生成缓冲信息的步骤包括步骤按预定时间检验累积在该缓冲器内的数据量；以及根据累积在该缓冲器内的数据量决定缓冲信息并把所决定的缓冲信息发送到运动图像邮件服务器。
6.一种使运动图像邮件服务器能够发送，向移动终端，其中组合了图像与音频信号的运动图像邮件的方法，包括步骤(a)允许运动图像邮件服务器按预置传输率发送运动图像邮件；(b)允许移动终端缓冲接收的运动图像邮件，再现接收的运动图像邮件的数据，以及当被缓冲的数据量已达到预定大小或更大时，缓冲该接收的运动图像邮件的其它数据；(c)允许移动终端按预定时间间隔生成基于被缓冲的数据量的缓冲信息，并把缓冲信息发送到运动图像邮件服务器；以及(d)允许运动图像邮件服务器根据来自移动终端的缓冲信息重新设置传输率，根据重新设置的传输率编辑运动图像邮件，以及执行发送操作。
7.如权利要求6所述的方法，其中允许移动终端生成缓冲信息的步骤包括按预定时间检验累积在缓冲器内的数据量；以及根据累积在缓冲器内的数据量决定缓冲信息，并把所决定的缓冲信息发送到运动图像邮件服务器。
8.如权利要求6所述的方法，其中设置新的传输率的步骤包括步骤通过传输率分配表确认基于移动终端所发送的缓冲信息的新传输率并设置该确认的新传输率，其中运动图像邮件服务器包括对应于缓冲信息的传输率分配表。
9.如权利要求6所述的方法，其中根据重新设置的传输率编辑运动图像邮件的步骤包括步骤通过根据该重新设置的传输率执行对于图像帧的取出操作来执行编辑操作，以便能够实时再现图像数据。
10.一种使移动终端能够从运动图像邮件服务器接收运动图像邮件的装置，包括信息包分解器，用于从收到的运动图像邮件的信息包中取出信息包标题并分解信息包；缓冲器，用于缓冲该分解信息包的运动图像邮件；控制器，用于控制输出运动图像邮件，以及当累积在缓冲器内的数据量已达到预定大小或更大时缓冲收到的运动图像邮件，以及按预定时间间隔生成基于累积在缓冲器内的数据量的缓冲信息，并把缓冲信息发送到运动图像邮件服务器的操作；图像编解码器，用于解码从缓冲器输出的运动图像信号；以及显示单元，用于显示从图像编解码器输出的解码了的运动图像信号。
11.一种使移动终端能够从图像邮件服务器接收运动图像邮件的装置，该运动图像邮件为其中图像与音频信号被交错并组合的一个信号，包括信息包分解器，用于从收到的运动图像邮件的信息包中取出信息包标题并分解信息包；缓冲器，用于缓冲该分解的信息包的运动图像邮件；控制器，用于控制输出收到的运动图像邮件的数据以及当累积在缓冲器内的数据量已达到预定大小或更大时，缓冲收到的运动图像邮件的其它数据，以及按预定时间间隔生成基于累积在缓冲器内的数据量的缓冲信息，并把缓冲信息发送到运动图像邮件服务器的操作；标题分析器，用于分析从缓冲器输出的运动图像邮件的标题，并生成用于把图像及音频信号从该运动图像邮件中分离出来所需的控制信号；分离器，用于响应该控制信号把图像及音频信号从该运动图像邮件中分离出来；图像编解码器，用于解码从缓冲器输出的分离图像信号；显示单元，用于显示从图像编解码器输出的运动图像信号；以及音频编解码器，用于解码分离音频信号。
全文摘要
一种使运动图像邮件服务器能够向移动终端发送运动图像邮件的方法和装置。当运动图像邮件已到达时，运动图像邮件服务器通知移动终端运动图像邮件已到达。当移动终端请求发送运动图像邮件时，按预置传输率发送运动图像邮件。检验移动终端所供给的该运动图像邮件的缓冲信息，根据缓冲信息的变化设置新的传输率。根据重新设置的传输率编辑该运动图像邮件，以及完成传送操作。
文档编号H04M3/42GK1512424SQ200310123530
公开日2004年7月14日 申请日期2003年12月26日 优先权日2002年12月28日
发明者徐正旭, 林采焕 申请人:三星电子株式会社