发送装置、发送方法和接收装置的制作方法

专利名称：发送装置、发送方法和接收装置的制作方法
技术领域：
本发明涉及通信系统中使用的发送装置、发送方法和接收装置，其中 发送装置和接收终端设备通过例如IP通信网络连接到该通信系统。
背景技术：
近年来，除常见的下载传送系统之外，作为因特网数据传送系统的流
式传送(stream transfer)服务也越来越多地被使用。在下载传送系统中， 作为数据文件的视频文件和音频文件从递送服务器被临时下载到接收终端 设备，随后这些文件被再现。因此，在该系统中，在完全传送完文件之前 难以再现它们。结果，这种系统不适于长时间再现、实时再现等等。在流 式传送系统中，在正从发送方向接收终端设备传送数据的同时，由于可以 再现所接收的数据，所以流式传送系统已被用于诸如因特网电话、远程 TV会议、视频点播服务等等之类的因特网服务。
作为这种流式传送型因特网技术，已知有在因特网工程任务组请求注 释(IETF RFC) 1889中创建的实时传输协议(RTP)。在根据RTP传送 数据时，时间信息作为时间戳被添加到数据。时间戳允许获得发送方和接 收方之间的时间关系。结果，可以在不受分组的延迟变动(抖动)影响的 情况下同步再现分组。
然而，RTP不确保实时数据传送。由于RTP所提供的传输服务不包括 分组递送的优先级、指派、管理等等，所以与其他类型的分组类似，RTP 分组也具有发生递送延迟和分组丢失的风险。具体而言，当错误发生在有 线区域中超过每105—次和在无线区域中超过每103—次时，如果根据 RTP传送分组，则由于它们的可靠性下降，难以维持递送媒体的质量。
因此，可以使用这样一种技术，该技术利用RTP分组的顺序号检测丢 失的分组、利用自动重复请求(ARQ)向发送方发送重传请求、从而使发送方重传所丢失的分组。另外，还知道另一种技术，该技术根据可靠性较 高的传输控制协议(TCP)发布重传请求从而使发送方重传所丢失的分 组。然而，尽管TCP具有差错抵抗力，但是它的吞吐量较小并且延迟较 大。因此，即使重传了丢失的分组，也可能不能及时再现它们。
另外，还知道一种纠错技术，即前向纠错(FEC)。在该技术中，冗 余地发送FEC数据以用于纠错。如果发生了差错，就利用FEC数据对其 进行纠正。与前述ARQ技术相比，由于不重传数据所以FEC技术可以縮 短延迟时间。然而，由于添加了冗余数据，所以如果传输路径丢失分组较 少，则吞吐量将减小。另外，由于FEC技术使接收终端设备方执行复杂的 差错检测和编码处理，所以媒体质量依赖于接收终端设备方的处理性能。 因此，由于难以根据网络状况和接收终端设备简单地决定最优添加FEC数 据，所以FEC技术存在处理时间开销的问题。
前述技术是分组丢失对策和差错对策的示例。此外，还知道防止导致 分组丢失的网络拥塞的技术。另外，作为用于无差错对策地传送分组的技 术，还知道用于控制传送速率的技术和用于控制运动图像的帧速率的技 术。换言之，当发送终端设备方传送一运动图像时，如果网络状况恶化， 则该发送终端设备方以比常规传送速率低的速率发送运动图像，以降低分 组丢失和分组延迟发生的机会。在流式传输系统中，单独或者组合使用这 些差错对策和速率控制。
例如，日本专利申请早期公开No. 2005-136548 (专利文献l)公开了 一种技术，用于获得通信网络的发送状态，基于该发送状态使发送分组的 发送速率增大、减小或者维持发送速率，在发出了重传请求时使重传分组 被重传。

发明内容
可以仅对发送方(服务器)进行控制来有利地执行专利文献1中所述 的速率控制。然而，当发送诸如运动图像之类的多媒体数据的发送速率降 低了时，再现质量将恶化。尽管有许多算法用于提高运动图像的质量，但 是只有数种技术用于提高分辨率和图像质量。另外，这些技术是要用于诸如盘介质之类的存储类型介质，而不根据网络的环境和接收终端设备的计 算性能动态改变分辨率和图像质量。
考虑到此，希望提供一种发送装置、发送方法和接收装置，根据网络
状况好还是坏以及施加到接收终端设备中执行升级(upscaling)的处理装
置上的负载的水平对要发送的图像数据的分辨率进行控制。
根据本发明的一个实施例，提供了一种发送装置，其包括缓冲存储 器、发送部件、通信部件和控制部件。该缓冲存储器存储作为要发送的图 像数据的第一图像数据和第二图像数据。该第二图像数据的分辨率比第一 图像数据的分辨率高。发送部件将第一图像数据或第二图像数据作为流式 数据发送。通信部件从接收终端设备接收一控制消息，该控制消息表示网 络状况和施加到接收终端设备中的用于执行升级的处理装置上的负载的水 平。控制部件在控制消息表明网络状况坏时发送第一图像数据，在控制消 息表明网络状况好时发送第一图像数据或第二图像数据，而在控制消息表 明网络状况好并且施加到处理装置上的负载的水平较高时控制接收终端设 备不执行升级。
控制部件优选在控制消息表明所述网络状况好并且施加到处理装置上 的负载水平较低时，控制接收终端设备来执行用于不改变所接收到的图像 数据的分辨率的处理或者用于执行升级的处理。
对控制消息的答复优选地包含指定由接收终端设备执行的处理的信息。
优选提供了多种升级算法，并且取决于升级算法中被使用的升级算 法，施加到处理装置上的负载的水平被改变。
根据本发明的一个实施例，提供了一种发送方法。作为要发送的图像 数据的第一图像数据和第二图像数据被存储。该第二图像数据的分辨率比 第一图像数据的分辨率高。第一图像数据或第二图像数据作为流式数据被 发送。从接收终端设备接收一控制消息，该控制消息表示网络状况和施加 到该接收终端设备中的用于执行升级的处理装置上的负载的水平。在控制 消息表明网络状况坏时发送第一图像数据。在控制消息表明网络状况好时 发送第一图像数据或第二图像数据。而在控制消息表明网络状况好并且施
6加到处理装置上的负载水平较高时控制接收终端设备不执行升级。
根据本发明的一个实施例，提供了一种接收装置，其包括缓冲存储 器、监视器和控制部件。缓冲存储器接收作为流式数据的第一图像数据或 第二图像数据，该第二图像数据的分辨率比第一图像数据的分辨率高。监 视器监视施加到用于执行从第一图像数据到第二图像数据的升级的处理装 置上的负载的水平。控制部件在第一图像数据被接收到并且施加到处理装 置上的负载的水平较高时使得不执行升级。
根据本发明的一个实施例，通过根据网络状况降低要发送的图像的分 辨率从而降低实时递送或者流式递送中的比特率可以解决前述现有技术的 问题，从而可以平滑地传送数据。另外，通过升级接收到的运动图像，可 以以较高的质量再现该图像。
根据本发明的一个实施例，通过根据施加到再现装置中执行升级的处 理装置上的负载水平来估计能够再现的运动图像的分辨率，可以稳定地再 现并且以再现装置的最高质量服务运动图像。
根据本发明的一个实施例，接收方测量网络状况、基于测量出的网络 状况估计可用分辨率、并通知发送终端设备，使得灵活应对不保证服务质
量(QoS)的网络。
结合下面对如附图所示的本发明的最佳实施例的详细说明，本发明的 这些和其他目的、特征和优点将变清楚。


图1是示出了根据本发明实施例的通信系统的框图； 图2是示出了根据本发明实施例的通信系统的功能框图； 图3是示出了根据本发明实施例的发送装置的操作的流程的流程图； 图4是示出了根据本发明实施例的接收终端设备的操作的流程的流程 图；以及
图5A-5C是示出了根据本发明实施例的发送装置的控制的示例的示意图。
具体实施例方式
下面，将参考附图描述本发明的优选实施例。尽管下面将描述的这些 实施例是本发明的优选实施例，并且对它们施加了各种在技术上优选的限 制，但是应当理解除非说明了这些实施例对本发明施加了限制之外本发明 的范围不受限于这些实施例。
根据本发明一个实施例，使用了一种流式传送系统。在该系统中，接 收装置从发送装置接收数据，并且再现基于所接收的数据的图像和声音。 在该流式传送系统中，从发送装置发送的数据一般称作流式数据
(streaming data)。更具体而言，通过对图像数据应用运动图像专家组 (MPEG)编码处理而生成的MPEG流被置于因特网协议(IP)分组中。 这些IP分组通过因特网被传送。
本发明一个实施例具有图1所示的系统结构。换言之，多个接收终端 设备200通过通信网络(例如IP网络300)被连接到发送装置100。 IP网 络300是利用IP的网络(因特网、有线局域网(LAN)、无线LAN 等)。发送装置100用作服务器，而接收终端设备200用作客户端。接收 终端设备200包括个人计算机、个人数字助理(PDA)、移动电话等等。 这种通信系统在发送装置100和接收终端设备200之间传输作为分组的数 据。接收终端设备200陆续再现所接收到的分组(流式再现)。
发送装置IOO通过接口 103把由摄录机(recorder-integrated video camera) 101和麦克风102所获得的视频数据和音频数据(在下文中这些 类型的内容数据总称为媒体数据，然而，经压缩编码的视频数据和音频数 据也称作媒体数据，除非有必要区分它们)输入到总线104。媒体数据作 为流式数据通过IP网络300被发送到接收终端设备200。该流式数据是随 时间流逝被流式再现并陆续发送或接收的数据。
连接到总线104的有中央处理单元(CPU) 105、只读存储器 (ROM) 106、随机存取存储器(RAM) 107和外部存储装置108。 CPU 105根据存储在ROM 106或者外部存储装置108中的程序执行各种类型的 处理。RAM 107存储程序和数据，使得CPU 105利用所述数据来执行程 序。连接到发送装置100中的总线104的还有输入装置109 (包括键盘、 鼠标、开关等等)、作为监视器的显示装置110、以及通信接口 111。 CPU 105根据从输入装置109输入的命令来执行各种类型的处理。外部存 储装置108包括例如硬盘驱动器，并且记录程序和各种类型的数据，使得 CPU 105利用所述数据来执行程序。例如，要发送的媒体数据预先被存储 在外部存储装置108中。通信接口 111通过IP网络300与接收终端设备 200通信。
与连接到发送装置100的那些类似，通过总线204连接到接收终端设 备200的有CPU 205、 ROM 206、 RAM 207、外部存储装置208、输入装 置209、作为监视器的显示装置210、以及通信接口 211。接收终端设备 200通过通信接口 211和IP网络300与发送装置IOO通信。另外，接收终 端设备200包括再现诸如音频数据之类的媒体数据的音频再现装置212和 再现视频数据的显示装置213。
在图l所示的系统中，发送装置IOO通过接口 103将由摄录机101和 麦克风102所获得的媒体数据存储到RAM 107中。媒体数据可以预先被 存储到RAM 107中。利用CPU 105的处理该媒体数据被转换成流式数 据，流式数据通过通信接口 111被传送到IP网络300。在该情形中，如后 面将描述，根据网络环境好坏以及施加到接收终端设备200的处理负载水 平，对发送的媒体数据(图像数据)的分辨率进行控制。例如，高分辨率 (清晰度)(下文简称为HD)图像数据或者标准分辨率(清晰度)(下 文简称为SD)的图像数据被发送。
SD图像是由例如460X480个像素(水平像素数X垂直像素数)构成 的图像(视频图形阵列(VGA))。另一方面，HD图像是由例如1080i、 720p、 1080p等构成的图像。HD图像由(扫描线数、逐行(p)或隔行 (i))表示。例如，1080p表示扫描系统是逐行的，并且水平扫描线数乘 以垂直扫描线数是1920X1080。除了前述HD图像的格式之外，还有包括 扩展图形阵列(XGA)格式(1024X768像素)在内的其他格式。根据本 发明实施例，可以使用前述格式的HD图像中的任意一种。
接收终端设备200通过通信接口 211接收从发送装置100发送来的流式数据，并且将接收到的流式数据存储到作为缓冲存储器的RAM 207 中。CPU 205执行再现处理。显示装置213显示图像，并且音频再现装置 212再现声音。
当接收终端设备200已接收到的接收媒体数据是SD图像数据时，不 仅可以再现该SD图像数据，而且将该SD图像数据升级为HD图像数据。 如上所述，存在多种HD图像格式。接收终端设备200可以将SD图像升 级成根据多种HD图像格式中的一种的HD图像，或者将SD图像升级成 根据宽高比例如为4:3的另一种HD图像格式的HD图像。可以利用由多 个CPU完成并且在"PLAYSTATION 3"(索尼公司的注册商标)中实现 的图像处理方法来将SD图像升级成HD图像。
图2是示出了根据本发明实施例的系统结构的功能框图。在发送装置 100中，编码器11对由摄录机101和麦克风102获得的媒体数据进行压縮 编码，编码器11是利用图1中示出的CPU 105、 ROM 106和RAM 107的 软件处理实现的。视频数据根据运动图像专家组第2阶段(MPEG2)、高 级视频编码(AVC) (H.246) 、 MPEG4等被压縮，而音频数据根据高级 音频编码(AAA) 、 MPEG音频等被压縮。
摄录机101和麦克风102将实时获得的媒体数据提供给发送装置100 的编码器11。从编码器11输出的经编码数据被存储到缓冲存储器12 (对 应于图1中所示的RAM 107)。替代实时数据，可以发送存储部件(例如 与图1中所示的外部存储装置108相对应的硬盘驱动器、盘记录和再现部 件等)中存储的经压縮的媒体数据。存储部件13中存储的再现数据被提 供给缓冲存储器12。
缓冲存储器12中存储的媒体数据被提供给发送部件14 (对应于图1 中所示的通信接口 111)。发送部件14生成作为一系列分组的流式数据。 这些流式数据被从发送部件14发送到IP网络300。发送部件14具有将实 时获得的媒体数据或者存储在存储部件13中的媒体数据作为流式数据发 送的机构。 一般来说，发送部件14根据从接收终端发送来的请求开始发 送流式数据。或者，发送方可以将流式数据发送给多个接收终端设备(称 作多播)。另外，发送装置100具有接收部件15 (对应于图1中所示的通信接口
111)。接收部件15通过IP网络300从接收终端设备200接收表示网络环 境好坏的信息和表示施加到构成接收终端设备200的升级处理部件的CPU 上的负载的水平的信息(称作控制消息)。由接收部件15接收到的控制 消息被提供给控制部件16 (对应于图1中所示的CPU105)。控制部件16 根据该控制消息对编码器11和存储部件13进行控制，从而改变作为所发 送的流式数据的运动图像的分辨率。
例如，控制部件16控制编码器11的压縮比率。SD图像和HD图像之 一被从编码器11输出。当HD图像存储在存储部件13中并且控制部件16 使存储部件13输出SD图像时，存储部件13输出由HD图像降级成的SD 图像。或者，存储部件13可以预先存储SD图像质量内容。
接收终端设备200的接收部件21 (对应于图1所示的通信接口 211) 通过IP网络300从发送装置100接收流式数据。接收部件21将该流式数 据转换成媒体数据。该媒体数据被提供给分组分析部件22 (对应于图l所 示的CPU 205和RAM 207)。分组分析部件22对分组丢失的程度等进行 分析。所接收到的媒体数据被存储到缓冲存储器23 (对应于图1所示的 RAM 207)中。
媒体数据被从缓冲存储器23提供给解码器24。解码器24对该媒体数 据解压縮。解码器24是利用图1中所示的CPU 205、 ROM 206和 RAM207执行的软件处理实现的。从解码器提供来的媒体数据被连接到接 收终端设备200的显示装置213和音频再现装置212再现。与解码器24连 接设置有升级引擎27。升级引擎27利用CPU、 ROM和RAM的软件处理 对图像进行升级。
升级引擎27执行将低分辨率图像(例如SD图像)转换成高分辨率图 像(例如HD图像)的软件处理。升级引擎27根据施加到接收终端设备 200的CPU的负载水平、用户的指定等等来执行升级处理。设置了对施加 到构成升级引擎27的CPU上的负载水平进行监视的CPU监视器28。 CPU监视器28对施加到构成升级引擎27的CPU上的负载水平进行监 视，并且将代表该负载水平的信息提供给控制部件25。 CPU监视器28测
ii量CPU的计算负载量，艮卩，CPU的计算负载比率。例如，如果存在多种 升级技术，则施加到CPU上的负载的水平取决于所使用的升级技术。如果
升级引擎27由多个CPU构成，则可以检测CPU的数目来作为施加到其上 的负载的水平。
另外，与接收终端设备200的接收部件21相连接地设置有网络监视 器26。网络监视器26监视负载丢失、抖动等等，来判断网络环境是好还 是坏。网络监视器26根据所接收数据的分组丢失和延迟状态来了解网络 环境，并将代表网络环境的信息提供给控制部件25。控制部件25通过发 送部件29将一请求作为控制消息发送给发送装置100，来使发送装置100 根据网络环境改变比特率。如果网络环境坏，则执行降低比特率的处理 (例如，发送SD图像)。如果网络环境好，则执行增大比特率的处理 (例如，发送HD图像)。
控制部件25从网络监视器26接收表示网络环境好坏的信息并从升级 引擎27接收代表施加到CPU上的负载水平的信息，并根据这些信息来生 成控制消息。所生成的控制消息通过IP网络300被从发送部件29发送到 发送装置100的接收部件15。
控制部件25将控制消息发送到发送装置100，请求它发送接收终端设 备200认为它可以正常接收的低分辨率数据。结果，可以降低发送数据的 量，从而可以在没有丢失的情况下将数据递送到接收终端。如果施加到接 收终端设备方的计算负载的水平较低，则可以升级低分辨率的SD图像来 生成高分辨率的HD图像。相反，如果计算负载的水平较高，则判断出难 以升级低分辨率的SD图像，从而在不升级的情况下再现该低分辨率SD 图像。或者，根据计算量相对较小的算法来升级低分辨率SD图像。执行 升级的定时可由接收终端设备自由指定。例如，在接收终端设备200接收 到对控制消息的答复ACK时可以执行升级。
接收终端设备200发送给发送装置100的控制消息包含例如以下信息。
1)关于网络状况 -分组丢失率-抖动
-链路速度
2) CPU计算负载
-CPU负载比率(％)
-关于是否可以执行升级的判断
在发送或接收数据的同时，控制消息被周期性地发送。例如，按照例
如10秒的间隔发送监视结果。或者，可以仅在最初发送数据时才发送控 制消息。当发送装置100已正确地接收了控制消息时，发送装置100向接 收终端设备200发送接收响应(ACK)。
图3示出了发送装置100的操作的流程。在步骤Sl，完成发送启动准 备。在步骤S2，获得要发送的媒体数据。该数据是从摄录机101实时获得 的或者从存储部件13获得的。
在步骤S3，判断是否使编码器11编码数据。这种编码意指将HD分 辨率转换成SD分辨率的处理。后面将讨论，发送装置100根据控制消息 的旨意来指定要发送的媒体数据的分辨率。当判断结果表明没有必要编码 时，流程前进到步骤S4。在步骤S4，准备好发送数据。当判断结果表明 有必要编码时，流程前进到步骤S5。在步骤S5，执行编码(将HD分辨 率转换成SD分辨率)。当要发送的媒体数据是从摄录机101获得的数据 时，判断结果表明有必要压縮编码。当要发送的媒体数据是存储部件13 中存储的数据时，判断结果表明没有必要编码。
当己准备好发送数据时(在步骤S4)，媒体数据被存储到缓冲存储器 12中并且被置于分组中。在步骤S6，发送由分组构成的流式数据。
在步骤S7，判断是否接收到了控制消息。在尚未接收到控制消息时， 流程返回到步骤S2 (获得数据)。当接收到了控制消息时，流程前进到步 骤S8。在步骤S8，将所接收到的控制消息提供给控制部件16，随后发送 回一答复ACK。此后，流程返回到步骤S2 (获得数据)。控制消息包含 表示施加到构成接收终端设备200的升级引擎的CPU上的负载水平是高还 是低的信息和表示网络环境好坏的信息。
图4示出了接收终端设备200的操作的流程。在步骤Sll，从发送装置100接收到发送启动通知。在步骤S12，接收到分组。
在步骤S13,判断是否有必要解压縮解码。在判断结果表明没有必要 解码时，流程前进到步骤S14。在步骤S14,判断是否有必要升级。当在 步骤S13中的判断结果表明有必要解码时，流程前进到步骤S15。在步骤 S15，执行解码处理。
当在步骤S14中的判断结果表明没有必要升级时，流程前进到步骤 S16。在步骤S16，再现已接收到的媒体数据。当在步骤S14中的判断结果 表明有必要升级时，流程前进到步骤S17。在步骤S17，执行升级。换言 之，SD图像被转换成HD图像。在步骤S16，再现已被升级的HD图像。
是否执行升级是基于从发送装置100接收到的命令或者施加到接收终 端设备200的CPU的负载的水平来判断的。例如，当施加到CPU的负载 水平较高时，即使有必要升级，也不执行升级。在该情形中，确定没有必 要升级。另外，在用户未指定升级时，判断没有必要执行升级。
当在步骤S21中接收终端设备200已接收到分组时，在步骤S22中网 络监视器26获得表示网络状况环境的信息，并且在步骤S25中CPU监视 器28获得表示施加到升级引擎27的CPU上的负载水平的信息。在步骤 S23，创建一控制消息，该控制消息包含表示网络环境的状况的信息和表 示施加到CPU的负载水平的信息。在步骤S24，该控制消息被从发送部件 29发送到发送装置100。
接下来，将描述本发明的一个实施例。发送装置100的控制部件16 基于从接收终端设备200发送来的控制消息改变要发送的运动图像的分辨 率。接收终端设备200获得所接收的运动图像的分辨率，并基于由CPU监 视器28所检测出的施加到CPU上的负载水平对该运动图像进行升级。在 需要时，接收终端设备200不升级该运动图像。另外，由于在每种算法中 计算处理的负载水平不同，所以算法也被改变。
图5A-5C中所示的控制表中列出了这些处理的示例。在该示例中，将 分辨率分类成SD和HD两种级别。或者，也可以将分辨率分类成更精细 的级别。另外，也可以将网络状况分类成更精细的状态。
或者，发送装置IOO可以不指定接收终端设备200执行的处理。换言
14之，接收终端设备方可以根据网络环境来动态判断是否有必要升级，并且 即使发送方未改变分辨率也对运动图像进行升级。
在图5A至5C中示出的示例中，如图5A所示，处理基于从接收终端 设备200接收到的控制消息中包含的信息而被执行，该信息表示网络环境 的好坏并表示施加到接收终端设备的CPU的负载水平的高低。图5A中的 "a"表示发送数据的图像分辨率为SD，如图5B所示。图5B中的"b" 表示发送数据的图像分辨率为HD，如图5B所示。图5A中的"1"表示 接收终端设备以SD图像质量再现数据，如图5C所示。图5A中的"2" 表示接收终端设备将SD图像质量升级成HD图像质量，如图5C所示。图 5A中的"3"表示接收终端设备以HD图像质量再现数据，如图5C所
不o
接下来，将描述图5A中示出的表格中的各个处理。
如果网络环境坏并且施加到接收终端的负载水平较高，贝ij: a-l (发送 SD图像。接收终端设备以SD图像质量再现该SD图像。)
如果网络环境坏并且施加到接收终端设备的负载水平较低，贝ij: a-2 (发送SD图像。接收终端设备将该SD图像升级成HD图像)。
如果网络环境好并且施加到接收终端设备的负载水平较高，贝U:在 SD图像被发送时，不执行升级。优选地，发送装置将HD图像发送给接收 终端设备，随后接收终端设备以HD图像质量再现该HD图像。(然而， 如果媒体数据是SD图像或者网络环境不适于发送HD图像，则可以将SD 图像发送到接收终端设备，接收终端设备可以再现该SD图像。)
如果网络环境好并且施加到接收终端设备的负载水平较低，贝U:接收 终端设备可以执行三种处理之一。优选地，发送终端设备发送HD图像， 并且接收终端设备再现该HD图像。然而，如果网络环境受限制并且媒体 数据是SD图像，则接收终端设备将该SD图像升级成HD图像。另外，在 用户已指定了 SD图像质量时，发送装置发送SD图像。
接下来，将描述发送装置100和接收终端设备200的控制处理的示 例。假设在正发送和接收HD分辨率数据时网络环境变坏。在该情形中， 按照以下顺序执行控制处理。1) 发送装置100将HD分辨率数据发送到接收终端设备200。
2) 接收终端设备200解码该HD分辨率数据并再现解码后的数据。
3) 接收终端设备200检测到网络状况正变坏并向发送装置100发送 一控制消息。此刻，发送了表明例如"分组丢失率5%， CPU负载比率30 %"的控制消息。
4) 发送装置100接收到该控制消息，并将发送数据的HD分辨率改变 到SD分辨率。
5) 发送装置100向接收终端设备200发送一答复ACK，该答复ACK 表明发送装置100已改变与该控制消息相对应的分辨率。
6) 当接收终端设备200从发送装置100接收到与该控制消息相对应 的答复ACK时，如果CPU负载比率为30X，则接收终端设备200判断出 能执行升级，随后升级SD分辨率数据、并再现经升级的数据。
7) 在执行前述处理的同时，如果网络状况转好，则发送装置100将 原始HD分辨率的数据发送到接收终端设备200。
本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行 各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物 的范围之内。例如，发送装置可以将从另一服务器等接收到的流式数据等 等中继到接收终端设备。或者，发送装置可以将由接收终端设备接收到的 低分辨率图像数据升级，并将经升级的图像数据发送给另一接收终端设 备。另外，根据本发明的该实施例，可以根据是否执行了升级并通过选择 算法，来区分低比特率运动图像递送服务的质量。因此，可以创建基于费 用区分服务的商业模型。
本申请包含与2008年5月30日向日本专利局提交的日本在先专利申 请JP 2008-142724相关的主题，这里通过引用将该申请的全部内容并入。
权利要求
1.一种发送装置，包括缓冲存储器，该缓冲存储器存储作为要发送的图像数据的第一图像数据和第二图像数据，所述第二图像数据的分辨率比所述第一图像数据的分辨率高；发送部件，该发送部件将所述第一图像数据或所述第二图像数据作为流式数据发送；通信部件，该通信部件从接收终端设备接收一控制消息，该控制消息表示网络状况和施加到所述接收终端设备中的用于执行升级的处理装置上的负载的水平；以及控制部件，该控制部件在所述控制消息表明所述网络状况坏时发送所述第一图像数据，在所述控制消息表明所述网络状况好时发送所述第一图像数据或所述第二图像数据，而在所述控制消息表明所述网络状况好并且施加到所述处理装置上的负载的水平较高时控制所述接收终端设备不执行所述升级。
2. 如权利要求1所述的发送装置，其中所述控制部件在所述控制消息表明所述网络状况好并且施加到所 述处理装置上的负载的水平较低时，控制所述接收终端设备来执行不改变 所接收到的图像数据的分辨率的处理或者执行用于执行所述升级的处理。
3. 如权利要求1所述的发送装置，其中对所述控制消息的答复包含指定由所述接收终端设备执行的处理 的信息。
4. 如权利要求1所述的发送装置，其中提供了多种升级算法，并且取决于所述升级算法中被使用的升级 算法，施加到所述处理装置上的负载的水平被改变。
5. —种发送方法，包括以下步骤存储作为要发送的图像数据的第一图像数据和第二图像数据并将所述 第一图像数据或所述第二图像数据作为流式数据发送，其中所述第二图像数据的分辨率比所述第一图像数据的分辨率高；从接收终端设备接收一控制消息，该控制消息表示网络状况和施加到所述接收终端设备中的用于执行升级的处理装置上的负载的水平；以及在所述控制消息表明所述网络状况坏时发送所述第一图像数据，在所 述控制消息表明所述网络状况好时发送所述第一图像数据或所述第二图像 数据，而在所述控制消息表明所述网络状况好并且施加到所述处理装置上 的负载的水平较高时控制所述接收终端设备不执行所述升级。
6.—种接收装置，包括缓冲存储器，该缓冲存储器接收作为流式数据的第一图像数据或第二图像数据，所述第二图像数据的分辨率比所述第一图像数据的分辨率高； 监视器，该监视器监视施加到用于执行从所述第一图像数据到所述第二图像数据的升级的处理装置上的负载的水平；以及控制部件，该控制部件在所述第一图像数据被接收到并且施加到所述处理装置上的负载的水平较高时使得不执行所述升级。
全文摘要
本发明提供了发送装置、发送方法和接收装置。缓冲存储器存储作为要发送的图像数据的第一图像数据和第二图像数据，第二图像数据的分辨率比第一图像数据的分辨率高。发送部件将第一图像数据或第二图像数据作为流式数据发送。通信部件从接收终端设备接收一控制消息，该控制消息表示网络状况和施加到接收终端设备中执行升级的处理装置上的负载水平。控制部件在控制消息表明网络状况坏时发送第一图像数据，在控制消息表明网络状况好时发送第一图像数据或第二图像数据，而在控制消息表明网络状况好并且施加到处理装置上的负载水平较高时控制接收终端设备不执行升级。
文档编号H04L1/00GK101594203SQ20091014132
公开日2009年12月2日 申请日期2009年5月31日 优先权日2008年5月30日
发明者河野道成 申请人:索尼株式会社