专利名称：发送装置和发送方法
技术领域：
本发明涉及用于无线发送(transmit)图像数据的发送装置和发送方法。
技术背景
在无线发送压缩编码的图像数据的系统中，发送装置基于由于通信环境的改变 而随时间改变的通信质量来控制传输率(transmission rate)。换句话说，在通信质量 高时，发送装置升高传输率，在通信质量低时，发送装置降低传输率。作为检测由于通信 环境的改变而改变的通信质量的方法，存在一种根据接收无线电波的电场强度、误码率 和基于误码率的重发送请求计数来检测通信状态的方法(例如，参见已公开的日本专利 申请No. 2004-343726(第
段))。此外，为了抑制缓冲器上溢(overflow)和下溢 (underflow)，发送装置与该传输率一起控制作为编码器每单位时间内所产生的编码量的 图像传输率。
例如，已公开的日本专利申请No. 2007-194706(第W005]段)公开了一种无线通 信系统，其通过基于可能由于多路径而引起误差的无线电波传播环境来变化视频和图像数 据的压缩比、随该压缩比一起改变符号率(时钟频率)、并将由于多路径引起的传播路径差 设置为落在如下范围内来执行通信，在该范围中，该传播路径差不会变为误差。发明内容
然而，在无线通信质量频繁改变的环境中，发送装置的图像传输率频繁切换。在 此情况下，在切换图像传输率时，在接收装置侧的显示图像的亮度和色度频繁改变，其结果 是，在观看者观看图像时，图像可能会闪烁，并且主观的(subjective)图像质量可能恶化。
此外，在引入了称为波束形成的技术(利用这种技术可以在使波束的方向性变窄 之后控制波束的方向，使得无线电波有效到达接收侧)或使用了具有高线性的、例如60GHz 的高带宽无线电波的情况下，由于一细微的原因，通信质量波动，并且由于显示图像的闪烁 引起的主观图像质量的恶化变得显著。当在室内保持发送装置和接收装置之间的无线发送 时，取决于装置间的位置关系，无线电波的路径将包括房间内的墙壁、家具、窗户等的反射。 在此情况下，由于诸如人在室内的移动或窗帘被风吹动之类的稍微改变，该路径改变而不 经意地改变通信质量。此外，即便没有移动的物体，如果存在多个在其中可以获得相等水平 的无线电波强度的路径，则频繁切换路径由此使通信质量不稳定。
此外，可以采用通过在接收侧尽可能安装缓冲器来避免伴随无线通信状态的波动 的信道容量的波动的影响的技术。然而，在此情况下，需要大容量的接收缓冲器。考虑到从 诸如游戏机的需要实时响应的装置上无线发送高图像质量的图像数据，由于更少的发送延 迟是重要的，并且不能够提供大量的接收缓冲器，因此，无线状态的波动极大地影响了通信 质量。
鉴于上述的情况，存在对于能够抑制伴随图像传输率的改变的在接收侧的显示图 像的闪烁并由此改善主观的图像质量的发送装置和发送方法的需要。
根据本发明的一个实施例，提供了一种发送装置，包括编码部分，用于对图像数 据编码，并能够控制所产生的代码量；发送部分，用于无线发送编码的图像数据；以及控制 部分，用于检测所述编码的图像数据的无线发送的质量，并基于所检测的质量来控制作为 所述发送部分每单位时间的发送代码量的无线传输率和作为所述编码部分每单位时间产 生的代码量的图像传输率，所述图像传输率在被降低时被控制在第一响应时间内，并在被 提高时被控制在比所述第一响应时间更长的第二响应时间内。
根据本发明的实施例，在降低图像传输率时，控制部分将图像传输率控制在第一 响应时间内，在提高图像传输率时，控制部分将图像传输率控制在比第一响应时间更长的 第二响应时间内。因此，能够抑制在接收侧的显示图像中的伴随着图像传输率的频繁改变 的图像闪烁，并能够改善主观图像质量。
更具体地，在所述无线传输率高于所述图像传输率的时段已经持续了某个时段的 时间点处，所述控制部分将所述编码部分的图像传输率控制为提高。此外，当提高所述图像 传输率时，每次经过所述某个时段，控制部分将图像传输率朝向当前的图像传输率逐步提 高。利用此结构，可以另外抑制在切换图像传输率时观看者所观看到的图像的闪烁。此外， 由于使用低的图像传输率的时间变得短得多，因此可以抑制主观图像质量的恶化。
考虑到人的视觉对瞬时对比度改变和色度改变的响应性，所述某个时段期望是 0. 3秒到1秒。这样，可以另外抑制图像的闪烁。
根据本发明的实施例，能够抑制伴随图像传输率的改变的、在接收侧的显示图像 的闪烁，并因此改善主观图像质量。
如附图所示，根据下面对本发明的最佳模式实施例的详细描述，本发明的这些的 和其他目标、特征和优点将会变得更加清楚。
图1是示出根据本发明的一个实施例的无线发送系统的结构的图。
图2是示出根据本发明的实施例的无线发送系统中的无线发送的顺序图。
图3A-3C是用于将图像传输率的改变的状态与现有技术相比较的图。
图4是示出计算图像传输率的算法的流程图。
图5是示出计算图像传输率的另一算法的流程图。
图6是对视觉对比度的时间频率响应性的曲线图。
图7是对视觉色度改变的时间频率响应性的曲线图。
具体实施方式
下文中，将参照附图详细描述本发明的实施例。
(无线发送系统的结构)
图1是示出根据本发明的实施例的无线发送系统的结构的图。
如图所示，无线发送系统1由发送装置10和接收装置20构成。发送装置10是对 图像和音频数据压缩编码、将数据调制成适合于无线发送的格式、并使用天线(未示出)来 发送所调制的数据的装置。接收装置20是接收从发送装置10无线发送的信号、通过解调和 解码将信号恢复为原始图像和音频、并将该数据作为可见图像和可听声音而输出的装置。
在此，例如，将接收装置20提供为电视接收机。例如，将发送装置10提供为经由 诸如调谐器和外部媒体(media)播放器的各种传输媒体选择性地获取图像和音频并将它 们无线发送到诸如电视接收机的接收装置20的媒体接收机。利用此系统结构配置，可以实 现其中去除了诸如调谐器和媒体驱动器的内置器件的紧凑轻便的电视接收机、以及没有引 出配线的智能电视接收机。
再参考图1，将描述发送装置10和接收装置20的结构。
发送装置10包括调谐器11、解码器12、HDMI (高清晰度多媒体接口 )部分13、RGB 输入部分14、视频处理器15、无线发送部分16和主控制器17。
调谐器11接收例如陆地数字广播、BS数字广播和CS数字广播的各种数字广播信 号。解码器12从由调谐器11接收的广播信号中分离图像、音频和其它数据，并对它们解码。 HDMI部分13是用于从诸如能够再现如像DVD (数字通用盘)和BD (蓝光盘)的各种媒体的 媒体播放器和游戏机的源装置接纳图像和音频的数字数据的端子。RGB输入部分14是用于 从外部装置接纳图像的RGB数据的端子。
视频处理器15从解码器12、HDMI部分13和RGB输入部分14的输出中选择数据， 并将该数据提供给无线发送部分16。无线发送部分16包括视频编码器161，其对从视频 处理器15提供的图像数据压缩编码；发送部分162，其将由视频编码器161编码的图像数 据调制成适合于无线发送的格式，并发送所调制的数据；以及发送控制部分163，其控制视 频编码器161和发送部分162。应当注意，虽然发送装置10实际包括实行用于无线发送音 频数据的处理的部分，但是，在此省略了其图示和描述。主控制器17总体上控制发送装置 10的各个部分。
接收装置20包括无线接收部分21、缓冲器22、视频处理器23、监视器M和主控制 25 ο
无线接收部分21包括接收部分211，其通过接收和解调从发送装置10无线发送 的图像数据来恢复被压缩编码的图像数据；视频解码器212，其解码被压缩编码的图像数 据；以及接收控制部分213，其控制接收部分211和视频解码器212。应当注意，虽然接收装 置20实际包括实行用于无线接收音频数据的处理的部分，但是在此省略了其图示和描述。 缓冲器22暂时存储从视频解码器212输出的图像数据等。视频处理器23读出存储在缓冲 器22中的图像数据，将其转换成显示数据等，并将该数据提供给监视器24。主控制器25总 体上控制接收装置20的各个部分。
(无线发送系统1的操作)
接下来，将描述本实施例的无线发送系统1的操作。
图2是本实施例的无线发送系统1中的无线发送的顺序图。
一接收到从视频处理器15提供的图像数据，发送装置10的无线发送部分16就通 过视频编码器161编码该图像数据，并将其提供给发送部分162。无线发送部分16的发送 部分162将从视频编码器161提供的编码的图像数据调制成适合于无线发送的格式，并将 其作为无线发送分组而发送。
接收部分211 —接收到无线发送分组，接收装置20的无线接收部分21就对其解 调，并还通过视频解码器212对其解码。此时，通过ECC、奇偶校验等来判断是否已恰当地接 收了分组，并将判断的结果通知给接收控制部分213。当已经恰当地接收了无线发送分组时，接收控制部分213控制接收装置20内部的发送部分(未示出)以将ACK分组无线发送 回发送装置10。在由视频解码器212解码的图像数据被暂时存储在缓冲器22中时，该图像 数据由视频处理器23从缓冲器22中读出，并在转换成显示数据后被提供给监视器M。
此外，当从视频解码器212接收到的判断结果是由于某种原因还没有恰当地接收 到无线发送分组时，无线接收部分21的接收控制部分213控制在接收装置20内部的发送 部分(未示出)以将NACK分组无线发送回发送装置10。
一接收到NACK分组，发送装置10的无线发送部分16就进行控制，以基于用于标 识在NACK分组中所包括的分组的信息来重新发送相关的无线发送分组。
无线发送部分16的发送控制部分163基于ACK分组的接收计数与NACK分组的接 收计数的比率来计算作为通信质量的误码率。然后，发送控制部分163基于该误码率来控 制作为每单位时间发送部分162的发送代码量的无线传输率和作为每单位时间视频编码 器161产生的代码量的图像传输率。
作为改变无线传输率的方法，存在改变编码率的方法、切换调制系统的方法等等。 作为要被切换的调制系统，例如，存在64QAM (正交幅度调制)、16QAM、QPSK (正交相移键控) 和BPSK (二进制相移键控)。
作为改变图像传输率的方法，存在改变MPEG(活动画面专家组)压缩的压缩比等 的方法、使用DCT(离散余弦变换)转换等将发送数据转换成频率信号而不是振幅方向信号 以便发送该信号并切换到高频侧的、在每个模式中数据将被发送到之处的方法、即根据模 式改变低通特性的方法、改变像素的稀疏比的方法、改变色阶(color gradation)的准确度 (改变要被删减的低阶位的数量)的方法等等。
顺便提及，通常情况是无线传输率和图像传输率具有一一对应关系。然而，在此情 况下，当无线通信质量频繁波动时，图像传输率频繁切换，由此引起其中图像闪烁的噪声， 结果是主观图像质量恶化。
在这点上，在本实施例中，在基于误码率来控制作为发送部分162每单位时间的 发送代码量的无线传输率和作为视频编码器161每单位时间的产生代码量的图像传输率 时，当降低图像传输率时，将其控制在第一响应时间之内，而当提高图像传输率时，将其控 制在比第一响应时间更长的第二响应时间之内。换句话说，由于担心在随着无线通信质量 的下降而降低无线传输率时，在图像传输率保持为高时通信容量变得不足从而引起图像误 差，无线发送部分16的发送控制部分163在此情况下立即(第一响应时间)降低图像传输 率，而在改进无线通信质量时，在其中无线传输率高于图像传输率的时段已经持续了某段 时间的某个时间点时，提高图像传输率。
图3是将图像传输率的改变的状态与现有技术相比较的图。在此，采用像素稀疏 方法作为改变图像传输率的方法，并通过全像素、1/2像素和一个像素三个步骤来改变图像 传输率。基于两类阈值A和B来估计误码率，并根据两类阈值A和B之间的量值关系通过三 个步骤来切换无线传输率。而且在此图中，将第一响应时间的逻辑值设置为0，tw2代表第 二响应时间。图3A示出了作为通信质量的误码率的瞬时改变，图;3B示出了现有技术中图 像传输率和无线传输率的改变，图3C示出了此实施例中图像传输率和无线传输率的改变。 如图所示，在现有技术中，每次误码率相对于两类阈值A和B波动时，图像传输率和无线传 输率同时改变，这导致图像闪烁的出现。另一方面，根据本实施例，图像传输率和无线传输率不同时改变，结果是变得难以导致图像闪烁。
图4是示出计算图像传输率的算法的流程图。
发送控制部分163比较无线传输率的值与图像传输率的值(步骤S101)。当判断 无线传输率的值等于或小于图像传输率的值时，发送控制部分163立即将图像传输率的值 降低到无线传输率(在第一响应时间之内)(步骤S102)。
另一方面，当判断无线传输率的值大于图像传输率的值时，发送控制部分163递 增对等待时间计数的计数器值(步骤S103)，并将递增的计数器值与阈值相比较(步骤 S104)。当通过比较判断计数器值小于阈值时，发送控制部分163转移到步骤S102以将计 数器复位，并立即将图像传输率的值降低到无线传输率的值(在第一响应时间内)。另一方 面，当判断计数器值等于或大于阈值时，发送控制部分163将无线传输率提高一步(step) (步骤S105)。通过此算法，变得能够在降低图像传输率时，将其控制在第一响应时间之内， 并在提高图像传输率时，将其控制在比第一响应时间更长的第二响应时间之内。
将无线传输率提高一步可以意味将无线传输率的值设置为图像传输率的当前值。 或者，可以在无线传输率的当前值和图像传输率的当前值之间逐步设置这些值，并且在每 次计数器值变得等于或大于阈值时(每次经过某段时间时)，将无线传输率的值提高一步。 通过采用后一方法，可以另外抑制在切换图像传输率时观看者所看到的图像闪烁。此外，由 于大大缩短了使用低图像传输率期间的时间，因此，可以抑制主管图像质量的恶化。
尽管在上述的算法中使用计数器来判断某个时间段，但是，使用计时器也能进行 相同的处理。图5示出了使用计时器来计算图像传输率的另一算法。
接下来，将描述第二响应时间的最佳值。
可以从人的视觉对瞬时对比度改变和色度改变的响应性来获取第二响应时间的最佳值。
图6是对视觉对比度的时间频率响应性的曲线图(引自Iwao Oishi等人的 "Series Leading Display Technology l,Basics of Display”，2001)。根据此曲线图，视 觉响应性对于对比度的峰值出现在IOHz左右，并且在频率为2Hz或更低时，视觉响应性基 本变成平坦的。随着第二响应时间和维持图像传输率的时间变得更短，改变变得更容易在 视觉上被识别。另一方面，尽管在第二响应时间太长时难以视觉上识别该改变，但是，由于 大大延长了使用低图像传输率期间的时间，因此主观图像质量恶化。图7是对视觉色度改 变的时间频率响应性的曲线图(同样引自Iwao Oishi等人的‘Series Leading Display TechnologyLBasics of Display”，2001)。根据此曲线图，在0. 5Hz左右，对色度改变的响 应性变得与对比度的响应性相等，并且视觉灵敏度继续降低，直到达到0. IHz左右。因此， 期望将第二响应时间设置在2Hz (500ms)和0. IHz(IOs)之间，其中在2Hz处，对比度响应变 得平坦，并且在0. IHz处，色度响应饱和。在这些之中，以0. 5Hz(k)为中心、从0. 3Hz(3s) 到IHz(Is)的范围是更加期望的，其中在0. 5Hz (2s)处，对对比度和色度的响应变为相同的 水平。
本申请包含与在2009年10月7日提交于日本专利局的日本优先权专利申请JP 2009-233936中公开的主题相关的主题，其全部内容提供参考合并于此。
本领域技术人员应当理解，取决于设计要求和其它因素，可以发生各种修改、组 合、子组合和替换，只要其在所附权利要求或其等效物范围内即可。
权利要求
1.一种发送装置，包括编码部分，用于对图像数据编码，并能够控制所产生的代码量；发送部分，用于无线发送编码的图像数据；以及控制部分，用于检测所述编码的图像数据的无线发送的质量，并基于所检测的质量来 控制作为所述发送部分每单位时间的发送代码量的无线传输率和作为所述编码部分每单 位时间产生的代码量的图像传输率，所述图像传输率在被降低时被控制在第一响应时间 内，并在被提高时被控制在比所述第一响应时间更长的第二响应时间内。
2.根据权利要求1的发送装置，其中，在所述无线传输率高于所述图像传输率的时段已经持续了某个时段的时间点 处，所述控制部分将所述编码部分的图像传输率控制为提高。
3.根据权利要求2的发送装置，其中，当提高所述图像传输率时，每次经过所述某个时段，控制部分将图像传输率朝向 当前的图像传输率逐步提高。
4.根据权利要求3的发送装置，其中，所述的某个时段是0.3秒到1秒。
5.一种发送方法，包括对图像数据编码；无线发送编码的图像数据；检测所述编码的图像数据的无线发送的质量；以及基于检测到的质量来控制作为每单位时间的发送中的发送代码量的无线传输率和作 为每单位时间的编码中产生的代码量的图像传输率，所述图像传输率在被降低时被控制在 第一响应时间内，并在被提高时被控制在比所述第一响应时间更长的第二响应时间内。
全文摘要
一种发送装置，包括编码部分，其对图像数据编码，并能够控制所产生的代码量；发送部分，用于无线发送编码的图像数据；以及控制部分，用于检测所述编码的图像数据的无线发送的质量，并基于所检测的质量来控制作为所述发送部分每单位时间的发送代码量的无线传输率和作为所述编码部分每单位时间产生的代码量的图像传输率，所述图像传输率在被降低时被控制在第一响应时间内，并在被提高时被控制在比所述第一响应时间更长的第二响应时间内。
文档编号H04N5/44GK102036024SQ20101029798
公开日2011年4月27日 申请日期2010年9月28日 优先权日2009年10月7日
发明者佐藤雅典, 堀井昭浩, 穴见裕治, 竹内太志, 长良彻 申请人:索尼公司