使用无线局域网来传送和接收数据的无线通信装置和方法与流程

本专利申请是下列发明专利申请的分案申请：

申请号：201110394661.3

申请日：2011年12月2日

发明名称：图像处理设备、图像再现设备以及图像再现系统

本公开涉及一种图像处理设备、图像再现设备以及图像再现系统。

背景技术：

ieee(电气和电子工程师协会)802.11指定的无线lan(localareanetwork局域网)由于其诸如装备的高度灵活性，而替代有线网络变得越来越普遍。

ieee802.11标准化的无线lan系统由作为主单元操作的接入点和作为从单元操作的多个站的一组无线通信设备组成，并且多个站连接到一个接入点。

此外，根据wi-fi联盟标准开发下的wi-fidirect，建议通过确定多个无线通信设备中的每一个充当组所有者和客户端中的哪一个来形成通信组。组所有者作为简化的接入点操作，并且具有连接一个或两个或更多个客户端的功能。

作为wi-fidirect的一个使用情形，蜂窝电话机、pc(个人计算机)和显示设备形成通信组，并且显示设备显示从蜂窝电话机或pc传送的图像数据。由于蜂窝电话机、pc和显示设备不通过接入点来进行通信，所以可以以利用无线电性能的速率传输来获得低延迟。

应注意，在日本未审专利公开no.2009-272874中公开了用于两个无线通信设备根据通信信道的条件来动态设置数据速率的技术。

技术实现要素：

在压缩由多个帧图像组成的图像数据并且在wi-fidirect中进行分组传输的情况下，每个帧图像的数据量可能取决于无线通信设备之间的无线电条件动态地变化。例如，在传送端的无线通信设备可以在图像数据的传输期间通过切换每个帧图像的图像格式来适应传输速率的改变，所述图像格式诸如分辨率、帧速率、压缩性能或扫描模式(逐行(progressive)、隔行(interlace)等)。

然而，如果传送端在图像数据的传输期间切换图像格式，则可能发生接收端不能正常再现图像数据的情况。例如，当传送端改变帧图像的分辨率时，接收端仅在解码器解码帧图像之后才能识别出分辨率的改变，并且不能及时进行切换放置在解码器的随后级中的缩放器的设置。这引起对紧接在分辨率的改变之后的帧图像的正常再现失败的关心。

鉴于上述，期望提供一种新颖的并改进的图像处理设备、图像再现设备和图像再现系统，其使得图像再现设备能够预先适应所传送的图像数据的格式改变。

考虑到上述，提供了本实施例。根据说明性实施例，提供了一种数据传输设备。该设备包括用于向接收器传送数据和向接收器传送具有改变特性的数据的通信单元，其中当传送数据时，该设备向接收器传送定时信息，该定时信息指示该设备将开始传送具有改变特性的数据的时间。

根据本公开的实施例，图像再现设备能够预先适应所传送的图像数据的格式改变。

根据一个方面，提供了一种用于使用无线局域网来传送数据的无线通信装置(20)，包括：电路(201，215)，被配置为：确定通过udp传送的视频节目的格式是否改变，该视频节目包括多个帧；经由tcp/ip向另一无线通信装置(10)传送信息，该信息指示当该视频节目的格式改变时所述多个帧中的帧；和在传送该信息之后，经由udp向所述另一无线通信装置传送具有改变的格式的视频节目，其中该信息表示该帧的分组的报头字段中包括的解码时间戳或呈现时间戳。

根据一个方面，提供了一种用于使用无线局域网来传送数据的方法，包括步骤：通过udp向另一无线通信装置(10)传送(s310)具有第一格式的视频节目，该视频节目包括多个帧；确定(s320，s330)该视频节目的格式是否改变；向所述另一无线通信装置传送(s340)指示当该视频节目的格式改变时所述多个帧中的帧的信息；和在传送该信息之后，经由udp向所述另一无线通信装置传送(s370)具有改变的格式的视频节目，其中该信息表示该帧的分组的报头字段中包括的解码时间戳或呈现时间戳。

根据一个方面，提供了一种用于使用无线局域网来接收数据的无线通信装置(10)，包括：电路(201，215)，被配置为：再现具有第一图像格式的通过udp传送的视频节目，该视频节目包括多个帧；经由tcp/ip从另一无线通信装置(10)接收信息，该信息指示当该第一图像格式改变时所述多个帧中的帧；和在从所述另一无线通信装置接收到信息之后，将该第一图像格式改变为第二图像格式，其中该信息表示该帧的分组的报头字段中包括的解码时间戳或呈现时间戳。

根据一个方面，提供了一种使用无线局域网来接收数据的方法，包括：再现(s310)具有第一图像格式的通过udp传送的视频节目，该视频节目包括多个帧；经由tcp/ip从另一无线通信装置(10)接收(s340)信息，该信息指示当该第一图像格式改变时所述多个帧中的帧；和在从所述另一无线通信装置接收到信息之后，将该第一图像格式改变(s360，s370)为第二图像格式，其中该信息表示该帧的分组的报头字段中包括的解码时间戳或呈现时间戳。

附图说明

图1是图示根据本公开的实施例的图像再现系统的构造的示意图；

图2是图示蜂窝电话机的软件概念的示意图；

图3是图示切片传输(slicetransmission)所传送的每个帧图像的特定示例的示意图；

图4是图示根据本公开的实施例的蜂窝电话机的硬件构造的示意图；

图5是图示蜂窝电话机和显示设备的构造的功能框图；

图6是图示分组生成单元的构造的示意图；

图7是图示分组结构的示意图；

图8是图示无线电条件的改变和分辨率的切换的关系的示意图；

图9是图示根据比较示例的过程流的示意图；

图10是图示根据实施例的过程流的示意图；以及

图11是图示图像再现系统的操作的序列图。

具体实施方式

下面，将参考附图详细描述本公开的优选实施例。应注意，在本说明书和附图中，利用相同的参考数字表示具有基本相同的功能和结构的结构元件，并且将省略对这些结构元件的重复解释。

在本说明书和附图中，在一些情况下通过向相同的参考数字附上字母来区分具有基本相同功能的多个结构元件中的每一个。然而，当不特别需要区分具有相同功能的多个结构元件时，通过相同的参考数字来表示它们。

此外，将以以下顺序描述“具体实施方式”。

1.图像再现系统的概述

2.硬件构造

3.蜂窝电话机和显示设备的功能

4.图像再现系统的操作

5.总结

<1.图像再现系统的概述>

图1是图示根据本公开的实施例的图像再现系统1的构造的示意图。参考图1，根据本公开的实施例的图像再现系统1包括蜂窝电话机20和显示设备10。

蜂窝电话机20具有连接诸如显示设备10的附近无线通信设备并且与其通信的功能。例如，蜂窝电话机20可以根据wi-fi联盟标准开发下的wi-fidirect与显示设备10形成通信组，并且可以不通过接入点来与通信组中的显示设备10无线地通信。

此外，与显示设备10形成通信组的蜂窝电话机20可以向显示设备10传送内容数据、控制数据等。在本说明书中，主要描述了在其中传送由多个帧图像组成的图像数据作为内容数据的示例的实施例。图像数据可以是诸如电影、电视节目或视频节目、蜂窝电话机20中的用户工作屏幕、或游戏的显示屏幕的数据。然而，内容数据不限于图像数据，并且可以从蜂窝电话机20传送诸如音乐、演讲或无线电节目的音频数据作为内容数据。

下面参考图2描述其中传达图像数据和控制数据的层。

图2是图示蜂窝电话机20的软件概念的示意图。参考图2，使用mpeg-ts/rtp/udp/ip等传送诸如图像数据的内容数据。另一方面，通过诸如tcp/ip或l2层的与图像数据不同的通信路径传送控制数据。

应注意，图1示出蜂窝电话机20作为图像处理设备的示例，但是图像处理设备不限于蜂窝电话机20。例如，图像处理设备可以是诸如pc(个人计算机)、家庭视频处理设备(例如dvd记录器、录像磁带记录器等)、pda(个人数字助理)、家庭游戏机、便携式视频处理设备、便携式游戏机或电子家用电器的信息处理设备。

显示设备10具有连接诸如蜂窝电话机20的附近无线通信设备并且与其无线地通信的功能。例如，显示设备10可以根据wi-fi联盟标准开发下的wi-fidirect与蜂窝电话机20形成通信组，并且可以不通过接入点来与通信组中的无线电话机20无线地通信。应注意，例如即使显示设备10和蜂窝电话机20连接到相同的接入点(ap)，它们也可以使用ieee802.11z(tdls)来执行直接通信。

此外，与蜂窝电话机20形成通信组的显示设备10可以接收从蜂窝电话机20传送的图像数据，并且显示所接收的图像数据。在该构造中，用户可以在不用复杂工作的情况下、在具有大屏幕的显示设备10上显示在蜂窝电话机20中处理的图像数据。

应注意，图1示出显示设备10作为图像再现设备的示例，但是图像再现设备不限于显示设备10。例如，图像再现设备可以是诸如pc或视频处理设备的具有图像再现功能的信息处理设备。

此外，尽管图1中图示了其中将无线通信功能实现在蜂窝电话机20和显示设备10中的示例，但是实施例不限于这样的示例。例如，可以将具有无线通信功能、图像数据编码功能和分组化(packetization)功能的适配器外部地附接到蜂窝电话机20。类似地，可以将具有无线通信功能、图像数据解码功能等的适配器外部地附接到显示设备10。

如上所述，因为根据实施例，蜂窝电话机20和显示设备10不通过接入点来直接执行无线通信，所以可以以利用无线电性能的速率传输来获得低延迟。此外，通过使用下面描述的切片传输(slicetransmission)，可以获得更低的延迟。

切片传输是通过将每个帧图像划分成多个切片来传送数据的方法。切片传输具有接收端可以在不用等待接收到所有帧图像的情况下开始每个切片的再现的优点。

图3是图示通过切片传输传送的每个帧图像的特定示例的示意图。参考图3，将通过切片传输传送的每个帧图像划分成多个切片，并且每个切片是avc压缩的i切片或p切片。此外，传送端使得i切片的切片位置随着帧图像而变化。在图3示出的示例中，最高切片是帧帧图像#1中的i切片，且第二最高切片是帧图像#2中的i切片。

以此方式，因为切片传输允许i切片和p切片在一个帧图像中共存，所以可以稳定速率，并且可以降低要使用的缓冲器长度，由此获得低延迟。

<2.硬件构造>

上面描述了根据本公开的实施例的图像再现系统1的概述。下面，参考图4描述根据本公开的实施例的蜂窝电话机20的硬件构造。

图4是图示根据本公开的实施例的蜂窝电话机20的硬件构造的示意图。蜂窝电话机20包括cpu(中央处理单元)201、rom(只读存储器)202、ram(随机存取存储器)203和主机总线204。蜂窝电话机20进一步包括桥205、外部总线206、接口207、输入设备208、输出设备210、存储设备(hdd)211、驱动212和通信设备215。

cpu201用作处理设备和控制设备，并且其根据程序控制蜂窝电话机20中的整个操作。cpu201可以是微处理器。rom201存储要由cpu201使用的程序、处理参数等。ram203临时存储要在cpu201的执行中使用的程序、在执行中变化的参数等。cpu201、rom202和ram203通过主机总线204(其可以是cpu总线等)而彼此连接。

主机总线204经由桥205连接到诸如pci(外围组件互连/接口)的外部总线206。主机总线204、桥205和外部总线206不必彼此分离，并且可以通过一个总线来实现它们的功能。

例如，输入设备208可以包括：用于用户输入信息的输入装置，诸如鼠标、键盘、触摸板、按钮、麦克风、开关或控制杆；以及输入控制电路，用于基于用户输入生成输入信号并且将其输出到cpu201。蜂窝电话机20的用户操纵输入设备208，由此向蜂窝电话机20输入各种类型的数据或指示处理操作。

例如，输出设备210可以包括诸如crt(阴极射线管)显示设备、lcd(液晶显示)设备、oled(有机发光显示)设备或灯的显示设备。此外，例如，输出设备210可以包括诸如扬声器或耳机的音频输出设备。例如，输出设备210输出再现的内容。具体地，显示设备显示各种类型的信息，诸如借助文本或图像的再现的视频数据。另一方面，音频输出设备将再现的音频数据等转换成声音，并且输出声音。

存储设备211是用于数据存储的设备，其被配置为根据实施例的蜂窝电话机20的存储单元的示例。存储设备211可以包括存储介质、将数据记录到存储介质中的记录设备、从存储介质读取数据的读取设备、删除记录在存储介质中的数据的删除设备等。例如，存储设备211可以是hdd(硬盘驱动)。存储单元211驱动硬盘并且存储要由cpu201执行的程序和各种数据。

驱动212是用于存储介质的读取器/写入器，并且可以将其合并到蜂窝电话机20中或将其外部地附接到蜂窝电话机20。驱动212读取记录在附接到其的诸如磁盘、光盘、磁光盘或半导体存储器的可移动存储介质24中的信息，以及向ram203输出信息。此外，驱动212可以将信息写入到可移动存储介质24。

通信设备215是例如由通信设备等配置来与附近无线通信设备或网络建立连接的通信接口。通信设备215可以是与无线lan(局域网)兼容的通信设备、与lte(longtermevolution，长期演进)兼容的通信设备或执行有线通信的有线通信设备。

应注意，尽管在上面参考图4描述了蜂窝电话机20的硬件构造，但是可以以与蜂窝电话机20基本相同的方式来配置显示设备10的硬件，并且将省略对其的解释。

<3.蜂窝电话机和显示设备的功能>

上面参考图4描述了蜂窝电话机20和显示设备10的硬件构造。下面，参考图5至图10描述蜂窝电话机20和显示设备10的功能。

图5是示出蜂窝电话机20和显示设备10的构造的功能框图。参考图5，显示设备10包括缩放器120、解码器130、无线通信单元140、控制单元150和显示单元160。蜂窝电话机20包括分辨率处理单元220、分组生成单元230、无线通信单元240和控制单元250。

蜂窝电话机20的分辨率处理单元220执行用于根据控制单元250的控制改变提供的图像数据的分辨率的处理。例如，当提供具有1920×1080的分辨率的图像数据时，如果控制单元250指定输出具有1280×720的分辨率的图像数据，则分辨率处理单元220将提供的图像数据的分辨率从1920×1080转换为1280×720。分辨率处理单元220与分组生成单元230一起用作处理图像数据的图像处理单元。

应注意，尽管图5中未示出，但是蜂窝电话机20可以包括诸如帧速率改变单元或扫描模式改变单元的图像处理单元，其中帧速率改变单元用于改变提供的图像数据的帧速率，而扫描模式改变单元用于改变图像数据的扫描模式(逐行、隔行等)。

分组生成单元230根据从分辨率处理单元220提供的图像数据等生成用于无线传输的分组。下面，参考图6和图7描述分组生成单元230的详细构造。

图6是图示分组生成单元230的构造的示意图。参考图6，分组生成单元230包括图像编码器231、音频编码器232、pes分组化器233、加密处理单元234和ts复用器235。

图像编码器231执行对提供的图像数据的压缩编码并输出图像数据。类似地，音频编码器232执行对提供的音频数据的压缩编码并输出音频数据。应注意，图像编码器231和音频编码器232可以根据来自控制单元250的指令改变每个数据的压缩性能。

pes分组化器233根据从图像编码器231输出的图像数据和从音频编码器232输出的音频数据生成pes分组。更具体地，pes分组化器233生成如图7的(1)中所示的由pes报头和pes有效载荷组成的pes分组。pes报头包括用于描述诸如dts(decodingtimestamp，解码时间戳)或pts(presentationtimestamp，呈现时间戳)的定时信息的字段。

加密处理单元234对从pes分组化器233提供的pes分组进行加密，并且输出分组。例如，加密处理单元234可以通过hdcp(high-bandwidthdigitalcontentprotection，高宽带数字内容保护)系统2.0对pes分组加密。

ts复用器235生成如图7的(2)中所示的由ts报头和ts有效载荷组成的ts流。应注意，例如，通过将pes分组划分成188字节的固定长度来获得ts有效载荷。作为如图7的(3)中所示的其中增加rtp报头的rtp分组来传送ts流。

无线通信单元240无线地传送rtp分组，其包含由分组生成单元230生成的图像数据、由控制单元250指定的控制数据等。应注意，如随后更详细描述地，控制数据包含定时信息，定时信息指示改变图像数据的分辨率的定时。例如，无线通信单元240可以根据wi-fi联盟标准开发下的wi-fidirect进行操作。

控制单元250控制蜂窝电话机20的整个操作。例如，控制单元250控制分辨率处理单元220和分组生成单元230的处理细节。更具体地，当传输速率取决于无线电条件改变时，控制单元250向分辨率处理单元220给出改变图像数据的分辨率的指令，并且向分组生成单元230的图像编码器231给出改变图像数据的压缩性能的指令，以适应传输速率的改变。此外，控制单元250可以给出改变帧速率的指令或给出改变扫描模式(逐行、隔行等)的指令，以适应传输速率的改变。

图8是图示无线电条件的改变和分辨率的切换的关系的示意图。参考图8，当无线电条件的估计值在具有1920×1080的分辨率的图像数据的传输期间下落到低于阈值时，控制单元250向分辨率处理单元220给出将图像数据的分辨率改变成1280×720的指令。由此从时间t2起传送具有1280×720的分辨率的图像数据。

应注意，控制单元250可以通过各种方法检测无线电条件。例如，控制单元250可以根据来自显示设备10的重传请求的频率来检测无线电条件，可以根据从显示设备10接收的无线电信号的rssi来检测无线电条件，或可以基于来自显示设备10的测量信息来检测无线电条件。

此外，在要传送的图像数据的类型已改变的情况下，但不限于无线电条件已改变的情况，控制单元250可以切换分辨率处理单元220和分组生成单元230的处理细节。例如，当要传送的图像数据从作为类似诸如网页的静止图像并且需要高分辨率的图像数据改变到诸如需要高帧速率而不是高分辨率的运动图像的图像数据时，控制单元250向分辨率处理单元220给出降低分辨率的指令。

此外，当决定切换诸如分辨率的图像数据的处理细节时，控制单元250控制无线通信单元240向显示设备10提供指示切换的定时的定时信息，并且给出在定时时切换图像数据的处理细节的指令。应注意，定时信息可以是指示在pes报头中包含的dts或pts的时间信息。随后参考图9和图10描述预先向显示设备10提供定时信息的意义和优点。

显示设备10的无线通信单元140(接收单元)从蜂窝电话机20接收包含图像数据的rtp分组、包含定时信息的控制数据等。例如，无线通信单元140可以根据wi-fi联盟标准开发下的wi-fidirect进行操作。

解码器130解释通过无线通信单元140接收的rtp分组，并且解码包含在rtp分组中的图像数据等。缩放器120调整从解码器130提供的图像数据的分辨率，以符合显示单元160的分辨率。解码器130和缩放器120用作再现图像数据的再现单元。

显示单元160显示由解码器130和缩放器120再现的图像数据。

控制单元150控制显示设备10的整个操作。例如，控制单元150根据从蜂窝电话机20提供的定时信息来控制解码器130和缩放器120的再现处理的细节。更具体地，当控制单元150从蜂窝电话机20接收指示何时切换分辨率的定时信息时，控制单元150在定时信息指示的定时修改缩放器120的设置。在该构造中，显示设备10允许在紧接着分辨率的改变之后成功再现帧图像。参考图9和图10更具体地描述该点。

图9是图示根据比较示例的过程流的示意图。根据比较示例的传送端将帧图像#5中的分辨率从1080(仅示出了垂直分辨率；下面同样适用)切换到720而不预先向接收端通知。在该情况下，尽管在接收端的缩放器需要将帧图像#5之后的帧图像的分辨率从720调整为1080，但是由于直到解码器解码图像数据之前才可识别分辨率的切换，所以没有及时进行缩放器的设置的修改。结果，图像数据的再现失败，并且在比较示例中难以实现无缝切换。

具体地，当使用切片传输时，难以及时进行缩放器的设置的修改。此外，在接收端不可预测切换分辨率的定时的比较示例中，也难以执行在接缝处的切片中将先前切片转变为具有新分辨率以及显示尚未接收的切片部分中的转变的切片的隐蔽处理。

图10是图示根据实施例的过程流的示意图。如前面描述的，根据实施例的蜂窝电话机20预先向显示设备10传送指示切换诸如分辨率的处理细节的定时的定时信息。因此，显示设备10能够如10中所示基于接收的定时信息识别出从帧图像#5起分辨率将从1080切换到720。

显示设备10的控制单元150由此可以对于由定时信息指示的帧图像#5的调整定时及时修改缩放器120的设置。结果，可以正常再现帧图像#5，由此获得无缝切换。此外，当使用切片传输时，能够执行在接缝处的切片中将先前切片转变为具有新分辨率以及显示尚未接收的切片部分中的转变的切片的隐蔽处理。

<4.图像再现系统的操作>

上面描述了蜂窝电话机20和显示设备10的功能。下面，参考图11描述由蜂窝电话机20和显示设备10组成的图像再现系统1的操作。

图11是示出图像再现系统1的操作的序列图。首先，当蜂窝电话机20开始图像数据的传输时(s310)，显示设备10开始图像数据的再现。假定从蜂窝电话机20传送的图像数据的分辨率是分辨率a。

之后，当蜂窝电话机20的控制单元250检测到无线电条件的改变(改进或退化)时(s320)，控制单元250确定改变图像数据的分辨率的定时(s330)，并且向显示设备10传送指示该定时的定时信息(s340)。

然后，蜂窝电话机20的控制单元250向分辨率处理单元220给出用于在定时信息指示的定时从分辨率a切换到分辨率b的指令(s350)。此外，显示设备10修改缩放器的设置，以在定时信息指示的定时符合分辨率b(s360)。

然后，蜂窝电话机20开始传输具有分辨率b图像数据(s370)，并且因为显示设备10预先已修改了缩放器的设置，所以可以获得在分辨率的切换时的无缝再现。之后，图像数据的传输结束(s380)。

<5.总结>

如上所述，根据本公开的实施例的蜂窝电话机20预先向显示设备10传送指示切换诸如分辨率的处理细节的定时的定时信息。因而，显示设备10可以对于定时信息指示的定时及时修改缩放器120的设置。结果，可以正常再现紧接在分辨率的切换之后的帧图像，由此获得无缝切换。此外，当使用切片传输时，可以执行在接缝处的切片中将先前切片转变为具有新分辨率以及显示尚未接收的切片部分中的转变的切片的隐蔽处理。

尽管参考附图详细描述了本公开的优选实施例，但是本公开不限于此。本领域的技术人员将理解，基于设计要求以及其他因素可以出现各种修改、组合、子组合和变化，只要它们在所附的权利要求或其等同物的范围内即可。

例如，尽管上面描述了其中在切换分辨率的情况下蜂窝电话机20传送定时信息的示例，但是本公开不限于这样的示例。作为替选示例，蜂窝电话机20可以在切换诸如帧速率、压缩性能或扫描模式(逐行、隔行等)的图像格式的情况下预先向显示设备10提供定时信息和切换后的信息。

此外，不必总是按照根据序列图中所示的序列的顺序次序执行本说明书中的图像再现系统1的处理的步骤。例如，可以以与序列图中所示的序列不同的序列执行或并行执行图像再现系统1的处理步骤。

此外，可以创建使得诸如在显示设备10和蜂窝电话机20中包括的cpu201、rom202和ram203的硬件执行与如上所述的显示设备10和蜂窝电话机20的元件相等的功能的计算机程序。此外，可以提供存储这样的计算机程序的存储介质。

本公开包含与于2010年12月10日向日本专利局提交的日本优先权专利申请jp2010-275976中公开的主题相关的主题，其全部内容通过引用合并于此。