图像传输设备、图像传输方法和程序的制作方法

图像传输设备、图像传输方法和程序的制作方法
【专利摘要】[问题]提供了一种图像传输装置、图像传输方法和程序，其还可以应用于多播通信并且可以以优化传输速率执行数据分发。[技术方案]一种图像传输设备包括：编码单元，其编码图像数据；传送速率设置单元，其基于编码的图像数据的编码速率设置物理层的传输速率；以及传输单元，配置为以所述传送速率传输编码的图像数据。
【专利说明】图像传输设备、图像传输方法和程序

【技术领域】
[0001] 本公开涉及视频传输设备、视频传输方法和程序。

【背景技术】
[0002] 近年来，经由因特网的数据通信已经积极地进行。此外，连接网络中的家用电器、 计算机和其他外围设备的家庭网络持续进入更多家庭。这样的家庭网络允许例如网络连接 的设备之间的内容传输和接收。
[0003] 保留在服务器中的视频数据经由网络传输到客户端并且在客户端执行数据的接 收的同时再现数据的数据分发处理称为流数据分发或数据流（streaming)。执行这样的流 数据分发的服务器称为流服务器，并且从流服务器接收数据的客户端称为流客户端。流服 务器是视频传输设备，其通过执行包括编码的数据处理生成传输数据并将该数据输出到网 络。另一方面，流客户端是视频接收设备，其将接收的数据暂时存储在缓冲器中并且顺序地 执行解码处理和再现。
[0004] 在这样的流数据分发中，以优化传送速率执行数据分发是重要的。当传送速率没 有适当控制时，存在出现传送延迟、分组丢失等的情况。在视频和音频流数据分发中，例如， 这样的问题导致视频的混乱和声音的中断。
[0005] 因此，例如，专利文献1公开了这样的方法，其中在一定时段内多次采样连接速 度，然后基于连接速度的平均值参考表格设置图像的分辨率和编码速率。
[0006] 引用列表
[0007] 专利文献
[0008] 专利文献 1 :JP 2〇〇7_329814A


【发明内容】

[0009] 技术问题
[0010] 然而，难以将上述方法应用于执行一对多通信的多播。这是因为多播中的视频传 输设备难以获取诸如传送时的丢失率、重传的次数或SNR的信息。
[0011] 考虑上述情况，期望提供一种视频传输设备、视频传输方法和程序，其还可以应用 于多播通信并且可以以优化传送速率执行数据分发。
[0012] 解决问题的技术方案
[0013] 根据本公开，提供了一种视频传输设备，包括：编码单元，其编码视频数据；传送 速率设置单元，其基于编码的视频数据的编码速率设置物理层的传送速率；以及传输单元， 其以所述传送速率传输编码的视频数据。
[0014] 根据该配置，基于编码速率设置物理层的传送速率。为此，可能减少由于协议栈中 设置的传送速率之间的不匹配导致的延迟的出现、分组的丢失等。
[0015] 此外，根据本公开，提供了一种视频传输方法，包括：编码视频数据；基于编码的 视频数据的编码速率设置物理层的传送速率；以及以所述传送速率传输编码的视频数据。
[0016] 此外，根据本公开，提供了一种用于使得计算机用作视频传输设备的程序，所述视 频传输设备包括：编码单元，其编码视频数据；传送速率设置单元，其基于编码的视频数据 的编码速率设置物理层的传送速率；以及传输单元，其以所述传送速率传输编码的视频数 据。
[0017] 本发明的有利效果
[0018] 根据上述本公开，提供了一种视频传输设备、视频传输方法和程序，其还可以应用 于多播通信并且可以以优化传送速率执行数据分发。

【专利附图】

【附图说明】
[0019] 图1是根据本公开实施例的视频传输设备的协议栈图。
[0020] 图2是示出根据本公开实施例的视频传送系统的功能配置的方块图。
[0021] 图3是示出根据相同实施例的视频传输设备的速率控制单元的详细配置的方块 图。
[0022] 图4是示出由根据相同实施例的视频传输设备传输的IP分组的配置示例的描述 图。
[0023] 图5是用于描述由根据相同实施例的视频传输设备使用的IEEE 802. 11a标准的 概述的描述图。
[0024] 图6是示出由根据相同实施例的视频传输设备设置的物理传送速率的选项示例 的表格。
[0025] 图7是示出由根据相同实施例的视频传输设备使用的物理传送速率和编码速率 的对应表的示例。
[0026] 图8是示出由根据相同实施例的视频传输设备使用的数据帧配置的概述的描述 图。
[0027] 图9是示出由根据相同实施例的视频传输设备使用的数据帧配置的细节的描述 图。
[0028] 图10是用于描述根据相同实施例的视频传输设备中执行的物理传送速率设置处 理的流程图。
[0029] 图11是示出根据本公开第二实施例的视频传送系统中传送的ACK分组的配置的 描述图。

【具体实施方式】
[0030] 以下，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具 有基本相同功能和结构的元件用相同参考标号表示，并且省略重复描述。
[0031] 注意，将按照以下顺序提供描述。
[0032] 1.概述
[0033] 2.第一实施例（基于编码速率设置物理层的传送速率的示例）
[0034] 2-1.功能配置
[0035] 2-2.物理传送速率的设置
[0036] 3.第二实施例（基于重传的次数重新设置传送速率的示例）
[0037] 3-1.物理传送速率的设置
[0038] 3-2.编码速率的设置
[0039] 4.结论
[0040] 〈1.概述〉
[0041] 首先，将描述本公开的概述。注意，将参考图1进行描述。图1是根据本公开实施 例的视频传输设备的协议栈图。
[0042] 如上所述，近年来，用于通过流数据分发从流服务器向流客户端传送视频的系统 已经广泛增长。在大多数流数据分发中使用的通信协议是RTP(实时传送协议）。RTP原则 上不执行重传控制。RTP是UDP (用户数据报（datagram)协议）型的协议，其不计数分组丢 失并且确保传送时间。因为这样的RTP即使在分组丢失发生时也不执行重传处理，所以它 是适于实时再现而不导致从重传处理得到的延迟的协议。
[0043] 在应用RTP的通信中，例如，使用RTCP(RTP控制协议）在传送层的层次中控制速 率。另一方面，在使用无线LAN(局域网）的传送系统中，作为在物理层中使用的速率控制 (连接速度控制）算法，〇NOE、SampleRate等是例子。速率控制算法是用于基于传送时的丢 失率、重传次数等控制传送速率的算法。此外，存在使用SNR(信噪比）确定传送速率的其 他算法。
[0044] 当在传送层（RTP)的层次中的速率控制和物理层的层次中的速率控制之间出现 不匹配时，RTP累积的传输缓冲器中，这导致延迟的发生和缓冲器中溢出的分组的丢失。
[0045] 因此，本公开提出基于编码速率设置物理层的传送速率。还可以执行跨层相关速 率控制，其中同时确定物理层的传输速率和编码速率。相应地，预期传送效率的增强、分组 丢失的减少、缓冲时延迟的降低、和Q〇E(体验质量）的增强。
[0046] 此外，基于编码速率设置物理层的传送速率的方法的优点在于它还可以应用于执 行多播传送的系统。例如，在执行单播传送的系统中，为了解决各层之间的速率控制的不匹 配，可以考虑监视物理层的连接速度并基于物理层的实际连接速度控制视频的编码速率。 然而，难以将该方法应用于执行多播传送的系统。这是因为在多播传送中，由于在多个终端 之间同时执行的通信，难以在不获取传送时的丢失率、重传次数、SNR等的情况下在物理层 中执行速率控制。因此，在无线LAN多播中，以固定速率执行传送，并且在传送层的传送速 率和物理层的传送速率之间可能出现不匹配。
[0047] 图1示出根据本公开实施例的视频传送设备的协议栈图。如这里所示，基于 CODEC(编解码器）的编码速率，设置物理层的传送速率，并且以设置的传送速率传送编码 的内容数据（包括视频数据和音频数据）。这样的视频传送设备下面将作为示例实施例描 述。
[0048] 〈第一实施例〉
[0049] 接着，将参考图2到10描述根据本公开第一实施例的视频传送系统1。图2是示 出根据本公开实施例的视频传送系统的功能配置的方块图。图3是示出根据相同实施例的 视频传输设备的速率控制单元的详细配置的方块图。图4是示出由根据相同实施例的视频 传输设备传输的IP分组的配置示例的描述图。图5是用于描述由根据相同实施例的视频 传输设备使用的IEEE 802. 11a标准的概述的描述图。图6是示出由根据相同实施例的视 频传输设备设置的物理传送速率的选项示例的表格。图7是示出由根据相同实施例的视频 传输设备使用的物理传送速率和编码速率的对应表的示例。图8是示出由根据相同实施例 的视频传输设备使用的数据帧配置的概述的描述图。图9是示出由根据相同实施例的视频 传输设备使用的数据帧配置的细节的描述图。图10是用于描述根据相同实施例的视频传 输设备中执行的物理传送速率设置处理的流程图。
[0050] [2-1.功能配置]
[0051] 参考图2,根据本公开实施例的视频传送系统1包括视频传输设备100和视频接 收设备200。视频传输设备100从视频源10获取视频并且通过无线通信将视频数据传输 给视频接收设备200。在对接收的视频数据执行各种处理之后，视频接收设备200可以将 数据输出到显示设备20。注意，视频源10这里可以是例如存储设备或运动图像捕获设备。 视频传输设备100可以经由无线传输线将存储设备中存储的视频数据或来自运动图像捕 获设备的实况视频数据传输给视频接收设备200。注意，在下面提供的描述中，以通过IP使 用MPEG2-TS (传送流）编码和分组化为例，但是也可以使用任何其他编解码器。
[0052] 视频传输设备100主要具有视频输入单元105、编码单元110、分组生成单元115、 无线LAN-MAC单元120、无线LAN-PHY单元125、速率控制单元130和无线天线140。此外， 当参考图3时，速率控制单元130还具有编码速率设置单元132和PHY速率设置单元134。 视频接收设备200主要具有无线天线205、无线LAN-PHY单元210、无线LAN-MAC单元215、 分组处理单元220、解码单元225和视频处理单元230。
[0053] (视频传输设备100)
[0054] 视频输入单元105从视频源10捕获视频帧，并且将视频数据提供给编码单元110 作为数字数据。编码单元110以速率控制单元130指定的编码速率编码提供的视频数据。 编码单元110可以将编码的视频数据提供给分组生成单元115。
[0055] 分组生成单元115生成MPEG2-TS分组，并且聚集多个MPEG2-TS分组以使得各分 组作为IP分组。如图4所示，例如，分组生成单元115可以聚集多个MPEG2-TS分组，然后 通过增加 RTP报头（12字节）、UDP报头（8字节）和IP报头（20字节）使得各分组作为 IP分组。例如，MPEG2-TS分组基本上以188字节为单位生成。为此，当最大分组长度设为 1500字节时，存在[(1500-20-8-12)/188] = 7分组。此时分组生成单元115可以聚集7个 MPEG2-TS分组。当聚集7个MPEG2-TS分组时，IP分组长度是1356字节。
[0056] 注意，这里分组生成单元115设为生成MPEG2-TS分组并执行IP分组化，然而，本 技术不限于此。例如，编码单元110可以编码视频数据并生成MPEG2-TS分组。在该情况下， 分组生成单元115可以聚集从编码单元110提供的MPEG2-TS分组以执行IP分组化。
[0057] 视频传输设备100使用无线LAN传送将如上所述生成的IP分组传送给视频接收 设备200。无线LAN-MAC单元120基于IEEE 802. 11无线LAN标准提供MAC子层。无线 LAN-MAC单元120主要具有将MAC报头添加到IP分组并使用CSMA/CA (载波监听多路访问 /冲突避免）执行访问控制的功能。
[0058] 无线LAN-PHY单元125将PLCP(物理层会聚协议）前导码报头添加到从无线 LAN-MAC单元120提供的MAC帧，并且将利用0FDM(正交频分复用）等数字调制的分组提供 给无线天线140。此时，无线LAN-PHY单元125使用速率控制单元130指定的传送速率。
[0059] 速率控制单元130具有设置编码单元110的编码速率的编码速率设置单元132、 和基于编码单元110编码的编码数据的实际编码速率设置无线LAN-PHY单元125的物理层 的级别中的传送速率的PHY速率设置单元134。编码速率设置单元132例如使用RTP的传 送中广泛使用的TFRC (TCP友好速率控制）确定编码速率，并且将编码速率提供给编码单元 110。此外，编码速率设置单元132观察从编码单元110输出的编码数据的当前编码速率， 然后将观察的编码速率提供给PHY速率设置单元134。PHY速率设置单元134基于提供的 编码速率计算适当的PHY速率，然后将该速率提供给无线LAN-PHY单元125。稍后将详细描 述PHY速率设置单元134计算适当的传送速率的方法。
[0060](视频接收设备200)
[0061] 无线天线205接收从视频传输设备100传输的分组。然后，无线天线205将接收 的分组提供给无线LAN-PHY单元210。已经通过无线LAN-PHY单元210和无线LAN-MAC单 元215移除MAC报头的IP分组提供给分组处理单元220.
[0062] 分组处理单元220从接收的IP分组中取出聚集的TS分组，然后将该分组提供给 解码单元225作为MPEG2数据。解码单元225将MPEG2数据解码成视频帧，然后将各帧提 供给视频处理单元230。视频处理单元230根据显示设备20的垂直同步信号将视频帧输出 到显示设备20。
[0063] [物理传送速率的确定]
[0064] 接着，将参考图5到9描述根据本公开第一实施例的视频传输设备100a的速率控 制单元确定物理层的传送速率的方法。
[0065] (概况）
[0066] 这里，将描述图5所示的规范的IEEE 802. 11a的无线LAN标准用作物理层情况。 IEEE 802. 11a的标准是由IEEE (美国的电子电气工程师协会）的802标准委员会的工作组 制定的一组标准。此外，将讨论一对多多播传送方案的情况，并且假设不执行分组的重传。
[0067] 如图5所示，IEEE 802. 11a的标准在访问控制中使用DCF(分布式协调功能）。DCF 是通过自发分布式控制的访问控制功能，并且使用CSMA/CA访问方案用于根据使用无线信 道的状态确定是否执行传输。IEEE 802. 11a的标准可以使用6到54 Mbps的物理传送速 率。此外，节流（throttle)时间是9 μ s，SIFS (短帧间空间）为16 μ s，并且DIFS (分布式 帧间空间）是34μ s。此外，CWmin (竞争窗口的最小值）是15,并且不使用RTS/CTS。
[0068] 例如，无线LAN-PHY单元125可以通过指定从1到6的任何索引设置6到54 Mbps 的任何物理传送速率，如图6所示。在该情况下，生成示出与每个索引对应的编码速率的表 格，如图7所示，并且PHY速率设置单元134可以使用该表格选择与实际编码速率对应的物 理传送速率，并且通知无线LAN-PHY单元125。
[0069] 下面将描述用于生成表格7的计算方法，该表格7是上述物理传送速率和用于基 于编码速率设置物理传送速率的编码速率的对应表。
[0070] (数据帧配置）
[0071] 图8和9中示出这里用作示例的IEEE 802. 11a的标准的数据帧配置。如图8所 示，数据帧主要包括物理报头和MAC帧。物理报头包括PLCP前导和PLCP报头。PLCP前导是 增加到IEEE 802. 11帧的头部并增加到物理层的同步信号的位串。此外，PLCP报头是包括 诸如调制方案、数据长度等的信息的报头，并增加到物理层。此外，作为MAC帧的PSDU (PLCP 服务数据单元）是由IEEE 802. 11报头和实际数据构成的信息，并且增加到数据链路层。
[0072] 此外，将参考图9描述数据帧的更详细配置。基于IEEE 802. 11a的标准的数据帧 640包括PLCP前导610、信号620和数据630。PLCP前导610是用于无线分组信号的接收 同步处理的固定模式信号。信号620是包括数据630的数据长度和传送速度的OFDM码元。 数据630是包括信息数据的主体的字段。
[0073] 当关注逻辑字段时，信号620由4位的传送速度641、1位的保留位642、12位的数 据长度643、1位奇偶校验644和终止上面数据的卷积编码的6位的尾部645。传送速度641 和数据长度643两者是与数据630有关的信息。信号620自身通过6 Mbps的传送速度的 BPSK(二进制相移键控）调制以高可靠性（即，1/2的编码速率）传送。
[0074] 数据630包括16位的服务646和可变长度数据PSDU (PLCP服务数据单元）650。 此外，数据630由终止上面数据的卷积编码的6位的尾部658和填满0FDM码元的剩余位的 填充位659构成。数据PSDU 650将与帧控制字段有关的信息存储在MAC帧、地址字段、帧 主体字段等中。注意，服务646由给出扰频器的初始状态的7位的"0"和9位的保留位构 成。此外，信号620和服务646的每个字段构成PLCP报头640。
[0075] 当关注帧中的物理信号时，PLCP前导610由包括10个短训练码元611的短前导和 包括两个长训练码元613和614的长前导构成。短前导是由使用12个波的子载波的0. 8 μ s 的周期定义的固定模式信号，形成tl到tlO的10个周期总共8. 0 μ s的信号。短前导在PMD 单元340中的分组信号的检测、信号的放大、载波频率误差的粗略调整、码元定时的检测等 中使用。
[0076] 另一方面，长前导是使用52个波的子载波的两个码元的重复信号，通过3. 2 μ s的 两个长训练码元613和614跟随1. 6 μ s的保护间隔612形成总共8. 0 μ s的信号。长前导 在PMD单元340中的载波频率误差的精细调整、信道的估计、每个子载波的基本相位和基本 幅度的检测中使用。
[0077] 在信号620中，在3. 2μ s的信号622的主体之前增加0. 8μ s的保护间隔621，形 成总共4. 0 μ s的信号。此外，同样在数据630中，根据数据长度643，重复通过在3. 2 μ s的 数据632的主体之前增加0. 8 μ s的保护间隔631获得的总共4 μ s的信号。
[0078] (对应表的生成）
[0079] 接着，将描述用于生成表格7的计算方法，该表格7是物理传送速率和用于基于编 码速率设置物理传送速率的编码速率的对应表，以上述数据帧结构为例。
[0080] 首先，PLCP传送时间计算如下。
[0081] PLCP传送时间=PLCP前导传送时间+PLCP报头传送时间=16(μ s)+8(y s)= 20(μ s)
[0082] 接着，帧长度计算如下。
[0083] 帧长度=MAC报头长度+LLC报头长度+IP分组长度+FCS长度+PLCP尾部位
[0084] = 24+8+1356+4+6 = 1392 (字节）
[0085] 注意，这里LLC是逻辑链路控制的简写。此外，FCS是帧校验序列的简写。
[0086]

【权利要求】
1. 一种视频传输设备，包括： 编码单元，配置为编码视频数据； 传送速率设置单元，配置为基于编码的视频数据的编码速率设置物理层的传送速率； 以及 传输单元，配置为以所述传送速率传输编码的视频数据。
2. 根据权利要求1所述的视频传输设备， 其中，当分组丢失发生时，所述传输单元重传视频数据；以及 其中所述传送速率设置单元基于重传的次数重新设置传送速率。
3. 根据权利要求2所述的视频传输设备，还包括： 编码速率设置单元，配置为从基于重传的次数设置的传送速率计算和设置编码视频数 据的编码速率。
4. 根据权利要求1所述的视频传输设备，其中，所述传送速率设置单元在与设置编码 速率的定时基本相同的定时设置物理层的传送速率。
5. 根据权利要求1所述的视频传输设备，其中，所述传输单元根据IEEE802. 11的标准 操作。
6. 根据权利要求1所述的视频传输设备，其中，所述传输单元以多播传送视频数据。
7. 根据权利要求1所述的视频传输设备，其中，所述传输单元以单播传送视频数据。
8. -种视频传输方法，包括： 编码视频数据； 基于编码的视频数据的编码速率设置物理层的传送速率；以及 以所述传送速率传输编码的视频数据。
9. 一种用于使得计算机用作视频传输设备的程序，所述视频传输设备包括： 编码单元，配置为编码视频数据； 传送速率设置单元，配置为基于编码的视频数据的编码速率设置物理层的传送速率； 以及 传输单元，配置为以所述传送速率传输编码的视频数据。
【文档编号】H04N21/24GK104115497SQ201380009376
【公开日】2014年10月22日 申请日期:2013年2月8日 优先权日:2012年2月21日
【发明者】和久田兼作, 及川智也 申请人:索尼公司