动态及自动控制音频/视频流送的等待时间缓冲的制作方法
【专利说明】动态及自动控制音频/视频流送的等待时间缓冲
[0001 ]交叉引用
[0002] 本专利申请要求由Kuhn于2013年9月4日提交且被转让给本申请受让人的题为 "Dynamic and Automatic Control of Latency Buffering for Audio/Video Streaming (动态及自动控制音频/视频流送的等待时间缓冲r的美国专利申请No. 14/018，019的优先 权。
【背景技术】
[0003] W下一般设及通信，尤其设及用于在阱显示设备上显示的媒体内容的传输。有线 和无线通信系统被广泛部署W传达诸如语音、视频、分组数据、消息接发、广播等各种类型 的内容。有线通信系统包括基于分组的通信系统（例如，W太网等)和基于非分组的通信系 统。无线通信系统包括无线局域网(WLAN)、W及蜂窝多址系统。一般而言，运些无线通信系 统能够通过共享可用系统资源(例如，时间、频率和功率)来支持与多个用户通信。无线通信 系统可W使用多址无线电技术，包括码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、 W及正交频分多址(OFDMA)。一些通信系统经历通信流中的信息分组之间的等待时间可变 性。等待时间的变动可由各种因素所导致，包括话务拥塞、分组丢失和重试等。
[0004] 当移动设备变得被越来越多地用于捕捉或生成内容(诸如音频、视频、或多媒体） 时，用户希望能够在移动设备与其他设备(诸如TV、计算机、音频系统等)之间共享内容。一 种办法是用阱设备(例如，TV等)来镜像复制源设备(例如，智能电话、平板计算机等)上显示 的内容。在一些应用中，源设备可W在根据802.11标准族之一（"Wi-Fi")操作的无线链路上 传送媒体流。由于Wi-Fi通常是抖动且易出错的，因此在阱设备处提供一些缓冲量来平滑由 信道中的错误(例如，数据重传等)所导致的抖动和分组等待时间W维持在阱设备处擅染的 视频的良好质量。还可能希望降低在源设备处捕捉或显示视频与在阱设备处显示视频之间 的等待时间。然而，降低等待时间可能与在阱设备处维持良好视频质量相冲突。
[0005] 概述
[0006] 所描述的诸特征一般设及用于针对易出错信道上的音频和/或视频流送来动态地 控制阱设备处的等待时间或抖动缓冲器大小的一种或多种改进系统、方法、和/或装置。可 由源设备基于用于从该源设备传送到阱设备W供呈现的媒体流的应用类型来动态地控制 阱缓冲器大小。例如，运些技术可W针对游戏应用选择较小的缓冲器大小，针对交互式媒体 应用（例如，交互式计算、演示、双向通信等)选择较大的缓冲器大小，W及针对非交互式媒 体类型(例如，流送视频、静态图像等)选择甚至更大的缓冲器大小。运些技术调整共享时钟 参考与传输流的时间参考值之间的时间差值，运些时间参考值由阱设备用于确定相对于共 享时钟参考来解码或呈现该传输流的媒体帖。
[0007] 在诸实施例中，源设备使用MPEG2传输流(MPEG-TS)来封装内容W供在介质上传 送。源设备可W调整程序时钟参考（PCR)与MPEG-TS中的呈现时戳（PTS)和/或解码时戳 (DTS)值之间的时间差值W控制阱设备处在解码和擅染内容流之前的等待时间或抖动缓冲 量。另外，运些技术可W计及源设备处因扫描或多个并发连接而导致的收发机等待时间。虽 然参照使用Wi-Fi上的传输流描述了基于应用的阱缓冲器大小控制，但是运些技术可被应 用于可应用等待时间缓冲的在任何有线或无线传输介质上的传输流中传送的经编码内容。
[0008] 在一些实施例中，基于应用的阱缓冲器大小控制是经由源设备的内部应用编程接 口（API)来实现的。API可通过应用的程序调用或者通过监视任务管理器来确定使用情形或 应用类型，并且可基于应用类型来确定缓冲量。API可基于与通信驱动器相关联的参数来确 定源设备的并发性和/或扫描操作，并且可基于该扫描或并发性操作来增大缓冲量。API可 向编码器和传输流复用器通知缓冲器时间差值，并且编码器和复用器可根据缓冲器时间差 值和PC时尋DTS和/或PTS值与传输流中的经编码内容的音频和/或视频帖相关联。在诸实施 例中，可提供用户超驰W允许显式地配置缓冲器时间差值。
[0009] -些实施例设及一种由源设备执行的方法，包括确定用于向阱设备传送的媒体流 的应用类型、至少部分地基于该应用类型来确定由阱设备用于缓冲用于封装该媒体流的传 输流的缓冲器大小、基于所确定的缓冲器大小用相对于共享时钟参考的时间参考值来编码 媒体流的帖、W及将经编码帖封装在该传输流中。
[0010] 可基于与媒体流相关联的应用来确定应用类型。例如，媒体流的应用类型可W是 游戏应用类型、交互式计算应用类型、或媒体观看应用类型。该方法可包括由源设备的应用 编程接口接收来自在源设备上运行的应用的用于建立与阱设备的流送显示连接的调用。媒 体流的应用类型可基于所接收的调用来确定。
[0011] 在一些实施例中，该方法包括基于源设备的并发连接配置来确定信道外并发性等 待时间。确定缓冲器大小可进一步基于信道外并发性等待时间。在一些实施例中，该方法包 括基于源设备的信道扫描配置来确定扫描等待时间。确定缓冲器大小可进一步基于该扫描 等待时间。
[0012] 在一些实施例中，该方法包括在无线局域网连接上向阱设备传送传输流。该方法 可包括与编码用于向阱设备传送的媒体流并发地在源设备处显示该媒体流。该方法可包括 在传输流中W周期性间隔传送共享时钟参考的时间值。
[0013] 在一些实施例中，传输流是运动图像专家组(M阳G)传输流(MPEG-TS)。时间参考值 可包括呈现时戳(PTS)或解码时戳(DTS)、或者PTS和DTS值两者。共享时钟参考可W是在阱 设备处被同步的程序时钟参考(PCR)。
[0014] -些实施例设及一种用于由源设备动态地控制阱设备缓冲的装备，包括用于确定 用于向阱设备传送的媒体流的应用类型的装置、用于至少部分地基于该应用类型来确定由 阱设备用于缓冲用于封装该媒体流的传输流的缓冲器大小的装置、用于基于所确定的缓冲 器大小用相对于共享时钟参考的时间参考值来编码媒体流的帖的装置、W及用于将经编码 帖封装在该传输流中的装置。
[0015] 用于确定应用类型的装置可基于与媒体流相关联的应用来确定应用类型。例如， 媒体流的应用类型可W是游戏应用类型、交互式计算应用类型、或媒体观看应用类型。该装 备可包括用于由源设备的应用编程接口接收来自在源设备上运行的应用的用于建立与阱 设备的流送显示连接的调用的装置。用于确定媒体流的应用类型的装置可基于所接收的调 用来确定应用类型。
[0016] 在一些实施例中，用于动态地控制阱设备缓冲的该装备包括用于基于源设备的并 发连接配置来确定信道外并发性等待时间的装置。用于确定缓冲器大小的装置可进一步基 于信道外并发性等待时间来确定缓冲器大小。在一些实施例中，该装备包括用于基于源设 备的信道扫描配置来确定扫描等待时间的装置。用于确定缓冲器大小的装置可进一步基于 所确定的扫描等待时间来确定缓冲器大小。
[0017]在一些实施例中，用于动态地控制阱设备缓冲的该装备包括用于在无线局域网连 接上向阱设备传送传输流的装置。该装备可包括用于与编码用于向阱设备传送的媒体流并 发地在源设备处显示该媒体流的装置。该装备可包括用于在传输流中W周期性间隔传送共 享时钟参考的时间值的装置。
[001引在一些实施例中，传输流是运动图像专家组(M阳G)传输流(MPEG-TS)。时间参考值 可W是呈现时戳(PTS)或解码时戳(DTS)、或者PTS和DTS值两者。共享时钟参考可W是在阱 设备处被同步的程序时钟参考(PCR)。
[0019] -些实施例设及一种用于由源设备动态地控制阱设备缓冲的设备，包括处理器、 与该处理器处于电子通信的存储器。该存储器可包括能由处理器执行W用于W下操作的指 令:确定用于向阱设备传送的媒体流的应用类型；至少部分地基于该应用类型来确定由阱 设备用于缓冲用于封装该媒体流的传输流的缓冲器大小;基于所确定的缓冲器大小用相对 于共享时钟参考的时间参考值来编码媒体流的帖；W及将经编码帖封装在传输流中。
[0020] 存储器可包括能由处理器执行W用于W下操作的指令:基于与媒体流相关联的应 用来确定应用类型。例如，媒体流的应用类型可W是游戏应用类型、交互式计算应用类型、 或媒体观看应用类型。存储器可包括能由处理器执行W用于W下操作的指令：由源设备的 应用编程接口接收来自在源设备上运行的应用的用于建立与阱设备的流送显示连接的调 用，并且基于所接收的调用来确定媒体流的应用类型。
[0021] 在一些实施例中，该存储器包括能由处理器执行W用于W下操作的指令:基于源 设备的并发连接配置来确定信道外并发性等待时间，并且进一步基于所确定的信道外并发 性等待时间来确定缓冲器大小。在一些实施例中，该存储器包括能由处理器执行W用于W 下操作的指令:基于源设备的信道扫描配置来确定扫描等待时间，并且进一步基于所确定 的扫描等待时间来确定缓冲器大小。
[0022] 在一些实施例中，该存储器包括能由处理器执行W用于W下操作的指令:在无线 局域网连接上向阱设备传送传输流。该存储器可包括能由处理器执行W用于W下操作的指 令:与编码用于向阱设备传送的媒体流并发地在源设备处显示该媒体流。该存储器可包括 能由处理器执行W用于W下操作的指令:在传输流中W周期性间隔传送共享时钟参考的时 间值。
[0023] 在一些实施例中，传输流是运动图像专家组(M阳G)传输流(MPEG-TS)。时间参考值 可包括呈现时戳(PTS)或解码时戳(DTS)、或者PTS和DTS值两者。共享时钟可W是在阱设备 处被同步的程序时钟参考(PCR)。
[0024] -些实施例设及一种用于由源设备动态地控制阱设备缓冲的计算机程序产品。该 计算机程序产品包括计算机可读介质，该计算机可读介质包括用于执行W下动作的代码： 确定用于向阱设备传送的媒体流的应用类型;至少部分地基于该应用类型来确定由阱设备 用于缓冲用于封装该媒体流的传输流的缓冲器大小;基于所确定的缓冲器大小用相对于共 享时钟参考的时间参考值来编码媒体流的帖；W及将经编码帖封装在传输流中。
[0025] 该计算机可读介质可包括用于基于与媒体流相关联的应用来确定应用类型的代 码。例如，媒体流的应用类型可W是游戏应用类型、交互式计算应用类型、或媒体观看应用 类型。该计算机可读介质可包括用于执行W下动作的代码：由源设备的应用编程接口接收 来自在源设备上运行的应用的用于建立与阱设备的流送显示连接的调用，并且基于所接收 的调用来确定媒体流的应用类型。
[0026] 在一些实施例中，该计算机可读介质包括用于执行W下动作的代码:基于源设备 的并发连接配置来确定信道外并发性等待时间，并且进一步基于信道外并发性等待时间来 确定缓冲器大小。在一些实施例中，该计算机可读介质包括用于执行W下动作的代码: