用于无线显示的直接流式传输的制作方法

本申请案主张2014年7月29日申请的美国临时申请案第62/030,410号的权利，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及媒体数据的输送及重放，且更特定来说涉及使用无线显示直接流式传输媒体内容。

背景技术：

Wi-Fi显示(也被称作Miracast^TM)为由Wi-Fi联盟开发的无线显示器标准。所述标准是基于Wi-Fi直连。Wi-Fi显示(WFD)标准提供用以在Wi-Fi显示吸收器处发现、配对、连接及渲染来源于Wi-Fi显示源的多媒体内容的可互操作机制。关于当前WFD标准的额外信息可发现于Wi-Fi显示技术规范v1.0.0及Wi-Fi联盟“Wi-Fi显示规范草案版本1.31”(Wi-Fi联盟技术委员会，显示任务组，其全文以引用的方式并入本文中)中。

无线显示(WD)系统包含无线显示源装置(本文中称“无线源装置”或简单地“源装置”)及一或多个无线显示吸收装置(本文中称“无线吸收装置”或简单地“吸收装置”)。源装置可为能够在无线局域网内发射媒体内容的装置。吸收装置可为能够接收及渲染媒体内容的装置。源装置及吸收装置可为移动装置或有线装置。作为移动装置，举例来说，源装置及吸收装置可包括移动电话、具有无线通信卡的便携式计算机、个人数字助理(PDA)、便携式媒体播放器、数字图像俘获装置(例如照相机或摄录像机)，或具有无线通信能力的其它快闪存储器装置，包含所谓的“智能”电话及“智能”平板或平板计算机，或其它类型的无线通信装置。作为有线装置，举例来说，源装置及吸收装置可包括电视、桌上型计算机、监视器、投影仪、打印机、音频放大器、机顶盒、游戏控制台、路由器、交通工具仪表板显示器及数字视频光盘(DVD)播放器及媒体服务器。

源装置可发送例如音频视频(AV)数据的媒体数据到参与特定媒体共享会话的吸收装置中的一或多者。可在源装置的本地显示器及吸收装置的显示器中的每一者两者处重放媒体数据。更具体来说，参与吸收装置中的每一者渲染所接收媒体数据以供呈现于其屏幕及音频设备上。在一些情况下，吸收装置的用户可将用户输入应用于吸收装置，例如触摸输入及远程控制输入。

技术实现要素：

大体来说，本发明涉及用于将媒体数据从无线显示源装置直接流式传输到无线显示吸收装置的技术。在一些实例中，所述技术包含将经译码输入视频数据直接发射到无线显示吸收装置，即，无需无线显示源装置解码经译码输入视频数据以用于输出到无线显示源装置的显示装置。实际上，无线显示源装置可在将经译码输入视频数据发射到无线显示吸收装置时将预定义帧输出到无线显示源装置的显示装置。结果，无线显示源装置的其它组件(例如媒体应用程序及播放器)可正常操作以将预定义帧渲染并显示到显示装置。另外，因为经译码输入视频数据是在未解码情况下发射到无线显示吸收装置并显示于显示装置上(且无需随后编码)，所以无线显示源装置可避免使用视频解码及编码硬件以用于直接流式传输，此情况可提供无线显示源装置的功率节省。另外，可通过避免解码数据且接着由源侧进行再编码以用于镜像处理于吸收装置上而在吸收装置处改进视频质量。特定来说，通过避免再编码过程及将原始未经编码数据从源装置发送到吸收装置，可在吸收装置上改进视频质量。

为同步输入媒体数据的音频数据及视频数据以供呈现于无线显示吸收装置处，对于视频数据的给定经译码输入帧，无线显示源装置针对经译码输入帧确定用于输出到显示装置的预定义帧的渲染时间。可通过在由接收预定义帧的无线显示源装置的模块执行音频视频同步之后俘获预定义帧被消耗用于渲染的时间来确定渲染时间。举例来说，呈现时间可确定为存储预定帧的缓冲器在消耗之后被传回的时间。此渲染时间表示经译码输入帧的呈现时间，且无线显示源装置将此呈现时间与发送到无线显示吸收装置的输送流中的经译码输入帧相关联。在经由输送流接收与呈现时间相关联的经译码输入帧之后，无线显示吸收装置解码经译码输入帧并根据呈现时间显示输入帧。无线显示源装置在经解码音频帧正由无线显示源装置呈现或输出时俘获输入媒体的经解码及输出音频帧以用于译码及输送。以此方式同步对应经译码输入帧的音频数据(经解码)及预定义帧与对应音频/视频数据的相应呈现时间。通过获得并相关联输送流中的预定义帧的呈现时间，无线显示源装置可以此方式促进无线显示吸收装置处的音频/视频同步(“AV Sync”)。另外，所述技术可使得具有受限编码及解码能力的无线显示源装置能够发射具有较高分辨率及质量的视频以用于由具有较多能力的无线显示吸收装置处理及输出。

在一个实例中，一种将视频数据从无线显示源装置发射到无线显示吸收装置的方法，所述方法包括：获得视频数据帧的经编码视频数据；输出所述视频数据帧的预定义帧；及发送所述经编码视频数据以用于在与所述无线显示吸收装置相关联的显示装置处显示。

在一个实例中，一种源装置包括：用于获得视频数据帧的经编码视频数据的装置；用于输出所述视频数据帧的预定义帧的装置；及用于经由无线通信信道将所述经编码视频数据发送到吸收装置以用于显示于与所述吸收装置相关联的显示装置处的装置。

在一个实例中，一种源装置包括用以存储视频数据的存储器；及一或多个处理器，其中所述一或多个处理器经配置以：获得视频数据帧的经编码视频数据；经由所述源装置的显示接口且用于在显示装置处显示而输出所述视频数据帧的预定义帧；及经由无线通信信道将所述经编码视频数据发送到吸收装置以用于显示于与所述吸收装置相关联的显示装置处。

在一个实例中，一种包括存储于其上的指令的计算机可读存储媒体，所述指令当经执行时配置一或多个处理器以：获得视频数据帧的经编码视频数据；输出所述视频数据帧的预定义帧；及发送所述经编码视频数据以用于在与无线显示吸收装置相关联的显示装置处显示。

在附图及下文描述中阐述本发明的一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。

附图说明

图1为说明经配置以根据本发明中描述的技术将经编码视频数据直接流式传输到无线显示吸收计算装置的无线显示源计算装置的一个实例的框图。

图2为说明用于无线显示系统的数据通信模型或协议堆栈的实例的框图。

图3为说明根据本发明中描述的技术的无线显示源装置的实例的框图。

图4为说明根据本发明中描述的技术的无线显示源装置的实例操作模式的流程图。

图5为说明根据本文中所描述的技术的用于由无线显示源确定视频帧呈现时间以用于音频/视频同步的实例数据流的框图。

图6为说明经配置以根据本发明中描述的技术将经编码视频数据直接流式传输到无线显示吸收计算装置的无线显示源装置的实例组件的框图。

贯穿各图及文本，相似参考字符表示相似元件。

具体实施方式

源装置及吸收装置可实施符合例如WirelessHD、无线家庭数字接口(WHDI)、WiGig、无线USB及Wi-Fi显示(WFD)(也被称作Miracast)标准的标准的无线显示(WD)通信技术。关于WFD标准的额外信息可发现于Wi-Fi联盟“Wi-Fi显示规范草案版本1.31”(Wi-Fi联盟技术委员会，显示任务组，其全文以引用的方式并入本文中)(在下文中，“Wi-Fi显示规范”)中。与WFD(或称为Miracast)兼容的源装置可将由源装置输出的音频及视频镜像处理到吸收装置以用于由吸收装置输出。以此方式，举例来说，智能电话用户可将由用户的智能电话、平板计算机或其它计算装置输出的视频及音频镜像处理到可提供较高分辨率显示或以其它方式经改进的用户体验的另一装置(例如电视或投影仪)。根据Wi-Fi显示规范，WFD源装置编码输出到WFD源装置的用户接口装置(例如，显示器及扬声器)的视频及音频数据以产生经编码视频及音频数据。WFD源装置接着包化经编码视频及音频数据并将其发送到WFD吸收装置以用于由WFD吸收装置镜像处理式输出。WFD源装置可消耗常常稀少的电池功率以解码及显示多媒体数据的视频数据。

本发明的技术可包含将视频数据从无线显示源装置直接流式传输到无线显示吸收装置。在一些实例中，所述技术包含将经译码输入视频数据(其可为(例如)从存储/存储器装置读取或经由网络接收的电影)直接发射到无线显示吸收装置，即无需无线显示源装置解码经译码输入视频数据以用于输出到无线显示源装置的显示装置。实际上，无线显示源装置可在将经译码输入视频数据直接发射到无线显示吸收装置时将预定义帧输出到无线显示源装置的显示装置。结果，无线显示源装置的其它组件(例如媒体应用程序及播放器)可正常操作以将预定义帧渲染并显示到显示装置。另外，因为经译码输入视频数据是在未经解码情况下输出，所以无线显示源装置可避免使用视频解码硬件以用于直接流式传输，此情况可提供无线显示源装置的功率节省。因为经译码数据是直接从无线显示源装置流式传输，所以可达成进一步功率节省，这是由于避免了俘获渲染到显示装置的帧及编码所俘获帧。此外，可通过避免解码数据且接着由源侧进行再编码以用于镜像处理于吸收装置上而在吸收装置处改进视频质量。特定来说，通过避免再编码过程及将原始未经编码数据从源装置发送到吸收装置，可在吸收装置上改进视频质量。

为同步输入媒体数据的音频数据及视频数据以供呈现于无线显示吸收装置处，对于视频数据的给定经译码输入帧，无线显示源装置针对经译码输入帧确定用于输出到显示装置的预定义帧的渲染时间。可通过在由接收预定义帧的无线显示源装置的模块执行音频视频同步之后俘获预定义帧被消耗用于渲染的时间来确定渲染时间。举例来说，呈现时间可确定为存储预定帧的缓冲器在消耗之后被传回的时间。此渲染时间表示经译码输入帧的呈现时间，且无线显示源装置将此呈现时间与发送到无线显示吸收装置的输送流中的经译码输入帧相关联。在经由输送流接收与呈现时间相关联的经译码输入帧之后，无线显示吸收装置解码经译码输入帧并根据呈现时间显示输入帧。无线显示源装置在经解码音频帧正由无线显示源装置呈现/输出时俘获输入媒体的经解码及输出音频帧以用于译码及输送。以此方式同步对应经译码输入帧的音频数据(经解码)及预定义帧与对应音频/视频数据的相应呈现时间。通过获得并相关联输送流中的预定义帧的呈现时间，无线显示源装置可以此方式促进无线显示吸收装置处的音频/视频同步。

图1为说明经配置以根据本发明中描述的技术将经编码视频数据直接流式传输到无线显示吸收计算装置114(“吸收装置114”)的无线显示源计算装置110(“源装置110”)的一个实例的框图。源装置110可包括包含经配置以输出例如音频及/或视觉媒体的媒体的至少一个本机输出接口的任何装置。举例来说，图1中所描绘的源装置110包括智能电话或平板计算机，其包含包括显示屏112的第一输出接口及包括源装置本机的一或多个扬声器(图1中未描绘)的第二输出接口。在其它实例中，源装置110可包括膝上型计算机、桌上型计算机、游戏控制器或经配置以使用无线显示以将经编码视频数据直接流式传输到吸收装置114的任何其它装置。

如图1的实例中所展示，源装置110的屏幕112可经配置以输出本机图形输出130。本机图形输出130可包括(例如)一或多个静态或视频图像。如图1的实例中亦展示，源装置110的扬声器经配置以提供本机音频输出131。本机音频输出131可包括一或多个听觉声音。此音频输出131可与图形输出130相关联(例如，经配置以结合所述图形输出输出)。举例来说，在本机图形输出130包括视频或图像内容的情况下，音频输出131可包括与视频或图像相关联的听觉声音。

如图1中所展示，源装置110以通信方式耦合到至少一个吸收装置114(在下文中“吸收装置114”)。吸收装置114可由源装置110使用以操作与吸收装置114相关联的一或多个输出装置120、124来镜像处理源装置110的本机媒体输出。术语“镜像处理”如本文中所描述可指由源装置110控制至少一个吸收装置114以输出本机媒体的至少一部分，例如源装置110的本机音频、视频及/或图像媒体输出。

源装置110可以作用中镜像处理会话控制吸收装置114以经由与吸收装置114相关联的一或多个输出装置120、124镜像处理源装置110的媒体输出。举例来说，如图1中所展示，源装置110可控制外部显示装置120以输出经镜像处理图形输出132，其可包括源装置110的本机图形输出130的大体上类似图形输出。经镜像处理图形输出132可包括相同于本机图形输出130的一或多个图像，但此类图像可经处理、经大小设定、经格式化及/或以其它方式经修改以供经由外部显示装置120呈现。

如图1中亦展示，源装置110可控制外部音频装置124以输出经镜像处理音频输出136，其可包括图1中所描绘的音频输出131的大体上类似音频输出。经镜像处理音频输出136可包括相同于本机图形输出130的听觉声音，但经处理、经格式化及/或以其它方式经修改以经由外部音频装置124输出。在一些实例中，源装置110可控制吸收装置114以输出包括源装置110的本机图形输出130以及本机音频输出131的媒体。

在例如图1中所展示的一些实例中，吸收装置114可包括耦合到包含经配置以将图像呈现给观看者的屏幕122的外部显示装置120中的一或多者(例如电视显示器、计算机监视器或其类似者)，及/或外部音频装置124(例如扬声器或立体声系统)的装置。举例来说，吸收装置114可包括机顶盒(例如，谷歌TV、苹果TV、ROKU)、游戏控制台(例如，任天堂WII、索尼PLAYSTATION 3、微软XBOX)、数字视频光盘(DVD)播放器、智能TV、TV适配装置(例如，谷歌Chromecast)、蓝光播放器或耦合到如图1的实例中所展示的外部显示装置及/或外部音频装置的其它单独单元。在图1中未描绘的其它实例中，吸收装置114、外部显示装置120及/或外部音频装置124中的一或多者可组合为单个装置。举例来说，例如电视或计算机监视器的显示装置可包含屏幕122及一或多个扬声器两者。在其它实例中，相同或不同的吸收装置114可控制分离于一或多个吸收装置114的一或多个音频或视频输出接口。根据再其它实例，由如本文中所描述的吸收装置114执行的功能性可由外部显示装置及/或外部音频装置中的一或多者执行。举例来说，电视显示器及/或立体声接收器可包含经配置以通信方式耦合电视及/或立体声与源装置110的硬件及/或软件，使得源装置110的本机媒体可被镜像处理到电视显示器或立体声接收器。

源装置110经由无线通信信道150将多媒体数据流式传输到吸收装置114以镜像处理源装置110的媒体输出。通信信道150可为相对短程通信信道，且可实施例如或类似于Wi-Fi、蓝牙或其类似者的物理信道结构，例如实施所界定2.4GHz、3.6GHz、5GHz、60GHz或超宽带(UWB)频带结构。然而，通信信道150在此方面并不受限，且可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线或无线及有线媒体的任何组合。在其它实例中，通信信道150可甚至形成分组网络的部分，例如有线或无线局域网、广域网或例如因特网的全球网络的部分。另外或替代地，通信信道150可由源装置110及吸收装置114使用以产生同级间链路。

源装置110及吸收装置114可根据能力磋商使用(例如)实时流式传输协议(RTSP)控制消息建立通信会话。在一个实例中，建立通信会话的请求可由源装置110发送到吸收装置114。一旦建立媒体共享会话，源装置110使用实时输送协议(RTP)将例如音频视频(AV)数据的媒体数据发射到吸收装置114。吸收装置114将所接收媒体数据渲染并输出到外部显示装置120及音频装置124。

源装置110及吸收装置114接着可经由通信信道150使用通信协议(例如来自IEEE802.11系列标准的标准)通信。在一个实例中，通信信道150可为网络通信信道。在此实例中，通信服务提供商可将基站用作网络集线器来中心地操作及管理网络。源装置110及吸收装置114可(例如)根据Wi-Fi直连及/或Wi-Fi显示(WFD)标准通信，使得源装置110及吸收装置114直接彼此通信而无需使用例如无线接入点或所谓的热点的中间物。源装置110及吸收装置114还可建立隧道直接链路设置(TDLS)以避免或减少网络堵塞。Wi-Fi直连及TDLS意图设置相对短距离通信会话。相对短距离在此上下文中可指(例如)小于大约70米，但在嘈杂或阻塞环境中装置之间的距离可甚至更短，例如小于大约35米或低于大约20米。

本发明的技术有时可相对于WFD描述，但预期这些技术的方面也可与其它通信协议兼容。借助于实例而非限制，源装置110与吸收装置114之间的无线通信可利用正交频分多路复用(OFDM)技术。也可使用广泛多种其它无线通信技术，包含(但不限于)时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)或OFDM、FDMA、TDMA及/或CDMA的任何组合。

如上文所描述，源装置110可经配置以经由吸收装置114镜像处理源装置110的媒体输出。举例来说，源装置110可在经由吸收装置114输出本机音频媒体、视觉媒体或这两者的情况下为用户提供用户可选选项以激活或解除激活镜像处理模式。在标准操作模式中，源装置110可经由通信媒体(例如，因特网)或从例如硬盘驱动器或数字视频光盘(DVD)的计算机可读存储媒体接收呈多个经编码媒体数据形式的媒体，并控制源装置110的一或多个本机输出接口以输出包括所述多个经编码媒体数据的媒体。此类本机输出接口可包含用于输出本机图形输出130的屏幕112及/或用于输出本机音频131的扬声器。在此镜像处理模式中，源装置110可控制吸收装置114以致使吸收装置114输出实质上相同于源装置110将已在标准操作模式中使用一或多个本机输出接口输出的本机图形输出130及/或本机音频输出131的媒体。

根据本发明中描述的技术，当进行操作以将本机图形输出130镜像处理到吸收装置114时，源装置110可暂停本机图形输出130的镜像处理以经由通信信道150将所接收媒体数据的视频数据发送到吸收装置114，而无需解码视频数据且无需干扰现有视频重放或流式传输应用程序。在一些实例中，源装置110并不输出视频数据以用于显示为本机图形输出130。

在一些实例中，源装置110可将预定义视频帧输出为用于在屏幕112处显示的本机图形输出130同时将经编码视频数据发送到吸收装置114，而非解码经编码视频数据以获得本机图形输出130并经由屏幕112输出所述本机图形输出。举例来说，用户可请求由源装置110执行的应用程序播放多媒体数据。应用程序可(例如)经由到服务器或来自源装置110的计算机可读存储媒体的通信信道获得根据压缩标准经编码的多媒体数据。当以镜像处理模式操作时，代替多媒体数据的经解码视频数据的帧，源装置110将预定义视频帧输出到屏幕112以用于显示为本机图形输出130。同时，源装置110将经编码多媒体数据的经编码视频数据发送到吸收装置114。

在一些实例中，源装置110通过将呈现时间与经由通信信道150发送的视频数据相关联来促进吸收装置114处的多媒体数据的音频及视频数据的同步输出。源装置110可基于将由源装置110输出的预定义视频帧呈现为本机图形输出130而获得呈现时间。换句话说，当以镜像处理模式操作时，代替多媒体数据的视频数据的视频帧，源装置110可将预定义帧作为本机图形输出130输出到屏幕112。源装置110基于对应于视频帧的预定义帧输出的呈现时间获得时戳，并发送与时戳相关联的视频帧的经编码视频数据。吸收装置114接着可解码经编码视频数据以获得视频帧，并在由时戳指定的时间处将视频帧作为经镜像处理图形输出132输出到外部显示装置120。在一些实例中，源装置110通过编码经渲染音频数据并将经编码音频数据与对应音频数据的呈现时间相关联来镜像处理多媒体数据的音频数据。通过也以上文所描述的方式获得并相关联输送流中的预定义视频帧的呈现时间，源装置110促进吸收装置114处的音频及视频的同步输出。

预定义帧可在一些实例中为黑帧以最小化呈现黑帧的屏幕112的功率消耗。在一些实例中，预定义帧可为图标、用户警告或其它用户消息。预定义帧可具有类似于经编码输入视频数据的视频帧的分辨率。

在一些实例中，源装置110使用镜像处理解码器以用于在以镜像处理模式操作时“解码”视频数据。镜像处理解码器可呈现相同于其它视频解码器的到源装置110的解码硬件的解码器接口的接口。镜像处理解码器可进一步提供相同于其它视频解码器的用于解码器接口的视频帧缓冲流。然而，镜像处理解码器在此类实例中消耗用于解码器接口的输入缓冲器而非解码视频数据以用于输出到屏幕112，所述输入缓冲器存储经编码视频数据，且源装置110将经编码视频数据发送到吸收装置114。另外，镜像处理解码器将预定义帧写入到用于解码器接口的输出缓冲器而非解码经编码视频数据以用于经由用于解码器接口的输出缓冲器输出。结果，源装置110可将预定义帧作为本机图形输出130输出到屏幕112。消耗输出缓冲器的时间至少近似存储到输出缓冲器的视频帧的呈现时间。镜像处理解码器可从输出缓冲器消耗的镜像处理应用程序接收信号或其它通知、在信号接收之后产生时戳，并将时戳与否则将已解码并存储到输出缓冲器的对应经编码视频数据相关联。源装置110接着可在输送流中将与时戳(呈现时间)相关联的经编码视频数据发送到吸收装置114，以致使吸收装置114将经编码视频解码为视频帧并在相关联呈现时间处呈现视频帧。

图2为说明用于无线显示(WD)系统的数据通信模型或协议堆栈的实例的框图。数据通信模型200说明用于在所实施WD系统中在源装置与吸收装置之间发射数据的数据及控制协议之间的交互。在一些实例中，图1的源装置110可使用数据通信模型200。数据通信模型200包含物理(PHY)层202、媒体接入控制(MAC)层(204)、因特网协议(IP)206、用户数据报协议(UDP)208、实时输送协议(RTP)210、MPEG2输送流(MPEG2-TS)212、内容保护214、包化基本流(PES)包化216、包含镜像处理编解码器218A的视频编解码器218、音频编解码器220、输送控制协议(TCP)222、实时流式传输协议(RTSP)224、用户输入包化228、人性化接口装置命令(HIDC)230及一般用户输入232。用户输入包化228、HIDC 230及一般用户输入232可构成用户输入反向信道(UIBC)201。

物理层202及MAC层204可界定用于WD系统中的通信的物理信令、寻址及信道接入控制。物理层202及MAC层204可界定用于通信的频带结构，例如界定为2.4GHz、3.6GHz、5GHz、60GHz的美国联邦通信委员会频带或超宽带(UWB)频带结构。物理层202及MAC 204还可界定数据调制技术，例如模拟及数字调幅、调频、调相技术及其组合。物理层202及MAC 204还可界定多路复用技术，例如实例时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)或OFDM、FDMA、TDMA及/或CDMA的任何组合。在一个实例中，物理层202及媒体接入控制层204可由例如由WFD提供的Wi-Fi(例如，IEEE 802.11-2007及802.11n-2009x)标准界定。在其它实例中，物理层202及媒体接入控制层204可由以下各者中的任一者界定：WirelessHD、无线家庭数字接口(WHDI)、WiGig及无线USB。

因特网协议(IP)206、用户数据报协议(UDP)208、实时输送协议(RTP)210、输送控制协议(TCP)222及实时流式传输协议(RTSP)224界定用于WD系统中的数据包结构及封装且可是根据由因特网工程任务小组(IETF)维持的标准界定。

RTSP 224可由源装置110及吸收装置114使用以(例如)协商能力、建立会话及会话维持与管理。源装置110及吸收装置114可使用RTSP消息事务建立反馈信道以协商源装置110及吸收装置114的能力来支持UIBC上的反馈信道及反馈输入类别。使用RTSP协商以建立反馈信道可类似于使用RTSP协商过程以建立媒体共享会话及/或UIBC。

一或多个视频编解码器218可界定可由WD系统使用以用于压缩视频数据来经由WD通信信道输送的视频数据译码技术。视频编解码器218中的每一者可实施任何数目个视频压缩标准，例如ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)、VP8、VP9及高效视频译码(HEVC)。应注意，在一些情况下WD系统可压缩或不压缩视频数据。在此实例中，视频编解码器218包含用于将经编码视频数据直接流式传输到WD吸收装置的镜像处理编解码器218A。

音频编解码器220可界定可由WD系统使用的音频数据译码技术。可使用例如由杜比及数字影院系统开发的那些多信道格式译码音频数据。可使用经压缩或未经压缩格式译码音频数据。经压缩音频格式的实例包含MPEG-1、2音频层II及III、AC-3、AAC及Vorbis。未经压缩音频格式的实例包含脉码调制(PCM)音频格式。

包化基本流(PES)包化216及MPEG2输送流(MPEG2-TS)212可界定如何包化及发射经译码音频及视频数据。包化基本流(PES)包化216及MPEG-TS 212可是根据MPEG-2部分1界定。在其它实例中，音频及视频数据可是根据其它包化及输送流协议包化及发射。内容保护214可防止未经授权的复制音频或视频数据。在一个实例中，内容保护214可是根据高带宽数字内容保护2.0规范界定。

UIBC 201包含可界定如何包化用户输入的用户输入包化228。人性化接口装置命令(HIDC)230、一般用户输入232可界定用户输入类型如何格式化成信息元素。举例来说，人性化接口装置命令230及一般用户输入232可基于用户接口类型(例如，鼠标、键盘、触摸、多点触摸、语音、示意动作、供应商专有接口等)及命令(例如，缩放、平移等)对输入进行分类并确定应如何将用户输入格式化成信息元素。分类为HIDC及一般用户输入通常影响后续如何在吸收装置114处将媒体数据呈现给用户(例如，缩放及平移操作)，及源装置110如何将媒体数据处理(例如，编码及/或发射)到吸收装置114。

镜像处理编解码器218A可呈现相同于其它视频编解码器218的到源装置110的解码硬件的解码器接口的接口。镜像处理编解码器218A可进一步提供相同于其它视频解码器的用于解码器接口的视频帧缓冲流。然而，镜像处理编解码器218A消耗用于解码器接口的输入缓冲器而非解码在数据通信模型200的顶部处所接收的视频数据，所述输入缓冲器存储经编码视频数据，并将经编码视频数据呈现到PES包化216。另外，镜像处理编解码器218A将预定义帧写入到用于解码器接口的输出缓冲器。结果，根据数据通信模型200操作的装置可输出预定义帧以用于显示。消耗输出缓冲器的时间至少近似由镜像处理编解码器218A存储到输出缓冲器的视频帧的呈现时间。镜像处理编解码器218A可接收消耗输出缓冲器的信号或其它通知(从利用数据通信模型200的镜像处理应用程序)。镜像处理编解码器218A可在信号接收之后产生时戳，并将时戳与否则将已解码并存储到输出缓冲器的对应经编码视频数据相关联。MPEG2-TS层212及RTP 210可接收此时戳，并将时戳作为视频数据的呈现时间与经编码视频数据相关联。举例来说，MPEG2-TS层212可将输送流中针对经镜像处理视频数据的呈现时戳(PTS)设定为所述时戳以便同步视频数据呈现与音频数据呈现。

无线显示源装置的镜像处理应用程序可利用数据通信模型200以镜像处理音频及视频数据。视频编解码器218的镜像处理编解码器218A可使得镜像处理应用程序能够在极少影响或并不影响现有视频重放或流式传输应用程序的情况下减少无线显示源装置处的功率消耗。因为镜像处理编解码器218A并不根据常规无线显示技术编码经渲染视频数据，所以数据通信模型200使用面向连接的保证传送的输送协议(此处TCP 222)而非UDP 208来直接流式传输经编码视频数据以补偿识别及重新发射丢失I帧的能力丢失。

在一些实例中且根据本文中所描述的技术，在RTSP 224会话协商期间，执行数据通信模型200的源装置110可使用RTSP 224播发所有支持编解码器及对应支持配置文件及层级。源装置110接着可使用最佳常用支持编解码器以最佳支持分辨率及配置文件在源装置110及吸收装置114两者中开始镜像处理。

在重放视频数据之后，源装置110可加载镜像处理编解码器218A，其基于会话视频信息确定视频数据的格式是否由吸收装置114支持。如果支持所述格式，则镜像处理编解码器218A可确定是否多于一个视频解码会话正在作用中，且如果是，则使用本文中所描述的镜像处理技术。

然而，如果吸收装置114支持所述格式且仅一个视频解码会话正在作用中，则源装置110可将指示新视频格式用于流式传输视频数据的消息发送到吸收装置114。源装置110接着将视频帧发送到吸收装置114。吸收装置可发送与播放器渲染预定义帧时获得的时戳相关联的视频帧以实现与从源装置110中的音频混频器的输出俘获的音频的同步。在视频数据重放结束之后，源装置110向吸收装置114告知视频格式待用于镜像处理且视频解码会话可继续镜像处理。

图3为说明根据本发明中描述的技术的无线显示源装置的实例的框图。如图3中所展示，源装置310包含存储器341、通信模块342、图形处理模块343、处理器344、显示接口348及音频接口354。处理器344可包含经配置以执行指令的装置310的一或多个组件。举例来说，处理器344可包括一或多个中央处理单元(CPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑组件或经配置以执行控制装置310的操作的指令的其它组件。

存储器341包括经配置以存储数据及/或指令的装置310的一或多个组件，例如一或多个磁性存储组件、光学存储组件、随机接入存储器(RAM)存储组件、快闪存储器存储组件或经配置以存储指令及/或数据的任何其它组件。举例来说，存储器341可存储操作装置310的一或多个软件程序。存储器341还可或替代地经配置以存储表示可由装置310输出的媒体的数据。举例来说，存储器341可存储听觉声音、静态图像、视频或可由装置310输出的其它媒体的一或多个数字表示。

通信模块342可包括经配置以使得装置310能够与一或多个其它装置通信的装置310的一或多个硬件及/或软件组件。举例来说，通信模块342可包括实现无线通信(例如，Wi-Fi、蓝牙、蜂窝网络(例如，3G、4G蜂窝网络))或有线通信(例如，以太网)中的一或多者的一或多个组件。在一些实例中，通信模块342可由装置310使用以在另一装置当中进行控制，例如控制图1中所描绘的吸收装置114以镜像处理装置310的媒体输出。举例来说，源装置310可经由通信模块342耦合到吸收装置，使得源装置310可传达致使吸收装置根据本文中所描述的技术镜像处理数据的数据及/或指令。

图形处理模块343可包括经配置以处理图形指令(例如，较高层级图形指令，例如根据OpenGL标准的一或多个指令)，及产生可用于经由显示接口348呈现图像的图像数据的装置310的一或多个硬件及/或软件组件。举例来说，图形处理模块343可包括经配置以处理图形的图形处理单元(GPU)及/或其它组件。在一些实例中，图形模块343可基于从执行于处理器344上的一或多个软件应用程序接收的图形指令处理图形。在其它实例中，图形模块343可基于从存储器341及/或通信模块342接收的图形指令处理图形。

如图3中所描绘，装置310还可包含显示处理模块360及音频处理模块350。音频处理模块350可处理所接收图像数据以控制源装置310外部的一或多个扬声器。举例来说，音频处理模块350可经由音频接口354控制至少一个扬声器。音频处理模块350可处理音频数据以发送到一或多个外部音频接口来镜像处理源装置310的本机音频媒体输出。举例来说，音频处理模块350可通过修改位速率、音量、音频编码技术或音频数据的其它特性处理音频数据以用于经由一或多个扬声器输出。

显示处理模块360可经配置以从例如存储器341、通信模块342、图形处理模块343及/或执行于处理器344上的一或多个软件应用程序的一或多个源接收表示一或多个媒体元素的图像数据，所述媒体元素表示用于显示的一或多个图像。显示处理模块360可经配置以处理此所接收数据以用于经由一或多个显示器呈现。举例来说，如图3中所描绘，显示处理模块360可处理图像数据以控制源装置310的本机显示器，例如为图1中所描绘的源装置110的本机显示器的屏幕112。

显示处理模块360包含显示模块362及显示镜像处理模块364以引导及/或处理所接收图像数据来控制一或多个显示器。举例来说，显示模块362可针对源装置310的非镜像处理模式执行显示处理功能性，其中显示模块362经由显示接口348输出视频数据以控制与源装置310相关联的至少一个显示器(例如，以通信方式耦合到图1中所描绘的源装置110的屏幕112)。显示处理模块360可执行一或多个视频编解码器以解码或直接流式传输从媒体播放器314接收的经编码视频帧。举例来说，显示镜像处理模块364可执行图2的镜像处理编解码器218A的例子以将经编码视频帧直接流式传输到吸收装置并经由显示接口348输出预定义帧366，而显示模块362可解码经编码视频帧以用于经由显示接口348显示。预定义帧366可由存储器341存储。

显示镜像处理模块364可包括经配置以控制是否将由显示处理模块360及/或音频处理模块350接收的一或多个媒体元素镜像处理到与本发明的一或多个方面一致的吸收装置及如何镜像处理的硬件及/或软件组件的任何组合。举例来说，响应于从一或多个源(例如，存储器341、通信模块342、图形处理模块343及/或执行于处理器344上的一或多个软件应用程序)接收到新媒体元素，显示镜像处理模块364可直接将新媒体元素发送到吸收装置。显示镜像处理模块364存储用于经由显示接口348输出的预定义帧366。预定义帧366可表示用于经由显示接口348显示的YCbCr(或“YUV”)帧。预定义帧366可为黑帧以节省功率(例如当正在使用自适应背光时)，或当经由显示接口348输出时可将图标、图像或其它消息显示到显示装置。

显示镜像处理模块364可将预定义帧366存储到输出缓冲器324以用于经由显示接口348显示。当正消耗输出缓冲器324时，显示处理模块360可接收消耗输出缓冲器324的信号或其它指示326。作为响应，显示处理模块360可将呈现时间328与用于输送到无线显示吸收装置的对应经编码视频数据相关联以同步呈现视频数据与音频数据。呈现时间328可对应于输出缓冲器324被渲染、经由显示接口348输出及/或由媒体播放器314以其它方式呈现的时间。

在图3的实例中，出于描述本发明的技术的目的，显示处理模块360、音频处理模块350及显示镜像处理模块364被描绘为单独功能性硬件及/或软件组件。在其它实例中，本文中关于显示处理模块360、音频处理模块350及/或显示镜像处理模块364所描述的功能性可由单一硬件及/或软件组件执行。在其它实例中，显示处理模块360、音频处理模块350及/或显示镜像处理模块364中的任一者可包括多个硬件及/或软件组件，其根据归于如本文中所描述的显示处理模块360、音频处理模块350及/或镜像处理模块364的功能性组合操作。另外，即使本文中所描述的一或多个显示处理模块360、音频处理模块350及/或显示镜像处理模块364实施于软件中，如本文中所描述的此类软件模块可仍包括硬件，这是因为其通过执行于硬件处理组件上而功能性地操作。

由源装置310执行的应用程序(即，一或多个媒体播放器应用程序312、媒体播放器314及无线显示应用程序316(例如，Miracast应用程序))可确定显示处理模块360、音频处理模块350及/或显示镜像处理模块364在源装置310的操作期间的操作。应用程序可响应于用户输入以(例如)配置及开始与吸收装置的无线显示会话、经由无线显示会话重放视频、控制无线显示会话等等。

图4为说明根据本发明中描述的技术的无线显示源装置的实例操作模式的流程图。源装置110获得多媒体数据的视频帧的经编码视频数据(402)。源装置110输出视频帧的预定义视频帧而非将经编码视频数据解码并渲染为视频帧(404)。另外，源装置110获得预定义视频显示到与源装置110相关联的显示器的呈现时间(406)。源装置将呈现时间与视频帧的经编码视频数据相关联，并将经编码视频数据及呈现时间直接流式传输到无线显示吸收装置以致使无线显示吸收装置在呈现时间处呈现视频帧(408)。

图5为说明根据本文中所描述的技术的用于由无线显示源确定视频帧呈现时间以用于音频/视频同步的实例数据流的框图。在此实例中，媒体播放器314获得经编码视频帧并使用缓冲器502A到502C将经编码视频帧提供到显示镜像处理模块364。如上文关于图3所描述，显示镜像处理模块364部分操作为提供到媒体播放器314的解码接口，且因此操作为“解码组件”，但显示镜像处理模块364可不解码经编码视频帧。实际上，显示镜像处理模块364消耗(例如，读取)缓冲器502A到502C并将其作为缓冲器502A'到502C'传回到媒体播放器314以用于后续使用。显示镜像处理模块364可登记用于由媒体播放器314使用以用于“解码”经编码视频帧的镜像处理编解码器218A的实例。镜像处理编解码器218A可具有可由媒体播放器314调用且相同或至少类似于执行视频解码的视频编解码器(即，代替或除将经编码视频帧直接流式传输到吸收装置之外还执行视频解码的“实际”视频编解码器)的接口的接口。

代替解码缓冲器502A到502C中所接收的经编码视频帧，显示镜像处理模块可使经编码视频帧直接穿通到无线显示堆栈501。排除编解码器层218、220，无线显示堆栈501可表示图2的数据通信模型200的实例例子。无线显示堆栈501可表示Miracast堆栈的实例例子。

显示镜像处理模块364使用缓冲器504A到504C将预定义帧366的复本而非经编码视频帧的经解码视频帧传回到媒体播放器314。也就是说，缓冲器504A到504C中的每一者包含用于由媒体播放器314消耗的预定义帧366的复本，所述消耗可包含渲染预定义帧366的复本以用于经由显示接口输出到显示器(图5中未展示)。呈现时间T1到T3因此可指媒体播放器314消耗并释放相应缓冲器504A到504C以用于由显示镜像处理模块364的视频穿通解码器再使用的时间。缓冲器502A到502C及504A到504C可各自表示一或多个计算机可读存储媒体(未示出)中的存储元件的集合。缓冲器504A到504C可表示图3的输出缓冲器324的实例例子。结合将预定义帧366发送到媒体播放器314，显示镜像处理模块364可包含任何元数据及定时信息以致使媒体播放器314播放预定义帧，如同其为缓冲器502中接收的对应经编码视频帧的经解码视频帧一般。

在相应呈现时间(“PRESENTATION TIME”)处，媒体播放器314消耗缓冲器504A到504C并将其传回为缓冲器504A'到504C'。在所说明实例中，媒体播放器314在呈现时间T1处消耗缓冲器504A、在呈现时间T2处消耗缓冲器504B且在呈现时间T3处消耗缓冲器504C。响应于从媒体播放器314接收到消耗缓冲器504A到504C的相应通知，显示镜像处理模块364将缓冲器的呈现时间与无线显示源装置经由无线显示堆栈501发送的缓冲器502A到502C中的进行中经编码视频帧相关联。因此，在所说明实例中，显示镜像处理模块364将存储到缓冲器502A的经编码视频帧与呈现时间T1相关联、将存储到缓冲器502B的经编码视频帧与呈现时间T2相关联，并将存储到缓冲器502A的经编码视频帧与呈现时间T1相关联。

作为将呈现时间与使用(例如)Wi-Fi显示直接流式传输到无线显示吸收装置的经编码视频帧相关联的一个实例技术，显示镜像处理模块364可致使无线显示堆栈501将呈现时间与网络接入层(NAL)单元或数据包相关联。举例来说，无线显示堆栈501可将输送经编码视频帧的包化基本流(PES)的PES标头的呈现时戳(PTS)设定为如由显示镜像处理模块364确定的与经编码视频帧相关联的呈现时间。PES可与由无线显示堆栈501以类似方式产生的其它PES组合以便形成输送流(TS)或程序流(PS)。以此方式，无线显示吸收装置可确定移除经编码视频帧的经解码视频并在与经编码视频帧相关联的呈现时间处呈现。

图6为说明经配置以根据本发明中描述的技术将经编码视频数据直接流式传输到无线显示吸收计算装置的无线显示源装置的实例组件的框图。在此实例中，无线显示源装置600可执行一或多个媒体播放器应用程序或各自使用媒体播放器314的“播放器应用程序”312A到312N(统称为“媒体播放器应用程序312”)。媒体播放器应用程序312可包含(例如)经由网络接口从接入本地存储媒体的服务器或应用程序接收经编码视频数据的应用程序。媒体播放器应用程序312使用媒体播放器314重放经编码视频数据。

各种平台(其中媒体播放器314为一个实例)可具有借以执行视频重放的暴露应用程序编程接口(API)。然而，许多此类平台使用标准编解码器接口602以接入视频解码器且重放将通常最终使用硬件解码器。编解码器接口602可表示(例如)OpenMax接口。音频解码器606登记为用于编解码器接口602的音频解码器，且解码经编码音频数据以用于经由无线显示源装置600的音频接口354输出。

无线显示源装置600还执行无线显示应用程序316，其执行无线显示堆栈501以经由无线通信信道将无线显示源装置600的媒体输出镜像处理到无线显示吸收装置(图6中未展示)。对于无线显示会话，无线显示应用程序316可以编解码器接口602登记视频穿通解码器604，以致使媒体播放器314将包含于经编码音频/视觉(A/V)数据610中的经编码视频帧发送到视频穿通解码器604。视频穿通解码器604可表示镜像处理编解码器218A的实例。在编解码器接口602表示OpenMax接口的无线显示源装置600的情况下，无线显示应用程序316可将视频穿通解码器登记为OpenMax解码器以提供常用OpenMax接口。

然而，视频穿通解码器604将经编码视频帧传递到无线显示堆栈501以用于直接流式传输到无线显示吸收装置而非解码经编码视频帧。以此方式直接流式传输可减少视频处理能力负担并减少源装置上的总功率消耗。流式传输片段可在用于根据本文中所描述的技术的不同平台中的高度片断式重放框架上起作用。

另外，对于所接收的每一经编码视频帧，视频穿通解码器604将“虚拟”或预定义帧366作为对应于所接收经编码视频帧的视频经解码帧的冒名顶替(spoof)发送到媒体播放器314。结果，在一些情况下，媒体播放器314可正常操作且无需修改。

在无线显示源装置600的一些情况下，为维持音频/视频同步(AVSYNC)，视频穿通解码器604促进正确的音频及视频时戳。举例来说，当视频穿通解码器604接收到经编码视频帧时，视频穿通解码器604经由缓冲器将对应预定义且未经编码帧366发送到媒体播放器314。视频穿通解码器604获得媒体播放器314传回缓冲器以用于再使用的时间处的时戳，且视频穿通解码器604将此时戳相关联为经编码视频帧的实际播放时间或呈现时间。此可减少且在一些状况下消除无线显示源装置600执行任何额外AVSYNC技术的需要。另外，此技术可促进顺畅搜寻及其它技巧模式操作。

无线显示应用程序316可根据无线显示流式传输操作从到音频接口354的音频输出俘获音频，并使用无线显示堆栈501将所俘获音频流式传输到无线显示吸收装置。

上文所描述的技术可在不干扰平台的现有框架的情况下并入到各种平台中的许多不同媒体播放器实施方案中。因为所述技术可至少在一些状况下无需修改媒体播放器314而执行，所以可无需修改所述技术而使用第三方及其它媒体播放器应用程序312。此外，使用直接流式传输避免使用视频硬件，此情况可节省功率并减少常常昂贵的视频处理器的需要。此外，无线显示流式传输的实时本质可由以上文所描述方式使用的AVSYNC方法维持。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体发射。计算机可读媒体可包含计算机数据存储媒体或通信媒体，通信媒体包含促进将计算机程序从一处传递到另一处的任何媒体。在一些实例中，计算机可读媒体可包括非暂时性计算机可读媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器接入以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。

借助于实例而非限制，此计算机可读媒体可包括非暂时性媒体，例如，RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用以载运或存储呈指令或数据结构形式的所要程序代码且可由计算机接入的任何其它媒体。并且，任何连接被恰当地称为计算机可读媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。上文各项的组合也应包含在计算机可读媒体的范围内。

代码可由一或多个处理器执行，所述一或多个处理器例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或并入于组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必要求由不同硬件单元实现。实际上，如上文所描述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述本发明的各种实施例。这些及其它实施例在以下附权利要求书的范围内。