无线显示信宿设备的制作方法

文档序号:15106010发布日期:2018-08-04 16:53阅读:178来源:国知局

无线显示器显示其例如使用实时传输协议(RTP)传输和H.264压缩无线接收的数据。RTP是用于管理单播或组播网络服务上的多媒体数据的实时传输的因特网协议标准。H.264压缩是根据由ITU-T的联合视频组(Joint Video Team)维护的称为H.264/AVC的标准的用于基于面向块运动补偿(block-oriented motion-compensation)的视频压缩的视频编码格式。MPEG2传输流是用于视频和音频的传送和存储的标准容器格式。参见ISO/IEC标准13818-1。

支持无线显示当前是针对小形状因子移动设备的最费力的工作负荷中的一个。朝较高分辨率(视网膜质量)显示、具有较严格热约束的较薄且较轻的移动设备的趋势,以及日益拥挤的网络将增加无线显示的工作负荷。在这些平台上实现的体验(包括电池寿命、图像示例以及端到端等待时间)将在没有显著突破的情况下受到严重挑战。

通常,在信宿(sink)侧,显示帧定时以有规律的间隔对经解码帧缓冲器进行采样并显示最新的可用帧。如果在显示侧,无规律抵达的帧全部被显示,则当帧被缓冲以供显示时会发生延迟累积,从而不利地影响显示的响应性。

更常见的,显示侧处理将丢弃延迟超出显示时间的帧,并且仅示出最新的帧。这会由于由缺失帧导致的运动平滑度不足而影响用户体验。此外,任何显示侧帧速率向上转换是与无线显示分开进行的,并且在丢弃已发生之后对帧进行帧速率转换操作。

附图简述

参照以下附图描述一些实施例:

图1是信源(source)定时图;

图2是信宿定时图;

图3是一个实施例的信宿定时图;

图4是一个实施例的流程图;

图5是一个实施例的示意性描绘;以及

图6是一个实施例的系统。

具体实施方式

较高帧速率(主机处的原始显示帧速率的倍数)在显示信宿设备处被利用来机会性地按信宿的较高刷新速率插入新的经解码帧以供显示。换言之,抵达信宿的延迟帧可获得在较高刷新率周期期间被显示的机会,从而提供较好(“较平滑”)的观看体验以及改进的交互性或“响应性”。

帧速率不一定是均一的。目标是以使用较细粒度采样间隔来创建的最早机会及时地显示接收帧。较高帧速率转换进一步被整合在接收器侧无线显示流水线的上游,而不是作为后处理步骤。由于此技术提供了在信宿处显示延迟帧的附加机会,因此其也可以受益于在信源侧逻辑处关于在帧于信宿侧可被显示的情况下避免跳过帧的修改。

特别地,信源可以通过将静态帧编码为具有比可用于在一个帧时间内传输的更大数量的比特的期望质量目标来优化功率和质量。通过编码一次并转为空闲,编码器使用快速停止(race-to-halt)策略来节省功率。随后,当这个“巨型(jumbo)”帧被传送(并且新帧更新在上游累积)时,可以推迟进一步的帧捕捉/编码。此类可变帧速率流在信宿处被接收时,此处描述的方法非常适于利用它来递送较好的质量。这类似于较低帧速率编码——关键区别在于调整是动态完成的,并且也可以是基于区域而不是全帧来完成的(如果像例如高效视频编码(HEVC)中的基于瓦片的编码那样的一些工具被启用)。

尽管在此描述了无线显示,但是这些技术也适用于具有可变等待时间通信的其他形式的“分组化”显示系统,包括例如通过通用串行总线(USB)批量(相对于等时)传输的显示。

在生产力占主导地位的场景中,针对功率/等待时间/质量来设计无线显示解决方案可在主机处产生自适应帧速率。此外,在信宿侧,通常在解码器之后存在帧速率转换(FRC),该帧速率转换在所接收图片帧之间进行插值以生成较高帧速率输出。无线显示接收器、视频解码器(例如,H.264)和FRC逻辑可被整合在一起。

由于可变帧速率和尺寸,帧可在不同时间在信宿侧是可用的(由于极低的等待时间需求,它们可能不被深度缓冲)。信宿侧的灵活策略着眼于FRC的较高帧速率输出处的显示时间,并且将已被接收的具有延迟一个或多个延迟帧机会性地插入例如帧的突发中。灵活策略选择哪些帧用于被包括在显示中,从而在一些实施例中在不会不必要地牺牲响应性的同时提供改进的“平滑度”。简单的示例将着眼于可用帧的帧(时间)索引并创建尽可能均一的时间间距(按照较高帧速率显示输出时刻)。更复杂的办法可着眼于诸如运动和空间细节之类的统计(可从压缩流中获得或被独立推断)来决定哪些帧用于显示,以便保持时间“流”尽可能平滑。

在普通的无线显示信宿中,播出的“平滑度”(通过丢弃延迟帧)或“响应性”(通过等待以在帧抵达时显示帧)将会有所牺牲。相反,在一些实施例中,信宿(i)与优化经受等待时间/质量约束的功率的经优化主机侧解决方案一起工作以及(ii)通过紧密集成和利用具有信宿侧帧速率向上转换和缓冲器管理的主机端策略来递送用户感知的质量参数(诸如播出平滑度以及响应性)方面的最好可能权衡。

典型地在能量高效系统中为了最小的所添加等待时间,信源处的策略是完成大帧的传输,并根据需要推迟或跳过后续帧来赶上。在信宿处,使得大帧可用于以延迟时间来显示。然而,显示器处的较高可用帧速率创建了显示延迟帧的附加机会——即,在相对于信源帧定时的分数(fractional)帧时间处。

因此,无线显示信源编码能以较低速率(例如,30fps)来执行,但信宿具有经由帧速率转换(FRC)来以较高帧速率(例如,60或120fps)驱动显示器的能力。在图1中,帧#2在信源处以大量比特进行编码。替代用平滑缓冲器来吸收此较大帧,低等待时间系统在多个帧时间内传送比特,根据需要丢弃一些后续帧,直到信宿可再次赶上实时为止,如图2中所示出的那样。这种情况有时可导致所丢弃帧的相对大的突发,这导致显示器上的冻结图片。在图3所示的基线方法中,可用帧每个被示出两次(标称FRC),但这仍然导致三个跳过帧(帧3、4和5)不被显示。

在根据一个实施例的图3中,信源帧速率的倍数(例如,60fps)在信宿处被用于赶上跳过帧。在示例中,两个跳过帧(帧3和5)被插入至帧2与6之间以使显示平滑,从而在交互应用中潜在地提供较合意的用户体验,且具有较少的断断续续(stutter)和/或冻结帧。

图4中所示的序列10能以软件、固件和/或硬件来实现。在软件和固件实施例中,其可通过存储在诸如磁、光或半导体存储之类的一种或多种非瞬态计算机可读介质中的计算机执行指令来实现。

序列10通过以帧速率x无线地接收帧而开始。所接收的帧在框13处被解码。例如,接收帧速率可以是每秒三十帧并且帧速率在信宿处被转换成x的整数倍(诸如,每秒60或120帧),如在框14中指示的那样。随后,增加的帧速率被用于添加延迟帧,如框16中指示的那样。

无线接收器和显示器20的示意性描绘在图5中被示出。接收器和解码器22从信源接收无线信号。其随后缓冲经解码信号,如框24中指示的那样。帧速率转换可被实现,如框26中指示的那样。随后,基于帧速率转换的量、延迟帧的数量以及帧的尺寸,一些跳过帧可如框28中指示的那样被重新插入以用于显示器30上的最终显示。在一些实施例中,显示器可以是分开的设备并且可在帧插入28与显示器30之间使用加密。

参看图6,媒体信源40可将音频和视频数据无线地传送至视频信宿设备42。传输可通过各种无线协议(包括全球微波接入互操作性(WiMax)(IEEE802.16)、移动WiMax、IEEE 802.15、蓝牙、IEEE 802.11、WiFi(IEEE 802.11x)、无线千兆比特联盟(WiGig)或蜂窝(诸如,4G),此处仅列举一些示例)中的任一种进行。

媒体信源40可包括被耦合至存储46的一个或多个处理器44。存储可被提供来存储软件和媒体两者。

处理器44被耦合至编码器48。编码器可编码视频和音频两者。例如,根据一些实施例,编码器可包括运动图像专家组(ISO/IEC JTC11 SC29/WG11(标准ISO/IEC 14496))(MPEG-4)或H.264视频编码器。其还可包括音频编码器,诸如MPEG-2音频、MPEG-4音频、音频编码3(AC-3)、高级音频编码(AAC)或线性预测编码(LPC)音频编码器。

编码器将经编码媒体耦合至收发机50,该收发机50负责通过适当的无线协议传送至无线信宿设备42,该无线信宿设备42包括内部或外部显示器58。

无线信宿设备42包括用于从信源进行接收和传送的收发机52。所接收信息被提供至解码器54。解码器可将所接收信息解码成各种经解码数据格式中的一种。接口56可负责将可以以一种格式(诸如,最小化传输差分信令(TMDS)或高分辨率多媒体干扰(HDMI))来解码的所接收信息转换成例如适于显示器58的另一格式(诸如,低电压差分信令(LVDS))。

解码器54还将音频输出提供至音频数模转换器(DAC)64。

信号的定时以及特别是视频数据的定时可通过使用定时控制器或T-CON 60来调节。行和列驱动器62可驱动显示器58。显示器可以是各种格式(包括液晶显示器(LCD)、场发射显示器(FED),等离子显示面板(PDP)、发光二极管(LED)或电子纸显示器(EPD),此处仅提及一些示例)中的任一种。

以下条款和/或示例涉及进一步的实施例:

一个示例实施例可以是一种方法,包括在无线显示信宿处无线地接收帧,解码所述帧,增加所述经解码帧的所述帧速率,以及使用所述增加的帧速率来插入延迟帧。方法可包括将所述帧速率增加主机帧速率的整数倍。方法可包括基于增加的信宿帧速率、所述帧的尺寸以及延迟帧的数量来插入多个延迟帧。方法可包括基于可用于显示的帧的帧时间索引来确定哪些帧通过使用所述增加的帧速率来显示。方法可包括创建由所述增加的帧速率所能达到的尽可能均一的时间间距。方法可包括使用统计来决定显示哪些帧以保持平滑时间流。方法可包括使用统计信息,包括使用运动和空间细节统计信息。方法可包括从包括所述帧的压缩帧流获得统计信息。方法可包括独立于包括所述帧的压缩帧流来推断所述统计信息。

另一示例实施例可以是一种或多种非瞬态可读介质,存储用于执行包括以下各项操作的序列的指令:在无线显示信宿处无线地接收帧,解码所述帧,增加所述经解码帧的帧速率,以及使用所述增加的帧速率来插入延迟帧。介质可进一步存储用于执行包括以下操作的序列的指令:将所述帧速率增加主机帧速率的整数倍。介质可进一步存储用于执行包括以下操作的序列的指令:基于增加的信宿帧速率、所述帧的尺寸以及延迟帧的数量来插入多个延迟帧。介质可进一步存储用于执行包括以下操作的序列的指令:基于可用于显示的帧的帧时间索引来确定哪些帧通过使用所述增加的帧速率来显示。介质可进一步存储用于执行包括以下操作的序列的指令:创建由所述增加的帧速率所能达到的尽可能均一的时间间距。介质可进一步存储用于执行包括以下操作的序列的指令:使用统计来决定显示哪些帧以保持平滑时间流。介质可进一步存储用于执行包括以下操作的序列的指令:其中使用统计包括使用运动和空间细节统计信息。介质可进一步存储用于执行包括以下操作的序列的指令:从包括所述帧的压缩帧流获得统计信息。介质可进一步存储用于执行包括以下操作的序列的指令:独立于包括所述帧的压缩帧流来推断所述统计信息。

在另一示例实施例中,装置包括处理器,该处理器用于在无线显示信宿处无线地接收帧,解码所述帧,增加所述经解码帧的帧速率,以及使用所述增加的帧速率来插入延迟帧;以及存储器,该存储器被耦合至所述处理器。装置可包括,所述处理器用于将所述帧速率增加主机帧速率的整数倍。装置可包括,所述处理器用于基于增加的信宿帧速率、所述帧的尺寸以及延迟帧的数量来插入多个延迟帧。装置可包括,所述处理器用于基于可用于显示的帧的帧时间索引来确定哪些帧通过使用所述增加的帧速率来显示。装置可包括,所述处理器用于创建由所述增加的帧速率所能达到的尽可能均一的时间间距。装置可包括,所述处理器用于使用统计信息来决定显示哪些帧以保持平滑时间流。装置可包括,所述处理器用于使用统计信息包括使用运动和空间细节统计信息。装置可包括,所述处理器用于从包括所述帧的压缩帧流获得统计信息。装置可包括,所述处理器用于独立于包括所述帧的压缩帧流来推断所述统计信息。装置可包括收发机和天线。

在本说明书通篇中对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本公开包含的至少一个实现内。因此,短语“一个实施例”或“在一实施例中”的出现不一定指代相同的实施例。此外,特定特征、结构或特性可按照与所说明的特定实施例不同的其他适当形式来创立,而且所有此类形式可涵盖在本申请的权利要求内。

尽管已经描述了有限数量的实施例,但是本领域技术人员将从中认识到许多修改和变型。所附权利要求书旨在涵盖落入本公开的真实精神和范围内的所有这些修改和变型。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1