利用辅助增强信息的显示功率降低的制作方法

利用辅助增强信息的显示功率降低的制作方法
【专利摘要】以具有辅助增强信息(SEI)消息的有效载荷单元来发送视频片段，其中在SEI消息内嵌入了显示自适应信息，所述显示自适应信息可以被用来在各个片段的显示期间控制显示亮度并由此减少功率消耗。显示自适应信息至少包括最大像素亮度，其可以被用来将像素亮度定标为最大值并相应地减小液晶显示器的背光或者调整OLED显示器的供应电压。显示自适应信息可以可选地包括最小像素亮度、像素直方图步长和定标方法的指示符。
【专利说明】利用辅助增强信息的显示功率降低

【技术领域】
[0001] 本公开一般涉及在无线移动通信设备中减少能量消耗，并且更具体地，涉及对在 无线移动通信设备上显示的视频内容的基于内容的显示自适应控制。

【背景技术】
[0002] 近年来，移动设备的显示分辨率已得到显著提高，其中，对于智能电话机和平板电 脑，720p乃至更高的超级液晶显示器（IXD)或者OLED有机发光二极管（OLED)显示器成为 或者很快将成为主流。然而，对于再现（特别是对于其中高频帧缓冲和显示面板刷新必不 可少的视频），这样的高显示分辨率需要更多的能量。
[0003] 对于IXD显示器，功率消耗是背光亮度电平的单调函数；对于OLED显示器，功率消 耗是由供应电压以及显示内容本身控制的。尽管在一些移动设备上已经实现了亮度控制， 但是，那些控制一般必须在发布新任务之前（即在开始播放视频之前）调整。例如，亮度可 以在观看视频之前被设置在100%、50%乃至25%，但是不能在不中断对视频的播放的情 况下动态地改变。另外，因为对于OLED显示器，通过供应电压和输入图像来确定功率消耗， 所以当前的实现没有提供适应性地改变（adapt)电压的机制。
[0004] 因此，在本领域中存在对于通过使得能够根据要显示的内容来适应性地改变IXD 显示器背光亮度或者OLED供应电压而改善移动设备显示从而节省大量的显示能量的需 求。


【发明内容】

[0005] 因此，已经做出本发明以解决现有技术中出现的上述问题，并且本发明提供用于 有效地降低显示功率的方法及装置。
[0006] 技术方案
[0007] 根据本发明一方面，提供一种方法，包括：接收视频片段的数据，所接收的数据包 括辅助增强信息（supplemental enhancement information，SEI)消息，所述SEI消息包含 用于适应性地改变影响显示亮度和功率消耗的一个或多个显示参数的显示自适应信息；以 及在视频片段的显示期间，基于来自SEI消息的显示自适应信息适应性地改变显示器的至 少一个显示参数。
[0008] 根据本发明另一方面，提供一种系统，其包括：接收器，被配置成接收视频片段的 数据，所接收的数据包括辅助增强信息（SEI)消息，所述SEI消息包含用于适应性地改变影 响显示亮度和功率消耗的一个或多个显示参数的显示自适应信息；以及处理器，被配置为 在视频片段的显示期间，基于来自SEI消息的显示自适应信息适应性地改变显示器的至少 一个显示参数。
[0009] 根据本发明又一方面，提供一种方法，其包括：格式化视频片段的数据以用于传 输，经格式化的数据包括辅助增强信息（SEI)消息以及包含用于显示视频片段的数据的一 个或多个有效载荷单元，所述SEI消息包含用于适应性地改变影响显示亮度和功率消耗的 一个或多个显示参数的显示自适应信息。
[0010] 根据本发明仍一方面，提供一种系统，其包括：视频服务器，被配置成格式化视频 片段的数据以用于传输，经格式化的数据包括辅助增强信息（SEI)消息以及包含用于显示 所述视频片段的数据的一个或多个有效载荷单元，所述SEI消息包含用于适应性地改变影 响显示亮度和功率消耗的一个或多个显示参数的显示自适应信息。
[0011] 根据本发明再一方面，提供一种方法，其包括：接收视频片段的数据以用于传输， 所述数据包括辅助增强信息（SEI)消息以及包含用于显示视频片段的数据的一个或多个 有效载荷单元，所述SEI消息包含用于适应性地改变影响显示亮度和功率消耗的一个或多 个显示参数的显示自适应信息；以及向在其上要显示视频片段的设备发送数据。
[0012] 以具有辅助增强信息（SEI)消息的有效载荷单元来发送视频片段，其中在SEI消 息内嵌入了显示自适应信息，所述显示自适应信息可以被用来在各个片段的显示期间控制 显示亮度并由此降低功率消耗。显示自适应信息至少包括最大像素亮度，其可以被用来将 像素亮度定标为最大值并相应地减小液晶显示器的背光，或者调整OLED显示器的供应电 压。显示自适应信息可以可选地包括最小像素亮度、像素直方图步长和定标方法的指示符。
[0013] 在下面进行详细描述之前，阐述贯穿本专利文件中所使用的某些词汇和短语的定 义会是有利的：术语"包括"和"包含"及其派生词含义是没有限制的包括；术语"或"是包 括性的，意思是和/或；短语"与…相关联"和"与其相关联"及其派生词的含义可以是包 括、被包括在内、与…互连、包含、被包含在内、连接到或与…连接、耦接到或者与…耦接、可 与…通信、协同、交织、并列、接近于、绑定到或与…绑定、具有、具有…的性质等等；并且术 语"控制器"含义是控制至少一个操作的任意设备、系统或它们的部件，其中这样的设备、系 统或者部件可以在可由固件或者软件编程的硬件中实现。应当注意到，与任意特定控制器 相关联的功能可以是集中的或者分布式的，或者在本地或在远程。贯穿本专利文件提供特 定词汇和短语的定义，本领域普通技术人员应当理解，即便不是在大多数情况下，那么也是 在许多情况下，这些定义也适用于现有的以及将来的对这些所定义词汇和短语的使用。

【专利附图】

【附图说明】
[0014] 为了更全面地理解本公开及其优点，现提供下列结合附图进行的描述，在附图中， 同样的参考标记代表同样的部件：
[0015] 图IA是图示根据本公开一个或多个实施例的在其内设备可以实现动态的、基于 内容的显示功率降低的网络的高层图；
[0016] 图IB是根据本公开一个实施例的来自图IA所示的在其内可以实现动态的、基于 内容的显示自适应以及相应的功率降低的网络的无线设备的前视图；
[0017] 图IC是图IB中图示的无线设备的功能组件的高层图；
[0018] 图2A和2B图不了根据本公开一个实施例的利用用于动态的、基于内容的显不自 适应以及相应的功率降低的SEI消息内嵌入的显示自适应信息保持亮度的显示自适应；
[0019] 图3A和3B图不了根据本公开一个实施例的用于动态的、基于内容的显不自适应 以及相应的功率降低的视频数据位流内的SEI消息插入；
[0020] 图4是根据本公开一个实施例的利用用于动态的、基于内容的显示自适应以及相 应的功率降低的SEI消息插入来编码视频的过程的高层流程图；以及
[0021] 图5是根据本公开一个实施例的基于为了动态的、基于内容的显示自适应以及相 应的功率降低而插入的SEI消息的视频解码和显示的过程的高层流程图。

【具体实施方式】
[0022] 以下论述的图1到图5以及本专利文件中用来描述本公开原理的各种实施例仅仅 是示例性的，并不应以限制本公开范围的任何方式进行解释。本领域技术人员将理解，可以 在任何适当配置的无线通信系统中实现本公开的原理。
[0023] 用于显示自适应的元数据可以被嵌入到视频流中作为辅助增强信息 (supplemental enhancement information, SEI)消息。
[0024] 在本公开中，通过利用辅助增强信息（SEI)消息，显示自适应被嵌入到视频内容 信息内，其中SEI消息随后在解码器中被解析以帮助显示功率降低。对于LCD显示器，显示 亮度被调整，而对于OLED显示器，显示供应电压被适应性地改变。可以在视频编码期间在 编码器处导出扩展的SEI消息中的元素。
[0025] 通过启用SEI消息（即，display_adaptation〇)来定义显示自适应，取决于下层 的应用和硬件能力，所述SEI消息可被逐帧地、逐个图片组（GOP)地、逐个场景地乃至逐个 时间间隔地插入到流中。与帧级别解决方案相比，基于G0P、场景或者时间间隔的方法在消 息插入方面需要更少开销。对于不支持高频显示自适应（例如对于30赫兹（Hz)的视频， 每隔33毫秒（ms)的显示自适应）的处理器，基于G0P、场景或者时间间隔的方案比基于帧 的解决方案好。尽管如此，在这里主要利用帧级别的解决方案来解释本构思。
[0026] 图IA是图示根据本公开一个或多个实施例的在其内设备可以实现动态的、基于 内容的显示自适应以及相应的功率降低的网络的高层图。网络100包括内容编码器数据处 理系统101，其包括依据现有过程但以如下面更详细地描述的嵌入到（一个或多个）NALU首 标内的显示自适应信息编码视频内容的编码器控制器。内容编码器101通信地耦接到（或 者可替换地与其集成）向用户设备递送视频内容的内容服务器数据处理系统102。内容服 务器102被诸如互联网103的通信网络以及包括基站（BS)KM的无线通信系统耦接，用以 向用户设备105递送视频内容，其中用户设备105也可以被称为用户设备（UE)或者移动站 (MS)。如上面所指出的，用户设备105可以是能够进行除了无线语音通信之外的至少包括 播放视频内容的功能的"智能"电话机或者平板设备。可替换地，用户设备105可以是便携 式计算机或者具有LCD或者OLED显示器并在视频重放期间受益于动态的、基于内容的显示 功率降低的其它无线设备，诸如至少在典型操作的时段期间主要由电池供电的任何设备。
[0027] 图IB是根据本公开一个实施例的来自图1的在其内可以实现动态的、基于内容的 显示自适应以及相应的功率降低的网络的无线设备的前视图，并且图IC是该无线设备的 功能组件的高层框图。用户设备105是移动电话机并且包括背光式LCD (其包括在IC中描 绘的可选亮度源）或者OLED显示器106。耦接到显示器106的处理器107控制在显示器上 显示的内容。处理器107及用户设备105内的其它组件由电池（未示出）供电，电池可以 由外部电源（也未示出）充电，或者可替换地可以由外部电源供电。耦接到处理器107的 存储器108可以存储或者缓冲视频内容以用于由处理器107重放并在显示器106上显示， 并且还可以存储用于执行这样的视频重放的视频播放器应用（或者"app"）109。可以经由 连接到天线111的收发器110与视频内容的重放同时地（例如，时间上重叠）或者在所述 重放之前接收正播放的视频内容。如上所述，可以在无线通信中从基站104接收视频内容。 在示例性实施例中，由移动设备105接收到的以用于其中的重放和显示器106上的显示的 视频内容包括嵌入到（一个或多个）SEI消息内的显示自适应信息。显示自适应信息被处 理器107用来设置针对可选亮度源和显示器106的显示控件112。
[0028] 在国际电信联盟（ITU)电信标准化部分（ITU-T)视频编码专家组（VCEG)标准 H. 264的高级视频编码（AVC，也被称为移动图像专家组4第10部分或者"MPEG-4第10部 分"）以及其扩展中，每个SEI消息（一个或多个）被插入到有效载荷位流中，如下面更详 细地描述的。如下面表1中所示具有payloadType(有效载荷类型）=47的新SEI消息。 (在本示例中，对payloadType = 47的选择仅仅是出于例示的目的；可以替代地使用任何 先前未指定的PayloadType值）。每次在位流中遇到SEI消息，解码器都解析该SEI消息并 启用如表2中所定义的帧级别、GOP级别、场景级别或者时间间隔级别的显示自适应。
[0029] 通过扩展，SEI消息的当前定义被修改以支持对显示自适应相关的信息的嵌入。表 1示出了针对a 264/AVC及其扩展的扩展的SEI消息（在表1中以斜体示出修改）：
[0030] [表 1]
[0031]

【权利要求】
1. 一种方法，包括： 接收视频片段的数据，所接收的数据包括辅助增强信息（SEI)消息，所述SEI消息包含 用于适应性地改变影响显示亮度和功率消耗的一个或多个显示参数的显示自适应信息；以 及 在所述视频片段的显示期间，基于来自所述SEI消息的显示自适应信息适应性地改变 显示器的至少一个显示参数。
2. 如权利要求1所述的方法，还包括： 在于背光式液晶显示器OXD)上显示所述视频片段期间，根据来自所述显示自适应信 息的最大像素壳度值定标像素的像素壳度和背光壳度。
3. 如权利要求2所述的方法，还包括： 在于所述背光式LCD上显示所述视频片段期间，根据来自所述显示自适应信息的最大 像素亮度值和最小像素亮度值定标所述像素亮度和所述背光亮度。
4. 如权利要求3所述的方法，还包括： 在于所述LCD上显示所述视频片段期间，根据来自所述显示自适应信息的最大像素亮 度值、最小像素亮度值和像素直方图步长值定标所述像素亮度和所述背光亮度。
5. 如权利要求1所述的方法，还包括： 在于有机发光二极管（OLED)显示器上显示所述视频片段期间，根据来自所述显示自 适应信息的最大像素亮度值定标供应电压。
6. 一种系统，包括： 接收器，被配置成接收视频片段的数据，所接收的数据包括辅助增强信息（SEI)消息， 所述SEI消息包含用于适应性地改变影响显示亮度和功率消耗的一个或多个显示参数的 显示自适应信息；以及 处理器，被配置为在所述视频片段的显示期间，根据来自所述SEI消息的显示自适应 信息适应性地改变显示器的至少一个显示参数。
7. 如权利要求6所述的系统，其中，所述处理器被配置成在于背光式液晶显示器（LCD) 上显示所述视频片段期间根据来自所述显示自适应信息的最大像素亮度值定标像素的像 素亮度和背光亮度。
8. 如权利要求7所述的系统，其中，所述处理器被配置成在于所述背光式LCD上显示所 述视频片段期间根据来自所述显示自适应信息的最大像素亮度值和最小像素亮度值定标 所述像素亮度和所述背光亮度。
9. 如权利要求8所述的系统，其中，所述处理器被配置成在于所述LCD上显示所述视频 片段期间根据来自所述显示自适应信息的最大像素亮度值、最小像素亮度值和像素直方图 步长值定标所述像素亮度和所述背光亮度。
10. 如权利要求6所述的系统，其中，所述处理器被配置成在于有机发光二极管（OLED) 显示器上显示所述视频片段期间根据来自所述显示自适应信息的最大像素亮度值定标供 应电压。
11. 一种包括如权利要求6所述的系统的移动通信设备，其中，所述系统被配置成在无 线通信中从基站接收视频片段的数据。
12. -种包括如权利要求6所述的系统的平板电脑，其中，所述系统被配置成在无线通 信中从网络接收视频片段的数据。
13. -种方法，包括： 格式化视频片段的数据以用于传输，经格式化的数据包括 辅助增强信息（SEI)消息以及包含用于显示所述视频片段的数据的一个或多个有效 载荷单元，所述SEI消息包含用于适应性地改变影响显示亮度和功率消耗的一个或多个显 示参数的显示自适应信息。
14. 一种系统，包括： 视频服务器，被配置成格式化视频片段的数据以用于传输，经格式化的数据包括 辅助增强信息（SEI)消息以及包含用于显示所述视频片段的数据的一个或多个有效 载荷单元，所述SEI消息包含用于适应性地改变影响显示亮度和功率消耗的一个或多个显 示参数的显示自适应信息。
15. -种方法，包括： 接收视频片段的数据以用于传输，所述数据包括 辅助增强信息（SEI)消息以及包含用于显示所述视频片段的数据的一个或多个有效 载荷单元，所述SEI消息包含用于适应性地改变影响显示亮度和功率消耗的一个或多个显 示参数的显示自适应信息；以及 向在其上要显示所述视频片段的设备发送所述数据。
16. 如权利要求11所述的方法、如权利要求6所述的系统、如权利要求13所述的方法、 如权利要求14所述的系统或者如权利要求15所述的方法，其中，所述显示自适应信息包括 最大像素亮度值、最小像素亮度值和像素亮度直方图步长值中的一个或多个。
17. 如权利要求11所述的方法、如权利要求6所述的系统、如权利要求13所述的方法、 如权利要求14所述的系统或者如权利要求15所述的方法，其中，所述显示自适应信息包括 指示从保持亮度的定标方法、保持对比度的定标方法和感观上无损的定标方法中选择的定 标方法的标识符。
【文档编号】G09G3/20GK104246866SQ201380020811
【公开日】2014年12月24日 申请日期:2013年4月19日 优先权日:2012年4月20日
【发明者】马展, 董勉, F.C.A.费尔南德斯, 黄承吾 申请人:三星电子株式会社