功率感知视频解码和串流的制作方法
【专利说明】功率感知视频解码和串流
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年7月9日提交的美国临时专利申请No. 61/669,581的权益，所 述申请的内容全部通引用结合于此。
【背景技术】
[0003] 随着移动设备的普及继续增加，这些移动设备正被用于更多种类的应用。附加地， 移动设备诸如智能手机正利用越来越复杂的功能。处理中的增加会增加功率消耗，这样负 面地影响在有限功率情况下诸如当电池为用于设备的电源时的用户体验。
【发明内容】
[0004] 公开了用于移动设备根据可用功率和/或能量解码视频的方法和系统。例如，移 动设备从视频服务器接收针对视频串流的媒体描述文件（MDF)。所述MDF包括与多个视频 分段相关联的复杂性信息。所述复杂性信息可以被关联到将被利用于在移动设备处解码所 述分段的处理功率的量。所述移动设备确定针对所述移动设备的至少一个功率量度。例 如，所述功率度量可以为留下给当前电源诸如电池的能量的量。所述移动设备基于来自所 述MDF的复杂性信息和所述功率量度来确定针对第一视频分段所请求的第一复杂性级别。 所述移动设备可以从所述视频服务器请求以所述第一复杂性级别的第一视频分段。
[0005] 例如，MDF中所述复杂性信息可以根据视频分段而提供。被用来确定请求合适的 复杂性等级的功率量度包括将被分配用于对视频的剩余部分进行解码的能量的量，用于之 前解码的能量的量，在移动设备处采集的与先前解码后的分段有关的统计，以被用于对所 述分段质量进行解码的功率比形式的成本信息，以用于所述分段的复杂性的功率比形式的 成本信息等等。所述移动设备可以确定所述视频串流的剩余部分的持续时间，并且可以确 定所述第一视频分段的持续时间。所述移动设备之后可以基于被分配用于解码所述视频串 流的剩余部分的能量的量、所述视频串流的剩余部分的持续时间和所述第一视频分段的持 续时间来确定被分配给所述第一视频分段的能量的量。所述移动设备可以基于在所述视频 串流中剩余的每个分段将被分配等量的能量以用于解码的假设做出判断。被分配用于每个 剩余分段的能量的总和少于或等于被分配用于完成所述视频解码的总功率。
[0006] 所述移动设备通过确定将导致大致使用被分配给所述第一视频分段的能量的量 来解码所述第一视频分段的复杂性级别的方式基于来自所述MDF的复杂性信息和所述功 率量度来确定针对所述第一视频分段所请求的第一复杂性级别。例如，所述复杂性级别可 以被量化，并且所述移动设备可以选择满足期望的功率使用目标的最复杂级别。所述移动 设备通过基于分配给先前分段、被用来解码先前分段的复杂性级别和被分配用于解码所述 第一视频分段的功率选择所述第一复杂性级别的方式基于来自所述MDF的复杂性信息和 所述功率量度来确定针对所述第一视频分段所请求的第一复杂性级别。
[0007] 移动设备可以自动地或结合网络调节解码过程从而节省能量同时限制引入解码 误差。例如，移动设备确定所述第一视频分段的区域是否包括超过高频阈值的高频分量。移 动设备在所述高频分量超过所述高频阈值的条件下在针对所述区域的运动补偿期间应用 第一插值滤波器，或者在所述高频分量不超过所述高频阈值的条件下针对所述区域的运动 补偿应用第二插值滤波器。所述第二插值滤波器与比所述第一插值滤波器较短的抽头（例 如，较低的截止频率）相关联，从而限制存储器接入和节省功率。移动设备可以确定不应用 具有较短抽头的滤波器（例如，较低的截止频率），即使根据确定该区域为针对其它区域的 参考存在很少的高频分量，意味着传播差错的概率更高。移动设备可以针对所述第一视频 分段中的参考图片执行解块，以及避免针对非参考图片执行解块。
[0008] 移动设备或其它无线发射接收单元可以包括用于基于功率条件动态改变视频解 码的一个或多个功能性组件。例如，移动设备可以包括收发信机，所述收发信机被配置成请 求来自视频服务器的针对视频文件的MDF并且从所述视频服务器接收所述MDF。其中所述 MDF包括针对多个视频分段的复杂性信息。所述移动设备可以包括被配置成存储针对先前 分段解码的统计的复杂性统计和控制单元。例如，针对先前分段解码的统计包括与解码至 少一个先前分段相关联的功率信息和针对至少一个先前分段的复杂性信息。移动设备可以 包括被配置成确定当前能量级别或功率级别信息的功率探测器。移动设备可以包括功率感 知自适应控制器，所述功率感知自适应控制器被配置成确定基于来自所述MDF的复杂性信 息、针对所述先前分段解码的统计和当前功率信息来确定针对后续分段所请求的复杂性级 另IJ。移动设备包括解码器，所述解码器被配置成基于由所述功率感知自适应控制器确定的 信息确定应用于解码所述后续分段的参数或方法。
[0009] 例如，所述解码器被配置成基于在给定区域内的像素采样的频率分析来确定应用 于给定区域的运动补偿的插值滤波器。所述解码器被配置成针对具有低于特定阈值的高频 分量的区域的较高层时间预测，利用具有比第二插值滤波器更短的抽头（例如更低的截止 频率）的第一插值滤波器，并且针对较低层时间预测使用第二插值滤波器，即使当较低层 的高频分量低于所述阈值。所述解码器被配置成针对除了至少块间外具有低于特定阈值的 高频分量的区域，利用具有比第二插值滤波器更短的抽头（例如，更低的截止频率）的第一 插值滤波器，其中块间的非因果邻居包括一个或多个内部编码的块。避免块间可以帮助阻 止在内部编码存在下的传播差错，其中块间的非因果邻居包括一个或多个内部编码的块。 所述功率为所述功率为自适应控制器，被配置成基于来自所述MDF的复杂性信息、针对先 前分段解码的统计和当前功率信息来确定针对所述后续分段所请求的分辨率。所述分辨率 可以以指定的复杂性级别进行请求。所述复杂性级别可以对应于所述编码器执行编码时的 细节级别。
[0010] 公开了一种用于无线发射/接收单元（WTRU)与视频服务器交互以在视频解码期 间动态节省功率的方法。例如，可以动态地更新有关用于解码剩下的功率量的判断并且根 据更新后的判断确定合适的复杂性级别以选择视频分段。例如，所述WTRU请求来自所述视 频服务器的MDF。所述WTRU从所述视频服务器接收所述MDF。所述MDF包括用于解码视频 串流的一个或多个视频分段的复杂性信息。所述WTRU至少部分基于被分配用于解码所述 视频串流的剩余部分的剩余能量的量来确定被分配用于解码所述视频串流的视频分段的 能量的量。所述WTRU基于被分配用于解码所述视频串流的视频分段的能量的量来确定针 对所述视频串流的第一视频分段所请求的第一解码复杂性级别。所述WTRU请求针对所述 第一视频分段的第一解码复杂性级别。所述WTRU重新估计被分配用于解码所述视频串流 的剩余部分的剩余能量的量并且确定所述WTRU缺少足够的能量来完成每个视频分段以当 前能量级别对所述视频串流的解码。
[0011] 所述WTRU基于被分配用于解码所述视频串流的剩余部分的剩余能量的新的量来 确定被分配用于解码所述视频串流的剩余视频分段的能量的新的量。所述WTRU基于被分 配用于解码所述视频串流的剩余视频分段的能量的新的量来确定针对所述视频串流的第 二视频分段所请求的第二解码复杂性级别。每个所述剩余视频分段基于被分配用于解码所 述视频串流的剩余部分的能量的新的量而被分配等量的能量。针对各个视频分段的各个复 杂性级别基于被分配用于解码视频分段的能量的量、所述各个视频分段的持续时间和与被 利用用于解码至少一个先前分段的能量相关联的统计、针对所述至少一个先前分段的复杂 性级别、和所述至少一个先前分段的持续时间而被选择。所述WTRU向所述服务器报告针对 各个解码后的分段的功率使用统计，并且所述WTRU基于所述报告接收给定复杂性的视频 分段。
【附图说明】
[0012] 更详细的理解可以从下述结合附图以示例的方式给出的详细描述中得到，其中：
[0013] 图IA是在其中一个或更多个公开的实施例可得以实现的示例通信系统的系统 图。
[0014] 图IB是可在图IA所示的通信系统中使用的示例无线发射/接收单元（WTRU)的 系统图。
[0015] 图IC是可在图IA所示的通信系统中使用的示例无线电接入网和示例核心网的系 统图。
[0016] 图ID是可在图IA所示的通信系统中使用的另一示例无线电接入网和示例核心网 的系统图。
[0017] 图IE是可在图IA所示的通信系统中使用的另一示例无线电接入网和示例核心网 的系统图。
[0018] 图2描述了移动设备增加数量的趋势。
[0019] 图3描述了示例推送模式视频串流系统。
[0020] 图4描述了示例基于HTTP的视频串流系统。
[0021] 图5描述了可以在移动设备上实现的智能手机平台的示例架构。
[0022] 图6A描述了在视频回放场景中的功率使用示例。
[0023] 图6B描述了动态电压和频率调节。
[0024] 图7描述了示例功率感知视频串流系统。
[0025] 图8描述了在客户端处的示例可能切换操作点。
[0026] 图9描述了在HEVC解码中的示例流程。
[0027] 图10描述了针对lumaMC流程的不同像素位置示例。
[0028] 图IIA和IIB描述了针对使用HM6. 1解码器的HEVC和使用随机接入（RA)设置进 行编码的比特串流的时间简档示例。
[0029] 图12A描述了示例插值滤波器波形，所述示例插值滤波器波形可以被用于在高频 范围中的频率分量的相对小部分的区域。
[0030] 图12B描述了针对图12A的插值滤波器的示例频率响应。
[0031] 图13描述了在HEVC中的分层编码结构示例。
[0032] 图14描述了在HEVC内部编码中使用的示例方向。
【具体实施方式】
[0033] 近些年来，移动设备已经成为用于广大用户和应用选择的计算平台。例如，实际 的片上系统（SoC)集成电路的快速演进已经允许移动设备增加其可用功能性同时保持在 使其对于手持使用实用的大小。近来，IC已经极大地增加了移动设备的计算能力，例如，在 CPU频率和/或可用处理内核数量方面。附加地，在带宽的增加和/或无线网络互联技术 (例如，4GLTE、HSPA+、WiFi等）的整个数据率已经允许移动设备以与传统宽带因特网接入 可比的速度获得媒体。
[0034] 这些进步是移动设备高利用率的一些原因，这引起在部署中不断增加