用于视觉条件意识视频编码的感知预处理滤波器的制造方法
【专利说明】用于视觉条件意识视频编码的感知预处理滤波器
[0001] 相关申请的交叉引用
[0002] 本申请要求2012年11月16日提交的美国临时申请序列号No. 61/727, 203、2013 年6月13日提交的美国临时申请序列号No. 61/834, 789、以及2013年9月9日提交的美国 临时申请序列号No. 61/875, 415的权益，各申请的全部内容以引用的方式结合于此。
【背景技术】
[0003] 视频与移动视频是在全球互联网与移动互联网中迅猛增长流量部分。视频流客户 端，例如无线发射接收单元（WTRU)，可以应用流速率适配技术，例如根据通信网络条件（例 如，可用带宽）选择比特率、分辨率等等，来提供尽可能最高的流多媒体播放品质。
[0004] 视频流速率适配技术可能无法考虑到视觉条件，其可能会影响可由视频流客户端 的端用户所感知的视频质量。
【发明内容】
[0005] 可以实现一种感知滤波器用以从一个视频信号中滤波一个或者多个空间频率，其 低于其观看者的对比敏感度极限。感知滤波器例如基于局部对比度和/或一个或多个振动 的方向可以对空间频率进行自适应滤波。感知滤波器可以被配置用于基于例如内容、观看 距离、显示密度、对比度、显示亮度、背景亮度、和/或观看者的年龄，以像素为基础调节一 个或者更多个感知滤波器基于像素的参数。可以执行对视频帧的DC电平、振幅偏差、以及 对比敏感度的估计。感知滤波器的空间截止频率可被映射到对比敏感度。感知滤波器可以 作为视频编码器的预处理步骤以便减少编码后的比特率。人类视觉系统的倾斜效应现象可 以结合到感知滤波器中。
[0006] 输入视频信号的预处理可以包括接收至少一个属于视频信号的观看者对该输入 视频信号的感知的参数。至少一个参数可以包括显示亮度和背景亮度中的至少一个。预处 理可以包括根据至少一个参数配置自适应低通滤波器。预处理可以包括使用自适应低通滤 波器对输入视频信号滤波以产生输出视频信号。对自适应低通滤波器进行配置可以包括将 人类视觉系统的倾斜效应现象结合到自适应低通滤波器中。
【附图说明】
[0007] 图1描绘利用坎贝尔-罗伯逊（campbell-robson)图的示例对比敏感度函数；
[0008] 图2描绘示例感知滤波器的方框图，该感知滤波器可为感知倾斜滤波器；
[0009] 图3为示出示例环境自适应感知滤波器的方框图；
[0010] 图4描绘应用感知预处理滤波器的示例视频系统架构；
[0011] 图5描绘示例视频观看设置的参数；
[0012] 图6为视频系统的方框图；
[0013] 图7为视频滤波装置的方框图；
[0014] 图8为供应装置的方框图；
[0015] 图9示出视频流；
[0016] 图10示出视频帧；
[0017] 图11为方法的流程图；
[0018] 图12A描绘示例输入视频和/或图像；
[0019] 图12B描绘图12A所描绘的示例输入视频和/或图像的亮度分量；
[0020] 图12C描绘在黑电平调整之后图12B所描绘的示例输入视频和/或图像的亮度分 量；
[0021] 图12D描绘了与图12A所描绘的示例输入视频和/或图像对应的DC估计；
[0022] 图12E描绘了与图12A所描绘的示例输入视频和/或图像对应的振幅包络线估 计；
[0023] 图12F描绘了与图12A所描绘的示例输入视频和/或图像对应的截止频率分布 图；
[0024]图12G描绘了图12A所描绘的示例输入视频和/或图像的滤波后的输出图像；
[0025] 图13为示出环境光反射的示意图；
[0026] 图14为示出环境对比度计算的示例输入的示意图；
[0027] 图15描绘感知DC的中央凹的视野中的周期数量的示例；
[0028]图16描绘由周期每度到周期每像素的示例转换；
[0029] 图17是选择包含在各自局部区域中的像素的方法的流程图；
[0030] 图18描绘振幅包络线估计的示例流程图；
[0031] 图19描绘示例Movshon与Kiorpes对比敏感度函数（CSF)模型；
[0032] 图20为示出示例CSF与近似逆的曲线图；
[0033] 图21描绘可以用于使用对比敏感度计算截止频率的示例关系；
[0034] 图22示出作为环境和目标亮度比的函数的示例比例因子；
[0035] 图23为示出示例的CSF随年龄变化的图表；
[0036] 图24为示出示例的CSF随年龄缩放的图表；
[0037] 图25描绘了示例感知滤波器的频率特性；
[0038] 图26为将截止频率描绘为定位角的函数的图表；
[0039] 图27描绘针对可由可分离低通滤波器实现的频率特性的示例近似频率特性； [0040]图28描绘了利用三对可分离滤波器实现频率特性的示例；
[0041] 图29A描绘了测试图像；
[0042] 图29B描绘了图29A的示例测试图像，其由示例感知滤波器滤波；
[0043] 图29C描绘了图29A的示例测试图像，其由示例感知倾斜滤波器滤波；
[0044] 图29D描绘了对应于图29B与29C的滤波后的图像的差值图像；
[0045] 图30描绘了示例预处理滤波器设置；
[0046] 图31描绘了对于示例视频的应用示例感知倾斜滤波器相较于无滤波（原始编码） 不例比特率节省（bitratesaving);
[0047] 图32描绘了对于示例视频的应用示例感知倾斜滤波器相较于统一预滤波示例比 特率节省；
[0048] 图33描绘了环境自适应滤波的示例结果；
[0049] 图34A描绘了其中可以实现一个或者更多个所公开的实施方式的示例通信系统 的系统图；
[0050] 图34B描述可于图34A中所示的通信系统中使用的示例无线发射/接收单元 (WTRU)的系统图；
[0051] 图34C描述了可于图34A中所示的通信系统中使用的示例无线接入网络与示例核 心网的系统图；
[0052] 图34D描述了可于图34A中所示的通信系统中使用的示例无线接入网络与示例核 心网的系统图；
[0053] 图34E描述了可于图34A中所示的通信系统中使用的示例无线接入网络与示例核 心网的系统图。
【具体实施方式】
[0054] 移动视频流与移动视频会议可在各种场所以及各种时刻为用户提供对视频内容 的灵活接入和/或观看。与传统的可能较为静止的电视显示相比，例如移动装置的WTRU可 以在期望的距离与方向上为用户灵活建立WTRU以符合用户端偏好。用户可以不被局限在 特定的位置，例如在家、在剧院等等观看内容，而可以在各种位置中的任意位置观看内容。
[0055] 除通信网络条件外的一个或者更多个因素可决定流客户端（例如，移动装置）的 显示屏上呈现的视频信息的可视性，其可能包括下述中的一个或者更多个：距移动装置的 观看距离、移动装置的显示屏尺寸、显示屏的对比敏感度、显示屏的像素密度诸如此类。例 如，距用户一臂长处所持的移动装置可能相较于用户握持距离较近的移动装置以更高的空 间密度显现视频信息。类似地，观看阳光直射下的移动装置较观看位于暗环境下的移动装 置，视频信息的可视性可能更低。
[0056] 此类影响视觉信息感知的因素可以为感知预处理滤波器所考虑，该滤波器可以用 于，例如，降低发送给观看装置的编码视频的比特率。感知滤波器可以用于将视频发送至移 动或静止装置，并且可以根据与观看装置相关的当前条件进行调整。观看者利用移动装置 可以体验更为多样的观看条件并且可能更需要降低带宽。因此感知滤波器可以在保持视频 感知质量的同时通过压缩视频降低所得到的比特率。
[0057] 1?引言
[0060] 其中1^_与1_分别可以为最大与最小亮度值。[0061] 或者，对比度可以表达为
[0058] 对比度或亮度对比度可以为感知度量，例如，其可以定义两种颜色的感知亮度之 间的差异。周期性图样的对比度（例如，正弦光栅）可以利用迈克尔逊对比测量，其可以表 达为
[0059]
[0062]
[0063] 对比度阈值可以与能够引起人类视觉系统的感知响应的对比度等级相一致。对比 度阈值的倒数可以称为对比敏感度。对比敏感度可以表达为
[0064]
[0065] 对比敏感度可以随着空间频率变化，例如如图1中所描绘的坎贝尔-罗伯逊 (campbell-robson)图所不。在坎贝尔-罗伯逊（campbell-robson)图中，空间频率可以从 左侧至右侧对数增长并且对比度可以从底端到顶端对数减少。对比敏感度与空间频率之间 的关系可被称为对比敏感度函数（CSF)。图1中示出示例CSF曲线。
[0066]CSF可以在4周期每度（CPD)具有最大值，并且敏感度可以在较低与较高频率均 减少，从而形成带通特性。CSF曲线可以定义视觉阈值，其中在该曲线下的区域可对观看者 可见，而该曲线上的区域可对观看者不可见（例如，可以为看不见的）。CSF模型可以包括 Movshon与Kiorpes模型、Barten模型和/或Daly模型中的一个或者更多个。
[0067] 自适应低通滤波器（例如，感知滤波器）可以基于人类视觉系统的CSF模型，例 如，如图2中所描绘的。感知滤波器202的输入可以包含输入视频和/或图像、移动装置显 示屏与移动装置用户之间的观看距离、与显示屏相关的对比度、和/或显示屏的显示像素 密度中的一个或更多个。可对输入进行信号处理，例如，以生成自适应低通滤波器202的截 止频率。
[0068] 本公开的一些实施方式、或其部分，可以组合一个或者更多个硬件组件，例如微处 理器、微控制器、或者数字时序逻辑等，例如具有一个或者更多个软件组件（例如，程序代 码、固件、常驻软件、微代码等）的处理器，软件组件存储在虚拟计算机可读存储装置例如 计算机存储器中，以组合形成为实现本申请中所描述的功能的特别配置的设备。这些组合 形成被特别编程的装置，在本申请中通常可称为"模块"。模块的软件组件部分可以以任何 计算机语言编写并且可以为单片代码库的一部分、或者可以在更离散代码部分发展，例如 为面向对象的计算机语言中的典型。此外，模块可以分布在多个计算机平台、服务器、终端、 诸如此类之上。甚至可以实施所给定的模块以便所描述的功能由单独的处理器和/或计算 机硬件平台执行。
[0069] 如图2中所示，结合各功能模块描绘自适应滤波器设备的实施方式。色彩空间转 换模块204接收图像（例如，视频帧）并且将所接收的图像的色彩空间转换为线性色彩空 间。然后模块204将色彩空间转换图像提供给亮度计算模块206以及自适应低通滤波器 202。亮度计算模块206基于接收到的色彩空间转换图像生成亮度图像并且将亮度图像提 供给黑电平调节模块208。
[0070] 感知特性模块向黑电平调节模块208提供预期显示装置对比度的对比度标示。感 知特性模块进一步向DC估计模块210与截止频率计算模块218提供观看距离标示与像素 密度标示，该观看距离标示包括从显示装置用户到预期显示装置之间的距离，而像素密度 标示包括预期显示装置的像素密度。
[0071] 黑电平调节模块208基于接收到的亮度图像与接收到的对比度标示生成黑电平 调节图像。然后模块208向DC估计模块210与差分模块214提供黑电平调节图像。DC估 计模块210基于接收到的观看距离与像素密度标示，通过估计黑电平调节图像的每个像素 各自局部DC生成DC估计图像。然后模块210向差分模块214与对比敏感度估计模块216 提供DC估计图像。
[0072] 差分模块214基于接收到的黑电平调节及DC估计图像生成差分图像并且将差分 图像提供给振幅估计模块212。模块212经估计所接收的差分图像每个像素的各自局部振 幅生成振幅估计图像。然后模块212将振幅估计图像提供给对比敏感估计模块216。
[0073] 模块216生成所接收的DC估计及振幅估计图像每个像素各自的对比敏感度值并 且将该对比敏感度值提供给截止频率计算模块218。模块218基于对比敏感度函数并且基 于所接收的观看距离与像素密度标示计算每个接收到的对比敏感度值各自的截止频率值。 然后模块218将截止频率值提供给自适应低通滤波模块202。
[0074] 模块202基于从色彩空间转换模块204接收到的色彩空间转换图像以及从截止频 率计算模块218接收到的截止频率值生成滤波后的图像。然后模块202将滤波后的图像提 供给第二色彩空间转换模块220。模块220将接收到的滤波后的图像的色彩空间转换为原 始色彩空间（如色彩空间转换模块204所接收到的）并且输出感知预滤波的图像。
[0075] 在实施方式中，感知滤波应用CSF模块以确定为不可见的一个或者更多个空间频 率。这些可以用于例如确定自适应低通滤波器（例如，感知滤波器）的局部截止频率。例 如如本文所述的感知滤波器可以结合（例如，考虑）人类视觉系统的倾斜效应现象。例如， 感知滤波器可以对相对于水平和/或垂直方向的倾斜方向上一个或者更多个空间频率进 行滤波（例如，强滤波）。结合倾斜效应，感知滤波器可以例如通过单独运用等式（1)减少 空间振动。这可以实现使用于编码视频的比特率降低，而较小或者不损失视觉质量。
[0076] 图3为示出示例环境自适应感知滤波器302的方框图。至环境自适应感知滤波器 302的输入可以包括输入视频和/或图像、移动装置的显示屏与移动装置用户之间的观看 距离、与显示屏相关联的对比度、显示屏的显示像素密度、环境照度水平、背景反射系数、和 /或用户年龄中的一个或者更多个。可以对输入进行信号处理，例如，以生成自适应低通滤 波器302的截止频率。
[0077] 结合图3中示出的各功能模块描绘自适应滤波设备的实施方式。色彩空间转换模 块304接收图像（例如，视频帧）并将所接收的图像的色彩空间转换为线性色彩空间。然 后模块304将色彩空间转换图像提供给亮度计算模块306以及自适应低通滤波模块334。 亮度计算模块306基于接收到的色彩空间转换图像生成亮度图像并且将该亮度图像提供 给黑电平调节模块310。
[0078] 环境对比度模块308从感知特性模块接收环境照度标示、显示反射率标示、峰值 亮度标示、以及原生对比度标示。环境照度标示包括预期显示装置的环境照度，显示反射率 标示包括预期显示装置的反射率，峰值亮度标示包括预期显示装置的峰值亮度，以及原生 对比度标示包括预期显示装置的原生对比度。模块308基于接收到的标示计算预期显示装 置的环境对比度并且将计算的对比度的环境对比度标示提供给黑电平调节模块310。
[0079] 模块310基于接收到的亮度图像以及接收到的环境对比度标示生成黑电平调节 图像。然后模块310将黑电平调节图像提供给DC估计模块312、差分模块316、以及整体DC 估计模块326。
[0080] DC估计模块312经估计所接收到的黑电平调节图像每个像素各自的局部DC生成 DC估计图像。然后模块312将DC估计图像提供给差分模块316与对比敏感度估计模块 318。差分模块316基于接收到的黑电平调节及DC估计图像生成差分图像并且将差分图像 提供给振幅估计模块314。
[0081] 模块314经估计接收到的差分图像每个像素各自的局部振幅生成振幅估计图像。 然后模块314将振幅估计图像提供给对比敏感度估计模块318。模块318生成所接收的DC估计及振幅估计图像的每个像素各自的对比敏感度值并且将对比敏感度值提供给截止频 率计算模块320。
[0082] 显示尺寸模块322从感知特性模块接收显示宽度标示、显示高度标示、像素密度 标示、以及观看距离标示。显示宽度及显示高度标示分别包括预期显示装置的宽度与高度。 像素密度标示包括预期接收装置的像素密，而观看距离标示包括从显示装置用户到预期显 示装置的距离。模块322基于接收到的标示确定预期显示装置的角大小（度），并且将确定 的角大小的角大小标示提供给截止频率计算模块320。
[0083] 周围环境亮度模块324从感知特性模块接收环境照度标示与显示反射率标示二 者，标示分别包括预期显示装置的环境照度以及预期显示装置的反射率。模块324基于接 收到的标示确定预期显示装置的周围环境亮度，并且将确定的周围环境亮度的周围环境亮 度标示提供给截止频率计算模块320。
[0084] 整体DC模块326确定从模块310接收到的黑电平调节图像的平均DC值。然后模 块326将确定的平均DC值的整体DC标示提供给时域滤波模块328。模块328基于接收到 的整体DC标示以及基于之前滤波的图像的时域滤波DC值确定当前图像的时域滤波DC值。 然后模块328将时域滤波DC值的时域滤波DC标示提供给峰值亮度模块330。
[0085] 模块330基于接收到的时域滤波DC标示以及基于从感知特性模块接收到的峰值 亮度标示确定比例DC值（scaledDCvalue)，接收到的峰值亮度标示包括预期显示装置的 峰值亮度。然后模块30将比例DC值的比例DC标示提供给截止频率计算模块320。
[0086] 截止频率计算模块320计算每个接收到的对比敏感度值各自的截止频率值。计算 是基于（i)对比敏感度函数的倒数（ii)接收到的角大小、周围环境亮度、以及比例DC标 示、以及（iii)从感知特性模块接收到的用户年龄标示，接收到的用户年龄标示包括预期 显示装置的用户的年龄。然后模块320将计算的