用于视觉条件意识视频编码的感知预处理滤波器的制造方法_6

文档序号:9221975阅读:来源:国知局
他无线电技术(例如 GSM或WCDMA)的其他RAN(未示出)之间切换。
[0331] 服务网关3445可经由S1接口连接到RAN3404b中e节点B3440d、3440e、3440f 的每一个。服务网关3445通常可以向/自WTRU3402a、3402b、3402c路由并且转发用户数 据分组。服务网关3445还可以执行其他功能,例如在eNB之间切换的期间锚定用户层面、 在WTRU102a、102b、102c下行链路数据可用时触发寻呼、管理和存储WTRU102a、102b、102c 的内容,等等。
[0332] 服务网关3445还可连接到PDN网关3447,所述PDN网关3447可以向WTRU3402a、 3402b、3402c提供对封包交换网络,例如因特网3410的接入,以促进WTRU3402a、3402b、 3402c和IP启用设备之间的通信。
[0333] 核心网3406b可促进与其他网络的通信。例如,核心网3406b可向WTRU3402a、 3402b、3402c提供对电路交换网络(例如PSTN3408)的接入,以促进WTRU3402a、3402b、 3402c和传统陆地线通信设备之间的通信。例如,核心网3406b可包括IP网关,或可与IP 网关通信,(例如,IP多媒体子系统(MS)服务器),所述IP网关用作核心网3406b和PSTN 3408之间的接口。此外,核心网3406b可向WTRU3402a、3402b、3402c提供对网络3412的 接入,所述网络3412可包括由其他服务提供商拥有和/或操作的其他有线或无线网络。
[0334] 图34E为通信系统3400的实施方式的系统示意图,通信系统3400包括RAN3404c 以及核心网3406c,其分别包含RAN3404以及核心网3406〇RAN3404,例如RAN3404c,可以 接入服务网络(ASN),其应用IEEE802. 16无线电技术在空中接口 3416上与WTRU3402a、 3402b、以及3402c通信。如此处所述,WTRU3402a、3402b、3402c、RAN3404c的不同功能实 体与核心网3406c之间的通信链路可以定义为参考点。
[0335] 如图34E中所示,RAN3404c可以包括基站3402a、3402b、3402c、以及ASN网关 3441,但应该理解的是RAN3404可以在保持与实施方式一致的同时,包括任何数量的基站 与ASN网关。基站3402a、3402b、3402c中的每一个可与RAN3404c中的特定小区(未示 出)相关联并且每一个可以包括一个或者更多个收发信机用以在空中接口 3416上与WTRU 3402a、3402b、3402c通信。在一个实施方式中,基站3440g、3440h、3440i可以实施多输入 多输出(MMO)技术。因此,基站3440g,例如,可以使用多个天线以发射无线信号至WTRU 3402a、以及从WTRU3402a接收无线信号。基站3440g、3440h、3440i还可以提供移动管理 功能,例如切换触发、通道建立、无线资源管理、流量分类、服务质量政策实施、等等。ASN网 关3441可以作为流量聚合点并且可以负责寻呼、缓存订阅者属性、路由至核心网3406c、等 等。
[0336] WTRU3402a、3402b、3402c与RAN3404c之间的空中接口 3416可以定义为R1参考 点,实施IEEE802. 16规格。此外,WTRU3402a、3402b、3402c的每一个可以建立与核心网 3406c的逻辑接口(未示出)。WTRU3402a、3402b、3402c与核心网3406c之间的逻辑接口 可以定义为R2参考点,其可以用于验证、授权、IP主配置管理、和/或移动管理。
[0337] 基站3440g、3440h、3440i的每一个之间的通信链路可以定义为R8参考点,其可 以包括有助于WTRU在基站间交换以及传输数据的协议。基站3440g、3440h、3440i与ASN 网关3441之间的通信链路可以定义为R6参考点。R6参考点可以包括有助于基于与WTRU 3402a、3402b、3402c每一个关联的移动事件的移动管理的协议。
[0338] 如图34E中所示,RAN3404c可与核心网3406c连接。RAN3404c与核心网3406c 之间的通信链路可以定义为R3参考点,其包括例如,有助于数据传输与移动管理性能的协 议。核心网3406c可以包括移动IP家乡代理(MIP-HA) 3444、验证、授权、记账(AAA)服务 器3456、以及网关3458。虽然前述的每个元件描述为核心网3406c的一部分,但是应该理 解的是这些元件中的任何一个都可由除核心网运营商之外的实体所拥有和/或操作。
[0339]MIP-HA可以负责IP地址管理,并且可以使WTRU3402a、3402b、以及3402c在不同 的ASN和/或不同核心网之间漫游。MIP-HA1354可以向WTRU3402a、3402b、3402c提供对 封包交换网络,例如因特网3410的接入,以促进WTRU3402a、3402b、3402c和IP启用设备 之间的通信。AAA服务器3456可以负责用户验证并支持用户服务。网关3458可以促进与 其他网络的相互配合。例如,网关3458可以向WTRU3402a、3402b、3402c提供对电路交换 网络(例如PSTN3408)的接入,以促进WTRU3402a、3402b、3402c和传统陆地线通信设备之 间的通信。此外,网关3458可以向WTRU3402a、3402b、3402c提供对网络3412的接入,其可 以包括由其他服务提供商拥有和/或操作的其他有线或无线网络。
[0340] 虽然图34E中未示出,但是应该可以理解的是RAN3404c可以连接至其他ASN并 且核心网3406c可以连接至其他核心网。RAN3404c与其他ASN之间的通信链路可以定义 为R4参考点,其可以包括用于协调RAN3404c与其他ASN之间WTRU3402a、3402b、3402c 移动性的协议。核心网3406c与其他核心网之间的通信链路可以定义为R5参考点,其可以 包括促进家乡核心网与受访核心网之间相互配合的协议
[0341] 此处所描述的过程与手段可以以任何结合的方式适用,可以适用于其他无线技 术,并用于其他服务(例如,并不限于相接近的服务)。
[0342] WTRU可以涉及物理装置本体、或者用户身份例如与身份相关的订阅,例如 MSISDN、SIPURI等。WTRU可以涉及基于身份的应用,例如可能用于每个应用的用户名称。
[0343] 虽然上文以特定结合的方式描述了特征与元件,但是本领域技术人员可以理解每 个特征与原件可以单独使用或者与其他特征与元件结合使用。此外,此处所描述的方法 可以以计算机程序、软件或固件实现,其包含于由计算机或处理器执行的计算机可读介质 中。计算机可读介质的示例包括电子信号,(通过有线或无线连接传送),和计算机可读存 储介质。计算机可读存储介质的示例包括,但不限定为只读存储器(R0M)、随机存取存储 器(RAM)、寄存器、缓冲存储器、半导体存储器设备、磁性介质,(例如,内部硬盘与可移动磁 盘)、磁光介质、和光介质例如光盘(CD)及数字通用盘(DVD)。与软件相关联的处理器可以 用于实现在WTRU、WTRU、终端、基站、RNC、或任何主计算机中使用的射频收发信机。
【主权项】
1. 一种方法,该方法包括: 从视频源接收多个视频帧,每个帧具有多个像素,每个所述像素具有各自的值; 至少部分基于该像素周围各自局部区域中的所述像素各自的值以及至少一个感知特 性,确定每个像素各自的局部对比敏感度,所述至少一个感知特性从由显示屏处的观看条 件、所述显示屏的显示特性、以及用户特性构成的组中选取; 至少部分基于该像素各自的局部对比敏感度选取每个像素各自的滤波器带宽; 根据该像素各自选取的该滤波器带宽对每个像素滤波,生成滤波后的视频帧;以及 将该滤波后的视频帧提供给视频编码器。2. 根据权利要求1所述的方法,其中确定各像素各自的局部对比敏感度包括基于周围 环境对比度调节该像素值以及基于各自的调节后的值确定所述各自的局部对比敏感度。3. 根据权利要求2所述的方法,其中该感知特性包括以下中的至少一者:接收装置处 的周围环境亮度、该接收装置的反射率、该接收装置的峰值亮度、以及该接收装置的原生对 比度,并且其中基于该周围环境对比度调节各自的像素值包括基于该感知特性调节该值。4. 根据权利要求1所述的方法,其中该感知特性包括以下中的至少一者:所述显示屏 的像素密度以及显示屏用户与该显示屏之间的观看距离,其中确定所述各自的局部对比敏 感度包括至少基于所述像素密度以及所述观看距离选取包含在所述各自的局部区域中的 像素。5. 根据权利要求4所述的方法,其中选取包含在所述各自的局部区域中的像素包括基 于高斯滤波器的标准方差值选取像素。6. 根据权利要求5所述的方法,其中基于所述标准方差值选取像素包括选取周期与像 素之比并且至少基于所选的比确定所述标准方差值。7. 根据权利要求6所述的方法,其中选取周期与像素之比包括: 选取周期与视野度数之比、基于所述像素密度与所述观看距离确定像素与度数之比、 并且至少基于所选取的周期与度数之比以及所确定的像素与度数之比确定周期与像素之 比。8. 根据权利要求1所述的方法,其中确定各像素各自的局部对比敏感度包括: 至少部分基于所述各自的局部区域中的像素值确定各自的局部平均; 至少部分基于所述各自的局部平均以及所述各自的局部区域中的像素值确定各自的 局部峰值振幅;以及 将所述各自的局部平均与所述各自的局部峰值振幅的各自的比确定为所述各自的局 部对比敏感度。9. 根据权利要求8所述的方法,其中确定所述各自的局部峰值振幅包括: 确定多个像素中的每一个的各自的绝对差值,所述各自的绝对差值包括所述各自的局 部平均与所述各自的像素值之间的各自的绝对差值;以及 从所述各自的局部区域中的各自的绝对差值中选取最大的绝对差值作为所述各自的 局部峰值振幅。10. 根据权利要求9所述的方法,该方法进一步包括对每个各自的局部峰值振幅应用 高斯滤波器,其中选取该最大绝对差值作为所述各自的局部峰值振幅包括选取最大滤波后 的绝对差值作为所述各自的局部峰值振幅。11. 根据权利要求1所述的方法,其中至少部分基于所述各自的局部对比敏感度选取 各像素的的各自的滤波器带宽包括至少部分基于利用反对比敏感度函数获取的带宽选取 所述各自的滤波器带宽。12. 根据权利要求11所述的方法,其中所述反对比敏感度函数至少部分基于 Movshon&Kiorpes对比敏感度模型与Barten对比敏感度模型中的至少一个的反函数。13. 根据权利要求1所述的方法,其中选取各像素的各自的滤波器带宽包括至少部分 基于至少一个感知因素选取比例因子、利用该比例因子调节各自的局部对比敏感度、以及 至少部分基于所述各自的调节后的局部对比敏感度选取所述各自的滤波器带宽。14. 根据权利要求13所述的方法,其中所述至少一个感知因素包括以下中的至少一 者:所述显示屏处的周围环境亮度、所述显示屏的峰值亮度、显示屏用户与所述显示屏之间 的观看距离、以及所述显示屏的像素密度。15. 根据权利要求13所述的方法,其中所述至少一个感知因素包括显示屏用户的年 龄。16. 根据权利要求1所述的方法,其中生成滤波后的视频帧包括:使用一组三个二维的 可分离的滤波器对每个像素滤波,该组中的每个二维可分离滤波器具有各自的水平截止频 率以及各自的垂直截止频率,第一二维可分离滤波器的水平截止频率与第三二维可分离滤 波器的水平截止频率相等,并且第二二维可分离滤波器的垂直截止频率与该第三二维可分 离滤波器的垂直截止频率相等,其中利用该组二维可分离滤波器对每个像素滤波包括获取 所述第一二维可分离滤波器与第二二维可分离滤波器各自的滤波结果之和以及获取该和 与所述第三二维可分离滤波器各自的滤波结果之间的差。17. 根据权利要求16所述的方法,其中每个二维可分离滤波器包括各自的一维水平滤 波器以及各自的一维垂直滤波器,该各自的一维水平滤波器的截止频率与该各自的二维滤 波器的各自的水平截止频率相等,以及该各自的一维垂直滤波器的截止频率与该各自的二 维滤波器的各自的垂直截止频率相等。18. 根据权利要求17所述的方法,其中所述各自的一维水平滤波器与所述各自的一维 垂直滤波器包括Lanczos滤波器。19. 一种视频滤波设备,该设备包括: 存储元件,被配置用于存储多个视频帧,每个帧具有多个像素,每个像素具有各自的 值,并且被配置用于使一个或者更多个滤波后的视频帧适用于视频编码器; 接收机,被配置用于接收至少一个感知特性,该至少一个感知特性选取于由显示屏处 的观看条件、该显示屏的显示特性、以及用户特性构成的组; 对比敏感度确定模块,被配置用于至少部分基于该像素周围各自的局部区域中像素各 自的值以及至少一个感知特性,确定每个像素各自的局部对比敏感度; 对比敏感度滤波器选取模块,被配置用于(i)至少部分基于所述像素的各自的局部敏 感度确定每个像素各自的滤波器带宽以及(ii)至少部分基于所述各自的滤波器带宽选取 每个像素对应的滤波器; 视频滤波器模块,被配置用于根据每个像素的各自的选取的滤波器对每个像素滤波生 成滤波后的视频帧。20. 根据权利要求19所述的设备,该设备进一步包括感知关联模块,被配置用于: 接收与至少一个感知特性相关的感知信息,所述感知特性选取于该感知特性组;以及 至少部分基于该感知信息获取感知特性。21. 根据权利要求20所述的方法,其中所述感知信息选取于由所述显示屏的序列标识 符、所述显示屏的型号标识符、所述显示屏的地理位置、所述显示屏在一天中所处的时间、 和显示屏用户的用户名组成的组。22. 根据权利要求19所述的设备,该设备进一步包括色彩空间转换模块,被配置用于: 将接收到的视频帧的色彩空间由原始色彩空间转换为线性RGB色彩空间;以及 将滤波后的视频帧的色彩空间由线性RGB色彩空间转换为所述原始色彩空间。23. 根据权利要求19所述的设备,该设备进一步包括黑电平调节模块,被配置用于在 所述对比敏感度确定模块确定每个像素的各自的局部对比敏感度之前调节每个像素的黑 电平,所述调节至少部分基于所述显示屏的周围环境对比度。24. 根据权利要求22所述的设备,其中所述至少一个感知特性包括感知特性集,该感 知特性集包括所述显示屏处的周围环境亮度、所述显示屏的最大亮度、所述显示屏的反射 率、以及所述显示屏的原生对比度,其中所述黑电平调节模块包括周围环境对比度确定模 块,被配置用于至少部分基于所述感知特性集确定所述周围环境对比度。25. 根据权利要求19所述的设备, 其中各像素周围各自的局部区域包括各自的局部平均区域以及各自的局部最大区域, 其中该对比敏感度确定模块包括: 局部平均估计模块,被配置用于确定各自的局部平均区域中各自的局部平均值; 局部最大估计模块,被配置用于确定各自的局部最大区域中的像素各自的绝对差值的 各自的局部最大值;以及 对比敏感度模块,被配置用于确定所述各自的局部平均与所述各自的局部最大值的各 自的比值; 其中所述对比敏感度确定模块被配置用于将确定的各自的比值选取作为所述各自的 局部对比敏感度。26. 根据权利要求25所述的设备,其中所述对比敏感度确定模块进一步包括局部平均 区域选取模块,被配置用于: 选取具有视野的每度多个空间振荡的局部截止频率; 将该局部截止频率转换为具有该视野的每度多个像素的转换后的局部截止频率;以及 至少部分基于该转换后的局部截止频率选取包含在各自的像素周围的各自的局部平 均区域中的像素。27. 根据权利要求26所述的方法,其中所述至少一个感知特性包括感知特性集,该感 知特性集包括所述显示屏的像素密度以及从所述显示屏至所述该显示屏用户的观看距离, 其中所述局部平均区域选取模块至少部分基于所述感知特性集将所述局部截止频率转换 为转换后的局部截止频率。28. 根据权利要求19所述的设备,其中所述对比敏感度确定模块包括对比敏感度缩放 模块,被配置用于至少部分基于所确定的比例因子调节所述各自的局部对比敏感度,所述 比例因子至少部分基于所述至少一个感知特性被确定。29. 根据权利要求28所述的设备,其中: 该至少一个感知特性包括感知特性集,该感知特性集包括所述显示屏处的周围环境亮 度、所述显示屏的最大亮度、所述显示屏的反射率、以及所述显示屏的原生对比度;以及 所述对比敏感度缩放模块包括周围亮度比例因子确定模块,被配置用于至少部分基于 所述感知特性集确定所述比例因子。30.根据权利要求28所述的设备,其中: 所述至少一个感知特性包括所述显示屏用户的显示屏用户年龄;以及 所述对比敏感度缩放模块包括年龄比例因子确定模块,被配置用于至少部分基于所述 显示屏用户年龄确定所述比例因子。
【专利摘要】感知滤波器可以实现从视频信号中滤波一个或者更多个空间频率,其低于该视频信号观看者的对比敏感度限度。感知滤波器可以配置用于基于例如内容、观看距离、显示密度、对比度、显示屏亮度、背景亮度、和/或观看者年龄,以像素为基础调整一个或者更多个感知滤波器参数。可以执行对DC、幅度、以及视频帧对比敏感度的估计。感知滤波器的空间截止频率可以映射至对比敏感度。感知滤波器可以作为视频编码器的预处理步骤以减低编码后的比特率。可将人类视觉系统的倾斜效应现象结合到感知滤波器中。
【IPC分类】H04N19/117, H04N19/136, H04N19/182, H04N19/164
【公开号】CN104937935
【申请号】CN201380070579
【发明人】R·瓦纳莫, Y·雷兹尼克, L·克拉夫斯基
【申请人】Vid拓展公司
【公开日】2015年9月23日
【申请日】2013年11月15日
【公告号】EP2920965A1, US20150304685, WO2014078748A1
当前第6页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1