多视图视频处理中的具有基于位置的调整的串扰降低的制作方法

多视图视频处理中的具有基于位置的调整的串扰降低的制作方法
【专利摘要】在一个实例中，一种方法包含识别图像帧中的像素，所述像素为用于造成所述图像帧与多视图图像系统中的对应图像帧之间的串扰的候选者。所述方法进一步包含，对于经识别为用于造成串扰的候选者的像素，对所述像素应用串扰校正。所述方法进一步包含对所述像素应用基于位置的调整，其中所述基于位置的调整至少部分基于所述像素是在所述图像帧的两个或两个以上部分中的哪一者中。
【专利说明】多视图视频处理中的具有基于位置的调整的串扰降低

【技术领域】
[0001] 本发明涉及用于视频处理的技术，且更具体来说，涉及用于多视图视频处理的技 术。

【背景技术】
[0002] 数字视频能力可并入到广泛范围的装置中，包括数字电视、数字直播系统、无线广 播系统、个人数字助理（PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体 播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及 其类似物。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4第10部分高级视频译码（AVC)、目前正在开发的高效率视频译码（HEVC)标 准和此些标准的扩展部分定义的标准中描述的技术，以便更有效地发射、接收和存储数字 视频信息。
[0003] 前述标准中的一些的扩展（包含Η. 264/AVC)提供用于进行多视图视频译码以便 产生立体声或三维（"3D"）视频的技术。确切地说，已将用于多视图译码的技术用于可缩 放视频译码（SVC)标准（其为对Η. 264/AVC的可缩放扩展）及多视图视频译码（MVC)标准 (其变为对Η. 264/AVC的多视图扩展）。对于HEVC标准，也可开发SVC及MVC扩展。
[0004] 通常，使用两个视图（例如，左视图及右视图）达成立体声视频。左视图的图片实 质上可与右视图的图片同时显示以达成三维视频效果。举例来说，用户可佩戴偏光被动式 眼镜，其将左视图从右视图中过滤掉。或者，可快速连续展示两个视图的图片，且用户可佩 戴主动式眼镜，其以相同频率快速遮光左眼及右眼，但其中相位移位90度。


【发明内容】

[0005] 一般来说，本发明描述用于多视图视频处理的技术。确切地说，本发明涉及多视图 视频译码中的串扰及重像降低。
[0006] 在本发明的一个实例中，一种处理多视图视频的方法包含识别图像帧中的像素， 所述像素为用于造成所述图像帧与多视图图像系统中的对应图像帧之间的串扰的候选者。 所述方法进一步包含，对于经识别为用于造成串扰的候选者的像素，对所述像素应用串扰 校正。所述方法进一步包含对所述像素应用基于位置的调整，其中所述基于位置的调整至 少部分基于所述像素是在所述图像帧的两个或两个以上部分中的哪一者中。
[0007] 在本发明的另一实例中，一种计算机可读媒体存储用于致使处理器执行多视图视 频处理的可执行指令。此包含用于致使处理器识别图像帧中的像素的可执行指令，所述像 素为用于造成所述图像帧与多视图图像系统中的对应图像帧之间的串扰的候选者。此进一 步包含用于致使处理器对于经识别为用于造成串扰的候选者的像素，对所述像素应用串扰 校正的可执行指令。此进一步包含用于致使处理器对所述像素应用基于位置的调整的可执 行指令，其中所述基于位置的调整至少部分基于所述像素是在所述图像帧的两个或两个以 上部分中的哪一者中。
[0008] 在本发明的另一实例中，一种设备包含用于识别图像帧中的像素的装置，所述像 素为用于造成所述图像帧与多视图图像系统中的对应图像帧之间的串扰的候选者。所述设 备进一步包含，对于经识别为用于造成串扰的候选者的像素，用于对所述像素应用串扰校 正的装置。所述设备进一步包含用于对所述像素应用基于位置的调整的装置，其中所述基 于位置的调整至少部分基于所述像素是在所述图像帧的两个或两个以上部分中的哪一者 中。
[0009] 一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述 及附图和从权利要求书中显而易见。

【专利附图】

【附图说明】
[0010] 图1为说明实例多视图视频处理系统的框图。
[0011] 图2描绘能够播放视频及/或呈现图像的实例装置。
[0012] 图3及4说明可在多视图视频中的不同视图中同时显示的一对对应图像帧。
[0013] 图5描绘用于多视图视频处理的实例过程的流程图。
[0014] 图6及7在概念上描绘可在多视图视频中的不同视图中同时显示的一对对应图像 帧的处理阶段/图6及图7描绘右视图图像帧及左视图图像帧的匹配对的串扰降低候选者 (CRC)映射的中间阶段的实例。
[0015] 图8及图9描绘在视差映射及强度转变映射两者之后在右视图图像帧及左视图图 像帧的匹配对中的串扰降低候选者（CRC)映射的简化说明。
[0016] 图10及图11描绘在视差映射及强度转变映射两者之后在右视图图像帧及左视图 图像帧的匹配对中的串扰降低候选者（CRC)映射的额外说明。
[0017] 图12描绘在串扰降低过程的说明性实例中的基于2D查找表的串扰处理块。
[0018] 图13描绘可用以模型化串扰降低参数及对图像帧应用串扰降低以用于多视图视 频处理的拟合曲线的各种实例的曲线集合。
[0019] 图14展示被划分成不同区的阵列的图像帧的实例，其中可执行不同的基于位置 的调整以用于多视图视频处理。
[0020] 图15为说明根据本发明的实例的可经配置以利用用于多视图视频处理的技术的 实例视频编码及解码系统的框图。

【具体实施方式】
[0021] -般来说，本发明描述用于处理多视图视频数据（例如，用以产生三维（3D)效果 的视频数据）的技术。确切地说，本发明涉及用以降低多视图视频处理中的串扰及重像的 技术。本发明的技术包含在多视图视频处理中，识别图像帧中的像素对之间的强度的差，及 识别所述图像帧及用于3D显示的一对图像帧（例如，左视图及右视图）中的对应图像帧中 的像素的相同位置对之间的显著视差，以及基于所述识别应用串扰校正参数。本发明的技 术还包含识别为用于串扰校正的候选者的像素，及应用串扰校正参数，所述串扰校正参数 至少部分基于所述像素是在图像帧的两个或两个以上部分中的哪一者中。
[0022] 一般来说，为了产生视频中的立体视图或三维（3D)效果，可同时或几乎同时展示 场景的两个视图（例如，左眼视图及右眼视图）。可从略微不同的水平位置捕捉对应于场景 的左眼视图及右眼视图的同一场景的两个图片，所述略微不同的水平位置表示观察者的左 眼及右眼之间的水平视差。通过同时或几乎同时显示这两个图片，以使得左眼视图图片被 观察者的左眼感知到，及右眼视图图片被观察者的右眼感知到，观察者可体验到三维视频 效果。也可执行其它多视图译码，以便提供不同透视图（例如，左、中、右、虫眼、鸟眼等），或 提供适合于不同大小或分辨率的显示屏的不同深度水平（例如，其中若干对左及右图像帧 是用于这些不同多视图视角或深度水平中的每一者）。
[0023] 串扰是3D或其它多视图视频系统中的左及右图像通道的发光输出的不完全隔 离，其致使专用于两个图像通道中的一者的明度泄漏到其它图像通道中。重像为用于感知 串扰的主观术语。取决于多视图图像的内容，重像可不同于串扰。如由观察者感知到的重 像或串扰为系统串扰、图像的两个视图之间的视差及图像对比度的函数。这两个可被一起 称作串扰/重像，其中串扰及重像皆为适用的。
[0024] 举例来说，观察者可在两个对应多视图图像帧中的区的对应像素之间存在相对较 高视差（结合两个对应图像帧的所述区中的强度的相对较高转变）时感知到多视图图像的 区中的重像。两个对应多视图图像帧中的区的两个状态之间的视差与多视图图像中的深 度的转变（即，明显特写物体与明显远处背景之间的转变）相关联，而强度的转变为亮度 (即，图像的明亮区域与黑暗区域之间的对比度）的转变。重像的可见度因此随着深度的增 加（即左-右视差的增加）而增加，且随亮度的转变的增加（邻近亮及暗区域之间的鲜明 对比）而增加。重像的可见度还随背光水平的增加而增加，其中背光水平越高会导致背景 黑色的水平越低。
[0025] 串扰/重像为影响3D视频/电影及3D游戏两者中的3D图片质量的最重要质量 属性中的一者。串扰/重像的副作用可包含3D效果的丢失、深度分辨率的丢失、图像对比 度的丢失及观察者的不适。一些报告指出，3D视觉质量的可感知重像效果及降级通常在系 统串扰达到在2%到6%的范围内的水平时开始出现。
[0026] 3D显示器上可能存在许多非均一性，以使得对屏幕上所显示的所有像素应用一个 串扰方法可能引入串扰而非使其降低。本发明的技术可说明性地包含执行二维、基于位置 的串扰调整的显示器处理器。这可提供质量比对屏幕上的所有像素简单地应用均一串扰校 正更佳的串扰校正。
[0027] 预处理模块可通过识别实际上将受益于串扰降低的区域（其可仅包含相对较小 比例的图像帧）及仅在那些区域中应用串扰降低来提供质量保护的额外层。在一些实例 中，预处理模块识别为串扰降低的目标的此相对较小比例的图像帧可涉及图像帧中的10% 到15 %的像素。仅对可能相对较小比例的图像帧应用串扰降低可在带宽及处理源上施加低 负担，且因此允许在不借助于带宽降低技术的情况下应用串扰降低，所述带宽降低技术可 涉及使用较低质量参考帧或使用查找表的错误索引。仅对可能相对较小比例的图像帧应用 串扰降低还可需要较少的硬件周期，且可以帮助节约硬件区域。
[0028] 图1为说明实例多视图视频处理系统100的框图。在图1中的多视图视频处理 系统100的高级示意框图中展示本发明的多视图视频处理技术的特定实例，如下参考说明 性实例描述所述高级示意框图。在图1的实例中，多视图视频处理方法100包含预处理块 110、串扰降低处理块120及后处理块130。"串扰降低"及"串扰校正"遍及本发明可互换 地使用，且在任一情况下，可说明性地指代经应用以降低、补偿、去除、消除或校正串扰/重 像的效果、测量或参数。
[0029] 在此实例中，预处理块110包含范围映射模块118及串扰区映射模块112。串扰区 映射模块112包含视差映射模块114及强度转变映射模块116。可按任何次序执行视差映 射及强度转变映射。后处理块130包含基于位置的调整模块132。在各种实例中，多视图 视频处理系统100可以方法、装置、设备、用于执行功能的装置、集成电路或积体电路的集 合（例如，芯片组）、计算机可读媒体或其组合的形式来实施。在图1的多视图视频处理系 统100的上下文中，"处理块"或"块"或"模块"可指方法中的步骤或步骤的集合，或装置、 设备、用于执行功能的装置或执行或处理所指示功能的计算机可读媒体的模块或部分。在 以软件来实施模块方面来说，软件执行于一或多个硬件元件上，且将不被视为软件本身。
[0030] 在预处理块110的串扰区映射模块112中，视差映射模块114可执行在相同时间 位置的一对对应左及右多视图图像帧的比较分析，及产生识别具有两个帧之间的相对较高 视差（其导致大感知深度转变）的对应左及右多视图图像帧的所述对中的像素或像素区的 映射。强度阈值映射模块116可分析在个别帧内的像素对或像素集合或像素区，且产生识 别在具有相对较高强度阈值（例如，具有在图像帧中彼此接近的明亮区域及黑暗区域）的 帧内的像素对的映射。在8位图像的实例中的强度阈值可例如为相同位置像素之间的10的 转变。在其它实例中也可使用其它阈值，例如10位图像中的20、40或80的转变，或12位 图像中的80、160或320的转变。这些仅为说明性值，且在其它实例中也可使用其它值。预 处理块110还可包含范围映射模块118,所述范围映射模块可识别适用于图像帧的区或像 素的背光值或背景黑色的水平。
[0031] 串扰降低处理块120产生用于图像帧的像素的初始串扰校正参数或值，且可以多 种方式实现此情形。在一些实例中，串扰降低处理块120使用2D查找表（LUT) 122的选项， 其中查找表由显示测量表征。此技术可引起相对较低的处理负担。在一些实例中，串扰降 低处理块120使用基于等式的处理124的选项。在一些实施方案中，此技术可使得串扰降 低处理块120能够产生具有相对较高精度且需要较少数据存储空间的初始串扰校正。
[0032] 后处理块130可使用多种技术中的任一者来修改用于图像帧的像素的串扰校正 参数。举例来说，后处理块130可依据图像帧中的像素的位置及相应地可呈现图像的屏幕 或显示器上的像素的位置来调整串扰降低参数。串扰及重像可在图像帧的部分中不同地出 现，或基于屏幕或显示器的哪些部分上呈现图像的一部分而出现。具体来说，后处理块130 可修改串扰校正参数以考虑及补偿此基于位置的差分串扰，即，图像帧的不同部分之间的 串扰的差别。
[0033] 下文进一步描述及在对应图中描绘如图1中所示的多视图视频处理系统100的各 种方面。
[0034] 可参考H. 264/AVC (高级视频译码）标准的多视图视频译码（MVC)扩展将本发 明的技术描述为可如何实施本发明的技术的说明性实例。在JVT-AD007 "ITU-T Rec. Η· 264 IISO/IEC 14496-10 高级视频译码的编辑草案修订（Editors' draft revision to ITU-T Rec. Η· 264 IISO/IEC 14496-lOAdvanced Video Coding) "（瑞士日内瓦第 30 届 JVT 会议，2009年1月到2月）中描述MVC的最新联合草案，所述草案可从http ://wftp3. itu. int/av-arch/ivt-site/2009 01 Geneva,TVT-AD007获得，其特此通过弓丨用并入。虽然可 在H.264/AVC方面描述本发明的技术，但应理解本发明的技术可适用于其它多视图视频译 码过程，或适用于对当前提出的视频译码标准的未来多视图扩展。
[0035] 也可由MVC支持两个视图的译码。MVC的优势中的一者为MVC编码器可将两个以 上视图视为3D视频输入，且MVC解码器可解码此多视图表示。因此，具有MVC解码器的任 何呈现器可经配置以处理具有多个视图的3D视频内容。在MVC中，通过允许在相同存取单 元中的图片当中的预测（即，在相同时间实例或时间位置内）来实现视图间预测。在对非 基本或非参考视图中的一者中的图片进行译码时，如果图片是在不同视图中但在相同时间 实例内，那么可将图片添加到参考图片列表中。可将视图间预测参考图片置于参考图片列 表的任何位置中，就像任何帧间预测参考图片一样。
[0036] 图2描绘能够播放视频及/或呈现图像的实例装置200。如图2中所描绘，装置 200正显示图像，所述图像可为根据如上文所描述的多种多视图显示技术中的任一者经呈 现为一对对应多视图图像帧的3D图像。如图2中所示的装置200可实施如图1中所示的 多视图视频处理系统100的全部或部分。呈现于装置200上的图像可为形成3D视频输出 的一系列3D图像中的一个3D图像，所述3D视频输出可为电影、视频片段、电视节目插曲、 视频游戏输出、视频会议输出或任何其它类型的实况或预先记录的视频。装置200可基于 经由无线或硬线网络或传输媒体发射的流式传输输入信号或基于全部内容或多或少可存 储于或多或少本地存储媒体上的本地存储的视频文件显示3D视频输出，且先前可能已被 下载及写入到存储媒体。装置200可呈例如智能电话、平板计算机、电视、计算机监视器、媒 体播放器、视频游戏装置、连接到视频游戏控制台的监视器或能够呈现3D视频或多视图视 频的任何其它种类的装置等多种装置中的任一者的形式。如图2中所示的装置200提供用 于3D视频呈现及处理的上下文，如参考后续图所描述。
[0037] 考虑如图1中所示的预处理块110的实例，预处理块110可扫描图像帧中的像素 的像素强度值（例如，明度值）以产生图像帧的串扰区映射。产生图像帧的串扰区映射包含 识别像素，所述像素为用于造成图像帧与多视图图像系统中的对应图像帧（例如，3D视频 系统中的对应左及右图像帧）之间的串扰的候选者，且为用于应用串扰消除的候选者。举 例来说，在图3及4中展示呈现于图2中的装置200上的图像的两个对应3D图像帧。
[0038] 图3及4说明可在多视图视频中的不同视图中同时显示的一对对应图像帧210及 220。图3展示右视图图像帧210,且图4展示左视图图像帧220,其一起可对应于呈现于图2 中的装置200上的3D图像。在右视图图像帧210中，前景人物202的位置与背景物体204、 206相比较向左，而在左视图图像帧220中，前景人物202的位置与背景物体204、206相比 较向右。因此，在右视图图像帧210暴露于观察者的右眼，同时或在十分接近的时间点内左 视图图像帧220暴露于观察者的左眼时，两个帧210、220 -起致使观察者从两个图像帧的 组合当中感知到三维图像。举例来说，如果与交替观察者的眼睛的视图的主动式3D观察装 置协调地快速连续显示一对图像帧以使得观察者在实际上相同时间感知到两个图像帧，那 么所述对图像帧可被视为实际上同时的一对图像帧，或实际上在相同时间位置发生。在装 置200快速连续呈现图像帧的3D对时，观察者可将图像帧的连续对感知为3D视频。
[0039] 在图像帧210及220中前景人物202相对于背景物体204、206的不同左-右定位 可通过比较在图像帧的底部的前景人物202的左下边缘从图像帧的左下角的位移来说明。 右视图图像帧210中的此位移203A相对较小，而左视图图像帧220中的此位移203B显著 大于右视图图像帧210中的位移203A。图2中所描绘的组合的图像（如由装置200所呈 现）展示处于相对中间位置的前景人物202以表示观察者的感知，而在任何单个实像图像 帧中前景人物202实际上并不定位于图2中所示的中间位置中。图3及4中所示的实例为 简化实例，且在3D图像的其它对中，可呈现各种物体及物体的部分以在深度的连续范围中 以任何显而易见深度出现，就如观察实际三维世界时一样。
[0040] 装置200可包含或存取多视图视频处理系统（例如，如图1中所示的系统100)或 其它实施方案。装置200可并有构成全部系统100的硬件及/或软件元件，或系统100的 全部或部分可操作或定位于其它位置处，且可与装置200通信连接，以使得系统100可由装 置200存取。如下描述实例，其中系统100代表装置200进行操作，其中系统100可并入于 装置200中或可由装置200存取。
[0041] 系统100可在处理右视图图像帧210及左视图图像帧220时（例如在对图像帧进 行解码之后）应用串扰降低技术。在呈现图像帧的系统100的实例中，系统100可使用两 个准则识别串扰候选者像素。在图像的对应对中的左及右图像之间存在图像间视差时，串 扰/重像更加可见（与前景物体与背景之间的深度的转变对应），因此系统100可将图像间 视差评估为第一准则。串扰/重像也在急剧强度转变中（例如，在单个图像帧内的黑暗区 域与明亮区域之间的边缘处）更加可见，因此系统100可将强度转变评估为第二准则。系 统100可评估明度以及一或多个色度值或某一其它像素强度值的强度转变。系统100可按 任何次序评估及/或映射帧间视差及帧内强度转变，例如，系统100可映射帧间视差及接着 帧内强度转变，或映射帧内强度转变及接着帧间视差。
[0042] 图5描绘用于多视图视频处理的实例过程300的流程图。系统100可使用过程 300 (以软件、硬件或其组合来实施）来产生串扰/重像映射（接下来被称作"串扰映射")， 如图5中所示。由系统100执行的过程300可评估在给定图像帧内的接近像素（即，彼此 接近的像素）当中的强度转变（即，帧内强度阈值检测），以及评估给出图像帧的3D对的左 及右视图的两个对应的在时间上匹配的图像帧之间的相同位置中的像素之间的视差（即， 帧间视差检测）。过程300帧内强度阈值检测组件可与图1的强度阈值映射块116对应， 且过程300的帧间视差检测组件可与图1的视差映射块114对应。可按任何次序执行过程 300的帧间视差检测部分及过程300的帧间视差检测，所述次序包含重叠或同时次序。
[0043] 在图7中所说明的实例中，系统100应用边缘检测滤波器Sh。实例滤波器掩模 可对每一像素应用边缘检测滤波器（302)以获得值S rat (304)，所述值为每一像素的强度 的转变的测量，其中Stjut=S1^InpuU举例来说，可应用S h= [-1 0 1]的边缘检测滤波 器。其它实例可使用变化长度及形式的边缘检测滤波器。如果Swt> TransitionJU其中 Transition_TH为预定或先前选定的转变阈值（306)，那么系统100将像素标记为"大转变" 的"LT"（308)。系统100可单独地评估明度、色度或其它像素强度值中的强度的转变。将 出于说明的目的描述明度中的转变的评估。系统100可对在给定像素的行长度内的每一像 素应用此滤波器，且如果那些像素中的任一者的S wt大于转变阈值，那么系统100可将给定 像素标记为LT。
[0044] 在评估强度转变时，系统100可评估在受到评估的当前或给定像素的选定行长度 (以像素的数目来测量）的一维（I-D)邻域内的大转变。举例来说，对于给定像素，系统100 可评估在与给定像素相同的行中的在32个像素或64个像素或128个像素或受到评估的给 定像素的任一侧上的某一其它长度的像素的选定行长度之外的其它像素。系统100可通过 数个测量中的任一者测量给定像素与在给定像素周围的选定行长度内的其它像素之间的 强度转变。系统100可通过组合如应用于像素行内的每一像素的在所述行中的强度测量的 处理以避免处理的重复及约束算法复杂性，使强度阈值检测过程最佳化。
[0045] 举例来说，系统100可确定在给定像素的选定行长度内的哪一其它像素具有来自 选定像素的明度、色度或其它强度测量的值的最大差，且可将最大差取作用于给定像素的 强度增量。系统100接着可比较给定像素的强度增量与选定强度转变阈值，所述选定强度 转变阈值可在相同测量中规定为强度增量，例如明度、色度或其它强度测量，且如果用于给 定像素的强度增量因为测量而高于选定强度转变阈值，那么系统100可将给定像素标记为 大转变的"LT"，S卩，高强度转变。系统100还可使用多种其它技术以用于将像素指明为具 有高强度转变，例如结合像素行距离使用滑动阈值，例如包含应用对于较短像素分离相对 较小且对于较大像素分离相对较大（直到选定像素行长度的结束）的变量选定阈值。在结 合帧间视差中的差别考虑时，标记为"LT"的像素可被认为是用于串扰校正的候选者。如果 像素的3_超过阈值，或在给定像素的选定行长度内的至少一个其它像素具有超过阈值的 Stjut,那么可将像素标记为LT。
[0046] 系统100还可比较每一给定像素与在图像帧的在时间上匹配的左/右对中的其它 图像帧中的相同位置中的对应像素（312)。如同强度转变一样，系统100还可评估像素中的 明度、色度或一些其它值。系统100可评估对应左及右图像帧中的两个相同位置像素之间 的差，且获得值δ (i，j) = |L(i，j)-R(i，j) I作为像素间视差（314)。在此实例中，L(i， j)指示左视图像素的强度，且R(i，j)指示右视图像素的强度，其中此些像素是在相应视图 内的相同位置处。系统100可评估视差是否大于视差阈值DisparityJU即δ (i，j)= L(i，j)-R(i，j)| >Disparity_TH(316)，且如果是，那么系统100将对应像素标记为"大 视差"的"LD"（318)。也就是说，"视差"可指视图间图像帧之间的相同位置或匹配像素位 置中（即，在相同时间点的不同视图的图像帧中的匹配或对应像素位置处）的视图间强度 差。
[0047] 系统100接着可比较被标记为"LT"及"LD"两者的像素（322)，且对于被标记为两 者的像素，系统100可将这些像素识别为串扰降低候选者（CRC)，且将这些像素添加到图像 帧上的串扰降低候选者的映射（324)。
[0048] 图6及图7描绘此处标记为210B及220B的右视图图像帧210及左视图图像帧 220的匹配对的串扰降低候选者（CRC)映射的中间阶段的实例。确切地说，图6及7展示 图像帧的匹配的3D对的图像帧的部分中的像素块的两个图像帧映射之间的视差比较的中 间结果的简化视图。这些像素块为其中如上文所描述的串扰区映射/预处理识别LD及LT 像素两者（包含在强度转变的选定距离内的像素）的区域。CRC映射的其它实例可仅包含 在候选者像素周围的水平行而非整个像素块，但在图6及7中所描绘的实例中，像素块经识 别为在被识别为具有大帧间视差的像素周围及接近于所述像素，且因此被标记为"LD"。每 一像素块可含有一或多个及可能高达大数目的像素，其被识别为LD及LT两者，且因此被识 别为用于串扰降低的目标。每一像素块可说明性地延伸到例如32、64、128或在每一串扰降 低候选者像素的任一侧的像素的某一其它数目，且典型串扰降低候选者（CRC)映射可比图 6及7的简化描绘更加复杂。帧间视差处理可包含在222及224处展示的检测具有平移非 视差（即，平移位移的帧间对比度的非视差或缺乏）的大图像部分的能力，及从视差映射省 略那些部分。视差分析处理还检测在226及228处展示的一些图像部分，所述图像部分具 有视差但不具有任何急剧强度转变，以使得强度转变分析处理将从针对大强度转变被标记 中省略这些图像部分。因此，这些区可被标记为LD但不被标记为LT。在一些实例中，将标 记为LD但不被标记为LT的这些像素处理为用于串扰降低的候选者。在其它实例中，仅将 标记为LD及LT两者的区处理为用于串扰降低的候选者。
[0049] 图8及图9描绘在视差映射及强度转变映射两者（其可按任何次序执行，包含并 联或重叠次序）之后此处标记为2IOC及220C的右视图图像帧210及左视图图像帧220的 匹配对中的串扰降低候选者（CRC)映射的简化说明。右视图图像帧210C展示经发现具有在 图像帧的匹配的3D对的两个匹配的图像帧210C及220C之间的大强度转变及大视差两者 图像帧的部分中的代表性像素块。类似地，左视图图像帧220C展示经发现具有在图像帧的 匹配的3D对的两个匹配的图像帧210C及220C之间的大强度转变（LT)及大视差（LD)两 者的图像帧的部分中的代表性像素块。虽然为了图8及9中的简化视图起见描绘了相对较 大代表性像素块，但各种实例可在逐像素基础上应用强度转变阈值及视差阈值滤波器。也 可包含额外像素作为用于在强度转变候选者的选定距离内的串扰降低处理候选者，其中在 各种实例中，距离可在行或列内为线性的，或在行及列的矩形块内为矩形的，或在被定义为 行的平方及列的平方的和的平方根（例如，sqrt (M2XN2))的半径R内为圆形的，或在椭圆函 数（例如，PFJPF2= 2a)或任何其它函数内。
[0050] 图10及图11描绘在更细尺度的逐像素基础（其尺寸相对于图像大小足够小，使 得其可以此尺度连续呈现）上在视差映射及强度转变映射两者之后此处标记为210D及 220D的右视图图像帧210及左视图图像帧220的匹配对中的串扰降低候选者（CRC)映射的 额外说明。像素210D及220D的群组可为已被识别为具有大于选定视差阈值的两个图像帧 之间的像素的相同位置对中的像素之间的视差及被识别为在大于选定强度转变阈值的强 度转变的选定距离内的那些像素。在此实例中，可在每一像素的圆形范围内评估到强度转 变的距离，其例如可被测量为水平像素距离的平方及垂直像素距离的平方的和的平方根。
[0051] 如上文所指示，CRC映射的其它实例可包含在候选者像素周围的仅水平行而非整 个像素块，但在图8及9中所描绘的实例中，识别在被识别为具有大帧内强度转变及大帧间 视差两者且因此被标记为"LT"及"LD"两者的像素周围及接近于所述像素的像素块。经发 现具有大视差及大强度转变两者的经CRC映射的像素块通常在前景人物202与更远处背景 (包含相异背景物体204及206以及更远处及更无特征的背景）之间的边缘周围或接近于 所述边缘。取决于用于检测帧间视差的准则，串扰降低处理还可给例如特写人物的眼睛、鼻 子及嘴巴等区域加旗标为高于面谈图像帧之间的阈值帧间视差，且因此也是用于串扰校正 处理的候选者，例如对于在图10及11中的人物眼睛周围的区域。
[0052] 串扰预处理模块110因此可通过仅识别需要串扰降低的那些区域以使得可在不 会干扰带宽或参考帧的质量的情况下应用串扰降低，来提供质量保护的额外层。预处理阶 段还通过识别需要串扰的某些区而使用较少硬件周期。系统仅对帧中的低百分比的像素应 用串扰校正，以使得过程达成当前像素的提早终止。在一些实例中，系统可对视频内容中的 所有像素的10%到15%应用串扰校正。在其它实例中，系统可对视频内容中的像素的较大 或较小百分比应用串扰校正。
[0053] -旦系统100已对如图8及9中所示的图像帧应用强度阈值映射及视差映射两 者，系统100便可继续进行串扰降低处理，或系统100可在继续进行串扰降低处理之前执行 额外预处理分析或步骤（例如，在如图1中所示的预处理块110的范围内）。举例来说，系 统100的预处理块110可简单地指明用于串扰降低处理的标记为LD及LT两者的所有像 素，或系统100可在指明其用于预处理之前执行用于评估候选者像素的强度转变及视差两 者的额外步骤。系统100的预处理块110还可执行图像帧的范围映射（如图1中的范围映 射模块118所指示），及比较串扰降低候选者像素与范围映射。
[0054] 可在其它预处理步骤之前对每一图像帧中的所有像素应用此范围映射118,或可 在其它预处理步骤之后及/或仅对图像帧中的一些像素应用此范围映射。范围映射可例如 涉及识别适用于图像帧的区或像素的背光值或背景黑色的水平或明度的下部边界值，进行 补偿，其可促使确保完整串扰补偿。举例来说，明度及/或色度的值可在可能值的指定数字 范围内，其中所述范围是由指派给所述范围的位的数目"η"来定界的，例如10位允许所述 像素的明度、色度或其它值具有由2 1°的范围划界的值。然而，总范围可由边界值划界，例如 对明度值中的最亮白色及最暗黑色进行译码，其不允许用于串扰的最佳可能降低的足够界 限。此η位范围的边界值还可并不完全利用例如装置200等装置或显示器机构物理上能够 重现的值范围。
[0055] 举例来说，系统100的预处理块110可检测被标记为用于大视差及大强度转变的 LD及LT两者的帧的在时间上匹配的对中的像素群组，但这些像素及其周围像素作为整体 还具有对图像的相对黑暗区域进行译码的值，以使得即使其涉及相对较大强度阈值，仍针 对明度的下限（即，针对像素强度协议能够提供的最暗黑色）对所述强度阈值的一侧进行 译码。（其它实例可涉及其它边界值，例如明度的上限。）此边界值限制可约束系统100的 能力以防止此群组像素中的串扰及重像。在例如此情形的状况下，系统100的预处理块110 还可引入用于低于或高于对应η位（例如，10位）范围S(p)的码或额外值，其中S为像素 P的范围，其经译码为用于明度及/或色度的源码中的有界的完整范围。预处理块110可应 用范围映射以将其边界值之外的10位值S(p)映射到扩展范围中的值，例如[0，1023]χ[0， 1023]-> S(p)。可以线性或非线性方式进行范围映射。举例来说，在实例线性状况下，可 如下获得在范围映射之后的10位图像的新像素值：
[0056] newleftpix = RangeMap+(leftpix* (1024-RangeMap) )>> 10 ;
[0057] newrightpix = RangeMap+(rightpix* (1024-RangeMap)) >> 10 ;
[0058] 其中值"RangeMap"为可调整参数。
[0059] 一旦系统100的预处理块110已评估一对图像帧，且将一或多个像素标记为LD及 /或LT以将像素识别为串扰候选者，且可能在识别串扰候选者像素之前或之后执行例如范 围映射等任何其它预处理步骤，系统100便接着可执行串扰降低，如下文所论述。
[0060] 系统100可应用各种技术中的任一者来执行串扰降低（例如，使用串扰降低处理 块120)。在一些实例中，串扰降低处理块120可使用由显示测量表征的2D查找表（LUT)， 此举可引起相对较低的处理负担。在一些实例中，串扰降低处理块120可应用等式，所述等 式以更高精确度来处理此函数，且需要较少数据存储空间。下文给出17xl72D查找表（LUT) 的实例：
[0061 ] 输入2 =右明度值
[0062]

【权利要求】
1. 一种方法，其包括： 识别图像帖中的像素，所述像素为用于造成所述图像帖与多视图图像系统中的对应图 像帖之间的串扰的候选者； 对于经识别为用于造成串扰的候选者的像素，对所述像素应用串扰校正；及 对所述像素应用基于位置的调整，其中所述基于位置的调整至少部分基于所述像素是 在所述图像帖的两个或两个W上部分中的哪一者中。
2. 根据权利要求1所述的方法，其中将所述图像帖划分成部分的阵列，且向所述部分 中的每一者指派不同的基于位置的调整因子，使用所述不同的基于位置的调整因子对所述 像素应用所述基于位置的调整。
3. 根据权利要求2所述的方法，其中所述图像帖的所述部分中的至少两者的大小不 同。
4. 根据权利要求2所述的方法，其中将所述图像帖的所述部分划分成由至少一个水平 划分及至少一个垂直划分定义的阵列。
5. 根据权利要求2所述的方法，其中将所述图像帖的所述部分划分成MxN阵列，其中M 及N皆为整数，且所述基于位置的调整至少部分基于所述像素是在所述MxN阵列的两个或 两个W上部分中的哪一者中。
6. 根据权利要求2所述的方法，其中将所述图像帖的所述部分划分成化N阵列，其中N 为整数，且所述基于位置的调整至少部分基于所述像素是在所述化N阵列的两个或两个W 上部分中的哪一者中。
7. 根据权利要求6所述的方法，其中N是选自2到8当中。
8. 根据权利要求7所述的方法，其中N为4。
9. 根据权利要求2所述的方法，其进一步包括定义所述图像帖的圆形部分，及至少部 分基于所述像素是在所述图像帖的所述圆形部分中的两者或两者W上中的哪一者中来应 用基于位置的调整。
10. 根据权利要求2所述的方法，其进一步包括定义所述图像帖的楠圆形部分，及至少 部分基于所述像素是在所述图像帖的所述楠圆形部分中的两者或两者W上中的哪一者中 来应用基于位置的调整。
11. 根据权利要求2所述的方法，其中所述阵列包括在所述图像帖的下部部分中的部 分及在所述图像帖的上部部分中的部分，且所述图像帖的所述下部部分中的所述部分小于 所述图像帖的所述上部部分中的所述部分。
12. 根据权利要求2所述的方法，其中所述阵列包括在所述图像帖的左侧部分中的部 分及在所述图像帖的右侧部分中的部分，且所述图像帖的所述左侧部分中的所述部分的大 小不同于所述图像帖的所述右侧部分中的所述部分的大小。
13. 根据权利要求2所述的方法，其中所述基于位置的调整至少部分基于所述像素是 在3D图像帖的对应对的左图像帖中还是右图像帖中。
14. 一种存储指令的计算机可读媒体，所述指令用于致使处理器； 识别图像帖中的像素，所述像素为用于造成所述图像帖与多视图图像系统中的对应图 像帖之间的串扰的候选者；及 对于经识别为用于造成串扰的候选者的像素，对所述像素应用串扰校正；及 对所述像素应用基于位置的调整，其中所述基于位置的调整至少部分基于所述像素是 在所述图像帖的两个或两个W上部分中的哪一者中。
15. 根据权利要求14所述的计算机可读媒体，其中将所述图像帖划分成部分的阵列， 且向所述部分中的每一者指派不同的基于位置的调整因子，使用所述不同的基于位置的调 整因子对所述像素应用所述基于位置的调整。
16. 根据权利要求15所述的计算机可读媒体，其中所述图像帖的所述部分中的至少两 者的大小不同。
17. 根据权利要求15所述的计算机可读媒体，其中将所述图像帖的所述部分划分成由 至少一个水平划分及至少一个垂直划分定义的阵列。
18. 根据权利要求15所述的计算机可读媒体，其中将所述图像帖的所述部分划分成 MxN阵列，其中M及N皆为整数，且所述基于位置的调整至少部分基于所述像素是在所述 MxN阵列的两个或两个W上部分中的哪一者中。
19. 根据权利要求15所述的计算机可读媒体，其中将所述图像帖的所述部分划分成 化N阵列，其中N为整数，且所述基于位置的调整至少部分基于所述像素是在所述化N阵列 的两个或两个W上部分中的哪一者中。
20. 根据权利要求19所述的计算机可读媒体，其中N是选自2到8当中。
21. 根据权利要求20所述的计算机可读媒体，其中N为4。
22. 根据权利要求15所述的计算机可读媒体，其进一步包括用于致使处理器定义所述 图像帖的圆形部分及至少部分基于所述像素是在所述图像帖的所述圆形部分中的两者或 两者W上中的哪一者中来应用基于位置的调整的可执行指令。
23. 根据权利要求15所述的计算机可读媒体，其进一步包括用于致使处理器定义所述 图像帖的楠圆形部分及至少部分基于所述像素是在所述图像帖的所述楠圆形部分中的两 者或两者W上中的哪一者中来应用基于位置的调整的可执行指令。
24. 根据权利要求15所述的计算机可读媒体，其中所述阵列包括在所述图像帖的下部 部分中的部分及在所述图像帖的上部部分中的部分，且所述图像帖的所述下部部分中的所 述部分小于所述图像帖的所述上部部分中的所述部分。
25. 根据权利要求15所述的计算机可读媒体，其中所述阵列包括在所述图像帖的左侧 部分中的部分及在所述图像帖的右侧部分中的部分，且所述图像帖的所述左侧部分中的所 述部分的大小不同于所述图像帖的所述右侧部分中的所述部分的大小。
26. 根据权利要求15所述的计算机可读媒体，其中所述基于位置的调整至少部分基于 所述像素是在3D图像帖的对应对的左图像帖中还是右图像帖中。
27. -种设备，其包括： 用于识别图像帖中的像素的装置，所述像素为用于造成所述图像帖与多视图图像系统 中的对应图像帖之间的串扰的候选者； 对于经识别为用于造成串扰的候选者的像素，用于对所述像素应用串扰校正的装置； 及 用于对所述像素应用基于位置的调整的装置，其中所述基于位置的调整至少部分基于 所述像素是在所述图像帖的两个或两个W上部分中的哪一者中。
28. 根据权利要求27所述的设备，其中将所述图像帖划分成部分的阵列，且向所述部 分中的每一者指派不同的基于位置的调整因子，使用所述不同的基于位置的调整因子对所 述像素应用所述基于位置的调整。
29. 根据权利要求27所述的设备，其中所述图像帖的所述部分中的至少两者的大小不 同。
30. 根据权利要求27所述的设备，其中将所述图像帖的所述部分划分成由至少一个水 平划分及至少一个垂直划分定义的阵列。
31. 根据权利要求27所述的设备，其中将所述图像帖的所述部分划分成MxN阵列，其 中M及N皆为整数，且所述基于位置的调整至少部分基于所述像素是在所述MxN阵列的两 个或两个W上部分中的哪一者中。
32. 根据权利要求27所述的设备，其中将所述图像帖的所述部分划分成化N阵列，其 中N为整数，且所述基于位置的调整至少部分基于所述像素是在所述化N阵列的两个或两 个W上部分中的哪一者中。
33. 根据权利要求32所述的设备，其中N是选自2到8当中。
34. 根据权利要求33所述的设备，其中N为4。
35. 根据权利要求27所述的设备，其进一步包括定义所述图像帖的圆形部分，及至少 部分基于所述像素是在所述图像帖的所述圆形部分中的两者或两者W上中的哪一者中来 应用基于位置的调整。
36. 根据权利要求27所述的设备，其进一步包括定义所述图像帖的楠圆形部分，及至 少部分基于所述像素是在所述图像帖的所述楠圆形部分中的两者或两者W上中的哪一者 中来应用基于位置的调整。
37. 根据权利要求36所述的设备，其中所述阵列包括在所述图像帖的下部部分中的部 分及在所述图像帖的上部部分中的部分，且所述图像帖的所述下部部分中的所述部分小于 所述图像帖的所述上部部分中的所述部分。
38. 根据权利要求27所述的设备，其中所述阵列包括在所述图像帖的左侧部分中的部 分及在所述图像帖的右侧部分中的部分，且所述图像帖的所述左侧部分中的所述部分的大 小不同于所述图像帖的所述右侧部分中的所述部分的大小。
39. 根据权利要求27所述的设备，其中所述基于位置的调整至少部分基于所述像素是 在3D图像帖的对应对的左图像帖中还是右图像帖中。
40. 根据权利要求27所述的设备，其中所述设备包括集成电路。
41. 根据权利要求27所述的设备，其中所述设备包括移动计算装置。
42. 根据权利要求27所述的设备，其中所述设备包括电视。
【文档编号】H04N13/00GK104471930SQ201380037537
【公开日】2015年3月25日 申请日期:2013年6月18日 优先权日:2012年7月18日
【发明者】格克切·戴恩, 瓦苏德弗·巴斯卡兰 申请人:高通股份有限公司