运动补偿的视频半色调的制作方法
【专利说明】
[0001] 优先权丰张
[0002] 本申请案主张2012年12月17日申请且标题为"运动补偿的视频半色调（MOTION COMPENSATED VIDEO HALFTONING) "的第13/717, 446号美国专利申请案（代理人档案号 QUALP173/123818)的优先权，所述专利申请案在此以引用的方式并入。
技术领域
[0003] 本发明涉及半色调技术，且更具体来说，本发明涉及用于使视频帧半色调以用于 呈现于电子显示器上的改进技术。
【背景技术】
[0004] 机电系统（EMS)包含多个装置，其具有电及机械元件、激活器、换能器、传感器、例 如镜面及光学膜等光学组件及电子器件。EMS装置或元件可以多种尺度制造，包含（但不限 于）微尺度及纳米尺度。举例来说，微机电系统（MEMS)装置可包含大小在约一微米到数百 微米或以上的范围内的结构。纳米机电系统（NEMS)装置可包含大小小于一微米（包含例 如小于数百纳米的大小）的结构。可使用沉积、蚀刻、光刻及/或蚀刻掉衬底及/或所沉积 材料层的部分或添加层以形成电及机电装置的其它微机械加工工艺来形成机电元件。
[0005] 一种类型的EMS装置称为干涉式调制器（IMOD)。术语"IM0D"或"干涉式光调制 器"是指使用光学干涉原理选择性地吸收及/或反射光的装置。在一些实施方案中，頂OD 显示元件可包含一对导电板，所述导电板中的一者或两者可能整体或部分地为透明的及/ 或反射性的，且能够在施加适当电信号后即刻进行相对运动。举例来说，一个板可包含沉积 在衬底上方、衬底上或由衬底支撑的静止层，另一板可包含与所述静止层以气隙分开的反 射隔膜。一个板相对于另一板的位置可改变入射在頂OD显示元件上的光的光学干涉。基 于頂OD的显示装置具有广泛范围的应用，且预期用于改进现有产品及形成新产品，尤其是 具有显不能力的广品。
[0006] 需要电子显示器实时再现和呈现图像数据，以（例如）每秒30个帧的帧速率通过 (例如）广播或蜂窝式网络或经由因特网而逐帧地接收所述图像数据。对于彩色图像，通常 以24位/像素（bpp)的相对较高位深度编码此些数字图像。然而，许多电子显示器（例如 两级显示器或仅具有数个级别的多级显示器）仅能够再现具有实质上更低位深度的图像。 例如，一些彩色反射式显示器（例如模拟机电显示装置）可再现具有每色彩通道两个个位 (6bpp)的位深度的图像。称为半色调的过程用于将高位深度图像（"连续色调"或"连续 调"图像）降低为具有更少数目个色调级的图像。一般来说，半色调是使用人类视觉系统的 空间-色度区别能力的知识来产生具有有限数目个色调级的连续色调彩色图像的感知的 过程。
[0007] 适合于实时应用（例如所传输视频内容的电子显示器）的已知半色调技术包含误 差扩散技术，例如，弗洛伊德-斯坦伯格误差扩散（FSED)。因为半色调纹理通常与时间轴无 关，所以对视频数据应用基于FSED的方法可产生令人讨厌的假影。
[0008] 这些令人讨厌的假影可包含尤其在视频帧含有移动图像内容和静态（非移动）图 像内容两者时易于可观察到的瞬时闪烁或"沸腾"。所述假影发生的原因为：当视频的每一 帧独立于下一帧而半色调时，通过FSED过程而产生不同空间半色调图案。例如，当再现静 态和移动图像内容的连续帧时，已知误差扩散技术可产生因帧而不同的静态区域的半色调 图案。静态区域内的可变半色调图案可导致可观察到的假影（称为沸腾），例如在既定为静 态背景上的移动的点和结构。
【发明内容】
[0009] 本发明的系统、方法和装置各自具有若干创新方面，其中的单一者不单独负责本 文所揭示的所要属性。
[0010] 可在包含电子显示器和显示控制模块的设备中实施本发明所描述目标的一个创 新方面。所述显示控制模块可经配置以接收视频数据的输入帧，每一输入帧包含用于描绘 一或多个图像元素的输入像素，每一图像元素由相应的运动向量表征，每一输入像素具有 相应的第一空间坐标位置。对于每一输入帧，可在所述电子显示器上再现输出帧以便形成 所显示的半色调图像，所述输出帧包含多个输出像素，使用相应的半色调值从相应的输入 像素产生每一输出像素，每一相应的半色调值实质上等于比较帧中的对应像素的半色调 值。输入帧的第一部分包含：输入像素的第一子集，其仅包含与具有零的运动向量的图像元 素相关联的输入像素；及输入像素的第二子集，其仅包含与具有非零运动向量的图像元素 相关联的输入像素。对于所述输入像素的第一子集中的每一输入像素，所述比较帧中的所 述对应像素具有等于所述相应的第一空间坐标位置的相应的第二空间坐标位置。对于所述 输入像素的第二子集中的每一输入像素，所述比较帧中的所述对应像素具有从所述相应的 第一空间坐标位置偏移的相应的第三空间坐标位置，所述空间坐标位置偏移由所述非零运 动向量确定。
[0011] 在一些实施方案中，输入帧的第二部分可包含与第一子集和第二子集不同的输入 像素的第三子集，且显示控制模块可进一步经配置以使用误差扩散技术来确定所述输入像 素的第三子集中的每一者的相应的半色调值。
[0012] 在一些实施方案中，可先验知晓图像元素的相应的运动向量。例如，可由内容提供 商或由操作系统和处理器中的一或多者预先识别运动向量的信息。
[0013] 在一些实施方案中，输入像素的第二子集中的每一者的空间坐标位置偏移可对应 于由非零运动向量指示的方向和距离。
[0014] 在一些实施方案中，比较帧可为输入帧之前或输入帧之后的相邻或几乎相邻的数 据帧。
[0015] 在一些实施方案中，显示控制模块可进一步经配置以一次产生静态背景图像的半 色调图案且逐帧地静态地应用所述半色调图案。
[0016] 在一些实施方案中，显示控制模块可经配置以逐帧地计算图像元素的相应的运动 向量。
[0017] 在一些实施方案中，当输入像素接近于图像元素的边缘时，显示控制模块可进一 步经配置以通过对输入像素应用误差扩散技术而计算输入像素的相应的半色调值。
[0018] 在一些实施方案中，显示控制模块进一步经配置以通过应用误差扩散技术而确定 比较帧中的对应像素中的一或多者的半色调值。
[0019] 可在包括电子显示器和显示控制模块的设备中实施本发明中所描述目标的另一 创新方面。所述显示控制模块可经配置以接收视频数据的多个输入帧，每一输入帧包含描 绘一或多个图像元素的多个输入像素，每一图像元素由相应的运动向量表征。所述设备可 进一步包含用于以下操作的装置：针对每一输入像素而使用选定半色调值来产生输出像 素，输入像素具有第一空间坐标位置，所述选定半色调值实质上等于比较帧中的对应像素 的半色调值；及在所述电子显示器上再现每一输出帧以形成所显示的半色调图像。所述输 入像素的第一子集可仅包含与具有零的运动向量的图像元素相关联的输入像素，且对于所 述输入像素的第一子集中的每一输入像素，所述比较帧中的所述对应像素可具有等于所述 第一空间坐标位置的第二空间坐标位置。所述输入像素的第二子集可仅包含与具有非零运 动向量的图像元素相关联的输入像素。对于所述输入像素的第二子集中的每一输入像素， 所述比较帧中的所述对应像素可具有从所述第一空间坐标位置偏移的第三空间坐标位置， 所述空间坐标位置偏移被选择成与所述非零运动向量对应。
[0020] 可在用于使电子显示器的视频数据半色调的方法中实施本发明中所描述目标的 另一创新方面。所述方法可包含：接收视频数据的多个输入帧，每一输入帧包含描绘一或多 个图像元素的多个输入像素，每一图像元素由相应的运动向量表征，每一输入像素具有相 应的第一空间坐标位置；及对于每一输入帧，在所述电子显示器上再现输出帧以便形成所 显示的半色调图像，所述输出帧包含多个输出像素，使用相应的半色调值从相应的输入像 素产生每一输出像素，每一相应的半色调值实质上等于比较帧中的对应像素的半色调值。 输入帧的第一部分可包含：输入像素的第一子集，其仅包含与具有零的运动向量的图像元 素相关联的输入像素；及输入像素的第二子集，其仅包含与具有非零运动向量的图像元素 相关联的输入像素。对于所述输入像素的第一子集中的每一输入像素，所述比较帧中的所 述对应像素可具有等于所述相应的第一空间坐标位置的相应的第二空间坐标位置。对于所 述输入像素的第二子集中的每一输入像素，所述比较帧中的所述对应像素可具有从所述相 应的第一空间坐标位置偏移的相应的第三空间坐标位置，所述空间坐标位置偏移由所述非 零运动向量确定。
[0021] 可在具有存储于其上的指令的计算机可读存储媒体中实施本发明中所描述目标 的另一创新方面，当由计算系统执行所述指令时，所述指令致使所述计算系统执行操作，所 述操作包含：接收视频数据的多个输入帧，每一输入帧包含描绘一或多个图像元素的多个 输入像素，每一图像元素由相应的运动向量表征，每一输入像素具有相应的第一空间坐标 位置；及对于每一输入帧，在电子显示器上再现输出帧以便形成所显示的半色调图像，所述 输出帧包含多个输出像素，使用相应的半色调值从相应的输入像素产生每一输出像素，每 一相应的半色调值实质上等于比较帧中的对应像素的半色调值。输入帧的第一部分包含： 输入像素的第一子集，其仅包含与具有零的运动向量的图像元素相关联的输入像素；及输 入像素的第二子集，其仅包含与具有非零运动向量的图像元素相关联的输入像素，对于所 述输入像素的第一子集中的每一输入像素，所述比较帧中的所述对应像素可具有等于所述 相应的第一空间坐标位置的相应的第二空间坐标位置。对于所述输入像素的第二子集中的 每一输入像素，所述比较帧中的所述对应像素具有从所述相应的第一空间坐标位置偏移的 相应的第三空间坐标位置，所述空间坐标位置偏移由所述非零运动向量确定。
[0022] 在附图及下文描述中阐述本发明中所描述的标的物的一或多个实施方案的细节。 尽管本发明中所提供的实例主要是在基于EMS及MEMS的显示器的方面来描述，但本文中所 提供的概念可适用于其它类型的显示器，例如液晶显示器、有机发光二极管（"OLED"）显示 器及场发射显示器。其它特征、方面及优点将从所述描述、图式及权利要求书而变得显而易 见。应注意，以下各图的相对尺寸可能未按比例绘制。
【附图说明】
[0023] 图1是描绘干涉式调制器（MOD)显示装置的一系列显示元件或显示元件阵列中 的两个相邻頂OD显示元件的等角视图。
[0024] 图2是说明并入包含頂OD显示元件的三元件乘三元件阵列的基于頂OD的显示器 的电子装置的系统框图。
[0025] 图3是说明MOD显示元件的可移动反射层位置对所施加电压的曲线图。
[0026] 图4是说明在施加各种共同电压和片段电压时的IMOD显示元件的各种状态的表。
[0027] 图5A是显示图像的IMOD显示元件的三元件乘三元件阵列中的显示数据的帧的说 明。
[0028] 图5B是可用于将数据写入到图5A中所说明的显示元件的共同信号和片段信号的 时序图。
[0029] 图6A和图6B是包含机电系统（EMS)元件阵列和背板的EMS封装的一部分的示意 分解部分透视图。
[0030] 图7展示包含电子显示器和显示控制模块的设备的框图的实例。
[0031] 图8展示用于在电子显示器上再现图像的设备的框图的实例。
[0032] 图9展示可如何通过一误差扩散半色调技术而产生瞬时闪烁的实例。
[0033] 图10说明可向其应用当前所揭示的技术的图像数据的实例。
[0034] 图11说明图10的图像数据实例的运动向量映射的实例。
[0035] 图12说明根据一实施方案的用于使视频数据半色调的方法的一个实施方案的概 念数据流程图的实例。
[0036] 图13A到B展示根据一实施方案的用于使视频数据半色调的方法的实例。
[0037] 图14A和14B是说明包含多个MOD显示元件的显示装置的系统框图。
[0038] 各种图式中的相同参考数字和标示指示相同元件。
【具体实施方式】
[0039] 以下描述是针对出于描述本发明的创新方面的目的的某些实施方案。然而，所属 领域的技术人员将容易认识到，可以许多不同方式应用本文中的教示。所描述的实施方案 可在可经配置以显示图像的任何装置、设备或系统中实施，而不论图像是在运动中（例如， 视频）还是静止的（例如，静态图像），且不论图像为文字的、图形的还是图片的。更确切地 说，预期所描述的实施方案可包含在例如（但不限于）以下各者等多种电子装置中或与例 如（但不限于）以下各者等多种电子装置相关联：移动电话、具多媒体因特网功能的蜂窝式 电话、移动电视接收器、无线装置、智能电话、Bliuno