用于图像处理的结构描述符的制作方法
【专利说明】用于图像处理的结构描述符
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年1月17日递交的美国申请第13/743, 565号的优先权，在此 通过引用将该申请全部并入。
【背景技术】
[0003] 现有的图像处理技术通过分析图像的相对较大的部分来尝试照顾到图像中的结 构。结果，这些技术是计算密集的，并且对于只能访问有限的计算资源的应用（例如，移动 应用）经常是不适当的。另外，现有的图像处理技术通常不实施图像结构的保留，使得它们 应用的处理可导致输入和输出图像之间的图像结构中的令人不快的变化。
【发明内容】
[0004] 可评估数字图像的一部分的结构。基于该评估，可确定该部分的结构描述符。结 构描述符可表示该部分中的一个或多个像素或像素的群组之间的关系。基于结构描述符， 可向图像应用图像处理。
[0005] 在第一示例实施例中，可确定图像的mXn像素块的结构描述符。mXn像素块可 包含具有主像素值的主像素和具有各自的次像素值的多个次像素。结构描述符可包括多个 结构指示符，其中每一个与相应的次像素相关联。每个结构指示符可以基于主像素值及其 关联的次像素的相应次像素值。基于结构描述符，可确定mXn像素块的结构值。基于结构 值，可向mXn像素块应用图像处理。
[0006] 第二示例实施例可包括用于为图像的mXn像素块确定结构描述符的装置，其中 mXn像素块包含具有主像素值的主像素和具有各自的次像素值的多个次像素，其中结构描 述符包括多个结构指示符，每个结构指示符与相应的次像素相关联，并且其中每个结构指 示符是基于主像素值及其关联的次像素的相应次像素值的。第二示例实施例还可包括用于 基于结构描述符为mXη像素块确定结构值的装置，以及用于基于结构值向mXη像素块应 用图像处理的装置。
[0007] 第三示例实施例可包括一种非暂态计算机可读存储介质，其上存储有程序指令， 这些程序指令在被计算设备执行时使得该计算设备和/或其外设根据第一和/或第二示例 实施例执行操作。
[0008] 第四示例实施例可包括一种计算设备，其至少包括处理器、图像传感器和数据存 储装置。数据存储装置可包含程序指令，这些程序指令在被处理器执行时使得计算设备根 据第一和/或第二示例实施例操作。
[0009] 本领域普通技术人员通过在适当时参考附图阅读以下详细描述，将清楚这些以及 其它方面、优点和替换方案。另外，应当理解，此
【发明内容】
部分和本文档中其它地方提供的 描述打算以示例而非限制的方式说明要求保护的主题。
【附图说明】
[0010] 图1根据示例实施例描绘了数字相机设备的前视图、右侧视图和后视图。
[0011] 图2根据示例实施例描绘了具有图像捕捉能力的计算设备的框图。
[0012] 图3A根据示例实施例描绘了像素块和结构描述符。
[0013] 图3B也根据示例实施例描绘了像素块和结构描述符。
[0014] 图4A根据示例实施例描绘了从结构描述符得出的结构值。
[0015] 图4B也根据示例实施例描绘了从结构描述符得出的结构值。
[0016] 图5根据示例实施例描绘了流程图。
【具体实施方式】
[0017] 数字图像的结构可以指图像中表示的物体之间的线条、边缘和/或转变的表示。 例如，黑白棋盘的数字图像可表示棋盘上的黑方块与白方块之间的边缘。这些边缘可被认 为是图像的结构的一部分。因此，这种黑白棋盘可以比黑白像素的随机搭配表现出更多的 结构。
[0018] 当使用诸如去噪、锐化和去模糊之类的图像处理技术时，一个可能的挑战是在图 像中的结构与随机噪声之间进行区分。拥有此能力可允许操纵图像而不引入不合需要的伪 影，例如被反转变成亮-暗边缘的暗-亮边缘，或者变得模糊或完全丢失的边缘。
[0019] 作为这种伪影的一个示例，图像锐化技术可导致随机噪声被夸大并且甚至可在边 缘周围引入不自然的"振铃（ringing)"伪影。作为另一示例，图像去噪技术可通过去除将 会存在于理想无噪声图像中的大量结构而引起精细图像细节的丢失。在两种情况下，对局 部结构的更好理解一一其帮助将结构与噪声分开一一都可改善经处理的图像的质量并且 避免至少一些令人不快的伪影。
[0020] 如以上所表明的，现有的图像处理技术对于移动应用可能是不适合的。尤其，移动 应用对于计算资源（例如，处理和/或存储资源）的访问是有限的。另外，可能希望移动应 用限制其对可用计算资源的使用，以使得移动设备的电池寿命可得以节省。从而，希望去 噪、锐化和去模糊技术在图像结构与噪声之间有效地区分，但是以计算高效的方式来做到 这一点的。
[0021] 因此，这里的实施例可在图像捕捉设备上操作，例如图1和图2中所图示的数字相 机设备。然而，这些实施例也可在其它类型的计算设备上操作，包括没有图像捕捉能力的计 算设备。从而，数字相机设备可捕捉图像并根据这里的实施例处理该图像。可替换地或额 外地，数字相机设备可捕捉图像，该图像可被发送或传送到另一计算设备，并且该计算设备 可根据这里的实施例处理该图像。
[0022] 在下文中，将详细描述图像捕捉设备和计算设备，然后将给出可在这种设备上高 效操作的图像处理技术。
[0023] 诸如相机之类的图像捕捉设备可被用作独立的硬件设备或者被集成到各种其它 类型的设备中。例如，静态和视频相机现在经常被包括在无线通信设备（例如，移动电话）、 平板计算机、膝上型计算机、视频游戏接口、家庭自动化设备以及甚至汽车和其它类型的车 辆中。
[0024] 相机的物理组件可包括光通过其进入的光圈、用于捕捉光表示的图像的记录表面 以及位于光圈前方以将图像的至少一部分聚焦在记录表面上的透镜。光圈可以是固定大小 的或者可调整的。在模拟相机中，记录表面可以是照相胶片。在数字图像中，记录表面可包 括电子图像传感器（例如，电荷親合器件（charge coupled device，CCD)或互补金属氧化 物半导体（complementary metal-oxide-semiconductor，CMOS)传感器）来传送捕捉的图 像和/或将捕捉的图像存储在数据存储单元（例如，存储器）中。
[0025] 快门可耦合到透镜或记录表面或者在透镜或记录表面附近。快门可处于闭合位 置，在该位置中其阻挡光到达记录表面，或者处于打开位置，在该位置中光被允许到达记录 表面。快门的位置可由快门按钮来控制。例如，快门可默认处于闭合位置中。当快门按钮 被触发（例如，按压）时，快门可从闭合位置变化到打开位置达一段时间，该段时间被称为 快门周期。在快门周期期间，可在记录表面上捕捉图像。在快门周期结束时，快门可变回到 闭合位置。
[0026] 可替换地，快门过程可以是电子的。例如，在CXD图像传感器的电子快门被"打开" 之前，传感器可被复位以去除其光电二极管中的任何残余信号。在电子快门保持打开期间， 光电二极管可累积电荷。在快门闭合时或者在快门闭合之后，这些电荷可被传送到长期数 据存储装置。机械和电子快门的组合也是可能的。
[0027] 无论类型如何，都可用除了快门按钮以外的某种东西来激活和/或控制快门。例 如，可以用软键、定时器或者某个其它触发器来激活快门。这里，术语"图像捕捉"可以指导 致一个或多个照片被记录的任何机械和/或电子快门处理，无论快门过程是如何被触发或 控制的。
[0028] 捕捉的图像的曝光可由光圈的大小、进入光圈的光的亮度和快门周期的长度（也 称为快门长度或曝光长度）的组合来确定。此外，可向图像应用数字或模拟增益，从而影响 曝光。在一些实施例中，术语"总曝光长度"或"总曝光时间"可以指快门长度乘以对于特 定光圈大小的增益。这里，术语"总曝光时间"或者"TET"应当被解读为可能是控制由光到 达记录表面引起的信号响应的量的快门长度、曝光时间或任何其它度量。
[0029] 静态相机可在每次图像捕捉被触发时捕捉一个或多个图像。只要图像捕捉保持被 触发（例如，在快门按钮被保持按下期间），视频相机就可按特定速率（例如，24图像或帧 每秒）连续地捕捉图像。一些数字静态相机可在相机设备或应用被激活时打开快门，并且 快门可保持在此位置，直到相机设备或应用被解除激活为止。在快门打开期间，相机设备或 应用可捕捉并在取景器上显示场景的表示。当触发图像捕捉时，可捕捉当前场景的一个或 多个不同的数字图像。
[0030] 相机--即使是模拟相机--也可包括软件来控制一个或多个相机功能和/或设 定，例如光圈大小、TET、增益，等等。此外，一些相机可包括在捕捉图像期间或者在捕捉图像 之后数字地处理这些图像的软件。虽然应当理解以上描述概括地提及了相机，但其可尤其 与数字相机相关。
[0031] 如先前所表明的，数字相机可以是独立的设备或者与其它设备集成。作为示例，图 1图示了数字相机设备100的形态因素。数字相机设备100可例如是移动电话、平板计算 机或者可穿戴计算设备