使用泊松量化噪声模型确定弱光条件下的强度相似度的制作方法

专利名称：使用泊松量化噪声模型确定弱光条件下的强度相似度的制作方法
专利说明使用泊松量化噪声模型确定弱光条件下的强度相似度 背景 噪声在任何成像设备中是不可避免的。在由照明正被拍摄的对象的弱光源或试图拍摄对象的设备使用小或低质量镜片而引起的弱光情形下尤其如此。在上述任何一种情况下，弱光的情形经常妨碍对高质量图像的捕获和呈现。
概述 提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并非意在确定所请求保护的主题的关键特征或必要特征，也并非意在用来帮助确定所请求保护的主题的范围。
鉴于上述情况，描述了用于对弱光条件下的噪声进行建模的泊松量化噪声模型。在一个方面，接收图像信息。然后，根据泊松噪声模型和量化噪声模型生成泊松量化噪声模型。接着，使用泊松量化噪声模型估计图像信息中的泊松量化噪声。
附图简述 在以下讨论的附图中，组件的附图标记的最左位数字标识该组件首先在其中出现的特定附图。


图1示出包括一种用于视频内容分析的视频内容分析引擎的示例性系统。
图2是示例性视频内容分析引擎驻留在其上的计算设备的框图。
图3包括示出泊松量化噪声的示例性均值和方差属性的两个图表。
图4示出用于泊松噪声模型的示例性强度相似度函数。
图5是标识两帧图像信息之间的像素相关性的示例性方法的流程图。
图6是确定强度相似度函数的示例性方法的流程图。
图7示出可在其中基于泊松量化噪声建立强度相似度函数的合适的计算环境的示例。
详细描述 概要 以下公开的内容描述了可用来对弱光条件下的噪声进行建模的泊松量化(PQ)噪声模型。在一个实施例中，PQ噪声模型可用来创建强度相似度函数。将理解的是，此处所使用的术语“强度相似度函数“和”强度相似度量度”是可互换的。一般而言，强度相似度量度表示一种概率，即对三维场景中同一点(或相同颜色的)的两个略微不同的观察是对同一点的观察的概率。
在一个实施例中，强度相似度量度可用来计算强度相似度以处理视频内容。这些计算可能需要在视频帧中找出像素对应关系，该像素对应关系可用于例如(尤其在弱光条件下的)降噪、对象跟踪、图案匹配等各种图像处理操作。
现在更详细地描述用于对泊松量化噪声建模并基于此生成强度相似度函数的系统和方法的这些和其它方面。
示例性系统 尽管不是必需的，但在正由诸如个人计算机等计算设备执行的计算机可执行指令(程序模块)的一般上下文中描述生成弱光条件下的泊松量化噪声模型和强度相似度量度的系统和方法。程序模块一般包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。尽管在上述的上下文中描述系统和方法，但是将理解的是，以下所描述的动作和操作可在任何合适的硬件、软件、固件或其组合中实现。
图1示出用于处理视频内容的示例性系统100。在一个实现中，系统100可用来通过使用泊松量化噪声模型来计算泊松量化噪声。在一个实现中，经计算的泊松量化噪声被用来创建强度相似度量度。该强度相似度量度可用来处理由系统100捕获的视频内容。例如，在一个实现中，强度相似度量度被用来找出诸视频图像之间的对应关系。
系统100包括诸如照相机102的成像设备。照相机102包括光学器件、光检测器106和视频内容分析引擎108。尽管成像设备被示出为数字照相机102，但是成像设备还可以是诸如常规模拟照相机、配备有成像设备的蜂窝电话、配备有成像设备的个人数字助理(PDA)、网络摄像头等任何类型的成像设备。被成像设备捕获的对象图像信息通常包括被光学器件104接收并发送到光检测器106的光子噪声112。光子噪声112是由于光子不以稳定的流到达光学器件104而产生的。取而代之，光子以一种与泊松噪声模型相一致的起伏的方式到达。到达光检测器106处的光子在这个强度上的瞬时波动在弱光条件下变得特别明显，而在该弱光条件下，进入的光子数是受限制的。
除了光子噪声112之外，照相机102还会遇上包括量化噪声的其它类型的噪声。当光检测器106将输入的光子能量数字化成量化的值而由此通过将入射光强度转换成检测器电流或信号来将光子变成电子时，产生量化噪声。在光子受限的情况下，由于在受限的动态范围中缺少强度分辨率，因此光子噪声和量化噪声成为主导。因此，量化噪声和光子噪声可对诸如夜视、医学成像、水下成像、显微镜成像、天文成像和/或其它应用等弱光视觉应用产生特别有害的作用。
除了光子噪声112和量化噪声之外，诸如复位噪声、暗电流噪声和读取噪声等其它类型的噪声也可能是显著的。一般而言，这些类型的噪声可能会严重降低照相机102中形成的图像114的质量。在高速成像中，泊松噪声经常变得显著，并且泊松噪声和量化噪声的组合会大大造成观测的不确定性。复位噪声、暗电流噪声和读取噪声可遵循泊松分布。然而，有时，也可用高斯噪声对读取噪声建模。这是因为如果σ足够大，则具有方差σ2和均值σ2的高斯噪声与具有均值σ2的泊松噪声几乎完全一致而造成的。例如，当在室温下且采用高读取频率操作照相机102时，σ可足够大以致满足该条件。
视频内容分析引擎108可用来影响光子受限的图像的图像复原，否则这些图像将遭受严重的恶化。如以下所讨论的，视频内容分析引擎108通过对光子噪声112、量化噪声、复位噪声、暗电流噪声和读取噪声建模并创建强度相似度量度来实现此功能。这些操作在过滤各种类型的噪声以改善图像114的质量方面是有用的。
计算机116被示为台式计算机。然而，计算机116可替换地包括诸如笔记本或便携式计算机、平板PC、蜂窝电话、个人数字助理(PDA)、工作站、大型计算机、服务器、因特网设备、机顶盒、以上的组合等各种其它类型的计算机和类似计算机的设备。在一个实现中，视频内容分析引擎108在计算机116上实现。在另一个实现中，视频内容分析引擎108的一部分驻留在计算机116上，而视频内容分析引擎108的另一部分驻留在计算机116外部的计算机可读介质上，或驻留在诸如照相机102等与计算机116分开的设备上。
计算机116通过本领域中公知的包括电话线、ISDN线的任何可能的连接类型耦合至诸如因特网等网络120。此外，其它计算机122(1)-122(N)可连接至网络120。按这种方式，计算机122(1)-122(N)可彼此、并与计算机116共享数据和指令。在一个实现中，这包括由计算机116通过网络120与计算机122(1)-122(N)共享由照相机102捕获的并由视频内容分析引擎108处理的视频内容。例如，在一个实现中，照相机102包括带有成像设备的蜂窝电话。在该示例中，成像设备拍摄的图像被视频内容分析引擎108处理。然后，这些图像被传送到计算机116、网络120或计算机122(1)-122(N)。
示例性计算设备 尽管不是必需的，但在由诸如个人计算机等计算设备执行的计算机可执行指令(程序模块)的一般上下文中描述基于PQ噪声模型创建泊松量化噪声模型和强度相似度量度的系统和方法。程序模块一般包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。尽管在上述上下文中描述系统和方法，但是以下描述的动作和操作也可在硬件、软件、固件或硬件、软件、固件等组合中实现。
图2示出包括程序模块202和程序数据204的示例性计算设备200。程序模块202包括视频内容分析引擎108。视频内容分析引擎108包括PQ噪声建模模块206和强度相似度量度模块208。程序模块202还包括其它程序模块210，诸如操作系统、像素对应关系模块和基于由PQ噪声建模模块206生成的PQ噪声模型212和/或由强度相似度量度模块208生成的强度相似度量度214执行降噪应用程序的一个或多个应用程序。程序数据204包括PQ噪声模型212、强度相似度量度214和例如输入图像数据、中间值和结果、以及强度观测值等其它程序数据216。
对图像序列的降噪可通过在序列中的图像中找出像素对应关系来实现。一旦获得对应关系，则通过为序列中的图像中所找到的对应像素的颜色/强度值选择平均值或均值来平滑像素的颜色/强度值。按这种方式，可降低图像中的噪声。
强度相似度量度模块208可用于寻找弱光条件下的像素对应关系，因为强度相似度量度是构建在基于物理的噪声模型(即，PQ噪声模型212)上的。为了计算强度相似度量度214，确定PQ噪声模型212的参数q和q1。如将在下面更详细地描述，这通过将观测的噪声数据应用于校准阶段来实现。一旦获得PQ噪声模型212的参数q和q1，则可获得该强度相似度量度214。以下还将更详细地描述如何获得相似度量度214的方法。将理解的是，如果图像中的增益和白平衡参数是固定的，该计算只需要完成一次。
下面，导出作为弱光条件下的现实噪声模型的PQ噪声模型212。PQ噪声模型212构建在弱光条件中的两个不可避免的噪声源之上泊松噪声和量化噪声。PQ噪声模型212针对由光子到达的本质以及由光检测器106处执行的数字化处理而引起的不确定度。强度相似度量度214是基于PQ噪声模型212的。强度相似度量度214在涉及强度区分的例如块匹配、立体视觉、光流和图像对齐等许多计算机视觉应用中是有用的。强度相似度量度214可基于欧几里德距离替换现有的强度距离函数。
泊松-量化噪声模型 如以上所述，照相机102捕获的视频内容的质量易受由光子噪声112和量化噪声产生的不确定度影响。以下描述的泊松-量化(PQ)噪声模型212针对该不确定度。
泊松噪声模型 泊松噪声由具有参数λ、对所有k∈N被以下概率所定义的泊松分布来建模 其中均值E和方差V定义如下 量化噪声模型 如上面指出的，量化噪声是图像数据中被观测的幅值在光检测器106中的被舍入到离散值时所引起的不确定度。这是由于任何数字系统内固有的有限的幅值分辨率(即，在模数转换中，假定信号位于预先定义的范围内)而引起的。
如果将观测的强度提升一个级数所需的电子的最小数目为q，且eq是量化噪声，则电子数按照光电转换效率因子(传感器的量子效率)与光子数成正比。由此，量化噪声可建模为
其中N是由测量产生的电子的数目。更详细的计算机视觉中的量化误差分析可在B.Kamgar-Parsi和B.Kamgar-Parsi的“Evaluation of Quantization Errorin Computer Vision”(计算机视觉中量化误差的估计)，IEEE Trans.Pattern Anal.Mach.Intell.，11(9)929940，1989中找到，它通过引入被纳入于此。
泊松量化噪声模型 根据到上述讨论的泊松噪声模型和量化噪声模型，PQ噪声模型212可按如下来形成。具有参数λ和量化变量Q＝{q0＝0，...，qk，...，qn+1＝∞}的泊松分布、对于所有k∈{0，...，n}可由概率p(k，λ，Q)定义为 其中量化参数qk表示用于产生强度级数为k的最小电子数。
在一个实现中，认为量化间隔是不变的，即qk＝kq，并且观测值被认为是远没有达到饱和。在这种情况中，量化间隔可被定义为赋予同样输出级数的输入值的范围，并且可以看出PQ噪声模型212的行为与泊松噪声模型的行为不同。
为了导出PQ噪声模型212的均值E(λ，q)和方差V(λ，q)，X∈Z被认为是具有特性函数φ(t)＝E(eitX)的离散随机变量。由此，经量化的版本Xq可由下式定义
此外，Xq的特性函数φq由下式给出 这可通过令pn＝P(X＝n)来证明。因此，Xq的特性函数φq为
由于函数
是以q为周期的，所以它可写为三角多项式 使用离散傅里叶变换，它可以表示为 从而， 推论1.Xq的均值Eq和Xq的方差Vq可由均值E，方差V以及X的特性函数φ写成 使用公式Eq＝-iφq′(0)和从对φq的求导计算产生以上这些公式。
此外，通过使用具有特性函数的泊松分布，获得以下公式 (6) 注解1通过允许X成为

中的随机变量并允许φX(t)成为X的特性函数，这个结果可扩展至连续随机变量的情形。然后可允许

作为X的量化版本。通过使用由在

上定义的周期为1的函数的傅里叶级数，即


的特性函数

可示出为
其中如果不存在收敛的话，则通过将n到-n的项集合在一起来求和。均值

可由下式获得
这应用于任何类型的分布，例如，可通过允许X作为遵循高斯定律N(μ，σ2)的随机变量来导出高斯分布的均值。特性函数变为所以，
因为右边的级数随n成指数级减少，所以可获得一个计算

的实用方法。
图3示出普通泊松(P)噪声模型和PQ噪声模型212之间的区别(由以上示出的均值和方差等式来描绘)。在图302中，示出对于P噪声和PQ噪声两者关于具有q＝100的λ的均值的开方。由于量化噪声的缘故，所以在PQ噪声的均值中观测到强烈振荡，而对于λ，p噪声的均值几乎为线性。
类似地，图304示出对于均值具有q＝100的P噪声和PQ噪声两者的方差的开方。再次，由于量化噪声，在PQ噪声的均值中观测到强烈的振荡，而P噪声的方差展现出与P噪声的均值接近线性的关系。
图302中的PQ噪声的均值的振荡，以及图304中的PQ噪声的方差按照以下公式成指数衰减 线性范围的最小强度级数对应于 在实践中，由于由偏置电压引起的函数偏移，使得q1不等于q。然而，在PQ噪声模型212下，假设q0＝0且qk＝q1+(k-1)q，则通过用于上述等式(5)和(6)的相同推导是可能获得满足这个条件的E(λ，q)和V(λ，q)的。因此，当E(λ，q)合理高时，即，当 则E(λ，q)和V(λ，q)之间的以下关系保持在线性范围中 这个结果的产生是因为假定所观测的强度远没有到达饱和从而可使用n＝∞的近似。将该问题一分为二，形成两种情况。
情况1.如果q1≤q，且X(λ)是下式定义的偏移后的泊松分布中的离散随机变量 则，
拥有期望的PQ分布。因此，可以看出，EX(λ)＝λ+q1-q且VX(λ)＝λ。
情况2.如果q1＞q，且X(λ)是离散随机变量，它满足 则
具有期望的PQ分布。当λ为大时，近似式P(X＝0)≈0成立。因此，推得EX(λ)≈λ+q1-q和VX(λ)≈λ。
采用示出了的推论1和注解1，可推出 和 是位于线性范围内的。因此 PQ噪声模型具有两个未知参数q和q1。这些未知参数可通过将观测到的噪声数据代入上述等式(7)来测量得到。
强度相似度量度 两个强度观测值k和l之间的相似度经常通过欧几里德距离来测量，其中假定k和l是真实的信号，或者正采用的噪声模型是没有偏差的。然而，这种假定在弱光条件中不成立。对比之下，强度相似度量度214基于两个强度观测值来自同一个源强度的概率。为简明起见，将在导出对PQ噪声模型212的强度相似度量度之前导出对泊松噪声情况的强度相似度量度。将理解的是，泊松噪声模型可被认为是PQ噪声的一特殊情形，其中量化参数q＝q1＝1。
泊松噪声情形 在泊松噪声模型中，当两个观测的强度来自同一个强度分布时，可假定这两个观测的强度共享同一个参数λ。鉴于此，获得两个观测值k和l的概率为 由于参数λ是未知的，所以实际概率是无法计算的。然而，通过参考λ最大化该概率的最佳情况，可找到最大化k和l之间的相似度的量度。这个方法对应于(k，l)对的观测值的ML估计。因此，可通过令一阶导数为零来获得最佳
从而获得 等式9最大化等式8中定义的概率。以此方式，按下式定义强度相似度函数 因为如果k＞0则d(k，k)＞0，所以这个相似度量度与距离的确切定义不一致。然而，该相似度量度不产生两个观测值之间的相似度。
图4以图示化的函数402示出等式(10)中定义的强度相似度函数。当两个观测的强度级数都为高时，图示化的函数402类似于范数l2。事实上，当k和l足够大时，d(k，l)与经平方的范数l2有关。这可通过采用近似式ln(k！)≈kln(k)-k重写等式(10)来示出 (11) 泊松量化噪声情形 使用前一节中的推导，可公式化PQ噪声模型212的强度相似度函数。联合概率P由下式被定义为用量化Q观察分别具有参数λk和λl的k和l的概率。
P(k，l，λk，λl，Q)＝p(k，λk，Q)p(l，λl，Q)， (12) 首先确定最大化概率P的参数

这等效于最大化两个强度观测值共享相同强度源的概率。当λk＝λl时，认为P(k，l，λ，Q)＝P(k，l，λk，λl，Q)。由于概率的对数-lnP是凸形的，所以存在这个最佳
等式(12)中的概率的对数-lnP的凸性可由以下示出 命题

是凸形的。
证明 因此，f是凸的。
返回到对PQ噪声模型212的强度相似度函数的公式化 (1)如果k＝l，则P(k，k，λ，Q)的最大值由下式给出 这可从以上证明概率的对数-lnP的凸性中所描述该函数的一阶导数中获得。
(2)如果k≠l，则可通过最小化凸函数-lnP来获得最佳

这可通过描述用于采用在P的一阶导数上进行二分搜索找出最佳

的简单算法来实现。

P′的符号可通过计算下式的符号来确定 或者，为了找到最佳

还可使用诸如梯度下降、牛顿-拉夫逊等其它下降法。
通过使用等式(4)和(12)，将最佳

插入到以下函数来最终确定强度相似度函数。
处理视频内容的示例性程序 图5a示出用于创建强度相似度量度表的示例性程序500。为了方便理解，方法500被描绘成图5a中的独立框所表示的各分立步骤。然而，这些分开描绘的步骤不应被理解为依赖于它们执行的必要顺序。另外，出于讨论目的，参考图1-2中的元素描述方法500。这个流程图可在任何合适的硬件、软件、固件或其组合中实现。在软件和固件的情况下，这个图示表示实现为计算机可执行指令的各组操作。组件的附图标记的最左位数字标识该组件首先在其中出现的特定附图。
在框502处，接收图像信息。例如，使用照相机102或任何其它合适的摄像设备来采集视频信息。或者，照相机102或其它任何合适的摄像设备可用来采集目标对象的若干静态帧。
在框504处，累积并存储框502接收到的图像信息。图像的累积可包括例如搜集大约1000张图像。然而，还将理解的是，可在框504处积累更多或更少的图像。累积的图像信息可存储在包括与计算机116、照相机102或视频内容分析引擎108相关联的存储器的任何合适的存储设备中。
在框506处，框504所存储的积累的图像信息被用来校准未校准的泊松量化(PQ)噪声模型(框508) 其中量化参数qk表示产生强度级数k的最小电子数目。PQ噪声模型具有两个未知的参数q和q1。事实上，由于偏置电压引起的函数偏移，使得q1不等于q。然而，可通过将观测的噪声数据代入下式(7)来估计这些未知参数(框506) 一旦估计了参数q和q1，它们和等式4一起使用以建立具有确定的参数q和q1的经校准的PQ噪声模型(框510)。
然后，这个具有确定的参数q和q1的经校准的PQ噪声模型被用来建立强度相似度量度(框514)。基于强度测量值来自同一源强度的概率计算强度相似度量度。在一个实现中，强度相似度量度根据遵循以下公式的强度相似度函数来计算 一旦经计算，强度相似度量度被用来建立强度相似度量度表(框516)。在创建强度相似度量度表(框516)时，对观测值k和l的每个组合计算强度相似度。因此，该表变成对称正方矩阵，其中行和列的数目是离散观测值的数目，例如，当观测的范围是0-255时，则行和列的数目变成256。一旦被创建，强度相似度表(框518)对两个强度观测值提供强度相似度量度。例如，当观测了两个强度值k和l，则可通过查找强度相似度量度表518来测量强度相似度。
处理视频内容的示例性程序 图5b示出寻找图像信息的两个帧之间的像素对应关系的示例性程序530。为了便于理解，方法500被描绘为图5b中的独立框所表示的分立步骤。然而，这些分开描绘的步骤不应被理解为依赖于它们执行的必要顺序。另外，出于讨论目的，参考图1-2和5a中的元素描述方法530。这个流程图可在任何合适的硬件、软件、固件或其组合中实现。在软件和固件的情况下，这个图示表示实现为计算机可执行指令的各组操作。组件的附图标记的最左位数字标识该组件首先在其中出现的特定附图。
一旦创建了强度量度表518，可利用它找出两个图像之间的像素对应关系。例如，在框532处，接收图像信息。这个图像信息可以是在方法500中的框502处接收到的同一图像信息，或者它可以是新的图像信息。该图像信息还可包括使用照相机102或任何其它合适的摄像设备所采集到的视频信息。或者，在另一个可能的实施中，照相机102或任何其它合适的摄像设备可用来采集目标对象的若干静态帧。
在框534处，选择来自视频信息或对静态帧的采集中的两个帧。
在框536处，使用预先计算出的强度相似度量度表(框518)比较两个图像，并且可使用本领域中已知的块匹配光流估计(block matching opticalflow estimation)或任何其它合适的方法找出两个帧之间的像素对应关系。
创建PQ噪声模型的示例性程序 图6示出导出强度相似度量度的示例性程序600。为了便于理解，方法600被描绘为图6中的独立框所表示的分立步骤。然而，这些分开描绘的步骤不应被理解为依赖于它们执行的必要顺序。另外，出于讨论目的，参考图1-2中的元素描述方法600。这个流程图可在任何合适的硬件、软件、固件或其组合中实现。在软件和固件的情况下，这个图示表示实现为计算机可执行指令的各组操作。组件的附图标记的最左位数字标识该组件首先在其中出现的特定附图。
方法600被用来基于两个强度观测值来自同一源强度的概率来导出强度相似度量度。在框602处，联合概率P由下式被定义为用量化Q观察分别具有参数λk和λl的k和l的概率 P(k，l，λk，λl，Q)＝p(k，λk，Q)p(l，λl，Q)， (12) 在框604处，孤立联合函数P的各最大值，以致

这等效于找出两个强度观测值共享同一强度源的概率的各最大值。当λk＝λl，认为P(k，l，λ，Q)＝P(k，l，λk，λl，Q)。然而，由于概率的对数-lnP是凸形，所以存在对应于

的各最大值。
在框606处，观测强度观测值k和l以确定它们是否相等。如果是(框606的“是”路径)，则使用以下公式找出P(k，k，λ，Q)的各最大值 (框608) 或者，如果在框606处，强度观测值k和l被确定为不相等(框606的“否”路径)，则对P的一阶导数进行二分搜索以找到对应于凸函数-lnP的各最小值的

(框610)。在一个实现中，使用以下算法对P的一阶导数进行二分搜索
或者，为了找到最佳

还可使用诸如梯度下降、牛顿-拉夫逊等其它下降方法。
P′的符号可通过计算下式的符号来确定(框612) 一旦在框608或框610-612处找到最佳

则方法600利用

的最佳值通过将最佳

插入到以下函数中来确定强度相似度函数(框614) 根据该强度相似度函数可计算强度相似度量度。
示例性操作环境 图7示出合适的计算环境的示例，其中可使用泊松量化(PQ)噪声模型来创建强度相似度量度。示例性计算环境700只是图1的示例性系统、图2的示例性计算设备和图5-6的示例性操作的合适计算环境的一个示例，而并不意在暗示对此处描述的系统和方法的使用或功能的范围的任何限制。也不应将计算环境700解释为对计算环境700所示出的组件中的任何一个或其组合具有任何依赖或要求。
此处所描述的方法和系统可采用众多其它通用或专用计算系统来操作。适用的众知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、多处理器系统、基于微处理器的系统、网络PC、小型计算机、大型计算机、包括任何以上系统或设备的分布式计算环境等。该框架的压缩或子集版本也可在诸如手持式计算机或其它计算设备等具有有限资源的客户机上实现。本发明在分布式计算环境中被实践，在该环境中，由通过通信网络链接的远程处理设备执行任务。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备两者上。
参考图7，一种用于基于PQ噪声模型来计算强度相似度量度的示例性系统包括一通用计算设备，该设备采用实现例如图2的计算设备200的计算机710的形式。计算机710的以下所描述的各方面是计算设备200、计算机116计算机122(1)-122(N)和照相机102的示例性实现。计算机710的组件可包括(但不限于)(诸)处理单元720、系统存储器730以及将包括系统存储器的各种系统组件耦合至处理单元720的系统总线721。系统总线721可以是几种类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线、和采用各种总线体系结构中的任一种的局部总线。作为示例，而并非限制，这样的体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也被称为夹层(Mezzanine)总线的外围部件互联(PCI)总线。
计算机710通常包括各种计算机可读介质。计算机可读介质可以是能被计算机710访问的任何可用介质，包括易失性和非易失性介质、可移动和不可移动介质。作为示例，而并非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机储存介质包括以用来存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性的、可移动的和不可移动的介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备、或可用来储存所期望的信息并能被计算机710访问的任何其它介质。
通信介质通常以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并包括任何信息传递介质。术语″已调制数据信号″指的是将其一个或多个特性以在该信号中编码信息的方式来设置或改变的信号。作为示例而非限制，通信介质包括有线介质，例如有线网络或直接线连接，以及无线介质，例如声学、RF、红外线和其它无线介质。上述的任何一种的组合也应该被包括在计算机可读介质的范围之内。
系统存储器730包括诸如只读存储器(ROM)731和随机存取存储器(RAM)732等易失性和/或非易失性存储器形式的计算机存储介质。包含(例如在启动期间)帮助在计算机710内的元件之间传输信息的基本例程的基本输入/输出系统733(BIOS)通常存储在ROM 731中。RAM 732通常包含处理单元720直接可访问和/或当前正在操作的数据和/或程序模块。作为示例，而不是限制，图7示出了操作系统734、应用程序735、其它程序模块736以及程序数据737。
计算机710还可包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图7示出了读取和写入不可移动、非易失性磁介质的硬盘驱动器741，读取和写入可移动、非易失性磁盘752的磁盘驱动器751，以及读取和/或写入诸如CD ROM或其它光介质等可移动、非易失性光盘756的光盘驱动器755。能用于该示例性操作环境的其它可移动/不可移动、易失性/非易失性计算机存储介质包括，但不限于，磁带盒、闪存卡、数字多功能盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器741通常通过诸如接口740等不可移动存储器接口与系统总线721相连，磁盘驱动器751和光盘驱动器755通常由诸如接口750等可移动存储器接口与系统总线721相连。
上面讨论的并在图7中示出的驱动器及其相关联的计算机存储介质为计算机710提供了对计算机可读指令、数据结构、程序模块及其它数据的存储。在图7中，例如，硬盘驱动器741被示为存储操作系统744、应用程序745、其它程序模块746、及程序数据747。注意，这些组件可以与操作系统734、应用程序735、其它程序模块736、以及程序数据737相同或不同。应用程序735包括例如图1的计算设备102或104的程序模块。操作系统744、应用程序745、其它程序模块746、及程序数据747在此处被赋予不同的标号用来说明至少它们是不同的副本。
用户可以通过诸如键盘762和定点设备761(通常指鼠标、跟踪球或触摸垫)等输入设备将命令和信息输入到计算机710中。其它输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些及其它输入设备通常通过耦合至系统总线721的用户输入接口760连接至处理单元720，但也可通过其它接口和总线结构，例如并行端口、游戏端口、或通用串行总线(USB)来连接。
监视器791或其它类型的显示设备也通过诸如视频接口790等接口连接至系统总线721。除了监视器之外，计算机还可包括诸如打印机796和(诸)音频设备797等其它外围输出设备，它们可通过输出外围接口795被连接。
计算机710采用与诸如远程计算机780等一个或多个远程计算机的逻辑连接在联网环境中操作。在一个实现中，远程计算机780表示图1的计算设备102或联网的计算机104。远程计算机780可以是个人计算机、服务器、路由器、网络PC、对等设备、或其它常见的网络节点，并且作为其特定实现的一个功能，它可包括许多或全部以上关于计算机710所描述的元件，尽管图7中只示出一个存储器存储设备781。图7所示的逻辑连接包括局域网(LAN)771和广域网(WAN)773，但还可包括其它网络。这样的网络连接环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN网络连接环境中使用时，计算机710通过网络接口或适配器770连接至LAN 771。当在WAN网络连接环境中使用时，计算机710通常包括调制解调器772，或用于通过诸如因特网等WAN 773建立通信的其它装置。可内置或外置的调制解调器772可通过用户输入接口760或其它合适的机制连接至系统总线721。在联网环境中，相对于计算机710所描绘的程序模块或其部分可以存储在远程存储器存储设备中。作为示例，而非限制，图7将远程应用程序785示为驻留在存储设备781中。所示出的网络连接是示例性的，并且可以采用在计算机之间建立通信链路的其它手段。
结论 尽管用对结构性特征和/或方法性动作专用的语言描述了该主题，但应该理解，所附权利要求中定义的主题并不必然局限于所描述的具体特征或动作。相反，这些具体特征和动作是作为实现所请求保护的发明的示例性形式而公开的。
权利要求
1.一种计算机实现的方法，包括
接收图像信息；
从泊松噪声模型和量化噪声模型生成泊松量化噪声模型；以及
使用所述泊松量化噪声模型来估计所述图像信息中的泊松量化噪声。
2.如权利要求1所述的方法，其特征在于，所述接收包括接收图像信息中的至少两帧。
3.如权利要求1所述的方法，其特征在于，所述生成包括组合所述泊松噪声模型和所述量化噪声模型。
4.如权利要求1所述的方法，其特征在于，所述泊松噪声模型包括
其中k表示强度级数，λ表示强度源，以及Q表示量化变量。
5.如权利要求1所述的方法，其特征在于，还包括
使用所述泊松量化噪声模型来确定强度相似度函数；以及
使用所述强度相似度函数来寻找像素对应关系。
6.如权利要求5所述的方法，其特征在于，所述强度相似度函数包括
其中k和l表示两个强度观测值，λ表示强度源，P表示联合概率，
表示最大化所述联合概率P的强度源，以及Q表示量化变量。
7.如权利要求5所述的方法，其特征在于，所述确定包括寻找两个强度观测值k和l共享同一强度源的最大联合概率。
8.如权利要求7所述的方法，其特征在于，所述寻找包括对所述联合概率的一阶导数进行二分搜索以寻找对应于凸函数-ln(P)的各最小值的
9.如权利要求7所述的方法，其特征在于，所述寻找包括执行梯度下降法和执行牛顿-拉夫逊下降法中的一个以寻找所述最佳
10.一个或多个具有处理器可执行的计算机程序指令的计算机可读介质，所述指令用于
接收图像信息中的两个帧；
估计泊松量化噪声模型的量化参数；以及
建立强度相似度量度。
11.如权利要求10所述的一个或多个计算机可读介质，其特征在于，所述估计包括将观测的噪声数据代入下式
其中V表示方差，E表示均值，q表示将观测的强度提升一个级数所必需的电子数目，以及q1表示产生强度级数为1的最小电子数目。
12.如权利要求10所述的一个或多个计算机可读介质，其特征在于，所述泊松量化噪声模型包括
其中k表示强度级数，λ表示强度源，Q表示量化变量，以及qk表示产生强度级数为k的最小电子数目。
13.如权利要求10所述的一个或多个计算机可读介质，其特征在于，所述计算机程序指令还包括用于基于所述强度相似度量度来寻找所述两帧之间的像素对应关系的指令。
14.如权利要求10所述的一个或多个计算机可读介质，其特征在于，所述建立包括计算所述强度相似度量度
其中k和l表示两个强度观测值，λ表示强度源，P表示联合概率，
表示最大化所述联合概率P的强度源，Q表示量化变量，以及qk表示产生强度级数为k的最小电子数目。
15.一种计算设备，包括
处理器；
估计泊松量化噪声的、可在所述处理器上执行的泊松量化噪声建模模块；以及
用于基于所述估计的泊松量化噪声来确定强度相似度函数的、可在所述处理器上执行的强度相似度量度模块。
16.如权利要求16所述的计算设备，其特征在于，所述泊松量化噪声建模模块使用包括下式的泊松量化噪声模型来估计泊松量化噪声
其中k表示强度级数，λ表示强度源，Q表示量化变量，以及qk表示产生强度级数为k的最小电子数目。
17.如权利要求16所述的计算设备，其特征在于，所述泊松量化噪声模块估计用于两个图像帧的量化参数。
18.如权利要求16所述的计算设备，其特征在于，所述强度相似度函数包括
其中k和l表示两个强度观测值，λ表示强度源，P表示联合概率，
表示最大化所述联合强度P的强度源，Q表示量化变量，以及qk表示产生强度级数为k的最小电子数目。
19.如权利要求16所述的计算设备，其特征在于，所述计算设备被用来改善夜视、医疗成像、水下成像、显微镜成像和天文成像之一的图像。
20.如权利要求16所述的计算设备，还包括
用于基于所述强度相似度函数来寻找各图像帧之间的像素对应关系的像素对应关系模块。
全文摘要
描述一种用于对弱光条件下的噪声进行建模的泊松量化噪声模型。在一个方面，接收图像信息。然后，从泊松噪声模型和量化噪声模型生成泊松量化噪声模型。接着，使用该泊松量化噪声模型估计图像信息中的泊松量化噪声。
文档编号G06K9/62GK101341497SQ200680048131
公开日2009年1月7日 申请日期2006年12月19日 优先权日2005年12月21日
发明者Y·松下, X·汤, F·奥尔特 申请人:微软公司