专利名称：图像噪声去除装置及方法
技术领域：
本发明涉及一种图像噪声去除装置及方法，特别是涉及一种能够容易而有效地去 除运动图像中所含有的噪声的图像噪声去除装置及方法。
背景技术：
使用数字摄像机或数字静止相机等拍摄装置所拍摄的运动图像中，含有起因于拍 摄环境和图像传感器的特性的噪声。这些噪声包括光散粒噪声(shot noise)、暗噪声、固定 模式噪声、以及电路噪声等种类。由于这些噪声引起图像质量(画质)降低，因此需要进行 噪声去除(Noise Reduction, NR)处理，即去除(或降低)运动图像中所含有的噪声。作为噪声去除方法，众所周知的有利用位于作为处理对象的对象像素的附近的 邻近像素的像素值，来对对象像素的像素值进行平滑化处理的方法。为了进行上述平滑化 处理，例如可以采用求出对象像素和邻近像素的所有像素值的平均值的方法，或者求出对 象像素和邻近像素的所有像素值的中值的方法(中值滤波器)。由于上述方法是用一个图 像帧内的像素值来在空间方向上进行处理，因此被称为空间噪声去除。另外，关于运动图像，已知的方法有利用在时间方向上连续的多个图像之间的相 关性，来对对象像素的像素值进行平滑化处理的方法。为了进行上述平滑化处理，例如可以 采用将对象像素的像素值与时间上存在于先的图像的同一坐标的像素值进行加权平均的 方法。由于上述方法是用多个图像帧内的像素值来在时间方向上进行处理，因此被称为时 间噪声去除。进一步，作为将该空间噪声去除与该时间噪声去除组合起来的方式，存在以下技 术利用运动图像的运动检测的结果，若对象像素处于静止图像领域中，则选择时间噪声去 除；而若对象像素处于移动图像领域中，则选择空间噪声去除(例如，参照专利文献1)。现有技术文献专利文献专利文献1日本专利特开平2-M8173号公报发明的概要发明要解决的问题然而，即使采用如上所述的切换空间噪声去除与时间噪声去除的方式，为了提高 时间噪声去除的效果，也需要在运动图像的时间方向上加强平滑化处理。但是，若在运动图 像的时间方向上加强平滑化处理，则移动图像领域的周边会产生余像而引起画质降低。如 此，抑制移动图像领域中产生余像与在运动图像的时间方向上加强平滑化处理之间存在权 衡关系，因此，仍然存在对运动图像不能充分提高时间噪声去除效果这一技术问题。
发明内容
因此，本发明的目的在于提供一种既能抑制移动图像领域中产生余像，又能对运 动图像加强进行时间噪声去除的图像噪声去除装置及方法。
用于解决发明的手段本发明涉及一种去除图像中所含有的噪声的图像噪声去除装置。为达到上述目 的，本发明的图像噪声去除装置包括空间噪声去除部，通过当前的图像帧内的空间方向上 的像素值的平滑化，从输入图像中去除噪声；时间噪声去除部，通过当前的图像帧与前一个 图像帧之间的时间方向上的像素值的平滑化，从输入图像中去除噪声；像素值范围设定部， 根据输入图像的像素值、和空间噪声去除部所输出的图像的像素值，来设定像素值范围；以 及范围判断部，在时间噪声去除部所输出的图像的像素值处于像素值范围内的情况下输出 时间噪声去除部所输出的图像的像素值，在该像素值大于像素值范围的最大值的情况下输 出该最大值，在该像素值小于像素值范围的最小值的情况下输出该最小值。像素值范围设定部可以由差值计算部、余裕设定部以及加法部构成，该差值计算 部计算输入图像的像素值与空间噪声去除部所输出的图像的像素值之间的差值，该余裕 设定部将预先被设定的空间噪声去除用余裕(margin)率和输入图像用余裕率分别乘以差 值，以求出两个余裕值，该加法部根据差值的符号，将两个余裕值中的一个余裕值加在输入 图像的像素值中来求出像素值范围的最大值；将两个余裕值中的另一个余裕值加在输入图 像的像素值中来求出像素值范围的最小值。另外，像素值范围设定部可以由选择部、余裕设定部以及加法部构成，该选择部将 输入图像的像素值与空间噪声去除部所输出的图像的像素值进行比较，以选择像素值范围 的最大值和最小值，该余裕设定部预先被设定余裕值，该加法部将余裕值分别加在像素值 范围的最大值和最小值中。上述构成中，若进一步包括计算输入图像的像素值与空间噪声 去除部所输出的图像的像素值之间的差值绝对值的差值绝对值计算部，则可以将乘以差值 绝对值之后的余裕值提供给加法部。如上所述的图像噪声去除装置的各个构成所进行的处理可以被视为是提供一系 列的处理步骤的图像噪声去除方法。该方法可以通过用于让计算机执行一系列的处理步骤 的程序的形式来提供。可以通过将该程序记录在计算机可读的记录介质中的方式来将该程 序导入计算机。另外，如上所述的图像噪声去除装置的各个构成也可以通过利用集成电路 的LSI来实现。发明效果根据上述本发明，基于去除噪声之前的像素值与去除空间噪声之后的像素值来判 断时间噪声去除处理的可靠性，从而能够在抑制移动图像领域中产生余像的同时，对运动 图像加强进行时间噪声去除。
图1是表示本发明所涉及的一个实施方式所涉及的图像噪声去除装置的构成的 图。图2是表示时间噪声去除结果判断部50的详细构成例的图。图3是表示像素值范围设定部51的具体构成例1的图。图4是表示像素值范围设定部51的具体构成例2的图。图5是表示像素值范围设定部51的具体构成例3的图。图6是表示像素值范围设定部51的具体构成例4的图。
图7是表示范围判断部52的具体构成例的图。图8是用于说明本发明的图像噪声去除装置所进行的处理的概念的图。图9是说明本发明的图像噪声去除方法的步骤的流程图。图10是构成例4中的像素值范围设定部51所执行的图9的步骤S94的详细流程 图。
具体实施例方式下面，参照附图对本发明的具体实施方式
进行说明。图1是表示本发明所涉及的一个实施方式所涉及的图像噪声去除装置的构成的 图。图1中，本实施方式的图像噪声去除装置包括空间噪声去除部20、时间噪声去除部30、 缓冲器40以及时间噪声去除结果判断部50。首先，对于具有上述构成的本发明的图像噪声去除装置的概要进行说明。运动图像经由输入端子10分别被输入至空间噪声去除部20、时间噪声去除部30 及时间噪声去除结果判断部50。空间噪声去除部20对于被输入的运动图像的各个像素，通 过使用了对象像素的像素值和邻近像素的像素值的平滑化处理，来进行在一个图像帧内的 空间方向上的噪声去除。时间噪声去除部30对于被输入的运动图像的各个像素，通过使用 了在当前的图像帧中的对象像素的像素值和缓冲器40中所存储的在时间上是前一个的图 像帧中的同一坐标的像素值的平滑化处理，来进行在两个图像帧之间的时间方向上的噪声 去除。被输入的运动图像的像素值(以下称为输入像素值Pin)、空间噪声去除部20所输 出的从输入像素值Pin中去除了空间噪声之后的像素值(以下称为空间NR像素值Snr)、 以及时间噪声去除部30所输出的从输入像素值Pin中去除了时间噪声之后的像素值(以 下称为时间NR像素值Tnr)被输入至时间噪声去除结果判断部50，时间噪声去除结果判断 部50将根据上述像素值的大小而定的像素值(以下称为输出像素值Pout)作为噪声去除 的结果输出至输出端子60。该时间噪声去除结果判断部50所输出的输出像素值Pout暂时 被存储于缓冲器40，并依次被利用于时间噪声去除部30的处理。下面，对时间噪声去除结果判断部50的具体动作进行说明。图2是表示图1所示的时间噪声去除结果判断部50的详细构成例的图。图2中， 时间噪声去除结果判断部50包括像素值范围设定部51和范围判断部52。输入像素值Pin和空间NR像素值Snr被输入至像素值范围设定部51，像素值范围 设定部51将两个像素值中较大的像素值作为最大值MAX，将两个像素值中较小的像素值作 为最小值MIN，并将其输出至范围判断部52。作为该像素值范围设定部51，例如可以采用图 3 图6所示的具体构成。<构成例1>图3所示的像素值范围设定部51的构成中包括MAX选择部511和MIN选择部512。 MAX选择部511将输入像素值Pin和空间NR像素值Snr之中较大的像素值输出。MIN选择 部512将输入像素值Pin和空间NR像素值Snr之中较小的像素值输出。通过上述构成，可 以得到最大值MAX和最小值MIN。<构成例2>
图4所示的像素值范围设定部51的构成为，在图3的构成例1的基础上，还包括 加法器513、加法器514以及余裕设定部515。余裕设定部515将预先被设定的余裕值输出 至加法器513和加法器514。加法器513将MAX选择部511所输出的最大值MAX与余裕值 进行加算或减算。加法器513将MIN选择部512所输出的最小值MIN与余裕值进行加算或 减算。并且，对于最大值MAX和最小值MIN，余裕值可以是相同的，也可以是不同的。通过上 述构成，可以任意变更最大值MAX和最小值MIN。<构成例3>图5所示的像素值范围设定部51的构成为，在图4的构成例2的基础上，还包括 差值绝对值计算部516。差值绝对值计算部516求出输入像素值Pin与空间NR像素值Snr 之间的差值绝对值。余裕设定部515将预先被设定的余裕值乘以差值绝对值计算部516所 求出的差值绝对值之后的值输出至加法器513和加法器514。通过上述构成，可以使最大值 MAX和最小值MIN与输入像素值Pin和空间NR像素值Snr之间的差成比例地任意变更。<构成例4>图6所示的像素值范围设定部51的构成中包括加法器513、加法器514、余裕设定 部515以及差值计算部517。差值计算部517求出从空间NR像素值Snr减去输入像素值 Pin之后的差值。对于余裕设定部515预先设定了空间NR像素值用余裕率和输入像素值用 余裕率。然后，在差值计算部517所求出的差值为正值的情况下，余裕设定部515将差值乘 以空间NR像素值用余裕率之后的余裕值输出至作为最大值MAX的输出侧的加法器513，并 且将差值乘以输入像素值用余裕率之后的余裕值输出至作为最小值MIN的输出侧的加法 器514。另一方面，在差值为负值的情况下，余裕设定部515将差值乘以输入像素值用余裕 率之后的余裕值输出至加法器513，并且将差值乘以空间NR像素值用余裕率之后的余裕值 输出至加法器514。通过上述构成，可以使最大值MAX和最小值MIN与输入像素值Pin和空 间NR像素值Snr之间的差成比例地任意变更。此外，希望使最大值MAX和最小值MIN具有 互不相同的增减方向时，将空间NR像素值用余裕率和输入像素值用余裕率之中的任一个 变为负号即可。再次参照图2。最大值MAX、最小值MIN以及时间NR像素值Tnr被输入至范围判 断部52，范围判断部52在时间NR像素值Tnr处于最大值MAX与最小值MIN之间的情况下 将时间NR像素值Tnr作为输出像素值Pout输出，在时间NR像素值Tnr等于或大于最大值 MAX的情况下将最大值MAX作为输出像素值Pout输出，在时间NR像素值Tnr等于或小于最 小值MIN的情况下将最小值MIN作为输出像素值Pout输出。图7示出该范围判断部52的 具体构成例。图7中，比较器521在被输入至“+端子”的像素值大于被输入至“_端子”的 像素值的情况下将逻辑值“ 1，，作为比较信号输出，除此之外的情况下将逻辑值“O”作为比 较信号输出。选择器522按照比较器521所输出的比较信号，在逻辑值为“1”的情况下选 择被输入至“ 1端子”的像素值来输出，而在逻辑值为“O”的情况下选择被输入至“O端子” 的像素值来输出。以下说明，通过上述构成既能去除移动图像领域中产生余像，又能对运动图像加 强进行时间噪声去除的原理。本发明以如下所示的假设成立为前提来进行处理。上述假设是，理想的空间噪声去除的结果与理想的时间噪声去除的结果相一致。 在此，所谓“理想的”是指完全去除噪声的意思。也就是说，本发明基于只要能够完全去除对象像素的噪声成份，无论其手段是空间噪声的去除还是时间噪声的去除，结果都可以得 到噪声为零的本来的像素值这样的假设。实际上，由于难以实现理想的噪声去除，因此使空间噪声去除的结果与时间噪声 去除的结果相一致是困难的。然而，若在空间和时间上都向正确地去除噪声的方向作用，则 由去除噪声之前的像素值和完全去除噪声之后的本来的像素值来表示的像素值的范围中， 会包含去除空间噪声之后的像素值和去除时间噪声之后的像素值这两种像素值。图8是为 容易理解上述的概念而将各个像素值表现在一维轴上的图。该图8中表示因噪声成份而使 本来的像素值P被减小到输入像素值Pin (噪声成份具有负像素值)的情况。基于上述解释，空间NR像素值Snr和时间NR像素值Tnr都处于从输入像素值Pin 到像素值P所示的范围y内。根据本发明，首先用输入像素值Pin(在此例中是最小值MIN) 和空间NR像素值Snr (在此例中是最大值MAX)来确定像素值的范围x，并判定时间NR像 素值Tnr是否处于该范围χ内。若时间NR像素值Tnr处于范围χ内，则视为时间噪声去除 和空间噪声去除都在向正确地去除噪声的方向作用，将时间NR像素值Tnr直接作为输出结 果(图8的(a))。并且，虽然在时间NR像素值Tnr等于或大于作为范围χ的上限的最大值 MAX的情况下，也可以视为时间噪声去除和空间噪声去除都在向正确地去除噪声的方向作 用，但是去除时间噪声的强度过大就有可能产生余像，因此将最大值MAX作为输出结果(图 8的(b))。另一方面，在时间NR像素值Tnr等于或小于为范围χ的下限的最小值MIN的情 况下，判断为时间噪声去除与空间噪声去除向相反的方向上作用以致哪一种处理的可靠性 都低，从而将去除噪声之前的最小值MIN作为输出结果(图8的(c))。如此，由于根据去除噪声之前的输入像素值Pin和可靠性较高的去除空间噪声之 后的空间NR像素值Snr来判断是否适用时间噪声去除处理，因此无论是抑制移动图像领域 中产生余像，还是对运动图像加强进行时间噪声去除，都能够在最佳的状况下进行。图9是说明上述图像噪声去除装置所进行的图像噪声去除方法的步骤的流程图。 并且，该图9中表示着处理一个图像帧内的像素的步骤。因此，当要连续处理多个图像帧 时，对各个图像帧反复地进行如图9所示的步骤即可。输入像素值Pin被输入(S91)，则空间噪声去除部20计算从输入像素值Pin中去 除了空间噪声之后的空间NR像素值Snr (S92)。另外，时间噪声去除部30计算从输入像素 值Pin中去除了时间噪声之后的时间NR像素值Tnr (S93)。其后，时间噪声去除结果判断 部50基于空间NR像素值Snr、输入像素值Pin以及规定的余裕值来求出最大值MAX和最 小值MIN，并设定范围χ (S94)。然后，时间噪声去除结果判断部50将时间NR像素值Tnr和 范围χ进行比较(S95，S96)；若为MIN < Tnr < MAX则将时间NR像素值Tnr作为输出像素 值Pout输出(S97)；若为MAX彡Tnr则将最大值MAX作为输出像素值Pout输出(S98)；若 为Tnr SMIN则将最小值MIN作为输出像素值Pout输出(S99)。该输出像素值Pout被存 储于缓冲器40 (SlOO)。上述处理对于一个图像帧内的所有像素被反复地进行(SlOl)。图10是对上述构成例4的像素值范围设定部51 (图6)在图9的步骤S94所进行 的范围χ的详细设定步骤进行说明的流程图。首先，在差值计算部517计算差值D ( = Snr-Pin) (S941)。其次，余裕设定部515分 别计算差值D乘以空间NR像素值用余裕率sm(正值)之后的余裕值A( = DX sm)、以及差 值D乘以输入像素值用余裕率pm(正值)和负1之后的余裕值B ( = DXpmX (-1)) (S942，S943)。然后，余裕设定部515判定差值D的符号(S944)，若差值D为正值，则将输入像素值 Pin加上余裕值A之后的值( = Pin+A)作为最大值MAX输出，并且将输入像素值Pin加上 余裕值B之后的值( = Pin+B)作为最小值MIN输出(S945，S946)；若差值D为负值，则将 输入像素值Pin加上余裕值B之后的值( = Pin+B)作为最大值MAX输出，并且将输入像素 值Pin加上余裕值A之后的值(=Pin+A)作为最小值MIN输出(S947，S948)。如上所述，根据本发明的一个实施方式所涉及的图像噪声去除装置及方法，基于 去除噪声之前的输入像素值Pin和去除空间噪声之后的空间NR像素值Snr来判断时间噪 声去除处理的可靠性。由此，由于只在时间噪声去除处理的可靠性较高时才可以输出去除 时间噪声之后的时间NR像素值Tnr，因此既能抑制移动图像领域中产生余像，又能对运动 图像加强进行时间噪声去除。特别是采用了上述构成例2 4的像素值范围设定部51的构成，可以在空间NR 像素值Snr(最大值MAX)与输入像素值Pin (最小值MIN)之间设定不同的余裕值。由此， 即使是在为了抑制图像产生模糊而不能完全去除噪声的层次进行空间噪声去除，也可以只 加大在判断时间噪声去除时所使用的最大值MAX侧的值(图8的(d))。因此，即使在希望 对运动图像加强进行时间噪声去除的情况下，也能够既抑制移动图像领域中产生余像，又 能够扩大适用时间噪声去除的结果的范围。另外，通常，上述图像噪声去除装置的各个构成可以通过集成电路的LSI (根据集 成度的不同，被称为IC、系统LSI、超大LSI、或甚大LSI等)来实现。上述构成可以个别地 被集成为一块芯片，也可以被集成为含有一部分或全部的一块芯片。另外，集成电路化的手 法不局限于LSI，也可以通过专用电路或通用处理器来实现。此外，也可以采用在制造LSI 之后可编程的现场可编程门阵列(FPGA，Field Programmable Gate Array)或可重新构成 LSI内部的电路单元的连接和设定的可重构处理器。进一步，若因半导体技術的发展或派生出来的其他技術而出现代替LSI的集成电 路化技術，当然也可以利用该技術来进行功能块的集成化。也有应用生物技术等的可能性。工业实用性本发明所涉及的图像噪声去除装置及方法可被应用于数字摄像机和数字照相机 等能够拍摄运动图像的拍摄装置等，特别是在希望对运动图像所含有的噪声进行有效的时 间噪声去除的情况下发挥作用。附图标记说明10,50端子20空间噪声去除部30时间噪声去除部40缓冲器50时间噪声去除结果判断部51像素值范围设定部52范围判断部511MAX选择部512MIN选择部513,514加法器
515余裕设定部
516差值绝对值计算部
517差值计算部
521比较器
522选择器
权利要求
1.一种图像噪声去除装置，去除图像中所含有的噪声，所述图像噪声去除装置包括 空间噪声去除部，通过当前的图像帧内的空间方向上的像素值的平滑化，从输入图像中去除噪声；时间噪声去除部，通过当前的图像帧与前一个图像帧之间的时间方向上的像素值的平 滑化，从所述输入图像中去除噪声；像素值范围设定部，根据所述输入图像的像素值和所述空间噪声去除部所输出的图像 的像素值，来设定像素值范围；以及范围判断部，在所述时间噪声去除部所输出的图像的像素值处于所述像素值范围内的 情况下输出所述时间噪声去除部所输出的图像的像素值，在该像素值大于所述像素值范围 的最大值的情况下输出该最大值，在该像素值小于所述像素值范围的最小值的情况下输出 该最小值。
2.如权利要求1所述的图像噪声去除装置， 所述像素值范围设定部包括差值计算部，计算所述输入图像的像素值与所述空间噪声去除部所输出的图像的像素 值之间的差值；余裕设定部，将预先被设定的空间噪声去除用余裕率和输入图像用余裕率分别乘以所 述差值，以求出两个余裕值；加法部，基于所述差值的符号，将所述两个余裕值中的一个余裕值加在所述输入图像 的像素值中来求出所述像素值范围的最大值，将所述两个余裕值中的另一个余裕值加在所 述输入图像的像素值中来求出所述像素值范围的最小值。
3.如权利要求1所述的图像噪声去除装置， 所述像素值范围设定部包括选择部，将所述输入图像的像素值与所述空间噪声去除部所输出的图像的像素值进行 比较，以选择所述像素值范围的最大值和最小值； 余裕设定部，预先被设定余裕值；加法部，将所述余裕值分别加在所述像素值范围的最大值和最小值中。
4.如权利要求3所述的图像噪声去除装置，所述像素值范围设定部还包括差值绝对值计算部，所述差值绝对值计算部计算所述输 入图像的像素值与所述空间噪声去除部所输出的图像的像素值之间的差值绝对值，所述余裕设定部将所述预先被设定的余裕值乘以所述差值绝对值之后的余裕值提供 给所述加法部。
5.一种图像噪声去除方法，去除图像中所含有的噪声，所述图像噪声去除方法包括 空间噪声去除步骤，通过当前的图像帧内的空间方向上的像素值的平滑化，从输入图像中去除噪声；时间噪声去除步骤，通过当前的图像帧与前一个图像帧之间的时间方向上的像素值的 平滑化，从所述输入图像中去除噪声；范围设定步骤，根据所述输入图像的像素值和所述空间噪声去除步骤所输出的图像的 像素值，来设定像素值范围；以及范围判断步骤，在所述时间噪声去除步骤所输出的图像的像素值处于所述像素值范围内的情况下输出所述时间噪声去除步骤所输出的图像的像素值，在该像素值大于所述像素 值范围的最大值的情况下输出该最大值，在该像素值小于所述像素值范围的最小值的情况 下输出该最小值。
6.如权利要求5所述的图像噪声去除方法，所述范围设定步骤包括差值计算步骤，计算所述输入图像的像素值与所述空间噪声去除步骤所输出的图像的 像素值之间的差值；余裕设定步骤，将预先被设定的空间噪声去除用余裕率和输入图像用余裕率分别乘以 所述差值，以求出两个余裕值；加法步骤，基于所述差值的符号，将所述两个余裕值中的一个余裕值加在所述输入图 像的像素值中来求出所述像素值范围的最大值，将所述两个余裕值中的另一个余裕值加在 所述输入图像的像素值中来求出所述像素值范围的最小值。
7.一种集成电路，用于去除图像中所含有的噪声的图像噪声去除装置，所述集成电路 集成有发挥空间噪声去除部、时间噪声去除部、像素值范围设定部及范围判断部的功能的 电路，其中，所述空间噪声去除部通过当前的图像帧内的空间方向上的像素值的平滑化，从输入图 像中去除噪声，所述时间噪声去除部通过当前的图像帧与前一个图像帧之间的时间方向上的像素值 的平滑化，从所述输入图像中去除噪声，所述像素值范围设定部根据所述输入图像的像素值和所述空间噪声去除部所输出的 图像的像素值，来设定像素值范围，所述范围判断部在所述时间噪声去除部所输出的图像的像素值处于所述像素值范围 内的情况下输出所述时间噪声去除部所输出的图像的像素值，在该像素值大于所述像素值 范围的最大值的情况下输出该最大值，在该像素值小于所述像素值范围的最小值的情况下 输出该最小值。
全文摘要
空间噪声去除部(20)计算从输入像素值Pin中去除空间噪声之后的空间NR像素值Snr。时间噪声去除部(30)计算从输入像素值Pin中去除时间噪声之后的时间NR像素值Tnr。时间噪声去除结果判断部(50)将输入像素值Pin和空间NR像素值Snr的大小与时间NR像素值Tnr的大小进行比较，基于该比较结果将任一个像素值作为去除噪声的结果即输出像素值Pout输出。由此，既能抑制在移动图像中产生余像，又能对运动图像加强进行时间噪声去除。
文档编号H04N5/213GK102150421SQ20098013566
公开日2011年8月10日 申请日期2009年11月30日 优先权日2008年12月22日
发明者手塚忠则, 滨田匡夫 申请人:松下电器产业株式会社