图像处理装置和图像处理方法
【专利摘要】本公开提供一种用于去除图像中的闪烁噪声的图像处理装置和图像处理方法。该图像处理装置包括：划分单元，用于将像素值域划分为至少两个区间；噪声去除单元，用于针对图像中像素值分别落入至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声，其中，噪声去除单元对落入具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。
【专利说明】图像处理装置和图像处理方法
【技术领域】
[0001]本公开一般地涉及图像处理领域，尤其涉及一种用于去除图像中的闪烁噪声的图像处理装置和图像处理方法。
【背景技术】
[0002]在图像和视频处理领域，有几种闪烁噪声的形式。视频的闪烁噪声是时间上随机出现、空间上图像像素值变化。通常由存储介质的退化、不同标准的转换，或者每副图曝光时间的不同引起。在CMOS成像中，闪烁噪声是由光源的交流信号引起的周期性的横带。而在当前被越来越多使用的线性传感器中，由于诸如顶置式线传感器的线传感器的操作机制(线传感器的电机驱动)，由线传感器获得的扫描图像中的闪烁噪声的横带可能是不等间隔的。图1中示意性示出了使用顶置式线传感器进行扫描所获得的图像。为清楚起见，图1中省略了诸如文档等内容，仅显示出成横带状的、不等间隔的闪烁噪声Nf。
[0003]传统的减少闪烁噪声的方法需要多幅连续的图像；或者使用单幅图像，但闪烁噪声图案是周期性的并该周期已知。或者，可以通过硬件处理的办法进行闪烁噪声去除。
【发明内容】
[0004]然而，对多幅连续图像进行处理增大了系统的计算负荷。而且，在一些情况下，难以得到多幅连续图像，从而难以进行噪声的去除。此外，对于非等间隔的闪烁噪声，应用适用于等间隔闪烁噪声的办法来去除噪声，噪声去除的效率和准确性都变低。另外，通过硬件处理进行噪声去除大大增加了运行成本。
[0005]考虑到上述问题，期望提供一种图像处理装置和图像处理方法，能够在仅通过对单幅图像进行处理来执行等间隔或不等间隔的闪烁噪声的去除。注意到闪烁噪声在图像中像素值高的位置比在像素值低的位置更明显，发明人根据噪声明显程度的不同对具有不同像素值的位置进行不同平滑程度的滤波。
[0006]根据本发明的一方面，提供了一种图像处理装置，用于去除图像中的闪烁噪声，包括:划分单元，用于将像素值域划分为至少两个区间；噪声去除单元，用于针对图像中像素值分别落入至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声，其中，噪声去除单元对落入具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。
[0007]在一个实施例中，噪声去除单元可以通过应用高斯滤波器来对像素进行滤波，其中，噪声去除单元可以对落入具有较高像素值的区间中的像素应用具有较大方差的高斯滤波器，并对落入具有较低像素值的区间中的像素应用具有较小方差的高斯滤波器。
[0008]在一个实施例中，噪声去除单元可以通过对图像的每一行的累积直方图进行处理来对每一行中的像素进行滤波，以去除图像中的噪声。噪声去除单元可以包括:累积直方图生成单元，用于针对图像中的每一行生成累积直方图，作为原始累积直方图；加权处理单元，用于通过将每一行的邻近行的原始累积直方图与每一行的原始累积直方图一起进行加权处理，得到每一行的目标累积直方图；规定化单元，用于通过从原始累积直方图到目标累积直方图执行直方图规定化，来获得去除了噪声的图像。针对原始累积直方图的与划分单元划分的至少两个区间相对应的各部分，加权处理单元使用不同的权重进行加权处理。
[0009]在一个实施例中，加权处理单元可以通过应用高斯函数进行加权处理。其中，加权处理单元可以对与具有较高像素值的区间相对应的部分应用较大的高斯方差；对与具有较低像素值的区间相对应的部分应用较小的高斯方差。
[0010]在一个实施例中，噪声去除单元可以通过对图像的每一行的累积直方图进行处理来对每一行中的像素进行滤波，以去除图像中的噪声，图像的每一行具有一个或更多个像素的高度。该噪声去除单元可以包括:直方图生成单元，用于针对图像中的每一行生成直方图，作为原始直方图；加权处理单元，用于通过将每一行的邻近行的原始直方图与每一行的原始直方图一起进行加权处理，得到每一行的目标直方图；累积直方图生成单元，用于分别根据每一行的原始直方图和目标直方图生成针对每一行的原始累积直方图和目标累积直方图；规定化单元，用于通过从原始累积直方图到目标累积直方图执行直方图规定化，来获得去除了噪声的图像，其中，针对原始直方图的与划分单元划分的至少两个区间相对应的各小区，加权处理单元使用不同的权重进行加权处理。
[0011]在一个实施例中，规定化单元可以包括:查询表生成单元，用于根据原始累积直方图和目标累积直方图生成像素的原始像素值到目标像素值的查询表；以及规定化处理单元，用于基于特定像素的原始像素值和从查询表中读取的相应目标像素值来按照预定规则对相应目标像素值进行修正，并使得在规定化结果图像中特定像素的像素值等于经修正的像素值。
[0012]在一个实施例中，当特定像素的原始像素值与相应目标像素值的差的绝对值小于等于预定阈值时，规定化处理单元使得经修正的目标像素值为相应目标像素值本身；当特定像素的原始像素值与相应目标像素值的差的绝对值大于预定阈值时，规定化处理单元使得原始像素值与经修正的目标像素值的差的绝对值等于预定阈值。
[0013]在一个实施例中，规定化处理单元使得经修正的目标像素值等于原始像素值与相应目标像素值的加权和。
[0014]在一个实施例中，图像处理装置还可以包括:色彩分离与组合单元，用于将待处理的彩色图像分离为单独的单通道图像，以及将分别进行了噪声去除处理的单通道图像组合为彩色图像。
[0015]根据本发明的另一方面，提供了一种图像处理方法，用于去除图像中的闪烁噪声，包括:划分步骤，将像素值域划分为至少两个区间；噪声去除步骤，针对图像中像素值分别落入至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声，其中，对落入具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。
[0016]通过使用本公开描述的图像处理装置和图像处理方法，可以在不提高系统计算量和运行成本的情况下，仅通过对单幅图像进行处理来高效地执行等间隔以及不等间隔的闪烁噪声的去除。
[0017]应当理解，前述的一般说明和下面的详细说明都是示例性和说明性的，而不是对请求保护的本发明的限制。【专利附图】
【附图说明】
[0018]参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。
[0019]图1是示出使用顶置式线传感器进行扫描所获得的图像的示意图。
[0020]图2是示出根据本发明实施例的图像处理装置的结构的框图。
[0021]图3是示出根据本发明实施例的图像处理方法的流程图。
[0022]图4是示出根据本发明另一个实施例的图像处理装置的结构的框图。
[0023]图5是示出根据本发明另一个实施例的图像处理方法的流程图。
[0024]图6是示出根据本发明另一个实施例的图像处理装置的结构的框图。
[0025]图7是示出根据本发明另一个实施例的图像处理方法的流程图。
[0026]图8是示出根据本发明实施例的改进的规定化单元的结构的框图。
[0027]图9是示出实现本发明的图像处理装置的计算机的示例性结构的框图。
【具体实施方式】
[0028]下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域技术人员已知的部件和处理的表示和描述。
[0029]对于图1中所示具有非等间隔的闪烁噪声Nf的扫描图像，无论是灰度图像还是彩色图像，都可以使用本发明所描述的图像处理装置和图像处理方法进行噪声去除。所不同的是，对于彩色图像，首先需要将彩色图像分离成例如R、G、B通道的单通道图像。分别对每个通道的图像进行本公开所教导的处理。然后，合并处理后的三个通道的图像，以得到去除了闪烁噪声的彩色图像。下面，将针对灰度图像或者R、G、B三个通道的图像之一的单通道图像的处理进行描述。另外，无需说明，本发明同样适用于具有等间隔闪烁噪声的图像。
[0030]图2是示出根据本发明实施例的图像处理装置200的结构的框图。如图2中所示，图像处理装置200包括:划分单元210和噪声去除单元220。
[0031]划分单元210用于将像素值域划分为至少两个区间。噪声去除单元220用于针对图像中像素值分别落入划分单元210所划分的至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声。具体地，噪声去除单元220对落入像素值域中具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。下文中将对各单元进行详细说明。
[0032]首先，说明“像素值域”的概念。在计算机图像处理领域中，使用二进制数对单通道的灰度图像进行量化，以使用不同的像素值来表示像素的灰度。例如，可以对灰度图像进行8位量化，从而得到256个像素值(O至255)。在本领域中通常地，并且，在本公开的上下文中默认地，像素值O代表灰度最深的黑色,像素值255代表灰度最浅的白色。而从O至255(包含)的整数值即为采用8位量化时的像素值域，在下文中将以[0，255]来表示。类似地，如果采用10位量化，则像素值域为O至1023 (包含)的整数值即为10位量化时的像素值域，可以以[0，1023]来表示。在下文中，以8位量化的情况为例进行说明。
[0033]划分单元210可以根据需要对像素值域进行不同的划分。例如，按照预先设定的一个或更多个划分点(作为区间边界的像素值)对像素值域进行划分。或者，按照预先设定的份数对像素值域进行均分。划分点或者份数的设定可以依据不同的标准、取决于不同的设计要求。例如，在本发明的一个实施例中，考虑到扫描图像中的闪烁噪声在像素值较低的位置处较不明显，而在像素值较高的位置处较明显来设置一个或更多个划分点。在一个实施例中，可以只划分两个区间，并且在O至255的像素值域中，可以取170至200范围中的一个像素值作为划分点。当然，在其它实施例中，也可以在整个像素值域中取两个或更多的划分点，从而将像素值域划分为三个或更多的区间。此外，划分单元210也可以依据待处理图像的特点自适应地进行划分。
[0034]噪声去除单元220对待处理的图像进行处理，以去除图像中的闪烁噪声。具体地，噪声去除单元220针对图像中像素值分别落入划分单元210所划分的至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声。在一个实施例中，考虑到闪烁噪声在像素值较高的位置比在像素值较低的位置更加明显，噪声去除单元220对落入具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。
[0035]例如，在将像素值域划分为3个区间的例子中(例如，两个划分点可以分别是160和200)，噪声去除单元220可以对像素值为O至160 (例如，[0，160)，不含160)的区间上的像素进行平滑程度较低的滤波，对像素值为160至200 (例如[160，200))的区间上的像素进行中等平滑程度的滤波，而对像素值为200至255 (例如[200，255])的区间上的像素进行平滑程度较高的滤波。下文中，为了简便起见，将以划分两个区间的实施例为例进行详细说明。
[0036]在将像素值域划分为2个区间的例子中(例如，划分点是180)，噪声去除单元220可以对像素值为O至180 (例如[0，180)，不含180)的区间上的像素进行平滑程度较低的滤波，而对像素值为180至255 (例如[180，255])的区间上的像素进行平滑程度较高的滤波。下面描述进一步的具体例子。
[0037]在一个实施例中，噪声去除单元220可以通过应用诸如高斯滤波器的图像处理滤波器来对像素进行滤波。噪声去除单元220可以对落入具有较高像素值的区间(例如[180，255])中的像素应用具有较大方差的高斯滤波器，并对落入具有较低像素值的区间(例如[0，180))中的像素应用具有较小方差的高斯滤波器。在本实施例中,所使用的高斯滤波器可以是二维高斯滤波器，如式(I)所示:
[_] = (1)
[0039]其中，σ 2为二维高斯函数的方差。
[0040]在本实施例中，对像素值落入具有较高像素值的区间的像素，选用较大的方差σ2，对像素值落入具有较低像素值的区间的像素，选用较小的方差σ2。例如，对像素值落入区间[180，255]的像素，可以使得σ 2 = 2 ;对像素值落入区间[0，180)的像素，可以使得σ 2 = 0.2。
[0041]需要说明的是:除了高斯滤波器，还可以使用本领域已知的各种图像处理滤波器来进行根据本发明的平滑处理。例如，使用诸如双边滤波器的图像处理滤波器在具有较高像素值的位置进行平滑程度较高的滤波，而在具有较低像素值的位置进行平滑程度较低的滤波。
[0042]图3是示出与图2所示图像处理装置进行的处理相对应的图像处理方法的流程图。
[0043]如图3中所示，在步骤S301中，将像素值域划分为至少两个区间。可以根据需要对像素值域进行不同的划分。例如，按照预先设定的一个或更多个划分点对像素值域进行划分。或者，按照预先设定的份数对像素值域进行均分。划分点或者份数的设定可以依据不同的标准、取决于不同的设计要求。例如，在本发明的一个实施例中，考虑到扫描图像中的闪烁噪声在像素值较低的位置处较不明显，而在像素值较高的位置处较明显来设置一个或更多个划分点。在一个实施例中，在O至255的像素值域中，可以取像素值170至200中的一个作为划分点，由此划分两个区间。
[0044]在步骤S302中，针对图像中像素值分别落入至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声。具体地，可以对落入具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。
[0045]一个实施例是通过应用本领域已知的各种图像处理滤波器来对像素进行滤波。例如，可以应用高斯滤波器对图像中的像素进行滤波。具体地，对落入具有较高像素值的区间中的像素应用具有较大方差的高斯滤波器，并对落入具有较低像素值的区间中的像素应用具有较小方差的高斯滤波器。详细示例以结合图2进行了说明，这里不再重复。
[0046]图4是示出根据本发明实施例的图像处理装置400的结构的框图。如图4所示，图像处理装置400可以包括划分单元410和噪声去除单元420。其中，划分单元410与如图2中示出的划分单元210具有相同的功能和结构，因而，这里省略其详细描述。噪声去除单元420可以通过对待处理图像的每一行的累积直方图进行处理来对该每一行中的像素进行滤波，以去除图像中的噪声。噪声去除单元420可以包括:累积直方图生成单元422、加权处理单元424和规定化单元426。`下文中，逐个单元进行详细说明。
[0047]累积直方图生成单元422可以针对图像中的每一行生成累积直方图，作为原始累积直方图。
[0048]在一个例子中，当接收到待处理的图像时，噪声去除单元420的累积直方图生成单元422首先针对该待处理图像的每一行生成直方图。这里所说的“每一行”的高度既可以是一个像素，也可以是若干像素。累积直方图生成单元422可以采用现有的各种方法来生成直方图。
[0049]例如，假设一个单通道图像的宽和高分别表示为w和h，在图像点(X，y)的像素值坐标为I(x，y)，则对于该单通道图像的第i行的直方图计算公式可以如式(2)所示:
【权利要求】
1.一种图像处理装置，用于去除图像中的闪烁噪声，包括: 划分单元，用于将像素值域划分为至少两个区间； 噪声去除单元，用于针对所述图像中像素值分别落入所述至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声，其中， 所述噪声去除单元对落入具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。
2.根据权利要求1所述的图像处理装置，其中，所述噪声去除单元通过应用高斯滤波器来对像素进行滤波，其中，所述噪声去除单元对落入具有较高像素值的区间中的像素应用具有较大方差的高斯滤波器，并对落入具有较低像素值的区间中的像素应用具有较小方差的高斯滤波器。
3.根据权利要求1所述的图像处理装置，其中，所述噪声去除单元通过对所述图像的每一行的累积直方图进行处理来对所述每一行中的像素进行滤波，以去除图像中的噪声，所述图像的每一行具有一个或更多个像素的高度，所述噪声去除单元包括: 累积直方图生成单元，用于针对所述图像中的每一行生成累积直方图，作为原始累积直方图； 加权处理单元，用于通过将所述每一行的邻近行的原始累积直方图与所述每一行的原始累积直方图一起进行加权处理，得到所述每一行的目标累积直方图； 规定化单元，用于通过从 原始累积直方图到目标累积直方图的直方图规定化，来获得去除了噪声的图像，其中， 针对所述原始累积直方图的与所述划分单元划分的所述至少两个区间相对应的各部分，所述加权处理单元使用不同的权重进行所述加权处理。
4.根据权利要求1所述的图像处理装置，其中，所述噪声去除单元通过对所述图像的每一行的累积直方图进行处理来对所述每一行中的像素进行滤波，以去除图像中的噪声，所述图像的每一行具有一个或更多个像素的高度，所述噪声去除单元包括: 直方图生成单元，用于针对所述图像中的每一行生成直方图，作为原始直方图； 加权处理单元，用于通过将所述每一行的邻近行的原始直方图与所述每一行的原始直方图一起进行加权处理，得到所述每一行的目标直方图； 累积直方图生成单元，用于分别根据所述每一行的原始直方图和目标直方图生成针对所述每一行的原始累积直方图和目标累积直方图； 规定化单元，用于通过从原始累积直方图到目标累积直方图执行直方图规定化，来获得去除了噪声的图像，其中， 针对所述原始直方图的与所述划分单元划分的所述至少两个区间相对应的各小区，所述加权处理单元使用不同的权重进行所述加权处理。
5.根据权利要求3或4所述的图像处理装置，其中，所述规定化单元包括: 查询表生成单元，用于根据所述原始累积直方图和所述目标累积直方图生成像素的原始像素值到目标像素值的查询表；以及 规定化处理单元，用于基于特定像素的原始像素值和从所述查询表中读取的相应目标像素值来按照预定规则对所述相应目标像素值进行修正，并使得在规定化结果图像中所述特定像素的像素值等于经修正的像素值。
6.一种图像处理方法，用于去除图像中的闪烁噪声，包括: 划分步骤，将像素值域划分为至少两个区间； 噪声去除步骤，针对所述图像中像素值分别落入所述至少两个区间的像素进行不同平滑程度的滤波，以去除图像中的闪烁噪声，其中， 对落入具有较高像素值的区间中的像素进行平滑程度较高的滤波，并对落入具有较低像素值的区间中的像素进行平滑程度较低的滤波。
7.根据权利要求6所述的图像处理方法，其中，在所述噪声去除步骤中，通过应用高斯滤波器来对像素进行滤波，其中，对落入具有较高像素值的区间中的像素应用具有较大方差的高斯滤波器，并对落入具有较低像素值的区间中的像素应用具有较小方差的高斯滤波器。
8.根据权利要求6所述的图像处理方法，其中，在所述噪声去除步骤中，通过对所述图像的每一行的累积直方图进行处理来对所述每一行中的像素进行滤波，以去除图像中的噪声，所述每一行具有一个或更多个像素的高度，所述噪声去除步骤包括: 累积直方图生成步骤，针对所述图像中的每一行生成累积直方图，作为原始累积直方图； 加权处理步骤，通过将所述每一行的邻近行的原始累积直方图与所述每一行的原始累积直方图一起进行加权处理，得到所述每一行的目标累积直方图； 规定化步骤，通过从原始累积直方图到目标累积直方图执行直方图规定化，来获得去除了噪声的图像，其中， 在所述加权处理步骤中，针对`所述原始累积直方图的与所述至少两个区间相对应的部分，使用不同的权重进行所述加权处理。
9.根据权利要求6所述的图像处理方法，其中，在所述噪声去除步骤中，通过对所述图像的每一行的累积直方图进行处理来对所述每一行中的像素进行滤波，以去除图像中的噪声，所述图像的每一行具有一个或更多个像素的高度，所述噪声去除步骤包括: 直方图生成步骤，针对所述图像中的每一行生成直方图，作为原始直方图； 加权处理步骤，通过将所述每一行的邻近行的原始直方图与所述每一行的原始直方图一起进行加权处理，得到所述每一行的目标直方图； 累积直方图生成步骤，分别根据所述每一行的原始直方图和目标直方图生成针对所述每一行的原始累积直方图和目标累积直方图； 规定化步骤，通过从原始累积直方图到目标累积直方图执行直方图规定化，来获得去除了噪声的图像，其中， 在所述加权处理步骤中，针对所述原始直方图的与所述划分单元划分的所述至少两个区间相对应的各小区，使用不同的权重进行所述加权处理。
10.根据权利要求8或9所述的图像处理方法，其中，所述规定化步骤包括: 查询表生成步骤，根据所述原始累积直方图和所述目标累积直方图生成像素的原始像素值到目标像素值的查询表；以及 规定化处理步骤，基于特定像素的原始像素值和从所述查询表中读取的相应目标像素值来按照预定规则对所述相应目标像素值进行修正，并使得在规定化结果图像中所述特定像素的像素值等于经修正的像素值。
【文档编号】H04N5/359GK103795943SQ201210431709
【公开日】2014年5月14日 申请日期:2012年11月1日 优先权日:2012年11月1日
【发明者】潘攀, 何源, 孙俊, 直井聪 申请人:富士通株式会社