专利名称：信号处理设备及方法、记录介质和程序的制作方法
技术领域：
本发明涉及一种信号处理设备及方法、记录介质和程序，特别涉及这样一种信号处理设备及方法、记录介质和程序，例如，其适用于保持构成图像的像素的急剧升降边缘，同时使不包括边缘的非边缘部分变得平滑。
背景技术：
为了增加摄像机中诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)的图像捕获设备捕获的图像的对比度(即亮度对比度)及清晰度(即轮廓的清晰程度)，已有通过灰度转换和高频分量增强方法来增强图像中高频分量的对比度实现的对比度增强方法可用。
已经提出了多种对比度增强方法一种称作色调曲线调节，使用有着预定输入输出关系(下文中称作电平转换函数)的函数来转换图像中像素的电平；一种称作直方图均衡，根据像素电平的频率分布来适应性地变换电平转换函数。
已经提出了称作模糊屏蔽的高频分量增强方法，用于提取图像的边缘并增强所提取的边缘，即所谓的轮廓增强。
然而，在对比度增强方法中，仅可以增加图像中的在整个动态范围(最大电平和最小电平之差)中部分亮度区域的对比度。此外，在色调曲线调节中，对比度在图像中最亮的部分和最暗的部分减小，而在直方图均衡中，对比度在具有较少的频率分布的亮度区域中减小。此外，在高频分量增强方法中，由于只增强了图像中高频分量的对比度，因而，图像中接近边缘的区域被不自然地增强，图像质量会不可避免地降低。
在例如日本未审查专利出版物第2001-298621号中已公开了这样一种方法，其保持像素值急剧变化的急剧升降边缘，同时通过所安装的图像信号处理设备放大输入图像数据中不包括边缘的非边缘部分，以增强非边缘部分，如图1所示。
在图1所示的图像信号处理设备中，将由像素(像素值)构成的输入图像信号输入到ε-滤波器1及减法器2中。举例来说，如果将如图2A所示在幅度大于预定阈值ε1的急剧升降边缘前后轻微波动的图像信号输入到ε-滤波器1中，则将该图像信号转换为只提取边缘的图像信号，如图2B所示。然后，将转换后的图像信号输出到减法器2和加法器4中。
现在，参考图3和图4来描述ε-滤波器1进行的特定处理。ε-滤波器按顺序指定输入图像的每个像素为目标像素C。如图3所示，ε-滤波器1在目标像素C附近设置包括水平方向上连续排列的多个相邻像素(此情况下为像素L2、L1、R1和R2)的抽头(tap)，并且，可使用抽头系数(例如{1，2，3，2，1})获得目标像素C和多个相邻像素的像素值的加权平均，如公式(1)所示，将其作为与目标像素C对应的转换结果C′输出。
C′＝(1·L2+2·L1+3·C+2·R1+1·R2)/9……(1)然而，如果目标像素C和相邻像素之差大于预定阈值ε1(在图4中，目标像素C和相邻像素R2之差大于预定阈值ε1)，则使用目标像素C的像素值，而不是相邻像素的像素值来进行计算。换句话说，在图4的情况下，进行如公式(2)所示的计算。
C′＝(1·L2+2·L1+3·C+2·R1+1·C)/9 ……(2)回到图1来看，减法器2从从前一级输入的图像信号(这个信号与输入ε-滤波器1的信号相同)中减去从ε-滤波器1输入的图像信号，从而提取出不包括边缘的、轻微波动的图像信号。接下来，减法器2将提取出的图像信号输出到放大器3中。放大器3将从减法器2输出的图像信号放大，并将放大的图像信号输出到加法器4中。加法器4将从放大器3输出的放大了不包括边缘的非边缘部分的图像信号与从ε-滤波器1输入的只提取了边缘的图像信号相加。相加结果为保持了急剧升降边缘并放大了非边缘部分的图像信号。
根据图1所示的图像信号处理设备中的ε-滤波器1，如果像素电平急剧变化的边缘的幅度小于预定阈值ε1，如图5所示，从ε-滤波器1输出的转换的图像信号被平滑了，如图6所示，没有急剧升降边缘。因此，简单模式图像等，尤其是包括精细边缘的图像的质量会有较大的下降。
发明内容
为了解决上述问题，本发明的目的是保持精细边缘，同时使不包括边缘的非边缘部分变得平滑。
根据本发明的一种信号处理设备包括第一指定单元，用来按顺序指定连续排列的每个信号作为目标信号；第二指定单元，用来基于由所述第一指定单元指定的目标信号，从连续排列的信号中指定多个相邻信号；计算单元，用来计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定单元，用来计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择单元，用来根据由确定单元确定的结果，选择平滑信号和目标信号中的一个。
该信号可以是构成图像的像素的像素值。
根据本发明的一种信号处理方法包括第一指定步骤，按顺序指定每个连续排列的信号作为目标信号；第二指定步骤，基于由所述第一指定步骤指定的目标信号，从连续排列的信号中指定多个相邻信号；计算步骤，计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定步骤，计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择步骤，根据由确定步骤确定的结果，选择平滑信号和目标信号中的一个。
根据本发明的一种记录介质中的程序包括第一指定步骤，按顺序指定每个连续排列的信号作为目标信号；第二指定步骤，基于由所述第一指定步骤指定的目标信号，从连续排列的信号中指定多个相邻信号；计算步骤，计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定步骤，计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择步骤，根据由确定步骤确定的结果，选择平滑信号和目标信号中的一个。
根据本发明的一种程序包括第一指定步骤，按顺序指定每个连续排列的信号作为目标信号；第二指定步骤，基于由所述第一指定步骤指定的目标信号，从连续排列的信号中指定多个相邻信号；计算步骤，计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定步骤，计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择步骤，根据由确定步骤确定的结果，选择平滑信号和目标信号中的一个。
根据本发明的信号处理设备、信号处理方法及程序，计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号。而且，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘，并选择平滑信号和目标信号中的一个。
根据本发明，可保持像素值的精细边缘，同时使不包括边缘的非边缘部分变得平滑。
图1为显示了用于保持图像中的急剧升降边缘，同时增强不包括边缘的非边缘部分的图像信号处理设备的结构的例子的方框图；图2A显示了输入到图1所示的ε-滤波器的图像信号；图2B显示了从ε-滤波器输出的图像信号；图3显示了在ε-滤波器中使用的抽头的例子；图4为说明ε-滤波器的操作的图；图5为说明ε-滤波器的问题的图；图6为说明ε-滤波器的所述问题的图；图7为显示根据本发明实施例的n-滤波器的结构的例子的方框图；图8为由n-滤波器进行滤波处理的流程图；图9为图8中所示步骤S4中的处理的流程图；图10显示了确定存在精细边缘的例子；图11显示了确定不存在精细边缘的例子；图12显示了确定不存在精细边缘的例子；图13为显示了根据本发明另一个实施例的个人计算机的结构的例子的方框图。
具体实施例方式
将通过参考附图来描述本发明的实施例。
图7显示了根据本发明实施例的非线性滤波器(下文中称作n-滤波器11)的例子，其具有检测像素值的模式(pattern)的功能。使用n-滤波器11来替代图1所示图像信号处理设备中的ε-滤波器1，n-滤波器11包括非线性滤波器12、模式检测器15及开关16。非线性滤波器12保持幅度大于构成输入图像信号S0的像素的波动的阈值ε1的急剧升降边缘，并使不包括边缘的非边缘部分变得平滑。模式检测器15检测构成输入图像信号S0的像素的波动中的精细边缘，并向开关通知存在精细边缘。开关16根据来自模式检测器15的通知，将输入图像信号S0或从非线性滤波器12输出的图像信号S1输出到下一级，作为输出信号S2。
非线性滤波器12包括控制信号发生器13和低通滤波器(LPF)14。控制信号发生器13计算目标像素C的像素值和相邻像素L2、L1、R1和R2的像素值之差的绝对值，并根据计算结果来控制LPF14。LPF14对输入图像信号S0进行非线性滤波过程。举例来说，非线性滤波器12可以是上述ε-滤波器1。
下面参考图8所示的流程图，利用图3所示的使用包括目标像素C的五个像素的抽头的例子，来描述n-滤波器11进行的滤波处理。
在步骤S1中，控制信号发生器13按顺序指定以线栅(raster)次序排列且构成输入图像信号S0的每个像素作为目标像素C。在步骤S2中，控制信号发生器13指定与目标像素C水平相邻的相邻像素L2、L1、R1和R2。此外，控制信号发生器13将指定的目标像素C和相邻像素L2、L1、R1和R2通知给模式检测器15。
在步骤S3中，控制信号发生器13计算绝对值|C-L2|、|C-L1|、|C-R1|、|C-R2|，即目标像素C的像素值分别与相邻像素L2、L1、R1和R2的像素值之差的绝对值，将计算出的每个绝对值与预定阈值ε1进行比较，并根据比较结果控制LPF14。LPF14根据控制信号发生器13的控制，对输入图像信号S0进行非线性滤波处理。更确切地说，例如，利用抽头系数获得目标像素C的像素值和多个相邻像素的像素值的加权平均，如公式(1)所示，作为与目标像素C相对应的转换结果C′输出。然而，如果目标像素C的像素值和相邻像素的像素值之差的绝对值大于预定阈值ε1，则使用目标像素C的像素值代替该相邻像素的像素值，来计算加权平均。
在步骤S4中，模式检测器15计算目标像素C的像素值和相邻像素L2、L1、R1和R2的像素值之差的绝对值，并将计算出的每个绝对值同远小于阈值ε1的阈值ε2进行比较，来确定目标像素C附近是否存在精细边缘。
现在参考图9来描述在步骤S4中进行的精细边缘确定过程。在步骤S11中，模式检测器15计算目标像素C的像素值和相邻像素L2、L1、R1和R2的像素值之差的绝对值，并确定是否计算出的所有绝对值都比阈值ε2小。如果在步骤S11中确定计算出的所有绝对值都比阈值ε2小，那么在步骤S14中可以确定目标像素C附近不存在精细边缘。
相反，在步骤S11中，如果确定计算出的任何绝对值大于或等于阈值ε2，则模式检测器15进入步骤S12。在步骤S12中，模式检测器15确定是否目标像素C与其左边和右边中的一边的相邻像素(例如，相邻像素L2和L1)之差的所有绝对值都比阈值ε2小，目标像素C与其左边和右边中的另一边的相邻像素(在此情况中，为相邻像素R1和R2)之差的所有绝对值都大于或等于阈值ε2，并且目标像素C与其左边和右边中的所述另一边的相邻像素(在此情况中，为相邻像素R1和R2)之差具有相同的正负符号。如果模式检测器15确定上述所有条件获得了满足，并且步骤S12中的确定结果为肯定，模式检测器15进入步骤S13。在步骤S13中，模式检测器15确定目标像素C附近存在精细边缘。
如果模式检测器15确定未满足上述所有条件，并且步骤S12中的确定结果为否定，则模式检测器15进入步骤S14。在步骤S14中，模式检测器15确定目标像素C附近不存在精细边缘。
例如，当目标像素C和相邻像素L2、L1、R1和R2有如图10所示的关系绝对值|L2-C|和|L1-C|，即目标像素C与其左边的相邻像素L2和L1之差的绝对值，分别比阈值ε2小；绝对值|R1-C|和|R2-C|，即目标像素C与其右边的相邻像素R1和R2之差的绝对值分别大于或等于阈值ε2；并且目标像素C与其右边的相邻像素R1和R2之差(R1-C)和(R2-C)有着同样的符号(在此情况中，其为正)。于是，确定目标像素C附近存在精细边缘。
同样地，例如，当目标像素C和相邻像素L2、L1、R1和R2有如图11所示的关系尽管绝对值|L2-C|和|L1-C|比阈值ε2小，并且绝对值|R1-C|和|R2-C|大于或等于阈值ε2，但是该差(R1-C)和(R2-C)有着不同的符号(在此情况中，(R1-C)为正，而(R1-C)为负)。于是，确定目标像素C附近不存在精细边缘。
此外，例如，当目标像素C和相邻像素L2、L1、R1和R2有如图12所示的关系在目标像素C与其左边的相邻像素之差的绝对值中只有一个比阈值ε2小，而目标像素C与其右边的相邻像素之差的绝对值均不小于阈值ε2。于是，确定目标像素C附近不存在精细边缘。
在步骤S4中确定目标像素C附近是否存在精细边缘之后，如上所述，模式检测器15进入图8中的步骤S5。如果在步骤S5中，根据步骤S4的确定结果，确定目标像素C附近存在精细边缘，则模式检测器15进入步骤S6，通知开关16目标像素C附近存在精细边缘。根据该通知，开关16将输入图像信号S0输出到下一级。
相反，如果在步骤S5中，根据步骤S4的确定结果，确定目标像素C附近不存在精细边缘，则模式检测器15进入步骤S7，通知开关16目标像素C附近不存在精细边缘。根据该通知，开关16将从非线性滤波器12输出的图像信号S1输出到下一级。
接下来，处理过程回到步骤S1。指定作为相邻像素R1的像素为新的目标像素C，重复与上述过程相似的过程。于是，如上所述，n-滤波器11进行滤波过程。
如上所述，n-滤波器11基于阈值ε2检测精细边缘，并且对存在精细边缘的部分不使用非线性滤波器12的输出。因此，可以避免简单模式图像等，尤其是包括精细边缘的简单模式图像等的质量的显著下降。
本发明可以应用于各种使用图像信号的设备，如摄像机、数码照相机、打印机、显示器和计算机。
举例来说，当本发明应用于计算机图像处理时，对于调节图像对比度来说，可以获得高质量的已调节对比度的图像，同时保持图像的动态范围。同样地，对于合并不同照明条件下获得的图像来说，可以仅补偿图像对比度分量的差异，并可以生成自然的合并图像。
尽管上述一系列处理可通过硬件来执行，它们也可以用软件来执行。如果这一系列处理用软件来执行，则将构成该软件的程序从记录介质安装到专用硬件中安装的计算机，例如如图13所示通过安装各种软件而能够执行多种功能的通用个人计算机50中。
个人计算机50包括中央处理器(CPU)51。CPU 51通过总线54连接到输入/输出接口55。只读存储器(ROM)52和随机存储器(RAM)53连接到总线54。
输入/输出接口55连接到输入单元56，其包括输入设备，如键盘、鼠标和遥控器，用来为用户输入操作命令；输出单元57，用来将合并图像信号输出到显示器；存储单元58，其包括用来在其中存储程序和各种数据的硬盘驱动器与其它设备；以及通信单元59，其包括调制解调器、局域网(LAN)适配器等，用来通过网络，通常为Internet，进行通信处理。而且，输入/输出接口55连接到驱动器60，用来从诸如磁盘61(包括软盘)、光盘62(包括只读光盘(CD-ROM)和数字通用光盘(DVD))、磁光盘63(包括迷你盘(MD))、半导体存储器64等的记录介质中读写数据。
将磁盘61或半导体存储器64中存储的、用来使CPU 51进行上述的滤波过程的程序提供给个人计算机50，该程序由驱动器60读取，以安装到存储单元58中的硬盘驱动器中。可替换地，可以通过网络提供该程序。将存储单元58中安装的程序加载到RAM 53中，并根据对应于用户输入到输入单元56的命令的来自CPU 51的指令来执行。
流程图中描述的步骤不需要按照上述顺序的时间顺序来执行。这些步骤可以并行执行或独立执行。
权利要求
1.一种用来调节连续排列的信号的电平的信号处理设备，该设备包括第一指定装置，用来按顺序指定每个所述信号作为目标信号；第二指定装置，用来基于由所述第一指定装置指定的目标信号，从所述信号中指定多个相邻信号；计算装置，用来计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定装置，用来计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择装置，用来根据由确定装置确定的结果，选择平滑信号和目标信号中的一个。
2.如权利要求1所述的信号处理设备，其中，所述信号为构成图像的像素的像素值。
3.一种用来调节连续排列的信号的电平的信号处理方法，该方法包括第一指定步骤，按顺序指定每个所述信号作为目标信号；第二指定步骤，基于由所述第一指定步骤指定的目标信号，从所述信号中指定多个相邻信号；计算步骤，计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定步骤，计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择步骤，根据由确定步骤确定的结果，选择平滑信号和目标信号中的一个。
4.一种记录介质，其中记录有用来调节连续排列的信号的电平的计算机可读程序，该程序包括第一指定步骤，按顺序指定每个所述信号作为目标信号；第二指定步骤，基于由所述第一指定步骤指定的目标信号，从所述信号中指定多个相邻信号；计算步骤，计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定步骤，计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择步骤，根据由确定步骤确定的结果，选择平滑信号和目标信号中的一个。
5.一种用来调节连续排列的信号的电平的程序，该程序使计算机执行一处理过程，所述处理过程包括第一指定步骤，按顺序指定每个所述信号作为目标信号；第二指定步骤，基于由所述第一指定步骤指定的目标信号，从所述信号中指定多个相邻信号；计算步骤，计算目标信号和多个相邻信号之差，并根据该差和第一阈值之间的比较结果，通过获得目标信号和多个相邻信号的加权平均，来计算平滑信号；确定步骤，计算目标信号和多个相邻信号之差，并根据该差和小于第一阈值的第二阈值之间的比较结果，来确定目标信号附近是否存在精细边缘；选择步骤，根据由确定步骤确定的结果，选择平滑信号和目标信号中的一个。
全文摘要
根据本发明的n－滤波器包括非线性滤波器、模式检测器和开关。非线性滤波器保持构成输入图像信号的像素的波动中幅度大于预定阈值的急剧升降边缘，同时使不包括边缘的非边缘部分变得平滑。模式检测器检测构成输入图像信号的像素的波动的精细边缘，并通知开关存在精细边缘。根据来自模式检测器的通知，开关将输入图像信号或从非线性滤波器输出的图像信号输出到下一级。
文档编号G06T5/20GK1578382SQ20041006357
公开日2005年2月9日 申请日期2004年7月12日 优先权日2003年7月11日
发明者横山一树, 上田和彦, 浅野光康, 洼园猛, 稻田哲治 申请人:索尼株式会社