图像处理设备、方法、记录介质和程序的制作方法

专利名称：图像处理设备、方法、记录介质和程序的制作方法
技术领域：
本发明涉及图像处理设备和方法、记录介质和程序，尤其涉及能够校正由于焦点未对准而造成的图像模糊的图像处理设备和方法、记录介质和程序。
背景技术：
近来数字照相机得到广泛的使用，许多用户有了更多的机会拍摄照片。数字照相机具有自动对焦功能，其中，照相机对物体进行适当的对焦调整。
但是，使用自动对焦功能时，焦点被调节得使得对焦状态在几个预定点是最佳的。因此，可能出现这样的情况例如，用户所希望拍摄的对象不在焦点上(不清晰)，而是将焦点调节到了背景图像上。在这种情况下，用户希望拍摄的对象的图像就变得模糊。
因此，例如在日本待审专利申请公开No.2000-57339中提出了一种校正这样的图像模糊的方法。但是，在进行处理以校正整个图像的模糊的时候，例如，主要对象的图像的模糊被校正了，但是缺点是，在当时不模糊的背景图像中会出现过调或者产生环形(ringing)的现象，所得到的图像的质量减退。
目前，在日本待审专利申请公开No.2000-57339中公开的发明涉及由用户确定要校正模糊的区域，只在指定的区域中执行校正处理。
但是，如果由用户来确定校正区的面积，在主对象的形状复杂的情况下，例如，就需要进行精确跟踪复杂形状的对象的边缘的操作，这对用户产生了很大的负担。

发明内容
本发明就是针对上述问题作出的，提供方便的模糊校正，同时不对用户产生很大的负担。
根据本发明的第一方面，图像处理设备包括参数获取装置，用于获取与要校正的图像的模糊的校正有关的参数；特征量检测装置，用于检测要被校正的图像的特征量；参数生成装置，用于通过根据所述特征量校正所述参数而生成校正参数；以及校正装置，用于根据所述校正参数来校正要被校正的图像的模糊。
根据本发明的第二方面，图像处理方法包括获取与要校正的图像的模糊的校正有关的参数；检测要被校正的图像的特征量；通过根据所述特征量校正所述参数而生成校正参数；以及，根据所述校正参数来校正要被校正的图像的模糊。
根据本发明的第三方面，记录介质中存储有由计算机读取的程序，该程序包括用于获取与要校正的图像的模糊的校正有关的参数的指令；用于检测要被校正的图像的特征量的指令；用于通过根据所述特征量校正所述参数而生成校正参数的指令；以及，用于根据所述校正参数来校正要被校正的图像的模糊的指令。
根据本发明的第四方面，可由计算机执行的程序包括用于获取与要校正的图像的模糊的校正有关的参数的指令；用于检测要被校正的图像的特征量的指令；用于通过根据所述特征量校正所述参数而生成校正参数的指令；以及，用于根据所述校正参数来校正要被校正的图像的模糊的指令。
根据本发明的第五方面，一种图像处理设备包括获取装置，用于获取用于学习的图像数据；指定装置，用于指定用于生成图像中的模糊的参数；生成装置，用于生成所述图像的图像数据，在所述图像中，使用包括所述获取的图像数据的参数的函数产生了模糊；特征量检测装置，用于检测所生成的图像数据的图像的特征量；最大值检测装置，用于检测所述图像的特征量的最大值，在所述图像中，对应于所述指定的参数发生了模糊；以及建立装置，用于建表，在指定了指定参数和指定特征量时，从该表读出对应于所指定的参数和指定特征量的校正参数，在指定特征量小于对应于所指定的参数的特征量的最大值的情况下，使所指定的参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为特征量最大值的指定特征量的特征量所对应的参数作为所述校正参数。
根据本发明的第六方面，一种图像处理方法包括获取用于学习的图像数据；设定用于在图像上产生模糊的参数；生成所述图像的图像数据，在所述图像中，使用包括所述获取的图像数据的参数的函数产生了模糊；检测所生成的图像数据的图像的特征量；检测所述图像的特征量的最大值，在所述图像中，对应于所设定的参数发生了模糊；以及，建表，在指定了指定参数和指定特征量时，从该表读出对应于指定参数和指定特征量的校正参数，在指定特征量小于对应于指定参数的特征量的最大值的情况下，使所述指定参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为特征量最大值的指定特征量的特征量所对应的参数作为所述校正参数。
根据本发明的第七方面，记录介质中记录有由计算机读取的程序，该程序包括用于获取用于学习的图像数据的指令；用于设定用于在图像上产生模糊的参数的指令；用于生成所述图像的图像数据的指令，在所述图像中，使用包括所述获取的图像数据的参数的函数产生了模糊；用于检测所生成的图像数据的图像的特征量的指令；用于检测所述图像的特征量的最大值的指令，在所述图像中，对应于所设定的参数发生了模糊；以及，用于建表的指令，在指定了指定参数和指定特征量时，从该表读出对应于指定参数和指定特征量的校正参数，在指定特征量小于对应于指定参数的特征量的最大值的情况下，使所述指定参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为特征量最大值的指定特征量的特征量所对应的参数作为所述校正参数。
根据本发明的第八方面，可由计算机执行的程序包括用于获取用于学习的图像数据的指令；用于设定用于在图像上产生模糊的参数的指令；用于生成所述图像的图像数据的指令，在所述图像中，使用包括所述获取的图像数据的参数的函数产生了模糊；用于检测所生成的图像数据的图像的特征量的指令；用于检测所述图像的特征量的最大值的指令，在所述图像中，对应于所设定的参数发生了模糊；以及，用于建表的指令，在指定了指定参数和指定特征量时，从该表读出对应于指定参数和指定特征量的校正参数，在指定特征量小于对应于指定参数的特征量的最大值的情况下，使所述指定参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为特征量最大值的指定特征量的特征量所对应的参数作为所述校正参数。
根据本发明的第一到第四方面，可以校正图像的模糊。
具体地，根据本发明，可以容易地校正图像的模糊而不会对用户产生特别的负担。
根据本发明的第五到第八方面，可以创建一个表，其中列举用于校正图像的参数。具体地，可以创建一个表，其中列举了参数，使用这些参数能够容易地校正图像而不对用户产生特别的负担。


图1的框解了应用本发明的图像处理设备的一个配置实例；图2的流程图描述了图1的图像处理设备的图像处理过程；图3的示意图描绘了模糊参数σ；图4的示意图描绘了模糊参数σ；图5的示意图描绘了对焦模糊的产生原理；图6的示意图描绘了影响对焦模糊的像素值的范围；图7的示意图描绘了一个二维像素阵列；图8的示意图描绘了影响二维模糊的像素；图9A和9B的示意图描绘了影响对焦模糊的边缘；图10的框解了图1的图像校正处理设备的一个配置实例；图11的示意解了图10中的用户接口单元的一个配置实例；图12的流程图描绘了图10的图像校正处理设备的图像校正处理；
图13的框图描绘了图10的参数校正单元的一个功能配置实例；图14的流程图描绘了图12中的步骤S31中的参数校正处理；图15的示意示了观测区域；图16的示意示了查询表的一个例子；图17的曲线图描绘了特征量、频率和参数σ之间的关系；图18的流程图描绘了估计参数的估计处理；图19的曲线图描绘了特征量、频率和参数σ之间的关系；图20的曲线图描绘了特征量、频率和参数σ之间的关系；图21的曲线图描绘了特征量、频率和参数σ之间的关系；图22的框图描绘了图10的模糊校正单元的一个功能型配置实例；图23的流程图描绘了图22的模糊校正单元的模糊校正处理；图24的流程图描绘了图22的模糊校正单元的模糊校正处理；图25是一幅照片，用以图示在模糊校正之前的一个图像实例；图26是一幅照片，用以图示在进行了模糊校正后的一个图像实例；图27是一幅照片，用以图示在进行了模糊校正后的一个图像实例；图28的框解了查询表建立设备的一个功能配置实例；图29的流程图描绘了图28的查询表建立设备的查询表建立处理；图30的曲线图描绘了特征量、频率和参数σ之间的关系；图31的流程图描绘了图29中步骤S157中的表建立处理的细节；图32的流程图描绘了在运动模糊校正的情况下，图12的步骤S31的参数校正处理；图33的示意图描绘了运动模糊校正的方向；图34的示意解了在校正运动模糊的情况下查询表的一个例子；图35的框解了个人计算机的一个配置实例。
具体实施例方式
下面描述本发明的优选实施例，所公开的发明及其实施例之间的对应关系如下所述。即使在说明书中描述了一个实施例但是没有将其描述为可适用于本发明的实施例的情况下，这并不一定意味着该实施例不适用于本发明。相反地，即使一个实施例被描述为适用于本发明的情况下，这也不意味着本实施例不适用于本发明之外的发明。
另外，本说明书不意味着本发明的整体都在说明书中得到描述。换句话说，本说明书是在说明书中描述的发明，不是要否认在本申请中没有要求权利的任何发明，也就是，将来提交的分案申请中的另外的发明，或者提交的修改中的发明。
根据本发明第一方面的图像处理设备包括用于获取用于校正要被校正的图像的模糊的参数(例如参数σ)的参数获取装置(例如图10中的用户接口单元31，执行图14中步骤S51的处理)，用于检测要被校正的图像的特征量(例如一次微分值，二次微分值，动态范围或者离差)的特征量检测装置(例如图13中的特征量检测单元61-1到61-4，执行图14中的步骤S52和S53的处理)，通过根据所述特征量校正所述参数而生成校正参数的参数生成装置(例如图13中的查询表62-1到62-4，执行图14中的步骤S55的处理)，以及根据所述校正参数校正要被校正的图像的模糊的校正装置(例如图10中的模糊校正单元33，执行图12中的步骤S32的处理)。
在作为要被校正的图像的特征量的最大值的第一特征量(例如图19中的特征量V80)小于作为对应于所获取的参数(例如图20中的参数σ70)的最大特征量的第二特征量(例如图20中的特征量V70)的情况下(例如，在第一特征量是图16中的特征量V80的情况下)，所述参数生成装置将所获取的参数(例如图16中的参数σ70)不加变化地作为校正参数(例如，作为在对应于图16中垂直坐标轴上的参数σ70的空间中，列为校正参数的参数σ70)。在其较大的情况下(例如，在第一特征量为图20中的特征量V60的情况下)，对应于作为大于第一特征量(例如图20中的参数σ50)的特征量的第三特征量(例如图20中的特征量V50)的最大特征量的参数，被作为校正参数(例如，对应于图16中垂直坐标轴上的参数σ70的空间中的校正参数被作为参数σ50)。
特征量检测装置检测多个特征量，参数生成装置生成多个对应于所述多个特征量的校正参数。所述图像处理设备还包括校正参数选择装置(例如，图13中的选择单元63，执行图14中的步骤S56的处理)，选择所述多个校正参数中的最小校正参数，以及校正装置，根据所选择的校正参数校正要被校正的图像的模糊。
所述特征量检测装置(例如配置图13中的特征量检测单元61-1到61-4的特征量提取单元71-1到71-4)检测要被校正的图像的区域的一部分中的多个像素的特征量的最大值，作为所述特征量(例如，图14中的步骤S54的处理)。
所述校正装置将要被校正的图像的区域的一部分(例如图15中的观测区域)设定为基于所述参数的获取值的大小(例如，图14中的步骤S52的处理)。
所述校正装置使用相邻像素的像素值之间的差(例如差的绝对值)来执行计算，校正要被校正的图像的模糊(例如图23中的步骤S104的处理)。
所述校正装置将所述差与参考值进行比较，确定边缘方向(例如，图23和图24中的步骤S105、S108、S111和S114的处理)，与没有边缘的方向的差相比，具有边缘的方向的差被使用的比例较小(例如，图23和24中的步骤S106、S107、S109、S110、S112、S113、S115和S116的处理)。
根据本发明第二方面的图像处理方法、根据本发明第三方面的用于记录介质的程序，以及根据本发明第四方面的程序包括用于获取与要校正的图像的模糊的校正相关的参数(例如参数σ)的参数获取步骤(例如图14中的步骤S51)；用于检测特征量的图像的特征量(例如图像数据的一次微分值、二次微分值、动态范围以及离差)的特征量检测步骤(图14中的步骤S52和S53)；根据所述特征量校正参数，从而生成校正参数的参数生成步骤(例如图14中的步骤S55)；以及根据所述校正参数校正要被校正的图像的模糊的模糊校正步骤(例如图12中的步骤S32)。
根据本发明第五方面的图像处理设备包括用于获取图像数据以用于学习的获取装置(例如图28中的获取单元211，执行图29中的步骤S151的处理)；用于设置用于生成图像中的模糊的参数的设置装置(例如图29中的设置单元213，执行图29中的步骤S152的处理)；使用包括所获取的图像数据的参数的函数(例如等式(2)中的高斯函数)产生模糊，从而生成图像的图像数据的生成装置(例如图28中的计算单元212，执行图29中的步骤S153的处理)；用于检测所生成的图像数据的图像的特征量(例如一次微分值、二次微分值、动态范围或者离差)的特征量检测装置(例如图28中的特征量提取单元214，执行图29中的步骤S154的处理)；检测其中对应于所设置的参数生成了模糊的图像的特征量的最大值的最大值检测装置(例如图28中的最大值检测单元216，执行图29中的步骤S156的处理)；以及建表的建立装置(例如图28中的建表单元217，执行图29中的步骤S157的处理)，其中，在指定参数和指定特征量(例如用作图16中的查询表的地址的垂直轴参数σ和水平轴特征量V被指定时，从该表(例如图16中的查询表)读出对应于指定参数和指定特征量的校正参数，在所述指定特征量小于对应于指定参数(例如图16中作为指定值的参数σ80)的特征量(例如图19中的特征量V80)的最大值的情况下(例如在指定特征量是图16中的特征量V90)的情况下)，采用所述指定参数作为校正参数(例如，作为在图16中的查询表的垂直坐标轴上的参数σ80所对应的空间中被列为校正参数的参数σ80)，在所述指定特征量较大的情况下(例如，在指定特征量为图16中的特征量V60的情况下)，值大于作为特征量的最大值的指定特征量的特征量(例如图16中的特征量V50)所对应的参数(例如图17中的参数σ50)被作为校正参数(例如，在图16中的查询表的垂直坐标轴上的参数σ70所对应的空间中作为校正参数的参数σ50)。
还包括用于检测特征量的频率的频率检测装置(例如图28中的频率检测单元215，执行图29中的步骤S155的处理)，其中，所述最大值检测装置从大于监测到的频率的预定阈值的特征量中检测特征量的最大值。
根据本发明第六方面的图像处理方法、根据本发明第七方面的记录介质的程序以及根据本发明第八方面的程序包括获取图像数据以用于学习的获取步骤(例如图29中的步骤S151)；设置用于生成图像中的模糊的参数的设置步骤(例如图29中的步骤S152)；使用包括所获取的图像数据的参数的函数(例如等式(2)中的高斯函数)产生模糊，从而生成图像的图像数据的生成步骤(例如图29中的步骤S153)；检测所生成的图像数据的图像的特征量(例如一次微分值、二次微分值、动态范围或者图像数据的离差)的特征量检测步骤(例如图29中的步骤S154)；检测其中对应于所设置的参数生成了模糊的图像的特征量的最大值的最大值检测步骤(例如图29中的步骤S156)；以及建表的建立步骤(例如图29中的步骤S157)，其中，在指定参数和指定特征量(例如用作图16中的查询表的地址的垂直轴参数σ和水平轴特征量V被指定时，从该表(例如图16中的查询表)读出对应于指定参数和指定特征量的校正参数，在所述指定特征量小于对应于指定参数(例如图16中作为指定值的参数σ80)的特征量(例如图19中的特征量V80)的最大值的情况下(例如在指定特征量是图16中的特征量V90)的情况下)，采用所述指定参数作为校正参数(例如，作为在图16中的查询表的垂直坐标轴上的参数σ80所对应的空间中被列为校正参数的参数σ80)，在所述指定特征量较大的情况下(例如，在指定特征量为图16中的特征量V60的情况下)，值大于作为特征量的最大值的指定特征量的特征量(例如图16中的特征量V60)所对应的参数(例如图17中的参数σ50)被作为校正参数(例如，在图16中的查询表的垂直坐标轴上的参数σ70所对应的空间中作为校正参数的参数σ50)。
下面参照附图描述适用于本发明的实施例。图1描绘了应用本发明的图像处理设备的一个配置实例。该图像处理设备1包括图像校正处理设备11和显示设备12。图像校正处理设备11校正图像数据的图像的输入模糊，并将其输出。显示设备12基于图像校正处理设备11输出的图像数据显示图像，并将其展示给用户13。
下面结合图2的流程图描述该图像处理设备1的图像处理。下面的实施例是针对用于校正因为对焦不准而产生的模糊的图像处理的。
在步骤S1，图像校正处理设备11执行图像校正处理。下面结合图12描述该处理的细节。图像校正处理设备11对输入的图像数据执行对应于参数σ的校正处理(该参数是用户13指定的)，并将经过校正处理的图像数据输出。该图像数据在后面的步骤中被输出到未图示的设备，并且被提供给显示设备12，被显示为图像。
用户13观看显示在显示设备12上的图像，判断是否已充分校正了模糊，在模糊还未被充分校正的情况下，调节调节器，将参数σ的值改变到不同的值。
然后，在步骤S2，图像校正处理设备11判断用户是否执行了新的操作。在执行了新的操作的情况下，过程返回步骤S1，基于再次设定的新的参数信号执行图像校正处理。
由显示设备12显示基于所校正的图像数据的图像，因此用户13再次观看该图像，判断是否要进一步调整图像的移动。然后，进一步，在用户判断需要校正模糊的情况下，可以通过调节调节器来设置新的参数σ值。
重复执行如上所述的处理。然后，在步骤S2，在判断出没有执行新的操作的情况下，处理结束。
下面描述图像校正处理设备11中的图像校正的原理。在本发明中，对于模糊的产生，假定一个基于下述等式的模型Y(x,y)=Σ-r<i<r-r<j<r[W(i,j)×X(x+i,y+j)]···(1)]]>上述等式中的X(x+i，y+j)代表坐标X(x+i，y+j)没有产生模糊的图像数据，通过对该值作卷积(将该值乘以加权系数W(i，j))，生成产生了模糊的图像数据Y(x，y)。这样，加权系数W(i，j)是如下式所示的高斯函数W(j,i)=12πσ2ej2+i2-2σ---(2)]]>参数σ是对应于模糊的参数，该参数σ的值越大，模糊就越厉害。
当参数σ的值小时，如图3所示，加权系数W(i，j)的值相对来说具有径向特性，而当参数σ的值较大时，如图4所示，加权系数的值的分布平滑地扩展在较宽广的范围上。
现在假设图3和图4的水平平面中的正向分别表示水平方向(i)和垂直方向(j)的像素位置，垂直轴表示加权系数W(i，j)的值。
对于位于水平方向的一个轴上的CCD成像器件的每一个像素的输出，在图5中图示了对上述关系的描述。这里，图5中最下面一列上的P0到P8表示由CCD捕捉的模糊图像的电势累积，各自在水平方向上排列。对于这里最上面的列X0到X8，在拍摄了无模糊的图像的情况下，像素P0到P8分别表示电势累积。图5中的曲线表示加权系数W(i)的特性。在此例子中，变量i是-2＞i＞2，中心的系数为W(0)，其左边的系数是W(-1)，再左边的系数是W(-2)。类似地，中心系数W(0)右边的系数的W(1)，再右边的系数是W(2)。每一个系数W(i)的值使得W(0)最大，系数W(-1)和W(1)小于它，系数W(-2)和W(2)的值更小。
基于上述等式(1)表示像素P4的观测值Y2得到下式Y2＝W(-2)X2+W(-1)X3+W(0)X4+W(1)X5+W(2)X6…(3)类似地，在获取图5中像素P2的观测值Y0的情况下，通过用图6中的帧90-1中所示的真实值进行计算，获得如下的观测值Y0，其中像素P2在中央Y0＝W(-2)X0+W(-1)X1+W(0)X2+W(1)X3+W(2)X4…(4)类似地，在获取像素P3的观测值Y1的情况下，通过用图6中的帧90-2中所示的真实值进行计算，获得如下的观测值Y1，其中像素P3在中央Y1＝W(-2)X1+W(-1)X2+W(0)X3+W(1)X4+W(2)X5…(5)
对于观测值Y3和Y4也可以执行类似的计算。
扩展图5所示的一维关系，使之成为二维的，这可以图示为图7和图8所示。
换句话说，图7表示7×7像素的观测区域的观测值Y(x，y)，其中，观测值Yt在中央。该观测值Y(x，y)是从图8所示的真实值X(x，y)的值与加权系数的乘积和得到的值。
具体地，基于对应于5×5像素的帧(a)中所示的二十五个像素的真实值，图7中左上角的像素A的值被表示为下式，其中对应于图8中的像素A的像素A’在中央Y(x，y)＝W(-2，-2)X(x-2，y-2)+W(-1，-2)X(x-1，y-2)+W(0，-2)X(x，y-2)…+W(2，2)X(x+2，y+2)…(6)W(j,i)=12πσ2ej2+i2-2σ---(7)]]>类似地，基于对应于帧(b)中所示的二十五个像素的真实值，在下式中计算图7中紧邻像素A在像素A右侧的像素B的观测值，其中对应于图8中的像素B的像素B’在中央Y(x+1，y)＝W(-2，-2)X(x-1，y-2)+W(-1，-2)X(x，y-2)+W(0，-2)X(x+1，y-2)…+W(2，2)X(x+3，y+2)…(8)类似地，基于对应于帧(c)中的二十五个像素的真实值，如下式所示计算在像素B右侧的像素C，其中对应于图8中的像素C的像素C’在中央现在，图8中的Xt是对应于图7中的观测值Yt的真实值，帧(t)是真实值Xt在中央的5×5像素的帧。
Y(x+2，y)＝W(-2，-2)X(x，y-2)+W(-1，-2)X(x+1，y-2)+W(0，-2)X(x+2，y-2)…+W(2，2)X(x+4，y+2)…(9)等式(8)和(9)中的加权系数W(i，j)用等式(7)表示，类似于等式(6)的情况。
当如上所述计算图7所示的每一个像素对应的观测值时，可以获得比如下式所示的行列式
Yf=Y(x,y)Y(x+1,y)Y(x+2,y)Y(x+3,y)···Y(x,y+1)Y(x+1,y+1)···Y(x+6,y+6)---(10)]]>Wf=W(-2,-2)W(-1,-2)···W(2,2)W(-2,.-2)W(-1,-2)···W(2,2)·········W(-2,-2)W(-1,-2)···W(2,2)---(11)]]>Xf=X(x-2,y-2)X(x-1,y-2)···X(x+4,y+4)X(x-1,y-2)X(x,y-2)···X(x+5,y+4)·········X(x+2,y+2)X(x+3,y+2)···X(x+8,y+8)---(12)]]>Yf=WfXf… (13)从等式(10)到等式(13)所表示的行列式，如果能够计算Wf的逆矩阵，则能估计真实值x(x,y)。
但是，通过观察图7中观测区域21和图8中混合区域22的相应面积(像素计数)之间的差可以理解，仅仅使用上述等式(10)到等式(13)不能解出真实值x(x,y)，因为要估计的真实值x(x,y)的数量大于观测值Y(x,y)。
因此，使用本发明，除了等式(10)到(13)之外，引入下面的等式(14)到(17)作为关系式。这些等式中的每一个是有条件的，因为在上、右、下和左侧相邻的像素的差的值乘以系数Wa变为O。
Wa(X(x，y)-X(x，y-1))＝0…(14)Wa(X(x，y)-X(x+1，y))＝0…(15)Wa(X(x，y)-X(x，y+1))＝0…(16)Wa(X(x，y)-X(x-1，y))＝0…(17)因此，作为图像的一般特性，相邻像素之间是高度相关的，因此，如果将上述等式(14)到(17)中的系数Wa设置为极小的值，则矛盾不会很大。另外，基于从输入图像估计的活动(动作)，上述等式(14)到(17)中的系数Wa也可以对每一个像素切换。这样，除了等式(10)到等式(13)之外，通过将等式(14)到等式(17)的辅助关系式添加到图8所示的11×11真实值X(x，y)的整个区域，或者添加到该区域内的一部分，真实值X(x，y)的序数等于等式的序数，则可以基于下式计算真实值X(x，y)Ys＝WsXs…(18)Xs＝Ws-1Ys…(19)另外，如图9所示，基于边缘存在的方向，可以选择应用等式(14)到等式(17)之一。
因此，像素P0a不用穿过边缘25A就到达上、下、左或右任何相邻的像素。这样，在这种情况下，可以适用等式(14)到等式(17)的所有条件。相反，像素P0b在与上、下或者右边相邻的像素之间没有边缘25A，但是在与左边相邻的像素之间存在一个边缘25A。这样，在这种情况下，只有等式(14)到等式(16)的条件适用，只有对应于与左边相邻的像素之间的差的等式(17)的条件不适用。这样，就可以有更大精度的校正。
类似地，像素P0c在与下边或者右边相邻的像素之间没有边缘，但是在与上边和左边相邻的像素之间存在一个边缘25A。这样，在这种情况下，对应于与右边或者下边相邻的像素之间的差的等式(15)和等式(16)的条件适用，但是对应于与上边和左边相邻的像素之间的差的等式(14)和(17)的条件不适用。
这里，不用作条件(不作为条件适用)的意思是等式(14)到等式(17)中的系数Wa的值被设为0。在存在边缘的方向，系数Wa的值不是设置为0而是被设置为某一个值，该值小于在不存在边缘的方向的系数Wa的值。
现在，还是在这种情况下，前提是，对于图9A所示的观测值的像素P0a、P0b和P0c的上、下、左和右侧相邻的像素的差值，近似等于对于图9B所示的对应真实值的像素P1a、P1b和P1c的上、下、左和右侧相邻的像素的差。
图10图示了图像校正处理设备11的更为详细的配置实例。该图像校正处理设备11包括用户接口单元31、参数校正单元32和模糊校正单元33。
如图11所示，用户接口单元31具有调节器51，通过在逆时针方向旋转它，可以增大参数σ的值，通过在顺时针方向旋转它，可以减小参数σ的值。通过用户接口单元31指定的参数σ被提供给参数校正单元32。参数校正单元32基于输入图像数据的特征量对用户接口单元31提供的参数σ的值进行校正，并将校正后的参数σ提供给模糊校正单元33。模糊校正单元33基于校正后的参数σ进行处理以校正输入图像数据的图像的模糊，并输出该图像数据。
图10中的图像校正处理设备11的处理(对应于图2中步骤S1的图像校正处理)比如如图12中的流程图所示。
因此，在用户操作用户接口单元31、指定预定参数σ时，参数校正单元32执行步骤S31的参数校正处理。下面描述其细节。但是由于该处理，参数σ基于图像数据的特征量被校正，生成校正后的参数σ。
在步骤S32，模糊校正单元33执行模糊校正处理。下面结合图23和24的流程图描述该处理的细节。由于该处理，输入图像数据的图像的模糊被校正，已经校正了模糊的图像的图像数据被输出，并被提供给显示设备12，作为图像被显示。
然后，在用户观看图像后判断需要进一步校正的情况下，用户再次操作用户接口单元31来指定新的参数σ。通过重复这样的处理，可以获得模糊得到校正的图像的图像数据。
图13图示了参数校正单元32的一个详细的配置实例。该参数校正单元32包括选择单元63，该选择单元63从四个估计参数中选择一个最小的估计参数作为校正参数，所述四个估计参数是从查询表62-1到62-4输出的；基于从用户接口单元31提供的参数σ的值估计参数估计值的查询表(LUT)62-1到62-4；从输入图像数据检测区别特征量的特征量检测单元61-1到61-4，特征量检测单元61-1到61-4输出特征量。
特征量检测单元61-1包括特征量提取单元71-1和最大值搜索单元72-1。特征量提取单元71-1提取观测区域中的像素的特征量，在所述观测区域中，基于用户接口单元31提供的参数σ的值设置输入图像数据。在观测区域的范围中的像素数为N的情况下，则提取N个特征量。最大值搜索单元72-1从特征量提取单元71-1提供的N个特征量中搜索最大值，并输出到查询表62-1。
类似于特征量检测单元61-1，特征量检测单元61-2到61-4也具有特征量提取单元71-2到71-4和最大值搜索单元72-2到72-4。它们的基本操作类似于特征量检测单元61-1的情况。
特征量提取单元71-1到71-4分别提取的特征量分别是一个活动系统(activity system)的特征量，是与模糊量所对应的参数σ具有特定关联性的特征量。换句话说，如果参数σ较大，则特征量会较小或者较大。具体地，提取一阶微分值、二阶微分值、N像素的动态范围以及N像素的离差等。
设所考虑的某个像素为B，在左边与之相邻的像素为A，在右边与之相邻的像素为C，所考虑的像素B和在左边与之相邻的像素A之间的差的绝对值|B-A|越大，所考虑的像素B和在右边与之相邻的像素C之间的差的绝对值|B-C|可以作为一次积分值。另外，所考虑像素B的值的二倍(2B)和左右像素的和(A+C)之间的差的绝对值，也就是|2B-(A+C)|可以作为二次积分值。另外，N个像素的动态范围是N个像素的最大值MAX和最小值MIN之间的差，表示为DR＝MAX-MIN。另外，可以不使用N个像素的离差(将N个像素的平均值和N个像素中的每一个之间的差的平方和除以N所获得的值)，而适用其他的值，比如N个像素的平均值和N个像素中的每一个之间的差额平方和、N个像素的平均值和N个像素中的每一个之间的差的绝对值的和，以及将所述绝对值的合除以N所得到的值，等等。
下面结合图14的流程图描述参数校正处理。该处理是图12中步骤S31的处理。
在步骤S51中，用户接口单元31获取一个参数。换句话说，获取用户操作调节器51输入的参数σ的值。所获取的参数σ被提供给特征量提取单元71-1到71-4以及查询表62-1到62-4。
在步骤S52，特征量提取单元71-1到71-4设置观测区域。换句话说，特征量提取单元71-1到71-4首先设置对应于在步骤S51的处理中获取的参数σ的区域作为观测区域。具体地，如图15所示，在所考虑的像素中，包括数量三倍于参数σ的值的像素的一个区域被设置为观测区域。图15A表示在3σ的值为1的情况下的观测区域。但是，3σ的值是经过舍入(凑整)的值。因此，在σ的值为0.1，0.2或者0.3的每一种情况下，3σ的值都是1。图15B图示了在3σ的值为2的情况下的观测区域，在这种情况下σ的值为0.4，0.5或者0.6。
后面，类似地，图15C到图15I表示在3σ的值分别为3到9时的观测区域。在图中底部所示的σ的值表示对应于每一个值被乘以三然后凑整的情况所对应的观测区域。在此例的情况下，如图15所示，观测区域是大致为圆形的一个区域，其中，所考虑的像素在圆形的中央。这样，通过将观测区域的大小设置为随着参数σ的值的增加而增加，检测不影响模糊的像素的特征量，可以防止错误的处理。
接下来，在步骤S53，特征量提取单元71-1到71-4提取特征量。如上所述，特征量提取单元71-1到71-4分别提取一个分配给其自身并与其它特征量不同的特征量。例如，特征量提取单元71-1提取一阶微分值作为特征量，特征量提取单元71-2提取二阶微分值作为特征量，特征量提取单元71-3提取动态范围作为特征量，特征量提取单元71-4提取离差作为特征量。这样，通过检测多个特征量，可以避免遗漏应当执行的模糊参数校正。
在步骤S54，最大值搜索单元72-1到72-4搜索最大值(模糊最小的特征量)。换句话说，最大值搜索单元72-1搜索观测区域内的像素的由特征量提取单元71-1提取的一阶微分值的最大值。最大值搜索单元72-2搜索观测区域内的像素的由特征量提取单元71-2提取的二阶微分值的最大值。最大值搜索单元72-3搜索观测区域内的像素的由特征量提取单元71-3提取的动态范围的最大值。最大值搜索单元72-4搜索观测区域内的像素的由特征量提取单元71-4提取的离差的最大值。现在，在离差的情况下，只存在一个值，因此该值被搜索到，作为最大值。
在步骤S55，查询表62-1到62-4参考统计数据估计参数估计值。下面结合图16到21描述其细节。由用户指定并由用户接口单元31提供的参数σ的值被转换为估计参数(参数估计值)。在对应于用户指定的参数σ的值的特征量的最大值小于最大值搜索单元72-1到72-4搜索到的最大值的情况下，该估计参数改变为大于最大值搜索单元72-1到72-4搜索到的最大值的最大值所对应的参数值。这样，防止了在没有模糊的图像的图像中出现过调或者形成环形(ringing)，从而可以抑制图像的劣化。
在步骤S56，选择单元63执行处理，从查询表62-1到62-4输出的估计参数中选择最小估计参数。换句话说，比较查询表62-1到62-4输出的四个估计参数的大小，选择最小的一个估计参数(具有最小模糊量的参数)，作为校正参数输出。这样，用户选择的参数σ被转换(校正)为校正参数。
这样生成的校正参数被设置为能够抑制图像的并未离焦的部分的图像劣化(比如由于对焦不准校正处理而造成的过调或者产生环形)的值。
图16图示了查询表62-1到62-4的一个例子。这些查询表都具有类似的配置。例如，对于图16，作为查询表62-1，如图中所示，查询表62-1是这样的一个表其中，用户接口单元31指定的参数σ的值是一个轴(图16中的垂直轴)的地址，最大值搜索单元72-1输出的特征量的最大值是另一个轴(图16中的水平轴)的地址，输出由所述垂直轴和所述水平轴指定的区域中存储的估计参数。在图16中，垂直轴的参数σ按照从下到上的顺序增加，水平轴上的特征量V从左到右增加。
存储在图16中的帧(代表存储区)中的估计参数的值基本上是用户指定的参数σ的值，如图16中未加阴影的区域中所示。例如，在作为垂直轴地址的参数σ的值为σ60的帧中，在未加阴影的区域(在用作地址的特征量V的值较小的情况下的区域)中，与用作地址的值σ60相同的值σ60被存储为估计参数，而不管特征量V的值如何。在用作地址的参数σ的值为σ80的帧中，σ80被作为估计参数存储在未加阴影的区域中，而不管特征量V的值。
但是，在图中加阴影的区域(在用作地址的特征量V的值较大的情况下的区域)中，存储了σ70、σ50、σ30中小于用户所指定的参数σ的任何一个。换句话说，在监测到的最大特征量小于对应于用户所指定的参数σ的特征量的最大值的情况下，不加变化地适用指定参数σ的值。但是在监测到的最大特征量大于指定参数σ所对应的特征量的最大值的情况下，值大于检测到的特征量的特征量的最大值所对应的参数被存储为估计参数。
下面结合图17对该原理进一步描述。如图17所示，通常通过试验来确认参数σ和特征量V，以得到所获取的特征量V的值随着参数σ的值的增加而下降的关系。换句话说，在参数σ的值被设定为特定值的情况下检测图像中的特征量V，将该数值(频率)绘制到曲线图上，得到图17所示的曲线图，其中，具有较小的特征量V值的像素的数量较多，具有较大特征量V的像素的数量逐渐下降，特征量V大于特定值(最大值)的像素几乎不存在。换句话说，当确定图像的参数σ时，确定图像的特征量的最大值。另外，特征量V的分布范围随着参数σ值增大而变窄，频率的最大值随着参数σ值的增加而增加(特征量V和频率具有随着参数σ值的增加而急剧增加的特性，频率的最大值也增加，随着参数σ值的下降斜率变得更缓和，频率的最大值也下降)。
例如，令在参数σ值是σ70的情况下，该图像的可以获取的特征量V的最大值是V70。类似地，令在参数σ值为σ30的情况下特征量的最大值为V30，在参数σ值为σ50的情况下特征量的最大值为V50。在这种情况下，如果参数σ的值σ70是最大的，σ50的值是第二大的，σ30的值是最小的，则最大值V30的值是最大的，值V50是第二大的，最大值V70是最小的。
在用户指定的参数σ值为σ70的情况下，在要处理的图像的特征量的最大值小于值V70(在参数σ是σ70的情况下特征量V的最大值)的情况下，一般存在这样的特征量，因此，即使执行模糊校正处理，也不会出现过调或者出现环形的情况。相反，如果该图像的特征量的最大值V大于值V70，则指定参数σ70的图像的特征量V导致一个通常不存在的值，因此，如果执行对焦不准校正处理，则会出现过调和出现环形。因此，为了防止这种情况，在这种情况下，将指定参数σ的值σ70强制改变到较小的值σ50。
另外，在要处理的图像的特征量的最大值大于V50的情况下，即使参数σ的值被改变到σ50，由于存在大于对应的最大值V50的特征量，会出现过调或者出现环形。因此，在这种情况下，参数σ的值被改变到较小的值σ30。因此，如图16所示，在垂直轴参数σ的值为σ70的帧中，至于用作地址的特征量V的值的值V70所对应的区域，估计参数的值是与用户指定的值一样的值σ70，但是在特征量V的值在值V70和V50之间的区域中的示意图的右下侧的阴影区域中，估计参数值变为V50。那么，进一步，在示意图的垂直方向的阴影区域(其中，用作地址的特征量V的值在值V50和V30之间的区域中)中，估计参数值变为σ30。
类似地，例如，在要获取的特征量V的最大值的值是值V90的情况下(其中，用户指定参数σ的值是σ90的情况)，在示意图的未加阴影的区域(其中，用作地址的特征量V的值一直达到V90)中，估计参数值变为与用户指定参数σ的值相同的值σ90。另外，在图中左下侧的阴影区(该区域是这样的区域其中，特征量V的值是从V90到V70)中，估计参数值变为σ70。在右下侧的阴影区(其中，特征量V的值是从V70到V50)中，估计参数值变为σ50，在垂直方向的阴影区(其中，特征量V的值是从值V50到V30)，估计参数值变为σ30。
在图16所示的例子中，在担心出现过调或者环形的区域中，估计参数值被设置为σ70、σ50或者σ30中的任何一个，但是预先可以提供更多的估计参数。
在图16的实施例中，σ30被设置为可由用户指定的参数σ的最小值。因此，不需要在设置更小参数σ的情况下的估计参数，因此没有存储。
图16中的特征量V80表示在用户指定参数σ的值为σ80的情况下，特征量的可能存在的最大值。在用户指定的参数σ为σ60的情况下，特征量V60表示要被获取的图像的特征量V的最大值，特征量V60表示在用户指定参数σ是σ40的情况下特征量V的最大值。
现在，关系是V90＜V80＜V70＜V60＜V50＜V40＜V30。
换句话说，参考查询表62-1到62-4的步骤S55中的统计数据，估计参数估计值的处理基本上执行图18中的流程图所示的处理。
也就是说，在步骤S71中，查询表62-1到62-4获取由用户接口单元31输入的参数σ。在步骤S72，查询表62-1到62-4判断最大值搜索单元72-1到72-4提供的特征量最大值是否大于所获取的参数所对应的最大特征量，在其较大的情况下，值大于预先安排的值的特征量的最大值并且具有最小差的最大特征量的参数值在步骤S74中被设置为估计参数。
例如，如图19所示，在指定参数σ是值σ90的情况下，在要处理的图像的特征量的最大值V80大于预先准备的值V70、V50和V30中的V90的情况下，大于最大值V80并具有作为最大特征量的最小差值V70的参数值σ70被设置为估计参数。
又例如，如图20所示，在指定参数σ的值为σ70的情况下，在要处理的图像的特征量的最大值V60大于预先准备的值V70、V50和V30中的值V70的情况下，大于最大值V60并具有作为最大特征量的最小差值的参数值σ50被设置为估计参数。
类似地，如图21所示，在指定参数σ为值σ50的情况下，在要处理的图像的特征量的最大值V40大于预先准备的值V70、V50和V30中的值V50的情况下，大于最大值V40并具有作为最大特征量的最小差值V30的参数值σ30被设置为估计参数。
相反，在步骤S72，在判定特征量的最大值等于或者小于所获取的参数所对应的最大特征量的情况下，查询表62-1到62-4将所获取的参数在步骤S73中改变为估计参数。换句话说，在这种情况下，在步骤S71所获取的参数无变化地作为估计参数。
这样，即使用户指定的参数σ的值被用于模糊校正，它也被改变为不会发生过调或者出现环形的估计参数。这样，就可以防止出现过调或者出现环形。
在图17、19、20和21中图示了频率、特征量和参数σ的值，以图示在每一个图中它们的相关性，而忽略了各图之间的相关性。
图22图示了图10中模糊校正单元33的一个详细的配置实例。该模糊校正单元33包括参数获取单元101、设置单元102、图像获取单元103、差值绝对值计算单元104、判断单元105、读取单元106、存储单元107以及乘积和计算单元108。
参数获取单元101获取从参数校正单元32的选择单元63输出的校正参数，并将其提供给设置单元102和读取单元106。设置单元102根据参数获取单元101提供的校正参数将观测区域设定到图像数据的特定区域。像素获取单元103从输入图像数据获取由设置单元102设置的观测区域内的图像数据，并将其提供给差值绝对值计算单元104和乘积和计算单元108。
差值绝对值计算单元104计算由像素获取单元103提供的像素的差值绝对值。判断单元105比较在差值绝对值计算单元104中计算的值，并将其与预先设置的参考值比较。存储单元107预先存储在通过解上述等式(10)到(17)而获得的等式(19)中给出的系数Ws-1。读取单元基于判断单元105的判断结果从存储单元107存储的系数中读出固定的系数。乘积和计算单元108使用像素获取单元103提供的像素数据Ys和读取单元106提供的系数Ws-1基于等式(19)执行乘积和计算，从而生成图像的模糊得到校正的图像的图像数据。
下面结合图23和24的流程图描述模糊校正处理。该处理对应于图12中的步骤S32的处理。
在步骤S101，参数获取单元101获取从图13中的选择单元63输出的校正参数，并将其输出给设置单元102和读取单元106。在步骤S102，设置单元102执行处理以设置观测区域。具体地，设置这样一个观测区域其半径三倍于参数获取单元101所获取的校正参数σ的值(3σ)。在步骤S103，像素获取单元103获取观测区域的像素数据。换句话说，从设置单元102设置的观测区域内，从输入的图像数据获取像素数据，并将其输出给差值绝对值计算单元104和乘积和计算单元108。
在步骤S104，差值绝对值计算单元104计算所考虑的像素和与所考虑的像素垂直和水平相邻的像素之间的差的绝对值。具体地，计算上述等式(14)到等式(17)的左边。在步骤S105，判断单元105判断所考虑的像素和其上方相邻像素之间的差的绝对值是否大于参考值。换句话说，判断等式(14)左边的计算结果是否大于预先设置的特定参考值。在上述差值绝对值大于参考值的情况下，判断单元105在步骤S106将4位标记的LSB(最低有效位)设置为1。如果上述差值绝对值被判断为等于或者小于参考值，则判断单元105在步骤S107将LSB标记设置为0。
换句话说，等式(14)左边的值大于参考值意味着在所考虑的像素的上面的方向上存在边缘。因此，在这种情况下，将等式(14)中的加权系数Ws的值设置为0或者充分小的值来计算预测系数。然后，将4位标记的LSB的值设置为1，以选择这样生成的预测系数。
相反，在所述差值绝对值等于或者小于参考值的情况下，因为在所考虑的像素和紧邻所考虑的像素在其上方的像素之间不存在边缘，将等式(14)中的加权系数Wa设置为较高的值来计算预测系数，然后计算其预测系数。然后，在这种情况下，通过将4位标记的LSB的值设置为0，将标记的LSB设置为0，以便在所考虑像素及其上方紧邻像素之间不存在的情况下选择所述预测系数。
在步骤S108，所述判断单元105判断所考虑的像素和其下方紧邻像素之间的差的绝对值是否大于参考值。具体地，判断等式(16)左边的值是否大于参考值。在该值较大的情况下，判断单元105在步骤S109将4位标记的第二位设置为1。如果上述差值绝对值等于或者小于参考值，则该标记的第二位在步骤S110被设置为0。换句话说，等式(16)左边的值大于参考值意味着在所考虑的像素和其下方紧邻的像素之间存在边缘。因此，在这种情况下，将等式(16)中的加权系数Wa的值设置为0或者充分小的值。然后，将标记的第二位的值设置为1，以能够选择在所考虑的像素和其下方紧邻的像素之间存在边缘的情况下计算的预测系数。相反，在等式(16)左边的值等于或小于参考值的情况下，在所考虑的像素和其下方紧邻的像素之间不存在边缘。因此，在这种情况下，将等式(16)中的加权系数Wa的值设置为较大的值，因此将标记的第二位的值设置为0，以能够选择在所考虑的像素和其下方紧邻的像素之间不存在边缘的前提下计算的预测系数。
此后，类似地，在步骤S111，所述判断单元105判断所考虑的像素和其左边紧邻像素之间的差的绝对值是否大于参考值。换句话说，判断等式(17)左边的值是否大于参考值。在该值较大的情况下，判断单元105在步骤S112将所述标记的第三位设置为1。如果上述差值绝对值等于或者小于参考值，则在步骤S113设置0。这样，就设置了标记，以能够选择对在所考虑的像素和其左边紧邻的像素之间存在和不存在边缘的每一种情况计算的预测系数。
在步骤S114，所述判断单元105判断所考虑的像素和其右边紧邻像素之间的差的绝对值是否大于参考值。在上述差值绝对值大于参考值的情况下，判断单元105在步骤S115将所述标记的MSB(最高有效位)设置为1。如果上述差值绝对值等于或者小于参考值，则在步骤S116设置0。这样，在等式(15)左边所示的值大于参考值的情况下(在存在边缘的情况下)，可以选择通过将等式(15)的加权系数Wa的值设置为0或者充分小的值而计算的预测系数；相反，在等式(15)左边所示的值等于或小于参考值的情况下(在所考虑像素及其右边紧邻的像素之间不存在边缘的情况下)，将标记设置为能够选择在此前提下计算的预测系数。
在步骤S117，读取单元106读出对应于所述标记的系数和校正参数。换句话说，在本实施例的情况下，存储单元107存储对应于校正参数σ的总共16种预测系数，将下述各种情况组合起来在所考虑像素及其上方紧邻像素之间存在或者不存在边缘的情况，在所考虑像素及其下方紧邻像素之间存在或者不存在边缘的情况，在所考虑像素及其左边紧邻像素之间存在或者不存在边缘的情况，在所考虑像素及其右边紧邻像素之间存在或者不存在边缘的情况。读取单元106根据在步骤S101从参数获取单元101获取的校正参数σ和由判断单元105确定的标记，从16中预测系数中读出对应于所述标记和校正参数的预测系数。
所述乘积和计算单元108在步骤S118计算所述像素值和所述系数的乘积的和。具体地，所述乘积和计算单元108根据等式(19)计算由读取单元106提供的预测系数和由像素获取单元103提供的像素值的乘积和，并生成图像数据。该预测系数是如上所述校正模糊的系数，因此，通过该计算，生成了其中的图像模糊被校正了的图像数据。
图25到27图示了校正了其中的模糊的图像的例子。图25图示了在校正之前的图像的例子。在此图像中，焦点对在背景的草地上，因此背景是清楚的图像，但是前景中的昆虫是对焦不准的图像。
图26图示了在不校正用户指定的参数σ时，校正了其中的模糊的图像的一个例子。在此例中，校正了前景中的图像的模糊，但是导致背景图像的过调或者说出现环形效果。
图27图示了根据本发明校正了模糊的图像的一个例子。如该图所示，根据本发明，即使用户将参数σ的值设置得太高，也能抑制图像的劣化比如背景的过调或者环形化效果，因为所述参数值如上所述被修正到小得多的值。那么，当然，与图25所示的情况相比，前景中的模糊也得到充分的校正。
图13中的查询表62-1到62-4例如是由图28所示的查询表建立装置201建立的。该查询表建立装置201包括获取单元211、计算单元212、设置单元213、特征量提取单元214、频率检测单元215、最大值搜索单元216、建表单元217以及存储单元218。
获取单元211获取用于学习的图像数据，并将其输出到计算单元212。设置单元213根据图1所示的图像处理设备1的制造商的操作人员的操作正常地设置参数σ。计算单元212根据设置单元213设置的参数σ，从获取单元211所提供的图像数据生成模糊图像的图像数据。具体地，根据上述等式(1)生成模糊图像数据。特征量提取单元214提取与图13中的特征量提取单元71-1到71-4相同的特征量。频率检测单元215检测由特征量提取单元214提取的特征量的频率。最大值搜索单元216从具有大于预先设置的阈值的频率的特征量中搜索最大值。
建表单元217基于设置单元213设置的参数σ的值和最大值搜索单元216搜索出来的最大值来设置估计参数。存储单元218将建表单元217建立的表存入预先提供的存储器等中。
下面结合图29中的流程图描述查询表建立处理。
在步骤S151，获取单元211获取用于学习的图像数据。作为用于学习的图像数据，准备没有模糊的大量图像的图像数据，并获取这些图像数据。在步骤S152，设置单元213设置参数σ。换句话说，设置单元213将基于操作者的操作的参数σ的值输出到计算单元212。在步骤S153，计算单元212生成模糊图像的图像数据。具体地，在步骤S152的设置处理将设置单元213设置的参数σ的值应用于等式(1)和等式(2)，从没有模糊的图像的图像数据X(x+i，y+i)生成模糊图像的图像数据Y(x，y)。
在步骤S154，特征量提取单元214提取特征量。换句话说，提取与图13中的特征量提取单元71-1到71-4从计算单元212计算的模糊图像的图像数据提取的情况一样的特征量。
在步骤S155，频率检测单元215检测频率。也就是说，检测获得同一特征量的频率。这样，就获得了每一个特征量的特征分布，比如图30所示。图30的例子图示了下面几种情况的频率分布的实例设置单元213设置的参数是σA的情况，该参数是σB的情况，以及该参数是σC的情况。
在步骤S156，最大值216对每一个参数σ搜索特征量的最大值。在图30的例子中，分别搜索出在设置的参数值为σA的情况下的特征量VA的最大值，在设置的参数是σB的情况下的特征量VB的最大值，以及在设置的参数是σC的情况下的特征量VC的最大值。
现在，可以从大于预先提供的特定参考值的频率选择特征量的最大值。这样，基于具有噪声的特征量，可以避免不正确的校正。
在步骤S157，建表单元217执行建表处理。下面结合图31的流程图描述其细节，但是查询表是基于该处理建立的。在步骤S158，存储单元218存储由建表单元217在步骤S157的处理中建立的表。换句话说，存储单元218将查询表写入预先提供的存储器中。该查询表被用作上述图13中的参数校正单元32的查询表62-1到62-4。
下面结合图31描述图29中步骤S157的建表处理。在步骤S181，建表单元217判断用作地址的特征量是否有一个区域大于在步骤S152设置的参数所对应的特征量的最大值。在该区域等于或者小于设置用作地址的特征量的参数所对应的特征量的最大值的情况下，建表单元217在步骤S182执行将设置的参数值无变化地写入该区域的写处理。
例如，在当前设置的参数的值是图16中的σ70的情况下，用作地址的特征量的值(图16中水平轴上所示的特征量)例如是V80，该值V80小于参数σ70所对应的特征量的最大值V70(V80＜V70)。因此，在这种情况下，将参数值σ70无变化地写入图16中参数σ70的帧中。
但是，在步骤S181中，在该区域大于设置用作地址的特征量的参数所对应的特征量的最大值的情况下，建表单元217在步骤S183中将预先提供的估计参数中的一个大于用作该地址的特征量并且最接近用作该地址的特征量的参数写入。例如，在图16的例子中，预先提供了三个估计参数σ70、σ50和σ30。对应于这些参数的特征量最大值分别是V70、V50和V30，如图17所示。
在用作地址的特征量的值例如是V60的情况下，该值V60大于对应于参数σ70的最大值V70。因此，在步骤S181中的处理的判断结果为“是”。大于用作地址的特征量V60并且与该值V60最接近的预先提供的参数所对应的最大值V50的最大特征量的参数是参数σ50(对应于参数σ70的最大值V70小于用作地址的V60，对应于参数σ30的最大值V30更远离对应于参数σ50的最大值V50)。因此，在这种情况下，参数σ50被写入用作地址的特征量V60的区域。
在参数σ的值是σ70的情况下，用作地址的特征量是V70，最大特征量最接近用作地址的特征量V40且大于用作地址的特征量V40的的参数是具有最大特征量值V30的参数σ30。因此，将参数σ30写入用作地址的特征量V40的区域。这样，就建立了图16所示的查询表。现在，上面已经描述了一个校正对焦模糊的例子。但是本发明也能应用于运动模糊的情况。下面的实施例描述了用于校正因运动而产生的模糊的图像信号处理。
用于校正运动模糊的处理以及执行该处理的功能模块与校正对焦不准的情况基本上是相同的。但是，在校正运动模糊的情况下，用于对焦不准校正的情况的图14所示的参数校正处理如图32所示。
在步骤S211，用户接口单元31获取运动模糊的方向和幅度。也就是说，用户观察显示在显示设备12上的图像，输入运动模糊的方向(执行运动模糊校正的方向)和运动模糊的幅度。该输入可以被安排为通过操作用户接口单元31的调节器51来进行，例如操作鼠标等。在这种情况下，如图33所示，例如，要被校正的图像叠加在图像上，一个指示方向的指针311被显示在显示设备12上。根据用户对调节器51的操走的方向和旋转量，旋转指针311，最后，获取指针311所执行的方向，作为执行运动模糊处理的方向。或者，可以获取用户从预先准备的八个方向(也就是上、下、左、右、右上、右下和左下，当然，也可以提供比这更多的方向)中选择的一个方向，作为执行运动模糊处理的方向。并且，可以提供独立于调节器51的单独的调节器来输入幅度。或者，可以从键盘输入幅度值，或者可以从鼠标输入幅度值拖动鼠标，以指定对应于鼠标被拖动的距离的幅度。
在步骤S212，用户接口单元31获取用于校正运动模糊的参数。如日本待审专利申请公开No.2001250119所公开的，通过计算与对象的运动相应的数量的像素值的和，能够生成运动模糊的模型。相应地，可以通过用一个参数P来控制作为计算对象的像素的数量，可以调整运动模糊。用户接口单元31获取用户输入的参数P的值。也就是说，用户输入的运动模糊幅度对应于该参数P。所获取的参数P与在步骤S211获取的方向一起被提供给特征量提取单元71-1到71-4和查询表62-1到62-4。
在步骤S213，特征量提取单元71-1到71-4设置观测区域。也就是说，首先，特征量提取单元71-1到71-4设置在步骤S212中的处理获得的参数P所对应的一个区域。具体地，对于与所获取的方向匹配的方向(包括偏差在一个阈值之内的方向以及完美匹配的方向)获取的参数P所对应的区域被作为观测区域。
例如，如图33所示，在校正运动对象301的运动模糊的情况下，如果方向与所获取的方向匹配的运动矢量是箭头302表示的运动矢量，则包括所考虑像素在内的像素303中的与参数P相应的数量的像素被设置为观测区域。
接下来，在步骤S214，特征量提取单元71-1到71-4提取特征量。如上所述，特征量分别提取分配给自身并且与其它特征量不同的特征量。这个处理与图14所示的步骤S53中的处理相同。
在步骤S215，最大值搜索单元72-1到72-4搜索最大值(模糊最小的特征量)。在特征量提取单元71-1提取一阶导数值作为特征量，特征量提取单元71-2提取二阶导数值作为特征量，特征量提取单元71-3提取动态范围导数值作为特征量，特征量提取单元71-4提取离差作为特征量的情况下，最大值搜索单元72-1搜索由特征量提取装置71-1提取的观测区域内的像素的一阶导数值的最大值，最大值搜索单元72-2搜索由特征量提取装置71-2提取的观测区域内的像素的二阶导数值的最大值，最大值搜索单元72-3搜索由特征量提取装置71-3提取的观测区域内的像素的动态范围的最大值，最大值搜索单元72-4搜索由特征量提取装置71-4提取的观测区域内的像素的离差的最大值，在步骤S216，查询表62-1到62-4参考统计数据估计参数估计值。也就是说，查询表62-1到62-4具有表。图34图示了这样的一个表的例子。图34所示的表与图16所示的表的区别仅在于垂直轴上的参数值是图34中的参数P，而在图16中该参数是参数σ；除此之外，图34中的表与图16中的表基本相同。查询表62-1到62-4将所获取的参数P基于该表转换为估计参数。其基本处理与图14中的步骤S55相同。也就是说，在用户指定的参数P的值所对应的特征量的最大值小于用最大值搜索单元72-1到72-4搜索的最大值的情况下，将参数P改变为对于查询表62-1到62-4搜索的最大值的最大值所对应的估计参数。
在步骤S217，选择单元63执行处理，从查询表62-1到62-4输出的估计参数中选择最小的估计参数。也就是说，比较查询表62-1到62-4输出的四个估计参数的幅度，选择最小的一个估计参数(具有最小运动模糊的参数)，并将其作为校正参数输出。这样，用户指定的参数P被转换(校正)为校正参数。
在校正运动模糊的情况下的其它处理与校正对焦不准的情况基本相同，因此省略了其说明。
另外，在上面，基于查询表将参数σ或者参数P设置为要被校正，但是，当然也可以针对每一种情况计算所述参数。
上述处理系列可以由硬件或者软件执行。在这种情况下，图像处理设备由例如示于图35的个人计算机420构成。
在图35中，CPU(中央处理器)421根据存储在ROM(只读存储器)422中的程序或者从存储单元428装载到RAM(随机存取存储器)423中的程序执行每一种处理。RAM 423适当地存储CPU 421执行各种处理所需的数据。
CPU 421、ROM 422和RAM 423通过总线424相互连接。该总线424也连接到输入输出接口425。
输入输出接口425连接到输入单元426比如键盘或者鼠标、显示器比如CRT(阴极射线管显示器)或者LCD(液晶显示器)、输出单元427比如扬声器、由硬盘等构成的存储单元428以及通信单元429比如调制解调器。通信单元429通过网络包括因特网执行通信处理。
输入输出接口425还根据需要连接到驱动器430，并酌情连接可移动介质431，比如磁盘、光盘、磁光盘或者半导体存储器。从中读出的计算机程序按照需要被装入存储单元428。
在由软件执行处理系列的情况下，包括该软件的程序从网络或者记录介质被装载到通过安装各种程序能够执行各种功能的通用个人计算机上，或者被装载到具有专用硬件的计算机上。
所述记录介质不仅包括如图35所示与设备主体分开的、可以被分发以向用户提供程序的可移动介质431比如磁盘(包括软盘)、光盘(包括CD-ROM(光盘只读存储器)和DVD(数字通用盘)、磁光盘(包括MD(小型盘))或者半导体存储器，而且包括其中记录有程序的ROM 422，或者通过被集成到设备主体中而被提供给用户的存储单元428中包括的硬盘。
这样，根据本发明，规定被记录在记录介质上的步骤不仅包括按照以时序描述的顺序执行的处理，而且包括单独地或者并行地执行、不一定按照时序执行的处理。
本发明的应用例如包括数字照相机。
本申请包含与2004年6月10日向日本专利局递交的日本专利申请No.JP2004-173086有关的主题，该申请的全部内容通过引用而被结合于本申请中。
权利要求
1.一种图像处理设备，包括参数获取装置，用于获取与要校正的图像的模糊的校正有关的参数；特征量检测装置，用于检测要被校正的所述图像的特征量；参数生成装置，用于通过根据所述特征量校正所述参数而生成校正参数；以及校正装置，用于根据所述校正参数来校正要被校正的所述图像的模糊。
2.如权利要求1所述的图像处理设备，其中，在作为要校正的所述图像的所述特征量的最大值的第一特征量小于作为对应于所获取的参数的所述最大特征量的第二特征量的情况下，所述参数生成装置将所获取的参数不加变化地设置为所述校正参数；在所述第一特征量较大的情况下，作为大于所述第一特征量的特征量的第三特征量的最大特征量所对应的所述参数被作为所述校正参数。
3.如权利要求1所述的图像处理设备，其中，所述特征量检测装置检测要校正的所述图像的活动，作为所述特征量。
4.如权利要求3所述的图像处理设备，其中，所述特征量检测装置检测一阶微分值、二阶微分值、所述图像的像素值的动态范围和要校正的所述图像的像素值的离差中的至少一个，作为所述活动。
5.如权利要求1所述的图像处理设备，其中，所述特征量检测装置检测多个特征量；其中，所述参数生成装置生成对应于所述多个特征量的所述多个校正参数；其中，所述图像处理设备还包括选择所述多个校正参数中的最小参数的校正参数选择装置；并且所述校正装置基于所选择的校正参数校正要校正的图像的模糊。
6.如权利要求1所述的图像处理设备，其中，所述特征量检测装置检测要校正的图像的一个区域的一部分内的多个像素的所述特征量的最大值，作为所述特征量。
7.如权利要求6所述的图像处理设备，其中，所述校正装置将要校正的所述图像的所述区域的所述一部分设置为基于所获取的参数的值的大小。
8.如权利要求1所述的图像处理设备，其中，所述校正装置使用相邻像素的像素值之间的差来校正要校正的所述图像的模糊。
9.如权利要求8所述的图像处理设备，其中，所述校正装置比较所述差与一个参考值，并判断边缘方向，与没有边缘的方向上的差相比，具有所述边缘的所述方向的差被使用的比例较小。
10.如权利要求1所述的图像处理设备，其中，所述参数获取装置包括用于获取与由于对焦不准导致的图像模糊的校正有关的参数的装置。
11.如权利要求1所述的图像处理设备，其中，所述参数获取装置包括用于获取与由于运动导致的图像模糊的校正有关的参数的装置。
12.一种图像处理方法，包括获取与要校正的图像的模糊的校正有关的参数；检测要被校正的所述图像的特征量；通过根据所述特征量校正所述参数而生成校正参数；以及，根据所述校正参数来校正要被校正的所述图像的模糊。
13.一种记录介质，其中存储有由计算机读取的程序，该程序包括用于获取与要校正的图像的模糊的校正有关的参数的指令；用于检测要被校正的所述图像的特征量的指令；用于通过根据所述特征量校正所述参数而生成校正参数的指令；以及，用于根据所述校正参数来校正要被校正的所述图像的模糊的指令。
14.可由计算机执行的程序，包括用于获取与要校正的图像的模糊的校正有关的参数的指令；用于检测要被校正的所述图像的特征量的指令；用于通过根据所述特征量校正所述参数而生成校正参数的指令；以及，用于根据所述校正参数来校正要被校正的所述图像的模糊的指令。
15.一种图像处理设备，包括获取装置，用于获取用于学习的图像数据；指定装置，用于指定用于生成图像中的模糊的参数；生成装置，用于生成所述图像的图像数据，在所述图像中，使用包括用于所述获取的图像数据的所述参数的函数产生了模糊；特征量检测装置，用于检测所生成的图像数据的图像的特征量；最大值检测装置，用于检测所述图像的所述特征量的最大值，在所述图像中，产生了对应于所述指定的参数的模糊；以及建立装置，用于建表，在指定了指定参数和指定特征量时，从该表读出对应于所指定的参数和指定特征量的校正参数，在指定特征量小于对应于所指定的参数的所述特征量的最大值的情况下，使所指定的参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为所述特征量的最大值的所述指定特征量的特征量所对应的所述参数作为所述校正参数。
16.如权利要求14所述的图像处理设备，还包括频率检测装置，用于检测所述特征量的频率，其中，所述最大值检测装置从大于监测到的频率的预定阈值的所述特征量中检测所述特征量的最大值。
17.如权利要求14所述的图像处理设备，其中，当所述指定特征等于或者小于作为所述指定参数的相同值的所述参数所对应的所述特征的检测到的最大值时，所述建立装置将所述指定参数指定为所述校正参数；当所述指定特征大于作为所述指定参数的相同值的所述参数所对应的所述特征的检测到的最大值时，所述建立装置将值大于所述指定参数的值的特征的最大值所对应的所述参数设置为所述校正参数；
18.一种图像处理方法，包括获取用于学习的图像数据；设定用于在图像上产生模糊的参数；生成所述图像的图像数据，在所述图像中，使用包括用于所述获取的图像数据的所述参数的函数产生了模糊；检测所生成的图像数据的图像的特征量；检测所述图像的特征量的最大值，在所述图像中，产生了对应于所设定的参数的模糊；以及，建表，在指定了指定参数和指定特征量时，从该表读出对应于所述指定参数和所述指定特征量的校正参数，在所述指定特征量小于对应于所述指定参数的所述特征量的最大值的情况下，使所述指定参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为所述特征量的最大值的所述指定特征量的特征量所对应的参数作为所述校正参数。
19.一种记录介质，其中记录有由计算机读取的程序，该程序包括用于获取用于学习的图像数据的指令；用于设定用于在图像上产生模糊的参数的指令；用于生成所述图像的图像数据的指令，在所述图像中，使用包括用于所述获取的图像数据的所述参数的函数产生了模糊；用于检测所生成的图像数据的图像的特征量的指令；用于检测所述图像的所述特征量的最大值的指令，在所述图像中，产生了对应于所设定的参数的模糊；以及，用于建表的指令，在指定了指定参数和指定特征量时，从该表读出对应于所述指定参数和所述指定特征量的校正参数，在所述指定特征量小于对应于所述指定参数的所述特征量的最大值的情况下，使所述指定参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为所述特征量的最大值的所述指定特征量的特征量所对应的所述参数作为所述校正参数。
20.可由计算机执行的程序，包括用于获取用于学习的图像数据的指令；用于设定用于在图像上产生模糊的参数的指令；用于生成所述图像的图像数据的指令，在所述图像中，使用包括用于所述获取的图像数据的所述参数的函数产生了模糊；用于检测所生成的图像数据的图像的特征量的指令；用于检测所述图像的所述特征量的最大值的指令，在所述图像中，产沙量对应于所设定的参数的模糊；以及，用于建表的指令，在指定了指定参数和指定特征量时，从该表读出对应于所述指定参数和所述指定特征量的校正参数，在所述指定特征量小于对应于所述指定参数的所述特征量的最大值的情况下，使所述指定参数成为所述校正参数，在所述指定特征量较大的情况下，值大于作为所述特征量的最大值的所述指定特征量的特征量所对应的所述参数作为所述校正参数。
全文摘要
本申请涉及图像处理设备、方法、记录介质和程序。基于用户的操作，用户接口单元设置一个参数，并输出到参数校正单元。该参数校正单元在对应于该参数值的观测区域中提取像素的特征量，并基于该特征量的最大值校正用户指定的参数，作为校正参数。模糊校正单元基于该校正参数校正输入图像数据，并生成已校正了模糊的图像的图像数据。本发明例如可以应用于数字照相机。
文档编号G06T5/00GK1707521SQ20051007801
公开日2005年12月14日 申请日期2005年6月10日 优先权日2004年6月10日
发明者白木寿一, 近藤哲二郎 申请人:索尼株式会社