专利名称：图象信号处理装置和方法、及一起使用的程序和记录介质的制作方法
技术领域：
本发明涉及图象信号处理装置和方法、以及与其一起使用的程序和记录介质，并更具体地涉及根据图象特征而执行适当的图象模糊修正的图象信号处理装置和方法、以及与其一起使用的程序和记录介质。
近年来，许多具有自动聚焦功能的静态数字照相机已得到广泛应用。自动聚焦功能检测适当的焦距，并且不需用户人工聚焦就执行自动聚焦。尽管自动聚焦功能使用户能容易捕捉图象，但图象捕捉也可在以下状态下执行，其中不是对其图象被用户捕捉的原始主体而是对主体的背景调节焦距。从而导致原始主体的图象模糊。
为了修正具有上述模糊主体图象的照片，已经提出通过在模糊部分中执行边缘增强锐化而使图象清晰的技术(例如参见未经审查的日本专利申请出版号6-68252)。
另外，对于在考虑模糊模型时修正图片的方法，提出以下技术(例如参见未经审查的日本专利申请出版8-272995)，其中，当假设被捕捉图象的象素级(观测值)是在空间上分散的没有模糊的图象的象素级(真值)时，通过写真值和观测值之间的模型表达式并求解此模型表达式，从观测值估计真值，以进行图象修正。
在未经审查的日本专利申请出版号6-68252公布的技术中，不考虑变焦引起模糊的模型。相应地，不能高保真度地再现因模糊而损失的图象细节信息。
在未经审查的日本专利申请出版8-272995的技术中，通过把与远离分散中心的部分有关的系数一律设定为0而求解模型表达式。当分散度较小时，分散范围较窄，并且真值信息集中在分散中心周围。相应地，对于把与离开分散中心的部分有关的系数一律设定为0，不发生不一致性。当模糊度较大时，即使在离开分散中心的部分中，也充分地存在真值信息。相应地，通过设定系数为0，发生不一致性。另外，由于在求解模型表达式的情况下不考虑图象特征，因此，在图片包括噪音如JPEG(联合照相专家组)噪音的情况下，噪音有可能增强，从而导致图象降质。这产生不能适当修正图象的问题。
发明内容
根据本发明的一个方面，提供一种用于输出通过处理输入图象信号而获得的图象信号的图象信号处理装置。图象信号处理装置包括指定单元，该单元用于指定代表图象模糊度的参数；检测单元，该单元用于检测图象特征并输出代表所检测特征的特征代码；存储单元，该单元用于储存与指定单元所指定参数相应的系数和与检测单元所输出特征代码相应的系数；读取单元，该单元用于从存储单元读取与指定单元所指定参数相应的系数和与检测单元所输出特征代码相应的系数；计算单元，该单元基于读取单元读取的系数而计算用于输入图象象素级的象素级；以及选择性输出单元，该单元有选择性地输出计算单元所计算的象素级和输入图象的象素级。
优选地，基于读取单元读取的系数，计算单元对输入图象的象素级执行乘积-求和计算。
特征检测单元包括第一提取单元，该单元从输入图象提取包括在第一区域内的多个象素，其中，第一区域在将被执行计算的象素周围，第一区域事先设定；第二提取单元，该单元用于提取包括在第一区域内和在垂直和水平方向上连续布置的多个第二区域内的多个象素；块差值计算单元，该单元通过计算在第一提取单元提取的象素与第二提取单元提取的象素之间对应象素的级差的绝对值之总和，而计算象素块之间多个象素级差中的每一个；以及差值比较单元，该单元用于确定所计算的每一个差值是否比预定阀值差值更大。
每个参数是模型表达式中高斯函数的一个参数，模型表达式代表模糊图象象素和不模糊图象象素之间的相互关系。
储存在存储单元中的每个系数通过计算模型表达式的逆矩阵而获得。
选择性输出单元包括象素提取单元，该单元提取计算单元执行计算的多个象素；分散计算单元，该单元用于计算代表象素提取单元所提取象素的分散度的分散；以及分散比较单元，该单元确定分散计算单元计算的分散是否比预定阈值分散更大。
选择性输出单元进一步包括象素选择单元，该单元基于分散比较单元的确定结果而选择从计算单元所计算象素级和输入图象象素级输出的象素级。
指定单元接收指定输出模式，该模式代表显示要输出图象的方式，并且，选择性输出单元进一步包括切换单元，该单元基于输出模式而执行到显示要输出图象的方式的切换。
根据本发明的另一方面，提供一种用于图象信号处理装置的图象信号处理方法，该装置输出通过处理输入图象信号而获得的图象信号。图象信号处理方法包括以下步骤指定代表图象模糊度的参数；检测图象特征并输出代表所检测特征的特征代码；从事先储存的系数中读取与指定步骤中所指定参数相应的系数和与检测步骤中所输出特征代码相应的系数；基于读取步骤中读取的系数而计算用于输入图象象素级的象素级；以及输出在计算步骤中计算的象素级。
根据本发明的另一方面，提供一种与图象信号处理装置一起使用的程序，该装置用于输出通过处理输入图象信号而获得的图象信号。该程序包括以下步骤控制指定代表图象模糊度的参数；控制图象信号处理装置检测图象特征并输出代表特征的特征代码；控制从事先储存的系数中读取与控制指定步骤中所指定参数相应的系数和与控制检测步骤中所输出特征代码相应的系数；控制图象信号处理装置基于控制读取步骤中读取的系数而计算用于输入图象象素级的象素级；以及控制图象信号处理装置有选择性地输出在控制计算步骤中计算的象素级和输入图象的象素级。
根据本发明的另一方面，提供一种其上记录程序的记录介质，该程序与图象信号处理装置一起使用，该装置用于输出通过处理输入图象信号而获得的图象信号。该程序包括以下步骤控制指定代表图象模糊度的参数；控制图象信号处理装置检测图象特征并输出代表特征的特征代码；控制从事先储存的系数中读取与控制指定步骤中所指定参数相应的系数和与控制检测步骤中所输出特征代码相应的系数；控制图象信号处理装置基于控制读取步骤中读取的系数而计算用于输入图象象素级的象素级；以及控制图象信号处理装置有选择性地输出在控制计算步骤中计算的象素级和输入图象的象素级。
根据本发明的图象信号处理装置和方法、以及与图象信号处理装置和方法一起使用的本发明程序和记录介质，检测代表图象模糊度的参数和图象特征。输出代表所检测特征的特征代码，并且储存与指定参数相应和输出的特征代码的系数。读取系数，并且基于读取的系数而对输入图象的象素级计算象素级。
根据本发明，可修正图象模糊。具体地，根据图象特征，可执行适当的图象模糊修正。
图1为示出应用本发明的图象信号处理系统的实例的框图；图2为示出图1所示图象信号处理装置的实例的框图；图3为示出图2所示用户界面的实例的框图；图4为示出控制信号实例的表格。
图5A和5B为示出在图1所示显示器件上显示模糊主体图象的状态的照片；图6为示出当参数σ较小时系数W的值的分布的三维图形。
图7为示出显示图6情形所表示的模糊主体图象的状态的照片；图8为示出当参数σ较大时系数W的值的分布的三维图形。
图9为示出在图1所示显示器件上显示图8情形所表示的模糊主体图象的状态的照片；图10A、10B和10C为示出观测值和真值之间相互关系的一维图形；图11为示出观测值和真值之间相互关系的一维图形；图12为示出观测值和真值之间相互关系的二维图形；图13为示出观测值和真值之间相互关系的二维图形；图14为示出代码p2的值的实例的表格；图15示出相对于感兴趣象素的象素具有平坦级的方向以及相对于感兴趣象素的象素具有表示边缘的级的方向；图16为示出模糊修正过程的流程图；图17为输入图象的示意图；图18为说明图象修正过程的流程图；图19示出图2所示系数ROM的地址的配置；图20为说明图象特征检测过程的流程图；图21为示出图2所示图象特征检测单元的实例的框图；图22A、22B、22C、22D、22E为在图20所示图象特征检测过程中检测的块实例的示意图；图23为说明后修正过程的流程图；图24为示出图2所示后处理单元的实例的框图；图25为在图23所示后修正过程中提取的块的实例的示意图；图26为说明输出图象的实例的示意图；图27为示出输出模式的实例的表格；以及图28为示出个人计算机的实例的框图；具体实施方式
以下结合附图描述本发明的实施例。
图1示出应用本发明的图象处理系统的总体配置。在此实例中，静态数字照相机等捕捉的图象作为输入图象而输入到图象信号处理装置1中。图象信号处理装置1修正输入图象，并向显示器件2等输出修正的图象。用户3在观看显示器件2上输出图象的同时操作图象信号处理装置1。
图2为示出图象信号处理装置1的实例的框图。图象信号处理装置1的此实例由用于接收用户指令的用户界面21和基于用户界面21的输出而修正输入图象的图象修正器22构成。
图象修正器22包括基于用户界面21的输出而产生控制信号并向其它单元提供控制信号的控制信号产生单元41；用于检测输入图象的特征的图象特征检测单元42；基于一个控制信号而执行地址计算的地址计算单元43；基于地址计算单元43计算的地址而事先储存预定系数的系数只读存储器(ROM)44；以及用于提取与输入图象中预定区域相应的多个象素的区域提取单元45。
图象修正器22还包括乘积-求和计算单元46，该单元基于从系数ROM 44输出的系数而对从区域提取单元45输出的象素级执行乘积-求和计算；以及后处理单元47，该单元基于从乘积-求和计算单元46输出的计算结果以及控制信号而修正输入图象，并且输出修正的图象。
图3为示出用户界面21的实例的框图。用户界面21的此实例设置有开关61-64，用于指定信息如各个参数和阈值；用于在输入图象内指定修正区域的操纵杆66；以及用于指定输出图象状态切换的按钮67。在面板65上显示由开关61-64所指定的信息。基于指定的信息，控制信号产生单元41产生多个控制信号并将其提供给图象修正器22中的其它单元。
图4示出控制信号产生单元41产生的控制信号实例。控制信号A用于确定输入图象中将被修正的部分(模糊部分)。控制信号A基于操纵杆66进行指定而产生，并提供给区域提取单元45和后处理单元47。控制信号B用于确定代表模糊度的参数σ。控制信号B基于使用开关61进行指定而产生，并提供给地址计算单元43。控制信号C用于指定表达式中权Wa的值的切换，权Wa用于求解代表模糊的模型表达式。控制信号C基于使用开关62进行指定而产生，并提供给地址计算单元43。表达式中的权Wa在后面描述。
控制信号D用于指定阈值的切换，所述阈值用于检测图象特征。控制信号D基于使用开关63进行指定而产生，并提供给图象特征检测单元42。控制信号E用于指定阈值的切换，所述阈值用于判断输出图象的象素级是否被修正。控制信号E基于使用开关64进行指定而产生，并提供给后处理单元47。控制信号F用于指定输出图象的显示模式的切换。控制信号F基于使用开关67进行指定而产生，并提供给后处理单元47。阈值的切换和显示模式的切换在后面描述。
接着，描述图象模糊的原理。图5A和5B为示出静态数字照相机所捕捉的图象的照片，该照相机具有图象捕捉器件如电荷耦合器件(CCD)。图5A示出其实际主体图象被准确显示的照片。图5B示出其主体图象因静态数字照相机的自动聚焦功能等聚焦在背景上而模糊的照片。当图5A中照片的象素级用X代表并看作是真值时，图5B中照片的象素级用Y代表并看作是观测值，而且，为了表示构成每张照片的多个象素，照片中的水平坐标用x表示，照片中的垂直坐标用y表示，真值可用X(x，y)表示，而观测值用Y(x，y)表示。
在本发明中，以下表达式(1)用作代表模糊的模型表达式。在以下表达式(1)中，通过使用以下表达式(2)中所示的高斯函数，并且用真值X(x，y)对高斯函数进行卷积，获得观测值Y(x，y)。
Y(x,y)=Σ-r<j<r-r<i<r[W(i,j)×X(x+i,y+j)]···(1)]]>W(j,i)=12πσ2ej2+i2-2σ···(2)]]>在表达式(1)中，参数σ代表模糊度。
根据表达式(1)，通过使用系数W对多个真值X(x+i，y+j)加权而计算观测值Y(x，y)，其中，真值X(x+i，y+j)基于变量i和j而变化，这里，-r＜i＜r并且-r＜j＜r。从而，假设基于图5A所示范围80中的象素级而获得图5B中所示象素81的级。
另外，模糊度基于参数σ而改变。这在下面结合图6-9进行描述。
图6为示出当参数σ的值相对较小时表达式(1)中系数W的值的大小分布的三维图形。图6所示图形具有代表水平方向的轴i、代表垂直方向的轴j和代表系数W的值的大小的轴W。系数W的值在图形中心附近突起，并且在距中心一定距离的部分上一律较低。这些特征表示在观测值的较大范围内真值信息不分散，并且表示如图7照片所示的相对较小模糊的图象。
相反，图8为示出当参数σ的值相对较大时表达式(1)中系数W的值的大小分布的三维图形。图8中图形是与图6相似的三维图形。与图6的情形相比，图8中图形在中心附近系数W的值没有明显突起，并且以缓慢倾斜的形式表示系数W的值。这些特征表示在观测值的较大范围内真值信息分散，并且表示如图9照片所示的相对较大模糊的图象。
如上所述，模糊度随着参数σ的值的变化而改变。因而，为了准确修正图象模糊，必须适当地找到参数σ的值。然而，基于输入图象模糊度难以自动地和合适地设定参数σ的值。相应地，在本发明中，指定参数σ的值使得由用户操作开关61(图4中所示的控制信号B)。
以下结合图10-13进一步描述图象模糊的原理。
图10A示出与图象有关的真值X0-X8，为描述简便起见，假设象素在水平方向上一维排列。图10C示出与图10A所示真值X0-X8相应的观测值。图10B为示出系数W(i)大小的条状图。在此实例中，变量i代表-2＜i＜2，中心条代表系数W(0)，并且从最左侧条到最右侧条顺序地代表系数W(-2)、W(-1)、W(0)、W(1)、W(2)。
这里，基于表达式(1)，图10C所示的观测值Y2按以下计算Y2＝W(-2)X2+W(-1)X3+W(0)X4+W(1)X5+W(2)X6相似地，在计算图10C所示观测值Y0的情况下，通过执行基于图11所示方框90-1所包围的一部分真值X0-X8的计算，按以下计算观测值Y0
Y0＝W(-2)X0+W(-1)X1+W(0)X2+W(1)X3+W(2)X4在计算观测值Y1的情况下，通过执行基于图11所示方框90-2所包围的一部分真值X0-X8的计算，按以下计算观测值Y1Y1＝W(-2)X1+W(-1)X2+W(0)X3+W(1)X4+W(2)X5可相似地计算观测值Y3和Y4。
图12和13为图10A中真值与图10C中观测值之间相互关系的二维表示。换句话说，通过使用图13所示的象素级作为真值而获得图12所示的象素级。在此情况下，按以下计算与图12中象素A相应的观测值Y(x，y)Y(x，y)＝W(-2，-2)X(x-2，y-2)+W(-1，-2)X(x-1，y-2)+W(0，.2)X(x，y-2)...+W(2，2)X(x+2，y+2)换句话说，基于与图13所示方框中象素A′(与象素A相对应)附近25(5×5)个象素相应的真值，寻找与图12所示象素A相应的观测值。相似地，基于与象素B′(与象素B相对应)附近25个象素相应的真值，寻找与图12所示象素B(图12中象素A右边相邻的象素)相应的观测值。另外，基于与图13所示象素C′(与象素C相对应)附近25个象素相应的真值，寻找与图12所示象素C相应的观测值。用于计算与图12所示象素B和C相应的观测值Y(x+1，y)和Y(x+2，y)的表达式如下所示。
Y(x+1，y)＝W(-2，-2)X(x-1，y-2)+W(-1，-2)X(x，y-2)+W(0，-2)X(x-1，y-2)...+W(2，2)X(x+3，y+2)Y(x+2，y)＝W(-2，-2)X(x，y-2)+W(-1，-2)X(x+1，y-2)
+W(0，-2)X(x+2，y-2)...+W(2，2)X(x+4，y+2)通过以上述方式根据图12所示象素计算观测值，获得由以下表达式(3)-(6)表示的行列式。
Yf=Y(x,y)Y(x+1,y)Y(x+2,y)Y(x+3,y)···Y(x,y+1)Y(x+1,y+1)···Y(x+7,y+7)···(3)]]>Wf=W(-2,-2)W(-1,-2)···W(2,2)W(-2,-2)W(-1,-2)···W(2,2)············W(-2,-2)W(-1,y-2)···W(2,2)···(4)]]>Xf=X(x-2,y-2)X(x-1,y-2)···X(x,y-2)X(x-1,y-2)X(x,y-2)···X(x+1,y-2)············X(x+2,y+2)X(x+3,y+2)···X(x+9,y+9)···(5)]]>γf＝WfXf…(6)这里，通过寻找表达式(行列式)(6)中矩阵Wf的逆矩阵，可基于观测值Yf而计算真值Xf。换句话说，基于模糊图象的象素，可获得没有模糊的图象的象素，从而，可修正模糊图象。
然而，如以上结合图10-13所述地，在表达式(行列式)(3)-(6)中，与真值相应的象素数量大于与观测值相应的象素数量。因而，不能计算逆矩阵。例如，在图11所示实例中，对于与观测值相应的一个象素，需要与真值相应的五个象素。
相应地，除了表达式(3)-(6)以外，还采用以下表达式(7)-(10)。
Wa(p1)W1(p2)(X(x，y)-X(x，y-1))＝0…(7)Wa(p1)W2(p2)(X(x，y)-X(x+1，y))＝0…(8)Wa(p1)W3(p2)(X(x，y)-X(x，y+1))＝0…(9)Wa(p1)W4(p2)(X(x，y)-X(x-1，y))＝0…(10)表达式(7)-(10)用于限制相邻象素的级差。当将被计算的真值代表图象的平坦(即，与相邻象素级没有较大差值)部分时，不发生不一致性。然而，当将被计算的真值代表边缘部分(即，在与相邻象素具有较大差值的情况下)，有可能发生不一致性，导致修正图象降质。相应地，为了合适地修正模糊图象，必须对每个象素有选择性地使用四个表达式(7)-(10)，从而，把与真值相应的边缘部分排除在外。
因而，图象特征检测单元42检测输入图象中的边缘部分和平坦部分，并产生代表平坦部分方向(如垂直方向和水平方向)的代码p2。后面结合图20描述图象特征检测单元42的详细操作。在本发明中，假设检测输入图象(观测值)中边缘部分和平坦部分的结果与检测关于真值的边缘部分和平坦部分的结果相等。
在表达式(7)-(10)中，作为代码p2函数的函数W1-W4是加权函数。在本发明中，响应代码p2而控制加权函数W1-W4，由此对每个象素有选择性地使用表达式(7)-(10)。图14示出与代码p2相应的加权函数W1-W4的值。当加权函数W1-W4的值较大时，强烈表示表达式(7)-(10)代表平坦。当加权函数W1-W4的值更小时，此表示较弱，即，强烈表示表达式(7)-(10)代表象素级的边缘状态。
代码p2由四位组成。所述四位从最左侧顺序地表示象素在向上、向右、向下和向左方向是否分别具有平坦级。当象素级在每个方向都是平坦的，相应位就设定为“1”。例如，当代码p2为“0001”时，该值表示在感兴趣象素向左方向上的象素具有平坦级，在其它方向上的其它象素没有平坦级(即，象素级中有边缘)。相应地，当代码p2为“0001”时，加权函数W4的值较大，并且在四个表达式(7)-(10)中，表达式(10)具有更大的权。这使四个表达式的权能通过使用代码p2而改变。相应地，可对每个象素有选择性地使用四个表达式，从而把象素级中的边缘排除在外。
例如，如图15所示，当在从感兴趣象素Xa向上和向左方向上的象素具有平坦级而在从感兴趣象素Xa向右和向下方向上的象素具有边缘级时，通过使用代码p2来改变四个表达式(7)-(10)的权，相邻象素的级差限制为“Xa-Xb＝0”和“Xa-Xc＝0”。然而，此限制“Xa-Xd＝0”和“Xa-Xe＝0”。Xb、Xc、Xd、和Xe分别代表与感兴趣象素Xa相邻的右、下、上、左象素。
在表达式(7)-(10)中，加权函数Wa是另一加权函数，从而，加权函数Wa的值通过使用代码p1而改变。通过改变加权函数Wa的值，可控制全部修正图象的噪音和细节。当加权函数Wa的值较大时，修正图象在形式上看起来较少受噪音的影响，噪音没有意义。另外，当加权函数Wa的值较小时，修正图象在形式上看起来细节被增强，细节就有意义。
改变加权函数Wa的值的代码p1与图4的控制信号C相应，并且由用户根据输入图象的状态而调节。例如，对于其质量因压缩如JPEG而显著下降的输入图象，通过增加权重，可获得抑制噪音的自然输出图象，尽管损失细节的意义。
以上述方式，除了表达式(3)-(6)以外，采用表达式(7)-(10)。这使得能计算如以下表达式(11)所示的逆矩阵。结果，可基于观测值而计算真值。
Xs＝Ws-1Ys…(11)在本发明中，系数ROM 44(图2)事先储存与观测值Ys有关的系数Ws-1，并且，对于由区域提取单元45提取的输入图象，通过乘积-求和计算单元46而执行表达式(11)中行列式的计算(乘积-求和计算)。无论什么时候执行图象修正，都不需要执行逆矩阵计算，并且能通过只使用乘积-求和计算而修正模糊。在此情况下，参数σ的值与四个表达式随着输入图象的不同而不同。因而，事先执行基于参数σ和四个表达式的所有可能组合的逆矩阵计算，并且设定与参数σ、代码p2等相应的地址。在所述地址上，在系数ROM 44中储存不同的系数。
然而，例如，当改变加权函数W1-W4的组合并且对图13所示方框(t)内的全部25(＝5×5)个象素切换四个表达式时，所述组合的数量由15(＝图14所示加权函数W1-W4的组合数量)到25(＝方框(t)内的象素数)的幂表示。如果对每个组合执行逆矩阵计算，就产生大量的系数。相应地，由于系数ROM 44的存储容量受限制，因此，不可储存所有的系数。在此情况下，对于方框(t)内的中心象素Xt，基于其特征，可改变代码p2，以切换表达式，并且，在用于除方框(t)内象素Xt以外的其它象素的表达式中，例如，代码p2可虚假固定为“1111”。这可把系数组合的数量限制为15。
在前面中，为了描述模糊的原理(模型表达式)，高斯函数的域为-2≤(x，y)≤2。然而，实际上，设定可充分处理参数σ的值的情形的范围。另外，描述图象特征的表达式不局限于表达式(7)-(10)。而且，关于限制系数ROM 44的存储容量的情形，已经描述用对中心相位(Xt)的限制切换表达式的实例。然而，切换表达式的方法不局限于以上实例，但可根据系数ROM 44的存储容量而改变。
下面，结合图16描述图象信号处理装置1的模糊修正过程。当图象输入到图象信号处理装置1中时，执行此过程。
在步骤S1中，从用户3接收将被处理区域的指定。将被处理区域是输入图象中将修正模糊的区域。例如以下述方式执行将被处理区域的指定。当在显示器件2上显示图17所示输入图象并且所显示图象中对象(主体)111的模糊需要被修正时，用户3操作操纵杆66来指定点101和102。在此操作中，基于点101和102而设定将被处理的、包括对象111的矩形区域103。设定信息提供给控制信号产生单元41，并且产生以上结合图4所述的控制信号A。换句话说，控制信号A与将被处理区域103相对应。
在步骤S2中，用户界面21接收用户3输入的参数σ。指定参数σ，从而，如以上结合图4所述地，用户3操作开关61。指定的信息提供给控制信号产生单元41，并且产生控制信号B。
在步骤S3中，用户界面21接收用户3输入的其它参数。此时，指定用于产生图4所示控制信号C-E的信息，从而，用户3操作开关62-64。另外，所述信息的全部或部分可以是固定的，不必每次都指定。
在步骤S4中，系数ROM 44执行图象修正过程，该过程在后面结合图18进行描述。在此过程中，模糊图象被修正，并输出到显示器件2。在步骤S5中，基于用户3的指令，用户界面21确定图象修正过程的结果是否令人满意。此时，指定“满意结果”或“不满意结果”使得用户3例如操作操纵杆66。如果该过程在步骤S5中确定图象修正过程的结果不令人满意，过程就返回到步骤S2，并且重复执行后续的步骤。这再次指定参数σ(和其它参数)，并且可获得非常合适的修正图象。
在步骤S5中，如果该过程在步骤S5中确定图象修正过程的结果令人满意，过程就结束。
如上所述，基于输入图象中的模糊度，难以自动地和适当地设定参数σ的值。然而，本发明使用户3能确认图象修正过程的结果，并且，如果需要的话，能调节参数σ的值。因而，可获得非常合适的修正图象。
下面结合图18描述图16中所示图象修正过程的细节。
在步骤S21中，图象特征检测单元42执行图象特征检测过程，该过程在后面结合图20进行描述。在此过程中，图象特征检测单元42确定相对于感兴趣象素的象素具有平坦级的方向。产生以上结合图14所述的代码p2，并输出到地址计算单元43。
在步骤S22中，地址计算单元43计算系数ROM 44中的地址。在图19中示出系数ROM 44中的地址配置。在此实例中，系数ROM44中的地址包括与代码p2相应的四位(图象特征检测单元42的输出)；代表参数σ的值的四位(图4中的控制信号B)；以及与上述四个表达式中的代码p1切换加权函数Wa相应的两位(图4中的控制信号C)。相应地，有1024(210)个地址，从地址0到地址1023。基于图象特征检测单元42的输出、控制信号B和控制信号C，由地址计算单元43计算相应的地址。
在步骤S23中，地址计算单元43基于在步骤S22中计算的地址而从系数ROM 44读取系数，并且向乘积-求和计算单元46提供读取的地址。
在步骤S24中，基于在步骤S23中读取的系数，乘积-求和计算单元46对每个象素执行乘积-求和计算，并且向后处理单元47输出计算结果。这从观测值寻找真值，从而，修正模糊图象。
在步骤S25中，后处理单元47执行后处理过程，该过程在后面结合图23进行描述。此过程判断是否输出每个象素在乘积-求和计算单元46中的处理结果，或者是否以不变的形式输出所述输入图象。在步骤S26中，后处理单元47输出通过执行后处理过程和选择而获得的图象。
下面，结合图20描述图18所示步骤S21中的图象特征检测过程。
在步骤S41中，图象特征检测单元42提取每个方框。在步骤S42中，计算在步骤S41中所提取的块之间的差。计算细节在后面结合图22进行描述。在步骤S43中，图象特征检测单元42比较在步骤S42中计算的块差值与事先设定的阈值。在步骤S44中，图象特征检测单元42基于比较结果而输出代码p2，其中，代码p2代表相对于感兴趣象素的象素具有平坦级的方向。
下面结合图21和22进一步描述图象特征检测过程。
图21为示出图象特征检测单元42的实例的框图。如图21中左侧所示，设置用于从输入图象提取预定块的块提取部分141-1至141-5。块提取部分141-1至141-5提取五个块，每个块由9(＝3×3)个象素组成，所述象素位于感兴趣象素(将被修正象素)周围并且包括感兴趣象素，其中，感兴趣象素例如用图22A-22B中每一个所示的实心圆表示。
图22A所示块181是在其中心包括感兴趣象素的中心块，并且由块提取部分141-5提取。图22B所示块是通过把块181向上移动一个象素而获得的向上块，并且由块提取部分141-3提取。图22C所示块183是通过把块181向左移动一个象素而获得的向左块，并且由块提取部分141-4提取。
图22D所示块184是通过把块181向下移动一个象素而获得的向下块，并且由块提取部分141-1提取。图22E所示块185是通过把块181向右移动一个象素而获得的向右块，并且由块提取部分141-2提取。在步骤S41中，对于每个感兴趣象素提取五个块181-185。
构成由块提取部分141-1至141-5提取的块的象素信息输出到块差值计算部分142-1至142-4。块差值计算部分142-1至142-4例如以下面的方式计算块中象素的差值。
对于块181中的9个象素，在顶端行的三个象素的级从左开始用a(181)、b(181)和c(181)代表。在中间行的三个象素的级从左开始用d(181)、e(181)和f(181)代表。在底端行的三个象素的级从左开始用g(181)、h(181)和i(181)代表。相似地，对于块184中的9个象素，在顶端行的三个象素的级从左开始用a(184)、b(184)和c(184)代表。在中间行的三个象素的级从左开始用d(184)、e(184)和f(184)代表。在底端行的三个象素的级从左开始用g(184)、h(184)和i(184)代表。块差值计算部分142-1计算块差值B(1)，如下所示
B(1)＝|a(181)-a(184)|+|b(181)-b(184)|+|c(181)-c(184)|+...+|i(181)-i(184)|换句话说，块差值B(1)是在块181(中心块)与块184(向下块)之间对应象素的象素级差的绝对值之总和。相似地，块差值计算部分142-2通过寻找在块181(中心块)与块185(向右块)之间对应象素的象素级差的绝对值之总和而计算块差值B(2)。块差值计算部分142-3通过寻找在块181(中心块)与块182(向上块)之间对应象素的象素级差的绝对值之总和而计算块差值B(3)。块差值计算部分142-4通过寻找在块181(中心块)与块183(向左块)之间对应象素的象素级差的绝对值之总和而计算块差值B(4)。
如上所述，在步骤S42中，计算表示中心块181与向下块184、向右块185、向上块182和向左块183的象素级之差的块差值B(1)-B(4)。计算结果分别输出到阈值确定部分143-1至143-4，并且同时提供给最小值确定部分144。
通过比较块差值B(1)-B(4)与事先设定的阈值，阈值确定部分143-1至143-4每一个都确定哪个值更大。此阈值可根据控制信号D而切换。当每个块差值比阈值都大时，每个阈值确定部分143-1至143-4都确定在相应的方向上，象素具有平坦级，并且输出“0”。相反，当块差值小于阈值时，确定在相应的方向上象素具有平坦级，并且输出“1”。
如上所述，在步骤S43中，比较每个块差值和阈值。从阈值确定部分143-1至143-4向选择器145输出4位码。例如，当块差值B(1)、B(3)和B(4)小于阈值并且块差值B(2)大于阈值时，输出代码“1011”。
另外，所有块差值B(1)-B(4)有可能比阈值更大，即，象素没有平坦级。在此情况下，阈值确定部分143-1至143-4输出代码“0000”。然而，从图14可理解，当代码p2为“0000”时，不能确定相应的加权函数W1-W4。相应地，选择器145确定阈值确定部分143-1至143-4的代码输出是否为“0000”。如果选择器145确定阈值确定部分143-1至143-4的代码输出为“0000”，选择器145就输出最小值确定部分144的输出，作为代码p2。
最小值确定部分144确定块差值B(1)-B(4)的最小值，并且在阈值确定部分143-1至143-4输出代码的同时，向选择器145输出与该确定相应的4位代码。例如，当在块差值B(1)-B(4)中块差值B(1)是最小值时，最小值确定部分144就向选择器145输出代码“1000”。
这使得即使从阈值确定部分143-1至143-4输出代码“0000”，最小值确定部分144输出的代码“1000”也作为代码p2输出。显然，当从阈值确定部分143-1至143-4输出的代码不是“0000”时，从阈值确定部分143-1至143-4输出的代码就作为代码p2输出。在步骤S44中，代码p2按以上方式产生，并且输出给地址计算单元43。
下面，结合图23描述图18所示的后修正过程。
在步骤S61中，后处理单元47基于乘积-求和计算单元46的输出而计算象素的分散度。这计算感兴趣象素周围象素的分散度。在步骤S62中，后处理单元47确定在步骤S62中计算的分散度是否比事先设定的阈值更大。此阈值基于控制信号E而切换。
如果后处理单元47已经在步骤S62中确定计算的分散度比阈值更大，那么就在步骤S63中，后处理单元47开启与感兴趣象素相应的输入图象切换标记。相反，如果后处理单元47已经在步骤S62中确定计算的分散度不比阈值更大，那么就在步骤S64中，后处理单元47关闭与感兴趣象素相应的输入图象切换标记。
在使用乘积-求和计算单元46对与输入图象的最初不模糊部分相应的象素执行乘积-求和计算的情况下，由于所述象素周围的图象部分的活动增加，被处理的图象因此而降质。在此情况下，当象素的分散度比阈值更大时，确定象素处于降质状态，并且开启输入图象切换标记。其上输入图象切换标记为开启的象素当输出到显示器件2上时，切换到用于显示的输入图象象素(换句话说，象素返回到原始状态)。
在步骤S65中，后处理单元47确定是否已经检查所有象素。如果后处理单元47已经确定还未检查完所有象素，就返回到步骤S61，并且重复执行后续的步骤。如果后处理单元47在步骤S65中已经确定已经检查所有象素，那么就在步骤S66中，后处理单元47调整输出模式。输出模式在后面描述。
如上所述，对于每个象素确定在输出乘积-求和计算结果和以不变形式输出输入图象象素之间执行哪一个输出。以此方式，从而可防止图象因为输入图象的最初不模糊部分的修正而引起降质。
以下结合图24和25进一步描述后修正过程。图24为示出后处理单元47的框图。乘积-求和计算单元46的输出输入到块提取单元(3×3)201中。如图25所示，块提取单元(3×3)201提取感兴趣象素a5周围的9(＝3×3)个象素a1-a9，并且把提取的象素输出到分散计算部分202。分散计算部分202通过使用以下表达式而计算分散度v=Σ*=19(a*-m)2...(12)]]>这里，m代表块中9个象素的级的平均值，v是与象素级平均值之差的平方和，并且代表块中象素的分散度。
在步骤S61中，如上所述地计算分散度，并且计算结果输出到阈值确定部分203。
阈值确定部分203比较分散计算部分202的输出(分散度)与基于控制信号E而设定的阈值。如果阈值确定部分203确定分散度比阈值更大，后处理单元47就控制选择部分204开启与感兴趣象素相应的输入图象切换标记。如果阈值确定部分203确定分散度不比阈值更大，后处理单元47就控制选择部分204关闭输入图象切换标记。在步骤S62-S64中，确定分散度是否比阈值更大。基于确定结果而设定输入图象切换标记。
选择部分204的输出提供给输出模式切换部分205。输出模式切换部分205基于控制信号A而检测在输出图象中将被处理的区域，并且在基于控制信号F而切换输出图象的输出模式之后，向显示器件2输出图象。还向输出模式切换部分205提供输入图象的象素。
图26示出在图象信号处理装置1修正图17所示输入图象中的模糊之后输出的图象的实例。基于控制信号A，输出模式切换部分205检测输出图象中与用户3所指定的点101和102相对应的位置，并且检测构成矩形框103的象素。接着，输出模式切换部分205检测构成矩形框103内区域222的象素以及构成矩形框103外区域221的象素。
通过操作按钮67产生控制输出模式的控制信号F，用户3可切换输出模式。图27示出输出模式的实例类型。图27示出对构成框103内区域222的象素切换输出模式的“框内输出”；对构成框103外区域221的象素切换输出模式的“框外输出”；以及对构成框103的象素切换输出模式的“框输出”。
当“框内输出”设定为“a”作为输出模式时，对于构成框103内区域222的象素，输出最后的处理结果，即，选择部分204的输出。当“框内输出”设定为“b”时，对于构成框103内区域222的象素，以不变的形式输出输入图象的象素级。
当“框外输出”设定为“a”作为输出模式时，对于构成框103外区域221的象素，输出均匀的象素级，例如，构成区域221的象素的亮度被设定为均匀的并且输出。“框外输出”设定为“b”，对于构成框103外区域221的象素，以不变的形式输出输入图象的象素级。
当“框输出”设定为“a”作为输出模式时，对于构成框103的象素，例如，输出代表黑色的象素级。结果，在输出图象中显示框103。当“框输出”设定为“b”时，对于构成框103的象素，输出与“框内输出”或“框外输出”的输出模式中相似设定的象素级。
通常，利用“框内输出”设定为“a”，对于构成矩形框103内区域222的象素，输出最终的处理结果，即，输出修正模糊的图象。利用“框外输出”设定为“b”，对于构成框103外区域221的象素，以不变的形式输出输入图象的象素级。例如，“框内输出”切换为“b”，对于构成框103内区域222的象素，通过比较以不变形式输出所述输入图象象素级而形成的图象，可准确地识别模糊修正的量。
根据以上实施例，可以修正图象模糊。具体地，可根据图象特征而适当地修正图象模糊。
可通过硬件或软件来实现上述的连续过程。在使用软件来执行上述连续过程的情况下，构成软件的程序从网络或记录介质安装到内置于专用硬件中的计算机或多用途个人计算机(例如，如图28所示)中，在多用途个人计算机中，通过安装各种程序而可执行各种功能。
在图28中，中央处理单元(CPU)901根据储存在只读存储器(ROM)902中的程序或从存储单元908装入到随机存取存储器(RAM)903中的程序而执行各类处理。如果需要，RAM 903还储存CPU 901执行各类处理所需的数据。
CPU 901、ROM 902和RAM 903通过总线904而相互连接。总线904还连接到输入/输出界面905。
输入/输出界面905连接到由键盘、鼠标等组成的输入单元906、由阴极射线管或液晶显示器、扬声器等组成的输出单元907、包括硬盘的存储单元908、以及由调制解调器、终端适配器等组成的通信单元909。通信单元909执行通信处理。
如果需要，驱动器910连接到输入/输出界面905。在驱动器910中，例如，装入可移动介质911，作为包含本发明程序的记录介质。如果需要，从可移动介质911读取程序，并且安装到存储单元908中。
执行本说明书中上述连续处理的步骤不仅包括按所给出顺序的时间序列方式实施的步骤，而且如果所述步骤不总是以时间序列方式执行，就包括并行或独立执行的步骤。
权利要求
1.一种用于输出通过处理输入图象信号而获得的图象信号的图象信号处理装置，包括指定部件，该部件用于指定代表图象模糊度的参数；检测部件，该部件用于检测图象特征并输出代表所检测特征的特征代码；存储部件，该部件用于储存与所述指定部件所指定参数相应的系数和与所述检测部件所输出特征代码相应的系数；读取部件，该部件用于从所述存储部件读取与所述指定部件所指定参数相应的系数和与所述检测部件所输出特征代码相应的系数；计算部件，该部件基于所述读取部件读取的系数而计算用于输入图象象素级的象素级；以及选择性输出部件，该部件有选择性地输出所述计算部件计算的象素级和输入图象的象素级。
2.如权利要求1所述的图象信号处理装置，其中，基于所述读取部件读取的系数，所述计算部件对输入图象的象素级执行乘积-求和计算。
3.如权利要求1所述的图象信号处理装置，其中，所述特征检测部件包括第一提取部件，该部件从输入图象提取包括在第一区域内的多个象素，其中，第一区域在将被执行计算的象素周围，第一区域事先设定；第二提取部件，该部件用于提取包括在第一区域内和在垂直和水平方向上连续布置的多个第二区域内的多个象素；块差值计算部件，该部件通过计算在所述第一提取部件提取的象素与所述第二提取部件提取的象素之间对应象素的级差的绝对值之总和，而计算象素块之间多个象素级差中的每一个；以及差值比较部件，该部件用于确定所计算的每一个差值是否比预定阀值差值更大。
4.如权利要求1所述的图象信号处理装置，其中，每个参数是模型表达式中高斯函数的一个参数，模型表达式代表模糊图象象素和不模糊图象象素之间的相互关系。
5.如权利要求4所述的图象信号处理装置，其中，储存在所述存储部件中的每个系数通过计算模型表达式的逆矩阵而获得。
6.如权利要求1所述的图象信号处理装置，其中，所述选择性输出部件包括象素提取部件，该部件提取所述计算部件执行计算的多个象素；分散计算部件，该部件用于计算代表所述象素提取部件所提取象素的分散度的分散；以及分散比较部件，该部件确定所述分散计算部件计算的分散是否比预定阈值分散更大。
7.如权利要求6所述的图象信号处理装置，其中，所述选择性输出部件进一步包括象素选择部件，该部件基于所述分散比较部件的确定结果而选择从所述计算部件所计算象素级和输入图象象素级输出的象素级。
8.如权利要求7所述的图象信号处理装置，其中所述指定部件接收指定输出模式，该模式代表显示要输出图象的方式；以及所述选择性输出部件进一步包括切换部件，该部件基于输出模式而执行到显示要输出图象的方式的切换。
9.一种用于图象信号处理装置的图象信号处理方法，该装置输出通过处理输入图象信号而获得的图象信号，图象信号处理方法包括以下步骤指定代表图象模糊度的参数；检测图象特征并输出代表所检测特征的特征代码；从事先储存的系数中读取与指定步骤中所指定参数相应的系数和与检测步骤中所输出特征代码相应的系数；基于读取步骤中读取的系数而计算用于输入图象象素级的象素级；以及输出在计算步骤中计算的象素级。
10.一种与图象信号处理装置一起使用的程序，该装置用于输出通过处理输入图象信号而获得的图象信号，该程序包括以下步骤控制指定代表图象模糊度的参数；控制图象信号处理装置检测图象特征并输出代表特征的特征代码；控制从事先储存的系数中读取与控制指定步骤中所指定参数相应的系数和与控制检测步骤中所输出特征代码相应的系数；控制图象信号处理装置基于控制读取步骤中读取的系数而计算用于输入图象象素级的象素级；以及控制图象信号处理装置有选择性地输出在控制计算步骤中计算的象素级和输入图象的象素级。
11.一种其上记录程序的记录介质，该程序与图象信号处理装置一起使用，该装置用于输出通过处理输入图象信号而获得的图象信号，该程序包括以下步骤控制指定代表图象模糊度的参数；控制图象信号处理装置检测图象特征并输出代表特征的特征代码；控制从事先储存的系数中读取与控制指定步骤中所指定参数相应的系数和与控制检测步骤中所输出特征代码相应的系数；控制图象信号处理装置基于控制读取步骤中读取的系数而计算用于输入图象象素级的象素级；以及控制图象信号处理装置有选择性地输出在控制计算步骤中计算的象素级和输入图象的象素级。
全文摘要
本发明涉及图象信号处理装置和方法、及一起使用的程序和记录介质，其中图象信号处理装置和方法根据图象特征而对图象模糊执行适当的修正。在该装置中，用户界面指定模糊参数，并且控制信号产生单元产生与指定参数相应的控制信号。图象特征检测单元确定输入图象中象素具有平坦级的方向以及输入图象中象素具有与边缘相应级的方向。基于所述确定，地址计算单元从系数ROM读取系数，并向乘积－求和计算单元提供系数。乘积－求和计算单元通过用所述系数执行乘积－求和计算而产生消除模糊的图象。后处理单元基于输入图象和乘积－求和计算的结果而产生输出图象。
文档编号H04N5/228GK1581229SQ20041005659
公开日2005年2月16日 申请日期2004年8月11日 优先权日2003年8月11日
发明者白木寿一, 近藤哲二郎 申请人:索尼株式会社