平均维持插值运算电路、像素插值电路、平均维持插值运算方法及像素插值方法

专利名称：平均维持插值运算电路、像素插值电路、平均维持插值运算方法及像素插值方法
技术领域：
本发明涉及对数字图像中的缺失像素进行插值的插值运算电路、像素插值电路、插值运算方法以及像素插值方法。
背景技术：
在现有的像素插值电路中，使用以下方法计算缺失像素的插值数据以与缺失像素邻接的像素的值的平均值作为插值数据的方法；用最小二乘法求出与缺失像素邻接的像素的回归直线，根据该回归直线计算插值数据的方法；以及根据与缺失像素邻接的4个像素求出4次式的曲线，根据该4次式计算插值数据的方法等(例如，参照专利文献1)。
专利文献1日本特开2003-101724公报(段落0040至0066，图3至图5)发明内容在现有的插值运算电路中进行线性插值或使用高次函数进行插值，所以对缺失了一部分像素的周期性高的图像进行插值时，误差增大。
本发明就是为了解决如上所述的问题而完成，其目的在于得到可以适当地对周期性高的图像中所包含的缺失像素进行插值的插值运算电路、像素插值电路、插值运算方法以及图像插值方法。
本发明提供平均维持插值运算电路，其特征在于，求出缺失像素的插值数据，使得构成包含缺失像素的像素组的多个像素的值的平均值和构成不包含缺失像素的像素组的多个像素的值的平均值相等。
在基于本发明的插值运算电路中，求出缺失像素的插值数据，使得包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均值相等，所以可以适当地对包含缺失像素的像素列和不包含缺失像素的像素列的像素的值的平均值相等的数据、例如具有周期性的数据等进行插值。


图1是表示实施方式1的插值运算电路的结构的方框图。
图2是表示由实施方式1的插值运算电路处理的像素列的图。
图3是表示由实施方式1的插值运算电路处理的像素数据的一例的波形图。
图4是表示由实施方式1的插值运算电路处理的像素数据的一例的波形图。
图5是表示由实施方式1的插值运算电路处理的像素数据的一例的波形图。
图6是表示具有周期检测电路的像素插值电路的结构例的方框图。
图7是表示由实施方式2的插值运算电路处理的像素列的图。
图8是表示由实施方式2的插值运算电路处理的像素数据的一例的波形图。
图9是表示由实施方式2的插值运算电路处理的像素数据的一例的波形图。
图10是表示实施方式3的插值运算电路的结构的方框图。
图11是表示由实施方式3的插值运算电路处理的像素列的图。
图12是表示由实施方式3的插值运算电路处理的、被分割为多个行的像素的组的图。
图13是表示由本发明的插值运算电路处理的、位于多个行的像素列的图。
图14是表示由实施方式3的插值运算电路处理的像素数据的一例的波形图。
图15是表示具有多个缺失部加法电路的缺失部合计计算电路的结构例的方框图。
图16是表示平均维持插值运算电路的结构例的方框图。
图17是表示实施方式4的像素插值电路的结构的方框图。
图18是表示实施方式4的像素插值电路的、像素周期和插值误差之间的关系的图。
图19(a)至(e)是表示实施方式4的像素插值电路的、对于各个参数k的、像素周期和插值误差之间的关系的图。
图20(a)至(c)是表示实施方式4的像素插值电路的、对于各个参数k的、像素周期和插值误差之间的关系的图。
图21是表示实施方式4的像素插值电路的结构的方框图。
图22(a)至(d)是表示实施方式4的像素插值电路的左右平均插值电路的动作的波形图。
图23是表示实施方式4的像素插值电路的左右平均插值电路的像素周期和插值误差之间的关系的图。
图24(a)至(c)是表示实施方式4的像素插值电路的各插值运算电路的像素周期和插值误差之间的关系的图。
图25是表示实施方式4的像素插值运算电路的、参数k和插值误差之间的关系的图。
图26(a)至(c)是表示实施方式4的像素插值运算电路的、参数k和插值误差之间的关系的图。
图27(a)至(c)是表示由实施方式4的像素插值电路处理的像素列的图。
图28(a)至(c)是表示在实施方式4中、像素插值电路的多个平均维持插值运算电路分别带来良好的结果的范围的图。
图29是表示实施方式6的像素插值电路的结构的方框图。
图30(a)至(b)是表示在实施方式6中处理的像素列以及像素的组的图。
图31是表示由实施方式6的像素插值电路对于多个测试像素进行插值时的各插值运算电路的评价结果的图。
图32是表示实施方式6的像素插值电路的各插值运算电路的综合评价结果的图。
图33是表示实施方式6的像素插值电路的具体例的方框图。
图34(a)是表示由实施方式6的像素插值电路处理的像素数据的一例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图35(a)至(c)是表示由实施方式6的像素插值电路处理的像素列的图。
图36(a)至(e)是表示由实施方式6的像素插值电路处理的一系列的像素中的缺失像素以及位于其附近的测试像素的图。
图37(a)至(e)是表示由实施方式6的像素插值电路处理的一系列的像素中的缺失像素以及位于其附近的测试像素的图。
图38(a)至(e)是表示由实施方式6的像素插值电路处理的一系列的像素中的缺失像素以及位于其附近的测试像素的图。
图39是表示由实施方式6的像素插值电路对多个测试像素进行了插值时的各插值运算电路的评价结果的图。
图40是表示实施方式6的像素插值电路的各插值运算电路的综合评价结果的图。
图41(a)是表示由实施方式6的像素插值电路处理的像素数据的一例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图42是表示由实施方式6的像素插值电路对多个测试像素进行了插值时的各插值运算电路的评价结果的图。
图43是表示实施方式6的像素插值电路的各插值运算电路的综合评价结果的图。
图44(a)是表示由实施方式6的像素插值电路处理的像素数据的一例的波形图，(b)是表示缺失像素以及位于其附近的测试像素的图。
图45是表示由实施方式6的像素插值电路对多个测试像素进行了插值时的各插值运算电路的评价结果的图。
图46是表示实施方式6的像素插值电路的各插值运算电路的综合评价结果的图。
图47是表示实施方式7的插值运算电路的结构的方框图。
图48是表示由实施方式7的插值运算电路处理的像素列的图。
图49是表示实施方式7的插值运算电路的结构的方框图。
图50是表示由实施方式7的插值运算电路处理的像素数据的一例的波形图。
图51是表示实施方式8的像素插值方法中的处理步骤的流程图。
图52是表示实施方式9的像素插值方法中的处理步骤的流程图。
符号说明1缺失部加法电路，1(1)第一缺失部加法电路，1(2)第二缺失部加法电路，2非缺失部加法电路，2(1)第一非缺失部加法电路，2(2)第二非缺失部加法电路，3差分电路，4平均电路，5输出电路，6(0)左右平均插值运算电路，6(1)第一平均维持插值运算电路，6(2)第二平均维持插值运算电路，6(n-1)第n-1平均维持插值运算电路，6(n)第n平均维持插值运算电路，6(m-1)第m-1平均维持插值运算电路，7管理电路，8评分电路，9选择信号生成部，10输出范围生成电路，11限制电路，12平均维持插值运算电路，13输出限制部，15周期检测电路，17非缺失部合计计算电路，18平均电路，19缺失部合计计算电路，20控制电路，21图像数据存储器。
具体实施例方式
以下参照

本发明的实施方式。
在以下的实施方式中作为处理对象的是预先知道缺失像素的位置的一系列的像素。作为这样的一系列的像素的例子，例如是上述专利文献1所示的、通过多个芯片直线排列而成的像素元件读取图像信息时得到的，在该情况下，当隔着邻接芯片间的边界而邻接的摄像元件相互的间隔大于同一芯片内的摄像元件相互的间隔(1节距)时，例如2节距左右时，认为存在缺失像素而进行插值处理。
在预先不知道缺失像素的位置的情况下，附加检测缺失像素的位置的电路即可。
本发明的实施方式中的几个在一系列的像素具有周期性的情况下使用时发挥效果。
此外，几个实施方式作为预先知道周期的方式，通过根据该周期来设定参数而发挥最佳的效果。
在预先不知道周期性的情况下，附加检测周期的电路即可。
实施方式1图1是表示基于本发明的插值运算电路的结构的图。
基于本发明的插值运算电路具有缺失部加法电路1、非缺失部加法电路2以及差分电路3。如后面所详细说明的那样，缺失部加法电路1求出一系列的像素中、构成包含缺失像素的像素组的k个像素中、缺失像素以外的像素的值之和(SL)。非缺失部加法电路2求出构成不包含缺失像素的像素组的k个像素的值的合计。差分电路3通过从非缺失部加法电路2的输出(SA)中减去缺失部加法电路1的输出(SL)，求出缺失像素的插值数据(L)。
图2是表示输入图像DI的一部分的图，表示在基于本发明的插值运算电路中计算平均值的两个像素列的位置关系。在以下的说明中，假设预先知道输入图像DI中的缺失像素的位置。○表示实际存在的像素(非缺失像素)，×表示缺失像素。标号LC以及NA分别表示构成一系列像素的一部分的、相互连续的、一维排列的k个像素所构成的像素列。像素列LC和像素列NA不重复。像素列LC包含缺失像素，像素列NA不包含缺失像素。
使用图1以及图2说明基于本发明的插值运算电路的动作。
本实施方式的插值运算电路对缺失像素L进行插值，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA的平均值相等。将输入图像DI输入给缺失部加法电路1以及非缺失部加法电路2。k是表示在本发明的插值运算电路中计算平均值的像素个数的参数，表示构成像素列LC、像素列NA的像素的个数。被输入给缺失部加法电路1以及非缺失部加法电路2。首先，缺失部加法电路1将像素列LC中所包含的k个像素(LC[1]、LC[2]～LC[k-1]、L)中、缺失像素L以外的和作为部分和数据SL输出。部分和数据SL为SL＝LC[1]+LC[2]+…+LC[k-1]。
将部分和数据SL输入给差分电路3。
非缺失部加法电路2将像素列NC中所包含的k个像素(NA[1]～NA[k])之和作为部分和数据SA输出。部分和数据SA为SA＝NA[1]+NA[2]+…+NA[k]。
将部分和数据SA输入给差分电路3。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值数据。方程式为(SL+L)/k＝SA/k，缺失像素L为L＝SA-SL。
基于本实施方式的插值运算电路可以针对具有包含缺失像素L的像素列LC和不包含缺失像素L的像素列NA的平均值相等的特性的图像数据，对缺失像素适当地进行插值。
此外，由于基于本实施方式的插值运算电路计算缺失像素的插值数据，使得包含缺失像素的像素列和不包含缺失像素的像素列的像素的值的平均值相等，所以在以下本说明书中，将上述的基于本实施方式的插值运算电路设为平均维持插值运算电路。另外，在以下的说明中，为了简单，将‘像素列的像素的值的平均值’称为‘像素列的平均值’。同样，‘像素的值的合计’、‘像素的值之和’的意思也有时表示为‘像素之和’、‘像素的合计’。
接着，关于图像数据具有周期性的情况，示出对缺失像素进行插值的例子。
图3是表示具有周期性的图像数据的一例的图。横轴X表示像素位置，纵轴D表示浓度值。
说明具有周期性的图像数据。
图3的图像数据是针对每个采样周期Ps对按照一定周期Pd重复一定的变化的数据Dorg进行了离散化的数据。在图3中，Pd＝5Ps，所以将Pp＝Pd/Ps＝5作为图像数据的像素周期。像素周期Pp表示每1周期的采样次数。即，像素周期是以像素个数表示的像素变化的周期。此外，在图3中，假设针对每个数据周期Pd，数据的值重复100、143、126、74、57。
首先，示出对于像素周期Pp＝5的图像数据，由k＝5的平均维持插值运算电路(图1)对缺失像素进行插值的例子。
图4是表示缺失了图3的图像数据的像素L的情况下的图像数据的图，表示在k＝5的平均维持插值运算电路中，计算平均值的像素列LC以及NA之间的位置关系(图2)的对应。
由于k＝5的平均维持插值运算电路的结构是将图1的k设为5的情况，所以省略说明。
使用图1以及图4说明k＝5的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的5个像素(LC[1]～LC[4]、L)中、缺失像素L以外的和作为部分和数据SL输出。由于LC[1]＝143、LC[2]＝74、LC[3]＝57、LC[4]＝100，所以部分和数据SL成为SL＝LC[1]+LC[2]+LC[3]+LC[4]＝143+74+57+100＝374。
非缺失部加法电路2将像素列NA中所包含的5个像素(NA[1]～NA[5])之和作为部分和数据SA输出。由于NA[1]＝57、NA[2]＝100、NA[3]＝143、NA[4]＝126、NA[5]＝74，所以部分和数据SA成为SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]＝57+100+143+126+74＝500。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为(SL+L)/5＝SA/5，缺失像素L成为L＝SA-SL＝500-374
＝126。
如图3所示，缺失像素L的原始数据是126，k＝5的平均维持插值运算电路的插值数据相对于原始数据的误差＝0。k＝5的平均维持插值运算电路可以对于5像素周期的图像数据，适当地对缺失像素进行插值。
接着，示出针对像素周期Pp＝5的图像数据，由k＝3的平均维持插值运算电路对缺失像素进行插值的例子。
图5是表示缺失了图3的图像数据的像素L的情况下的图像数据的图，表示在k＝3的平均维持插值运算电路中，计算平均值的像素列LC以及NA之间的位置关系(图2)的对应。
由于k＝3的平均维持插值运算电路的结构是将图1的k设为3的情况，所以省略说明。
使用图1以及图5说明k＝3的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的3个像素(LC[1]、LC[2]、L)中、缺失像素L以外的和作为部分和数据SL输出。由于LC[1]＝143、LC[2]＝74，所以部分和数据SL成为SL＝LC[1]+LC[2]＝143+74＝217。
非缺失部加法电路2将像素列NA中所包含的3个像素(NA[1]～NA[3])之和作为部分和数据SA输出。由于NA[1]＝100、NA[2]＝143、NA[3]＝126，所以部分和数据SA成为SA＝NA[1]+NA[2]+NA[3]＝100+143+126＝369。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为(SL+L)/3＝SA/3，缺失像素L成为L＝SA-SL
＝369-217＝152。
如图3所示，缺失像素L的原始数据是126，k＝3的平均维持插值运算电路的插值数据相对于原始数据具有|152-126|＝26的误差。
由于图5的图像数据针对每个像素周期Pp＝5重复数据100、143、126、74、57，所以图像数据内的连续的任意的5像素的值的平均值由(100+143+126+74+57)/5＝100，而恒定。而且对于像素周期Pp的整数倍、即N*Pp像素的平均值也同样为N*(100+143+126+74+57)/N*5＝100，为恒定(N是正整数)。
在图4的k＝5的平均维持插值运算电路的例子中，参数k与像素周期Pp相等，因此包含缺失像素的像素列LC的平均值和不包含缺失像素的像素列NA的平均值均为100，可以通过差分电路3的方程式适当地求出缺失像素的插值数据。
在图5的k＝3的平均维持插值运算电路的例子中，参数k是像素周期Pp的整数倍，因此缺失像素的插值数据具有误差。
如上所述，在参数k与像素周期Pp或其整数倍大致相等的情况下插值数据的误差减小，所以例如图6所示，平均维持插值运算电路也可以附加接收图像数据DI而检测像素周期Pp的周期检测电路15，基于检测出的像素周期Pp来确定参数k。
另外，在上述的说明中，假设了预先知道缺失像素的位置，但在不知道缺失像素的位置的情况下，也可以附加检测缺失像素的位置的电路。作为这样的电路，例如可使得用公知的纠错电路。
这样，在平均维持插值运算电路的参数k与像素周期Pp相等的情况下，可以适当地对缺失像素进行插值。此外，平均维持插值运算电路的参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下也同样，包含缺失像素的像素列和不包含缺失像素的像素列的平均值为相等，可以通过差分电路3的方程式来适当地求出缺失像素的插值数据。
此外，如上述的实施方式这样，包含缺失像素L的像素列LC和不包含缺失像素L的像素列NA均分别由k个像素构成，由缺失部加法电路1求出包含缺失像素L的像素列LC中、缺失像素L以外的像素的值的合计，由非缺失部加法电路2求出构成不包含缺失像素L的像素列NA的像素的值的合计时，通过求出这些合计之差，可以求出缺失像素的插值数据，使得两个像素列的像素的值的平均值相互相等。即，即使不进行对于各像素列求出平均值的计算，也可以确定像素的插值数据，使得平均值相互相等。
实施方式2图7是与图2同样地表示输入图像DI的一部分的图，表示在平均维持插值运算电路中计算平均值的两个像素列之间的位置关系。标号LC以及NA分别表示构成一系列的像素的一部分的、相互连续的、一维排列的k个像素所构成的像素列。像素列LC和像素列NA重复i像素。像素列LC包含缺失像素，像素列NA不包含缺失像素。此外，标号NA’表示像素列NA中、不与像素列LC重复的区域或部分，标号LC’表示像素列LC中、不与像素列NA重复的部分，标号AD表示像素列NA与像素列LC中、互相重复的部分。
如图所示，像素列被构成为缺失像素L不包含于重复部分AD内。
由于包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的平均维持插值运算电路的结构、动作与图1以及图2的结构、动作相同，所以省略说明。
包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的平均维持插值运算电路，与实施方式1中示出的包含缺失像素的像素列和不包含缺失像素的像素列不重复的情况下的平均维持插值运算电路同样，平均维持插值运算电路的参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下，包含缺失像素的像素列LC的平均值和不包含缺失像素的像素列NA的平均值为相等，可以适当地对缺失像素进行插值。
除此以外，如以下详细叙述的那样，在从平均维持插值运算电路的参数k中减去重复部分的像素个数i后的值为像素周期Pp的整数倍((k-i)＝N*Pp)的情况下，包含缺失像素的像素列LC的平均值和不包含缺失像素的像素列NA的平均值也为相等，可以适当地对缺失像素进行插值。
如图7所示，像素列LC的部分和数据SL通过像素列LC’的部分和数据SL’以及像素列AD的部分和数据SAD，成为SL＝SL’+SAD。
此外，像素列NA的部分和数据SA通过像素列NA’的部分和数据SA’以及像素列AD的部分和数据SAD，成为SA＝SA’+SAD。
建立方程式，使得像素列LC和NA相等时，成为(SL+L)/k＝SA/k，将部分和数据SL以及SA分别代入时，成为(SL’+SAD+L)/k＝(SA’+SAD)/k。
由于包含缺失像素的像素列和不包含缺失像素的像素列重复，所以像素列NA的部分和数据SAD被抵消，方程式成为(SL’+L)/k＝SA’/k。
对两边乘以k/(k-i)时，成为(SL’+L)/(k-i)＝SA’/(k-i)，方程式表示像素列NA的不重复的部分的像素列NA’和像素列LC的不重复的部分的像素列LC’中所分别包含的(k-i)个像素列的平均值相等。
从而，包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的平均维持插值运算电路，对于具有像素列NA’和LC’的平均值为相等的特性的图像数据也可以适当地进行插值。
首先，示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路来对缺失像素进行插值的例子。
图8是表示缺失了图3的图像数据的像素L的情况下的图像数据的图，表示在包含缺失像素的像素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路中计算平均值的像素列LC以及NA之间的位置关系(图7)的对应。
k＝9的平均维持插值运算电路的结构与将图1的k设为9的情况同样，所以省略说明。
使用图1以及图8说明包含缺失像素的像素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～AD[4]、L、LC[1]～LC[4])中、缺失像素L以外的和作为部分和数据SL输出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、LC[1]＝74、LC[2]＝57、LC[3]＝100、LC[4]＝143，所以部分和数据SL成为SL＝AD[1]+AD[2]+AD[3]+AD[4]+LC[1]+LC[2]+LC[3]+LC[4]＝74+57+100+143+74+57+100+143＝748。
非缺失部加法电路2将像素列NA中所包含的9个像素(NA[1]～NA[5]、AD[1]～AD[4])之和作为部分和数据SA输出。由于NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和数据SA成为SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]＝74+57+100+143+126+74+57+100+143＝874。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为(SL+L)/9＝SA/9，缺失像素L成为L＝SA-SL＝874-748＝126。
如图3所示，缺失像素L的原始数据为126，包含缺失像素的像素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路的插值数据相对于原始数据的误差＝0。包含缺失像素的像素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路对于5像素周期的像素数据，可以适当地对缺失像素进行插值。
接着，示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像素列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算电路对缺失像素进行插值的例子。
图9是表示缺失了图3的图像数据的像素L的情况下的图像数据的图，表示在包含缺失像素的像素列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算电路中，计算平均值的像素列LC以及NA之间的位置关系(图7)的对应。
k＝9的平均维持插值运算电路的结构与将图1的k设为9的情况同样，所以省略说明。
使用图1以及图9说明k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～AD[5]、L、LC[1]～LC[3])中、缺失像素L以外的和作为部分和数据SL输出。由于AD[1]＝126、AD[2]＝74、AD[3]＝57、AD[4]＝100、AD[5]＝143、LC[1]＝74、LC[2]＝57、LC[3]＝100，所以部分和数据SL成为SL＝AD[1]+AD[2]+AD[3]+AD[4]+AD[5]+LC[1]+LC[2]+LC[3]＝126+74+57+100+143+74+57+100＝731。
非缺失部加法电路2将像素列NA中所包含的9个像素(NA[1]～NA[4]、AD[1]～AD[5])之和作为部分和数据SA输出。由于NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、AD[1]＝126、AD[2]＝74、AD[3]＝57、AD[4]＝100、AD[5]＝143，所以部分和数据SA成为SA＝NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3]+AD[4]+AD[5]＝74+57+100+143+126+74+57+100+143＝874。
差分电路3基于部分和数据SL以及SA建立方程式，使得像素列LC和NA的平均值相等，求出缺失像素L的插值数据。方程式成为
(SL+L)/9＝SA/9，缺失像素L成为L＝SA-SL＝874-731＝143。
如图3所示，缺失像素L的原始数据是126，包含缺失像素的像素列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算电路的插值数据相对于原始数据具有|143-126|＝17的误差。
包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的平均维持插值运算电路，与实施方式1中示出的包含缺失像素的像素列和不包含缺失像素的像素列不重复的情况下的平均维持插值运算电路同样，在参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下，可以适当地对缺失像素进行插值。
进而，在图8的包含缺失像素的像素列和不包含缺失像素的像素列重复4像素的k＝9的平均维持插值运算电路的例子中，像素列LC和NA不重复的部分的像素个数与像素周期Pp相等，因此像素列LC和NA不重复的部分LC’以及NA’的平均值均为100，可以通过差分电路3适当地求出缺失像素的插值数据。
在图9的包含缺失像素的像素列和不包含缺失像素的像素列重复5像素的k＝9的平均维持插值运算电路的例子中，包含缺失像素的像素列和不包含缺失像素的像素列不重复的部分的像素个数不是像素周期Pp的整数倍，因此缺失像素的插值数据具有误差。
这样，在包含缺失像素的像素列和不包含缺失像素的像素列不重复的部分的像素个数与像素周期Pp相等的情况下，可以适当地对缺失像素进行插值。此外，在包含缺失像素的像素列和不包含缺失像素的像素列不重复的部分的像素个数为像素周期Pp的整数倍(k-i＝N*Pp)的情况下，也同样，包含缺失像素的像素列和不包含缺失像素的像素列不重复的部分的平均值为相等，可以适当地对缺失像素进行插值。
如上所述，在不重复的部分的像素个数(k-i)与像素周期Pp或其整数倍大致相等的情况下，插值数据的误差减小，所以例如与图6所示的同样，平均维持插值运算电路也可以附加接收图像数据DI而检测像素周期Pp的周期检测电路15，基于检测出的像素周期Pp来确定参数k以及i。
实施方式3图10是表示进行缺失像素的插值，使得包含缺失像素的像素列的平均值和不包含缺失像素的两个像素列的平均值相等的、平均维持插值运算电路的结构。
使包含缺失像素的像素列的平均值和不包含缺失像素的两个像素列的平均值相等的情况下的平均维持插值运算电路具有缺失部加法电路1、第一非缺失部加法电路2(1)、第二非缺失部加法电路2(2)、差分电路3以及平均电路4。
图11与图2同样表示输入图像DI的一部分，表示在平均维持插值运算电路中计算平均值的三个像素列之间的位置关系。像素列LC、NA以及NB分别是一维地排列了k个像素的像素列，像素列LC和像素列NA以及像素列LC和像素列NB分别重复i像素。像素列LC包含缺失像素，像素列NA以及NB不包含缺失像素。此外，标号NA’表示在NA中不与LC重复的部分，标号NB’表示在像素列NB中不与像素列LC重复的部分，标号LCA’表示在像素列LC中不与像素列NA重复的部分，标号LCB’表示在像素列LC中不与像素列NB重复的部分。此外，标号AD表示像素列NA和像素列LC重复的部分，标号BD表示像素列NB和像素列LC重复的部分。
此外，如图12所示，也可以二维地设定包含缺失像素的像素列LC、不包含缺失像素的像素列NA以及NB。
即，也可以如图12所示，一系列的像素被分割为多个行而矩阵状地进行排列，分别构成多个行的一部分，由在各行内相互连续的像素所构成的多个像素列构成像素组。在该情况下，代替上述像素列，而在像素组相互间，使平均值变为相互相等。图2或图11所示的情况可以认为是构成像素组的像素列为1的例子。
此外，例如如图13所示，也可以设定多个不包含缺失像素的像素列。此外，不包含缺失像素的像素列也可以相对于包含缺失像素的像素列错开而设定。即，也可以使多个非缺失像素列(NA、NB、NC)由互不相同的行的像素构成。
在图13所示的例子中，示出了三个不包含缺失像素的像素列，在该情况下，在图10的结构中，设置三个非缺失部加法电路(与图10的非缺失部加法电路2(1)、2(2)相似的电路)，求出它们的输出的平均即可。
使用图10以及图11说明包含缺失像素的像素列的平均值和不包含缺失像素的两个像素列的平均值相等的情况下的平均维持插值运算电路的动作。
使包含缺失像素的像素列和不包含缺失像素的两个像素列的平均值相等的情况下的平均维持插值运算电路对缺失像素L进行插值，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA以及NB的平均值相等。将输入图像DI输入给缺失部加法电路1、第一非缺失部加法电路2(1)以及第二非缺失部加法电路2(2)。k与图1同样，是表示在平均维持插值运算电路中计算平均值的像素个数的参数，被输入给缺失部加法电路1、第一非缺失部加法电路2(1)以及第二非缺失部加法电路2(2)。首先，缺失部加法电路1将像素列LC中所包含的k个像素(AD[1]～AD[i]、LC[1]～LC[k-2i-1]、BD[1]-BD[i])中、缺失像素L以外的和作为部分和数据SL输出。部分和数据SL为SL＝AD[1]+…+AD[i]+LC[1]+…LC[k-2i-1]+BD[1]+…+BD[i]。
将部分和数据SL输入给差分电路3。
第一非缺失部加法电路2(1)将像素列NA中所包含的k个像素(NA[1]～NA[k-i]、AD[1]～AD[i])之和作为部分和数据SA输出。部分和数据SA为SA＝NA[1]+…+NA[k-i]+AD[1]+…AD[i]。
将部分和数据SA输入给平均电路4。
第二非缺失部加法电路2(2)将像素列NB中所包含的k个像素
(BD[1]～BD[i]、NB[1]～NB[k-i])之和作为部分和数据SB输出。部分和数据SB为SB＝BD[1]+…+BD[i]+NB[1]+…NB[k-i]。
将部分和数据SB输入给平均电路4。
平均电路4将不包含缺失像素的两个像素列的部分和数据SA以及SB的平均值作为平均数据AN输出。平均数据AN为AN＝(SA+SB)/2。
差分电路3基于部分和数据SL以及平均数据AN建立方程式，使得像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值数据。方程式为(SL+L)/k＝(SA/k+SB/k)/2，即，为(SL+L)/k＝AN/k，缺失像素L为L＝AN-SL。
使包含缺失像素的像素列和不包含缺失像素的两个像素列的平均值相等的情况下的平均维持插值运算电路对于具有包含缺失像素的像素列LC和不包含缺失像素的两个像素列NA以及NB的平均值相等的特性的图像数据，可以适当地进行插值。进而，与实施方式2所示的包含缺失像素的像素列和不包含缺失像素的像素列重复的情况下的平均维持插值运算电路同样，对于包含缺失像素的像素列和不包含缺失像素的像素列不重复的部分NA’和LCA’的平均值以及NB’和LCB’的平均值相等的图像数据，也可以适当地进行插值。此外，通过求出不包含缺失像素的两个像素列的平均值，可以减少噪声等所引起的插值误差，提高插值精度。
示出针对像素周期Pp＝5的图像数据，由包含缺失像素的像素列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插值运算电路对缺失像素进行插值的例子。
图14是表示缺失了图3的图像数据的像素L的情况下的图像数据的图，表示在使包含缺失像素的像素列和不包含缺失像素的两个像素列的平均值相等的情况下的k＝9的平均维持插值运算电路中计算平均值的像素列LC、NA以及NB之间的位置关系(图11)的对应。LC和NA以及LC和NB分别重复4像素。
包含缺失像素的像素列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插值运算电路的结构是将图10的k设为9的情况，所以省略说明。
使用图10以及图14说明包含缺失像素的像素列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插值运算电路的动作。
缺失部加法电路1将像素列LC中所包含的9个像素(AD[1]～AD[4]、L、BD[1]～BD[4])中、缺失像素L以外的和作为部分和数据SL输出。由于AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143、BD[1]＝74、BD[2]＝57、BD[3]＝100、BD[4]＝143，所以部分和数据SL成为SL＝AD[1]+AD[2]+AD[3]+AD[4]+BD[1]+BD[2]+BD[3]+BD[4]＝74+57+100+143+74+57+100+143＝748。
第一非缺失部加法电路2(1)将像素列NA中所包含的9个像素(NA[1]～NA[5]、AD[1]～AD[4])之和作为部分和数据SA输出。由于NA[1]＝74、NA[2]＝57、NA[3]＝100、NA[4]＝143、NA[5]＝126、AD[1]＝74、AD[2]＝57、AD[3]＝100、AD[4]＝143，所以部分和数据SA成为SA＝NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4]＝74+57+100+143+126+74+57+100+143＝874。
第二非缺失部加法电路2(2)将像素列NB中所包含的9个像素(BD[1]～BD[4]、NB[1]～NB[5])之和作为部分和数据SB输出。由于BD[1]＝74、BD[2]＝57、BD[3]＝100、BD[4]＝143、NB[1]＝126、NB[2]＝74、NB[3]＝57、NB[4]＝100、NB[5]＝143，所以部分和数据SB成为SB＝BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]＝74+57+100+143+126+74+57+100+143＝874。
平均电路4将部分和数据SA以及SB的平均值作为平均数据AN输出。平均数据AN为AN＝(SA+SB)/2＝(874+874)/2＝874。
差分电路3基于部分和数据SL以及平均数据AN建立方程式，使得像素列LC、NA以及NB的平均值相等，求出缺失像素L的插值数据。方程式成为(SL+L)/9＝(SA/9+SB/9)/2，即，(SL+L)/9＝AN/9，缺失像素L成为L＝AN-SL＝874-748＝126。
如图3所示，缺失像素L的原始数据为126，包含缺失像素的像素列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插值运算电路的插值数据相对于原始数据的误差＝0。包含缺失像素的像素列和不包含缺失像素的两个像素列分别重复4像素的k＝9的平均维持插值运算电路对于像素周期Pp＝5的像素数据，可以适当地对缺失像素进行插值。
这样，与实施方式2同样，可针对包含缺失像素的像素列和不包含缺失像素的两个像素列不重复的部分的像素个数为像素周期Pp的整数倍(k-i＝N*Pp)的图像数据，适当地对缺失像素进行插值。
进而，与实施方式1同样，包含缺失像素的像素列和不包含缺失像素的两个像素列重复的情况下的平均维持插值运算电路在参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下，也可以适当地对缺失像素进行插值。
此外，通过计算两个不包含缺失像素的部分的平均值，在不包含缺失像素的像素列NA以及NB中的任何一方含有噪声时，也由于通过平均电路4对噪声成分进行平均化，所以可以减少噪声等所引起的插值误差，提高插值精度。
另外，在图10的结构中，通过第一以及第二非缺失部加法电路2(1)以及2(2)还有平均电路4构成了非缺失部合计计算电路17，该非缺失部合计计算电路17求出构成不包含缺失像素的像素列的k个像素的值的合计。
在图1的结构中，可以认为仅由非缺失部加法电路2构成了这样的非缺失部合计计算电路17。
此外，也可以在图10的结构中，代替缺失部加法电路1，而如图15所示，设有多个缺失部加法电路1(1)、1(2)以及对它们的输出进行平均的平均电路18，由此构成缺失部合计计算电路19，该缺失部合计计算电路19求出构成包含缺失像素的像素列的k个像素中、缺失像素以外的像素的值的合计SL。
在图1或图10的结构中，可以认为仅由缺失部加法电路1构成了这样的缺失部合计计算电路19。
从而，对图1、图10的结构进行一般化绘制时如图16所示。
实施方式4图17是表示基于实施方式4的像素插值电路的结构的图。该像素插值电路具有多个平均维持插值运算电路6(1)至6(n-1)、即第一平均维持插值运算电路6(1)、第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电路6(n-1)。这些平均维持插值运算电路6(1)至6(n-1)将参数k或从参数k中减去了i的(k-i)设定为互不相同的值。例如，对第一平均维持插值运算电路6(1)输入参数k＝2，同样对第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电路6(n-1)分别输入并设定k＝3、…、kn。
输出电路5例如基于选择信号C，选择由多个平均维持插值运算电路6(1)至6(n-1)分别输出的插值数据中的一个，输出作为缺失像素的数据。
图18是表示在实施方式1所示的包含缺失像素的像素列和不包含缺失像素的像素列不重复的情况下的k＝kj的平均维持插值运算电路中，像素周期和插值误差之间的关系的曲线图。横轴Pp表示有周期性的图像数据的像素周期，纵轴E表示插值误差。
说明k＝kj的平均维持插值运算电路中的像素周期和插值误差之间的关系。
如实施方式1所示，包含缺失像素的像素列和不包含缺失像素的像素列不重复的情况下的平均维持插值运算电路在参数k为像素周期Pp的整数倍(k＝N*Pp)的情况下，可以适当地对缺失像素进行插值。
从而，如图18所示，包含缺失像素的像素列和不包含缺失像素的像素列不重复的情况下的k＝kj的平均维持插值运算电路在对像素周期Pp为Pp＝kj/Na1、kj/Na2、…、kj(Na1＞Na2＞…＞0、Na1、Na2、…是kj的约数)的图像数据进行插值时，插值误差E为0或最小。此外，待插值的图像数据的像素周期Pp越偏离Pp＝kj/Na1、kj/Na2、…、kj的像素周期Pp，则插值误差E越大。
图19是表示在包含缺失像素的像素列和不包含缺失像素的像素列不重复的情况下的k＝2、3、4、kn-1、kn的平均维持插值运算电路中，像素周期和插值误差之间的关系的曲线图。图19(a)表示k＝2的平均维持插值运算电路中的像素周期和插值误差之间的关系，图19(b)表示k＝3的平均维持插值运算电路中的像素周期和插值误差之间的关系，图19(c)表示k＝4的平均维持插值运算电路中的像素周期和插值误差之间的关系，图19(d)表示k＝kn-1的平均维持插值运算电路中的像素周期和插值误差之间的关系，图19(e)表示k＝kn的平均维持插值运算电路中的像素周期和插值误差之间的关系。
说明k＝2、3、4、kn-1、kn的平均维持插值运算电路中的像素周期和插值误差之间的关系。
k＝2的平均维持插值运算电路的参数k是素数，所以仅在Pp＝2的图像数据中，插值误差E为0或最小。关于k＝3的平均维持插值运算电路也同样，仅在Pp＝3的图像数据中，插值误差E为0或最小。关于k＝4的平均维持插值运算电路，如图18所示，在作为参数k＝4的约数的Pp＝2的图像数据和Pp＝4的图像数据中，插值误差E为0或最小，但为了简单地表现曲线图，在曲线图中仅示出Pp＝4附近的特性。关于k＝kn-1的平均维持插值运算电路也与k＝4的平均维持插值运算电路同样，在曲线图中仅示出Pp＝kn-1附近的特性。关于k＝kn的平均维持插值运算电路也同样，在曲线图中仅示出Pp＝kn附近的特性。
图20是表示在包含缺失像素的像素列和不包含缺失像素的像素列不重复的k＝2～k＝kn的平均维持插值运算电路中、像素周期和插值误差之间的关系的曲线图、以及示出各个平均维持插值运算电路产生好结果的(可以以比较小的误差进行插值)像素周期Pp的范围的图。图20(a)表示将图19(a)～图19(e)的五个曲线重叠在一个坐标轴上的曲线图。图20(b)是表示各个平均维持插值运算电路的插值误差为最小的范围的图。R2表示k＝2的平均维持插值运算电路的插值误差为最小的范围。R3～Rn表示k＝3～k＝kn的平均维持插值运算电路的插值误差分别为最小的范围。图20(c)表示k＝2～k＝kn的平均维持插值运算电路分别得到好结果的像素周期Pp的范围。
说明k＝2～k＝kn的平均维持插值运算电路分别得到好结果的像素周期。
k＝2的平均维持插值运算电路的插值误差为最小的范围是从Pp的最小值到k＝2的平均维持插值运算电路的曲线和k＝3的平均维持插值运算电路的曲线交叉的点为止的范围(相当于图20(b)的R2)。k＝3的平均维持插值运算电路的插值误差为最小的范围是从k＝3的平均维持插值运算电路的曲线与k＝2的平均维持插值运算电路的曲线交叉的点到与k＝4的平均维持插值运算电路的曲线交叉的点为止的范围(相当于图20(b)的R3)。对于k＝4、kn-1、kn的平均维持插值运算电路也同样，R4、Rn-1、Rn所示的范围为各个平均维持插值运算电路的插值误差成为最小的范围。
从而，如图20(c)所示，各个平均维持插值运算电路的插值误差为最小的范围成为各个平均维持插值运算电路得到好结果的像素周期Pp的范围。
以下说明图17所示的像素插值电路的动作。
将输入图像DI输入给第一平均维持插值运算电路6(1)～第n-1平均维持插值运算电路6(n-1)。如上所述，例如将参数k＝2输入给第一平均维持插值运算电路6(2)。同样，将参数k＝3、…、kn分别输入给第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电路6(n-1)。
第一平均维持插值运算电路6(1)基于输入图像DI以及参数k＝2，输出缺失像素的插值数据D1。第二平均维持插值运算电路6(2)、…、第n-1平均维持插值运算电路6(n-1)也同样基于输入图像DI以及参数k＝3、…、kn，分别输出缺失像素的插值数据D2～Dn-1。将插值数据D1～Dn-1输入给输出电路5。将例如后述那样生成的选择信号C输入给输出电路5。输出电路5基于选择信号C选择插值数据D1～Dn-1中的一个，输出作为缺失像素的插值数据DO。
图17所示的像素插值电路具有多个参数不同的平均维持插值运算电路，从而可以实现图20(b)的插值误差的特性，所以如图20(c)所示，可以应用于从小的周期的图像数据到大的周期的图像数据的宽范围。
实施方式5图21表示基于实施方式5的像素插值电路的结构。
该像素插值电路除了图17的结构外还具有左右平均插值运算电路6(0)。平均维持插值运算电路6(1)至6(m-1)与图17的平均维持插值运算电路6(1)至6(n-1)是同样的，设有m-1个。该m可以是与图17的结构的n相同的值，也可以采用如后述的小于n的值。换言之，在设置左右平均插值运算电路6(0)的情况下，可以减少平均维持插值运算电路的数量。
左右平均插值运算电路6(0)生成位于缺失像素的左右侧的邻接像素的值的平均值，作为插值数据。另外，这里提到的‘左右’表示在水平方向上排列一系列的像素而进行描绘时、位于缺失像素的左右侧，在将一系列的像素作为时序数据时，与此相当的是位于‘前后’。
输出电路5例如基于选择信号(C)，选择由所述多个平均维持插值运算电路6(1)至6(m-1)以及左右平均插值运算电路6(0)输出的插值数据中的一个，输出作为缺失像素的数据。
图22是用于说明在像素周期Pp＝2、3、4、kn的图像数据中，使用左右平均插值运算电路来对像素进行插值的方法的图。在图22中，示出了对周期变化的像素的极大值(各周期内的峰值)进行插值的情况。在由左右平均插值运算电路进行插值的情况下，在如图所示的极大值的插值的情况下，误差为最大。从而，如果对于极大值研究误差，则成为研究最大误差。
图22(a)是表示像素周期Pp＝2的图像数据的波形图，图22(b)是表示像素周期Pp＝3的图像数据的波形图，图22(c)是表示像素周期Pp＝4的图像数据的波形图，图22(d)是表示像素周期Pp＝kn的图像数据的波形图。在各个波形图中L表示要插值的缺失像素，LL表示与缺失像素L左邻的像素，LR表示与缺失像素L右邻的像素，LA表示由左右平均插值运算电路生成的插值数据，E2～En分别表示插值数据和原始数据之间的误差。
说明像素周期Pp＝2、3、4、kn的图像数据中的左右平均插值运算电路的插值误差。
如图22(a)～图22(d)所示，左右平均插值运算电路将与缺失像素L左邻的像素LL和与缺失像素右邻的像素LR的平均值作为缺失像素L的插值数据LA。插值数据LA为LA＝(LL+LR)/2。
此外，在各个波形图中，插值数据LA和缺失像素L的原始数据之差为插值误差E2～En。
在各个图像中对极大值进行插值的情况下，像素周期Pp越大则插值误差越小。在图23中示出左右平均插值运算电路中的像素周期和插值误差之间的关系。
图24是表示在平均维持插值运算电路中像素周期和插值误差之间的关系的曲线图，以及示出k＝2～kn的平均维持插值运算电路和左右平均插值运算电路得到好结果的像素周期Pp的范围的图。
说明左右平均插值运算电路得到好结果的像素周期Pp的范围。
图24(a)是表示图23所示的左右平均插值运算电路中的像素周期和插值误差之间的关系的曲线图。
Ep表示视觉辨认上可以允许的误差的上限值。
如图24(a)所示，左右平均插值运算电路是像素周期Pp越大则插值误差E越小，所以在Pp＝km+1～kn的图像数据中，插值误差E小于视觉辨认上可以允许的误差的上限值Ep。从而，在Rave所示的范围、即Pp＝km+1～kn的图像数据中，可以将左右平均插值运算电路用于缺失像素的插值。
图24(b)表示图20(c)所示的k＝2～k＝kn的平均维持插值运算电路得到好结果的像素周期Pp的范围。如图24(a)所示，在Pp＝km+1～kn的图像数据中，可以将左右平均插值运算电路用于缺失像素的插值，所以可以使用左右平均插值运算电路的输出来代替图17的参数k＝km+1～kn(假设m＜n)的平均维持插值运算电路的输出。从而，可以省略参数k＝km+1～kn(假设m＜n)的平均维持插值运算电路。
通过将图17的结构中的k＝km+1～kn的平均维持插值运算电路置换为左右平均插值运算电路，可以削减平均维持插值运算电路的种类。从而，可以缩小可应用于宽范围的像素周期的像素插值电路的电路规模。
此外，由左右平均插值运算电路和多个插值运算电路构成的像素插值电路具有如图25所示的插值误差的特性。图25与图20(b)所示的曲线图同样，在R2中，k＝2的平均维持插值运算电路的插值误差为最小，同样在R3～Rm中，k＝3～km的平均维持插值运算电路的插值误差分别为最小。在Rave中，左右平均插值运算电路的插值误差为最小。
图26是表示在实施方式2以及实施方式3所示的包含缺失像素的像素列和不包含缺失像素的像素列重复i像素的情况下的k＝kj的平均维持插值运算电路中，像素周期Pp和插值误差之间的关系的曲线图。
说明像素周期和插值误差之间的关系。
如实施方式2以及实施方式3所示，包含缺失像素的像素列和不包含缺失像素的像素列重复i像素的情况下的平均维持插值运算电路是在参数k为像素周期Pp的整数倍(k＝N*Pp)，或包含缺失像素的像素列和不包含缺失像素的像素列不重复的的部分的像素个数k-i为像素周期Pp的整数倍(k-i＝N*Pp)的情况下，可以适当地对缺失像素进行插值。
如图26(a)所示，包含缺失像素的像素列和不包含缺失像素的像素列重复i像素的情况下的k＝kj的平均维持插值运算电路在对像素周期Pp为Pp＝kj/Na1、…、kj(Na1＞…＞0、Na1、…是kj的约数)的图像数据进行插值的情况下，插值误差E为0或最小，待插值的图像数据的像素周期Pp越偏离Pp＝kj/Na1、kj/Na2、…、kj的像素周期Pp，则插值误差E越大。
进而，如图26(b)所示，在对像素周期Pp为Pp＝(kj-i)/Nb1、…、kj-i(Nb＞…＞0、NB1、…是kj-i的约数)的图像数据进行插值的情况下，插值误差E也为0或最小，像素周期Pp越偏离Pp＝(kj-i)/Nb1、…、kj-i的像素周期Pp，则插值误差E越大。
从而，包含缺失像素的像素列和不包含缺失像素的像素列重复i像素的情况下的平均维持插值运算电路中的像素周期Pp和插值像素之间的关系，成为将图26(a)的曲线和图26(b)的曲线结合而得到的图26(c)的曲线图。
图27是表示在实施方式3所示的由包含缺失像素的像素列和不包含缺失像素的两个像素列实现的平均维持插值运算电路中，包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之间的位置关系的一例。图27(a)表示k＝3、i＝1的情况下的包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之间的位置关系。图27(b)表示k＝5、i＝2的情况下的包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之间的位置关系。图27(c)表示k＝kn、i＝(kn-1)/2的情况下的包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之间的位置关系。
说明在图27所示的包含缺失像素的像素列和不包含缺失像素的两个像素列所实现的平均维持插值运算电路中，参数k以及i和可以适当地进行插值的图像数据的像素周期Pp之间的关系。
如图26所示，包含缺失像素的像素列和不包含缺失像素的像素列重复i像素的k＝kj的平均维持插值运算电路可以适当地对像素周期Pp为Pp＝kj/Na1、…、kj的图像数据或Pp＝(kj-i)/Nb1、…、kj-i的图像进行插值，所以图27(a)所示的包含缺失像素的像素列和不包含缺失像素的两个像素列重复1像素的k＝3的平均维持插值运算电路对于Pp＝k＝3或Pp＝k-i＝2的图像数据可以适当地进行插值。
关于图27(b)所示的包含缺失像素的像素列和不包含缺失像素的两个像素列重复2像素的k＝5的平均维持插值运算电路也同样，对于Pp＝k＝5或Pp＝k-i＝3的图像数据可以适当地进行插值。
关于图27(c)所示的包含缺失像素的像素列和不包含缺失像素的像素列重复(kn-1)/2个像素的k＝kn的平均维持插值运算电路也同样，对于Pp＝kn/Na1、…、kn的图像数据或Pp＝(kn-i)/Nb1、…、kn-i的图像数据可以适当地进行插值。
图28是表示在图27所示的包含缺失像素的像素列和不包含缺失像素的两个像素列重复的情况下的平均维持插值运算电路中，各个平均维持插值运算电路得到好结果的像素周期Pp的范围的图。
k＝3的平均维持插值运算电路将Pp＝3附近的像素周期Pp设为得到好结果的像素周期的范围。关于k＝5的平均维持插值运算电路也同样，将Pp＝5附近的像素周期Pp设为得到好结果的像素周期的范围。关于k＝(kn+1)/2、kn的平均维持插值运算电路也同样，将Pp＝(kn+1)/2、kn附近的像素周期Pp分别设为得到好结果的像素周期的范围。从而，k＝3、5、(kn+1)/2、kn的平均维持插值运算电路分别得到好结果的像素周期的范围如图28(a)这样。
进而，k＝3的平均维持插值运算电路的Pp＝k-i＝2附近的像素周期Pp也为得到好结果的像素周期的范围。关于k＝5的平均维持插值运算电路也同样，将Pp＝k-i＝3附近的像素周期Pp设为得到好结果的像素周期的范围。关于k＝7、9、kn的平均维持插值运算电路也同样，将Pp＝4、5、(kn+1)/2附近的像素周期Pp分别设为得到好结果的像素周期的范围。从而，k＝3、5、7、9、(kn+1)/2的平均维持插值运算电路分别得到好结果的像素周期的范围如图28(b)这样。
从而，包含缺失像素的像素列和不包含缺失像素的两个像素列重复的情况下的k＝3、5、(kn+1)/2、kn的平均维持插值运算电路可以应用于图28(a)和图28(b)合起来的范围、即如图28(c)所示的范围的图像数据。
这样，对多个平均维持插值运算电路加上左右平均插值运算电路，选择它们生成的插值数据中、插值误差最小的数据，由此可以在与像素周期无关的情况下始终输出插值误差小的插值数据。
实施方式6图29是表示实施方式6中的像素插值电路的结构的图。
实施方式6中的像素插值电路除了实施方式4所示的图21的结构之外，还具有生成输入给输出电路的选择信号的选择信号生成部9、控制电路20、以及图像数据存储器21。
图像数据存储器21暂时存储输入图像数据DI，按照来自控制电路20的指示，重复输出相同的图像数据。
选择信号生成部9基于缺失像素附近的像素的原始数据、以及对该缺失像素附近的像素、通过与求出缺失像素的插值数据相同的方法而求得的插值数据，生成选择来自多个插值运算电路的插值数据中的一个的选择信号C。
图示的选择信号生成部9由管理电路7以及评分电路8构成。
多个平均维持插值运算电路6(1)至6(n)分别例如图16所示，更具体地如图1所示那样构成。
控制电路20对多个平均维持插值运算电路6(1)至6(n)各自的、例如缺失部合计计算电路19(图16)输入构成包含缺失像素附近的测试用非缺失像素的像素组的k个像素中、测试用非缺失像素以外的像素，求出其值的合计SL，对多个插值运算电路各自的、非缺失部合计计算电路17输入构成不包含测试用缺失像素的像素组的k个像素，求出其值的合计，使多个插值运算电路各自的差分电路3通过从非缺失部合计计算电路17的输出中减去缺失部合计计算电路19的输出来求出测试用非缺失像素的插值数据。
控制电路20还对左右平均插值运算电路6(0)输入位于缺失像素附近的测试用非缺失像素的左右侧的像素，求出其值的平均，将其作为测试用非缺失像素的插值数据输出。
控制电路20对于多个互不相同的测试用非缺失像素进行这样的处理。
选择信号生成部9基于由多个插值运算电路分别求出的测试用非缺失像素的插值数据、以及测试用非缺失像素的原始数据，对插值运算电路进行评价，确定选择信号的内容，使得选择得到最佳评价的插值运算电路。
控制电路20对多个平均维持插值运算电路6(1)至6(n)的缺失部合计计算电路19输入构成包含缺失像素的像素组的像素，对非缺失部合计计算电路输入构成不包含缺失像素的像素组的像素，使其分别进行对于缺失像素的平均维持插值运算，对左右平均插值运算电路6(0)输入与缺失像素邻接的像素，使其进行对于缺失像素的左右平均插值运算，使输出电路9基于如上所述确定了内容的选择信号C，选择来自多个插值运算电路6(0)至6(n)的插值数据中的一个并输出。
另外，在图29中，为了便于说明，平均维持插值运算电路的数量与图17以及图21的情况不同，图示出n个。
图29的像素插值电路在每次提供了输入图像数据时，如下地进行两种处理。
首先，第一处理也被称为评价处理，使用所提供的输入图像数据中的缺失像素以外的像素进行多个插值运算电路的评价，根据哪个插值运算电路得到了最佳的评价来确定选择信号C的内容。
第二处理也称为插值执行处理，基于选择信号C的内容，生成对所提供的输入图像数据中的缺失像素进行插值的插值数据，进行插值。
由于在评价处理以及插值执行处理中重复使用相同的输入图像数据DI，因此输入图像数据DI暂时存储在图像数据存储器21中，然后根据来自控制电路20的指示重复进行读取。
评价处理中的插值运算和插值执行处理中的插值运算可以同时并行地进行，或也可以在评价处理中的插值运算结束后进行插值执行处理中的插值运算。以下，最先，作为评价处理中的插值运算和插值执行处理中的插值运算同时并行地进行的情况说明概略，然后，对于评价处理中的插值运算结束后进行插值执行处理中的插值运算的情况详细地进行说明。
输入图像DI输入给左右平均插值运算电路6(0)以及n个平均维持插值运算电路(第一平均维持插值运算电路6(1)、第二平均维持插值运算电路6(2)、…、第n平均维持插值运算电路6(n))以及评分电路8。平均维持插值运算电路的参数k＝k1～kn分别输入到第一平均维持插值运算电路～第n平均维持插值运算电路中。左右平均插值运算电路6(0)基于输入图像数据DI，输出关于多个测试用非缺失像素(测试像素)的插值数据(测试插值数据)TD0[T1]～[Tm]和缺失像素的插值数据D0。从左右平均插值运算电路6(0)中输出的测试插值数据TD0[T1]～[Tm]输入到评分电路8中，插值数据D1D0被输入给输出电路5。
第一平均维持插值运算电路6(1)基于输入图像DI以及参数k＝k1，输出关于多个测试像素的插值数据TD1[T1]～[Tm]和缺失像素的插值数据D1。从第一平均维持插值运算电路6(1)中输出的测试插值数据TD1[T1]～[Tm]被输入给评分电路8，插值数据D1被输入给输出电路5。
关于第二平均维持插值运算电路6(2)～第n平均维持插值运算电路6(n)也同样，基于输入图像DI以及参数k＝k2～k＝kn，分别输出关于多个测试像素的插值数据TD2[T1]～[Tm]～TDn[T1]～[Tm]和缺失像素的插值数据D2～Dn。从第二平均维持插值运算电路6(2)～第n平均维持插值运算电路6(n)中输出的测试插值数据TD2[T1]～[Tm]～TDn[T1]～[Tm]被输入给评分电路8，插值数据D2～Dn被输入给输出电路5。
评分电路8基于输入图像DI对从左右平均插值运算电路6(0)中输出的测试插值数据TD0进行评分，将其结果作为评分数据M0输出。从评分电路8中输出的评分数据M0输入给管理电路7。
此外，评分电路8对于从第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)中输出的测试插值数据TD1[T1]～[Tm]～TDn[T1]～[Tm]也同样，基于输入图像DI进行评分，将各个结果作为评分数据M1～Mn输出。从评分电路8中输出的评分数据M1～Mn输入给管理电路7。
管理电路7例如后述这样评价从评分电路8中输出的评分数据M0～Mn，基于其结果输出选择信号C。从管理电路7中输出的选择信号C输入给输出电路5。
输出电路5基于从管理电路7中输出的选择信号C，选择左右平均插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)输出的插值数据D0～Dn中的一个，作为输出数据DO输出。
以下更详细地说明评价处理中的插值运算结束后进行插值执行处理中的插值运算的情况。
首先对于评价处理的动作进行说明。此时，图29的输出电路5不工作。即，不输出插值数据DO。
图30(a)是表示输入图像DI的图，表示缺失像素和测试用非缺失像素(测试像素)之间的位置关系。在图30中，○表示实际存在的像素，×表示缺失的像素。
相对于缺失像素L，将T1～Tm所示的、位于缺失像素L附近的实际存在的像素(非缺失像素)确定为测试像素(假设m＝2k)。这里，测试像素是指在缺失像素附近虚拟地视为缺失像素而生成插值数据的像素。图30(a)是以缺失像素L为中心一维地在左右两侧各设定了k个测试像素的例子。
测试像素可以相对于缺失像素左右不均等地进行设定，也可以仅在左右一方进行设定。此外，也可以如图30(b)这样二维地进行设定。
使用图29以及图30(a)详细地说明测试像素T1～Tm中的左右平均插值运算电路6(0)、第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)以及评分电路8的动作。
首先，在测试像素T1的位置处，左右平均插值运算电路6(0)输出将测试像素T1虚拟地视为缺失的情况下的测试插值数据TD0[T1]。即，求出位于测试像素T1的左右侧的像素的平均，将其作为测试像素T1的插值数据输出。
评分电路8求出测试像素T1的位置处的输入图像DI的数据DI[T1]和所述测试插值数据TD0[T1]的差分的绝对值，作为评分数据M0[T1]输出。评分数据M0[T1]成为M0[T1]＝|TD0[T1]-DI[T1]|。
在评分数据M0[T1]小的情况下，表示测试插值数据接近输入图像，即，在测试像素T1中，左右平均插值运算电路6(0)的运算方法适当。反之，在评分数据M0[T1]大的情况下，表示在测试像素T1中，左右平均插值运算电路6(0)的运算方法不适当。换言之，评分数据M0[T1]表示测试像素T1中的左右平均插值运算电路6(0)的适当性。
接着，左右平均插值运算电路6(0)关于测试像素T2也同样，输出将测试像素T2虚拟地视为缺失的情况下的测试插值数据TD0[T2]。评分电路8求出测试像素T2的位置处的输入图像DI[T2]和所述测试插值数据TD0[T2]的差分的绝对值，作为评分数据M0[T2]输出。评分数据M0[T2]成为M0[T2]＝|TD0[T2]-DI[T2]|。
评分数据M0[T2]表示测试像素T2中的左右平均插值运算电路6(0)的适当性。
左右平均插值运算电路6(0)关于剩余的测试像素T3～Tm也同样地输出测试插值数据TD0[T3]～TD0[Tm]。评分电路8求出所述测试插值数据TD0[T3]～TD0[Tm]和与各个测试插值数据对应的输入图像DI的数据DI[T3]～DI[Tm]的差分的绝对值，作为评分数据M0[T3]～M0[Tm]输出。评分数据M0[T3]～M0[Tm]为M0[T3]＝|TD0[T3]-DI[T3]|～
M0[Tm]＝|TD0[Tm]-DI[Tm]|。
评分数据M0[T3]～M0[Tm]表示测试像素T3～Tm中的左右平均插值运算电路6(0)的适当性。
这样，得到测试像素T1～Tm中的与左右平均插值运算电路6(0)所输出的测试插值数据对应的评分数据。
对于第一平均维持插值运算电路6(1)也同样，在测试像素T1的位置处输出将测试像素T1虚拟地视为缺失的情况下的测试插值数据TD1[T1]。评分电路8求出测试像素T1的位置处的输入图像DI的数据DI[T1]和所述测试插值数据TD1[T1]之间的差分的绝对值，作为评分数据M1[T1]输出。评分数据M1[T1]成为M1[T1]＝|TD1[T1]-DI[T1]|。
评分数据M1[T1]表示测试像素T1中的第一平均维持插值运算电路6(1)的适当性。
第一平均维持插值运算电路6(1)关于剩余的测试像素T2～Tm也同样地输出测试插值数据TD1[T2]～TD1[Tm]。评分电路8求出所述测试插值数据TD1[T2]～TD1[Tm]和与各个测试插值数据对应的输入图像DI的数据DI[T2]～DI[Tm]之间的差分的绝对值，作为评分数据M1[T2]～M1[Tm]输出。评分数据M1[T2]～M1[Tm]为M1[T2]＝|TD1[T2]-DI[T2]|～M1[Tm]＝|TD1[Tm]-DI[Tm]|。
评分数据M1[T2]～M1[Tm]表示测试像素T2～Tm中的第一平均维持插值运算电路6(1)的适当性。
关于第二平均维持插值运算电路6(2)～第n插值运算电路6(n)也同样，输出测试像素T1～Tm中的测试插值数据TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]，评分电路8基于所述测试插值数据TD2[T1]…TD2[Tm]～TDn[T1]…TDn[Tm]，分别输出评分数据M2[T1]…M2[Tm]～Mn[T1]…Mn[Tm]。
这样，在所有的测试像素T1～Tm中，求出了平均维持插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)中的各个插值运算电路的适当性。
图31是将测试像素T1～Tm中的各个插值运算电路的评分数据集中的表。
通过使用测试像素的测试插值数据和测试像素的位置处的输入图像数据之间的差分的绝对值，可以对每个测试像素求出插值方法的适当性。
说明管理电路7的动作。
为了评价缺失像素附近的左右平均插值运算电路6(0)的适当性，管理电路7将评分数据M0[T1]～M0[Tm]相加来生成左右平均插值运算电路6(1)的评价数据S0。评价数据S0为S0＝M0[T1]+M0[T2]+…+M0[Tm]。
在评价数据S0小的情况下，表示缺失像素附近的左右平均插值运算电路6(0)的运算方法适当。反之，在评价数据S0大的情况下，表示缺失像素附近的左右平均插值运算电路6(0)的运算方法不适当。
为了对第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)也同样评价缺失像素附近的适当性，管理电路7将评分数据M1[T1]…M1[Tm]～Mn[T1]…Mn[Tm]分别相加来分别生成第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)的评价数据S1～Sn。评价数据S1～Sn为S1＝M1[T1]+M1[T2]+…+M1[Tm]～Sn＝Mn[T1]+Mn[T2]+…+Mn[Tm]。
图32是将评价数据S0～Sn集中的表。
通过将每个测试像素的评分数据相加，可以求出缺失像素附近的插值方法的适当性。
评价数据越小的插值运算电路对于缺失像素附近的像素越能适当地插值，所以可以类推为在缺失像素中也可以适当地进行插值。管理电路7确定选择信号C的内容，以便选择具有评价数据S0～Sn中最小的评价数据的插值运算电路所输出的插值数据。这样确定内容后的选择信号C在接下来的插值执行处理中被输出电路5所使用。
接着说明插值执行处理的动作。在插值执行处理中，评分电路8不工作。而且，管理电路7不进行继续输出由评价处理确定了内容的选择信号C以外的动作。插值执行处理中的插值运算电路6(0)至6(n)的动作与参照图21说明的动作同样。即，控制电路20对平均维持插值运算电路6(1)至6(n)各自的、缺失部合计计算电路输入构成包含缺失像素的像素组的像素，对非缺失部合计计算电路输入构成不包含缺失像素的像素组的像素，分别使其进行插值运算，分别输出插值数据D1～Dn。控制电路20还对左右平均插值运算电路6(0)输入与缺失像素邻接的像素，使其进行对于缺失像素的左右平均插值运算，输出插值数据D0。使输出电路5基于选择信号C选择来自多个插值运算电路(6(0)至6(n))的插值数据中的一个而输出。从而，输出电路5基于从管理电路7输出的选择信号C，选择从左右平均插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)中输出的插值数据D0～Dn中的一个，作为输出数据DO输出。
这样，对于一个缺失像素的插值结束后，开始对于下一个缺失像素的插值。
图29所示的像素插值电路在缺失像素附近的像素中，进行左右平均插值运算电路6(0)以及第一平均维持插值运算电路6(1)～第n平均维持插值运算电路6(n)所输出的测试插值数据的评分，评价其结果，对缺失像素处的适当的插值运算进行类推，因此可以通过适合于缺失像素附近的图像的插值运算来对缺失像素进行插值。
接着，使用具体例子进行说明。
图33是表示作为图29中的多个平均维持插值运算电路，具有参数k＝5的第一平均维持插值运算电路和参数k＝7的第二平均插值运算电路的结构的图。
说明图33的具体例的像素插值电路的结构。
图33的具体例的像素插值电路具有输出电路5、左右平均插值运算电路6(0)、第一平均维持插值运算电路6(1)以及第2平均维持插值运算电路6(2)、管理电路7、评分电路8。另外，在本具体例中也设有与图29所示的控制电路20以及图像数据存储器21同样的部分，但省略了这些图示。
输入图像DI输入给左右平均插值运算电路6(0)、第一平均维持插值运算电路6(1)、第2平均维持插值运算电路6(2)以及评分电路8。左右平均插值运算电路6(0)基于输入图像DI输出测试插值数据TD0以及插值数据D0。从左右平均插值运算电路6(0)输出的测试插值数据TD0输入给评分电路8，插值数据D0输入给输出电路5。
参数k＝5输入给第一平均插值运算电路6(1)。第一平均维持插值运算电路6(1)基于输入图像DI以及参数k＝5，输出测试插值数据TD1以及插值数据D1。从第一平均维持插值运算电路6(1)输出的测试插值数据TD1输入给评分电路8，插值数据D1输入给输出电路5。
参数k＝7输入给第二平均插值运算电路6(1)。第二平均维持插值运算电路6(2)基于输入图像DI以及参数k＝7，输出测试插值数据TD2以及插值数据D2。从第二平均维持插值运算电路6(2)输出的测试插值数据TD2输入给评分电路8，插值数据D2输入给输出电路5。
评分电路8基于输入图像DI，对从左右平均插值运算电路6(0)输出的测试插值数据TD0进行评分，将其结果作为评分数据M0输出。
评分电路8基于输入图像DI，对从第一平均维持插值运算电路6(1)输出的测试插值数据TD1进行评分，将其结果作为评分数据M1输出。
评分电路8基于输入图像DI，对从第二平均维持插值运算电路6(2)输出的测试插值数据TD2进行评分，将其结果作为评分数据M2输出。从评分电路8输出的评分数据M0～M2输入给管理电路7。
管理电路7基于从评分电路8输出的评分数据M0～M2，输出选择信号C。从管理电路7输出的选择信号C输入给输出电路5。
输出电路5基于从管理电路7输出的选择信号C，选择从左右平均插值运算电路6(0)、第一平均维持插值运算电路6(1)以及第二平均维持插值运算电路6(2)输出的插值数据D0～D2中的一个，作为输出数据DO输出。
图34是表示具有周期性的图像数据的一例的图。图34(a)是与图3同样地表示像素周期5的图像数据中的像素位置和浓度值之间的关系的波形图，重复浓度值a＝74、b＝57、c＝100、d＝143、e＝126。图34(b)表示缺失像素和测试像素之间的位置关系。此外，以缺失像素L为中心、左右各两个地进行一维设定，作为与缺失像素L对应的测试像素T1～T4。
图35是用于说明平均维持插值运算的测试插值方法的图。
图35(a)表示实施方式3所示的包含缺失像素的像素列和不包含缺失像素的两个像素列重复的情况下的平均维持插值运算电路中的、包含缺失像素的像素列LC和不包含缺失像素的像素列NA以及NB之间的位置关系。图35(b)表示将测试像素T虚拟地视为缺失像素而进行测试插值的情况下，在包含测试像素的像素列TC中含有缺失像素的情况下的不包含测试像素的像素列TB的位置。图35(c)表示在包含测试像素的像素列TC中不包含缺失像素的情况下的不包含测试像素的像素列TA的位置。
说明平均维持插值运算电路的测试插值方法。
平均维持插值运算电路在对缺失像素附近的像素进行测试插值的情况下，需要根据缺失像素的位置来改变插值方法。此外，在测试插值中，仅使用不包含测试像素的两个像素列中的某一方。
如图35(b)所示，在包含测试像素T的像素列TC中含有缺失像素L的情况下，平均维持插值运算电路需要考虑缺失像素L来建立方程式。从而，按照包含缺失像素L的方式设定不包含测试像素T的像素列TB，在包含测试像素T的像素列TC和不包含测试像素的像素列TB两者中包含缺失像素，由此缺失像素在方程式中被抵消，可以适当地求出测试像素T的测试插值数据。方程式为(TC[1]+…+TC[k-i-1]+T+L+TD[1]+…+TD[i-1])/k＝(L+TD[1]+…+TD[i-1]+TB[1]+…+TB[k-i])/k。
测试像素T为T＝(TB[1]+…+TB[k-i])-(TC[1]+…+TC[k-i-1])。
如图35(c)所示，在包含测试像素的像素列TC中不包含缺失像素L的情况下，设定为在不包含测试像素的像素列TA中也不包含缺失像素。平均维持插值运算电路的方程式为(TA[1]+…+TA[k-i]+TD[1]+…+TD[i])/k＝(TD[1]+…+TD[i]+T+TC[1]+…+TC[k-i-1])，测试像素T为T＝(TA[1]+…+TA[k-i])-(TC[1]+…+TC[k-i-1])。
这样，通过使用考虑了缺失像素的位置的测试插值方法，可以适当地对各个平均维持插值运算电路进行评分。
图36是用于说明测试像素T1～T4以及缺失像素L中的左右平均插值运算电路6(0)以及评分电路8的动作的图。图36(a)是表示计算T1中的左右平均插值运算电路6(0)的测试插值数据的情况的图，图36(b)是表示计算T2中的左右平均插值运算电路6(0)的测试插值数据的情况的图，图36(c)是表示计算T3中的左右平均插值运算电路6(0)的测试插值数据的情况的图，图36(d)是表示计算T4中的左右平均插值运算电路6(0)的测试插值数据的情况的图，图36(e)是表示计算缺失像素L中的左右平均插值运算电路6(0)的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的左右平均插值运算电路6(0)以及评分电路8的动作。
如图36(a)所示，左右平均插值运算电路6(0)将像素T1L以及T1R的平均值作为测试像素T1的测试插值数据TD0[T1]输出。由于T1L＝b＝57，T1R＝d＝143，测试插值数据TD0[T1]为TD0[T1]＝(T1L+T1R)/2＝(57+143)/2＝100。
评分电路8将测试像素T1的位置处的输入图像DI的数据DI[T1]和测试插值数据TD0[T1]的差分的绝对值作为评分数据M0[T1]输出。由于TD0[T1]＝100，DI[T1]＝c＝100，评分数据M0[T1]为M0[T1]＝|TD0[T1]-DI[T1]|＝|100-100|＝0。
如图36(b)所示，左右平均插值运算电路6(0)将像素T2L以及T2R的平均值作为测试像素T2的测试插值数据TD0[T2]输出。由于T2L＝c＝100，T2R＝a＝74，测试插值数据TD0[T2]为
TD1＝(T2L+T2R)/2＝(100+74)/2＝87。
评分电路8将测试像素T2的位置处的输入图像DI的数据DI[T2]和测试插值数据TD0[T2]的差分的绝对值作为评分数据M0[T2]输出。由于TD0[T2]＝87，DI[T2]＝d＝143，评分数据M0[T2]为M0[T2]＝|TD0[T2]-DI[T2]|＝|87-143|＝56。
如图36(c)所示，左右平均插值运算电路6(0)将像素T3L以及T3R的平均值作为测试像素T3的测试插值数据TD0[T3]输出。由于T3L＝d＝143，T3R＝b＝57，测试插值数据TD0[T3]为TD0＝(T3L+T3R)/2＝(143+57)/2＝100。
评分电路8将测试像素T3的位置处的输入图像DI的数据DI[T3]和测试插值数据TD0[T3]的差分的绝对值作为评分数据M0[T3]输出。由于TD0[T3]＝87，DI[T3]＝a＝74，评分数据M0[T3]为M0[T3]＝|TD0[T3]-DI[T3]|＝|100-74|＝26。
如图36(d)所示，左右平均插值运算电路6(0)将像素T4L以及T4R的平均值作为测试像素T4的测试插值数据TD0[T4]输出。由于T4L＝a＝74，T4R＝c＝100，测试插值数据TD0[T4]为TD0[T4]＝(T4L+T4R)/2＝(74+100)/2＝87。
评分电路8将测试像素T4的位置处的输入图像DI的数据DI[T4]和测试插值数据TD0[T4]的差分的绝对值作为评分数据M0[T4]输出。由于TD0[T4]＝87，DI[T4]＝b＝57，评分数据M1[T4]为M0[T4]＝|TD0[T4]-DI[T4]|＝|87-57|＝30。
如图36(e)所示，左右平均插值运算电路6(0)将缺失像素左右侧的像素LL以及LR的平均值作为缺失像素L的插值数据D0输出。由于LL＝d＝143，LR＝a＝74，插值数据D0为D0＝(LL+LR)/2＝(143+74)/2＝108.5。
图37是用于说明测试像素T1～T4以及缺失像素L中的第一平均维持插值运算电路6(1)以及评分电路8的动作的图。图37(a)是表示计算T1中的第一平均维持插值运算电路6(1)的测试插值数据的情况的图，图37(b)是表示计算T2中的第一平均维持插值运算电路6(1)的测试插值数据的情况的图，图37(c)是表示计算T3中的第一平均维持插值运算电路6(1)的测试插值数据的情况的图，图37(d)是表示计算T4中的第一平均维持插值运算电路6(1)的测试插值数据的情况的图，图37(e)是表示计算缺失像素L中的第一平均维持插值运算电路6(1)的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的第一平均维持插值运算电路6(1)以及评分电路8的动作。
如图37(a)所示，第一平均维持插值运算电路6(1)求出测试像素T1的测试插值数据TD1[T1]，使得包含测试像素T1的像素列T1C的平均值和不包含测试像素T1的像素列T1B的平均值相等。从而，由方程式(T1C[1]+T1C[2]+TD1[T1]+T1D[1]+L)/5＝(T1D[1]+L+T1B[1]+T1B[2]+T1B[3])/5，测试插值数据TD1[T1]成为TD1[T1]＝(T1B[1]+T1B[2]+T1B[3])-(T1C[1]+T1C[2])。
由于T1C[1]＝a＝74，T1C[2]＝b＝57，T1B[1]＝a＝74，T1B[2]＝b＝57，T1B[3]＝c＝100，成为TD1[T1]＝(74+57+100)-(74+57)＝100。
评分电路8将所述测试像素T1的位置处的输入图像DI的数据DI[T1]和测试插值数据TD1[T1]的差分的绝对值作为评分数据M1[T1]输出。由于TD1[T1]＝100、DI[T1]＝c＝100，评分数据M1[T1]成为M1[T1]＝|TD1[T1]-DI[T1]|＝|100-100|＝0。
如图37(b)所示，第一平均维持插值运算电路6(1)求出测试像素T2的测试插值数据TD1[T2]，使得包含测试像素T2的像素列T2C的平均值和不包含测试像素T2的像素列T2B的平均值相等。从而，由方程式(T2C[1]+T2C[2]+TD1[T2]+L+T2D[1])/5＝(L+T2D[1]+T2B[1]+T2B[2]+T2B[3])/5，测试插值数据TD1[T2]成为
TD1[T2]＝(T2B[1]+T2B[2]+T2B[3])-(T2C[1]+T2C[2])。
由于T2C[1]＝b＝57，T2C[2]＝c＝100，T2B[1]＝b＝57，T2B[2]＝c＝100，T2B[3]＝d＝143，成为TD1[T2]＝(57+100+143)-(57+100)＝143。
评分电路8将所述测试像素T2的位置处的输入图像DI的数据DI[T2]和测试插值数据TD1[T2]之间的差分的绝对值作为评分数据M1[T2]输出。由于TD1[T2]＝143、DI[T2]＝d＝143，评分数据M1[T2]成为M1[T2]＝|TD1[T2]-DI[T2]|＝|143-143|＝0。
如图37(c)所示，第一平均维持插值运算电路6(1)求出测试像素T3的测试插值数据TD1[T3]，使得包含测试像素T3的像素列T3C的平均值和不包含测试像素T3的像素列T3A的平均值相等。从而，由方程式(T3A[1]+T3A[2]+T3A[3]+T3D[1]+L)/5＝(T3D[1]+L+TD1[T3]+T3C[1]+T3C[2])/5，测试插值数据TD1[T3]成为TD1[T3]＝(T3A[1]+T3A[2]+T3A[3])-(T3C[1]+T3C[2])。
由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3A[1]＝a＝74，T3A[2]＝b＝57，T3A[3]＝c＝100，成为TD1[T3]＝(74+57+100)-(57+100)＝74。
评分电路8将所述测试像素T3的位置处的输入图像DI的数据DI[T3]和测试插值数据TD1[T3]之间的差分的绝对值作为评分数据M1[T3]输出。由于TD1[T3]＝74、DI[T3]＝a＝74，评分数据M1[T3]成为M1[T3]＝|TD1[T3]-DI[T3]|＝|74-74|＝0。
如图37(d)所示，第一平均维持插值运算电路6(1)求出测试像素T4的测试插值数据TD1[T4]，使得包含测试像素T4的像素列T4C的平均值和不包含测试像素T4的像素列T4A的平均值相等。从而，由方程式(T4A[1]+T4A[2]+T4A[3]+L+T4D[1])/5＝(L+T4D[1]+TD1[T4]+T4C[1]+T4C[2])/5，
测试插值数据TD1[T4]成为TD1[T4]＝(T4A[1]+T4A[2]+T4A[3])-(T4C[1]+T4C[2])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4A[1]＝b＝57，T4A[2]＝c＝100，T4A[3]＝d＝143，成为TD1[T1]＝(57+100+143)-(100+143)＝57。
评分电路8将所述测试像素T4的位置处的输入图像DI的数据DI[T4]和测试插值数据TD1[T4]之间的差分的绝对值作为评分数据M1[T4]输出。由于TD1[T4]＝57、DI[T4]＝b＝57，评分数据M1[T4]成为M1[T4]＝|TD1[T4]-DI[T4]|＝|57-57|＝0。
如图37(e)所示，第一平均维持插值运算电路6(1)求出缺失像素L的插值数据D1，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA以及NB的平均值相等。从而，由方程式(AD[1]+AD[2]+D1+BD[1]+BD[2])/5＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])/5+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3])/5)/2，插值数据D1成为D1＝((NA[1]+NA[2]+NA[3]+AD[1]+AD[2])+(BD[1]+BD[2]+NB[1]+NB[2]+NB[3]))/2-(AD[1]+AD[2]+BD[1]+BD[2])。
由于NA[1]＝e＝126，NA[2]＝a＝74，NA[3]＝b＝57，AD[1]＝c＝100，AD[2]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，NB[1]＝c＝100，NB[2]＝d＝143，NB[3]＝e＝126，成为D1＝((126+74+57+100+143)+(74+57+100+143+126))/2-(100+143+74+57)＝126。
图38是用于说明测试像素T1～T4以及缺失像素L中的第二平均维持插值运算电路6(2)以及评分电路8的动作的图。图38(a)是表示计算T1中的第二平均维持插值运算电路6(2)的测试插值数据的情况的图，图38(b)是表示计算T2中的第二平均维持插值运算电路6(2)的测试插值数据的情况的图，图38(c)是表示计算T3中的第二平均维持插值运算电路6(2)的测试插值数据的情况的图，图38(d)是表示计算T4中的第二平均维持插值运算电路6(2)的测试插值数据的情况的图，图38(e)是表示计算缺失像素L中的第二平均维持插值运算电路6(2)的插值数据的情况的图。
说明测试像素T1～T4以及缺失像素L中的第二平均维持插值运算电路6(2)以及评分电路8的动作。
如图38(a)所示，第二平均维持插值运算电路6(2)求出测试像素T1的测试插值数据TD2[T1]，使得包含测试像素T1的像素列T1C的平均值和不包含测试像素T1的像素列T1B的平均值相等。从而，由方程式(T1C[1]+T1C[2]+T1C[3]+TD2[T1]+T1D[1]+L+T1D[2])/7＝(T1D[1]+L+T1D[2]+T1B[1]+T1B[2]+T1B[3]+T1B[4])/7，测试插值数据TD1[T1]成为TD2[T1]＝(T1B[1]+T1B[2]+T1B[3]+T1B[4])-(T1C[1]+T1C[2]+T1C[3])。
由于T1C[1]＝e＝126，T1C[2]＝a＝74，T1C[3]＝b＝57，T1B[1]＝b＝57，T1B[2]＝c＝100，T1B[3]＝d＝143，T1B[4]＝e＝126，成为TD2[T1]＝(57+100+143+126)-(126+74+57)＝169。
评分电路8将所述测试像素T1的位置处的输入图像DI的数据DI[T1]和测试插值数据TD2[T1]之间的差分的绝对值作为评分数据M2[T1]输出。由于TD2[T1]＝169、DI[T1]＝c＝100，评分数据M2[T1]成为M2[T1]＝|TD2[T1]-DI[T1]|＝|169-100|＝69。
如图38(b)所示，第二平均维持插值运算电路6(2)求出测试像素T2的测试插值数据TD2[T2]，使得包含测试像素T2的像素列T2C的平均值和不包含测试像素T1的像素列T2B的平均值相等。从而，由方程式(T2C[1]+T2C[2]+T2C[3]+TD2[T2]+L+T2D[1]+T2D[2])/7＝(L+T2D[1]+T2D[2]+T2B[1]+T2B[2]+T2B[3]+T2B[4])/7，
测试插值数据TD2[T2]成为TD2[T2]＝(T2B[1]+T2B[2]+T2B[3]+T2B[4])-(T2C[1]+T2C[2]+T2C[3])。
由于T2C[1]＝a＝74，T2C[2]＝b＝57，T2C[3]＝c＝100，T2B[1]＝c＝100，T2B[2]＝d＝143，T2B[3]＝e＝126，T2B[4]＝a＝74，成为TD2[T2]＝(100+143+126+74)-(74+57+100)＝212。
评分电路8将所述测试像素T2的位置处的输入图像DI的数据DI[T2]和测试插值数据TD2[T2]之间的差分的绝对值作为评分数据M2[T2]输出。由于TD2[T2]＝212、DI[T2]＝d＝143，评分数据M2[T2]成为M2[T2]＝|TD2[T2]-DI[T2]|＝|212-143|＝69。
如图38(c)所示，第二平均维持插值运算电路6(2)求出测试像素T3的测试插值数据TD2[T3]，使得包含测试像素T3的像素列T3C的平均值和不包含测试像素T3的像素列T3A的平均值相等。从而，由方程式(T3A[1]+T3A[2]+T3A[3]+T3A[4]+T3D[1]+T3D[2]+L)/7＝(T3D[1]+T3D[2]+L+TD2[T3]+T3C[1]+T3C[2]+T3C[3])/7，测试插值数据TD2[T3]成为TD2[T3]＝(T3A[1]+T3A[2]+T3A[3]+T3[4])-(T3C[1]+T3C[2]+T3C[3])由于T3C[1]＝b＝57，T3C[2]＝c＝100，T3C[3]＝d＝143，T3A[1]＝d＝143，T3A[2]＝e＝126，T3A[3]＝a＝74，T3A[4]＝b＝57，成为TD1[T3]＝(143+126+74+57)-(57+100+143)＝100。
评分电路8将所述测试像素T3的位置处的输入图像DI的数据DI[T3]和测试插值数据TD2[T3]之间的差分的绝对值作为评分数据M2[T3]输出。由于TD2[T3]＝100、DI[T3]＝a＝74，评分数据M2[T3]成为M2[T3]＝|TD2[T3]-DI[T3]|＝|100-74|＝26。
如图38(d)所示，第二平均维持插值运算电路6(2)求出测试像素T4的测试插值数据TD2[T4]，使得包含测试像素T4的像素列T4C的平均值和不包含测试像素T3的像素列T4A的平均值相等。从而，由方程式(T4A[1]+T4A[2]+T4A[3]+T4A[4]+T4D[1]+L+T4D[2])/7＝(T4D[1]+L+T4D[2]+TD2[T4]+T4C[1]+T4C[2]+T4C[3])/7，测试插值数据TD2[T4]成为TD2[T4]＝(T4A[1]+T4A[2]+T4A[3]+T4A[4])-(T4C[1]+T4C[2]+T4C[3])。
由于T4C[1]＝c＝100，T4C[2]＝d＝143，T4C[3]＝e＝126，T4A[1]＝e＝126，T4A[2]＝a＝74，T4A[3]＝b＝57，T4A[4]＝c＝100，成为TD1[T1]＝(126+74+57+100)-(100+143+126)＝-12。
评分电路8将所述测试像素T4的位置处的输入图像DI的数据DI[T4]和测试插值数据TD2[T4]的差分的绝对值作为评分数据M2[T4]输出。由于TD2[T4]＝-12、DI[T4]＝b＝57，评分数据M2[T4]成为M2[T4]＝|TD2[T4]-DI[T4]|＝|-12-57|＝69。
如图38(e)所示，第二平均维持插值运算电路6(2)求出缺失像素L的插值数据，使得包含缺失像素L的像素列LC的平均值和不包含缺失像素L的像素列NA以及NB的平均值相等。从而，由方程式(AD[1]+AD[2]+AD[3]+D1+BD[1]+BD[2]+BD[3])/7＝((NA[1]+NA[2]+NA[3]+NA[4]+AD[1]+AD[2]+AD[3])/7+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4])/7)/2，插值数据D1成为D1＝((NA[1]+NA[2]+A[3]+NA[4]+AD[1]+AD[2]+AD[3])+(BD[1]+BD[2]+BD[3]+NB[1]+NB[2]+NB[3]+NB[4]))/2-(AD[1]+AD[2]+AD[3]+BD[1]+BD[2]+BD[3])。
由于NA[1]＝c＝100，NA[2]＝d＝143，NA[3]＝e＝126，NA[4]＝a＝74，AD[1]＝b＝57，AD[2]＝c＝100，AD[3]＝d＝143，BD[1]＝a＝74，BD[2]＝b＝57，BD[3]＝c＝100，NB[1]＝d＝143，NB[2]＝e＝126，NB[3]＝a＝74，NB[4]＝b＝57，成为D1＝((100+143+126+74+57+100+143)+(74+57+100+143+126+74+57))/2
-(57+100+143+74+57+100)＝156。
图39是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝0，M0[T2]＝56，M0[T3]＝26，M0[T4]＝30，所以评价数据S0成为S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]＝0+56+26+30＝112。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于M1[T1]＝0，M1[T2]＝0，M1[T3]＝0，M2[T4]＝0，评价数据S1成为S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]＝0+0+0+0＝0。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于M2[T1]＝69，M2[T2]＝69，M2[T3]＝26，M2[T4]＝69，评价数据S2成为S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]＝69+69+26+69＝233。
图40是将左右平均插值运算电路6(0)、第一平均维持插值运算电路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输出用于选择具有评价数据S0～S2中的最小的评价数据(S1＝0)的第一平均维持插值运算电路6(1)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D1＝126。如图31(a)所示，可知缺失像素L的原始数据是126，可以以最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价，由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以可以适当地对缺失像素进行插值。
示出使用图33所示的结构对另一图像数据进行插值的例子。
图41是表示具有周期性的图像数据的一例的图。图41(a)按照像素周期Pp＝7重复浓度值a＝80、b＝56、c＝65、d＝100、e＝135、f＝144、g＝120。图38(b)表示缺失像素和测试像素之间的位置关系。此外，以缺失像素L为中心、左右各两个地一维设定，作为与缺失像素L对应的测试像素T1～T4。
使用左右平均插值运算电路6(0)、第一平均插值运算电路6(1)以及第二平均维持插值运算电路对图41(b)的测试像素T1～T4进行测试插值的方法与图36～图38所示的方法相同，所以省略说明。
图42是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝13，M0[T2]＝4.5，M0[T3]＝71，M0[T4]＝8，评价数据S0成为S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]＝13+4.5+71+8＝96.5。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于M1[T1]＝143，M1[T2]＝35，M1[T3]＝143，M2[T4]＝35，评价数据S1成为S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]＝143+35+143+35＝356。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于M2[T1]＝0，M2[T2]＝0，M2[T3]＝0，M2[T4]＝0，评价数据S2成为S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]
＝0+0+0+0＝0。
图43是将左右平均插值运算电路6(0)、第一平均维持插值运算电路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输出用于选择具有评价数据S0～S2中的最小的评价数据(S2＝0)的第二平均维持插值运算电路6(2)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D2＝135。如图31(a)所示，可知缺失像素L的原始数据为135，可以以最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价，由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以关于图41的数据也可以适当地对缺失像素进行插值。
示出使用图33所示的结构对另一图像数据进行插值的例子。
图44是表示具有周期性的图像数据的一例的图。图44(a)按照像素周期Pp＝17重复浓度值a＝100、b＝116、c＝130、d＝140、e＝145、f＝143、g＝136、h＝124、i＝108、j＝92、k＝76、l＝64、m＝57、n＝55、o＝60、p＝70、q＝84。图44(b)表示缺失像素和测试像素之间的位置关系。此外，以缺失像素L为中心、左右各两个地一维设定，作为与缺失像素L对应的测试像素T1～T4。
使用左右平均插值运算电路6(0)、第一平均插值运算电路6(1)以及第二平均维持插值运算电路对图44(b)的测试像素T1～T4进行测试插值的方法与图36～图38所示的方法相同，所以省略说明。
图45是将测试像素T1～T4中的评分数据M0～M2集中的表。
说明管理电路7的动作。
管理电路7生成左右平均插值运算电路6(0)的评分数据M0[T1]～M0[T4]相加得到的值作为评价数据S0。由于M0[T1]＝3.5，M0[T2]＝8.5，M0[T3]＝1.5，M0[T4]＝0，评价数据S0成为S0＝M0[T1]+M0[T2]+M0[T3]+M0[T4]＝3.5+8.5+1.5+0＝13.5。
管理电路7对于第一平均维持插值运算电路6(1)也同样，生成评分数据M1[T1]～M1[T4]相加得到的值作为评价数据S1。由于M1[T1]＝91，M1[T2]＝152，M1[T3]＝91，M2[T4]＝152，评价数据S1成为S1＝M1[T1]+M1[T2]+M1[T3]+M1[T4]＝91+152+91+152＝486。
管理电路7对于第二平均维持插值运算电路6(2)也同样，生成评分数据M2[T1]～M2[T4]相加得到的值作为评价数据S2。由于M2[T1]＝191，M2[T2]＝269，M2[T3]＝86，M2[T4]＝191，评价数据S2成为S2＝M2[T1]+M2[T2]+M2[T3]+M2[T4]＝191+269+86+191＝737。
图46是将左右平均插值运算电路6(0)、第一平均维持插值运算电路6(1)以及第二平均维持插值运算电路6(2)的评价数据S0～S2集中的表。
评价数据越小的插值运算电路在缺失像素附近越能适当地进行插值，所以可以类推在缺失像素中也可以适当地进行插值。管理电路7输出用于选择具有评价数据S0～S2中的最小的评价数据(S0＝13.5)的左右平均插值运算电路6(0)所输出的插值数据的选择信号C。
输出电路5输出与管理电路7输出的选择信号C对应的插值数据D0＝133.5。如图31(a)所示，可知缺失像素L的原始数据为136，可以以最小的误差进行插值。
图33所示的结构例的像素插值电路生成缺失像素L附近的测试像素T1～T4中的3个插值运算电路的测试插值数据，对其进行评分以及评价，由此选择3个插值运算电路中的适合于图像内容的插值运算电路，所以关于图44的数据也可以适当地对缺失像素进行插值。
这样，由管理电路7、评分电路8构成的选择信号生成部9可以根据图像数据生成选择通过适当的插值运算电路产生的插值数据的选择信号，不管图像数据的周期性如何均可使插值误差成为最小。
此外，由于使用缺失像素的插值数据所使用的插值运算电路(例如，包含缺失部合计计算电路19以及非缺失部合计计算电路17)求出测试像素的插值数据，所以可以在不大幅地增加电路规模的情况下进行通过测试像素实现的评价。
另外，在图29的像素插值电路中，也可以省略左右平均插值运算电路6(0)。在该情况下，对平均维持插值运算电路6(1)至6(n)进行评价，选择其中任意一个的输出。
实施方式7图47是表示实施方式7中的插值运算电路的结构的图。实施方式6中的插值运算电路的结构是对实施方式1～3所示的平均维持插值运算电路追加限制平均维持插值运算电路的输出的输出限制部13。输出限制部13由输出范围生成电路10和限制电路11构成，限制由于噪声等产生的平均维持插值运算电路的插值误差。
图48表示输入图像DI的一部分，表示缺失像素和参照数据范围之间的位置关系。
说明实施方式7中的插值运算电路的结构和动作。
实施方式7中的插值运算电路具有输出范围生成电路10和限制电路11以及平均维持插值运算电路12。输入图像DI输入给输出范围生成电路10以及平均维持插值运算电路12。参数k输入给平均维持插值运算电路12。平均维持插值运算电路基于输入图像DI和参数k，输出限制前数据Da。限制前数据Da输入给限制电路11。
从外部提供的指定参照数据范围r的数据被输入给输出范围生成电路10。输出范围生成电路10基于输入图像DI中的缺失像素的右侧r个像素和左侧r个像素，生成输出最大值Lmax和输出最小值Lmin。输出最大值Lmax为Lmax＝max(M[1]、…、M[r]、M[r+1]、…、M[2r])。
这里，max(M[1]、…、M[r]、M[r+1]…、M[2r])是求出像素M[1]、…、M[r]、M[r+1]、…、M[2r]的最大值的函数。输出最大值Lmax输入给限制电路11。
此外，输出最小值Lmin为Lmin＝min(M[1]、…、M[r]、M[r+1]、…、M[2r])。
这里，min(M[1]、…、M[r]、M[r+1]、…、M[2r])是求出像素M[1]、…、M[r]、M[r+1]、…、M[2r]的最小值的函数。输出最小值Lmin输入给限制电路11。
限制电路11基于输出最大值Lmax和输出最小值Lmin，对限制前数据Da进行限制，作为限制后数据Db输出。限制后数据Db在Da＜Lmin的情况下，为Db＝Lmin，在Lmin≤Da≤Lmax的情况下，Db＝Da，在Lmax＜Db的情况下，为Db＝Lmax。
实施方式7中的插值运算电路可以将平均维持插值运算电路的输出限制在缺失像素附近的2r个浓度值的范围内。
使用具体例进行说明。
图49是具体例的插值运算电路的结构。
图50表示像素周期Pp＝5的图像数据。在图50中，像素NB[3]的浓度值由于噪声而从74变为94。
说明结构和动作。
输入图像DI输入给平均维持插值运算电路和输出范围生成电路。参数k＝9输入给平均维持插值运算电路12。平均维持插值运算电路12求出缺失像素L的插值数据，使得包含缺失像素的像素列LC和不包含缺失像素的两个像素列NA以及NB的平均值相等。方程式为(AD[1]+AD[2]+AD[3]+AD[4]+L+BD[1]+BD[2]+BD[3]+BD[4])/9＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4])/9+(BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5])/9)/2，
缺失像素L为L＝((NA[1]+NA[2]+NA[3]+NA[4]+NA[5]+AD[1]+AD[2]+AD[3]+AD[4])+(BD[1]+BD[2]+BD[3]+BD[4]+NB[1]+NB[2]+NB[3]+NB[4]+NB[5]))/2-(AD[1]+AD[2]+AD[3]+AD[4]+L+BD[1]+BD[2]+BD[3]+BD[4])。
由于NA[1]＝126，NA[2]＝74，NA[3]＝57，NA[4]＝100，NA[5]＝143，AD[1]＝126，AD[2]＝74，AD[3]＝57，AD[4]＝100，BD[1]＝126，BD[2]＝74，BD[3]＝57，BD[4]＝100，NB[1]＝143，NB[2]＝126，NB[3]＝94，NB[4]57，NB[5]＝100，成为L＝((126+74+57+100+143+126+74+57+100)+(126+74+57+100+143+126+94+57+100))/2-(126+74+57+100+126+74+57+100)＝153。
将缺失像素的插值数据L作为限制前数据Da。限制前数据Da输入给限制电路11。
参照数据范围r＝9输入给输出范围生成电路。输出范围生成电路10输出输入图像DI中的缺失像素L的右侧9个和左侧9个的最大值作为输出最大值Lmax。输出最大值Lmax为Lmax＝143。
输出最大值Lmax输入给限制电路。
此外，输出范围生成电路10输出输入图像DI中的缺失像素L的右侧9个和左侧9个的最小值作为输出最小值Lmin。输出最小值Lmin为Lmin＝57。
输出最小值Lmin输入给限制电路11。
限制电路11基于输出最大值Lmax和输出最小值Lmin，对限制前数据Da进行校正而作为限制后数据Db输出。由于Da＝153、Lmax＝143、Lmin＝57，Lmax＜Da成立，所以限制后数据Db为Db＝Lmax＝143。
根据图50，缺失像素L的原始数据为143，限制后数据Db＝143的误差为|143-143|＝0。限制前数据的误差为|153-143|＝10，通过进行限制可以减小误差。
实施方式8在实施方式1～3中，说明了由硬件通过平均维持插值运算对缺失像素进行插值的插值运算电路的结构，但也可以通过软件对缺失像素进行插值。另外，也可以同时使用软件和硬件。
图51是说明通过软件处理对缺失像素进行插值的动作(插值运算方法)的流程图。
也参照图2说明流程图的动作。
在步骤s1中，生成包含缺失像素的像素列LC的部分和数据(相当于实施方式1中的SL)。
在步骤s2中，生成不包含缺失像素的像素列NA的部分和数据(相当于实施方式1中的SA)。
如图13所示，在存在多个不包含缺失像素的像素列的情况下，返回步骤s2，生成各个部分和数据。(步骤s3)在步骤s4中，基于在步骤s1中生成的部分和数据(相当于SA的数据)和在步骤s2中生成的部分和数据(相当于SL的数据)，建立方程式，使得包含缺失像素的像素列的平均值和不包含缺失像素的像素列的平均值相等。
在步骤s5中，对在步骤s4中建立的方程式进行求解(例如从相当于SA的数据中减去相当于SL的数据)，求出缺失像素的插值数据。
由于关于各个步骤中的处理内容在实施方式1～3中已详细示出，所以这里省略说明。
实施方式9在实施方式6中，说明了由硬件通过平均维持插值运算和左右平均插值运算的同时使用来对缺失像素进行插值的像素插值电路的结构，但也可以由软件来对缺失像素进行插值。另外，也可以同时使用软件和硬件。
图52是说明通过软件处理对缺失像素进行插值的动作(像素插值方法)的流程图。
也参照图30(a)说明流程图的动作。
在步骤s1中，生成测试像素T1中的左右平均插值运算方法的测试插值数据(相当于实施方式6的TD0[T1])。
在步骤s2中，生成测试像素T1的位置处的输入图像DI的数据(相当于实施方式6的DI[T1])和步骤s1中所生成的测试插值数据之间的差分的绝对值，作为评分数据(相当于实施方式6的M0[T1])。
接着，返回步骤s1，生成测试像素T2中的左右平均插值运算方法的测试插值数据(相当于实施方式6的TD0[T2])。
在步骤s2中，生成测试像素T2的位置处的输入图像DI的数据(相当于实施方式6的DI[T2])和步骤s1中所生成的测试插值数据之间的差分的绝对值，作为评分数据(相当于实施方式6的M0[T2])。
对于测试像素T3～Tm也同样地重复步骤s1和步骤s2的步骤(步骤s3)。这样，得到所有的测试像素T1～Tm中的左右平均插值运算方法的评分数据。
在步骤s4中，生成缺失像素L中的左右平均插值运算方法的插值数据。
接着，返回步骤s1，生成测试像素T1中的第一平均维持插值运算方法的测试插值数据(相当于实施方式6的TD1[T1])。
在步骤s2中，生成测试像素T1的位置处的输入图像DI的数据(相当于实施方式6的DI[T1])和步骤s1中所生成的测试插值数据之间的差分的绝对值，作为评分数据(相当于实施方式6的M1[T1])。
接着，返回步骤s1，生成测试像素T2中的第一平均维持插值运算方法的测试插值数据(相当于实施方式1的TD1[T2])。
在步骤s2中，生成测试像素T2的位置处的输入图像DI的数据(相当于实施方式6的DI[T2])和步骤s1中所生成的测试插值数据之间的差分的绝对值，作为评分数据(相当于实施方式6的M1[T2])。
对于测试像素T3～Tm也同样地重复步骤s1和步骤s2的步骤(步骤s3)。这样，得到所有的测试像素T1～Tm中的第一平均维持插值运算方法的评分数据。
在步骤s4中，生成缺失像素L中的第一平均维持插值运算方法的插值数据。
对于第二平均维持插值运算方法～第n平均维持插值运算方法也同样重复步骤s1～s4的步骤(步骤s5)。分别对于左右平均插值运算方法以及第一平均维持插值运算方法～第n平均维持插值运算方法，得到所有的测试像素T1～Tm中的评分数据和缺失像素L中的插值数据。
在步骤s6中针对每个插值运算方法对评分数据进行相加而生成左右平均插值运算电路以及第一平均维持插值运算方法～第n平均维持插值运算方法各自的评价数据(相当于实施方式6的S0～Sn)。
在步骤s7中，基于步骤s6中所生成的评价数据选择对缺失像素进行插值的插值数据。
重复上述步骤s1～步骤s7的步骤直到达到最后的缺失像素为止(步骤s8)。
由于关于各个步骤中的处理内容在实施方式6中已详细示出，所以这里省略说明。
另外，在上述的各实施方式中，在左右方向上排列了像素，在左右平均插值运算中，通过求出与缺失像素或测试用非缺失像素左右邻接的像素的平均而生成了插值数据，但在上下排列了像素的情况下，通过求出与缺失像素或测试用非缺失像素上下邻接的像素的平均而生成插值数据。这样的左右平均插值运算或上下平均插值运算总称为邻接像素平均插值运算。
权利要求
1.一种平均维持插值运算电路，其特征在于，求出缺失像素的插值数据，使得构成包含缺失像素的像素组的多个像素的值的平均值和构成不包含缺失像素的像素组的多个像素的值的平均值相等。
2.如权利要求1所述的平均维持插值运算电路，其特征在于，构成包含所述缺失像素的像素组的像素个数和构成不包含所述缺失像素的像素组的像素个数均为k(k是正整数)，该平均维持插值运算电路具有缺失部合计计算电路，其求出构成包含所述缺失像素的像素组的k个像素中、所述缺失像素以外的像素的值的合计；非缺失部合计计算电路，其求出构成不包含所述缺失像素的像素组的k个像素的值的合计；以及差分电路，其通过从所述非缺失部合计计算电路的输出中减去所述缺失部合计计算电路的输出，求出所述缺失像素的插值数据。
3.如权利要求2所述的平均维持插值运算电路，其特征在于，所述非缺失部合计计算电路具有第一非缺失部加法电路，其求出构成不包含所述缺失像素的第一像素组的k个像素的值之和；第二非缺失部加法电路，其求出构成不包含所述缺失像素的第二像素组的k个像素的值之和；以及平均电路，其求出所述第一非缺失部加法电路的输出和所述第二非缺失部加法电路的输出的平均，将该平均作为所述合计输出。
4.如权利要求2所述的平均维持插值运算电路，其特征在于，所述像素组分别构成周期变化的一系列像素的一部分，在构成不包含所述缺失像素的像素组的像素和构成包含所述缺失像素的包含像素的像素组的像素相互不重复的情况下，所述k被设定为与像素个数所示的像素变化周期或其整数倍大致相等的值。
5.如权利要求2所述的平均维持插值运算电路，其特征在于，所述像素组分别构成周期变化的一系列像素的一部分，构成不包含所述缺失像素的像素组的像素中的i个像素(i是正整数)和构成包含所述缺失像素的包含像素的像素组的像素中的i个像素相互重复，所述k或从所述k中减去所述i后的值被设定为与像素个数所示的像素变化周期或其整数倍大致相等的值。
6.一种像素插值电路，其特征在于，具有权利要求1所述的平均维持插值运算电路；以及用缺失像素附近的像素的值的最大值和最小值来限制输出范围的电路。
7.一种像素插值电路，其特征在于，具有多个权利要求2所述的平均维持插值运算电路，这些平均维持插值运算电路的所述k或(k-i)互不相同，还具有输出电路，所述多个平均维持插值运算电路分别生成缺失像素的插值数据，所述输出电路选择所述多个平均维持插值运算电路所输出的插值数据中的一个，作为缺失像素的插值数据输出。
8.如权利要求7所述的像素插值电路，其特征在于，还具有邻接像素平均插值运算电路，其生成与缺失像素邻接的像素的值的平均值，作为插值数据，所述输出电路选择所述多个平均维持插值运算电路以及所述邻接像素平均插值运算电路所输出的插值数据中的一个，作为缺失像素的插值数据输出。
9.如权利要求8所述的像素插值电路，其特征在于，还具有选择信号生成部，其基于所述缺失像素附近的像素的原始数据、以及对于该缺失像素附近的像素、按照与求出所述缺失像素的插值数据的方法相同的方法求得的插值数据，生成选择来自所述多个插值运算电路的插值数据中的一个的选择信号。
10.如权利要求9所述的像素插值电路，其特征在于，还具有控制电路，该控制电路对所述多个平均维持插值运算电路各自的所述缺失部合计计算电路，输入构成包含所述缺失像素附近的测试用非缺失像素的像素组的k个像素中、所述测试用非缺失像素以外的像素，求出其值的合计；对所述多个平均维持插值运算电路各自的所述非缺失部合计计算电路，输入构成不包含所述测试用非缺失像素的像素组的k个像素，求出其值的合计；使所述多个平均维持插值运算电路各自的所述差分电路通过从所述非缺失部合计计算电路的输出中减去所述缺失部合计计算电路的输出，求出所述测试用非缺失像素的插值数据；对所述邻接像素平均插值运算电路输入与位于所述缺失像素附近、不与所述缺失像素邻接的测试用非缺失像素邻接的像素，求出其平均值，作为所述测试用非缺失像素的插值数据，所述选择信号生成部基于由所述多个插值运算电路分别求出的所述测试用非缺失像素的插值数据和所述测试用非缺失像素的原始数据，评价所述插值运算电路，确定选择信号的内容，使得选择得到最佳评价的插值运算电路，所述控制电路对所述多个平均维持插值运算电路各自的所述缺失部合计计算电路输入构成包含所述缺失像素的像素组的像素，对所述非缺失部合计计算电路输入构成不包含所述缺失像素的像素组的像素，对所述邻接像素平均插值运算电路输入与缺失像素邻接的像素，使所述输出电路基于如上所述地确定了内容的选择信号，选择来自所述插值运算电路的插值数据中的一个而输出。
11.如权利要求7所述的像素插值电路，其特征在于，还具有选择信号生成部，其基于所述缺失像素附近的像素的原始数据，以及对于该缺失像素附近的像素、按照与求出所述缺失像素的插值数据相同的方法求得的插值数据，生成选择来自所述多个平均维持插值运算电路的插值数据中的一个的选择信号。
12.如权利要求11所述的像素插值电路，其特征在于，还具有控制电路，该控制电路对所述多个平均维持插值运算电路各自的所述缺失部合计计算电路，输入构成包含所述缺失像素附近的测试用非缺失像素的像素组的k个像素中、所述测试用非缺失像素以外的像素，求出其值的合计；对所述多个平均维持插值运算电路各自的所述非缺失部合计计算电路，输入构成不包含所述测试用非缺失像素的像素组的k个像素，求出其值的合计；使所述多个平均维持插值运算电路各自的所述差分电路通过从所述非缺失部合计计算电路的输出中减去所述缺失部合计计算电路的输出，求出所述测试用非缺失像素的插值数据，所述选择信号生成部基于由所述多个平均维持插值运算电路分别求出的所述测试用非缺失像素的插值数据和所述测试用非缺失像素的原始数据，评价所述平均维持插值运算电路，确定选择信号的内容，使得选择得到最佳评价的平均维持插值运算电路，所述控制电路对所述多个平均维持插值运算电路各自的所述缺失部合计计算电路输入构成包含所述缺失像素的像素组的像素，对所述非缺失部合计计算电路输入构成不包含所述缺失像素的像素组的像素，使所述输出电路基于如上所述地确定了内容的选择信号，选择来自所述多个插值运算电路的插值数据中的一个而输出。
13.一种平均维持插值运算方法，其特征在于，求出缺失像素的插值数据，使得构成包含缺失像素的像素组的多个像素的值的平均值和构成不包含缺失像素的像素组的多个像素的值的平均值相等。
14.如权利要求13所述的平均维持插值运算方法，其特征在于，构成包含所述缺失像素的像素组的像素个数和构成不包含所述缺失像素的像素组的像素个数均为k(k是正整数)，该平均维持插值运算方法具有缺失部合计计算步骤，求出构成包含所述缺失像素的像素组的k个像素中、所述缺失像素以外的像素的值的合计；非缺失部合计计算步骤，求出构成不包含所述缺失像素的像素组的k个像素的值的合计；以及差分步骤，通过从所述非缺失部合计计算步骤的计算结果中减去所述缺失部合计计算步骤的计算结果，求出所述缺失像素的插值数据。
15.如权利要求14所述的平均维持插值运算方法，其特征在于，所述非缺失部合计计算步骤具有第一非缺失部加法步骤，求出构成不包含所述缺失像素的第一像素组的k个像素的值之和；第二非缺失部加法步骤，求出构成不包含所述缺失像素的第二像素组的k个像素的值之和；以及平均步骤，求出所述第一非缺失部加法步骤的加法结果和所述第二非缺失部加法步骤的加法结果的平均，将该平均作为所述合计输出。
16.如权利要求14所述的平均维持插值运算方法，其特征在于，所述像素组分别构成周期变化的一系列像素的一部分，在构成不包含所述缺失像素的像素组的像素和构成包含所述缺失像素的包含像素的像素组的像素相互不重复的情况下，所述k被设定为与像素个数所示的像素变化周期或其整数倍大致相等的值。
17.如权利要求14所述的平均维持插值运算电路，其特征在于，所述像素组分别构成周期变化的一系列像素的一部分，构成不包含所述缺失像素的像素组的像素中的i个像素(i是正整数)和构成包含所述缺失像素的包含像素的像素组的像素中的i个像素相互重复，所述k或从所述k中减去所述i后的值被设定为与像素个数所示的像素变化周期或其整数倍大致相等的值。
18.一种像素插值方法，其特征在于，还具有对于通过权利要求13的平均维持插值运算方法所求出的插值数据，用缺失像素附近的像素的值的最大值和最小值来限制输出范围的步骤。
19.一种像素插值方法，其特征在于，对于多个互不相同的所述k或(k-i)进行权利要求14所述的平均维持插值运算步骤，每次生成缺失像素的插值数据，所述输出步骤选择所述多个平均维持插值运算步骤所输出的插值数据中的一个，作为缺失像素的插值数据输出。
20.如权利要求19所述的像素插值方法，其特征在于，还具有邻接像素平均插值运算步骤，生成与缺失像素邻接的像素的值的平均值，作为插值数据，所述输出步骤选择所述多个平均维持插值运算步骤以及所述邻接像素平均插值运算步骤所输出的插值数据中的一个，作为缺失像素的插值数据输出。
全文摘要
求出缺失像素的插值数据，以使构成包含缺失像素的像素组的多个像素的值的平均值和构成不包含缺失像素的像素组的多个像素的值的平均值相等。例如，求出构成包含缺失像素(L)的像素组(LC)的k个像素中、缺失像素以外的像素的值的合计(SL)(1)；求出构成不包含缺失像素的像素组(NA)的k个像素的值的合计(SA)(2)；通过求出它们的差(3)而求出缺失的插值数据。由此，可以减小对缺失了一部分像素的周期性高的图像进行插值的情况下的插值误差。
文档编号H04N1/40GK1879126SQ20048003313
公开日2006年12月13日 申请日期2004年6月18日 优先权日2003年11月10日
发明者山中聪, 奥野好章, 染谷润 申请人:三菱电机株式会社