专利名称：图像插值装置和方法、以及图像读取装置的制作方法
技术领域：
本发明涉及使用扫描仪、传真机、复印机等以数字方式读取原稿时， 在由于某种原因缺失了图像的情况下对像素进行插值的图像插值装置，
特别涉及用于在密接图像传感器的传感器IC的连接点部分对像素进行插
值的图像插值装置和方法，该密接图像传感器直线状排列有多个传感器
IC芯片，该传感器IC芯片直线状排列有多个摄像元件。
背景技术：
作为在上述这种情况下使用的现有的图像插值装置，存在使用如下
方法等计算缺失像素的插值数据的装置将与缺失像素邻接的像素的平 均值作为插值数据的方法；使用最小二乘法求出与缺失像素邻接的像素 的回归直线，根据该回归直线计算插值数据的方法；根据与缺失像素邻 接的4个像素求出4次式的曲线，根据该4次式计算插值数据的方法， 但是，在该装置中，难以对周期性数据进行插值(例如参照专利文献l)。 作为其改善策略，提出了如下方案以包含缺失像素的多个像素的 平均值和不包含缺失像素的多个像素的平均值相等的方式，求出缺失像 素的插值数据，由此对周期性数据进行插值(例如参照专利文献2)。进 而，提出了如下方案具有特性不同的多个插值运算电路、评分电路、 管理电路和输出电路，多个插值运算电路分别生成缺失像素和缺失像素 附近的像素的插值数据，评分电路根据多个插值运算电路分别输出的缺 失像素附近的像素的插值数据和与缺失像素附近的像素的插值数据对应 的像素的原数据，生成评分数据，管理电路根据评分电路输出的评分数 据，生成用于从多个插值运算电路输出的缺失像素的插值数据中选择一 个插值数据的选择信号，输出电路根据所述管理电路输出的选择信号， 输出所述多个插值运算电路输出的缺失像素的插值数据的一个，作为缺失像素的数据，由此，适当地切换插值方法(例如参照专利文献3)。 专利文献1:日本特开2003-101724号公报(第5-6页、第3 5图) 专利文献2:日本特开2005-141611号公报(第3-7页、第1图) 专利文献3:日本特开2005-117291号公报(第7-8页、第1图) 但是，在上述现有技术中，有时缺失像素的插值精度、特别是对读
取包含周期性数据的原稿而得到的数据进行插值时的插值精度不充分。
发明内容
本发明正是为了消除上述课题而完成的，本发明的图像插值装置具 有数据存储部，其存储多个像素值的数据；滤波插值部，其接收从所 述数据存储部读出的数据，进行对直线状排列的多个像素中位于缺失像 素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和 运算，计算所述缺失像素用的插值值；极限处理部，其将所述滤波插值
部输出的数据限制在所述缺失像素周边的数据值的范围内；以及数据插 入部，其在所述数据存储部输出的数据的与缺失像素对应的位置插入所 述极限处理部输出的数据。
根据本发明，使用对截止频率高的低通滤波器进行改良后的插值方 法，所以，能够良好地对低-丁-截止频率的周期性数据进行插值。
图1是示出本发明的实施方式1的图像插值装置的结构的图。
图2是示出搭载本发明的图像插值装置的密接图像传感器的结构的
图3 (a)和(b)是示出密接图像传感器的传感器芯片串的结构的图。 图4 (a)和(b)是示出图1的数据存储部2的概略结构和动作的图。 图5是示出连接点附近的受光元件和系数存储部7存储的系数的关 系的图。
图6是示出低通滤波器的系数和像素的位置关系的图。
图7是示出在具体的低通滤波器中使用的关注像素的周边像素相对
7于关注像素的相对位置和与该周边像素的数据相乘的系数的关系的图。
图8 (a) (c)是示出使用图7的低通滤波器对8个像素周期的数 据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关系 的图。
图9 (a) (c)是示出使用图7的低通滤波器对4个像素周期的数 据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关系 的图。
图10 (a) (c)是示出使用图7的低通滤波器对3个像素周期的 数据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关 系的图。
图11 (a) (c)是示出使用图7的低通滤波器对2个像素周期的 数据的位置i的像素进行处理(滤波)时的数据和与数据相乘的系数的关 系的图。
图12是示出图7的低通滤波器的频率特性的图。
图13是示出由图7的具体的低通滤波器计算出的插值用低通滤波器 的系数的大小的图。
图14 (a) (c)是示出使用图13的插值用低通滤波器对8个像素 周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的 关系的图。
图15 (a) (c)是示出使用图13的插值用低通滤波器对4个像素 周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的 关系的图。
图16 (a) (c)是示出使用图13的插值用低通滤波器对3个像素 周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的 关系的图。
图17 (a) (c)是示出使用图13的插值用低通滤波器对2个像素 周期的数据的连接点的像素i进行插值时的数据和与数据相乘的系数的 关系的图。
图18是示出图13的插值用低通滤波器的频率特性的图。图19是说明基于软件处理的动作的流程图。
图20是示出本发明的实施方式2的图像插值装置的结构的图。
图21是用于说明平均维持插值部的动作的图。
图22是用于说明k=3时的平均维持插值部的动作的图。
图23是示出使用k=3的平均维持插值部对3个像素周期的数据进行
处理时的参照范围的图。
图24是示出使用k=3的平均维持插值部对4个像素周期的数据进行
处理时的参照范围的图。
图25是示出试验插值像素和缺失像素的位置关系的图。
图26是示出试验插值像素Tl Tm与滤波插值部、第1平均维持插
值部、第2平均维持插值部、第n平均维持插值部的评分数据M0 Mn
的关系的图。
图27是作为插值方法而示出具有滤波插值部、第1平均维持插值部、第2平均维持插值部的本发明的实施方式2的图像插值装置的结构的图。图28是在具体例中示出试验插值像素和缺失像素的位置关系的图。图29是对位置i的像素进行插值时的4个像素周期的数据。图30是对评分部输出的评分数据和管理部生成的合计数据进行总结的表。
图31是对位置i的像素进行插值时的3个像素周期的数据。图32是对评分部输出的评分数据和管理部生成的合计数据进行总结的表。
图33是对位置i的像素进行插值时的2个像素周期的数据。图34是对评分部输出的评分数据和管理部生成的合计数据进行总结的表。
图35是说明基于软件处理的动作的流程图。标号说明
1-图像插值装置；2:数据存储部；3:滤波插值部；4:极限处理部；5:插值数据插入部；6:积和运算部；7:系数存储部；8:密接图像传感器；9:光源；10:传感器芯片串；11: A/D转换器；12:原稿；
913-l 13-k:传感器芯片；14-l 14-m:左端的传感器芯片的受光元件；15-1:左端第2个传感器芯片的左端的受光元件；16-m:右端的传感器芯片的右端的受光元件；17-l 17-n:平均维持插值部；18:评分部；19:管理部；20:输出部。
具体实施方式
实施方式l
图1是示出本发明的实施方式1的图像插值装置的结构的图。图示的图像插值装置1具有数据存储部2、滤波插值部3、极限处理部4以及插值数据插入部5。
图像数据DI被输入到数据存储部2。
数据存储部2使用纵向连接的多个触发器等存储缺失像素附近的一定范围的数据，作为数据Dm输出。
数据Dm被输入到滤波插值部3、极限处理部4以及插值数据插入部5。
滤波插值部3具有积和运算部6和系数存储部7。系数存储部7存储在积和运算部6中使用的系数。
积和运算部6将进行了积和运算后的结果作为数据Df输出，在该积和运算中，对从数据存储部2读出的数据Dm和系数存储部7输出的插值用低通滤波器的系数KF1 KFa进行相乘并相加。
数据Df被输入到极限处理部4。
极限处理部4输出以使数据Df收敛于数据Dm的范围内的方式进行处理后的数据，作为数据Dc。
数据Dc被输入到插值数据插入部5。
插值数据插入部5输出在数据Dm中插入了数据Dc后的数据，作为数据DO。
图2是示出搭载本发明的图像插值装置的密接图像传感器的结构的图。
密接图像传感器8具有光源9、传感器芯片串IO、 A/D转换器11以及图像插值装置l。
另外，说明了将本发明的图像插值装置搭载于密接图像传感器，如以下详细叙述的那样对传感器芯片间的连接点进行插值的情况，但是，本发明的图像插值装置不限于对密接图像传感器的连接点进行插值的情况。例如，在一维的线性传感器或二维的照相机用图像传感器中，在对由于像素缺陷而没有读取的区域进行插值的情况下，也是有效的。.
说明密接图像传感器8的动作。光源9发出的光Ls照射到原稿12。来自原稿12的反射光Lr照射到传感器芯片串10。传感器芯片串10的各受光元件对反射光Lr进行光电转换，输出与反射光Lr对应的信号Sa。
信号Sa被输入到A/D转换器11 。
A/D转换器ll对信号Sa进行A/D转换，输出数字数据DI。数据DI被输入到图像插值装置1 。
图像插值装置1输出对与传感器芯片串13的连接点对应的区域进行T插值后的数据DO。
数据DO被用作扫描仪或复印机的取入数据。说明传感器芯片串和读取数据的关系。
如图3 (a)所示，传感器芯片串IO直线状配置多个传感器芯片，该传感器芯片分别具有直线排列的多个受光元件(分别与像素对应)，因此，构成直线地、即一维地排列多个受光元件的线性传感器。具体而言，在传感器芯片串10上直线状配置k个(k为2以上的整数)传感器芯片13-1、13-2、 13-3、、 13-k。在传感器芯片13-1上直线状配置m个(m为2以上的整数)光电二极管等的受光元件14-1、 14-2、…、14-m，在传感器芯片13-2 13-k上也同样配置m个受光元件15-l 16-m。
在与传感器芯片13-l 13-k排列的方向垂直的方向上，在箭头DD所示的方向上搬送原稿12，通过受光元件14-l 16-m读取来自原稿12的反射光Lr。
但是，在传感器芯片的连接点部分不存在受光元件，所以，无法读取位于连接点部分的原稿15的反射光Lr。例如，传感器芯片13-1的右端的受光元件14-m和传感器芯片13-2的左端的受光元件15-1之间是传感器芯片的端缘部区域(框缘区域)等，不存在受光元件，所以，无法读取来自原稿12的反射光Lr。
因此，图像插值装置1根据包含传感器芯片13-1的右端的受光元件14-m和传感器芯片13-2的左端的受光元件15-1在内的传感器芯片的连接点附近的受光元件读取的数据，生成连接点部分的数据，将其插入所读取的数据的与连接点对应的部分中。并且，关于传感器芯片13-2和13-3的连接点部分等的传感器芯片串的所有连接点部分，与传感器芯片13-1和13-2的连接点同样对数据进行插值。
更详细而言，如图3 (b)所示，传感器芯片13-l 13-k上的受光元件14-l 14-m以规定间隔(像素间距)p配置在直线上，与此相对，位于相互连接的2个传感器芯片13的邻接端部的受光元件相互隔开距离p'。例如，传感器芯片13-1的右端的受光元件14-m和传感器芯片13-2的左端的受光元件15-1的距离为p'。
这里，以p'为p的大约2倍的方式配置传感器芯片，设在传感器芯片相互间存在一个缺失像素14-X来进行插值处理，由此，能够得到高品质的插值结果。因此，以下说明p'为p的2倍的情况，但是本发明不一定限于此，能够进行基于距离的插值处理。
接着，说明图像插值装置l的动作。
图4 (a)和(b)是说明数据存储部2的概略结构和动作的图。图4(a)示出传感器芯片的连接点附近的受光元件的位置关系，图4 (b)示出数据存储部2的结构。
传感器芯片串10在1次读取中能够取得原稿12的横向1行的数据，但是，A/D转换器14每次仅处理1个像素的数据，所以，数据DI从1行的数据的左端起依次输入到图像插值装置1。在图4 (a)中，按照像素La、、 L3、 L2、 Ll、 Rl、 R2、 R3、、 Ra的顺序输入。在传感器芯片的连接点没有像素，所以无法取得位置X的数据。在上述中，Ls(s=l a)相对于位置X的像素(缺失像素)位于左侧，表示从缺失像素X分开s像素间距的位置的像素，Rs (s=l a)相对于位置X的像素(缺失像素)位于右侧，表示从缺失像素X分开s像素间距的位置的像素。
如图4 (b)所示，数据存储部2使用纵向连接的多个触发器FFRa FFLa存储所输入的数据，输出存储在触发器中的连接点附近的数据DLa DRa。这里，DLa DRa对应于图1的Dm，并且分别是像素La Ra的数据。
另外，与缺失像素X对应的数据无法作为数据DI取得，在与数据DL1对应的像素Ll和与数据DR1对应的像素Rl之间，存在2个像素间距的间隔。
图5是示出连接点附近的受光元件和系数存储部7存储的系数KFs(s-l、 2、、 a)的一例的关系的图。横轴是受光元件的位置，纵轴是系数KFs的大小。受光元件L1和R1用的系数的大小为KF1，受光元件L2和R2用的系数的大小为KF2，受光元件L3和R3用的系数的大小为KF3，受光元件La和Ra用的系数的大小为KFa。这里，系数KFl KFa对应于图1的KFl KFa，利用标号KF来表示他们的集合。
另外，与缺失像素对应的系数KFO的值示出为零，但是，没有得到缺失像素的数据，所以，在积和运算部6中，不进行使用系数KFO的乘法。
在图5所示的例子中，表示系数KFs (s=l a)的图表以缺失像素X的位置为中心左右对称，数据DRs用的系数(KFs)和数据DLs用的系数(KFs)相互相等。
滤波插值部3具有进行积和运算的积和运算部6、以及存储在积和运算部6中使用的系数的系数存储部7，在积和运算部6中使用的系数如下决定，除了针对缺失像素的系数为0的情况以外，与在积和运算部6为低通滤波器时使用的系数成比例，且该系数的和为1。
优选在滤波插值部(3)中，设各周边像素与缺失像素的距离为d、第1规定常数为g时，由(sin(gxd)V(gxd)和第2规定常数之积，给出与周边像素的各个像素值相乘的系数的大小。
13积和运算部6对数据存储部2输出的数据Dm、即DLa DRa和系 数存储部10输出的系数KFl KFa进行积和运算，输出数据Df。如下给 出数据Df:
Df
=KFlxDLl+KF2xDL2+KF3xDL3+ …+KFaxDLa
+KF1 xDRl+KF2xDR2+KF3xDR3+ …+KFaxDRa。
存储在系数存储部7中的系数KFl KFa如以下详细叙述的那样决 定，除了针对缺失像素或插值对象像素的系数为0的点以外，与在积和 运算部6为低通滤波器时使用的系数成比例，且该系数的和为l。下面， 说明存储在系数存储部7中的系数KFl KFa的决定方法。
通过低通滤波器生成插值用低通滤波器，设插值用低通滤波器的系 数为系数KFl KFa。
竹先，说明低通滤波器。
图6是示出低通滤波器的系数的-,和像素的位置关系的图。横轴 是像素的位置(相对于处理对象像素的相对位置)，纵轴是与该相对位置 的像素的数据相乘的系数KSs的大小。关注像素CO的系数的大小为KSO， 像素Ll和Rl的系数的大小为KS1 ，像素L2和R2的系数的大小为KS2， 像素L3和R3的系数的大小为KS3，像素La和Ra的系数的大小为KSa。
图6所示的系数KSs的值由下述式(1)给出。
("力
在式(1)中，
KS0=2Fc/Fs …(2)
Fs是取样频率(空间频率)，等于像素间距p的倒数(1/p)， Fc是截止频率(空间频率)。
d是各周边像素(乘以系数的周边像素)与处理对象像素的距离，由像素间距P和利用像素间距数来表示该周边像素与处理对象像素的距 离后的值S之积
d=sxp=s/Fs …(3) 给出。 常数g由 g=27txFc …(4) 给出。
将式(2)、 (3)和(4)代入式(1)，改写式(1)，得到 〖数式2]
孤-(2Fc湖(，，，p… 、
(2tcx(尸c/尸j)xs)
或者 [数式3]
(5)
(6)
对关注像素CO的数据DCO、关注像素附近的像素La Ra的数据 DLa DRa和系数KS0 KSa进行积和运算时，得到关注像素CO的低通 滤波处理后的数据Dlpf (DCO)。数据Dlpf (DCO)如下
Dlpf(DCO)
=KS0xDC0
+KSlxDLl+KS2xDL2+KS3xDL3+ …+KSaxDLa
+KS1 xDRl+KS2xDR2+KS3xDR3十 …+KSaxDRa。
积和运算中使用的系数的总和为1。艮P，
KS0+KS1+KS2+KS3+
'+KSa+KS 1+KS2+KS3+
…+KSa=1。接着，说明插值用低通滤波器。
通过图6所示的低通滤波器的系数，计算图5所示的插值用低通滤 波器的系数。在图5中，无法读取连接点位置的数据，所以，在积和运 算中不使用连接点位置X的数据。因此，设图6的系数KS0为0，计算 系数KFl KFa，以使连接点位置X用的系数以外的系数的总和为1。即，
KF1-KS1/SKS
KF2=KS2/SKS
KF3=KS3/SKS
KFa=KSa/SKS 进行一般化，则 KFs=KSs/SKS
(其中， SKS
=KS 1+KS2+KS3+' '+KSa+KS 1+KS2+KS3+- '+KSa =2x(KS 1+KS2+KS3+- '+KSa))
山此，求出系数KFl KFa (即KFs (s=l、 2、…、a))。
使用具体例说明滤波插值部的动作。首先，说明具体的低通滤波器 的频率特性，接着，说明通过具体的低通滤波器的系数生成的插值用低 通滤波器的频率特性。
图7是示出在具体的低通滤波器中关注像素的周边像素相对于关注 像素的相对位置和与该周边像素的数据相乘的系数的关系的图。横轴是 位置，纵轴是系数的大小。在设关注像素CO的系数KS0的大小为0.774 的情况下，像素L1、 Rl的系数KS1的大小为0.195，像素L2、 R2的系 数KS2的大小为-0.124，像素L3、 R3的系数KS3的大小为0.054，像素 L4、 R4的系数KS4的大小为-0.013。
参照图8 (a) (c)到图ll (a) (c)，说明使用图7的低通滤 波器对8个像素周期、4个像素周期、3个像素周期、2个像素周期的数 据进行的处理(滤波)。其中，图8 (a)、图9 (a)、图10 (a)和图11(a) 相互相同，示出图7所示的具体的低通滤波器的系数，即，在这些 图中，示出位置i相对于处理对象像素的相对位置s和在低通滤波器中与 该相对位置s的数据D相乘的系数KSs的关系。图8 (b)和(c)、图9
(b) 和(c)、图10 (b)和(c)以及图11 (b)和(c)示出像素位置(利 用标号i表示处理对象像素的位置，利用标号i+s (s=-4 4)表示其附近 的像素的像素位置)和该位置的数据D的大小的关系(横轴表示像素位 置，纵轴表示数据的大小)。
图8 (a) (c)示出对8个像素周期的数据进行处理的情况。图8 (b)示出对数据的上侧峰值进行处理的情况，图8 (c)示出对数据的下 侧峰值进行处理的情况。
在图8 (b)的对位置i的数据进行处理的情况下，
根据D(i-4)=0、 D(i-3)-0.15、 D(i-2)=0.5 、 D(i-l)-0.85 、 D(i)=l 、 D(i+1)=0.85、 D(i+2)=0.5、 D(i+3)=0.15、 D(i+4)=0，
处理后的数据Dlpf(i)为
<formula>formula see original document page 17</formula>
在图8 (c)的对位置i的数据进行处理的情况下， 根据D(i-4)=1、 D(i-3)-0.85、 D(i-2)=0.5 、 D(i-l)=0.15、 D(i)=0 、 D(i+l)=0.15、 D(i+2)=0.5、 D(i+3)=0.85、 D(i+4)=1， 处理后的数据Dlpf(i)为
<formula>formula see original document page 17</formula>
因此，设数据的取样频率为Fs时，4个像素周期的数据的增益G(Fs/8)
为
Glpf(Fs/8)叫处理后的数据的振幅/输入数据的振幅l
=|(1-0)/(1-0)|=1。
图9 (a) (c)示出对4个像素周期的数据进行处理的情况。图9 (b)示出对数据的上侧峰值进行处理的情况，图9 (c)示出对数据的下 侧峰值进行处理的情况。
在图9 (b)的对位置i的数据进行处理的情况下，
根据D(i-4)=1 、 D(i-3)=0.5、 D(i-2)=0、 D(i-1)=0.5、 D(i)=l 、 D(i+1)=0.5、 D(i+2)=0、 D(i+3)=0.5、 D(i+4)=1，
处理后的数据Dlp抑为
Dlpf(i)
=-0.013x1+0.054x0,5-0.124x0+0.195x0.5 +0.774x1
+0.195x0.5-0,124x0+0.054x0.5-0.013xl=1。
在图9 (c)的对位置i的数据进行处理的情况下， 根据D(i-4)=0、 D(i-3)=0.5、 D(i-2)=1 、 D(i-1)=0.5、 D(i)=0、 D(i+1)=0.5、 D(i+2)=1、 D(i+3)=0.5、 D(i+4)=0， 处理后的数据Dlpf(i)为 Dlpf(i)
=-0.013x0+0.054x0.5-0.124x1+0.195x0.5 +0.774x0
+0.195x0.5-0.124xl+0.054x0.5-0.013x0=0。
因此，4个像素周期的数据的增益Glpf(Fs/4)为 Glpf(Fs/4)
叫处理后的数据的振幅/输入数据的振幅l
叫(i-oy(卜o)i =i。图10 (a) (c)示出对3个像素周期的数据进行处理的情况。图
10 (b)示出对数据的上侧峰值进行处理的情况，图10 (c)示出对数据 的下侧峰值进行处理的情况。
在图IO (b)的对位置i的数据进行处理的情况下， 根据D(i-4)=0.25、 D(i-3)=1、 D(i-2)=0.25、 D(i-1)=0.25、 D(i)-l 、 D(i+l)-0.25、 D(i+2)=0.25、 D(i+3)=1、 D(i+4)=0.25， 处理后的数据Dlpf(i)为 Dlp抑
=-0.013x0.25+0.054xl-0.124x0.25+0.195x0.25 +0,774x1
+0.195x0.25-0.124x0.25+0.054x 1-0.013x0.25 =0.91。
在图IO (c)的对位置i的数据进行处理的情况下， 根据D(i-4)=0.75、 D(i-3)=0、 D(i-2)=0.75、 D(i-1)=0.75、 D(i)=0、 D(i+I)=0.75、 D(i+2)=0.75、 D(i+3)=0、 D(i+4)=0.75， 处理后的数据Dlpf(i)为 Dlpf(i)
=-0.013x0.75+0.054x0-0.124x0.75+0.195x0.75 +0.774x0
+0.195x0.75-0.124x0.75+0.054x1-0.013x0.75 =0.09。
因此，3个像素周期的数据的增益Glpf(Fs/3)为 GIpf(Fs/3)
叫处理后的数据的振幅/输入数据的振幅l
叫(0.91-0.09)/(1國0)|
=0.82。
图11 (a) (c)示出对2个像素周期的数据进行处理的情况。图
11 (b)示出对数据的上侧峰值进行处理的情况，图11 (c)示出对数据 的''卜'侧峰位进行处理的情况。
19在图ll (b)的对位置i的数据进行处理的情况下，
根据D(i-4)=1、 D(i-3)=0、 D(i-2)=1、 D(i-1)=0、 D(i)=l、 D(i+1)=0、 D(i+2)=1、 D(i+3)=0、 D(i+4)=1， 处理后的数据Dlp代i)为 Dlpf(i)
=-0.013xl+0.054x0-0.124xl+0.195x0 +0.774x1
+0.195x0-0.124x1+0.054x0-0.013x1 =0.5。
在图ll (c)的对位置i的数据进行处理的情况下， 根据D(i-4)=0、 D(i-3)=1、 D(i-2)=0、 D(i-l)=l、 D(i)=0、 D(i+l)=l、 D(i+2)=0、 D(i+3)=1、 D(i+4)=0， 处理后的数据Dlpf(i)为 D柳
=-0.013x0+0.054x1-0.124x0+0.195x1 +0,774x0
+0.195x1-0.124x0+0.054x1-0.013x0 =0.5。
因此，2个像素周期的数据的增益Glpf(Fs/2)为 Glpf(Fs/2)
叫处理后的数据的振幅/输入数据的振幅l
=|(0.5-0.5)/(l-0)|=0。
以上，说明了对数据的峰值进行处理的情况，但是，峰值以外的部 分也同样进行处理。
图12是示出图7的低通滤波器的频率特性的图。横轴是频率，纵轴 是增益。如图8 (a) (c)到图11 (a) (c)所示，图7的低通滤波 器在8个像素周期中，增益Glpf(Fs/8)=l，在4个像素周期中，增益G (Fs/4)=1，在3个像素周期中，增益G(Fs/3)-0.82，在2个像素周期中，增益G(Fs/2)-0。
图13是示出由图7的具体的低通滤波器计算出的插值用低通滤波器 的系数的大小的图。横轴是相对于缺失像素(插值对象像素)的相对位 置，纵轴是与该相对位置的像素的数据相乘的系数的大小。
说明根据图7的具体的低通滤波器决定插值用低通滤波器的系数的 方法。
设图7的关注像素CO的系数为0，像素L1 L4和R1 R4的系数 之和为1。系数KF1 KF4为 KF1
=KS1/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4) =0.195/(0.195-0.124+0.054-0.013
+0.195-0.124+0.054-0.013)
=0.870 KF2 =KS2/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4) =-0.124/(0.195-0.124+0.054-0.013
+0.195-0.124+0.054-0.013)
=-0,553 KF3
=KS3/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4) =0.054/(0.195-0.124+0.054-0.013
+0.195-0.124+0.054-0.013)
=0.241 KF4
=KS4/(KS1+KS2+KS3+KS4+KS1+KS2+KS3+KS4) =國0.013/(0.195-0.124+0.054-0.013
+0.195-0.124+0.054-0.013)
=-0.058
参照图14 (a) (c)到图17 (a) (c)，说明使用图13的插值用低通滤波器对8个像素周期、4个像素周期、3个像素周期、2个像素 周期的数据的连接点的像素i进行插值的处理。其中，图14 (a)、图15 (a)、图16 (a)和图17 (a)相互相同，示出图13所示的具体的插值用 低通滤波器的系数KFs。目卩，在这些图中，示出位置i相对于插值对象像 素的相对位置s和在插值用低通滤波器中与该相对位置s的数据D相乘 的系数KFs的关系。图14 (b)和(c)、图15 (b)和(c)、图16 (b) 和(c)以及图17 (b)和(c)示出像素位置(利用标号i表示插值对象 像素的位置，利用标号i+s (s=-4 4)表示其附近的像素的像素位置)和 该位置的数据D的大小的关系(横轴表示像素位置，纵轴表示数据的大 小)。
图14 (a) (c)示出对8个像素周期的数据进行处理的情况。图 14 (b)示出对数据的上侧峰值进行处理的情况，图14 (c)示出对数据 的下侧峰值进行处理的情况。
在图14 (b)的对位置i的数据进行插值的情况下，
根据D(i-4)-0、 D(i-3)=0.15、 D(i-2)=0,5、 D(i-1)=0.85、 D(i+1)=0.85、 D(i+2)=0.5、 D(i+3)=0.15、 D(i+4)=0，
插值数据Df(i)为
Df(i)
=-0.058x0+0.241x0.15-0.553x0.5+0.870x0.85 +0-870x0,85-0.553x0,5+0.241x0.15-0.058x0 =0.9983。
在图14 (c)的对位置i的数据进行插值的情况下， 根据D(i國4一l、 D(i-3)=0.85、 D(i-2)=0.5、 D(i-l)=0.15、 D(i+l)=0.15、 D(i+2)=0.5、 D(i+3)=0.85、 D(i+4)=1， 插值数据Df(i)为 Df(i)
=-0.058xl+0.241x0.85-0.553x0.5+0.870x0.15 +0.870x0.15-0,553x0.5+0.241x0.85-0.058xl =0.0017。因此，8个像素周期的数据的增益Gf(Fs/8)为 Gf(Fs/8)
叫处理后的数据的振幅/输入数据的振幅l
=|(0.9983-0.0017)/(1-0)|
=0,9966。
图15 (a) (c)示出对4个像素周期的数据进行处理的情况。图 15 (b)示出对数据的上侧峰值进行处理的情况，图15 (c)示出对数据 的下侧峰值进行处理的情况。
在图15 (b)的对位置i的数据进行插值的情况下，
根据D(i-4)-l、D(i-3^0.5、D(i-2)-0、D(i曙l)-0.5、D(i+l)-0.5、D(i+2)-0、 D(i+3)=0.5、 D(i+4)=1，
插值数据Df(i)为
Df(i)
=-0.058xl+0.241x0.5-0.553x0+0.870x0.5 +0.870x0.5-0.553x0+0.241x0.5-0.058xl =0.995。
在图15 (c)的对位置i的数据进行插值的情况下， 根据D(i画4"0、D(i-3^0.5、D(i-2)-l、D(i-l)-0.5、D(i+l"0.5、D(i+2)-l、 D(i+3)=0,5、 D(i+4)=0， 插值数据Df(i)为 Df(i)
=-0.058x0+0.241x0,5-0.553xl+0.870x0.5 +0.870x0.5-0.553xl+0.241x0.5-0，058xO =0.005。
因此，4个像素周期的数据的增益Gf(Fs/4)为 Gf(Fs/4)
叫处理后的数据的振幅/输入数据的振幅l
=|(0.995-0.005)/(l-0)|
=0.99。图16 (a) (c)示出对3个像素周期的数据进行处理的情况。图
16 (b)示出对数据的上侧峰值进行处理的情况，图16 (c)示出对数据 的下侧峰值进行处理的情况。
在图16 (b)的对位置i的数据进行插值的情况下， 根据D(i-4)-0.25、 D(i-3)=1、 D(i-2)=0.25、 D(i-1)=0.25、 D(i+1)=0.25、 D(i+2)=0.25、 D(i+3)=1、 D(i+4)=0.25， 插值数据DO(i)为 DO(i)
=-0.058x0.25+0,241xl-0.553x0,25+0.870x0.25 +0.870x0.25-0.553x0.25+0.241x1-0.058x0.25 =0.6115。
在图16 (c)的对位置i的数据进行插值的情况下， 根据D(i-4)-0.75、 D(i-3)=0、 D(i-2)=0.75、 D(i-1)=0.75、 D(i+1)=0.75、 D(i+2)=0.75、 D(i+3)=0、 D(i+4)=0.75， 插值数据DO(i)为 DO(i)
=-0.058x0,75+0.241x0-0.553x0.75+0.870x0.75 +0.870x0.75-0.553x0.75+0.241x0-0.058x0.75 =0.3885。
因此，3个像素周期的数据的增益Gf(Fs/3)为 Gf(Fs/3)
叫处理后的数据的振幅/输入数据的振幅l
=|(0.6115-0.3885)/(l-0)|
=0.223。
图17 (a) (c)示出对2个像素周期的数据进行处理的情况。图
17 (b)示出对数据的上侧峰值进行处理的情况，图17 (c)示出对数据 的下侧峰值进行处理的情况。
在图17 (b)的对位置i的数据进行插值的情况下，计算插值数据 D0(i-1)时，根据D(i-4)=1、 D(i-3)=0、 D(i-2)=1、 D(i-1)=0、 D(i+1)=0、
24D(i+2)=1、 D(i+3)=0、 D(i+4)=1， 插值数据Df(i)为 Df(i)
=-0.058x1+0.241x0-0.553x1+0.870x0 +0.870x0-0.553xl+0.241x0-0.058xl =-1.222。
在图17 (c)的对位置i的数据进行插值的情况下， 根据D(i命O、 D(i-3)=1、 D(i-2)=0、 D(i-l)=l、 D(i+l)=l、 D(i+2)=0、 D(i+3)=1、 D(i+4)=0， 插值数据Df(i)为 Df(i)
=-0.058x0+0.241x1-0.553x0+0.870x1 +0.870xl-0.553x0+0.241xl-0.058x0 =2.222。
因此，2个像素周期的数据的增益Gf(Fs/2)为 G《Fs/2)
叫处理后的数据的振幅/输入数据的振幅！
=|(-1.222-2.222)/(l-0)| =3.444。
图18是示出图13的插值用低通滤波器的频率特性的图。横轴是频 率，纵轴是增益。如图14 (a) (c)到图17 (a) (c)所示，图13 的插值用低通滤波器在8个像素周期中，增益G(Fs/8)=0.9966，在4个像 素周期中，增益G(Fs/4)=0.99，在3个像素周期中，增益G(Fs/3)=0.223， 在2个像素周期中，增益G (Fs/2)=3.44 。
在图6所示的低通滤波器的增益为1的频率范围内，插值用低通滤 波器的增益为1，但是，在增益小于l的频率范围内，特性与图6所示的 低通滤波器不同。特别地，频率增高时，增益大于l。
在图6所示的低通滤波器的增益为1的频率范围内，滤波插值部3 能够良好地进行插值。另一方面，在增益不是1的频率范围内，无法良好地进行插值。
说明极限处理部4的动作。极限处理部4计算数据Dm的最大值max (Dm)和最小值min (Dm)，如果滤波插值部3输出的数据Df大于max (Dm)，则输出Dc-max (Dm)，如果数据Df小于min (Dm)，则输出
Dc=min (Dm)，如果数据Df在min (Dm)以上且在max (Dm)以下，
则输出Dc=Df。
例如，在图17 (a) (c)所示的2个像素周期的数据中，根据 max(Dm)-l、 min(Dm)-0，在对图17 (b)的位置i进行插值的情况下， 插值数据Df (i) =2.222，所以Dc (i) =1,在对图17 (c)的位置i进行 插值的情况下，插值数据Df (i) =-1.222，由此Dc (i) =0。
通过将滤波插值部3输出的数据Df限制在数据Dm的范围内，即使 在对频率高的数据进行插值的情况下，也能够抑制插值误差。
以上说明了通过硬件进行插值的情况，但是，也可以通过软件或软 件和硬件的组合来进行插值。
图19是示出这种结构中的处理的顺序的流程图。
在步骤ST11中，存储缺失像素附近的数据Dm。
在步骤ST12中，使用数据Dm和根据如上所述决定的低通滤波器的 系数决定的系数KF，进行积和运算，生成数据Df。
在歩骤ST13 11'，生成将数据Df限制在数据Dm的范围内的数据Dc。
在步骤ST14中，生成在数据Dm的与连接点对应的位置插入了数据 Dc后的数据DO。
图1中详细示出了各个步骤中的处理内容，所以这里省略说明。 实施方式2
图20是示出本发明的实施方式2的图像插值装置的结构的图。本发 明的实施方式2的图像插值装置具有数据存储部2、滤波插值部3、第 1平均维持插值部17-1、第2平均维持插值部17-2、第n平均维持插值 部17-n、选择控制部21、输出部20以及插值数据插入部5。选择控制部 21具有评分部18和管理部19。
图像数据DI被输入到数据存储部2，数据存储部2使用触发器等存储一定范围的数据，并输出一定范围的数据Dm。数据Dm被输入到滤波 插值部3、第1平均维持插值部17-1、第2平均维持插值部17-2、、 第n平均维持插值部17-n、评分部18。
滤波插值部3根据数据Dm，输出试验插值数据TD0和插值候选数 据D0。试验插值数据TD0被输入到评分部18,插值候选数据DO被输入 到输出部20。第1平均维持插值部17-1根据数据Dm，输出试验插值数 据TD1和插值候选数据Dl，第2平均维持插值部17-2根据数据Dm， 输出试验插值数据TD2和插值候选数据D2，第n平均维持插值部17-n 根据数据Dm，输出试验插值数据TDn和插值候选数据Dn，试验插值数 据TD1、 TD2、 TDn被输入到评分部18，插值候选数据D1、 D2、 Dn被 输入到输出部20。
评分部18使用对应的数据Dm对试验插值数据TD0 TDn进行评 分，输出评分数据MO Mn。评分数据M0 Mn被输入到管理部19。管 理部19根据评分数据M0 Mn选择插值候选数据，输出选择信号C。选 抒信号C被输入到输出部20。输出部20根据选择信号C，从插值候选数 据DO Dn屮进行选择，输出数据Dz。数据Dz被输入到插值数据插入 部5。插值数据插入部5输出在数据Dm中插入了数据Dc后的数据，作 为数据DO。
说明平均维持插值部17-l 17-n。
图21是用于说明平均维持插值部的动作的图。平均维持插值部 17-l 17-n分别计算缺失像素X的数据，以使包含缺失像素X的像素串 LC和不包含缺失像素X的像素串NA和NB的平均值相等。更详细而言， 将缺失像素的值作为未知数X，以使由该缺失像素的周边像素构成的第1 组的像素(属于像素串LC的像素)的值的平均值和位于缺失像素周边且 由缺失像素以外的像素构成的第2组的像素(属于像素串NA、 NB的像 素)值的平均值一致的方式，决定缺失像素的值。即，以满足
(U+.. .+LJ+X+R1+.. .+Rj)/k
=((L1+.. .+Lk)/k+(Rl+.. ,+Rk)/k)/2
的方式，计算X (j为正整数)。这里，k是像素串NA的像素数，该k的值在多个平均维持插值部 17-l 17-n相互间不同。例如，在第1平均维持插值部17-1中k=2，在 第2平均维持插值部17-2中k=3，在第n平均维持插值部17-n中k=n+l 。
j与k之间具有如下关系
2j+l=k，即，
j=(k-l)/2。
使用具体例进行说明。
图22是用于说明k=3时的平均维持插值部17-2的动作的图。平均 维持插值部17-2计算缺失像素X的数据，以使包含缺失像素X的像素串 LC和不包含缺失像素X的像素串NA和NB的平均值相等。艮P，
根据(L1+X+R1)/3
=((Ll+L2+L3)/3+(Rl+R2+R3)/3)/2，
成为
X=((-Ll+L2+L3)+(-Rl+R2+R3))/2。
图23是示出使用k=3的平均维持插值部17-2对3个像素周期的数 据进行处理时的参照范围的图。横轴是位置，纵轴是数据的大小。在将 位置i的数据作为缺失像素X进行处理的情况下，将位置i-l、 i、 i+l设 定为包含缺失像素的像素串LC，将位置i-3、 i-2、 i-l设定为不包含缺失 像素的像素串NA，将位置i+l、 i+2、 i+3设定为不包含缺失像素的像素 串NB。
根据D(i-3)=1、 D(i-2)=0.25、 D(i-1)=0.25、 D(i+1)=0.25、 D(i+2)=0.25、 D(i+3)=1， 成为
X=((-Ll+L2+L3)+(-Rl+R2+R3))/2 =((-D(i-l)+D(i-2)+D(i-3))
+(-D(i+l)+D(i+2)+D(i+3)))/2 =((-0.25+0.25+l)+(-0.25+0.25+l))/2=1。
阁24是示出使用k=3的平均维持插值部17-2对4个像素周期的数
28据进行处理时的参照范围的图。横轴是位置，纵轴是数据的大小。在将
位置i的数据作为缺失像素X进行处理的情况下，将位置i-l、 i、 i+l设 定为包含缺失像素的像素串LC，将位置i-3、 i-2、 i-l设走为不包含缺失 像素的像素串NA，将位置i+l、 i+2、 i+3设定为不包含缺失像素的像素 串NB。
根据D(i-3)=0.5、 D(i-2)=1、 D(i-1)=0.5、 D(i+1)=0.5、 D(i+2)=1 、 D(i+3)=0.5， 成为
X=((-Ll+L2+L3)+(-Rl+R2+R3))/2 =((-D(i-l)+D(i-2)+D(i-3》
+(-D(i+l)+D(i+2)+D(i+3)))/2 =((-0.5+l+0.5)+(-0.5+l+0.5))/2 =1。
在3个像素周期的数据中，位置i的期待值数据为1， k=3的平均维 持插值部17-2计算正确的插值数据，但是，在4个像素周期的数据中， 位置i的期待值数据为0， k=3的平均维持插值部17-2没有计算正确的插 值数据。这样，平均维持插值部17-2的能够良好地进行插值的像素值的 变化周期(或空间频率)根据k的值而改变。相反而言，各个平均维持 插值部17-l 17-n的k的值(像素串LC的像素数)根据期待良好地(即 高精度地)进行插值的像素值的变化的空间频率来决定。
说明评分部18的动作。
如上所述，评分部18根据试验插值数据TD0 TDn和从存储部得到 的数据Dm进行评分。
试验插值数据TDO TDn针对缺失像素附近的非缺失像素由滤波插 值部3计算，试验插值数据TDl TDn由平均维持插值部17-l 17-n计 算。
图25是示出计算试验插值数据的像素(试验插值像素)和缺失像素 的位置关系的图。将试验插值像素设定在缺失像素的附近，滤波插值部3 和各个平均维持插值部17-l 17-n将所设定的试验插值像素假设地视为缺失像素，利用与缺失像素的插值相同的方法进行插值来计算插值数据,
作为试验插值数据。评分部18将试验插值数据TD0 TD和关于试验插 值像素的实际值(存储在数据存储部2中的值)的差分作为插值误差， 输出表示插值误差的评分数据。
例如，在将L5设定为试验插值像素、并使用k=3的平均维持插值部 17-2计算试验插值数据的情况下，将L4 L6设定为包含缺失像素的像素 串LC，将L6 L8设定为不包含缺失像素的像素串NA，将L2 L4设定 为不包含缺失像素的像素串NB，来计算L5的位置的插值数据。
说明管理部19的动作。
图26是示出试验插值像素Tl Tm与滤波插值部3、第1平均维持 插值部17-1、第2平均维持插值部17-2、第n平均维持插值部17-n的评 分数据MO Mn的关系的图。在缺失像素附近设定多个试验插值像素的 情况下，通过评分部3计算滤波插值部3的评分数据MO[Tl] MO[Tm]。 第1平均维持插值部17-1 第n平均维持插值部17-n也同样计算评分数 据Ml Mn。
管理部19对滤波插值部的评分数据进行合计，计算合计数据SO。 合计数据SO是评分数据MO[Tl] MO[Tm]之和。即， S0=M0[T1]+M0[T2]+.. ，+MO[Tm]。
第1平均维持插值部17-1 第n平均维持插值部17-n的合计数据 Sl Sn也同样，
S 1=M1 [T1]+M1 [T2]+.. '+M1 [Tm] S2=M2[T1]+M2[T2]+., ,+M2[Tm]
Sn-Mn[Tl]+Mn[T2]+., ,+Mn[Tm]
使用合计数据最小的插值方法、即缺失像素附近的插值误差(关于 缺失像素附近的多个试验插值像素的插值误差的合计)最小的插值方法， 对缺失像素进行插值。管理部19选择合计数据SO Sn中最小的合计数 据，输出表示作为最小的合计数据的插值方法的选择信号C。
使用具体例说明本发明的实施方式2的图像插值装置的动作。图27是作为插值方法而示出具有滤波插值部3、第1平均维持插值 部17-1、第2平均维持插值部17-2的本发明的实施方式2的图像插值装 置的结构的图。
第1平均维持插值部17-1是k-2的平均维持插值部，计算缺失像素 的数据，以使包含缺失像素的3个像素的平均值和不包含缺失像素的3 个像素的平均值相等。
第2平均维持插值部17-2是k=3的平均维持插值部，计算缺失像素 的数据，以使包含缺失像素的2个像素的平均值和不包含缺失像素的2 个像素的平均值相等。
图28是在具体例中示出试验插值像素和缺失像素的位置关系的图。 设位于缺失像素X左侧的像素L6为T1、 L5为T2，位于缺失像素X右 侧的像素R5为T3、 R6为T4。
说明使用图27的图像插值装置对4个像素周期的数据进行插值的情况。
图29是对位置i的像素进行插值时的4个像素周期的数据。设位置 i-6为Tl、 i-5为Tl、 i+5为T3、 i+6为T4。
滤波插值部3输出T1 T4的试验插值数据TD0和位置i的插值候 选数据D0。设在滤波插值部3的系数存储部7中存储有图13的系数进 行说明。试验插值数据TD0[T1] TD0[T4]根据
DI(i-10)=1 、 DI(i-9)=0,5 、 DI(i-8)=0、 DI(i-7)=0.5 、 DI(i-6)=l 、 DI(i-5>=0.5 、 DI(i-4)=0、 DI(i-3)=0.5、 DI(i-2)=l、 DI(i-l)=0.5、 DI(i+l)=0.5、 DI(i+2)=l、 DI(i+3)=0.5、 DI(i+4)=0、 DI(i+5)=0.5、 DI(i+6)=l、 DI(i+7)=0.5、 DI(i+8)=0、 DI(i+9)=0.5、 DI(i+10)=l，
成为
TDO[Tl]
=-0.058xl+0.241x0.5-0.553x0+0.870x0.5 +0.870x0.5-0.553xO+0.241x0.5-0.058xl =0.995 TD0[T2]=-0.058x0.5+0.241x0-0.553x0.5+0.870x1 +0.870x0-0.553x0.5+0.241x1-0.058x0.5 =0.5
TD0[T3〗
=-0,058x0.5+0.241xl-0.553x0.5+0.870x0 +0.870x1-0.553x0.5+0.241x0-0.058x0.5 =0.5 TD0[T4]
=-0.058xl+0.241x0.5-0.553x0+0.870x0.5 +0.870x0.5-0.553x0+0.241x0.5-0.058xl =0.995。
插值候选数据DO为 DO
=-0.058x0+0.241x0.5-0.553x1+0.870x0.5 +0.870x0.5-0.553x1+0.241x0.5-0.058x0 =0.005。
第1平均维持插值部17-1输出T1 T4的试验插值数据TD1和位置 i的插值候选数据Dl 。试验插值数据TD1[T1] TD1[T4]为 TD1 [Tl]=(0+0,5+0-0.5)/2=0 TDl[T2]=(0.5+l+0.5-0)/2=l TDl[T3]=(0.5+0+0.5-l)/2=0 TD1 [T4]=(0+0.5+0-0.5)/2=0。 插值候选数据Dl为 Dl=(l+0.5+l-0.5)/2=l。
第2平均维持插值部17-2输出T1 T4的试验插值数据TO2和位置 i的插值候选数据D2。试验插值数据TD2[T1] TO2[T4]为 TD2[Tl]=(0.5+0+0+0.5-0.5-0.5)/2=0 TD2[T2]=(0+0,5+0.5+l-l-0)/2=0.5 TD2[T3]=(l+0.5+0.5+0-0-l)/2=0.5
32TD2[T4]=(0.5+0+0+0.5-0.5-0.5)/2=0。 插值候选数据Dl为 D2=(0.5+l+l+0.5-0.5-0.5)/2=l 。
图30是对评分部18输出的评分数据和管理部19生成的合计数据进 行总结的表。滤波插值部3的评分数据M0[T1] M0[T4]为 M0[Tl]=|TD0[Tl]-DI(i-6)|=|0.995-l|=0.005 M0[T2]=|TD0[T2]-DI(i-5)|=|0.5-0.5|=0 M0[T3]=|TD0[T3]-DI(i+5)|=|0.5-0.5|=0 M0[T4]=lTD0[T4]-DI(i+6)|=|0.995-l|=0.005。
因此，合计数据so为
S0=M0[T1]+M0[T2〗+M0[T3]+M0[T4] =0.005+0+0+0.005 =0.01。
第1平均维持插值部17-1的评分数据M1[T1] M1[T4]为
Ml[Tl〗=|TDl[Tl〗-DI(i-6)|=|0-l|=l
Ml [T2]叫TD1 [T2]-DI(i-5)l叫1-0.5—0.5
Ml [T3]叫TD1 [T3]-DI(i+5)|=|0-0.5|=0.5
Ml [T4]叫TD1 [T4]-DI(i+6)|=|0-l |=1 。
因此，合计数据Sl为
S1=M1 [T1]+M1 [T2]+M1 [T3]+M1 [T4]
=1+0.5+0.5+1=3。
第2平均维持插值部17-2的评分数据M2[T1] M2[T4]为
M2[Tl]=|TD2[Tl]-DI(i-6)|=|0-l|=l
M2[T2]=|TD2[T2]-DI(i-5)|=|0.5-0.5|=0
M2[T3〗=|TO2[T3〗-DI(i+5)|=|0.5-0.5—0
M2[T4]=|TD2[T4]-DI(i+6)|=|0-l|=l。
因此，合计数据S1为
S2=M2[T1]+M2[T2]+M2[T3]+M2[T4]
33=1+0+0+1 =2。
管理部19选择合计数据最小的滤波插值部3，输出表示选择滤波插 值部3输出的插值候选数据DO的选择信号C。
输出部20根据选择信号C，输出滤波插值部3输出的插值候选数据 D0=0，作为数据Dz。
插值数据插入部5输出在位置i对数据Dz=0进行插值后的数据DO。 位置i的期待值为0，所以，插值候选数据D0=0、 Dl=l、 D2=l中插值 候选数据DO的插值误差最小。
说明使用图27的图像插值装置对3个像素周期的数据进行插值的情况。
图31是对位置i的像素进行插值时的3个像素周期的数据。设位置 i-6为Tl、 i-5为Tl、 i+5为T3、 i+6为T4。
滤波插值部3输出T1 T4的试验插值数据TOO和位置i的插值候 选数据DO。设在滤波插值部3的系数存储部7中存储有图13的系数进 行说明。试验插值数据TD0[T1] TD0[T4]根据
DI(i-10)=0.75、 DI(i-9)=0、 DI(i-8)=0.75 、 DI(i-7)=0.75、 DI(i-6)=0、 DI(i-5)=0.75 、 Dl(i-4)=0.75 、 DI(i-3)=0 、 DI(i-2)=0.75 、 DI(i-l)=0.75 、 DI(i+l)=0.75、 DI(i+2)=0.75 、 DI(i+3)=0、 DI(i+4)=0.75 、 Dl(i+5)=0.75 、 DI(i+6)=0、 DI(i+7)=0,75、 DI(i+8)=0.75、 DI(i+9)=0、 DI(i+10)=0.75，
成为
TDO[Tl]
=-0.058x0.75+0.241x0-0.553x0.75+0.870x0.75 +0.870x0.75-0.553x0.75+0.241x0-0.058x0.75 =0.3885 TD0[T2]
=-0.058x0+0.241 x0.75-0.553x0.75+0.870x0
+0.870x0.75-0.553x0+0.241x0.75-0.058x0.75 =0.55575TD0[T3]
=-0.058x0.75+0.241x0.75-0.553x0+0.870x0.75 +0.870x0-0.553x0.75+0.241x0.75-0.058x0 =0.55575 TD0[T4]
=-0.058x0.75+0.241x0-0.553x0.75+0.870x0.75 +0.870x0.75-0，553x0.75+0.241x0-0.058x0.75 =0.3885。
插值候选数据DO为 DO
=-0,058x0.75+0.241 xO國0.553 x0+.75+0.870x0.75
+0.870x0.75-0.553x0.75+0.241x0-0.058x0.75 =0.3885。
第1平均维持插值部17-1输出T1 T4的试验插值数据TDl和位置 i的插值候选数据Dl 。试验插值数据TD1[T1] TD1[T4]为 TDl[Tl〗=(0.75+0'75+0.75-0.75)/2=0.75 TDl [T2]=(0.75+0+0-0.75)/2=0 TDl [T3]=(0+0.75+0.75-0)/2=0.75 TDl [T4]=(0.75+0.75+0.75-0.75)/2=0.75 。 插值候选数据Dl为 Dl=(0.75+0.75+0.75-0.75)/2=0.75 。
第2平均维持插值部17-2输出T1 T4的试验插值数据TD2和位置 i的插值候选数据D2。试验插值数据TO2[T1] TD2[T4]为 TD2[Tl]=(0+0.75+0.75+0-0.75-0.75)/2=0 TD2[T2]=(0.75+0.75+0+0.75-0-0.75)/2=0.75 TD2[T3]=(0.75+0+0.75+0.75-0.75-0)/2=0.75 TD2[T4]=(0+0.75+0.75+0-0.75-0.75)/2=0。 插值候选数据D2为 D2=(0+0.75+0.75+0-0.75-0.75)/2=0。图32是对评分部18输出的评分数据和管理部19生成的合计数据进 行总结的表。滤波插值部3的评分数据M0[T1] M0[T4]为 M0[Tl]=|TO0[Tl]-DI(i-6)| =|0.3885-0|=0.3885 M0[T2]=|TD0[T2]-DI(i-5)|
=|0.55575-0.75|=0.19425 M0[T3]=|TD0[T3]-DI(i+5)|
叫0.55575-0.75|=0.19425 M0[T4]=|TD0[T4]-DI(i+6)| =|0.3885-0|=0.3885。 因此，合计数据SO为 S0=M0[T1]+M0[T2]+M0[T3]+M0[T4] =0.3885+0.19425+0.19425+0.3885 =1.1655。
第1平均维持插他部17-1的评分数据M1[T1] M1[T4]为 M1[T1]=|TD1[T1]-Dl(i-6)|
叫0.75-0|=0.75 Ml [T2]叫TD1 [T2]-DI(i-5)|
=|0-0.75|=0.75 Ml[T3]=|TDl[T3]-DI(i+5)|
=|0.75-0.75|=0 Ml [T4]叫TD1 [T4]卿+6)1
=|0,75画0|=0.75。 因此，合计数据S1为 S 1=M1 [T1]+M1 [T2〗+M1 [T3]+M1 [T4] =0.75+0.75+0+0.75 =2.25。
第2平均维持插值部17-2的评分数据M2[T1] M2[T4]为 M2[Tl]=|TD2[Tl]-DI(i-6)|=|0-0|=0
36M2[T2]=|TD2[T2]-DI(i-5)|=|0,75-0.75|=0 M2[T3]叫TD2[T3]-DI(i+5)H0.75-0.75卜0 M2[T4]=|TD2[T4]-DI(i+6)|=|0-0|=0。 因此，合计数据S1为 S2=M2[T1]+M2[T2]+M2[T3]+M2[T4]
=0+0+0+0=0。
管理部19选择合计数据最小的第2平均维持插值部17-2，输出表示 选择第2平均维持插值部17-2输出的插值候选数据D2的选择信号C。
输出部20根据选择信号C，输出第2平均维持插值部17-2输出的 插值候选数据D2-0，作为数据Dz。
插值数据插入部5输出在位置i对数据DzH)进行插值后的数据DO。 位置i的期待值为O，所以，插值候选数据D0=0.3885、 Dl=0.75、 D2=0 中插值候选数据D2的插值误差最小。
说明使用图27的图像插值装置对2个像素周期的数据进行插值的情况。
阁33是对位置i的像素进行插值时的2个像素周期的数据。设位置 i-6为Tl、 i-5为Tl、 i+5为T3、 i+6为T4。
滤波插值部3输出T1 T4的试验插值数据TDO和位置i的插值候 选数据DO。设在滤波插值部3的系数存储部7中存储有图13的系数进 行说明。试验插值数据TD0[T1] TD0[T4]根据
DI(i-10)=0、 DI(i-9)=l、 DI(i-8)=0、 DI(i-7)=l、 DI(i-6)=0、 DI(i-5)=l、 DI(M)=0、 DI(i-3)=l、 DI(i-2)=0、 DI(i-l)=l 、 DI(i+l)=l 、 DI(i+2)=0、 DI(i+3)=l、 DI(i+4)=0、 DI(i+5)=l、 DI(i+6)=0、 DI(i+7)=l 、 DI(i+8)=0、 DI(i+9)=l、 DI(i+10)=0，
成为
TDO[Tl]
=-0.058x0+0.241 x l-0.553x0+0.870x 1 +0.870x1-0.553x0+0.241x1-0.058x0=2.222 TD0[T2]
=-0.058xl+0.241x0-0.553xl+0.870x0 +0.870x0-0.553x1+0.241x0-0.058x1 =-1.222 TD0[T3]
=-0.058xl+0.241x0-0.553xl+0.870x0 +0.870x0-0.553x1+0.241x0-0.058x1
=-1.222 TD0[T4]
=-0.058 xO+0.241 x 1 -0.553 x0+0.870x 1 +0.870x1-0.553x0+0.241x1-0.058x0 =2.222。
插值候选数据DO为 DO
=-0.058x0+0.241xl-0.553x0+0.870xl +0.870xl-0.553x0+0.241xl-0.058x0 =2,222。
第1平均维持插值部17-1输出T1 T4的试验插值数据TD1和位置 i的插值候选数据Dl 。试验插值数据TD1[T1] TD1[T4]为 TDl[Tl]=(0+l+0-l)/2=0 TDl[T2]=(l+0+l-0)/2=l TDl[T3〗=(l+0+l-0)/2=l TDlT4]=(0+l+0-l)/2=0。 插值候选数据Dl为 Dl=(0+l+0-l)/2=0。
第2平均维持插值部17-2输出T1 T4的试验插值数据TD2和位置 i的插值候选数据D2。试验插值数据TD2[T1] TD2[T4]为 TD2[Tl]=(l+0+0+l-l-l)/2=0TD2[T2]=(0+l+l+0-0-0)/2=l TD2[T3]=(0+l+l+0-0-0)/2=l TD2[T4]=(l+0+0+l-l-l)/2=0。 插值候选数据Dl为 D2=(l+0+0+l-l-l)/2=0。
图34是对评分部18输出的评分数据和管理部19生成的合计数据进 行总结的表。滤波插值部3的评分数据M0[T1] M0[T4]为 M0[Tl]=|TD0[Tl]-DI(i-6)|
=|2.222-0|=2.222 M0[T2]=|TD0[T2]-DI(i-5)|
=|画1.222-1|=2.222 M0[T3]=|TD0[T3]-DI(i+5)|
=|画1.222-1|=2.222 M0[T4]=|TD0[T4]-DI(i+6)|
=|2.222-0|=2.222。 因此，合计数据SO为 S0=M0[T1]+M0[T2]+M0[T3]+M0[T4] =2.222+2.222+2.222+2.222 =8.888。
第1平均维持插值部17-1的评分数据M1[T1] M1[T4]为
M1[T1]=|TD1[T1]-Dl(i-6)|=|0-0|=0
Ml[T2]=|TDl[T2]-DI(i-5)|=|l-l|=0
Ml [T3]叫TD1 [T3]-DI(i+5)|=| 1-11=0
Ml [T4]叫TO1 [T4]-DI(i+6)|=|0-0|=0 。
因此，合计数据Sl为
S1 =M1 [T1]+M1 [T2]+M1 [T3]+M1 [T4]
=0+0+0+0=0。
第2平均维持插值部17-2的评分数据M2[T1] M2[T4]为
39M2[Tl]=|TD2[Tl]-DI(i-6)|=|0-0|=0
M2[T2]=|TD2[T2]-DI(i-5)Hl-l|=0
M2[T3]=|TD2[T3]-DI(i+5)|=|l-l|=0
M2[T4]=|TD2[T4]-DI(i+6)|=|0-0|=0。
因此，合计数据Sl为
S2=M2[T1]+M2[T2]+M2[T3]+M2[T4]
=0+0+0+0=0。
管理部19选择合计数据最小的第1平均维持插值部17-2,输出表示 选择第1平均维持插值部17-2输出的插值候选数据Dl的选择信号C。
输出部20根据选择信号C，输出第1平均维持插值部17-2输出的 插值候选数据Dl-O，作为数据Dz。
插值数据插入部5输出在位置i对数据Dz=0进行插值后的数据DO。 位置i的期待值为0，所以，插值候选数据D0=2.222、 D1=0、 D2=0中插 值候选数据Dl和D2的插值误差小于D0。
如上所述，滤波插值部3和平均维持插值部17-l 17-n分别将位于 缺失像素附近、且值已知的多个像素分别作为试验插值像素，求出利用 与求出缺失像素的插值值相同的方法计算出的试验插值值TD0 TDn和 试验插值像素的已知值Dm之间的差，作为插值误差，由评分部18和管 理部19构成的选择控制部21选择滤波插值部3和平均维持插值部17-1 17-n中的针对多个试验插值像素的插值误差的合计最小的一方，输出部 20输出通过滤波插值部3和平均维持插值部17-l 17-n中由选择控制部 21选择出的一方针对缺失像素计算出的插值值，作为该缺失像素的插值 数据，数据插入部5在数据存储部2输出的数据的与缺失像素对应的位 置插入输出部20输出的插值数据。
如上所述，图20的图像插值装置为了对滤波插值部3不擅长(无法 进行良好的(高精度的)插值)的空间频率高的数据进行插值，具有平 均维持插值部17-l 17-n，并且，使用缺失像素的附近像素，对插值方 法生成的试验插值数据进行评分，由此，选择最适于对缺失像素进行插
40值的插值方法，所以，利用滤波插值部对频率低的数据进行插值，利用 平均维持插值部对频率高的数据进行插值。由此，能够在频率的全部范 围中得到良好的插值结果。
以上说明了通过硬件进行插值的情况，但是，也可以通过软件或软 件和硬件的组合来进行插值。
图35是示出这种结构中的处理的顺序的流程图。 在步骤ST21中，存储缺失像素附近的数据Dm。 在步骤ST22中，通过滤波插值，生成试验插值数据TDO。 在步骤ST23中，通过滤波插值，生成插值候选数据DO。 在步骤ST24中，通过平均维持插值，生成试验插值数据TDl TDn。 在步骤ST25中，通过平均维持插值，生成插值候选数据Dl Dn。 在步骤ST26中，对试验插值数据TD0 TDn进行评分，生成评分
数据MO Mn。
在步骤ST27中，根据评分数据MO Mn，选择插值数据。
在步骤ST28中，斗:成在数据Dm的与连接点对应的位置插入了数据
Dc后的数据DO。
图20中详细示出了各个步骤中的处理内容，所以这里省略说明。 产业上的可利用性
作为本发明的活用例，能够应用于复印机或扫描仪等的密接图像传 感器中。
权利要求
1.一种图像插值装置，其特征在于，所述图像插值装置具有数据存储部，其存储多个像素值的数据；滤波插值部，其接收从所述数据存储部读出的数据，进行对直线状排列的多个像素中位于缺失像素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；极限处理部，其将所述滤波插值部输出的数据限制在所述缺失像素周边的数据值的范围内；以及数据插入部，其在所述数据存储部输出的数据的与缺失像素对应的位置插入所述极限处理部输出的数据。
2. 根据权利要求l所述的图像插值装置，其特征在于， 如果所述极限处理部的输入数据大于所述缺失像素附近的像素的数据值中的最大值，则输出该最大值作为与该输入数据对应的输出数据， 如果所述极限处理部的输入数据大于所述缺失像素附近的像素的数据值 中的最小值，则输出该最小值作为与该输入数据对应的输出数据。
3. 根据权利要求l所述的图像插值装置，其特征在于， 在所述滤波插值部中，设各周边像素与缺失像素的距离为d、第1规定常数为g时，由(sin(gxd)V(gxd)和第2规定常数之积，给出与所述周 边像素的各个像素值相乘的系数的大小。
4. 一种图像读取装置，其特征在于，该图像读取装置具有 光源，其对原稿照射光；传感器芯片串，其直线状配置多个传感器芯片，对来自原稿的反射 光进行光电转换，输出与反射光对应的信号；A/D转换部，其将所述传感器芯片串输出的与所述反射光对应的信 号转换成数字数据；以及权利要求1 3中的任意一项所述的图像插值装置，其将所述A/D 转换部输出的数字数据作为输入。
5. -—种图像插值装置，其特征在于，该图像插值装置具有数据存储部，其存储多个像素值的数据；滤波插值部，其接收从所述数据存储部读出的数据，进行对直线状 排列的多个像素中位于缺失像素周边的多个周边像素的各个像素值乘以 预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；平均维持插值部，其接收从所述数据存储部读出的数据，以使包含 所述缺失像素的像素串的像素的平均值和不包含所述缺失像素的像素串的平均值彼此相等的方式，计算所述缺失像素用的插值值；选择控制部，所述滤波插值部和所述平均维持插值部分别将位于缺 失像素附近且值已知的多个像素分别作为试验插值像素，利用与求出所 述缺失像素的插值值相同的方法计算出试验插值值所述试验插值像素的 所述已知值之间的差，作为插值误差，选择所述滤波插值部和所述平均 维持插值部中针对所述多个试验插值像素的所述插值误差的合计最小的 一方；输出部，其输出通过所述滤波插值部和所述平均维持插值部中由所 述选择控制部选择出的一方针对所述缺失像素计算出的插值值，作为该 缺失像素的插值数据；以及数据插入部，其在所述数据存储部输出的数据的与缺失像素对应的 位置插入所述输出部输出的所述插值数据。
6.根据权利要求5所述的图像插值装置，其特征在于，所述平均维持插值部在计算所述缺失像素的插值值时，将所述缺失 像素的值作为未知数，以使由所述缺失像素和该缺失像素的周边像素构 成的第1组像素的值平均值、和位于所述缺失像素周边且由所述缺失像 素以外的像素构成的第2组像素的值平均值一致的方式，决定所述缺失'所述平均维持插值部在计算所述试验插值像素的插值值时，代替所 述缺失像素，假设将所述试验插值像素的值作为未知数，以使由该试验 插值像素和该试验插值像素的周边像素构成的第1组像素的值平均值、 和位于所述试验插值像素周边且由所述试验插值像素以外的像素构成的 第2组像素的值平均值-一致的方式，决定所述试验插值像素的值。
7. 根据权利要求6所述的图像插值装置，其特征在于， 所述平均维持插值部设有多个，该多个平均维持插值部在各自的处理中使用的所述第1组和第2组 的像素数在所述多个平均维持插值部之间不同。
8. 根据权利要求6或7所述的图像插值装置，其特征在于， 所述平均维持插值部的各个所述第1组的像素数是根据期待良好地进行插值的像素值变化的空间频率而确定的。
9. 根据权利要求6、 7或8所述的图像插值装置，其特征在于， 所述平均维持插值部决定所述第1组的像素数，以使在像素值的变化具有不能在所述滤波插值部中进行良好的插值的空间频率的部分中， 能够良好地、高精度地进行插值。
10. 根据权利要求5所述的图像插值装置，其特征在于， 在所述滤波插值部中，设各周边像素与缺失像素的距离为d、第1规定常数为g时，由(sin(gxd"/(gxd)和第2规定常数之积，给出与所述周 边像素的各个像素值相乘的系数的大小。
11. 一种图像读取装置，其特征在于，该图像读取装置具有 光源，其对原稿照射光；传感器芯片串，其直线状配置多个传感器芯片，对来自原稿的反射 光进行光电转换，输出与反射光对应的信号；A/D转换部，其将所述传感器芯片串输出的与所述反射光对应的信 号转换成数字数据；以及权利要求5 10中的任意一项所述的图像插值装置，其将所述A/D 转换部输出的数字数据作为输入。
12. —种图像插值方法，其特征在于，所述图像插值方法具有 数据存储步骤，存储多个像素值的数据；滤波插值歩骤，接收在所述数据存储步骤中存储的数据，进行对直 线状排列的多个像素中位于缺失像素周边的多个周边像素的各个像素值 乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值；极限处理歩骤，将在所述滤波插值步骤中通过插值而得到的数据限制在所述缺失像素周边的数据值的范围内；以及数据插入步骤，在所述数据存储步骤中存储的数据的与缺失像素对 应的位置插入在所述极限处理步骤中生成的数据。
13. —种图像插值方法，其特征在于，该图像插值方法具有 数据存储步骤，存储多个像素值的数据；滤波插值步骤，接收在所述数据存储步骤中存储的数据，进行对直 线状排列的多个像素中位于缺失像素周边的多个周边像素的各个像素值乘以预先决定的系数并相加的积和运算，计算所述缺失像素用的插值值;平均维持插值歩骤，接收在所述数据存储步骤中存储的数据，以使 包含所述缺失像素的像素串的像素的平均值和不包含所述缺失像素的像 素串的平均值彼此相等的方式，计算所述缺失像素用的插值值；选择控制步骤，所述滤波插值步骤和所述平均维持插值步骤分别将 值已知的多个像素分别作为试验插值像素，利用与求出所述缺失像素的 插值值相同的方法计算出试验插值值所述试验插值像素的所述已知值之 问的$，作为插值误差，选择所述滤波插值步骤和所述平均维持插值步 骤中针对所述多个试验插值像素的所述插值误差的合计最小的一方；输出歩骤，输出通过所述滤波插值步骤和所述平均维持插值步骤中 由所述选择控制步骤选择出的一方针对所述缺失像素计算出的插值值， 作为该缺失像素的插值数据；以及数据插入步骤，在所述数据存储步骤中存储的数据的与缺失像素对 应的位置插入在所述输出步骤中输出的所述插值数据。
全文摘要
本发明提供图像插值装置和方法、以及图像读取装置。图像插值装置具有数据存储部(2)，其存储缺失像素附近的数据；滤波插值部(3)，其对数据存储部输出的数据进行积和运算；极限处理部(4)，其将滤波插值部输出的数据限制在数据存储部的范围内；以及插值数据插入部(5)，其在数据存储部输出的数据的与缺失像素对应的位置对极限处理部输出的数据进行插值。能够提高缺失像素的插值精度、特别是对读取包含周期性数据的原稿而得到的数据进行插值时的插值精度。
文档编号H04N1/40GK101690153SQ20088002205
公开日2010年3月31日 申请日期2008年2月8日 优先权日2007年6月25日
发明者山中聪 申请人:三菱电机株式会社