图像处理装置的制作方法

专利名称：图像处理装置的制作方法
技术领域：
本发明涉及图像处理装置。
背景技术：
众所周知在现有技术下利用照相机等拍照时会发生图像劣化的情 况。作为图像劣化的主要原因，存在拍照时的晃动、光学系统的各种像 差、镜头的偏斜等。
为了矫正拍照时的晃动，已知的有移动镜头的方法和电路处理方法。 例如，作为移动镜头的方法，已知的有通过检测出照相机的晃动而使规 定的镜头对应于该检测出的晃动进行移动，从而进行矫正的方法(参照专 利文献1)。
另外，作为电路处理方法，已知的有利用角加速度传感器检测照相 机光轴的变动，由检测出的角速度等取得表示拍照时的模糊状态的传递 函数，并对拍摄图像进行所取得的传递函数的逆变换，从而将图像复原
的方法(参照专利文献2)。专利文献1:日本公开公报、特开平6-317824号(参照说明书摘要) 专利文献2:日本公开公报、特开平11-24122号(参照说明书摘要)

发明内容
发明所要解决的问题
采用专利文献1记载的晃动矫正的照相机，由于需要电动机等驱动 镜头的硬件的配置空间而导致大型化。另外，由于需要这种硬件自身或 驱动该硬件的驱动电路，因此成本增加。
另外，专利文献2记载的晃动矫正的情况下，虽然可以解决上述问 题点，但是存在下述的问题。即，虽然在理论上通过所取得的传递函数 的逆变换进行图像复原是成立的，但是作为实际问题，由于以下两个理 由导致图像复原是困难的。
第一，所取得的传递函数对于噪音或晃动信息误差等非常弱，这些 稍有变动，传递函数值便发生很大的变动。因此，通过逆变换获得的复 原图像，与在未发生晃动的状态下拍摄的图像相差甚远，实际上并不能
利用。第二，在进行考虑了噪音等的逆变换的情况下，也能够采用通过 联立方程式的解的奇异值分解等而推算解的方法，但是，用于该推算的 计算值有天文数字那么大，实际上无法解答的危险性高。
如上所述，本发明的课题在于提供一种在复原图像时防止装置的大 型化，同时，设有具有现实性的电路处理方式的图像处理装置。
解决课题的手段
为了解决上述课题，本发明的图像处理装置是在设有处理图像的处 理部的图像处理装置中，处理部进行的处理为，通过利用成为图像变化 主要原因的变化要因信息的数据由任意图像的图像数据生成比较用图像 的图像数据，然后，将成为处理对象的原图像的图像数据和比较用图像 的图像数据进行比较，并利用变化要因信息的数据将作为该比较结果而 得出的差分数据分配于任意图像的图像数据，从而生成复原图像的图像
数据；判断该复原图像的图像数据是否处于阈值内；在复原图像的图像 数据超出阈值的范围时，生成矫正复原图像的图像数据，其中，该矫正 复原图像的图像数据是将成为复原图像的图像数据生成基础的基础复原 图像的图像数据根据超出阈值范围的超出部分数据进行矫正而形成的； 然后，通过使用矫正复原图像的图像数据来代替任意图像的图像数据并 重复同样的处理，而生成与变化前的原图像近似的复原图像的图像数据。
采用该发明的话，能够提供在复原图像时防止装置的大型化，同时， 设有具有现实性的电路处理方式的图像处理装置。
另外，其他发明是在上述发明的基础上，阈值为能够存储于像素中 的能量的阈值。采用该构成的情况下，能够防止生成超过可存储于像素 中的能量的复原图像数据。
进而，其他的发明是，根据超出部分数据进行的基础复原图像矫正 的矫正量，是利用变化要因信息的数据而求出的。采用该构成的情况下， 通过利用变化要因信息的数据决定向基础复原图像数据分配的量，能够 有效地使复原图像数据处于阈值内。
另外，进而其他的发明是，为了生成复原图像的图像数据而进行的 向任意图像的图像数据的差分数据的分配，形成利用差分数据除以变化 要因信息所得的值而算出的分配量。采用该构成的情况下，能够有效地 使差分数据小于规定值。
另外，其他的发明是，处理部进而对未处理像素进行，将进行了矫 正复原图像处理的像素分配量的、对未处理像素的影响部分除去的处理。
采用该构成的情况下，通过利用变化要因信息的数据决定向基础复原图 像数据分配的量，能够有效地使复原图像数据处于阈值内。
发明的效果
采用本发明的话，能够形成在复原发生了劣化的图像时可以防止装 置的大型化，同时，设有具有现实性的电路处理方式的图像处理装置。


图1是表示本发明实施方式涉及的图像处理装置的主要构成的方框图。
图2是表示图1所示图像处理装置的概况的外观立体图，是用于说 明角速度传感器的配置位置的图。
图3是用于说明利用图1所示图像处理装置的处理部进行的处理方 法(处理程序)、且为基本观点的处理流程图。
图4是用于说明图3所示处理方法的概念的图。
图5是以晃动为例子具体地说明图3所示处理方法用的图，是表示 未发生晃动时的能量集中的表。
图6是以晃动为例子具体地说明图3所示处理方法用的图，是未发 生晃动时的图像数据的示意图。
图7是以晃动为例子具体地说明图3所示处理方法用的图，是发生 晃动时的能量分散的示意图。
图8是以晃动为例子具体地说明图3所示处理方法用的图，是用于 说明由任意图像生成比较用图像数据的状况的图。
图9是以晃动为例子具体地说明图3所示处理方法用的图，是用于 说明将比较用图像数据和成为处理对象的模糊原图像进行比较而生成差 分数据的状况的图。
图IO是以晃动为例子具体地说明图3所示处理方法用的图，是用于 说明通过将差分数据进行分配并追加于任意图像中而生成复原图像数据 的状况的图。
图11是以晃动为例子具体地说明图3所示处理方法用的图，是用于 说明由被生成的复原图像数据生成新的比较用图像数据、将该数据和成 为处理对象的模糊原图像进行比较而生成差分数据的状况的图。
图12是以晃动为例子具体地说明图3所示处理方法用的图，是用于 说明将新生成的差分数据进行分配并生成新的复原图像数据的状况的图。
图13说明差分数据的分配的处理流程。
图14是说明通过图1所示图像处理装置所处理的图像数据中的、各 像素图像数据内容的图。
图15是表示通过图1所示图像处理装置所处理的、被矫正的像素图 像数据和比较用图像数据的像素图像数据的关系的图。
图16是通过图1所示图像处理装置所处理的、对于像素n之后的像 素的差分数据的分配量的说明图。
图17是用于说明利用了图3或图13所示处理方法的其他处理方法 的图，(A)表示成为处理对象的原图像的数据，(B)是将(A)的数据取样后 (间隔剔除)的数据的示意图。
图18是用于说明利用了图3或图13所示处理方法的另一其他处理 方法的图，(A)表示成为处理对象的原图像的数据，(B)是将(A)的数据的 一部分取出后的数据的示意图。
图19是用于说明图18所示处理方法的变形例的图，是表示将原图 像的数据分为四部分、并从各分割区域取出用于进行反复处理的一部分 区域的图。
符号说明
1 图像处理装置
2 拍摄部
3 控制系统部
4 处理部
5 记录部
6 检测部
7 要因信息保存部
I。 初始图像数据(任意图像的图像数据)
bn 初始图像数据(任意图像的图像数据)
1。' 比较用图像数据
bn 比较用图像数据
G 变化要因信息的数据
Img 原图像数据(拍摄的图像的图像数据)
bn' 复原图像数据(复原图像的数据)
D 差分数据
k 分配比
I。+n 复原图像数据(复原图像的数据)
Img 未劣化的原正确图像的数据(基础图像数据)
an 未劣化的原正确图像的数据(基础图像数据)
en 超出部分数据
具体实施例方式
以下，参照附图对本发明第一实施方式涉及的图像处理装置l进行 说明。另外，该图像处理装置1是作为在拍摄部使用CCD的民用的、所 谓的数码相机，但是，也可以作为在拍摄部使用CCD等的摄像器件的监 视用照相机、电视用照相机、内窥镜用照相机等其他用途的照相机，或 者也可以使用于显微镜用、双筒望远镜用、进而NMR拍摄用等的图像 诊断装置等、照相机以外的仪器中。
图像处理装置1，设有拍摄人物等的影像的拍摄部2、驱动该拍摄部 2的控制系统部3以及将通过拍摄部2拍摄的图像进行处理的处理部4。 另外，该实施方式涉及的图像处理装置1，进而设有记录被处理部4处 理的图像的记录部5，由角速度传感器等构成、检测成为图像劣化等变 化的主要原因的变化要因信息的检测部6，以及保存使图像劣化等发生 的巳知的变化要因信息的要因信息保存部7。
拍摄部2是设有将通过了具有镜头的摄影光学系统或镜头的光转换 为电信号的CCD或C-MOS等的摄像器件的部分。控制系统部3控制拍 摄部2、处理部4、记录部5、检测部6以及要因信息保存部7等、图像 处理装置1内的各部。
处理部4由图像处理器构成，并由ASIC(Application Specific Integr atedCircuit)那样的硬件构成。该处理部4中，也保存有成为生成下述比 较用图像的图像数据(以下，称为"比较用图像数据")时的基础的图 像。处理部4也可以作为利用软件进行处理的构成，而不是作为ASIC 那样的硬件而构成。记录部5是由半导体存储器构成的，但是也可以采 用硬盘驱动等的磁记录手段、或使用DVD等的光记录手段等。
如图2所示，检测部6设有检测相对于作为图像处理装置1的光轴 的Z轴为垂直方向的X轴、Y轴的旋转速度的两个角速度传感器。但是， 在利用照相机拍照时的晃动也会发生向X方向、Y方向、Z方向的各方 向的移动或围绕Z轴的转动，相对于各变动所受到的影响最大的是围绕 Y轴的旋转和围绕X轴的旋转。该两种变动仅变动一点点，拍摄出的图
像便会很模糊。因此，在该实施方式中，仅配置有图2的围绕X轴和围 绕Y轴的两个角速度传感器。但是，为了期望更加完善，也可以进一步 附加围绕Z轴的角速度传感器，或者附加检测向X方向或Y方向的移动 的传感器。另外，作为所使用的传感器，也可以不采用角速度传感器， 而采用角加速度传感器。
要因信息保存部7是保存巳知的变化要因信息等的变化要因信息、 例如光学系统的像差等的记录部。另外，在该实施方式中，在要因信息 保存部7中保存有光学系统的像差或镜头偏斜的信息，但是在后述的复 原因晃动而发生的模糊时未利用这些信息。
接着，根据图3对如以上那样构成的图像处理装置1的处理部4的 处理方法的概要进行说明。
图3中，"1。"为任意图像的图像数据(以下，称为"任意图像数 据")，是预先保存于处理部4的记录部的图像的数据。"I。'"表示该 任意图像的数据I。的变化图像的数据，是用于进行比较的比较用图像的 图像数据(以下，称为"比较用图像数据")。"G"是通过检测部6 检测出的变化要因信息(=变化要因信息(点像函数))的数据，是被保存于 处理部4的记录部的数据。"Img'"指的是拍摄的图像、即由于变化要 因而发生变化的变化图像的数据，是在该处理中成为处理对象的原图像 的图像数据(以下，称为"原图像数据")。
"D"是原图像数据Img与比较用图像数据I。'的差分数据。"k"是 基于变化要因信息的数据G的分配比。"I。+n"是将差分数据D根据变 化要因信息的数据分配于任意图像数据I。后新生成的复原图像的图像数 据(以下，称为"复原图像数据")。"Img"是成为原图像数据Img'的基 础的、变化前的原图像的图像数据(以下，称为"基础图像数据")。 在此，Img和Img'的关系以下面的式(l)表示。<formula>formula see original document page 8</formula>
" "是表示重叠积分的算符。
另外，差分数据D也可以为对应像素的单纯的差分，但是， 一般根 据变化要因信息的数据G的不同而不同，以下面的式(2)表示。'<formula>formula see original document page 8</formula>
处理部4的处理程序，首先从将任意图像数据1。作为初始图像数据 1。而进行准备开始(步骤SIOI)。作为该初始图像数据I。、即任意图像 数据I。，可以使用作为拍摄图像的图像数据的原图像数据Img，另外， 也可以使用全黑、全白、全灰、黑白相间的方格花纹等那样的图像的数 据。在步骤S102中，代替(l)式的Img而代入初始图像数据I。，并求出 作为变化图像的比较用图像数据I。'。接着，将原图像数据Img'和比较用 图像数据I。'进行比较，算出差分数据D(步骤S103)。
接着，在步骤S104中判断该差分数据D是否为规定值以上，为规 定值以上的话，在步骤S105中进行生成新的初始图像数据(=复原图像数 据)的处理。B卩，根据变化要因信息的数据G将差分数据D分配于初始 图像数据I。，生成复原图像数据1。+11。然后，将复原图像数据1。+11作为初 始图像数据I。，并重复步骤S102、 S103、 S104。
在步骤S104中，在差分数据D小于规定值时结束处理(步骤S106)
。然后，将结束了处理的时点的复原图像数据I。+n推断为正确的图像、
即未劣化的基础图像数据Img,并将该数据记录于记录部5。另外，也可 以在记录部5中预先记录初始图像数据1。或变化要因信息的数据G，从 而根据需要过渡到处理部4。
将以上处理方法的观点进行概括的话如下所述。即，在该处理方法 中，不将处理的解作为逆问题进行解决，而是作为求出合理的解的最佳 化问题进行解决。在作为逆问题解决时，也如专利文'献2的记载那样理 论上是可能的，但作为现实问题是困难的。
作为最佳化问题进行解决，以以下的条件为前提。
艮P， (l)相对于输入的输出，规定为唯一值。
(2) 若输出是相同的，则输入相同。
(3) 为了使输出相同，通过在更新输入的同时进行反复处理而使 解收敛。
换言之，如图4(A)、 (B)所示，如果能够生成与原图像数据Img'近似 的比较用图像数据1。' (I。+n')的话，则成为该生成的基础数据的初始图像 数据1。或复原图像数据I。+n，为与成为原图像数据Img的基础的基础图 像数据Img近似的数据。
另外，在该实施方式中，角速度检测传感器每隔5psec便检测角速 度。另外，成为差分数据D的判定标准的值，在将各数据以八位(bit)(0 255)表示的情况下，在该实施方式中形成为"6"。即，在小于6、也就 是为5以下时，结束处理。另外，通过角速度检测传感器检测出的晃动
的原始数据，在传感器自身的校准不充分时，与实际的晃动是不对应的。 因此，为了与实际的晃动对应，在传感器未被校准时，必须进行对通过 传感器检测出的原始数据乘以规定倍率的矫正。
接着，根据图5、图6、图7、图8、图9、图10、图ll及图12对 图3及图4所示处理方法的详细情况进行说明。 (晃动的复原算法)
未发生晃动时，对应于规定像素的光能，在曝光时间中集中于该像 素。另外，发生晃动时，光能在曝光时间中分散于晃动的像素中。进而， 如果知道曝光时间中的晃动的话，便知道曝光时间中的光能的分散方式， 因此能够由模糊的图像作出不模糊的图像。
以下，为简单化，以横向一维进行说明。将像素从左开始依次地设 为…、n-l、 n、 n+l、 n+2、 n+3、…，并注意某一像素n。由于在未发生 晃动时曝光时间中的光能集中于该像素，因此光能的集中度为"1.0"。 该情况表示于图5。将此时的拍摄结果表示于图6的表中。图6所示的 数据成为未发生劣化时的基础图像数据Img。另外，各数据以八位(0 255)的数据表示。
曝光时间中有晃动，且分别为曝光时间中的5 0 %的时间在第n号的 像素中发生晃动、30。/。的时间在第n+l号的像素中发生晃动、20%的时间 在第n+2号的像素中发生晃动。光能的分散方式如图7所示的表所记载。 这成为变化要因信息的数据G。
由于晃动在所有的像素中都是相同的，因此如果没有上方晃动(纵向 晃动)的话，晃动的情况如图8所示的表所记载。图8中的作为"理想图 像"而表示的数据是基础图像数据Img，作为"模糊图像"而表示的数 据为拍摄图像的图像数据、即原图像数据Img'。具体地说，例如"n-3" 的像素的"120"，按照作为晃动信息的变化要因信息的数据G的"0.5" "0.3" "0.2"的分配比，在"n-3"的像素中分散"60" 、"n-2"的像 素中分散"36" 、"n-l"的像素中分散"24"。同样地，作为"n-2" 的像素的数据的"60",在"n-2"的像素中分散"30" 、"n-l"的像 素中分散"18" 、 "n"的像素中分散"12"。由该原图像数据Img'和图 7所示的变化要因信息的数据G，算出不模糊的理想图像(基础图像数 据Img) o
作为步骤SIOI中所示的初始图像数据I。，可以采用任意的数据，在 进行该说明时使用原图像数据Img'。即，作为1。4mg'而开始进行处理。 图9的表中的"输入"相当于初始图像数据I。。通过步骤S102，使变化
要因信息的数据G作用于该初始图像数据I。、即原图像数据Img'。艮卩， 例如初始图像数据I。的"n-3"的像素的"60",分别在"n-3"的像素 中分散"30" 、 "n-2"的像素中分散"18" 、 "n-l"的像素中分散"12"。 对于其他的像素也同样地分配，生成作为"输出I。'"而表示的比较用图 像数据I。'。其结果是，步骤S103的差分数据D如图9的最下面一栏所 示。
然后，通过步骤S104判断差分数据D的大小。具体来说，在所有 差分数据D的绝对值全变为5以下时结束处理，但是，图9所示的差分 数据D不符合该条件，因此进入步骤S105。目卩，使用变化要因信息的数 据G将差分数据D分配到初始图像数据I。，并生成作为图10中的"下 一次输入"而表示的复原图像数据I。+n。此时，由于是第一次，因此在图 10中表示为I 0+1 0
差分数据D的分配，例如将在"n-3"的像素的数据"30"上乘以作 为其自身(="n-3"的像素)分配比的0.5所得的"15"分配于"n-3"的 像素，另外，分配在"n-2"的像素的数据"15"上乘以作为应产生于该
"n-2"像素中的分配比的0.3所得的"4.5"，进而，分配在"n-l"的 像素的数据"9.2"上乘以作为应产生于该"n-l"像素中的分配比的0.2 所得的"1.84"。分配于"n-3"的像素的总量为"21.34"，将该值与初 始图像数据1。(这里使用拍摄图像的数据Img)相加，生成复原图像数据 1。+1。该复原图像数据1。+1相当于图IO的表中的"下一次输入"的数据。
如图ll所示，该复原图像数据I。+,成为步骤S102的输入图像的数 据(=初始图像数据1。)，实施步骤S102。图11的表中的"输入1。+1"相当 于复原图像数据1。+1。然后，向步骤S103过渡并得到新的差分数据D。 通过步骤S104判断该新的差分数据D的大小，在大于规定值时，通过 步骤S105将新的差分数据D分配于上一次的复原图像数据1。+1中，生成 新的复原图像数据1。+2。该复原图像数据1。+2相当于图12的表中的"下 一次输入"的数据。然后，通过步骤S102的进行，由复原图像数据1。+2 生成新的比较用图像数据1。+2'。这样，在实施步骤S102、 S103之后进 入步骤S104，并通过步骤S104中的判断向步骤S105前进或向步骤S106 过渡。重复这样的处理。
在该图像处理装置1中，进行处理时，在步骤S104中能够事先设定 处理次数和差分数据D的判断标准值中的任意一方或双方。例如，作为 处理次数，能够设定20次、50次等任意的次数。另外，能够将使处理 停止的差分数据D的值设定为八位(0 255)中的"5"，变为5以下的话
使处理结束，或者设定为"0.5"，变为0.5以下的话使处理结束。能够 任意地设定该设定值。在输入了处理次数和判断标准值双方的情况下， 在满足任意一方时便停止处理。另外，在能够进行双方的设定时，以判 断标准值为优先，通过规定次数的处理未进入判断标准值内时，也可以 再次地重复规定次数的处理。
在该实施方式的说明中，未利用保存于要因信息保存部7的信息， 但是也可以使用保存于要因信息保存部7中的已知的变化要因、例如光 学像差或镜头的偏斜等的数据。该情况下，例如在之前的例子(图3)的处 理方法中，以将晃动的信息和光学像差的信息进行组合而作为一个变化 要因进行处理为佳，但是，也可以在利用晃动信息的处理结束后进行利 用光学像差的信息的矫正。另外，也可以不设置该要因信息保存部7， 而仅通过拍摄时的动态要因、例如晃动将图像进行修正或复原。
该图像处理装置1在以上那样处理方法的观点的基础上采用以下所 示的处理方法。参照图13~图16对该方法进行说明。该方法是谋求差分 数据D的向初始图像数据1。分配的量的适当化的方法，能够使比较用图 像数据I。' (I。+n)迅速地近似于原图像数据Img，其结果是能够减少图3 所示处理程序的处理次数。
按照图13的处理流程说明差分数据D的分配方法。处理流程S201 S204，是与图3的处理流程S101 S104相当的处理流程。也就是说，从 被输入的初始图像数据I。 (S201)生成比较用图像数据1。' (S202)，并 算出对于作为变化图像数据的原图像数据Img和比较用图像数据1。'的各 像素的差分数据D (S203 )。然后，对各像素判断差分数据D的大小 (S204)，若差分数据的大小对所有像素均为适当的话，则判断图像被 复原并结束处理(S205)。
根据图14对S201 S205的处理内容进行说明的话如下所述。该图 与图5 图12同样地，为简单化，将对于横向一维的像素n-3、 n-2、 n-l、 n、 n+l、 n+2、…的处理内容进行表示。
首先，对于像素n-3、 n-2、 n-l、 n、 n+l、 n+2、…，将初始图像数 据I。作为lV3、 bn-2、 bn.!、 bn、 bn+1 、 bn+2、…并实施S201、 S202的处理 程序(相当于图3的S101 S102的处理程序)的话，作为比较用图像数 据1。'而得到bn.3'、 bn.2'、 K"、 bn'、 bn+1'、 bn+2'、。
该比较用图像数据IQ' (=bn-3'、 bn-2'、 K:、 bn、 bn+1'、 bn+2'、…)， 是初始图像数据I。 (=bn-3、 bn-2、 bw、 bn、 bn+1、 bn+2、…)按照变化要
因信息的数据G分散于自身及其他像素而被生成的数据。在此，将变化
要因信息的数据G作为a、 p、 Y(a>(3>Y、 a+p+Y=l)而进行说明。也就
是说，各像素的光能以(x、 (5、 Y的比例分散于晃动方向的像素中。
例如，观察初始图像数据I。中的像素n的像素图像数据W的话，像 素图像数据K的a'bn分散于像素n中、p'b。分散于像素n+l中、7 bn 分散于像素n+2中。对于其他像素也同样地，按照变化要因信息的数据 G能量分散于图中箭头所示的像素中。因此，作为各像素(n-3、 n-2、 n-2、 n-l、 n、 n+l、 n+2、…)的初始图像数据的bn.3、 bn.2、 K.!、 bn、 bn+1、 bn+2，按照变化要因信息的数据G进行分散，从而作为各像素的比较用 图像数据分别得到lV3'、 bn.2'、 bn.「、 bn'、 bn+1'、 bn+2'、。
比较用图像数据1。' (bn-3'、 bn-2'、 bn:、 bn'、 bn+1'、 bn+2'、…)，例如
观察像素n的像素图像数据W'的话，成为受到像素n-2的像素图像数据 bn_2的Y部分的分散量和像素n-l的像素图像数据的p部分的分散量、 进而自身像素n的像素图像数据K的a部分分散量的影响的内容。也就 是说，能够视为bn=a bn+(3 b^+Y bn.2。对于比较用图像数据I。'的其 他像素的像素图像数据也同样地成为，按照变化要因信息的数据G而受 到自身的像素、前数第一个及前数第二个其他像素(在图14中为左边相 邻的像素以及进一歩左边相邻的像素)分散量的影响的内容。
关于从初始图像数据1。生成比较用图像数据1。'的处理，与图9中所 说明的情况是相同的。初始图像数据I。相当于图9的输入I。，比较用图 像数据I。'相当于图9的输出I。'。
在基础图像数据Img的各像素的像素图像数据为an.3、 an_2、 a^、 an、 an+1、 an+2、…时，原图像数据Img的各像素的像素图像数据成为a^'、 an.2'、 an./、 an'、 an+1'、 an+2'、…。原图像数据Img ，例如观察像素n的像 素图像数据an的话，成为受到基础图像数据Img的像素n-2的像素图像 数据a"的Y比例部分的分散量和像素n-l的像素图像数据a"的P比例 部分的分散量、进而自身像素n的像素图像数据an的a比例部分的分散 量的影响的内容。也就是说，能够视为an=a an+|3 a^+Y an.2。对于 原图像数据Img的其他像素也同样地成为，按照变化要因信息的数据G 而受到对应于自身的像素、前数第一个及前数第二个的其他像素(在图 14中为左边相邻的像素以及进一步左边相邻的像素)的基础图像数据 Img的分散量的影响的内容。
在原图像数据Img的各像素的图像数据为an.3'、 an.2'、 an./、 an 、 an+I'、 an+2、…时，作为原图像数据Img的各像素的图像数据和比较用图像数据 的各像素的图像数据的差分的差分数据D，成为Sn.3、 Sn.2、 Sw、 5n、 Sn+1、
Sn+2、…(S203)。然后，在S204中判断各像素的差分数据Sn_3、 5n.2、 S^、 Sn、 Sn+1、 Sn+2、…是否分别为适当的值，在差分数据D的大小不适 当时，过渡到以下所说明的S206之后的处理，适当的话，则判断为原图 像被适当地复原并结束处理(S205)。在S206之后的处理中，设定向初 始图像数据I。的差分数据D的适当分配量。
首先，利用差分数据D算出被认为是适当分配量的任意的分配量 (S206)。该分配量的算出如以下那样进行。例如，观察像素n的话， 由于像素图像数据b:是Y bn.2和|3和a bn的总和，因此差分数据 Sn含有来自像素n-2、 n-l、 n的初始图像数据I。中的像素图像数据lv2、 b^、 K的分散量。另外，由于有关原图像数据Img中的像素n的像素图 像数据a:是Y an.2和(5和a an的总和，因此差分数据Sn中也含有 来自像素n-2、 n-l、 n的基础图像数据Img中的像素图像数据^.2、 a^、 an的分散量。 -
即，差分数据Sn中含有作为像素n中的基础图像数据Img的像素图 像数据an的分散量的a ，an、和作为来自初始图像数据1。的像素图像数据
W的分散量的a'bn。而且，认为来自像素图像数据^和像素图像数据
bn的分散量以K (O^K^l)的比例包含于差分数据3 中。也就是说，可 以认为如下述式(3)所示。
a an - a bn=K §n …(3)
由该式(3)变为
an= bn+K Sn/a …(4)
也就是说，将从差分数据Sn分配于初始图像数据b。的分配量h形成为
K 'Sn/a(S206)。在此，利用差分数据Sn除以变化要因信息的数据a (除 算)所得的值，并将在此值上积算K (乘算)所得的值作为分配量h。 然后，将该分配量h= K 5n/a分配于初始图像数据I。的像素n的像素图 像数据bn，将bn+ K *Sn/a作为对像素n的复原图像的像素图像数据而得 出(S207) o
在上述图3的处理流程中，像素图像数据bn+K Sn/a成为对于新的 复原图像数据I。+,、的像素n的像素图像数据，而且，将像素图像数据1^+ K Sn/a作为新的初始图像数据而进行处理(S105)。其后，返回S102， 实施该复原图像数据1。+11是否与基础图像数据Img近似的判断的处理流
程(S103、 S104)。但是，在图13的处理流程中，在S207 S212中， 判断作为分配量h, K 5n/ct是否为适当的分配量，在不适当时进行矫正 以变为适当的分配量。
分配量K 'S。/a是否为适当的分配量的判断，根据在S207所得到的 对于像素n的像素图像数据"bn+K *Sn/a"作为复原图像数据的像素图像 数据是否为适当的判断(S208)而进行。该判断如下述那样进行。
像素图像数据"bn+K Sn/a "是对应于与像素图像数据a。近似的图 像的数据，因此，对于像素图像数据an被要求是处于能够估计到的阈值 范围(mir^a^max)的数据。该阈值的范围，在本实施方式中作为能够 存储于像素中的光能量的阈值。例如，在将像素的图像数据作为光能的 强度以八位(0 255)表示的情况下，认为像素图像数据an是应处于 (^a^255的范围内的数据。
因此，判断为超出像素图像数据an的阈值范围(mh^a^max)的 像素图像数据"bn+K'Sn/a",作为像素图像数据是不适当的。即，在像 素图像数据"bn+K*Sn/a"低于像素图像数据an的阈值范围的下限、或 超过上限值的情况下，判断为像素图像数据"bn+K.5n/a"作为像素图 像数据是不适当的。也就是说，像素图像数据"bn+K ，Sn/a"不适当的话， 就能够判断为分配量K Sn/a是不适当的。即，可以认为在式(4)的 bn+K Sn/a处于min$bn+K Sn/a$ max的范围之外时，K . 5n中较多地含 有来自成为像素图像数据K'生成基础的基础复原图像数据的像素n-l、 n-2的像素图像数据b^、 bw的分配量的影响。
因此，为了减少来自像素图像数据b^、 b"的分配量，而减小像素 图像数据b^、 bn.2，从而使从像素图像数据b^、 b"向像素n的分配量 减少。为此，首先设定减小像素图像数据b^、 b。.2的矫正量(S209)。该 矫正量如以下那样算出。
算出像素图像数据"bn+K Sn/a"超出范围"min￡bn+K . Sn/a5 max" 的量的数据(以下，称为"超出部分数据")en。认为该超出部分数据en
包含于K'Sn/a，另外，认为超出部分数据en是来自像素图像数据bn.2、
b^的分散量。即，这种状态可以认为是由于成为像素图像数据 "bn+K*Sn/a"的复原基础的像素图像数据K.2、 lv,不恰当造成的。
因此，将像素图像数据b。.2、 b^矫正为像素图像数据"bn+K*Sn/a" 不会超出范围"mh^bn+K'Sn/o^maX"。该矫正量是根据以下的观点而 决定的。如图15所示，将像素图像数据1V2、 b^的矫正量的数据分别 设为矫正数据e"、 e^的话，像素n中的比较用图像数据的像素图像数
据K'如式(5)那样被表示。
b '= 丫 (bn.2+en-2)+p (bn—i+en陽0+a (bn+en)
=Y bn-2+p b^+a bn+Y en-2+卩 e^+a en …(5)
也就是说，在式C5)中，
在Y en—2+ p e^+a en=0 …(6)时，
像素n的差分数据5n中的来自像素图像数据b^、 bn.2的分散量的影 响变小。因此，通过设定矫正数据en.2、 e^使式(6)成立，而能够使像素 n的复原图像数据形成适当的值。目卩，能够将作为基于差分数据&的分 配量的K 5n/a形成适当的值。矫正数据e"、 e^的具体设定，基于式 (6)例如存在如下情况。
(A) 设定为en-2-e^的情况下 由式(6)变为e。.2(丫+p)^era。因此，能够形成 en-2(=en—0;a en/( 丫 +p) =-a en/(l-a) ...(7)
(B) 认为对超出部分数据e。的影响量依赖于变化要因，并设定为 en-2 : en.产丫 :卩的情况下
成为en-2 :Y : |3
因此，由式(6)能够形成 enVP+卩 =-a en
=(-a 歸2+ )) en …(8)
en-2 =(-a Y /(p2+Y2)) en ...(9)
式(8)、式(9)由于a+(3+丫 =1，因此与|32+/=(1-002近似，从而也可以 形成为
en-i =(-a p/(l曙a)2) en …(10) en—2=(-a 丫/(l-a)2) en …(11)
(C)关于对超出部分数据en的影响小的像素，将对en的影响量设为 0的情况下
例如，设为en.fO，由式(6)能够形成 en-i en
矫正数据％.2、 e^的设定方法，除上述以外也可以有各种方法。然 后，进行在像素n-2、 n-l的像素图像数据中追加如上述那样设定的矫正 数据en.2、e^的矫正，对像素n-2、n-l生成被矫正的像素图像数据(S210)。 而且，在该S210的处理中，进而与S208同样地，判断像素n-2、 n-l 的像素图像数据作为复原图像数据的像素图像数据是否适当。目卩，对于 像素n-2，判断像素图像数据"bn.2+en.2"是否处于范围内(mii^K.2+en.^ max)。另外，对于像素n-l，判断像素图像数据"1^,+%.,是否处于范 围内(min^ bn^+en^ max)。
而且，在判断为被矫正的像素图像数据"bn.2+en.2，， 、 "b^+en.r 不在该范围内的情况下，进而，返回至成为像素n-2、 n-l的像素图像数 据基础的左方的基础复原图像数据的像素图像数据、例如bn.3，并进行上 述S206 S210的处理(S211)Q
对于各像素，以像素顺序对所有像素进行以上所说明的处理，设定 向初始图像数据1。的来自差分数据D的分配量，以使复原图像数据处于
规定的范围内。由此，能够有效地使比较用图像数据I。'(I。+n)迅速地近似
于原图像数据Img'。
另外，在对像素n之后的、未进行S206 S210的处理的未处理像素 进行分配量的算出时，在算出像素的分配量之前，预先除去基于W的分 配量"K'Sn/a+en"的影响部分(S212)。由此，对于像素n之后的像素能 够算出更适当的分配量。
艮P，如图16所示可以认为，在像素n中的分配量为(K.Sn/a)+en时， 该分配量的向像素n+l的影响部分为K (3 Sn/a+(3 en，另外，向像素 n+2的影响部分为K' 丫 'Sn/a+Y en。
因此，从像素n+l的差分数据Sn+1中除去K p Sn/a+(3 en，另外 从像素n+2的差分数据Sn+2中除去K. 丫 .S。/a+丫 en，并将其作为各 像素n+l、 n+2的差分数据S^、 5n+2。通过这样进行，能够对像素n+l、 n+2的像素算出更适当的分配量。通过对像素n+3、 n+4…也进行同样的 处理，能够适当地进行像素n+l、 n+2、 n+3、 n+4…中的差分数据D的向 初始图像数据I。的分配。由此，能够有效地使比较用图像数据I。'(I。+j 更迅速地近似于原图像数据Img'。
如以上那样，对各像素的初始图像数据1。进行差分数据D的分配之 后返回S202，并重复上述S206 S211的处理，直至与作为拍摄图像数 据的原图像数据Img'的比较(S203)变小为止(S204)。 以上，对本发明实施方式涉及的图像处理装置1进行了说明，但是
只要不脱离本发明的主旨可以进行各种变更实施。例如，利用处理部4 进行的处理是由软件构成的，但是，也可以通过由分别承担一部分处理 的部件组成的硬件构成。
另外，作为成为处理对象的原图像，除拍摄图像之外，也可以为将 该拍摄图像进行补色、或进行傅里叶变换等、实施了加工的图像。进而， 作为比较用图像数据，除使用变化要因信息的数据G生成的数据之外， 也可以作为对使用变化要因信息的数据G而生成的数据施加补色、或进 行傅里叶变换后的数据。另外，作为变化要因信息的数据，不仅为变化 要因信息的数据，也可以为含有仅使图像变化的信息、或与劣化相反地 使图像变好的信息的数据。
另外，在处理的反复次数在图像处理装置l侧自动地或固定地被设 定的情况下，也可以通过变化要因信息的数据G变更该设定的次数。例 如，在某像素的数据由于晃动而分散于多个像素的情况下，可以增加反 复次数，在分散少的情况下可以减少反复次数。
进而，在反复处理中，也可以在差分数据D发散时、即变大时便使 处理中止。关于是否发散，例如可以采用观察差分数据D的平均值后如 果该平均值变得大于上一次的话便判断为发散的方法。另外，在反复处 理中，也可以在欲将输入变更为异常值时使处理中止。例如，在八位的 情况下，在欲被变更的值为超过255的值时，使处理中止。另外，反复 处理中，在欲将作为新数据的输入变更为异常的值时，也可以不使用该 值而形成正常的值。例如，在八位的0 255中，在欲将超过255的值作 为输入数据时，作为极大值255进行处理。
另外，在生成成为输出图像的复原图像数据时，存在由于变化要因 信息的数据G的不同而发生超出欲复原的图像区域的数据的情况。这种 情况下，超出区域的数据被输入相反侧。另外，在存在应从区域外输入 的数据的情况下，以从相反侧取入该数据为佳。
另外，在生成复原图像数据I。+n时，也可以不使用分配比k，而将对 应像素的差分数据D原封不动地追加于上一次的复原图像数据1。+^，或 将对应像素的差分数据D变倍后进行追加，或者将差分数据D被分配后 的数据kD(图10、 12中的作为"更新量"而表示的值)变倍并追加于上一 次的复原图像数据1。+^。很好地活用这些处理方法的话，处理速度变快。
另外，在生成复原图像数据I。+。时，也可以算出变化要因的重心， 并仅将该重心的差分、或其差分的变倍追加于上一次的复原图像数据
1。+1>1。以之前的例子来说的话，"0.5" "0.3" "0.2"三个的重心，为 最大值"0.5"的位置，成为自身的位置。因此，不考虑"0.3"或"0.2" 的分配，仅使差分数据D的"0.5"或"0.5"的变倍部分分配于自身位 置。这样的处理适合于晃动的能量集中的情况。
进而，也可以根据变化要因信息的数据G的内容自动地选择上述各 处理方法。例如，将作为处理方法能够实行如图5 图12所示那样的三 种方法的程序保存于处理部4内，分析变化要因的状况，并根据该分析 结果选择该三种方法中的任意一种，其中，该三种方法为，(l)使用分配 比k分配差分数据D的方法(分配比分配方式)、(2)使对应像素的差分、 或差分数据D变倍的方法(对应像素方式)、(3)检测变化要因的重心并利 用该重心部分的数据的方法(重心方法)。另外，也可以选择三种方法中 的任意多种，在每一程序中交替利用，或者在最初的数次中以某一方式 进行处理、之后再以其他方式进行处理。
进而，在谋求复原处理的高速化的意义上，存在与逆问题进行组合 的方法。即，利用缩小数据进行反复处理，并算出由缩小的原图像向缩 小的复原图像数据的传递函数。然后，将算出的传递函数进行放大、插 补，并使用该被放大、插补的传递函数得出原图像的复原图像数据。该 处理方法对于大图像的处理是有利的。
作为这种处理方法，可以考虑两种方法。第一是，通过数据取样而 形成縮小数据的方法。数据取样的情况，例如如图17所示，是在原图像 的数据Img'由像素11 16、 21 26、 31 36、 41 46、 51 56、 61 66 构成时，每隔一个将像素进行取样，从而生成由像素ll、 13、 15、 31、 33、 35、 51、 53、 55构成的四分之一大小的缩小Img'的方法。
这样，将原图像的数据Img进行取样，生成作为被取样的数据的縮 小Img'，并使用该縮小Img'进行图3所示的反复处理，从而得到被进行 充分满足的取样的复原图像数据I。+n。縮小复原图像数据1。+。虽是充分满 足的数据，但始终是近似的。因此，复原图像数据1。+ 和原图像数据Img 的传递函数，不是缩小数据的反复处理中所使用的传递函数。因此，由 缩小复原图像数据1。+。和作为缩小的原图像数据的缩小Img算出传递函 数，将算出的传递函数放大并将放大的间隔进行插补，将该修正的传递 函数作为对于成为基础数据的原图像数据Img的传递函数。然后，使用 该修正的传递函数，在频率空间进行重叠合法计算(通过计算从包括模糊 的图像群除去模糊的计算)而得到完全的复原图像数据I。+n，并将其推断 为未劣化的基础图像数据Img。
另外，在该处理的情况下，也可以将得到的被推断为正确图像的复 原图像数据1。+n作为图3所示处理的初始图像数据1。进行使用，并使用
变化要因信息的数据G和劣化的原图像数据Img进一步进行处理。
利用缩小数据的方法的第二种，是通过取出原图像数据Img'的一部 分区域的数据而形成缩小数据的方法。例如，如图18所示，是在原图像 数据Img'由像素11~16、 21 26、 31~36、 41 46、 51 56、 61 66构成时， 取出作为其中央区域的、由像素32、 33、 34、 42、 43、 44构成的区域， 而生成缩小Img'的方法。
这样，不是将图像区域整体利用反复处理来进行复原，而是反复处 理区域的一部分而求出良好的复原图像、并使用该复原图像求出对于该 部分的传递函数，利用该传递函数自身或将其进行修正(放大等)后的函 数而进行图像整体的复原。但是，取出区域必须是相对于变动区域充分 大的区域。在图5等所示的之前的例子中，经过三像素而发生变动，因 此必须取出三像素以上的区域。
另外，在取出该缩小区域的方法的情况下，也可以通过将原图像数 据Img'例如如图19所示那样分割为四部分，从各分割区域取出一部分的 区域，对作为小区域的四个缩小Img'分别进行反复处理，将被四分割的 分割区域分别进行复原并将被复原的四个分割图像形成为一个，从而形 成原来的整体图像。另外，在分割为多个时，以具有必须经过多个区域 而重叠的区域(重叠区域)为佳。另外，各复原的图像的重叠区域，以 进行使用平均值、或在重叠区域内平滑地连接等的处理为佳。
进而，在实际采用图3或图13的处理方法的情况下，对于具有明显 对比变化的图像等，判明了向良好近似的复原图像的收敛慢。这样，根 据作为原图像的拍照对象的性质的不同，存在反复处理的收敛速度慢从 而必须增多反复次数的情况。这种拍照对象的情况下，推断为采用以下 那样的处理方法的话便能够解决该问题。
该方法如以下所述。即，具有明显对比变化的拍照对象欲使用利用 图3或图13所示处理方法的复原的反复处理而得到与原图像近似的图像 的话，重复数变得非常多，同时在进行多次的处理之后也无法生成与原 来的拍照对象近似的复原图像数据1。+ 。因此，使用拍摄时的变化要因信 息的数据G由已知图像的数据B生成模糊图像的数据B'，并将该数据 8'叠加于被拍摄的原图像(模糊图像)的数据111^中，从而生成"111^+ B'"。 其后，利用图3所示的处理将叠加的图像进行复原处理，从成为该复原 图像数据1。+11的结果数据C除去追加有巳知图像的数据B，将想求出的
复原图像的基础图像数据Img取出。
在该方法中，基础图像数据Img含有明显对比变化，但是通过追加 已知图像的数据B能够减轻该明显对比变化，能够减少复原处理的反复 次数。
另外，作为复原困难的拍照对象的处理方法和高速的处理方法，也 可以采用其他的处理方法。例如，使复原处理的反复次数增多的话能够 更接近良好的复原图像，但是处理上花费时间。因此，使用通过一定程 度的反复处理次数得到的图像，算出其所包含的误差成分，通过从含有 误差的复原图像除去算出的误差，能够得到良好的复原图像、即复原图 像数据IQ+n。
以下，具体地说明该方法。将想求出的正确图像设为A，将拍摄的 原图像设为A'，将由原图像A'复原的图像设为A+D，将由该复原图像数 据生成的模糊的比较用图像数据设为A'+D'。在该"A'+D'"中附加拍摄 的原图像"A'"，将其进行复原处理的话，成为"A+D+A+D+D"，这 是"2A+3D"，或为"2 (A+a) +a"。由于"A+D"是通过上一次的复 原处理求出的，因此能够计算"2(A+D)+D-2(A+D)"，从而求出"D"。 因此，通过从"A+D',除去"D"，能够得到想求出的正确图像A。
也可以将以上说明的各处理方法、即(l)使用分配比k分配差分数 据D的方法(基本方式)、(2)使对应像素的差分、或差分数据D变倍的方 法(对应像素方式)、(3)检测变化要因的重心并利用该重心部分的数据的 方法(重心方法)、(4)参照图13~图16而说朋的谋求差分数据D的分配 的适当化的方法(差分数据的分配的适当化方法)、(5)将数据进行取样、 与逆问题组合的方法(逆问题取样方法)、(6)取出缩小区域、与逆问 题组合的方法(逆问题区域取出方法)、(7)重叠规定的图像并进行反 复处理、然后除去该规定图像的方法(不良图像对策重叠方法)、(8)从 含有误差的复原图像除去算出的误差的方法(误差取出方法)的各处理 方法的程序保存于处理部4，从而能够根据使用者的选择或图像的种类 自动地选择处理方法。
另外，也可以将这些(1) ~ (8)中的任意多个保存于处理部4中， 从而能够根据使用者的选择或图像的种类自动地选择处理方法。另外， 也可以选择这八个方法中的任意多个，在每一个程序中交替地或依次地 利用，或者最初的数次以某一方式进行处理、然后以其他方式进行处理。 另外，图像处理装置1除上述(1) ~ (8)中的任意一个或多个之外，也 可以具有与它们不同的处理方法。
另外，上述各处理方法也可以被程序化。另外，也可以将被程序化
的处理方法存入记录媒体、例如CD、 DVD、 USB存储器，并能够通过 电脑进行读取。该情况下，图像处理装置1具有读入该记录媒体内的程 序的读入手段。进而，也可以将该被程序化的处理方法存入图像处理装 置l外部的服务器，根据需要下载并使用。该情况下，图像处理装置1 具有将该记录媒体内的程序下载的通信手段。
权利要求
1.一种图像处理装置，设有处理图像的处理部，其特征在于，上述处理部进行的处理为，通过利用成为图像变化主要原因的变化要因信息的数据，由任意图像的图像数据生成比较用图像的图像数据，然后，将成为处理对象的原图像的图像数据和上述比较用图像的图像数据进行比较，并利用上述变化要因信息的数据将作为该比较结果而得出的差分数据分配于上述任意图像的图像数据，从而生成复原图像的图像数据；判断该复原图像的图像数据是否处于阈值内；在上述复原图像的图像数据超出上述阈值的范围时，生成矫正复原图像的图像数据，其中，该矫正复原图像的图像数据是将成为上述复原图像的图像数据生成基础的基础复原图像的图像数据根据超出上述阈值范围的超出部分数据进行矫正而形成的；然后，通过使用上述矫正复原图像的图像数据来代替上述任意图像的图像数据并重复同样的处理，而生成与变化前的原图像近似的复原图像的图像数据。
2. 如权利要求1所述的图像处理装置，其特征在于，所说的阈值为 能够存储于像素中的光能量的阈值。
3. 如权利要求1或2所述的图像处理装置，其特征在于，根据上述 超出部分数据进行的上述基础复原图像的矫正的矫正量，是利用上述变 化要因信息的数据而求出的。
4. 如权利要求1 3中的任意一项所述的图像处理装置，其特征在 于，为了生成上述复原图像的图像数据而进行的向上述任意图像的图像 数据的上述差分数据的分配，形成利用上述差分数据除以变化要因信息 所得的值而算出的分配量。
5. 如权利要求1 4中的任意一项所述的图像处理装置，其特征在 于，所说的处理部进而对未处理像素进行，将进行了上述矫正复原图像 处理的像素的分配量的、对上述未处理像素的影响部分除去的处理。
全文摘要
本发明提供的图像处理装置，在复原图像时防止装置的大型化，同时，设有具有现实性的电路处理方式；该图像处理装置进行的处理为，通过将由任意图像的图像数据I_o生成的比较用图像的图像数据I_o′和成为处理对象的原图像的图像数据Img进行比较，并将作为该比较结果而得出的差分数据D适当地分配于任意图像的图像数据，而生成复原图像的图像数据I_o+n。
文档编号H04N5/232GK101375591SQ200780003289
公开日2009年2月25日 申请日期2007年1月16日 优先权日2006年1月18日
发明者高桥史纪 申请人:日东光学株式会社