信号处理装置的制作方法

专利名称：信号处理装置的制作方法
技术领域：
本发明涉及信号处理装置。
背景技术：
众所周知在现有技术下利用照相机等拍照时会发生图像劣化的情 况。作为图像劣化的主要原因，存在拍照时的晃动、光学系统的各种像 差、镜头的偏斜等。
为了矫正拍照时的晃动，已知的有移动镜头的方法和电路处理方法。 例如，作为移动镜头的方法，已知的有通过检测出照相机的晃动，从而 使规定的镜头对应于该检测出的晃动而移动，从而进行矫正的方法(参照 专利文献l)。另外，作为电路处理方法，已知的有利用角加速度传感器 检测照相机光轴的变动，由检测出的角速度等取得表示拍照时的模糊状 态的传递函数，并对拍摄图像进行所取得的传递函数的逆变换，从而将
图像复原的方法(参照专利文献2)。
另外，除一般的拍摄图像之外，声音、X光照片、显微镜图像、地 震波形等各种信号由于晃动或其他原因而发生劣化或变化的情况也是众 所周知的。
专利文献l:日本公开公报、特开平6-317824号(参照说明书摘要) 专利文献2:日本公开公报、特开平11-24122号(参照说明书摘要)

发明内容
发明所要解决的问题
采用专利文献1记载的晃动矫正的照相机，由于需要电动机等驱动 镜头的硬件的配置空间而导致大型化。另外，由于需要这种硬件自身或 驱动该硬件的驱动电路，因此成本增加。另外，专利文献2记载的晃动 矫正的情况下，虽然可以解决上述问题点，但是存在下述的问题。艮P， 虽然在理论上通过所取得的传递函数的逆变换进行图像复原是成立的， 但是作为实际问题，由于以下两个理由导致图像复原是困难的。
第一，所取得的传递函数对于噪音或晃动信息误差等非常弱，这些 稍有变动，传递函数值便发生很大的变动。因此，通过逆变换获得的复原图像，与在未发生晃动的状态下拍摄的图像相差甚远，实际上并不能 利用。第二，在进行考虑了噪音等的逆变换的情况下，也能够采用通过 联立方程式的解的奇异值(特殊值)分解等而推算解的方法，但是，用于 该推算的计算值有天文数字那么大，实际上无法解答的危险性高。
图像中产生的上述问题也出现于一般的各种数据中，通过传递函数 的逆变换进行信号的复原，在取得的传递函数不正确时当然是困难的， 即使在正确时也有困难的情况。而且，在以自然界为对象的情况下获得 百分百正确的传递函数是不可能的。
如上所述，本发明的课题在于提供一种在复原信号时防止装置的大 型化，同时，设有具有现实性的电路处理方式的信号处理装置。
解决课题的手段
为了解决上述课题，本发明的信号处理装置，是设有处理信号的处 理部的信号处理装置，处理部通过利用成为信号变化的主要原因的变化 要因信息的数据由任意的信号数据生成比较用数据，将成为处理对象的 原信号的数据和比较用数据进行比较并利用得到的差分的数据生成复原 数据，使用该复原数据来代替任意的信号数据并重复同样的处理，从而 生成与变化前的原信号近似的复原数据。
采用该发明的话，由于仅通过利用信号变化的要因信息生成规定的 数据而生成与原信号近似的复原数据，因此几乎没有硬件上的增加，从 而装置不会大型化。另外，由于重复进行由复原数据做成比较用数据、 并将该比较用数据和处理对象的原信号的数据进行比较这样的处理，从 而获得渐渐地与成为原信号基础的变化前的影像相近的复原数据，因此 成为现实的复原作业。因此，在信号复原时，能够形成设有具有现实性 的电路处理方式的信号处理装置。
另外，其他的发明是在上述发明的基础上，处理部在进行重复处理 时，如果差分的数据变为规定值以下或小于规定值，便进行停止处理。
采用该构成的情况下，由于即使差分不变为"o"也停止处理，因此能够
防止处理的长时间化。另外，由于设定为规定值以下，因此复原数据更 接近于作为原信号的基础的变化前(劣化等之前)的信号数据。进而，在
有噪音等的情况下，往往差分实际上变为"0"的情况是不可能发生的，
但是即使在这样的情况下也不会无限制地重复进行处理。
进而，其他的发明是在上述发明的基础上，处理部在进行重复处理 时，如果重复次数达到规定次数便进行停止处理。采用该构成的情况下，
无论差分是否变为"o"都停止处理，因此能够防止处理的长时间化。另
外，由于使处理持续至规定次数，因此复原数据更接近于作为原信号的 基础的发生劣化等之前的信号数据。进而，在有噪音等的情况下，实际
上容易发生差分不变为"o"的情况，但是，即使在这样的情况下也以规
定次数结束，因此不会无限制地重复进行处理。
进而，其他的发明是在上述发明的基础上，处理部在进行重复处理 时，在重复次数达到规定次数时的差分的数据为规定值以下或小于规定 值时停止处理，在超过规定值或规定值以上时，再次进行规定次数的重 复处理。在该发明中，由于将处理的次数和差分的值组合而进行处理， 因此，与仅对处理次数增加限制或对差分的值进行限制的情况相比较， 能够成为可保持信号佳和处理时间短之间的平衡的处理。
另外，其他发明的信号处理装置，是设有处理信号的处理部的信号 处理装置，处理部进行的处理为，利用成为信号变化的主要原因的变化 要因信息的数据由规定的信号数据生成比较用数据，将成为处理对象的 信号变化后的原信号的数据和比较用数据进行比较，在获得的差分的数 据为规定值以下或小于规定值时停止处理，并将成为比较用数据的基础 的规定信号作为原信号的变化前的信号来利用，在差分大于规定值或为 规定值以上时，利用差分的数据生成复原数据，并以该复原数据取代规 定的信号而重复同样的处理。
采用该发明的话，由于利用信号劣化等的变化要因信息生成比较用 数据，并与原信号进行比较，仅在差值大的时候生成与原信号近似的复 原数据，因此几乎没有硬件上的增加，从而装置不会大型化。另外，由 于重复由复原数据做成比较用数据并将该比较用数据与处理对象的原信 号的数据进行比较，而得到渐渐地与成为原信号的基础的变化前的信号 数据相近的复原数据，因此成为现实的复原作业。因此，在复原发生了 劣化等的信号时，能够成为设有具有现实性的电路处理方式的信号处理 装置。
另外，其他的发明是在上述发明的基础上，处理部在进行重复处理 时，如果重复次数达到规定次数便进行停止处理。采用该构成的情况下，
由于无论差分是否变为"o"都停止处理，因此能够防止处理的长时间化。
另外，由于使处理持续至规定次数，因此复原数据更接近于成为原信号 的基础的变化前的信号数据。进而，在有噪音等的情况下，实际上容易
发生差分不变为"o"的情况，在这样的情况下会无限制地重复进行处理，
但是采用该构成的话，不会发生这样的问题。
进而，其他的发明是在上述发明的基础上，设有检测变化要因信息 的检测部和保存已知的变化要因信息的要因信息保存部。采用该构成的 话，能够获得考虑到了信号变化的外部要因和内部要因双方的、被矫正 的复原数据。
另外，重复的处理以差分的数据发生发散的话便中止为佳。采用该 构成的话，能够阻止质量差的复原数据的发生，同时，能够防止在不需 要的处理上花费时间。
进而，重复的处理以在复原数据中含有容许数值以外的异常(反常) 数值时便中止该处理为佳。采用该构成的话，能够阻止质量差的复原数 据的发生，同时，能够防止在不需要的处理上花费时间。
而且，重复的处理以在复原数据中含有容许数值以外的异常数值时 将该异常数值变更为容许数值并继续进行处理为佳。该构成的情况下， 即使一部分的数据中发生异常也能够继续进行处理，能够获得更加理想 的复原数据。
另外，其他的发明是在上述发明的基础上，利用差分的数据生成复 原数据的处理，是将对应的信号要素的差分或将该差分变倍后追加于比 较用数据的对应信号要素的处理。采用该构成的话，在晃动等的变化要 因少的时候能够进行快速处理。
进而，其他的发明是在上述发明的基础上，利用差分的数据生成复 原数据的处理，是利用变化要因信息的数据将差分的数据分配于任意信 号的数据或规定信号的数据中的处理。该构成的情况下，能够进行按照 晃动等的变化要因的复原处理。
另外，处理部以进行获取变化要因信息的重心、并将该重心位置的 信号要素的差分的数据或差分变倍后的数据追加于任意的信号中或规定 信号中的成为复原对象的信号要素中的处理为佳。采用该构成的话，能 够高速地进行对应于晃动等的变化要因的复原处理。
进而，处理部以将变化要因信息的数据分类于多个种类中的任意一 种、并对该每一分类进行不同的处理为佳。该情况下，能够高速地进行 对应于晃动等的变化要因的复原处理。
另外，处理部以将变化要因信息的数据分类于多个种类中的任意一 种、并使该每一分类中的重复次数不同为佳。该情况下，能够以最适当 的时间进行对应于晃动等的变化要因的复原处理。
另外，其他的发明是在上述发明的基础上，在生成复原数据时发生 复原对象区域外的数据的情况下，配置于该数据发生位置的纵向、横向、或斜向中的任意一方向的相反侧位置的复原对象区域内。采用该构成的 话，能够确实地将复原对象区域进行复原。
发明的效果
采用本发明的话，能够形成在复原发生劣化等变化的信号时，能够 防止装置的大型化，同时，设有具有现实性的电路处理方式的信号处理装置。


图1是表示本发明实施方式涉及的信号处理装置的主要构成的方框图。
图2是表示图1所示的信号处理装置的概略的外观立体图，是用于 说明角速度传感器的配置位置的图。
图3是用于说明利用图1所示的信号处理装置的处理部进行的处理 方法(处理程序)的处理流程图。
图4是用于说明图3所示的处理方法的概念的图。
图5是以晃动为例子具体地说明图3所示的处理方法用的图，是表 示未发生晃动时的能量的集中的表。
图6是以晃动为例子具体地说明图3所示的处理方法用的图，是未 发生晃动时的图像数据的示意图。
图7是以晃动为例子具体地说明图3所示的处理方法用的图，是发 生晃动时的能量的分散的示意图。
图8是以晃动为例子具体地说明图3所示的处理方法用的图，是用 于说明由任意的图像生成比较用数据的状况的图。
图9是以晃动为例子具体地说明图3所示的处理方法用的图，是用 于说明将比较用数据和成为处理对象的模糊的原图像进行比较并生成差 分的数据的状况的图。
图10是以晃动为例子具体地说明图3所示的处理方法用的图，是用 于说明通过将差分的数据进行分配并追加于任意的图像中而生成复原数 据的状况的图。
图11是以晃动为例子具体地说明图3所示的处理方法用的图，是用 于说明由被生成的复原数据生成新的比较用数据、并将该数据和成为处 理对象的模糊的原图像进行比较而生成差分的数据的状况的图。
图12是以晃动为例子具体地说明图3所示的处理方法用的图，是用
于说明将新生成的差分的数据进行分配并生成新的复原数据的状况的 图。
图13是用于说明作为利用了图3所示处理方法的其他处理方法的、 利用变化要因重心的处理的图，(A)是注意正确图像的数据中的一个像素 的状态的示意图，(B)是在表示原图像的数据的图中受到注意的像素的数 据扩展的状态的示意图。
图14是用于具体地说明作为图13所示的处理方法的、利用变化要 因重心的处理的图。
图15是用于说明利用了图3所示的处理方法的其他处理方法的图， (A)是表示成为处理对象的原图像的数据，(B)是将(A)的数据取样后(间 隔剔除)的数据的示意图。
图16是用于说明利用了图3所示的处理方法的又一其他处理方法的 图，(A)表示成为处理对象的原图像的数据，(B)是将(A)的数据的一部分 取出后的数据的示意图。
图17是用于说明图14所示的处理方法的变形例的图，是表示将原 图像的数据分为四部分、并从各分割区域取出用于进行反复处理的一部 分区域的图。
图18是用于说明能够将图l所示的信号处理装置及利用该信号处理 装置的处理部进行的处理方法(处理程序)扩展应用于一般的信号处理装 置的图。
符号说明
1 信号处理装置
2 拍摄部
3 控制系统部
4 处理部
5 记录部
6 检测部
7 要因信息保存部
Io初始图像的数据(任意图像的数据) Io'比较用数据
G 变化要因信息的数据(劣化要因信息的数据) Img'原图像的数据(摄影的图像) 5 差分的数据
k 分配比
Io+n复原数据(复原图像的数据)
Img 未劣化的原正确图像的数据
具体实施例方式
以下，参照附图对本发明第一实施方式涉及的信号处理装置l进行 说明。而且，该信号处理装置1成为图像处理装置，并作为民用的照相 机而被加以利用，但是，也可以作为监视用照相机、电视用照相机、内 窥镜照相机等其他用途的照相机，或者也可以使用于显微镜、双筒望远 镜、进而NMR拍摄等的图像诊断装置等、照相机以外的仪器中。
信号处理装置1，设有拍摄人物等的影像的拍摄部2、驱动该拍摄部 2的控制系统部3以及将通过拍摄部2拍摄的图像(信号数据)进行处理的 处理部4。另外，该实施方式涉及的信号处理装置1，进而设有记录被处 理部4处理的图像的记录部5，由角速度传感器等构成、检测成为图像 劣化等信号变化的主要原因的变化要因信息的检测部6，以及保存使图 像劣化等发生的已知的变化要因信息的要因信息保存部7。
拍摄部2是设有将通过具有镜头的摄影光学系统或镜头的光转换为 电信号的CCD(Charge Coupled Devices)或C-MOS(Complementary Metal Oxide Semiconductor)等的摄像器件的部分。控制系统部3控制拍摄部2、 处理部4、记录部5、检测部6以及要因信息保存部7等、信号处理装置 1内的各部。
处理部4由图像处理器构成，并由ASIC(Application Specific Integrated Circuit)那样的硬件构成。该处理部4中也保存有成为生成下述 的比较用数据时的基础的图像。处理部4也可以作为利用软件进行处理 的构成，而不是作为ASIC那样的硬件而构成。记录部5是由半导体存 储器构成的，但是也可以采用硬盘驱动等的磁记录手段、或使用 DVD(Digital Versatile Disk)等的光记录手段等。
如图2所示，检测部6设有检测相对于作为信号处理装置1的光轴 的Z轴为垂直方向的X轴、Y轴的旋转速度的两个角速度传感器。但是， 在利用照相机拍照时的晃动也会发生向X方向、Y方向、Z方向的各方 向的移动或围绕Z轴的转动，相对于各变动所受到的影响最大的是围绕 Y轴的旋转和围绕X轴的旋转。该两种变动仅变动一点点，拍摄出的图 像便会很模糊。因此，在该实施方式中，仅配置有图2的围绕X轴和围 绕Y轴的两个角速度传感器。但是，为了期望更加完善，也可以进一步
附加围绕Z轴的角速度传感器，或者附加检测向X方向或Y方向的移动 的传感器。另外，作为所使用的传感器，也可以不采用角速度传感器， 而采用角加速度传感器。
要因信息保存部7是保存已知的劣化要因信息等的变化要因信息、 例如光学系统的像差等的记录部。而且，在该实施方式中，在要因信息 保存部7中保存有光学系统的像差或镜头的偏斜的信息，但是在后述的 复原因晃动而发生的模糊时未利用这些信息。
接着，根据图3对如以上那样构成的信号处理装置1的处理部4的 处理方法的概要进行说明。
图3中，"Io"为任意的初始图像(初始信号数据)，是预先保存于处 理部4的记录部的图像的数据。"Io'"表示该初始图像的数据Io的劣 化图像的数据，是用于进行比较的比较用数据。"G"是通过检测部6 检测出的变化要因信息(=劣化要因信息(点像函数))的数据，且被保存于 处理部4的记录部。"Img'"指的是拍摄的图像、即劣化图像的数据， 是在该处理中成为处理对象的原图像(原信号)的数据。
"& "是原图像的数据Img'与比较用数据Io'的差分的数据。"k" 是基于变化要因信息的数据的分配比。"lo+n"是将差分的数据6根据 变化要因信息的数据G分配于初始图像的数据Io后新生成的复原图像的 数据(复原数据)。"Img"是成为作为被拍摄的劣化图像的原图像的数据 Img'的基础的、未劣化的原正确图像的数据。在此，Img和Img'的关系 以下面的式(l)表示。
Img' =Img*G …(l)
在此，"*"是表示叠加积分的算符。而且，差分的数据&也可以为 成为对应的信号要素的像素的单纯的差分，但是， 一般地根据变化要因 信息的数据G的不同而不同，以下面的式(2)表示。 "f(Img' ， Img， G)…(2)
处理部4的处理程序，首先从准备任意图像的数据Io(步骤S101)开 始。作为该初始图像的数据Io，可以使用被拍摄的劣化图像的数据Img'， 另外，也可以使用全黑、全白、全灰、黑白相间的方格花纹等那样的图 像的数据。在步骤S102中，代替(l)式的Img而代入成为初始图像的任 意图像的数据Io，并求出作为劣化图像的比较用数据Io'。接着，将作 为被拍摄的劣化图像的原图像的数据Img'和比较用数据Io'进行比较，算出差分的数据&(步骤S103)。
接着，在步骤S104中判断该差分的数据&是否为规定值以上，为规 定值以上的话，在步骤S105中进行生成新的复原图像的数据(=复原数据) 的处理。即，根据变化要因信息的数据G将差分的数据&分配于任意图 像的数据Io，生成新的复原数据Io+n。然后，重复步骤S102、 S103、 S104。
在步骤S104中，在差分的数据5小于规定值时结束处理(步骤S106) 。然后，将结束了处理的时点的复原数据Io+n推断为正确的图像、即未 劣化的图像的数据Img，并将该数据记录于记录部5。即，结束了处理的 时点的复原数据Io+n极其近似于数据Img。而且，也可以在记录部5中 记录初始图像的数据Io或变化要因信息的数据G，从而根据需要过渡到 处理部4。
将以上的处理方法的观点进行概括的话如下所述。即，在该处理方 法中，不将处理的解作为逆问题进行解决，而是作为求出合理的解的最 佳化问题进行解决。在作为逆问题解决时，也如专利文献2的记载那样 理论上是可能的，但作为现实问题是困难的。
作为最佳化问题进行解决，以以下的条件为前提。
艮P， (l)相对于输入的输出，规定为惟一值。 (2)若输出是相同的，则输入相同。
P)为了使输出相同，通过在更新输入的同时进行反复处理而使 解收敛。
换言之，如图4(A)、 (B)所示，如果能够生成与作为被拍摄图像的原 图像的数据Img'近似的比较用数据Io' (1o+n')的话，则成为该生成的基 础数据的初始图像的数据Io或复原数据Io+n，近似于成为原图像的数据 Img'的基础的正确图像的数据Img。
而且，在该实施方式中，角速度检测传感器每隔5psec便检测角速 度。另外，成为差分的数据&的判定标准的值，在将各数据以八位(bit)(0 255)表示的情况下，在该实施方式中形成为"6"。即，在小于6、也就 是为5以下时，结束处理。另外，通过角速度检测传感器检测出的晃动 的原始数据，在传感器自身的校准不充分时，与实际的晃动是不对应的。 因此，为了与实际的晃动对应，在传感器未被校准时，必须进行对通过 传感器检测出的原始数据乘以规定倍率的矫正。
接着，根据图5、图6、图7、图8、图9、图10、图11及图12对 图3及图4所示的处理方法的详细情况进行说明。
(晃动的复原算法)未发生晃动时，对应于规定的像素的光能，在曝光时间中集中于该 像素。另外，发生晃动时，光能在曝光时间中分散于晃动的像素中。进 而，如果知道曝光时间中的晃动的话，便知道曝光时间中光能的分散方 式，因此能够由模糊的图像作出不模糊的图像。
以下，为简单化，以横向一维进行说明。将成为信号要素的像素从
左开始依次地设为n-l、 n、 n+l、 n+2、 n+3、…，并注意某一像素n。由 于在未发生晃动时曝光时间中的光能集中于该像素，因此光能的集中度 为"1.0"。该情况表示于图5。将此时的拍摄结果表示于图6的表中。 图6所示的数据成为未发生劣化时的正确图像数据Img。而且，各数据 以八位(0 255)的数据表示。
曝光时间中有晃动，且分别在曝光时间中的50。/。的时间在第n号的 像素中发生晃动、30%的时间在第n+l号的像素中发生晃动、20%的时间 在第n+2号的像素中发生晃动。能量的分散方式如图7所示的表所记载。 这成为变化要因信息的数据G。
由于晃动在所有的像素中都是相同的，因此如果没有上方晃动(纵向 晃动)的话，晃动的状况如图8所示的表所记载。图8中的作为"拍摄结 果"而表示的数据是原正确图像的数据Img，作为"模糊图像"而表示 的数据是拍摄的劣化图像的数据Img'。具体地说，例如"n-3"的像素 的"120"，按照作为晃动信息的变化要因信息的数据G的"0.5" "0.3" "0.2"的分配比，在"n-3"的像素中分散"60" 、"n-2"的像素中分 散"36" 、"n-l"的像素中分散"24"。同样，作为"n-2"的像素的 数据的"60"，在"n-2"的像素中分散"30" 、"n-l"的像素中分散 "18" 、"n"的像素中分散"12"。由该劣化图像的数据Img，和图7 所示的变化要因信息的数据G算出不模糊的拍摄结果。
作为步骤S101中所示的任意图像的数据Io，可以采用任意的数据， 在进行该说明时使用拍摄的原图像的数据Img' 。 g卩，作为Ic^Img'开始 进行处理。图9的表中的"输入"相当于初始图像的数据Io。通过步骤 S102在该数据l0、即Img'上乘以变化要因信息的数据G。即，例如初 始图像的数据Io的"n-3"的像素的"60"，分别在"n-3"的像素中分 散"30" 、 "n-2"的像素中分散"18" 、 "n-l"的像素中分散"12"。 对于其他的像素也同样地分配，生成作为"输出Io'"而表示的比较用 数据I(T。因此，步骤S103的差分的数据&如图9的最下面一栏所示。
然后，通过步骤S104判断差分的数据6的大小。具体来说，在所有 的差分的数据5的绝对值全变为5以下时结束处理，但是，图9所示的
差分的数据&不符合该条件，因此进入步骤S105。即，使用变化要因信 息的数据G将差分的数据&分配到任意图像的数据Io，并生成作为图10 中的"下一次输入"而表示的复原数据Io+n。此时，由于是第一次，因 此在图10中表示为Io+l。
差分的数据&的分配，例如将在"n-3"的像素的数据"30"上乘以 作为其自身的(="n-3"的像素)分配比的0.5所得的"15"分配于"n-3" 的像素，另外分配在"n-2"的像素的数据"15"上乘以作为应产生于该 "n-2"的像素中的分配比0.3所得的"4.5"，进而，分配在"n-l"的 像素的数据"9.2"上乘以作为应产生于该"n-l"的像素中的分配比0.2 所得的"1.84"。分配于"n-3"的像素的总量为"21.34"，将该值与初 始图像的数据Io(这里使用被拍摄的原图像的数据Img')相加，生成复原 数据Io+l。
如图11所示，该复原数据Io+l成为步骤S102的输入图像的数据(-初始图像的数据Io)，实施步骤S102并向步骤S103过渡，从而得到新的 差分的数据& 。通过步骤S104判断该新的差分的数据&的大小，在大于 规定值时，通过步骤S105将新的差分的数据5分配于上一次的复原数据 1o+l中，生成新的复原数据1o+2(参照图12)。然后，通过步骤S102的 进行，由复原数据Io+2生成新的比较用数据1o+2'。这样，在实施步骤 S102、 S103之后进入步骤S104，并通过歩骤S104的判断向步骤S105 前进或向步骤S106过渡。重复这样的处理。
在该信号处理装置1中，进行处理时，在步骤104S中能够事先设定 处理次数和差分的数据&的判断标准值中的任意一方或双方。例如，作 为处理次数，能够设定20次、50次等任意的次数。另外，能够将使处 理停止的差分的数据&的值设定为八位(0 255)中的"5"，变为5以下 的话使处理结束，或者设定为"0.5"，变为0.5以下的话使处理结束。 能够任意地设定该设定值。在输入了处理次数和判断标准值双方的情况 下，在满足任意一方时便停止处理。而且，在能够进行双方的设定时， 以判断标准值为优先，通过规定次数的处理未进入判断标准值内时，也 可以再次地重复规定次数的处理。
在该实施方式的说明中，未利用保存于要因信息保存部7的信息， 但是也可以使用保存于要因信息保存部7中的已知的劣化要因、例如光 学像差或镜头的偏斜等的数据。该情况下，例如在之前的例子(图3)的处 理方法中，以将晃动的信息和光学像差的信息进行组合而作为一个劣化 要因进行处理为佳，但是，也可以在利用晃动信息的处理结束后进行利 用光学像差的信息的矫正。另外，也可以不设置该要因信息保存部7， 而仅通过拍摄时的动态要因、例如仅通过晃动等将图像进行修正或复原。
以上，对本发明实施方式涉及的信号处理装置1进行了说明，但是 只要不脱离本发明的主旨可以实施各种变更。例如，利用处理部4进行 的处理是由软件构成的，但是，也可以通过由分别承担一部分处理的部 件组成的硬件构成。
另外，作为成为处理对象的原图像，除拍摄图像之外，也可以为将 该拍摄图像进行补色、或进行傅里叶变换等、实施了加工的图像。进而， 作为比较用数据，除使用变化要因信息的数据G生成的数据之外，也可 以作为对使用变化要因信息的数据G而生成的数据施加补色、或进行傅 里叶变换后的数据。另外，作为变化要因信息的数据，不仅为劣化要因 信息的数据，也可以为含有仅使图像变化的信息、或与劣化相反地使图 像变好的信息的数据。
另外，在处理的反复次数在信号处理装置l侧自动地或固定地被设 定的情况下，也可以通过变化要因信息的数据G变更该设定的次数。例 如，在某像素的数据由于晃动而分散于多个像素的情况下，可以增加反 复次数，在分散少的情况下可以减少反复次数。
进而，在反复处理中，也可以在差分的数据5发散时、即变大时便 使处理中止。关于是否发散，例如可以采用观察差分的数据5的平均值 后如果该平均值变得大于上一次的话便判断为发散的方法。另外，可以 采用发散发生一次后立即中止处理的方法，但是也可以采用发散连续两 次发生后中止处理的方法、或发散持续规定次数后中止处理的方法。另 外，在反复处理中，在欲将输入变更为异常值时也可以使处理中止。例 如，在八位的情况下，在欲被变更的值为超过255的值时，使处理中止。 另外，反复处理中，在欲将作为新数据的输入变更为异常的值时，也可 以不使用该值，而形成正常的值。例如，在八位的0 255中，在欲将超 过255的值作为输入数据时，作为极大值255进行处理。即，在复原数 据中含有容许数值(在上述例子中为0 255)以外的异常数值(在上述例子 中为超过255的值)时，能够中止该处理，或者，在复原数据中含有容许 数值以外的异常数值时，能够使该异常数值变更为容许数值并继续进行 处理。
另外，在生成成为输出图像的复原数据时，存在由于变化要因信息 的数据G的不同而发生超出欲复原的图像的区域的数据的情况。该情况 下，超出区域的数据被输入相反侧。另外，在存在应从区域外输入的数
据的情况下，以从相反侧取入该数据为佳。例如，在由位于区域内的最
下方的像素XN1(N行1列)的数据发生分配于更下方的像素的数据的情 况下，该位置处于区域之外。因此，该数据进行在像素XN1的正上方分 配于位于最上面的像素Xll(l行1列)的处理。对于像素XN1的相邻的 像素XN2(N行2列)，也同样地在正上方分配于最上栏的像素X12(—象素 Xll的旁边的1行2列)。这样，在生成复原数据时发生成为复原对象区 域外的数据的情况下，配置于该数据的发生位置的纵向、横向、或斜向 中的任意一方向的相反侧位置的复原对象区域内的话，对于欲复原的对 象区域能够进行确实的复原。
另外，生成复原数据Io+n时，也可以不使用分配比k，而将对应像 素的差分的数据&原封不动地追加于上一次的复原数据Io+im的对应像 素中，或在将对应像素的差分的数据&变倍后进行追加，或者将差分的 数据&被分配后的数据k&(作为图10、图12中的"更新量"而表示的 值)变倍后追加于上一次的复原数据Io+im中。很好地活用这些处理方法 的话，则处理速度变快。
另外，在生成复原数据Io+n时，也可以算出劣化等的变化要因的重 心，并仅将该重心的差分、或变倍后的该差分追加于上一次的复原数据 1o+iM中。以下参照图13及图14对该观点进行说明。
如图13所示，在正确图像的数据Img由像素11 15、 21 25、 31 35、 41 45、 51 55构成时，如图13(A)所示，观察像素33。由于晃动 等像素33向像素33、 43、 53、 52的位置移动的话，在作为劣化图像的 原图像的数据Img'中，如图13(B)所示，像素33、 43、 52、 53中出现最 初的像素33的影响。
这种劣化的情况下，在像素33移动时如果位于像素43的位置的时 间最长的话，劣化、即变化要因的重心，关于正确图像的数据Img中的 像素33在原图像的数据Img'中处于像素43的位置。由此，差分的数据 &如图14所示，作为原图像的数据Img'和比较用数据Io'各自的像素 43的差进行计算。该差分的数据5被追加于初始图像的数据Io或复原数 据Io+n的像素33。
另外，以之前的例子来说的话，"0.5" "0.3" "0.2"三个的重心， 为最大值"0.5"的位置，成为自身的位置。因此，不考虑"0.3"或"0.2" 的分配，仅使差分的数据&的"0.5"或"0.5"变倍部分分配于自身位置。 这样的处理适合于晃动的能量集中的情况。
进而，也可以根据变化要因信息的数据G的内容自动地选择上述各
处理方法。即，处理部4可以将变化要因信息的数据G分类于多个种类 中的任意一种，并对该每一分类进行不同的处理。例如，作为处理方法， 如图5 图12所示，将能够实行(l)使用分配比k分配差分的数据&的方 法(实施例方式)、(2)使对应像素的差分、或差分的数据S变倍的方法(对 应像素方式)、(3)检测劣化要因的重心并利用该重心部分的数据的方法 (重心方法)这三种方法的程序保存于处理部4内，分析劣化要因的状况， 并根据该分析结果选择该三种方法中的任意一种。另外，也可以选择三 种方法中的任意多种，在每一程序中交替利用，或者在最初的数次中以 某一方式进行处理，之后再以其他方式进行处理。
另外，从谋求复原处理的高速化的意义上，存在与逆问题进行组合 的方法。即，利用缩小数据进行反复处理，并算出由缩小的原图像向缩 小的复原数据的传递函数。然后，将算出的传递函数进行扩大、插补， 并使用该被扩大、插补的传递函数得出原图像的复原数据。该处理方法 对于大图像的处理是有利的。
作为这种处理方法，可以考虑两种方法。第一是，通过数据取样而 形成缩小数据的方法。数据取样的情况，例如如图15所示，存在着在原 图像的数据Img'由像素11 16、 21 26、 31 36、 41 46、 51 56、 61 66构成时，每隔一个将像素进行取样，从而生成由像素11、 13、 15、 31、 33、 35、 51、 53、 55构成的四分之一大小的缩小Img'的方法。
这样，将原图像的数据Img'进行取样，生成作为取样数据的缩小 Img'，并使用该缩小Img'进行图3所示的反复处理，从而得到完全符 合要求的取样复原数据1o+n。缩小复原数据Io+n虽为完全符合要求的数 据，但始终是近似的。因此，复原数据Io+n和原图像的数据Img'的传 递函数，不是缩小数据的反复处理中所使用的传递函数。因此，由缩小 复原数据Io+n和作为缩小的原图像的数据的縮小Img'算出传递函数， 将算出的传递函数扩大并将扩大的间隔进行插补后，将该修正的传递函 数作为相对于成为基础数据的原图像的数据Img'的传递函数。然后，使 用该修正的传递函数，利用频率间隔进行重叠合法计算(通过计算从含 有污点的图像群中除去污点的计算)，得到完整的复原数据Io+n并将其 推断为未劣化的原正确的图像Img。
而且，该处理的情况，也可以将得到的被推断为正确图像的复原数 据Io+n作为图3所示处理的初始图像的数据Io而使用，并利用变化要 因信息的数据G和劣化的原图像的数据Img，进一步进行处理。
利用缩小数据的方法的第二种，是通过取出原图像的数据Img'的一
部分区域的数据而形成縮小数据的方法。例如，如图16所示，存在着在 原图像的数据Img'由像素11~16、 21~26、 31~36、 41 46、 51~56、 6卜66 构成时，取出作为其中央区域的、由像素32、 33、 34、 42、 43、 44构成 的区域，而生成縮小Img，的方法。
这样，不通过反复处理来复原图像区域整体，而是将区域的一部份 进行反复处理求出良好的复原图像，使用该复原图像求出相对于该部分 的传递函数，使用该传递函数自身或将其修正(扩大等)后的数据来进 行图像整体的复原。但是，取出的区域必须是相对于变动区域充分大的 区域。在图5等所示的之前的例子中，由于是经过三像素发生变动，因 此必须取出三像素以上的区域。
而且，该取出縮小区域的方法的情况，也可以是通过将原图像的数 据Img'例如如图17所示那样分割为四部分，从各分割区域取出一部分 的区域，对作为小区域的四个縮小Img'分别进行反复处理，将被四分割 的分割区域分别进行复原并将复原的四个分割图像形成为一个而形成原 来的整体图像。而且，在分割为多个时，以必须具有经过多个区域而重 叠的区域(重叠区域)为佳。另外，各复原的图像的重叠区域，以进行 使用平均值、或在重叠区域内平滑地连接等的处理为佳。
进而，在实际采用图3的处理方法的情况下，对于具有明显对比变 化的图像等，判断为向良好近似的复原图像的收敛慢。这样，根据作为 原图像的拍照对象的性质的不同，存在反复处理的收敛速度慢从而必须 增多反复次数的情况。这种拍照对象的情况下，采用以下那样的处理方 法的话，推断为能够解决该问题。
该方法如以下所述。B卩，具有明显对比变化的拍照对象欲使用利用 图3所示处理方法的复原的反复处理并得到与原图像近似的图像的话， 重复数变得非常多，同时在进行多次的处理之后也无法生成与原来的拍 照对象近似的复原数据Io+n。因此，使用拍摄时的变化要因信息的数据 G而从已知的图像的数据B生成模糊图像的数据B'，并使该数据B'叠 加于被拍摄的原图像(模糊图像)的数据Img'中而形成"Img' +B'"。 然后，利用图3所示的处理将叠加的图像进行复原处理，从成为该复原 数据Io+n的结果数据C除去追加有已知图像的数据B，将想求出的复原 图像的数据Img取出。
采用该方法的话，正确图像的数据Img含有明显的对比变化，但通 过追加已知图像的数据B能够减轻该明显的对比变化，能够减少复原处 理的重复数。
另外，作为复原困难的拍照对象的处理方法和高速的处理方法，也 可以采用其他的处理方法。例如，使复原处理的重复数增多的话能够更 接近良好的复原图像，但是处理上花费时间。因此，使用通过一定程度 的反复处理数得到的图像，算出其所包含的误差成分，通过从含有误差 的复原图像除去算出的误差，能够得到良好的复原图像、即复原数据 Io十n。
以下具体地说明该方法。将想求出的正确图像设为A,将拍摄的原 图像设为A'，将由原图像A'复原的图像设为A+S，将由该复原数据 生成的模糊的比较用数据设为A' + & '。在该"A' + & '"中附加拍摄的 原图像"A'",将其进行复原处理的话，成为"+ & "，这 是"2A+3 & "，或为"2 (A+a ) + a "。由于"A+ & "是通过上一次 的复原处理求出的，因此能够计算"2 (A+& ) +6-2(A+&)"，从而求 出"&"。因此，通过从"A+&"除去"&"，能够得到想求出的正确 图像A。
也可以将以上说明的各处理方法、即(l)使用分配比k分配差分的 数据&的方法(实施例方式)、(2)使对应像素的差分、或差分的数据&变 倍的方法(对应像素方式)、(3)检测劣化要因的重心并利用该重心部分的 数据的方法(重心方法)、(4)将数据进行取样、与逆问题组合的方法(逆 问题取样方法)、(5)取出缩小区域、与逆问题组合的方法(逆问题区 域取出方法)、(6)重叠规定的图像并进行反复处理、然后除去该规定 的图像的方法(不良图像对策重叠方法)、(7)从含有误差的复原图像 除去算出的误差的方法(误差取出方法)的各处理方法的程序保存于处 理部4，从而能够根据使用者的选择或图像的种类自动地选择处理方法。
另外，处理部4也可以将变化要因信息的数据G分类于多个种类中 的任意一种，并对该每一分类进行不同的处理(上述各方法的任意一种)， 或者使该每一分类的反复次数不同。
另外，也可以将这些(1) ~ (7)中的任意多个保存于处理部4中， 从而能够根据使用者的选择或图像的种类自动地选择处理方法。另外， 也可以选择这七个方法中的任意多个，在每一个程序中交替地或依次地 利用，或者最初的数次以某一方式进行处理，然后以其他方式进行处理。 而且，信号处理装置1除上述(1) (7)中的任意一个或多个之外，也 可以具有与它们不同的处理方法。
进而，在分配差分的数据&时，是使用分配比k并将差分的数据5 的一部分分配于各像素(各信号要素)，但是，也可以以不足l的分配比k除差分的数据5，也就是使分配比k超过l，使返回量大，从而大 幅度地削减反复处理的次数。
另外，如图18所示，本发明也可以使用于图像处理装置以外。图 18是用于说明将信号处理装置1及利用该信号处理装置1的处理部4进 行的处理方法(处理程序)扩展应用于一般的信号处理装置的图。在线 性系统21中，在该线性系统21的劣化信息等的变化要因信息的数据G 为已知的时候，若输出信号(输出信息)相同的话，可以认为输入信号 (输入信息)相同。因此，为了使作为信号数据的输出信号(输出信息) 相同，通过将与成为观测信号的输出信号(输出信息)的差分的数据6 向输入信号反馈，将图3等所示的重复处理(反复处理)进行至差分的 数据&充分变小为止，能够复原劣化等的变化前的信号数据。
在图18中，以声音信号那样的信号数据为对象进行了说明，线性系 统21是变化要因信息的数据G判明的记录。在该例子中，为了使成为 信号数据的输出信号(图18中为原信号的数据Img')和比较用数据1o+n， (Io')相同，将作为成为观测信号的原信号的数据Img'(输出信息) 和比较用数据Io+n' (Io')的差的差分的数据5向成为输入信号的初始 信号Io或复原数据Io+n—,反馈，将图3等所示的重复处理(反复处理) 进行至差分的数据6充分变小为止。而且，若输出信号(原信号的数据 Img')和比较用数据Io+n' (Io')相同或极其近似的话，则能够推断复 原数据Io+n为原信号的数据Img'。
图18是以声音等的信号为例子，对本发明的一般化进行了说明，这 样，若变化要因信息的数据G为利用已知的线性系统21的数据的话， 无论是哪种装置，通过利用图3所示那样的重复处理使差分的数据5近 似于"0"，能够得到复原数据Io+n。例如，也可以扩展应用于声音信号 处理装置、地震波形检测装置等处理图像以外的信号的装置。
另外，上述各处理方法也可以被程序化。另外，也可以将被程序化 的处理方法存入记录媒体、例如CD( Compact Disc )、DVD、USB( Universal Serial Bus)存储器，并能够通过电脑进行读取。该情况下，信号处理装 置1具有读入该记录媒体内的程序的读入手段。进而，也可以将该程序 化的处理方法存入信号处理装置1外部的服务器，根据需要下载并使用。 该情况下，信号处理装置1具有将该记录媒体内的程序下载的通信手段。
权利要求
1.一种信号处理装置，设有处理信号的处理部，其特征在于，上述处理部进行的处理为，通过利用成为信号变化的主要原因的变化要因信息的数据由任意的信号数据生成比较用数据，将成为处理对象的原信号的数据和上述比较用数据进行比较并利用所得到的差分的数据生成复原数据，使用该复原数据来代替上述任意的信号数据并重复同样的处理，从而生成与变化前的原信号近似的复原数据。
2. 如权利要求1所述的信号处理装置，其特征在于，所说的处理部 在进行上述重复处理时，若上述差分的数据变为规定值以下或小于规定 值，便进行停止处理。
3. 如权利要求1所述的信号处理装置，其特征在于，所说的处理部 在进行上述重复处理时，若重复次数达到规定次数，便进行停止处理。
4. 如权利要求1所述的信号处理装置，其特征在于，所说的处理部 在进行上述重复处理时，在重复次数达到规定次数时的上述差分的数据 为规定值以下或小于规定值时停止处理，在超过规定值或为规定值以上 时，再次进行规定次数的重复处理。
5. —种信号处理装置，设有处理信号的处理部，其特征在于， 上述处理部进行的处理为，利用成为信号变化的主要原因的变化要因信 息的数据由规定的信号数据生成比较用数据，将成为处理对象的信号变 化后的原信号的数据和上述比较用数据进行比较，在所得到的差分的数 据为规定值以下或小于规定值时停止处理，并将成为上述比较用数据的 基础的上述规定的信号作为上述原信号的变化前的信号而使用，在上述 差分大于规定值或为规定值以上时，利用上述差分的数据生成复原数据， 并以该复原数据取代上述规定的信号而重复同样的处理。
6. 如权利要求5所述的信号处理装置，其特征在于，所说的处理部 在进行上述重复处理时，若重复次数达到规定次数，便进行停止处理。
7. 如权利要求1~6中的任意一项所述的信号处理装置，其特征在于， 设有检测上述变化要因信息的检测部和保存已知的变化要因信息的要因 信息保存部。
8. 如权利要求1~7中的任意一项所述的信号处理装置，其特征在于， 所说的重复处理在上述差分的数据发生发散时便中止。
9. 如权利要求1~8中的任意一项所述的信号处理装置，其特征在于， 所说的重复处理，在上述复原数据中含有容许数值以外的异常数值时便 中止该处理。
10. 如权利要求1 8中的任意一项所述的信号处理装置，其特征在 于，所说的重复处理，在上述复原数据中含有容许数值以外的异常数值 时，将该异常数值变更为容许数值并继续进行处理。
11. 如权利要求1 10中的任意一项所述的信号处理装置，其特征在 于，利用上述差分的数据生成上述复原数据的处理，是将对应的信号要 素的差分或将该差分变倍后追加于上述比较用数据的对应信号要素的处 理。
12. 如权利要求1~10中的任意一项所述的信号处理装置，其特征在 于，利用上述差分的数据生成上述复原数据的处理，是利用上述变化要 因信息的数据将上述差分的数据分配于上述任意信号的数据或上述规定 信号的数据的处理。
13. 如权利要求12所述的信号处理装置，其特征在于，所说的处理 部进行的处理为，获取上述变化要因信息的重心，将该重心位置的信号 要素的差分的数据或差分变倍后的数据追加于上述任意的信号中或上述 规定的信号中的成为复原对象的信号要素中。
14. 如权利要求12所述的信号处理装置，其特征在于，所说的处理 部将上述变化要因信息的数据分类于多个种类中的任意一种，并对该每 一分类进行不同的处理。
15. 如权利要求12所述的信号处理装置，其特征在于，所说的处理 部将上述变化要因信息的数据分类于多个种类中的任意一种，并使该每 一分类中的上述重复次数不同。
16. 如权利要求1~15中的任意一项所述的信号处理装置，其特征在 于，在生成上述复原数据时发生成为复原对象区域之外的数据的情况下， 配置于该数据发生位置的纵向、横向、或斜向中的任意一方向的相反侧 位置的复原对象区域内。
全文摘要
本发明的目的在于提供一种在复原信号时能够防止装置的大型化，同时，设有具有现实性的电路处理方式的信号处理装置；该信号处理装置设有处理信号的处理部；该处理部进行的处理为，通过利用成为信号变化的主要原因的变化要因信息的数据G由任意信号的数据Io生成比较用数据Io’，然后，将成为处理对象的原信号的数据Img’和比较用数据Io’进行比较，并通过将所得到的差分的数据δ利用变化要因信息的数据G分配于任意信号的数据Io而生成复原数据Io+n，然后，使用该复原数据Io+n来代替任意信号的数据Io并重复同样的处理，从而生成与变化前(劣化等之前)的原信号近似的复原数据Io+n。
文档编号G06T5/00GK101198985SQ200680021699
公开日2008年6月11日 申请日期2006年6月14日 优先权日2005年6月21日
发明者高桥史纪 申请人:日东光学株式会社