图像处理装置、图像处理方法及相机系统与流程

本发明涉及一种进行基于点扩散函数的恢复处理的图像处理装置、图像处理方法及相机系统。

背景技术：

经由光学系统摄影的被摄体像中，由于光学系统引起的衍射或像差等的影响，有时可观察到点被摄体具有微小扩散的点扩散现象。表示光学系统相对于点光源的响应的函数被称为点扩散函数(psf:pointspreadfunction)，作为影响摄像图像(摄影图像)的分辨率劣化(模糊)的特性而为人们所知。

由于点扩散现象而画质劣化的摄像图像能够通过接受基于psf的恢复处理来恢复画质。该恢复处理是如下处理：预先求出透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过利用与该点像特性相应的恢复滤波器的图像处理删除或减少摄像图像的点扩散。一直以来提出有利用该恢复处理的技术。

例如，专利文献1中，记载有如下摄像装置：使用复原滤波器(恢复滤波器)进行复原处理(恢复处理)，事先将使复原处理之后的图像的评价值(mtf(调制转换函数，modulationtransferfunction)、tv(电视机，television)分辨条数或评价区域中的对比度)成为规定的评价值以上的复原滤波器保存在存储器中。

以往技术文献

专利文献

专利文献1：日本特开2008-085697号公报

技术实现要素：

发明要解决的技术课题

其中，通常在图像的恢复中应乘以传递函数的逆函数，但若直接乘以逆函数，则在劣化程度大的频率成分中，适用非常大的增幅，有可能放大摄像系统的噪声，反而导致画质劣化。为了避免此现象，在已知摄像系统的sn比(信号噪声比，signal-noiseratio)的情况下，经常使用根据最小平方的含义使图像恢复为最佳的维纳(wiener)滤波器。

在famv(工厂自动化，factoryautomationmachinevision)等领域中，要求具备具有完全相同的分辨性能的多个相机的系统。这是因为，对从多个相机输出的摄像图像适用图像识别算法时，若摄像图像之间的分辨率不同，则需要进行根据各摄像图像个别地微调识别算法的操作。即，优选即使是从多个相机输出的摄像图像，也能够通过相同的参数设定的识别算法进行处理。然而，实际上，即使是相同型号的透镜或相机，由于在制造时产生的个体偏差导致各个体的性能发生变化，因此很难在从多个相机输出的摄像图像中实现完全相同的分辨率。

为了解决该问题，考虑如下方法：实际测量每个透镜个体的光学传递函数，并利用该光学传递函数，个别地通过基于维纳滤波器的恢复处理实施分辨率校正。然而，仅通过个别地适用基于维纳滤波器的恢复处理，无法保证校正之后的图像的分辨率一定相同。这是因为，维纳滤波器为在最小平方的含义上使图像恢复为最佳的处理，因此产生如下情况，即，良好的透镜更加良好，差的透镜即使恢复也无法达到良好的透镜的水平(根据情况，为了消除噪声而恢复得更差)。

专利文献1中，并未提及在从多个相机输出的图像之间使分辨率一致的内容。

本发明是鉴于这种情况而完成的，其目的在于提供一种即使是从多个摄像系统输出的图像，也能够简单地获得具有相同分辨率且画质良好的图像的图像处理装置、图像处理方法及相机系统。

用于解决技术课题的手段

为了实现上述目的，作为本发明的一方式的图像处理装置具备：传递函数输入部，输入多个摄像系统的各传递函数；计算部，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成部，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成部，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算部中使用的规定基准将使多个摄像系统的恢复图像的分辨率一致作为前提条件，在各恢复图像中的放大倍率的最大值成为规定阈值以下的范围内，将成为最大的分辨率值设为目标分辨率。

根据本方式，通过计算部，根据如下基准计算多个摄像系统中的目标分辨率值，所述基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，在各恢复图像中的放大倍率的最大值成为规定阈值以下的范围内，将成为最大的分辨率值设为目标分辨率值。并且，通过恢复滤波器生成部，根据通过计算部计算出的目标分辨率值，生成对通过各摄像系统输出的图像使用的恢复滤波器，通过恢复图像生成部，生成对摄像图像进行了恢复处理的恢复图像。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够简单地获取分辨率值一致且画质良好的恢复图像。

作为本发明的另一方式的图像处理装置具备：传递函数输入部，输入多个摄像系统的各传递函数；计算部，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成部，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成部，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算部中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，将多个摄像系统的传递函数中绝对值最小的值的常数倍设为目标分辨率值。

根据本方式，通过计算部，根据如下基准计算多个摄像系统中的目标分辨率值，所述基准将使所述多个摄像系统的恢复图像的分辨率值一致作为前提条件，将多个摄像系统的传递函数中绝对值最小的值的常数倍设为目标分辨率值。并且，通过恢复滤波器生成部，根据在计算部中计算出的目标分辨率值，生成对通过各摄像系统输出的图像使用的恢复滤波器，通过恢复图像生成部，生成对摄像图像进行了恢复处理的恢复图像。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够简单地获取分辨率值一致且画质良好的恢复图像。

作为本发明的另一方式的相机系统是一种具有上述图像处理装置的相机系统，其中，多个摄像系统和进行多个摄像系统的控制的控制装置通过有线或无线连接，在控制装置设置有图像处理装置。

根据本方式，上述图像处理装置设置于相机系统中的控制装置。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。

作为本发明的另一方式的相机系统是一种具有上述图像处理装置的相机系统，其中，多个摄像系统和进行多个摄像系统的控制的控制装置通过有线或无线连接，在多个摄像系统中的至少1个中设置有图像处理装置。

根据本方式，上述图像处理装置设置于构成相机系统的多个相机中的至少1个中。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。

作为本发明的另一方式的相机系统是一种由具有上述图像处理装置的多个相机构成的相机系统，其中，多个摄像系统和进行多个摄像系统的控制的控制装置通过有线或无线连接，在多个摄像系统的每一个中设置有图像处理装置。

根据本方式，上述图像处理装置设置于构成相机系统的多个摄像系统的每一个中。由此，本方式中，即使是通过多个摄像系统获取的摄像图像，也能够获取分辨率值一致且画质良好的恢复图像。

作为本发明的另一方式的图像处理方法包含：传递函数输入步骤，输入多个摄像系统的各传递函数；计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成步骤，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，在各恢复图像中的放大倍率的最大值成为规定阈值以下的范围内，将成为最大的分辨率值设为目标分辨率。

作为本发明的另一方式的图像处理方法包含：传递函数输入步骤，输入多个摄像系统的各传递函数；计算步骤，根据所输入的各传递函数及规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器；及恢复图像生成步骤，利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，将多个摄像系统的传递函数中绝对值最小的值的常数倍设为目标分辨率值。

作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；及恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器，所述相机系统具有通过如下恢复滤波器生成方法生成的恢复滤波器，即，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，在各恢复图像中的放大倍率的最大值成为规定阈值以下的范围内，将成为最大的分辨率值设为目标分辨率值。

作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；及计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值，所述相机系统具有通过如下目标分辨率值计算方法计算出的目标分辨率值，即，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，在各恢复图像中的放大倍率的最大值成为规定阈值以下的范围内，将成为最大的分辨率值设为目标分辨率值。

作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值；及恢复滤波器生成步骤，根据多个摄像系统的各传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器，所述相机系统具有通过如下恢复滤波器生成方法生成的恢复滤波器，即，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，将多个摄像系统的传递函数中绝对值最小的值的常数倍设为目标分辨率值。

作为本发明的另一方式的相机系统中，通过有线或无线连接有多个摄像系统，其中，相机系统包含：传递函数输入步骤，输入多个摄像系统的各传递函数；及计算步骤，根据所输入的各传递函数和规定基准，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值，所述相机系统具有通过如下目标分辨率值计算方法计算出的目标分辨率值，即，计算步骤中使用的规定基准将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，将多个摄像系统的传递函数中绝对值最小的值的常数倍设为目标分辨率值。

发明效果

根据本发明，利用规定基准计算相对于多个摄像系统的目标分辨率值，根据计算出的目标分辨率值生成恢复滤波器，并通过所生成的恢复滤波器进行恢复处理，因此能够简单地获得在从多个摄像系统输出的图像之间频率特性一致且具有良好的画质的图像。

附图说明

图1是概念性地表示相机系统的图。

图2是表示构成相机系统的计算机及相机的功能结构的框图。

图3是表示计算机侧图像处理部(图像处理装置)的功能结构的框图。

图4是表示从图像摄影至恢复处理为止的概略的图。

图5是表示图像的mtf与频率的关系的图。

图6是表示图像的mtf与频率的关系的图。

图7是表示图像的mtf与频率的关系的图。

图8是表示确定目标分辨率值的工序的流程图。

图9是表示图像处理方法的工序的流程图。

图10是概念性地表示相机系统的图。

图11是在相机系统设定恢复滤波器时的动作流程图。

图12是在相机系统设定目标分辨率值时的动作流程图。

具体实施方式

以下，根据附图对本发明的图像处理装置、图像处理方法及相机系统的优选实施方式进行说明。

图1是概念性地表示由多个相机及控制装置构成的相机系统的图。

相机系统1由相机(摄像系统)10a、相机(摄像系统)10b及计算机(控制装置)60构成。并且，相机10a获取摄像图像2a，相机10b获取摄像图像2b。另外，图中，摄像图像2a及摄像图像2b与相机10a及相机10b的摄影方向一同概念性地示出。

相机10a及相机10b分别设置于不同的位置，对被摄体o进行摄影。相机10a具有传递函数h1，摄像图像2a中被摄体o的像被摄于p1的位置。相机10b具有传递函数h2，该摄像图像2b中被摄体o的像被摄于p2的位置。另外，相机系统1中，相机10a、相机10b及计算机60通过有线连接，但也可以通过无线连接。

相机系统1例如用于famv用途。通过相机10a及相机10b摄影的图像进行图像分析而识别被摄于图像的物体。为此，要求被摄体o以相同分辨率被摄于摄像图像2a及摄像图像2b中。另外，分辨率是图像显示的精细度，是指图像中的细节的表现力，还能够如分辨率值或分辨率那样通过数值表示。

本发明中，通过设置于相机系统1的图像处理装置进行恢复处理，以使被摄体o的图像上的分辨率变得相同。具体而言，通过校准求出相机10a及相机10b的传递函数h1及传递函数h2，进行恢复处理，以使被摄体o的画面上的位置(p1、p2)上的被摄体o的分辨率值变得相等。在此，校准例如为在相机10a及相机10b的目标被摄体o的位置设置图表(chart)，测定各自的传递函数。另外，本申请中，分辨率相同或一致是指，例如将目标分辨率值作为基准，分辨率在5％的误差范围内，优选在3％的误差范围内。

图2是表示构成相机系统1的计算机60、连接于计算机60的相机10a及相机10b的功能结构的框图。另外，相机10a及相机10b为相同的结构，因此仅记载相机10a的结构并省略相机10b的结构。

相机10a具备可换透镜单元12及具备摄像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22和相机主体14的相机主体输入输出部30，透镜单元12和相机主体14电连接。

透镜单元12具备透镜16和光圈17等光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包含连接于透镜单元输入输出部22的透镜单元控制器20及对光学系统进行操作的致动器(省略图示)。透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14发送来的控制信号，经由致动器对光学系统进行控制，例如进行基于透镜移动的聚焦控制或变焦控制、光圈17的光圈量控制等。

相机主体14的摄像元件26具有聚光用微透镜、r(红)g(绿)b(蓝)等滤色器及图像传感器(光电二极管；cmos(互补型金属氧化物半导体，complementarymetaloxidesemiconductor)、ccd(电荷耦合元件，charge-coupleddevice)等)。该摄像元件26将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换为电信号，将图像信号(原图像数据)发送至相机主体控制器28。另外，对相机10a获取彩色图像的情况进行说明，但相机10a还能够获取黑白图像或单色图像。

本例的摄像元件26通过利用光学系统的被摄体像的摄影来输出原图像数据，该原图像数据发送至相机主体控制器28的图像处理部35。

如图2所示，相机主体控制器28具有设备控制部34及图像处理部35，统一控制相机主体14。设备控制部34例如控制来自摄像元件26的图像信号(图像数据)的输出，生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，向经由输入输出界面32连接的外部设备类(计算机60等)发送图像处理前后的图像数据(raw数据、jpeg数据等)。并且，设备控制部34适当控制相机10a所具备的各种器件类。

图像处理部35能够对来自摄像元件26的图像信号进行根据需要的任意的图像处理。例如，在图像处理部35中适当进行传感器校正处理、去马赛克(同步)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、彩色矩阵处理、灰度校正处理等)、rgb图像处理(锐度处理、色调校正处理、曝光校正处理、轮廓校正处理等)、rgb和/或ycrcb转换处理及图像压缩处理等各种图像处理。

在相机主体控制器28进行了图像处理的图像数据经由输入输出界面32发送至计算机60等。从相机10a(相机主体控制器28)发送至计算机60等的图像数据的格式并无特别限定，可设为raw、jpeg、tiff等任意格式。因此，相机主体控制器28可以如所谓的exif(可交换图像文件格式，exchangeableimagefileformat)那样，将标题信息(摄影信息(摄影日期时间、机种、像素数、光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据相互建立对应关联来构成为1个图像文件，并将该图像文件发送至计算机60。

计算机60经由相机主体14的输入输出界面32及计算机输入输出部62与相机10a连接，接收从相机主体14发送来的图像数据等数据类。计算机控制器64统一控制计算机60，对来自相机10a的图像数据进行图像处理，控制与经由网络70等网络线路与计算机输入输出部62连接的服务器80等的通信。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要显示于显示器66。用户通过一边确认显示器66的显示一边对键盘等输入机构(省略图示)进行操作，能够对计算机控制器64输入数据或指令。由此，用户能够控制计算机60或连接于计算机60的设备类(相机10a、相机10b及服务器80)。

服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60等外部设备类之间的收发连接部，经由网络70等网络线路与计算机60的计算机输入输出部62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64协作，在与计算机控制器64之间根据需要进行数据类的收发，将数据类下载至计算机60，进行运算处理并将其运算结果发送至计算机60。

各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具有控制处理所需的电路类，例如具备运算处理电路(cpu(中央处理器，centralprocessingunit)等)及存储器等。并且，相机10a、计算机60及服务器80之间的通信可以是有线也可以是无线。并且，可以一体构成计算机60及服务器80，并且也可以省略计算机60及服务器80中的至少任一个。并且，也可以使相机10a具有与服务器80的通信功能，在相机10a与服务器80之间直接进行数据类的收发。

图3是表示计算机侧图像处理部(图像处理装置)63的功能结构的框图。计算机侧图像处理部63设置于计算机控制器64。

计算机侧图像处理部63具备传递函数输入部3、计算部5、恢复滤波器生成部7及恢复图像生成部9。

在计算机侧图像处理部63经由输入输出界面32及计算机输入输出部62输入通过相机10a获取的摄像图像2a(摄像图像数据)及通过相机10b获取的摄像图像2b(摄像图像数据)。输入至计算机侧图像处理部63的摄像图像2a及摄像图像2b输入至恢复图像生成部9。

并且，在计算机侧图像处理部63经由输入输出界面32及计算机输入输出部62输入相机10a的传递函数h1及相机10b的传递函数h2。输入至计算机侧图像处理部63的传递函数h1及传递函数h2输入至传递函数输入部3。

计算部5根据所输入的各传递函数和计算基准(规定基准)，计算使从多个摄像系统的每一个输出的多个摄像图像恢复的恢复处理的目标值即目标分辨率值。具体而言，计算部5根据传递函数h1及传递函数h2和之后说明的计算基准，计算对摄像图像2a及摄像图像2b进行的恢复处理的目标分辨率值。在此，目标分辨率值例如为通过恢复处理而变更的分辨率值，是对摄像图像进行恢复处理而获得的恢复图像的分辨率值。并且，目标分辨率值可示出某一频率或某一频带中的分辨率值，也可以以奈奎斯特频率为止的所有频带中的离散地采样的分辨率值的集合表示。

恢复滤波器生成部7根据多个摄像系统的传递函数和目标分辨率值，对多个摄像系统的每一个，生成用于恢复处理的恢复滤波器。具体而言，恢复滤波器生成部7根据传递函数h1及传递函数h2和通过计算部5计算出的目标分辨率值生成恢复滤波器。

恢复图像生成部9利用针对多个摄像系统的每一个生成的恢复滤波器，对通过多个摄像系统获取的摄像图像进行恢复处理来生成恢复图像。具体而言，恢复图像生成部9使用通过恢复滤波器生成部7生成的相机10a的恢复滤波器，对摄像图像2a进行恢复处理来生成恢复图像11a，使用通过恢复滤波器生成部7生成的相机10b的恢复滤波器，对摄像图像2b进行恢复处理来生成恢复图像11b。在此，恢复图像11a及恢复图像11b被恢复处理为通过计算部5计算出的目标分辨率值，恢复图像11a和恢复图像11b具有相同的分辨率值。

接着，对恢复处理进行说明。

图4是表示从图像摄影至恢复处理为止的概略的图。将点像作为被摄体来进行摄影时，被摄体像经由光学系统(透镜16、光圈17等)通过摄像元件26(图像传感器)受光，从摄像元件26输出原图像数据do。该原图像数据do由于光学系统的特性引起的点扩散现象，成为原本的被摄体像模糊的状态的图像数据。

为了根据该模糊图像的原图像数据do复原(恢复)原本的被摄体像(点像)，对原图像数据do进行利用恢复滤波器f的恢复处理p10，由此可获得表示更接近原本的被摄体像(点像)的像(恢复图像)的恢复图像数据dr。

在恢复处理p10中使用的恢复滤波器f根据与获取原图像数据do时的摄影条件相应的光学系统的点像信息(点扩散函数)，通过规定的恢复滤波器计算算法p20获得。光学系统的点像信息(点扩散函数)不仅根据透镜16的种类而变动，还根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此计算恢复滤波器f时，获取这些摄影条件。

如上述，恢复处理p10为通过利用恢复滤波器f的滤波处理从原图像数据do制作恢复图像数据dr的处理，例如由n×m(n及m为1以上的整数)的抽头构成的实际空间上的恢复滤波器f适用于处理对象的图像数据。由此，通过对分配于各抽头的滤波器系数和所对应的像素数据(原图像数据do的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算恢复处理之后的像素数据(恢复图像数据dr)。依次改变对象像素，将利用该恢复滤波器f的加权平均处理适用于构成图像数据的所有像素数据，由此能够进行恢复处理。

另外，由n×m的抽头构成的实际空间上的恢复滤波器能够通过对频率空间上的恢复滤波器进行傅里叶逆转换来导出。因此，能够通过如下来适当地计算实际空间上的恢复滤波器，即，确定成为基础的频率空间上的恢复滤波器，并指定实际空间上的恢复滤波器的构成抽头数。

接着，对通过恢复图像生成部9生成的恢复图像11a及恢复图像11b的分辨率进行说明。

图5、图6及图7是表示摄像图像2a、摄像图像2b、恢复图像11a及恢复图像11b的mtf与频率之间的关系的图。

图5(i)表示摄像图像2a的mtf与频率之间的关系，图5(ii)中示出有对摄像图像2a以通常使用的方式使用维纳滤波器生成恢复滤波器，并通过该恢复滤波器进行了恢复处理时的恢复图像11a的mtf与频率之间的关系。并且，图6中也同样地，在图6(i)中示出有针对摄像图像2b的mtf与频率之间的关系，图6(ii)中示出有对摄像图像2b以通常使用的方式使用维纳滤波器来生成恢复滤波器，并通过该恢复滤波器进行了恢复处理时的恢复图像11b的mtf与频率之间的关系。另外，图5(ii)及图6(ii)中，通过进行恢复处理，mtf恢复至以虚线表示的目标分辨率值。通常使用的维纳滤波器的使用方式是指从1个相机对输出图像进行恢复处理时通过维纳滤波器生成恢复滤波器的方式，是未考虑多个相机的图像之间的输出图像之间的分辨率一致的使用方式。

如图5及图6所示，以通常使用的方式使用维纳滤波器生成恢复滤波器并进行恢复处理时，根据相机10a或相机10b的各个体所具有的传递函数来设计恢复滤波器，因此较多情况下相机10a的恢复图像11a和相机10b的恢复图像11b的分辨率并不一致。即，仅通过个别地适用基于维纳滤波器的图像恢复处理，无法保证恢复图像11a和恢复图像11b的分辨率一定相同。这是因为，维纳滤波器为在最小平方的含义上使图像恢复为最佳的处理，因此产生如下情况，即，良好的透镜更加良好，差的透镜即使恢复也无法达到良好的透镜的水平。

图7中示出有摄像图像2a及摄像图像2b的mtf与频率之间的关系(图7(a)的(i)及图7(b)的(i))和进行了本发明的恢复处理时的恢复图像11a及恢复图像11b的mtf与频率之间的关系(图7(a)的(ii)及图7(b)的(ii))。在此，图7(a)的(ii)中，根据通过计算部5计算出的目标分辨率值、传递函数h1及传递函数h2，生成通过相机10a获取的摄像图像2a的恢复滤波器，利用该恢复滤波器进行恢复处理。并且，图7(b)的(ii)中，对通过相机10b获取的摄像图像2b进行相同的恢复处理。另外，在图7(a)的(ii)及图7(b)的(ii)中，通过进行恢复处理，mtf恢复或移动至以虚线表示的目标分辨率值。

如图7(a)的(ii)及图7(b)的(ii)所示，进行了本发明的恢复处理的恢复图像中，能够使恢复图像的频率特性一致。即，摄像图像2a和摄像图像2b通过进行恢复处理，恢复成相同的目标分辨率值，因此在恢复图像11a及恢复图像11b中分辨率一致。

接着，对通过计算部5进行的确定目标分辨率值的例子进行说明。关于目标分辨率值，对放大倍率设置上限，超过任一个相机的放大倍率的上限(规定阈值)时，降低目标分辨率值，确定为在所有相机的放大倍率中不超过放大倍率的上限的目标分辨率值。

＜目标分辨率值的确定＞

作为维纳滤波器比简单的逆滤波器优异的效果，可举出以下的点，即，防止为了提高非常低的mtf而乘以较高的恢复滤波器放大倍率，从而导致噪声放大。

[数式1]

fi(ωx，ωy)：适用于第i个摄像系统的恢复滤波器放大倍率(着眼于特定频率中的值)。

r：目标分辨率值(着眼于特定频率中的值)；

hi(ωx，ωy)：第i个摄像系统的频率特性(着眼于特定频率中的值)。

以下，设为在特定空间频率中考虑。如从具有上式的关系的情况可知，目标分辨率值r越高，恢复滤波器放大倍率fi(ωx，ωy)越变高。因此，恢复滤波器放大倍率fi(ωx，ωy)过高时，只要以降低目标分辨率值r的方式进行调整，就能够简单地构成有效的恢复滤波器。考虑这些情况，以下中对如下例子进行说明，即，对恢复滤波器放大倍率fi(ωx，ωy)设置上限值g，反复求出目标分辨率值r，以使在所有相机中恢复滤波器放大倍率fi(ωx，ωy)的值不超过上限值g的值。在此，恢复滤波器放大倍率fi(ωx，ωy)成为恢复图像在所关注的频率中的放大倍率的含义，根据放大倍率放大恢复图像时，恢复图像的噪声也根据相同倍率被放大。

图8是表示在计算部5中确定目标分辨率值r的工序的流程图。

首先，计算部5设定临时目标分辨率值r(步骤s10)。例如，目标分辨率值r的初始值设定为1时，计算部5将临时目标分辨率值r设为1，恢复滤波器生成部7通过上述式或维纳滤波器的计算式对所有相机(1≤i≤m)计算恢复滤波器的频率特性fi(ωx，ωy)(步骤s11)。例如，通过图1进行说明的是m＝2的情况，计算针对相机10a及相机10b的各恢复滤波器的频率特性fi(ωx，ωy)。

之后，计算部5判定相机10a及相机10b的恢复滤波器的频率特性fi(ωx，ωy)是否为上限值g以下(步骤s12)。

在所有相机中恢复滤波器的频率特性fi(ωx，ωy)不是上限值g以下时，即，存在某一摄像系统用的恢复滤波器的频率特性fi(ωx，ωy)大于恢复滤波器放大倍率的上限值g的相机时，计算部5变更临时目标分辨率值r(步骤s13)。即，计算部5针对临时目标分辨率值r，设为r-δr来减少值，恢复滤波器生成部7根据新设定的临时目标分辨率值r，重新进行恢复6滤波器放大倍率fi(ωx，ωy)的计算。反复进行该操作，直至所有相机的恢复滤波器的频率特性fi(ωx，ωy)成为恢复滤波器放大倍率的上限值g以下，通过计算部5进行目标分辨率值r的值的调整。

并且，在所有相机中恢复滤波器的频率特性fi(ωx，ωy)为恢复滤波器放大倍率的上限值g以下时，将临时设定的目标分辨率值r采用为正式的值(步骤s14)。

图9是表示本发明的图像处理方法的工序的流程图。

首先，在传递函数输入部3输入相机10a及相机10b的传递函数h1及传递函数h2(传递函数输入步骤：步骤s20)。接着，计算部5根据所输入的传递函数h1、传递函数h2及计算基准计算目标分辨率值(计算步骤：步骤s21)。并且，通过恢复滤波器生成部7，根据计算出的目标分辨率值生成恢复滤波器(恢复滤波器生成步骤：步骤s22)。之后，通过恢复图像生成部9，使用所生成的各恢复滤波器，对各相机的摄像图像进行恢复处理来生成恢复图像11a(恢复图像生成步骤：步骤s23)。

上述的各结构及功能能够通过任意的硬件、软件或者两者的组合适当实现。例如，对使计算机60执行上述处理步骤(处理顺序)的程序、记录有这种程序的能够计算机读取的记录介质(非暂时性记录介质)或者能够安装这种程序的计算机60也能够适用本发明。

上述实施方式中，执行各种处理的处理部(处理单元，processingunit)的硬件结构为如下示出的各种处理器(processor)。各种处理器中包含执行软件(程序)来作为各种处理部发挥作用的通用的处理器即cpu、fpga(现场可编程门阵列，fieldprogrammablegatearray)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(programmablelogicdevice：pld)、asic(专用集成电路，applicationspecificintegratedcircuit)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。

1个处理部可以由这些各种处理器中的1个构成，也可以通过相同种类或不同种类的2个以上的处理器(例如，多个fpga、或者cpu与fpga的组合)构成。并且，也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第1方式为如以客户机或服务器等计算机为代表，通过1个以上的cpu和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用。第2方式为如片上系统(systemonchip：soc)等为代表，使用通过1个ic(集成电路，integratedcircuit)芯片实现包含多个处理部的整个系统的功能的处理器。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。

而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的电路(circuitry)。

＜恢复滤波器的生成＞

接着，对通过计算部5及恢复滤波器生成部7进行的具体的计算例进行说明。在上述＜目标分辨率值的确定＞中示出了通常的考虑方法，但如恢复滤波器的计算基准为逆滤波器这样的特殊的情况下，无需反复而能够通过轻松的计算来实现。

＜维纳滤波器的导出＞

首先，对针对1个相机(摄像系统)的输出图像的通过维纳滤波器生成恢复滤波器的情况进行说明。另外，以下说明中，通过“”括弧表示的字符及式中的粗体字表示矢量或矩阵，除此以外，如表示标量那样区别使用。

将原始图像(理想图像)设为“x”，将通过摄像系统劣化的图像设为“y”，将摄像系统的光学传递函数(二维脉冲响应)设为“h”。此时，若将通过摄像系统混入的加法噪声矢量设为“n”，则能够如下式那样表示观测模型。

[数式2]

y＝h*x+n

在此，*表示二维卷积。通常，光学传递函数依赖于像高而发生变化，但上式中着眼于能够忽视传递函数的变化的微小区域，假设视作移动不变系统。

若在上式的两边适用傅里叶(fourier)转换，则成为下式。

[数式3]

y(ωx，ωy)＝h(ωx，ωy)x(ωx，ωy)+n(ωx，ωy)

在此，大写字符的变量为小写字符的变量的空间频率

[数式4]

(ωx，ωy)

中的频率成分。

若将维纳恢复滤波器(恢复滤波器)的二维脉冲响应设为“f”，将恢复图像设为“z”，则能够如下式那样表示图像恢复过程。

[数式5]

z＝f*y

同样地，上述傅里叶转换成为如下。

[数式6]

z(ωx，ωy)＝f(ωx，ωy)y(ωx，ωy)

维纳恢复滤波器的图像恢复基准成为以下中定义的原始图像与恢复图像的平均平方误差j。

[数式7]

j＝exen||x-z||²

在此，ex为图像“x”的信号的振幅，en为噪声“n”的信号的振幅。图像“x”与噪声“n”无相关，因此能够变形为如下。

[数式8]

j＝exen||x-f*h*x+f*n||²＝ex||(1-f*h)*x||²+en||f*n||²

上式中，“1”这一标记设为尺寸与“f”*“h”相等且始终成为“1”*“x”＝“x”(只有中心成为1且其他要素成为0)的矢量。若对上式进行傅里叶转换，则成为如下。

[数式9]

j＝∫∫ex||{1-f(ωx，ωy)h(ωx，ωy)}x(ωx，ωy)||²+en||f(ωx，ωy)n(ωx，ωy)||²dωxdωy

而且，若将平均信号电力s设为如下，

[数式10]

s(ωx，ωy)＝ex||x(ωx，ωy)||²

并将平均噪声电力n设为如下，

[数式11]

n(ωx，ωy)＝en||n(ωx，ωy)||²

则成为如下。

[数式12]

j＝∫∫||1-f(ωx，ωy)h(ωx，ωy)||²s(ωx，ωy)+||f(ωx，ωy)||²n(ωx，ωy)dωxdωy

为了使上式针对恢复滤波器的频率特性而最小化，

[数式13]

f*

若对数式13进行偏微分而设为零，则可获得数式14，

[数式14]

2f(ωx，ωy)||h(ωx，ωy)||²s(ωx，ωy)-2h^*(ωx，ωy)s(ωx，ωy)+2f(ωx，ωy)n(ωx，ωy)＝0

由此，可如下式那样获得维纳恢复滤波器的频率特性。

[数式15]

在此，设为如下。

[数式16]

h^*(ωx，ωy)

数式16为

[数式17]

h(ωx，ωy)

的复共轭。

[数式18]

实际安装上，恢复滤波器作为限制抽头数的二维fir滤波器来实际安装，因此利用附带任意的公知限制条件的最佳化方法，获得使频率特性

[数式19]

f(ωx，ωy)

近似于最佳的滤波器抽头系数“f”。

<分辨率统一维纳滤波器的导出>

接着，对本发明的计算部5及恢复滤波器生成部7中的计算进行说明。

计算部5所使用的计算基准是“将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，在各个恢复图像中的放大倍率的最大值成为规定阈值以下的范围内，将成为最大的分辨率值设为目标分辨率值”及“将使多个摄像系统的恢复图像的分辨率值一致作为前提条件，将多个摄像系统的传递函数中绝对值最小的值的常数倍设为目标分辨率值”。另外，如以下说明，这2个计算基准在数学上具有相同的效果。

将多个摄像系统(相机)的索引设为i(1≤i≤m)，将所对应的实际测量的光学传递函数(二维脉冲响应)设为“hi”，将其频率特性标记为数式20。

[数式20]

hi(ωx，ωy)

此时，各摄像系统中的适用恢复滤波器之后的图像(恢复图像)的频率特性必须一致。若将适用滤波器之后的总计(包含劣化和恢复)频率响应设为r(常数)，则需成为数式21，

[数式21]

hi(ωx，ωy)fi(ωx，ωy)＝r(1≤i≤m)

这表示利用参数r，如下式那样唯一地确定恢复滤波器的频率特性。

[数式22]

关于各摄像系统的恢复滤波器的频率特性，只要确定r的值，则通过上式唯一地确定。为了确定r的值，与维纳滤波器的情况相同，使用原始图像和恢复图像的平均平方误差基准。但是，在此设为利用多个摄像系统中的平方误差的加权和。

[数式23]

但是，如下。

[数式24]

yi＝hi*xi+ni

[数式25]

zi＝fi*yi

并且，wi(≥0)为用于分配摄像系统的恢复程度的优先顺序的权重系数，若不需要，则设为wi＝1。若对上述j进行傅里叶转换，则成为如下。

[数式26]

[数式27]

在此，假设平均信号电力和平均噪声电力与摄像系统无关地恒定。

现在，还能够求出直接使原始图像和恢复图像的平均平方误差[j]最小化的r，但在此考虑更简单地构成滤波器。为了使[j]最小化，需要求出使第1项(分辨率的恢复程度)和第2项(噪声的放大程度)平衡的r的值。若r过大，则由于第2项的影响，性能下降，而若r过小，则由于第1项的影响，导致性能下降。在此，考虑简便地对第2项中的噪声电力的放大率设置可容许的阈值θ，在噪声放大率变得小于该值的范围内减小第1项。该噪声放大率是滤波器放大倍率本身，因此对任意的i为如下。

[数式28]

||fi(ωx,ωy)||²≤θ

即，

[数式29]

需要数式29成立。针对任意i满足该式的最大的r通过下式赋予。

[数式30]

由此，可知通过各摄像系统的传递函数中绝对值最小的传递函数的分辨率值的常数倍，可简单地获得目标分辨率值r。θ的值能够通过任意方法事先确定，但通过适当调整该值，能够调整整体的噪声与恢复的平衡。并且，保证各摄像系统的恢复图像的分辨率一定一致。另外，目标分辨率值r并不限于各摄像系统的传递函数中绝对值最小的传递函数的分辨率值的常数倍，也可以采用常数倍以内的值。

如此简单地求出的分辨率统一恢复滤波器在使原始图像与恢复图像的平均平方误差j最小化的含义上并非最佳，但能够非常简单地进行设计，而且还能够简单地进行还采用“以避免过度放大噪声的方式调整恢复程度”这一维纳滤波器的思考方式的设计。

＜变形例1＞

接着，对本发明的变形例1进行说明。本例中，图像处理部(图像处理装置)设置于相机10a及相机10b，而不是相机系统1的控制装置(计算机60)。

图10是表示本例的相机系统1的概念图。另外，对已在图3中进行说明的部位标注相同符号并省略说明。并且，相机10b与相机10a为相同结构，因此省略图示。

图像处理部35中设置有已在图3中说明的传递函数输入部3、计算部5、恢复滤波器生成部7及恢复图像生成部9。

以图10说明的情况下，在相机10a的图像处理部35设置有传递函数输入部3、计算部5、恢复滤波器生成部7及恢复图像生成部9。并且，虽省略了图示，但在相机10b的图像处理部35中，也设置有传递函数输入部3、计算部5、恢复滤波器生成部7及恢复图像生成部9。

此时，可通过相机10a的计算部5计算相机10a目标分辨率值及相机10b的目标分辨率值，也可以通过相机10a的计算部5计算相机10a的目标分辨率值，并通过相机10b的计算部5计算相机10b的目标分辨率值。另外，相机10a和相机10b通过有线或无线连接，能够相互进行数据的交换。

并且，图10中，对在相机10a及相机10b设置传递函数输入部3、计算部5、恢复滤波器生成部7及恢复图像生成部9的情况进行了说明，但也可以仅在相机10a的图像处理部35设置有传递函数输入部3、计算部5、恢复滤波器生成部7及恢复图像生成部9。

＜变形例2＞

接着，对本发明的变形例2进行说明。本例中，通过上述的恢复滤波器生成方法(图9的步骤s20～步骤s22)生成恢复滤波器，所生成的恢复滤波器预先设定于相机系统1。

图11是在本例的相机系统1设定恢复滤波器时的动作流程图。

首先，传递函数输入部3中输入相机10a及相机10b的传递函数h1及h2(传递函数输入步骤：步骤s30)。接着，计算部5根据所输入的传递函数h1和h2及计算基准，计算目标分辨率值(计算步骤：步骤s31)。并且，通过恢复滤波器生成部7，根据计算出的目标分辨率值生成恢复滤波器(恢复滤波器生成步骤：步骤s32)。之后，对相机系统1设定(存储)所生成的恢复滤波器(步骤s33)。相机系统1在适当的部位存储恢复滤波器。即，恢复滤波器可以存储于构成相机系统1的相机10a及相机10b，也可以存储于计算机60。

＜变形例3＞

接着，对本发明的变形例3进行说明。本例中，通过上述的目标分辨率值计算方法(图9的步骤s20～步骤s21)确定目标分辨率值，该目标分辨率值预先设定于相机系统1。

图12是在本例的相机系统1设定恢复滤波器时的动作流程图。

首先，传递函数输入部3中输入相机10a及相机10b的传递函数h1及h2(传递函数输入步骤：步骤s40)。接着，计算部5根据所输入的传递函数h1和h2及计算基准，计算目标分辨率值(计算步骤：步骤s41)。之后，在相机系统1设定(存储)计算出的目标分辨率值(步骤s42)。相机系统1在适当的部位存储目标分辨率值。例如，目标分辨率值可存储于构成相机系统1的相机10a及相机10b，也可以存储于计算机60。

以上，对本发明的例子进行了说明，但本发明并不限定于上述实施方式，能够在不脱离本发明精神的范围进行各种变形是理所当然的。

符号说明

1-相机系统，2a、2b-摄像图像，3-传递函数输入部，5-计算部，7-恢复滤波器生成部，9-恢复图像生成部，10a、10b-相机，11a、11b-恢复图像，12-透镜单元，14-相机主体，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，22-透镜单元输入输出部，26-摄像元件，28-相机主体控制器，30-相机主体输入输出部，32-输入输出界面，34-设备控制部，35-图像处理部，60-计算机，62-计算机输入输出部，63-计算机侧图像处理部，64-计算机控制器，66-显示器，70-网络，80-服务器，82-服务器输入输出部，84-服务器控制器。