图像处理装置、成像装置及图像处理方法与流程

本公开内容涉及图像处理装置、成像装置、图像处理方法和图像处理方法。具体地，本公开内容涉及无透镜摄像装置(无透镜成像装置)、执行无透镜摄像装置的校准的图像处理装置、成像装置和图像处理方法。

背景技术：

近年来，正在开发在不使用透镜的情况下能够拍摄图像的无透镜摄像装置。常规的普通摄像装置通过透镜将光输入到作为成像元件的图像传感器中，并拍摄图像。无透镜摄像装置使用具有调制光的机制的掩模，例如包括光的透射区域和非透射区域的二维图案以及衍射光栅，而不是透镜，并且将通过掩模的光输入到图像传感器中。图像传感器通过掩模拍摄图像。可以通过掩模对成像数据应用预定的信号处理，以生成与普通摄像装置中的拍摄场景相对应的二维图像。在无透镜摄像装置中透镜不是必需的。因此，可以实现成像装置的小型化、重量减轻、成本降低、非平面性等。

如上所述，无透镜摄像装置将通过掩模的光输入到图像传感器中。指示来自场景(拍摄场景)的同步辐射如何通过掩模被投影到传感器上的信息可以被预先定义为矩阵，并且该矩阵和投影到传感器上的图像(观察图像)可以用于生成再现实际场景的图像(恢复图像)。

注意，在例如以下文献中描述了无透镜摄像装置。

专利文献1(国际公开第wo2016/123529号)。

为了对由无透镜摄像装置的图像传感器检测到的信号(观察信号)应用信号处理，以生成再现实际场景的图像(恢复图像)，在该处理中需要考虑各种拍摄条件。

具体地，拍摄条件，例如

(1)图像传感器相对于被摄体的几何位置，

(2)来自被摄体的光输出的强度和光谱特性，

(3)通过掩模进行的调制，

(4)掩模与传感器之间的位置和几何关系，以及

(5)该传感器的光谱灵敏度特性，

需要被考虑以执行信号处理。

特别地，掩模与图像传感器之间的位置和几何关系的物理量的变化显著影响最终图像(恢复图像)。然而，在无透镜摄像装置的制造过程中，掩模和传感器的附接位置的变化不能被减小到零，并且在每个摄像装置中存在变化。

因此，为了使所制造的无透镜摄像装置中的每一个生成并输出正确的恢复图像，需要执行反映掩模与每个无透镜摄像装置特有的图像传感器之间的位置关系的处理。在通过假定掩模与图像传感器之间的位置和几何关系与实际关系不同来执行信号处理以生成恢复图像的情况下，恢复图像可能被破坏。

在专利文献1中公开了一种对策，其中，显示装置(例如，可见光中的lcd)被布置在无透镜摄像装置的前面，并且各种垂直和水平线性图案被呈现给无透镜摄像装置，从而计算用于校正掩模与传感器之间的位置和几何关系的行列式。

该方法是一种相对于噪声和衍射模糊具有极好鲁棒性的方法。另一方面，存在所呈现的图案的数量非常大的问题。例如，在获得n×n个像素的图像的无透镜摄像装置系统中，线性图案需要被成像2n次。因此，在多个无透镜摄像装置的生产线中，为了计算与每个摄像装置相对应的校正矩阵，需要为每个无透镜摄像装置成像大量的线性图案，并且处理时间变得巨大。

另外，执行多种类型的线性图案的呈现处理的装置(显示器)也导致成本的增加。例如，如果无透镜摄像装置是拍摄可见光图像的摄像装置，则可以使用输出可见光的廉价显示器，例如lcd。然而，在使用可见光以外的波段的情况下，例如使用例如红外光的情况下，成本增加。在这种情况下，输出多种类型的线性图案的装置(显示器)需要是红外输出类型的装置(显示器)。存在的问题是，需要相当大的成本来安装例如在等于或高于1000μm及以上的短红外波长段中的红外光输出类型的大量装置(显示器)。

[引用列表]

[专利文献]

[ptl1]

国际公开第wo2016/123529号

技术实现要素：

技术问题

本公开内容是鉴于例如上述问题而做出的，并且本公开内容的目的是提供一种图像处理装置、成像装置和图像处理方法，其可以在不执行多种类型的线性图案的呈现处理的情况下执行无透镜摄像装置的校准，并且可以执行与掩模和传感器的附接位置的变化等相对应的最佳处理。

问题的解决方案

本公开内容的第一方面提供了一种图像处理装置，该图像处理装置包括信号处理单元，该信号处理单元接收作为无透镜摄像装置的图像传感器的输出的拍摄图像以生成恢复图像。该信号处理单元使用至少基于无透镜摄像装置的掩模和图像传感器之间的位置关系信息生成的摄像装置特有的数据来执行图像处理以生成恢复图像。

此外，本公开内容的第二方面提供了一种图像处理装置，其执行校准过程，该校准过程接收拍摄图像和模拟图像，该拍摄图像是通过对无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获得的，该模拟图像被估计为是在无透镜摄像装置的掩模与图像传感器之间的位置关系指示参考位置的情况下，对无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获取的，对模拟图像应用校正处理，选择与拍摄图像的差异小的校正模拟图像，并且基于应用于校正模拟图像的校正数据来生成可以应用于无透镜摄像装置中的图像恢复处理的摄像装置特有的数据。

此外，本公开内容的第三方面提供了一种成像装置，包括：成像单元，其包括设置有设置为二维图案的光的透射区域和非透射区域的掩模和接收通过掩模的光的图像传感器；存储器，其存储在拍摄图像和参考图像的比较处理中生成的摄像装置特有的数据，该拍摄图像是通过对成像单元的光轴的向前方向上的一个点光源进行拍摄而获得的；以及信号处理单元，其接收作为图像传感器的输出的拍摄图像以生成恢复图像。该信号处理单元使用存储在存储器中的摄像装置特有的数据来执行图像处理，以生成恢复图像。

此外，本公开内容的第四方面提供了一种由图像处理装置执行的图像处理方法，其中，该图像处理装置包括信号处理单元，该信号处理单元接收作为无透镜摄像装置的图像传感器的输出的拍摄图像，以生成恢复图像，并且该信号处理单元使用至少基于该无透镜摄像装置的掩模与图像传感器之间的位置关系信息生成的摄像装置特有的数据来执行图像处理，以生成该恢复图像。

此外，本公开内容的第五方面提供了一种执行由图像处理装置执行的无透镜摄像装置的校准过程的图像处理方法。该图像处理装置接收拍摄图像和模拟图像，该拍摄图像通过对无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获得的，该模拟图像被估计为是通过在无透镜摄像装置的掩模与图像传感器之间的位置关系指示参考位置的情况下，对无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获取的，对模拟图像应用校正处理，选择与拍摄图像的差异小的校正模拟图像，并且基于应用于校正模拟图像的校正数据生成能够应用于无透镜摄像装置中的图像恢复处理的摄像装置特有的数据。

注意，基于稍后描述的本公开内容的实施方式和附图，根据更详细的描述，本公开内容的其他目的、特征和优点将变得明显。注意，本说明书中的系统表示多个装置的逻辑集合配置，并且每个配置的装置可以不在同一壳体中。

发明的有益效果

根据本公开内容的实施方式的配置，实现了一种配置，其可以执行反映诸如无透镜摄像装置的掩模与图像传感器之间的位置关系信息之类的摄像装置特有的数据的图像处理，以生成高度准确的恢复图像。注意，本说明书中描述的有益效果仅是说明性的，并且有益效果不限于此。也可以存在另外的有益效果。

附图说明

[图1]图1是描述无透镜摄像装置的拍摄原理的图。

[图2]图2是描述无透镜摄像装置的拍摄原理的图。

[图3]图3是描述无透镜摄像装置的掩模的示例的图。

[图4]图4是描述无透镜摄像装置的拍摄处理示例的图。

[图5]图5是描述无透镜摄像装置的拍摄处理和图像恢复处理的图。

[图6]图6是描述无透镜摄像装置的拍摄图像和恢复图像的对应示例的图。

[图7]图7是描述无透镜摄像装置的拍摄图像和恢复图像的对应示例的图。

[图8]图8是描述无透镜摄像装置的所使用图像的示例的图。

[图9]图9是描述本公开内容的校准过程中的拍摄图像的获取处理示例的图。

[图10]图10是描述执行本公开内容的校准过程的配置的规范的图。

[图11]图11是描述执行本公开内容的校准过程的配置的规范的图。

[图12]图12是示出描述本公开内容的校准过程的处理序列的流程图的图。

[图13]图13是描述在本公开内容的校准过程中使用的图像的特定示例的图。

[图14]图14是描述用于执行本公开内容的校准过程的装置配置的示例的图。

[图15]图15是示出无透镜摄像装置的配置示例的框图。

[图16]图16是描述图像处理装置的硬件配置示例的图。

具体实施方式

在下文中，将参照附图描述本公开内容的图像处理装置、成像装置和图像处理方法的细节。注意，将根据以下项描述细节。

1.无透镜摄像装置的概述和原理

2.用于从无透镜摄像装置的观察图像生成恢复图像的信号处理

3.与成像矩阵f相关的物理量

4.摄像装置校准过程的细节

5.执行校准过程的装置和摄像装置的配置示例

6.简化计算处理的处理示例

7.本公开内容的图像处理的有益效果

8.图像处理装置的硬件配置示例

9.本公开内容的配置的结论

[1.无透镜摄像装置的概述和原理]

首先，将描述无透镜摄像装置的概述和原理。参照图1和图2，将与一般摄像装置(成像摄像装置)的配置相比较来描述无透镜摄像装置(无透镜成像装置)的概况。图1示出了以下三种类型的摄像装置的成像原理。

(a)无透镜摄像装置

(b)带透镜的摄像装置

(c)针孔摄像装置

(c)针孔摄像装置包括：相对于遮光膜12被设置为孔的针孔21；以及图像传感器(固态成像元件)11。在包括针孔的成像装置的情况下，从被摄体表面上的不同光源发出的光束l1至l3透射通过针孔21，并且在图像传感器(固态成像元件)11上的像素i1至i3中被拍摄为图像，如图1的右下部分的(c)针孔摄像装置的图中所示。

在包括针孔摄像装置的成像装置的情况下，图像传感器(固体成像元件)11仅使用与从光源发出的光束l1至l3中的一个像素相对应的光束来形成图像，并且该图像进入到图像传感器(固态成像元件)11的每个像素。因此，拍摄到暗的图像。

图1的右上部分中的(b)带透镜的摄像装置在遮光膜31的中心处设置有成像透镜32，并且成像透镜32会聚光束l1至l3，如光束i11至i13所示。在图像传感器(固态成像元件)11上形成图像，并且图像传感器(固态成像元件)11拍摄图像。

在图1右上部分的(b)带透镜的摄像装置的情况下，图像传感器(固态成像元件)11形成包括光强度为所有光束l1至l3的总光强度的光的图像，并且该图像进入图像传感器(固态成像元件)11。因此，在图像传感器(固态成像元件)11的每个像素中拍摄具有足够光量的图像。

如图1的右上部分(b)带透镜的摄像装置的图中所示，使用成像透镜32，并且一组点光源形成被摄体。因此，在被摄体的成像中，从被摄体表面上的多个点光源发出的光束被会聚以形成图像，并且被摄体被成像。

如参照图1的右上部分的(b)带透镜的摄像装置所示，成像透镜32的作用是将从每个点光源发出的每个光束(即，漫射光)引导到图像传感器(固态成像元件)11。因此，在图像传感器(固态成像元件)11上形成对应于最终图像的图像，并且包括由图像传感器(固态成像元件)11上的像素检测的检测信号的图像是其中形成图像的观察图像。

然而，成像装置(成像元件)的尺寸由成像透镜和成像透镜的焦距确定，并且在小型化方面存在限制。

另一方面，图1左侧所示的(a)无透镜摄像装置没有设置成像透镜或针孔。该(a)无透镜摄像装置使用图像传感器(固态成像元件)11和掩模51在被摄体表面上对被摄体进行成像。

图1的左侧所示的(a)无透镜摄像装置在图像传感器11的前级设置有包括多个尺寸的开口51a的掩模51。来自光源的光束l1至l3被调制并进入图像传感器11的成像表面。图像传感器(固态成像元件)11上的像素接收光束l1至l3。

这里，掩模51是包括在水平方向和垂直方向上以单位尺寸δ设置有随机设置尺寸的开口51a和遮光部51b的掩模图案的掩模，如图1中(a)无透镜摄像装置的下部分所示。单位尺寸δ是至少大于像素尺寸的尺寸。此外，图像传感器11与掩模51之间设置有小的距离d的间隙。在图1所示的示例中，图像传感器11上的像素之间的间距为w。根据该配置，根据单位尺寸δ的尺寸与距离d光束l1至l3被调制并进入图像传感器11。

更详细地，假设图1中的(a)无透镜摄像装置的上图中的光束l1至l3的光源例如是图2的左上部分所示的点光源pa、pb和pc，并且具有光强度a、b和c的光束在透射通过掩模51之后进入图像传感器11上的位置pa、pb和pc。

在无透镜摄像装置的情况下，入射光被随机设置在掩模51上的开口51a调制，并且每个像素的检测灵敏度具有根据入射角的方向性，如图2的左上部分所示。这里，每个像素的检测灵敏度具有的入射角方向性的事实表示光灵敏度特性取决于图像传感器11上的区域根据入射光的入射角而变化。

也就是说，在被摄体表面71所包括的光源为点光源的情况下，从同一点光源发出的光强度相同的光束进入图像传感器11。由掩模51调制光束，并且入射角度在图像传感器11的成像表面的每个区域中变化。此外，通过使用掩模51，根据图像传感器11的区域来改变入射光的入射角度，从而提供光灵敏度特性，即，入射角方向性。因此，即使当光束的光强度相同时，设置在图像传感器11的成像表面的前级中的掩模51也以不同的灵敏度在图像传感器11上的每个区域中检测光束。因此，在每个区域中检测到不同检测信号电平的检测信号。

更具体地，如图2中的右上部分中所示，图像传感器11上的位置pa、pb和pc处的像素的检测信号电平da、db和dc分别由以下等式(1)至等式(3)来表示。

da＝α1×a+β1×b+γ1×c(1)

db＝α2×a+β2×b+γ2×c(2)

dc＝α3×a+β3×b+γ3×c(3)

这里，α1是根据来自点光源pa的光束在被摄体表面71上的入射角而设置的要在图像传感器11上的位置pa处恢复的针对检测信号电平“a”的系数。

另外，β1是根据来自点光源pb的光束在被摄体表面71上的入射角而设置的要在图像传感器11上的位置pa处恢复的针对检测信号电平b的系数。

此外，γ1是根据来自点光源pc的光束在被摄体表面71上的入射角而设置的要在图像传感器11上的位置pa处恢复的针对检测信号电平c的系数。

因此，检测信号电平da的(α1×a)是指示基于在位置pc处的来自点光源pa的光束的检测信号电平的值。

另外，检测信号电平da的(β1×b)是指示基于在位置pc处的来自点光源pb的光束的检测信号电平的值。

此外，检测信号电平da的(γ1×c)是指示基于在位置pc处的来自点光源pc的光束的检测信号电平的值。

因此，检测信号电平da表示为通过将位置pa处的点光源pa、pb和pc的分量分别乘以系数α1、β1和γ1而获得的合成值。

在下文中，将系数α1、β1、γ1统称为系数集合。

类似地，与点光源pb中的检测信号电平db相关的系数集合α2、β2和γ2对应于与点光源pa中的检测信号电平da相关的系数集合α1、β1和γ1。

另外，与点光源pc中的检测信号电平dc相关的系数集合α3、β3和γ3对应于与点光源pa中的检测信号电平da相关的系数集合α1、β1和γ1。

然而，位置pa、pb和pc处的像素的检测信号电平是从点光源pa、pb和pc分别发出的光束的光强度a、b和c与系数的乘积的和所表示的值。因此，分别由点光源pa、pb和pc发出的光束的光强度a、b和c在检测信号电平中混合，并且检测信号电平不同于被摄体的图像中的电平。

也就是说，使用系数集合α1、β1和γ1，系数集合α2、β2和γ2，系数集合α3、β3和γ3以及检测信号电平da、db和dc来形成联立方程，并且求解光强度a、b和c，以获得位置pa、pb和pc的像素值，如图1的右下部分所示。因此，重建并恢复了作为一组像素值的恢复图像(最终图像)。

此外，在图2的左上部分所示的图像传感器11与被摄体表面71之间的距离改变的情况下，系数集合α1、β1和γ1、系数集合α2、β2和γ2以及系数集合α3、β3和γ3中的每一个改变。可以改变系数集合以重构在各种距离处的被摄体表面的恢复图像(最终图像)。

因此，通过根据各种距离改变系数集合，可以一次执行成像以重构在距成像位置各种距离处的被摄体表面的图像。

因此，在使用无透镜摄像装置的成像中不必考虑被称为失焦的现象，其中，通过使用透镜的成像装置在离焦状态下拍摄图像。只要在视角内对要成像的被摄体成像，就可以改变与距离相对应的系数集合，从而在成像之后重构在各种距离处的被摄体表面的图像。

注意，图2的右上部分所示的检测信号电平不是与提供有被摄体的图像相对应的检测信号电平。因此，检测信号电平不是像素值。另外，图2的右下部分所示的检测信号电平是与提供有被摄体的图像相对应的像素的信号值，即，恢复图像(最终图像)的像素的值。因此，检测信号电平是像素值。

该配置可以实现不需要成像透镜或针孔的所谓的无透镜摄像装置。作因此，不需要成像透镜、针孔等部件。因此，在用于实现成像功能的配置中，可以减小成像装置的高度，也就是说，可以减小相对于光的入射方向的厚度。另外，通过以各种方式改变系数集合，可以重构和恢复在各种距离处的被摄体表面上的恢复图像(最终图像)。

注意，在下文中，将图像传感器拍摄的重构之前的图像简称为观察图像，并且将通过对观察图像应用信号处理而重构和恢复图像称为恢复图像(最终图像)。因此，通过以各种方式改变系数集合，可以从一个观察图像将各种距离处的被摄体表面71上的图像重构为最终图像。

图3是示出无透镜摄像装置中的成像元件的配置示例的图。上部分是掩模51的顶视图，下部分是从上侧观看的掩模51和图像传感器(固态成像元件)11的立体图。

在一般的无透镜摄像装置的成像元件中，例如如图3所示，在整个区域上均匀地设置掩模51的开口51a的单位尺寸。图像传感器11基于透过掩模51的光来拍摄一个图像作为整体。

[2.从无透镜摄像装置的观察图像生成恢复图像的信号处理]

接下来，将描述用于从无透镜摄像装置的观察图像生成恢复图像的信号处理。图4是示出无透镜摄像装置80的示意配置的图。如图4所示，无透镜摄像装置80包括布置在图像传感器81前面的掩模82。掩模82是其中光的透射区域和非透射区域被设置为二维图案的掩模。通过掩模82的光被输入到图像传感器。

图4示出了拍摄被摄体85并输出其中被摄体图像被恢复的恢复图像(最终图像)87的配置示例。注意，由图像传感器(固态成像元件)81成像的重构之前的图像是观察图像86，并且由对观察图像86应用信号处理的信号处理单元83重构和恢复图像是恢复图像(最终图像)87。恢复图像(最终图像)87是在如设置有摄像装置的普通摄像装置中那样包括拍摄场景中的被摄体的图像。

通过掩模82的图像(观察图像86)由图像传感器81拍摄。通过掩模82的成像数据，即，图像传感器1上的观察图像86被输入到信号处理单元83。信号处理单元83对图像传感器81上的观察图像86应用预定的信号处理，以生成作为与一般摄像装置中的拍摄场景相对应的二维图像的恢复图像(最终图像)87。

在信号处理单元83的信号处理中，需要考虑各种拍摄条件以执行处理，该信号处理单元83生成其中在图像传感器81上从观察图像86再现实际场景的恢复图像87。具体地，例如，拍摄条件包括：

(1)图像传感器相对于被摄体的几何位置，

(2)来自被摄体的光输出的强度和光谱特性，

(3)通过掩模进行的调制，

(4)掩模与传感器之间的位置和几何关系，以及

(5)该传感器的光谱灵敏度特性，

需要被考虑以执行信号处理。

特别地，掩模与图像传感器之间的位置和几何关系的物理变化显著影响最终图像(恢复图像)，并且难以将位置和几何关系作为系统中的已知值处理。在通过假定掩模与图像传感器之间的位置和几何关系与实际关系不同来执行信号处理以生成恢复图像的情况下，恢复图像可能被破坏。因此，需要考虑掩模与每个无透镜摄像装置特有的图像传感器之间的位置和几何关系以执行该处理。

由图4所示的无透镜摄像装置80拍摄的观察图像的拍摄原理可以被公式化，并由以下(等式1)表示。

y＝fx+n…(等式1)

其中

y：图像传感器81的观察信号(一维数据)

x：场景向量(拍摄场景的同步辐射的值(一维数据))

n：噪声

f：成像矩阵

注意，x是拍摄场景的同步辐射的值，并且x也与恢复图像87的像素值对应。这是因为恢复图像87对应于其中再现了拍摄场景的同步辐射的值的图像。

从(等式1)可以理解，无透镜摄像装置80的图像传感器81的观察信号y是其中噪声n被添加到通过由成像矩阵f调制拍摄场景的场景向量(x)而获得的光的信号。

将参照图5和以下附图描述(等式1)的细节。图5示出了如图4所示的无透镜摄像装置80、信号处理单元83和恢复图像87。无透镜摄像装置81包括图像传感器81和掩模82。图像传感器81是具有包括如图所示的水平n像素和垂直m像素的m×n像素配置的传感器。

在图5所示的示例中，无透镜摄像装置80拍摄包括树和人的拍摄区域的图像。最后，通过信号处理单元的图像恢复处理生成包括树和人的恢复图像87。恢复图像87的分辨率是包括水平方向l像素和垂直方向k像素的k×l像素的分辨率。

恢复图像87的分辨率依赖于信号处理单元83中的信号处理。具体地，分辨率依赖于对来自拍摄的被摄体的同步辐射的分割和分析的程度。图5中所示的拍摄场景90是在来自被摄体的同步辐射的通过区域中设置的二维平面。二维平面是与图像传感器81平行的二维平面，并且从被摄体进入图像传感器81的光通过该二维平面。恢复图像87是通过再现通过二维平面的被摄体光而获得的图像。

将图5所示的二维平面上的拍摄场景90中所示的多个圆被设置为采样点，并且采样点的同步辐射对应于(等式1)中的x(拍摄场景的同步辐射的值)，也就是说，

y＝fx+n…(等式1)。

再现该x以确定恢复图像的每个像素的值。也就是说，信号处理单元83基于图5所示的二维平面上的拍摄场景90上的采样点来计算同步辐射x，以设置恢复图像87的像素值。

在图5所示的示例中，在二维平面上的拍摄场景90上的采样点的数目是包括水平l个点和垂直k个点的k×l个点。信号处理单元83接收具有无透镜照摄像装置80的m×n像素配置的图像传感器81的输出，即，通过掩模81获得的观察图像，并且分析拍摄场景90上的k×l采样点的同步辐射，以生成具有包括水平l像素和垂直k像素的k×l像素的分辨率的恢复图像87。

接下来，将参照图6来描述(等式1)的具体计算过程示例(等式1)，即，

y＝fx+n…(等式1)。

图6示出了表示包括在(等式1)中的每个数据矩阵形式的公式。

也就是说，图6示出了包括以下的四个数据片段：

(a)图像传感器观察值y101，

(b)成像矩阵f102，

(c)场景向量x(采样点同步辐射(＝恢复图像))103，以及

(d)噪声n104。

(a)图像传感器观察值y101包括如下矩阵，其包含m×n图像传感器的像素的观察值(y(1)，y(2)，…y(mn))的mn行、一个列。

(b)成像矩阵f102是包括(a)图像传感器观察值y101和(c)场景向量x(采样点同步辐射(＝恢复图像))103的对应信息的矩阵，并且是mn行、kl列的矩阵。

(b)成像矩阵f102与(c)场景向量x(采样点同步辐射(＝恢复图像))103+(d)噪声n104的相乘结果提供(a)图像传感器观察值y101，即，图像传感器的mn像素的像素值。

注意，在根据(a)图像传感器观察值y101计算恢复图像的kl像素的像素值的情况下，使用成像矩阵f102的逆矩阵。

(c)场景向量x(采样点同步辐射(＝恢复图像))103是包括kl元素(x(1)，x(2)，…x(kl))的kl行、一列的矩阵，等于参照图5描述的二维平面的拍摄场景90中设置的采样点的数目，即，恢复图像87的像素数目。

(d)噪声n104是与m×n图像传感器的像素相对应的噪声，并且是包括像素的噪声的值(n(1)、n(2)、…n(mn))的mn行、一列的矩阵。

这样，(等式1)的计算，即，

y＝fx+n…(等式1)，

指示执行图6中所示的矩阵计算。

假设图像传感器81的像素的数目是mn像素，并且恢复图像的分辨率是kl像素，成像矩阵f是具有(m×n)×(k×l)维度的二维矩阵。

场景向量x乘以成像矩阵f，并加上m×n维噪声向量n，以获得包括图像传感器81上的像素的值的一维数据的观察向量y。注意，成像矩阵f的每行中的元素表示来自场景中的每个点的通过掩模82到达图像传感器81的一个像素的光。将参照图7来描述成像矩阵f的每行中的元素的含义。

图7简单地示出了如图6中的(等式1)中包括的数据。也就是说，图7示出了包括以下的四个数据片段

(a)图像传感器观察值y101，

(b)成像矩阵f102，

(c)场景向量x(采样点同步辐射(＝恢复图像))103，以及

(d)噪声n104。

图7示出了包括在(a)图像传感器观察值y101中的两个观察值的记录位置，这两个传感器观察值包括

传感器观察值y(p)101p，以及

传感器观察值y(q)101q。

传感器观察值y(p)101p是(a)图像传感器观察值y101的矩阵的第p行中的元素，并且是包括mn像素的图像传感器81的第p个像素的观察值(像素值)。

传感器观察值y(q)101q是(a)图像传感器观察值y101的矩阵的第q行中的元素，并且是包括mn像素的图像传感器81的第q个像素的观察值(像素值)。

来自参照图5描述的拍摄场景90的各种采样点的同步辐射进入图像传感器81的每个像素。也就是说，在传感器观察值y(p)101p和传感器观察值y(q)101q的每一个中，来自图5所示的kl个采样点中的多个采样点的同步辐射进入图像传感器81的每个像素。

在与传感器观察值y(p)101p的记录行相对应的“(b)成像矩阵f102”的行(第p行)中记录(a)图像传感器观察值y101中包括的矩阵的传感器观察值y(p)101p所包括的kl个采样点的输出光成分。(b)成像矩阵f102中的行的数据的具体示例是与图7的左下侧示出的传感器观察值y(p)中所包括的数据相对应的(p)拍摄场景对应数据(＝恢复图像)(k×l)。

(p1)是示出了在“(b)成像矩阵f102”的行(第p行)中的kl个元素的值的曲线图的一维数据。水平轴是指示从“(b)成像矩阵f102”的行(第p行)的左端的第一列到右端的kl列的元素位置的轴。纵轴指示光强度。即，是将传感器观察值y(p)101p中包括的kl个采样点的同步辐射成分进行图形化的数据。

(p2)是二维数据，其中，记录在(p1)一维数据中的kl个数据片段在具有与包括水平方向上的l个像素和垂直方向上的k个像素的恢复图像相对应的分辨率的二维平面上扩展。

另外，在与传感器观察值y(q)101q的记录行相对应的“(b)成像矩阵f102”的行(第q行)中记录(a)图像传感器观察值y101中包括的矩阵的其他传感器观察值y(q)101q中所包括的kl个采样点的输出光成分。(b)成像矩阵f102中的行的数据的具体示例是与图7右下侧示出的传感器观察值y(q)中所包括的数据相对应的(q)拍摄场景对应数据(＝恢复图像)(k×l)。

(q1)是示出“(b)成像矩阵f102”的行(第q行)中的kl个元素的值的曲线图的一维数据。水平轴是指示从“(b)成像矩阵f102”的行(第q行)的左端的第一列到右端的kl列的元素位置的轴。纵轴指示光强度。也就是说，是将传感器观察值y(q)101q中包括的kl个采样点的同步辐射成分进行图形化的数据。

(q2)是二维数据，其中，记录在(q1)一维数据中的kl个数据片段在具有与包括水平方向上的l像素和垂直方向上的k像素的恢复图像相对应的分辨率的二维平面上扩展。

(p1)和(q2)示出了“(b)成像矩阵f102”的两行中的采样点的同步辐射成分的二维数据，并且当“(b)成像矩阵f102”的所有行(mn行)中的采样点的同步辐射成分的二维数据叠加时，生成恢复图像87。

顺便提及，(等式1)，也就是说，成像系统的原理公式

y＝fx+n，

不仅可以用于无透镜照摄像装置，而且可以用于使用常规透镜的成像、通过扩散板的成像等。无透镜摄像装置的不同点在于，使用掩模的调制以及掩模与传感器之间的位置和几何关系与成像矩阵f相关。

[3.与成像矩阵f相关的物理量]

接下来，将描述与成像矩阵f相关的物理量。图8是示出无透镜摄像装置的使用图像的图。

参照图8描述与成像矩阵f相关的物理量的元素。在拍摄场景110中设置一个目标点a，111。目标点a，111是被摄体的一个点，在该点处，光谱特性xp、强度ik的光从位置(x，y，z)进入无透镜摄像装置120。

在这种情况下，由无透镜摄像装置120的图像传感器122中的像素j观察到的观察值y(j)可以由以下(等式2)表示，即，

y(j)＝g(x，y，z，xp，mg，mp，sp，j)×ik…(等式2)

其是上述的(等式2)。

在此，

mg表示掩模的几何形状，

mp表示掩模相对于传感器的几何位置，

sp表示图像传感器122的光谱灵敏度特性，以及

j表示图像传感器的像素标识符。

指示由上述无透镜摄像装置拍摄的观察图像的拍摄原理的等式是

y＝fx+n…(等式1)，

其中

y：图像传感器81的观察信号(一维数据)，

x：场景向量(拍摄场景的同步辐射的值(一维数据))

n：噪音，以及

f：成像矩阵。

基于(等式1)和(等式2)，可以重述成像矩阵f由(等式2)中包括的每个参数的函数g提供。

也就是说，在成像矩阵f的构成元素中，图像传感器中的像素j的相应行的矩阵构成元素f(j)由以下(等式3)限定。

f(j)＝g(x，y，z，xp，mg，mp，sp，j)…(等式3)

从(等式3)可以看出，成像矩阵f由函数g中包括的参数(x，y，z，xp，mg，mp，sp，j)的值改变。在这些参数中，

指示目标点的光的发光位置的坐标(x，y，z)和

目标点的光的光谱特性xp

取决于拍摄场景。

此外，

掩模的形状mg也是已知值。

掩模相对于传感器的位置关系mp是在每个无透镜摄像装置中变化的摄像装置特有的值。也就是说，在无透镜摄像装置的制造过程中，例如在传感器和掩模被附接到每个摄像装置的情况下，所制造的摄像装置存在变化。

因此，在每个摄像装置中，掩模相对于传感器的位置关系mp是不同的值。需要精确地获取该值，以基于所获取的值生成摄像装置特有的成像矩阵f，或者需要关于公共成像矩阵f的摄像装置特有的一些校正处理，例如使用校正矩阵的校正处理。

即使执行使用没有校正处理的成像矩阵f的处理或使用逆矩阵的恢复图像的生成处理，也不能生成正常的恢复图像，而生成破损的恢复图像。

注意，在大多数情况下，已知值可以用于图像传感器122的光谱灵敏度特性sp，并且基于此的校正不是必需的。但是，例如在图像传感器为微测辐射热计等的情况下，观察到的光谱特性可能根据传感器的温度等而变化，并且可以进行与图像传感器122的光谱灵敏度特性sp相对应的校正。

[4.摄像装置校准过程的细节]

如上所述，影响成像矩阵f的无透镜摄像装置特有的参数包括以下两个参数。

(a)掩模相对于传感器的位置关系mp

(b)图像传感器的光谱灵敏度特性sp

如果在不考虑参数变化的情况下，使用所有摄像装置共用的成像矩阵f或成像矩阵f的逆矩阵来执行恢复图像的生成处理，则不能生成正常的恢复图像。将描述用于解决该问题的摄像装置校准过程的具体示例。

下面描述的摄像装置校准过程的概述如下。

(s01)使用要进行校正的无透镜摄像装置以获取点光源的拍摄图像(使用图像传感器的点光源观察图像)。

(s02)使用具有定义的参考参数的理想摄像装置(参考摄像装置)执行模拟，以生成点光源的拍摄图像(使用图像传感器的点光源观察图像)(＝参考图像)。

注意，定义的参考参数包括以下参数。

(a)掩模相对于传感器的位置关系mp

(b)图像传感器的光谱灵敏度特性sp

(s03)在模拟图像(参考图像)中，依次改变影响成像矩阵f的摄像装置特有的参数，即，包括以下的参数：

(a)掩模相对于传感器的位置关系mp和

(b)图像传感器的光谱灵敏度特性sp，

以生成模拟图像(校正参考图像)。

(s04)将模拟图像(校正参考图像)与拍摄图像进行比较，以获取摄像装置特有的理想参数。

在本公开内容的处理中执行的摄像装置校准过程的概述包括处理(s01)至(s04)。

在校准过程中使用无透镜摄像装置仅对一个点的点光源成像的情况下，观察到图像直接反映掩模图案的几何形状的事实。注意，在根据被摄体距离改变成像矩阵f的情况下，可以改变无透镜摄像装置与点光源之间的距离，以根据每个距离获得与被摄体距离相对应的成像矩阵f或与该距离相对应的校正矩阵。

注意，在生成模拟图像时，如果可能，优选地还考虑由掩模引起的衍射现象。衍射现象的发生取决于掩模的几何形状，具体地，光通过的狭缝的尺寸等。特别地，当图像传感器的中心与掩模的中心之间的距离d改变时，图像上的衍射对图像传感器的影响显著改变，并且优选地生成反映与距离d相对应的衍射现象的模拟图像。

注意，可以使用通常已知的衍射模型来模拟衍射现象。例如，可以使用作为代表性衍射模型的菲涅耳衍射模型。

图9是示出校准过程的第一步骤(s01)的处理的执行示例的图，该处理，即，以下的拍摄图像的获取处理

(s01)使用待校准的无透镜摄像装置获取点光源的观察图像(使用图像传感器的点光源观察图像)。

在连接传感器的中心和掩模安装假定位置的中心的光轴延长线上，在无透镜摄像装置120的前表面上配置点光源p，151。无透镜摄像装置120包括图像传感器121和掩模122，并且点光源p，151的光通过掩模122的开口进入图像传感器122。

图10和图11示出了包括以下的组成元件的规格，

图像传感器122，

掩模121，以及

点光源151

用于实际执行的校准过程。

如图10所示，

图像传感器122具有以下规格。

特性＝单色传感器，感测范围＝400至600nm，

分辨率＝256×256像素，

像素间距＝4微米，

光谱灵敏度特性＝(波长(nm)，灵敏度(响应))＝(400，0.53)，(450，0.71)，(500，0.81)，(550，0.63)，(600，0.69)

另外，掩模121具有以下规格。

分辨率＝32×32

尺寸(特征尺寸)＝40微米，

距图像传感器的距离＝约2mm，

附接位置＝图像传感器的基本中心位置。

另外，如图11所示，

点光源151具有以下规格。

距图像传感器的距离＝1m，

位置＝在图像传感器的光轴上，

光源(源)＝光谱，

光谱灵敏度特性＝(波长(nm)，灵敏度(响应))＝(400，0.07)，(450，0.21)，(500，1.0)，(550，0.71)，(600，0.32)

包括具有规格的图像传感器122和掩模121以及点光源151的无透镜摄像装置120被用于执行校准过程。注意，这里，首先要校正的参数是掩模121的几何位置mp。

掩模的几何位置mp包括多个元素。首先，掩模的几何位置mp由下面的函数g2表示。

mp＝g2(r，t，d)

函数g2的输入参数包括包含以下的三个参数：

旋转参数r，

平移参数t，以及

图像传感器中心与掩模中心之间的距离参数d。

注意，旋转参数r和平移参数t中的每一个可以被表示为用于包括定义掩模的三维位置的(x，y，z)的矩阵的校正矩阵，并且可以被表示为旋转矩阵r和平移矩阵t。

注意，可以设置mp＝g2(ho，d)，并且可以通过使用单应矩阵ho来表示旋转矩阵r和平移矩阵t，在单应矩阵ho中，旋转矩阵r和平移矩阵t被设置为一个矩阵。

在下面的描述中，

三个参数，包括：

旋转参数r，

平移参数t，以及

图像传感器中心与掩膜中心之间的距离参数d

在该处理中被使用。

根据图12中所示的流程图将描述本公开内容的校准过程的详细序列。

将顺序地描述流程中所示的从步骤s101开始的处理。

(步骤s101)

首先，在步骤s101中，要校准的无透镜摄像装置120拍摄点光源p，151。

图13(s101)示出点光源拍摄图像的示例。该图像是通过参照图9描述的点光源151的拍摄处理获得的来自图像传感器123的输出，并且是直接反映掩模122的图案的图像。

(步骤s102)

接着，在步骤s102中，使用初始参数来生成模拟图像(参考图像)。模拟图像(参考图像)是在假定具有理想参数配置的无透镜摄像装置拍摄图9中所示的点光源151的情况下从图像传感器输出的图像数据。

初始参数是预定的参考参数。

例如，用于

(a)掩模相对于传感器的位置关系mp，

使用在假定掩模相对于传感器精确地附接到限定的参考位置的情况下的参数mp(参考参数mp)。

注意，在执行作为稍后阶段中描述的可选处理的步骤s106和s107的处理的情况下，还将预定参考参数sp设置为该参数的初始参数

(b)图像传感器的光谱灵敏度特性sp

以生成模拟图像(参考图像)。

图13(s102)示出了在步骤s102中生成的模拟图像的示例。模拟图像是基于掩模相对于传感器被精确地附接到预定参考位置的假设(即，基于掩模相对于传感器的位置关系是理想位置关系的假设)而生成的模拟图像，并且模拟图像是理想图像。

(步骤s103)

接下来，在步骤s103中，通过将各种旋转参数r和平移参数t应用于在步骤s102中生成的模拟图像来执行仿射变换或单应变换，以生成以各种方式旋转和平移的模拟图像(校正参考图像)。将模拟图像与在步骤s101中获取的拍摄图像进行比较。

在比较处理中，选择与拍摄图像具有最小图像差异的模拟图像，并且提取应用于模拟图像的旋转参数r和平移参数t。

注意，例如，评价函数(ssim：结构相似度)用于拍摄图像与模拟图像之间的图像差异的评价处理。ssim是图像差异评估函数，其指示对于较大的图像差更接近于0且对于较小的图像差更接近于1的值。

图13(s103)示出了与在步骤s103中搜索到的拍摄图像具有最小差异的模拟图像(校正参考图像)的示例。图13(s103)中所示的模拟图像是通过应用预定的平移参数t来平移在步骤s102中生成的模拟图像，并且通过应用预定的旋转参数r来进一步旋转模拟图像而生成的模拟图像。

模拟图像是通过平移和旋转具有在步骤s102中生成的理想配置的摄像装置拍摄的模拟图像以使模拟图像接近实际拍摄图像(在s101中获取的拍摄图像)而生成的模拟图像。

图13中(s103)的图像的下部示出了用于生成图像的校正量。即，

参数校正量包括：

参数t校正量＝-0.000086m，-0.000101m，以及

参数r校正量＝2.36°。

参数校正量是指图13的(s103)中所示的模拟图像(校正参考图像)是通过将在步骤s102中生成的模拟图像(参考图像)在x方向上平移-0.000086m并且在y方向上平移-0.000101m并且将模拟图像顺时针旋转2.36°而生成的模拟图像(校正参考图像)。这意味着通过校正生成了与实际拍摄图像(在s101中获取的拍摄图像)具有最小差异的图像。

如图13所示，(s103)中生成的模拟图像的差异评估函数为ssim＝0.7623。这是在(s103)中生成的模拟图像(校正参考图像)与实际拍摄图像(在s101中获取的拍摄图像)之间的差异评估值。顺便提及，在图13所示的(s102)中生成的第一模拟图像(参考图像)的差异评估函数ssim为ssim＝0.0629。

如上所述，ssim是指示对于较大的图像差异更接近0并且对于较小的图像差异更接近1的值的图像差异评估函数。ssim指示作为步骤s103中的模拟图像的平移和旋转处理的结果，差异评估函数ssim的值已经接近1，并且与拍摄图像的差异减小。

(步骤s104)

接着，在步骤s104中，通过对在步骤s103中获得的模拟图像(校正参考图像)(即，通过应用用于使与拍摄图像的差异最小化的校正(旋转参数r、平移参数t)而获得的模拟图像)设置多个不同的掩模到图像传感器距离参数d(d1、d2、d3…dn)，来生成多个模拟图像。

接下来优化掩模与传感器之间的距离d。掩模与传感器之间的距离d不仅改变图像放大率，而且改变衍射模糊的大小。因此，以一定间隔提供参数d，以生成多个模拟图像。

(步骤s105)

接着，在步骤s105中，从通过设置在步骤s104中生成的多个不同的掩模到图像传感器距离参数d(d1、d2、d3…dn)而生成的多个模拟图像(校正参考图像)中搜索与拍摄图像具有最小差异的模拟图像，并且获取模拟图像的掩模到图像传感器距离参数d。

注意，在该处理中，通过应用例如粗-精搜索处理来执行对与拍摄图像具有最小差异的模拟图像的搜索，即，参数d的搜索处理。

粗-精搜索处理是一种搜索处理，其中，首先以粗间隔执行搜索，并且搜索宽度逐渐减小。

图13(s105)示出了应用了在步骤s105中获取的掩模到图像传感器距离参数d的模拟图像(校正参考图像)的示例。

模拟图像是通过进一步改变参数d(即，掩模到图像传感器距离参数d)以使在步骤s103中生成的模拟图像(即，在对接近实际拍摄图像的位置应用平移和旋转处理之后的模拟图像(校正参考图像))更接近实际拍摄图像(在s101中获取的拍摄图像)而重新校正的模拟图像(校正参考图像)。

图13中(s105)的图像的下部示出了用于生成图像所应用的校正量。即，

参数校正量为

参数d校正量＝2.38mm。

这意味着图13的(s105)中所示的模拟图像(校正参考图像)是通过设置掩模到图像传感器距离参数d＝2.38mm来重新校正步骤s103中生成的模拟图像而生成的模拟图像。通过该校正，生成与实际拍摄图像(在s101中获取的拍摄图像)的差异最小的图像。

如图13所示，(s105)中生成的模拟图像的差异评估函数为ssim＝0.9487。这是在(s105)中生成的模拟图像与实际拍摄图像(在s101中获取的拍摄图像)之间的差异评估值。顺便提及，图13中所示的(s103)中生成的模拟图像的差异评估函数ssim是ssim＝0.7623。

如上所述，ssim是指示对于较大的图像差异更接近0并且对于较小的图像差异更接近1的值的图像差异评估函数。步骤s105中的模拟图像的差异评估函数ssim的值比步骤s103中生成的模拟图像的更接近1，这指示与拍摄图像的差异减小。

(步骤s106)

步骤s106和s107的下一个处理是可选处理，并且可以跳过。

该处理是在计算关于以下的校正值的情况下执行的(b)图像传感器的光谱灵敏度特性sp。

注意，如上所述，在执行步骤s106和s107的处理的情况下，在步骤s102中生成的模拟图像需要是通过设置以下参数而生成的仿真图像作为预定的参考参数sp(初始参数)

(b)图像传感器的光谱灵敏度特性sp。

在步骤s106中，通过对在步骤s105中获取的模拟图像(校正参考图像)(即，被校正以最小化与拍摄图像的差异的模拟图像)设置多个不同的图像传感器光谱灵敏度特性sp(sp1、sp2、sp3…spn)来生成多个模拟图像。

这里要优化的参数是光谱灵敏度特性sp。参数sp的值以一定间隔提供，以生成多个模拟图像。

(步骤s107)

接着，在步骤s107中，从根据在步骤s106中生成的多个不同的光谱灵敏度特性sp(sp1、sp2、sp3…spn)生成的多个模拟图像(校正参考图像)中，搜索与拍摄图像具有最小差异的模拟图像(校正参考图像)，并且获取模拟图像的光谱灵敏度特性sp。

注意，在该处理中，也通过应用例如粗-精搜索处理来执行与拍摄图像具有最小差异的模拟图像的搜索，即，光谱灵敏度特性sp的搜索处理。

图13(s107)示出了应用了在步骤s107中获取的光谱灵敏度特性sp的模拟图像(校正参考图像)的示例。

模拟图像是通过进一步改变参数sp(即，图像传感器的光谱灵敏度特性sp)以使在步骤s103和步骤s105中校正的模拟图像(即，通过应用平移、旋转和掩模到图像传感器距离参数d的改变而生成的模拟图像)更接近实际拍摄图像(在s101中获取的拍摄图像)而重新校正的模拟图像(校正参考图像)。

图13中(s107)的图像的下部示出了被施加以生成图像的校正量。即，

参数校正量为

参数sp校正量＝(0.6，0.65，0.75，0.65，0.59)。

光谱灵敏度特性指示分别与波长(nm)＝400、450、500、550、600nm对应的灵敏度(响应)。

这意味着图13的(s107)所示的模拟图像(校正参考图像)是通过执行设置以下的重新校正而生成的模拟图像(校正参考图像)

如上所述设置的图像传感器的光谱灵敏度特性sp，即，

参数sp校正量＝(0.6，0.65，0.75，0.65，0.59)，

对于步骤s105中所生成的模拟图像(校正参考图像)。这意味着通过校正生成了与实际拍摄图像(在s101中获取的拍摄图像)具有最小差异的图像。

如图13所示，(s107)中生成的模拟图像的差异评估函数为ssim＝0.9488。这是在(s107)中生成的模拟图像与实际拍摄图像(在s101中获取的拍摄图像)之间的差异评估值。顺便提及，图13中所示的(s105)中生成的模拟图像的差异评估函数ssim是ssim＝0.9487。

如上所述，ssim是指示对于较大的图像差异更接近0并且对于较小的图像差异更接近1的值的图像差异评估函数。步骤s107中的模拟图像的差异评估函数ssim的值比步骤s105中生成的模拟图像更接近1，这指示与拍摄图像的差异减小。

(步骤s108)

接着，在步骤s108中，确定指示在步骤s107中生成的模拟图像(校正参考图像)与在步骤s101中获取的实际拍摄图像之间的差异评估函数ssim的值是否等于或大于预定阈值。

在确定该值等于或大于预定阈值的情况下，该处理结束。在该值不等于或大于预定阈值的情况下，重复执行从步骤s102开始的处理。最后，当在步骤s108中确定该值等于或大于预定阈值时，处理结束。

注意，在跳过步骤s106和s107的处理的情况下，在步骤s108中执行以下处理：确定指示在步骤s105中生成的模拟图像与在步骤s101中获取的实际拍摄图像之间的差异的差异评估函数ssim的值是否等于或大于预定阈值。

在确定该值等于或大于预定阈值的情况下，该处理结束。在该值不等于或大于阈值的情况下，重复执行从步骤s102开始的处理。最后，当在步骤s108中确定该值等于或大于预定阈值时，处理结束。

在处理结束时获取的校正量(具体地，以上参照图13描述的以下校正量)是指示与作为当前校准目标的无透镜摄像装置的参考参数的偏差或指示特性的数据。也就是说，在步骤s103和步骤s105中获取的参数包括旋转参数r，

平移参数t，以及

掩模到图像传感器距离参数d

是指示与作为当前校准目标的无透镜摄像装置的参考参数的偏差的数据。

这些是

指示(a)掩模相对于传感器的位置关系mp的参数。

此外，在执行步骤s106和s107的情况下，在步骤s107中获取的参数(包括图像传感器的光谱灵敏度特性sp)是指示作为当前校准目标的无透镜摄像装置的特性的数据。

在执行一次图12所示的流程中步骤s102至s107的处理之后结束处理的情况下，即，在步骤s108中差异评估函数ssim的值等于或大于预定阈值的情况下，以下校正量提供数据校正参数，所述数据校正参数指示与作为当前校正目标的无透镜摄像装置的参考参数的偏差或指示特性。

(1)旋转参数r＝2.36°，

(2)平移参数t＝-0.000086m，-0.000101m，

(3)掩模到图像传感器距离参数d＝2.38mm

(4)图像传感器的光谱灵敏度特性sp＝(0.6，0.65，0.75，0.65，0.59)

例如，数据(校正参数)被存储在要校准的无透镜摄像装置的存储器中。在生成拍摄图像的恢复图像时，无透镜摄像装置可以使用存储在存储器中的数据(校正参数)来计算成像矩阵f，从而计算与摄像装置的实际配置相对应的最佳成像矩阵f。

注意，摄像装置的实际配置是，例如，

包括以下的配置信息：

(a)掩模相对于传感器的位置关系mp，以及

(b)图像传感器的光谱灵敏度特性sp。

注意，如上(等式3)所述，图像传感器中的像素j的相应行的成像矩阵f的矩阵组成元素f(j)是

由以下(等式3)限定

f(j)＝g(x，y，z，xp，mg，mp，sp，j)…(等式3)

包括在该等式中的参数

掩模相对于传感器的几何位置mp和

图像传感器的光谱灵敏度特性sp

作为与根据图12所示的流程计算的每个摄像装置特有的配置和特性相对应的参数被存储在每个摄像装置的存储器中。

在生成拍摄图像的恢复图像时，无透镜摄像装置可以使用存储在存储器中的数据(校正参数)来计算成像矩阵f，从而计算与摄像装置的实际配置相对应的最佳成像矩阵f。

注意，可以预先使用每个摄像装置特有的参数(mp，sp)来计算与该摄像装置相对应的校正后的成像矩阵f，并且可以将校正后的成像矩阵f存储在存储器中。

替选地，可以存储摄像装置共用的成像矩阵f，并且可以计算校正矩阵，该校正矩阵用于将共用的成像矩阵f变换为反映每个摄像装置特有的参数(mp，sp)的摄像装置特有的成像矩阵f。校正矩阵可以存储在每个摄像装置的存储器中。

注意，如上所述，无透镜摄像装置的图像传感器的观察值y与成像矩阵f之间的对应关系由以下(等式1)表示。

y＝fx+n…(等式1)

其中

y：图像传感器观察值，

f：成像矩阵，

x：场景向量(采样点同步辐射(＝恢复图像))，以及

n：噪声。

在根据图像传感器观察值y计算恢复图像的像素值的情况下，使用成像矩阵f的逆矩阵f^-1。

因此，反映每个摄像装置特有的参数的成像矩阵f的逆矩阵f^-1可以预先存储在每个摄像装置的存储器中。

[5.执行校准过程的装置和摄像装置的配置示例]

接下来，将描述执行校准过程的装置和摄像装置的配置示例。

图14是示出根据图12所示的流程执行处理的情况的装置配置示例的框图。连接要校准的无透镜摄像装置200和校准过程执行装置210。无透镜摄像装置200包括掩模和图像传感器，并且图像传感器接收通过掩模的光。

如上参照图9所述，无透镜摄像装置200将通过拍摄点光源获得的点光源拍摄图像211输出到校准装置210。

校准装置210执行上面参照图12描述的流程图中的步骤s102到s108的处理。也就是说，校准装置210首先通过应用初始参数(参考参数)212来生成在使用具有理想配置和设置的参考无透镜摄像装置来拍摄点光源的情况下假定要拍摄的模拟图像(参考图像)。

随后，校准装置210顺序地校正模拟图像，以减小所生成的模拟图像与从无透镜摄像装置200输入的点光源拍摄图像211之间的差异。

在模拟图像的校正处理中，校准装置210首先顺序地改变以下值：

旋转参数r和

平移参数t

以生成模拟图像(校正参考图像)。

校准装置210从模拟图像(校正参考图像)中选择与点光源拍摄图像211最接近的模拟图像并保持被应用于所选择的模拟图像(校正参考图像)的

旋转参数r和

平移参数t。

接下来，校准装置210生成模拟图像(校正参考图像)，其中，掩模到图像传感器距离参数d的值被顺序地改变。校准装置210从模拟图像(校正参考图像)中选择与点光源拍摄图像211最接近的模拟图像并保持被应用于所选择的模拟图像的

掩模到图像传感器距离参数d。

此外，校准装置210可选地生成模拟图像(校正参考图像)，其中图像传感器的光谱灵敏度特性sp被顺序地改变。校准装置210从模拟图像(校正参考图像)中选择与点光源拍摄图像211最接近的模拟图像并保持

光谱灵敏度特性sp

应用于所选择的模拟图像。

校准装置210重复该处理，直到指示点光源拍摄图像211与模拟图像(校正参考图像)之间的差异的ssim等于或大于所定义的阈值为止。一旦指示点光源拍摄图像211与模拟图像(校正参考图像)之间的差异的ssim变得等于或大于定义的阈值，校准装置210就结束处理。校准装置210输出此时获得的校正参数，并将该校正参数存储在例如无透镜摄像装置200的存储器中。

要输出的校正参数是

指示(a)掩模相对于传感器的位置关系mp的参数，

参数包括

旋转参数r，

平移参数t，以及

掩模到图像传感器距离参数d。

此外，在也计算图像传感器的灵敏度特性sp的情况下，

该参数也被输出。

图15是示出无透镜摄像装置200的配置示例的框图。无透镜摄像装置200包括成像单元201、信号处理单元202和存储器203。如上参照图4等所述，在成像单元201中的图像传感器的前面布置掩模。掩模是其中光的透射区域和非透射区域被设置为二维图案的掩模。通过掩模的光被输入到图像传感器。

由成像单元201的图像传感器成像的观察图像231被输入到信号处理单元202。信号处理单元202对观察图像231应用信号处理，并输出恢复图像232。恢复图像(最终图像)232是包括如在设置有摄像装置的普通摄像装置中的拍摄场景的被摄体的图像。

信号处理单元202在从观察图像231生成恢复图像232的信号处理中使用成像矩阵f来执行处理。具体地，信号处理单元202执行例如将成像矩阵f的逆矩阵f^-1乘以观察图像231的处理以生成恢复图像232。

这里，通过使用无透镜摄像装置200特有的参数而生成的特有矩阵被用于成像矩阵f，即，参数

(a)掩模相对于传感器的位置关系mp和

(b)图像传感器的光谱灵敏度特性sp

是摄像装置特有的参数。可以使用通过应用特有参数而生成的摄像装置特有的成像矩阵f和逆矩阵f^-1来生成正确的恢复图像232。

例如，以下数据中的一个被存储在存储器203中。

(1)共用成像矩阵f和摄像装置特有的校正参数(mp，sp，…)，

(2)共用成像矩阵f和反映摄像装置特有的校正参数(mp，sp，…)的校正矩阵，

(3)通过应用摄像装置特有的校正参数(mp，sp，…)生成的摄像装置特有的成像矩阵f，以及

(4)与通过应用摄像装置特有的校正参数(mp，sp，…)生成的摄像装置特有的成像矩阵f相对应的逆矩阵f^-1

是存储数据的示例。

注意，(2)反映摄像装置特有的校正参数(mp，sp，…)的校正矩阵是允许对共用成像矩阵f应用乘法处理以将共用成像矩阵f变换成通过应用摄像装置特有的校正参数(mp，sp，…)而生成的摄像装置特有的成像矩阵f的矩阵。

信号处理单元202使用存储在存储器203中的数据，并且通过应用基于无透镜摄像装置200特有的参数生成的特有矩阵来生成恢复图像232。根据该处理，可以执行与摄像装置特有的配置和特性相对应的正确的图像恢复处理，并且可以生成正确的恢复图像232。

[6.简化计算处理的处理示例]

到目前为止已经描述了用于提供与无透镜摄像装置特有的配置和设置相对应的成像矩阵f的校准过程。上述专利文献1(国际公开第wo2016/123529号)公开了通过执行用两个一维向量替换成像矩阵的处理(可分割模型生成)来简化生成恢复图像的计算处理的配置。此外，在校正成像矩阵f的校准过程中也实现了计算处理的简化。

在本公开内容的处理中，也可以用两个一维向量来代替成像矩阵f以执行该处理。也就是说，可以生成可分离模型以执行校准过程。

如上所述，由无透镜摄像装置拍摄的观察图像的拍摄原理可以由下式(等式1)公式化和表示。

y＝fx+n…(等式1)

其中

y：图像传感器的观察信号(一维数据)

x：场景向量(拍摄场景的同步辐射的值(一维数据))

n：噪声

f：成像矩阵

如上参照图6所述，(等式1)可以由矩阵运算公式表示。

假设

y：图像传感器的观察信号y的矩阵，

f：成像矩阵，以及

x：场景向量x的矩阵，

每个矩阵由以下(等式11)表示。

[数学式1]

注意，假设图像传感器的像素数量是mn，并且

拍摄场景的采样点的数目(＝恢复图像的像素的数目)是kl。

为了简化描述，去除噪声n，并且在以下描述的处理中应用以下(等式4)。

y＝fx…(等式4)

无透镜摄像装置的图像传感器的列i、行j的像素值yij可以由以下(等式12)表示。

[数学式5]

这里，当执行使用两个一维向量替换(等式4)中的成像矩阵f的处理(可分离模型生成)时，(等式4)可以由以下(等式13)表示。

[数学式3]

…(等式13)

在(等式13)中，

φl和φr^t是在使用两个一维向量替换成像矩阵f的处理(可分离模型生成)中生成的矩阵。当(等式13)由行列式表示时，获得以下(等式14)。

[数学式4]

此外，当变换(等式14)时，得到以下(等式15)。

[数学式5]

此外，基于(等式15)，图像传感器的列i、行j的像素值yij的像素值可以由以下(等式16)表示。

[数学式6]

(等式16)和(等式12)是表示图像传感器的列i、行j的像素值yij的相同像素值的等式，因此，建立以下(等式17)。

[数学式7]

其中

(i，j)，1≤i≤m，1≤j≤n…(等式17)

注意，如上所述，为了在基于参数mp和sp校正的校准之后映射校正成像矩阵f的元素(系数)

(a)掩模相对于传感器的位置关系mp

(b)成像感测器的光谱灵敏度特性sp，

为每个无透镜摄像装置的配置信息，在使用两个一维向量替换矩阵的处理(可分离模型生成)中生成的模型矩阵φl和φr^t上以及在模型矩阵的系数上，可以假设一些场景x来创建联立方程。

例如，在如下(等式18)所示的条件下设置变量(a，b，c，d)。

[数学式8]

对于每个(a，b，c，d)，1≤a≤m，1≤b≤k，1≤c≤l，1≤d≤n，

当在(等式18)所示的条件下设置变量(a，b，c，d)时，通过将a)分配给(等式17)的右侧并将b)分配给左侧，图像传感器上的像素值ya，d可以由以下(等式19)表示。

[数学式9]

其中

x((r-1)divl)+1，((r-1)modl)+1＝1

基于(等式19)最终可以导出以下(等式20)的关系表达式，并且可以根据(等式20)提供指示图像传感器上的像素值的对应系数。

[数学式10]

ga，bhc，d＝fn(a-1)+d，l(b-1)+c...(等式20)

这样，成像矩阵f可以被变换成在使用两个一维向量替换成像矩阵f的处理(可分离模型生成)中生成的模型矩阵φl和φr^t。因此，可以执行如专利文献1中描述的计算处理的简化处理，具体地，适合于摄像装置特有的参数的校正成像矩阵f的计算处理。

[7.本公开内容的图像处理的其他实施方式和有益效果]

接下来，将描述本公开内容的图像处理的其他实施方式和有益效果。根据图12中所示流程的处理可以由例如无透镜摄像装置的制造工厂中的校准装置执行，并且作为校准过程的结果获得的信息被存储在每个摄像装置的存储器中。

例如，如参照图15所述，以下数据中的一个被存储在每个无透镜摄像装置的存储器中。

(1)共用成像矩阵f和摄像装置特有的校正参数(mp，sp，…)，

(2)共用成像矩阵f和反映摄像装置特有的校正参数(mp，sp，…)的校正矩阵，

(3)通过应用摄像装置特有的校正参数(mp，sp，…)生成的摄像装置特有的成像矩阵f，以及

(4)与通过应用摄像装置特有的校正参数(mp，sp，…)生成的摄像装置特有的成像矩阵f相对应的逆矩阵f^-1

是存储数据的示例。

无透镜摄像装置可以使用存储在存储器中的数据来执行与无透镜摄像装置特有的配置和特性相对应的正确的图像恢复处理。

根据图12中所示流程的过程不仅可以由无透镜摄像装置的制造工厂中的校准装置执行，而且可以由例如可以与无透镜摄像装置通信的服务器执行。另外，可以将反映每个无透镜摄像装置特有的配置和特性信息的、要应用于恢复图像生成处理的数据(即，(1)至(5)的数据)存储在服务器的存储器中，并且无透镜摄像装置可以根据需要从服务器获取数据。

接下来，将描述本公开内容的配置和处理的有益效果。根据本公开内容的配置，无透镜摄像装置执行一次点光源的拍摄处理(或者可以通过改变距离多次执行该处理)，并且比较拍摄图像和模拟图像。这样，可以获取以最佳方式反映掩模与传感器之间的几何和位置关系的成像矩阵g、成像矩阵g的校正矩阵、摄像装置特有的校正参数等。

通过应用本公开内容的处理，可以显著地减少作为摄像装置校准过程中的瓶颈的拍摄时间，并且还可以针对难以(或昂贵)安装在显示器中的波长区域中的除可见光之外的光来校正无透镜摄像装置。

此外，根据本公开内容的处理，不仅可以将相同的成像数据用于掩模与传感器之间的几何位置关系(这是每个摄像装置特有的数据)，而且可以将相同的成像数据用于例如传感器的光谱灵敏度特性。这样，可以获取与每个摄像装置相对应的光谱灵敏度特性相适应的最佳成像矩阵g、成像矩阵g的校正矩阵、摄像装置特有的校正参数等。

[8.图像处理装置的硬件配置示例]

接下来，将参照图16描述图像处理装置的硬件配置示例。

参照图16描述的硬件是校准过程执行装置(图14中示出的校准过程执行装置210)的配置示例，其执行参照图12描述的校准过程。该硬件也是用于执行图15中示出的无透镜摄像装置200中的信号处理单元202的处理的硬件配置的示例。

cpu(中央处理单元)501用作根据存储在rom(只读存储器)502或存储单元508中的程序执行各种处理的控制单元或数据处理单元。例如，cpu501根据实施方式中描述的序列执行处理。由cpu501执行的程序、数据等被存储在ram(随机存取存储器)503中。cpu501、rom502和ram503通过总线504彼此连接。

cpu501通过总线504连接到输入-输出接口505，并且包括各种开关、键盘、鼠标、麦克风、传感器等的输入单元506和包括显示器、扬声器等的输出单元507连接到输入-输出接口505。cpu501根据从输入单元506输入的指令执行各种处理，并将处理结果输出到例如输出单元507。

连接到输入-输出接口505的存储单元508包括例如硬盘等，并且存储由cpu501执行的程序和各种数据。通信单元509用作wi-fi通信、蓝牙(注册商标)(bt)通信和通过诸如因特网和局域网的网络的其他数据通信的发送-接收单元，并且与外部装置通信。

连接到输入-输出接口505的驱动器510驱动诸如磁盘、光盘、磁光盘、存储卡和其他半导体存储器的可移除介质511，并且记录或读取数据。

[9.本公开内容的配置的结论]

已经参考具体实施方式详细描述了本公开内容的实施方式。然而，显然的是，本领域技术人员可以在不背离本公开内容的范围的情况下修改或替换实施方式。也就是说，本发明已经以示例的形式公开，并且不应限制性地解释本发明。权利要求的部分应当被考虑以确定本公开内容的范围。

注意，本说明书中公开的技术可以被如下配置。

(1)一种图像处理装置，包括：信号处理单元，其接收作为无透镜摄像装置的图像传感器的输出的拍摄图像以生成恢复图像，其中，所述信号处理单元使用至少基于所述无透镜摄像装置的掩模和所述图像传感器之间的位置关系信息生成的摄像装置特有的数据来执行图像处理，以生成所述恢复图像。

(2)根据(1)所述的图像处理装置，其中，所述摄像装置特有的数据包括在拍摄图像与参考图像的比较处理中生成的数据，所述拍摄图像是通过对所述无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获得的。

(3)根据(2)所述的图像处理装置，其中，所述参考图像包括模拟图像，所述模拟图像被估计为是在所述无透镜摄像装置的掩模与图像传感器之间的位置关系指示参考位置的情况下，通过对所述无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获取的。

(4)根据(3)所述的图像处理装置，其中，所述模拟图像包括通过应用所述掩模的衍射模拟模型而生成的模拟图像。

(5)根据(3)或(4)所述的图像处理装置，其中，所述摄像装置特有的数据包括通过对所述模拟图像应用校正处理并且生成与所述拍摄图像的差异小的模拟图像而检测到的数据。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，所述摄像装置特有的数据包括所述无透镜摄像装置的掩模相对于所述图像传感器的位置关系数据mp。

(7)根据(6)所述的图像处理装置，其中，所述位置关系数据mp包括以下三个参数：

所述掩模相对于所述图像传感器的旋转参数r，

所述掩膜相对于所述图像传感器的平移参数t，以及

图像传感器中心与掩模中心之间的距离参数d。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，所述摄像装置特有的数据包括以下数据：

(a)所述无透镜摄像装置的掩模相对于所述图像传感器的位置关系数据mp，以及

(b)所述图像传感器的光谱灵敏度特性数据sp。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述信号处理单元使用多个无透镜摄像装置共用的成像矩阵f和所述摄像装置特有的数据来执行图像处理，以生成所述恢复图像。

(10)根据(1)至(9)中任一项所述的图像处理装置，其中，所述信号处理单元使用通过应用所述摄像装置特有的数据来校正的摄像装置特有的成像矩阵f来执行图像处理，以生成所述恢复图像。

(11)根据(1)至(10)中任一项所述的图像处理装置，其中，所述信号处理单元基于通过应用所述摄像装置特有的数据来校正的摄像装置特有的成像矩阵f与所述图像传感器的观察值y之间的关系来生成所述恢复图像。

(12)根据(1)至(11)中任一项所述的图像处理装置，其中，所述摄像装置特有的数据包括：

在拍摄图像与参考图像的比较处理中生成的数据，所述拍摄图像是通过对所述无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获得的，以及

在使用模拟图像和与通过改变所述无透镜摄像装置与所述点光源之间的距离而获得的距离相对应的拍摄图像的处理中获取的与多个不同被摄体距离相对应的摄像装置特有的数据、成像矩阵f或校正矩阵。

(13)一种图像处理装置，其执行包括以下操作的校准处理，接收拍摄图像和模拟图像，所述拍摄图像是通过对无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获得的，以及所述模拟图像被估计为是在所述无透镜摄像装置的掩模与图像传感器之间的位置关系指示参考位置的情况下，通过对所述无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获取的，对所述模拟图像应用校正处理，选择与所述拍摄图像的差异小的校正模拟图像，并且基于应用于所述校正模拟图像的校正数据生成可以应用于所述无透镜摄像装置中的图像恢复处理的摄像装置特有的数据。

(14)根据(13)所述的图像处理装置，其中，

所述摄像装置特有的数据包括所述无透镜摄像装置的掩模相对于所述图像传感器的位置关系数据。

(15)根据(13)或(14)所述的图像处理装置，其中，所述摄像装置特有的数据包括以下数据：

(a)所述无透镜摄像装置的掩模相对于所述图像传感器的位置关系数据mp，以及

(b)所述图像传感器的光谱灵敏度特性数据sp。

(16)根据(13)至(15)中任一项所述的图像处理装置，其中，所述图像处理装置使用模拟图像和与通过改变所述无透镜摄像装置与所述点光源之间的距离而获得的距离相对应的拍摄图像来执行处理，以生成与不同被摄体距离相对应的摄像装置特有的数据、成像矩阵f或校正矩阵。

(17)一种成像装置，包括：成像单元，其包括：掩模，其设置有被设置为二维图案的光的透射区域和非透射区域，以及图像传感器，其接收通过所述掩模的光；存储器，其存储在拍摄图像和参考图像的比较处理中生成的摄像装置特有的数据，所述拍摄图像是通过对所述成像单元的光轴的向前方向上的一个点光源进行拍摄而获得的；以及信号处理单元，其接收作为所述图像传感器的输出的拍摄图像，以生成恢复图像，其中，所述信号处理单元使用存储在所述存储器中的摄像装置特有的数据来执行图像处理，以生成所述恢复图像。

(18)一种由图像处理装置执行的图像处理方法，其中，所述图像处理装置包括：信号处理单元，其接收作为无透镜摄像装置的图像传感器的输出的拍摄图像，以生成恢复图像，并且所述信号处理单元使用至少基于所述无透镜摄像装置的掩模与所述图像传感器之间的位置关系信息生成的摄像装置特有的数据来执行图像处理，以生成所述恢复图像。

(19)一种执行由图像处理装置执行的无透镜摄像装置的校准处理的图像处理方法，其中，所述图像处理装置接收拍摄图像和模拟图像，所述拍摄图像是通过对无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获得的，以及所述模拟图像被估计为是在所述无透镜摄像装置的掩模与图像传感器之间的位置关系指示参考位置的情况下，通过对所述无透镜摄像装置的光轴的向前方向上的一个点光源进行拍摄而获取的，对所述模拟图像应用校正处理，选择与所述拍摄图像的差异小的校正模拟图像，并且基于应用于所述校正模拟图像的校正数据生成可以应用于所述无透镜摄像装置中的图像恢复处理的摄像装置特有的数据。。

此外，说明书中描述的一系列处理可以由硬件、软件或者硬件和软件的合成配置来执行。在软件执行处理的情况下，可以通过将记录处理序列的程序安装在并入专用硬件的计算机中的存储器上来执行处理，或者可以通过将程序安装在可以执行各种处理的通用计算机上来执行处理。例如，可以将程序预先记录在记录介质中。除了从记录介质将程序安装在计算机上之外，还可以通过诸如lan(局域网)和因特网的网络接收程序，并将其安装在诸如内置硬盘的记录介质上。

注意，本说明书中描述的各种处理不仅可以根据描述按照时间顺序执行，而且还可以根据执行处理的装置的处理能力或根据需要并行或单独执行。注意，本说明书中的系统是多个装置的逻辑集合配置，并且每个配置的装置可以不在同一壳体中。

[工业适用性]

如上所述，根据本公开内容的实施方式的配置，实现了一种配置，其可以执行反映诸如无透镜摄像装置的掩模与图像传感器之间的位置关系信息之类的摄像装置特有的数据的图像处理，以生成高度准确的恢复图像。

[附图标记列表]

80无透镜摄像装置

81图像传感器

82掩模

83信号处理单元

90拍摄场景

91采样点

101图像传感器观察值y

102成像矩阵f

103采样点同步辐射x

104噪声

110拍摄场景

111目标点

120无透镜摄像装置

121掩模

122图像传感器

200无透镜摄像装置

201成像单元

202信号处理单元

203存储器

210校准装置

501cpu

502rom

503ram

504总线

505输入/输出接口

506输入单元

507输出单元

508存储单元

509通信单元

510驱动器

511可移除介质