编码元件的制作方法

本公开涉及用于取得分光图像的编码元件、摄像装置、分光系统以及使用了这些的分光方法。

背景技术：

通过有效利用各自为窄频带的许多波带(例如数十波带以上)的光谱信息，能够掌握现有的rgb图像中不可能掌握的观测物的详细的物性。取得该多波长的信息的照相机被称作“超光谱照相机”。超光谱照相机被利用于食品检查、生物体检查、医药品开发、矿物的成分分析等所有领域。

作为将观测对象的波长限定为窄频带而取得的图像的有效利用例，专利文献1公开了一种进行被检体的肿瘤部位和非肿瘤部位的判别的装置。该装置通过激励光的照射，来检测积累在癌细胞内的原卟啉ix发出635nm的荧光、光电-原卟啉发出675nm的荧光的情况。由此，进行肿瘤部位和非肿瘤部位的识别。

专利文献2公开了一种通过取得连续的多波长的光的反射率特性的信息来判定伴随时间经过而下降的生鲜食品的鲜度的方法。

能够测定多波长的图像或反射率的超光谱照相机大致分为以下4种方式。

(a)线传感器方式

(b)电子滤波器方式

(c)傅里叶变换方式

(d)干涉滤波器方式

(a)在线传感器方式中，使用具有线状的狭缝的构件来取得对象物的1维信息。通过了狭缝的光通过衍射光栅或棱镜等分光元件根据波长而被分离。通过具有二维排列的多个像素的摄像元件(图像传感器)来检测被分离后的每个波长的光。在该方式中，由于只能得到1次对象物的1维信息，因此通过与狭缝方向垂直地扫描照相机整体或者测定对象物来得到二维的光谱信息。在线传感器方式中，有能够得到高分辨率的多波长图像的优点。专利文献3公开了一种线传感器方式的超光谱照相机的例子。

(b)在电子滤波器方式中，有使用液晶可调谐滤波器(liquidcrystaltunablefilter：lctf)的方法、和使用声光元件(acousto-optictunablefilter：aotf)的方法。液晶可调谐滤波器是将线性偏光镜、复折射滤波器、以及液晶单元排列为多级的元件。仅通过电压控制就能够排除无用的波长的光并仅提取任意的特定波长的光。声光元件由粘接了压电元件的声光晶体构成。若对声光晶体施加电信号，则产生超声波，在晶体内形成疏密的驻波。通过由此产生的衍射效应能够仅提取任意的特定波长的光。该方式虽然波长受到限定但具有能够取得高分辨率的动态图像的数据的优点。

(c)傅里叶变换方式使用双光束干涉仪的原理。来自测定对象的光束被分束器分岔，各个光束被固定反光镜以及移动反光镜反射并再次结合之后，被检测器观测到。通过使移动反光镜的位置随时间而发生变动，能够取得表示依赖于光的波长的干涉的强度变化的数据。通过对所得到的数据进行傅里叶变换，能够得到光谱信息。傅里叶变换方式的优点是能够同时取得多波长的信息。

(d)干涉滤波器方式是使用了法布里珀罗干涉仪的原理的方式。可以采用将具有离开规定间隔的反射率高的2个面的光学元件配置在传感器上的构成。光学元件的2个面间的间隔根据区域而不同，被决定为与希望的波长的光的干涉条件一致。干涉滤波器方式具有能够同时且以动态图像来取得多波长的信息的优点。

除了这些方式以外，还有例如像专利文献4所公开的那样利用了压缩感知的方法。专利文献4所公开的装置利用棱镜等第1分光元件对来自测定对象的光进行了分光之后，用编码掩模进行标记，进而利用第2分光元件来还原光线的路径。由此，通过传感器来取得被编码并且相对于波长轴被复用了的图像。通过压缩感知的应用，能够根据被复用了的图像来重构多波长的多幅图像。

压缩感知是根据较少的样本数的取得数据来复原比其更多的数据的技术。若将测定对象的二维坐标设为(x，y)，将波长设为λ，则想要求取的数据f是x，v，λ的三维的数据。相对于此，通过传感器而得到的图像数据g是在λ轴方向上被压缩以及复用了的二维的数据。根据数据量相对较少的取得图像g来求取数据量相对较多的数据f的问题在于所谓的不良设定问题，直接这样无法求解。但是，一般来说，自然图像的数据具有冗余性，通过巧妙利用这一点能够将该不良设定问题变换为良设定问题。有效利用图像的冗余性来削减数据量的技术的例子有jpeg压缩。jpeg压缩使用如下方法：将图像信息变换为频率分量，除去并非数据的本质的部分、例如视觉识别性低的分量。在压缩感知中，将这种技法加入运算处理中，将想要求取的数据空间变换为用冗余性来表达的空间，由此来削减未知数并得到解。在该变换中，例如使用离散余弦变换(dct)、小波变换、傅里叶变换、总变差(tv)等。

在先技术文献

专利文献

专利文献1：国际公开第13/002350号

专利文献2：jp特开2007-108124号公报

专利文献3：jp特开2011-89895号公报

专利文献4：美国专利第7283231号说明书

技术实现要素：

发明要解决的课题

在现有的利用了压缩感知的超光谱照相机中，棱镜等分光元件被插入到光路上。因此，存在产生彗形像差、分辨率下降的课题。

本公开提供一种能够抑制彗形像差的产生以及伴随于此的分辨率的下降的新的摄像技术。

用于解决课题的手段

本公开的一个方式所涉及的编码元件，具有二维排列的多个区域，所述多个区域包含第1区域以及第2区域，所述第1区域的光透过率的波长分布在相互不同的第1波长区域以及第2波长区域中分别具有局部极大值，所述第2区域的光透过率的波长分布在相互不同的第3波长区域以及第4波长区域中分别具有局部极大值，在将所述第1区域的光透过率的波长分布标准化为所述第1区域的光透过率的最大值为1、最小值为0时，所述第1波长区域以及所述第2波长区域中的所述局部极大值均为0.5以上，在将所述第2区域的光透过率的波长分布标准化为所述第2区域的分光透过率的最大值为1、最小值为0时，所述第3波长区域以及所述第4波长区域中的所述局部极大值均为0.5以上，所述第1波长区域以及所述第2波长区域中的至少1个与所述第3波长区域以及所述第4波长区域不同。

发明效果

根据本公开，能够抑制彗形像差的产生以及伴随于此的分辨率的下降。

附图说明

图1a是示意性地表示实施方式1中的编码元件c的构成的图。

图1b是表示实施方式1中的编码元件c的对象波长区域所包含的多个波长区域w1、w2、......、wi各自的光的透过率的空间分布的一例的图。

图1c是表示实施方式1中的编码元件c的2个区域a1中的分光透过率的例子的图。

图1d是表示实施方式1中的编码元件c的2个区域a2中的分光透过率的例子的图。

图2a是用于说明对象波长区域w、和其中包含的多个波长区域w1、w2、......、wi的关系的图。

图2b是表示根据波长区域而频带宽度不同，并且相邻的2个波长区域之间存在间隙的例子的图。

图3a是用于说明编码元件c的某区域中的分光透过率的特性的图。

图3b是表示将图3a所示的分光透过率按照每个波长区域w1、w2、......、wi进行了平均化的结果的图。

图4是表示本公开的实施方式2的摄像装置d1的示意图。

图5a是表示本实施方式中的编码元件c的透过率分布的例子的图。

图5b是表示编码元件c的其他构成例的图。

图6a是近似性地表示具有图5a所示的二进制的透过率分布的编码元件c中的某区域的分光透过率的图。

图6b是表示具有图5a所示的二进制的透过率分布的编码元件c中的某区域的分光透过率的例子的图。

图7是表示实施方式2中的分光方法的概要的流程图。

图8a是表示本公开的实施方式3中的摄像装置d2的示意图。

图8b是表示本公开的实施方式3的变形例中的摄像装置d2’的示意图。

图9是表示在本公开的实施例1中对光谱分离图像f进行了重构的结果的一例的图。

图10是表示在比较例1中对光谱分离图像f进行了重构的结果的一例的图。

图11是表示实施例1以及比较例1各自中的相对于正确图像的均方误差(meansquarederror：mse)的图。

图12是表示本公开的实施方式4的分光系统s1的示意图。

图13a是表示图12所示的摄像装置d4中的窄频带编码元件的分光透过率的例子的图。

图13b是表示图12所示的摄像装置d4中的窄频带编码元件的分光透过率的其他例子的图。

图13c是表示窄频带编码元件的分光透过率的其他例子的图。

图13d是表示窄频带编码元件的分光透过率的其他例子的图。

图13e是表示窄频带编码元件的分光透过率的其他例子的图。

图14a是说明对象波长区域w、和其中包含的多个波段w1、w2、......、wn的关系的图。

图14b是表示根据波段而频带宽度不同，并且相邻的2个波段之间存在间隙的例子的图。

图15是表示分光系统s1中的摄像装置d4的其他构成例的图。

图16a是示意性地表示图12所示的摄像装置d4中的空间调制编码元件cs的构成的图。

图16b是表示图12所示的摄像装置d4中的空间调制编码元件cs的对象波长区域所包含的多个波长区域w1、w2、......、wi各自的光的透过率的空间分布的一例的图。

图16c是表示图12所示的摄像装置d4中的空间调制编码元件cs的区域a1中的分光透过率的例子的图。

图16d是表示图12所示的摄像装置d4中的空间调制编码元件cs的区域a2中的分光透过率的例子的图。

图17是说明空间调制编码元件cs的某区域中的分光透过率的波长分辨率的图。

图18a是表示透过了窄频带编码元件c1时所得到的光的波长以及强度的例子的图。

图18b是表示透过了空间调制编码元件cs时所得到的光的波长以及强度的例子的图。

图18c是表示透过了窄频带编码元件c1和空间调制编码元件cs双方时所得到的光的波长以及强度的例子的图。

图19是表示透过了窄频带编码元件c1和空间调制编码元件cs双方时所得到的光的波长以及强度的例子的图。

图20a是表示二进制的分光透过率的一例的图。

图20b是表示二进制的分光透过率的另一例的图。

图21a是表示实施方式4中的空间调制编码元件cs的透过率分布的例子的图。

图21b是表示实施方式4中的空间调制编码元件cs的其他透过率分布的图。

图22是表示实施方式4中的分光方法的概要的流程图。

具体实施方式

在说明本公开的实施方式之前，说明本发明的发明人所发现的见解。

根据本发明的发明人的研究，上述现有的超光谱照相机中存在以下这样的课题。(a)线传感器方式为了得到二维图像需要对照相机进行扫描，不适合测定对象的动态图像拍摄。(c)傅里叶变换方式也需要使反射镜移动，因此不适合动态图像拍摄。(b)电子滤波器方式由于1个波长1个波长地取得图像，因此无法同时取得多波长的图像。(d)干涉滤波器方式由于能够取得图像的波长的频带数和空间分辨率相互折中，因此在取得多波长图像的情况下，会牺牲空间分辨率。如此，在现有的超光谱照相机中，不存在同时满足高分辨率、多波长、动态图像拍摄(单镜头拍摄)这3者的超光谱照相机。

利用了压缩感知的构成，乍一看认为能够同时满足高分辨率、多波长、动态图像拍摄。但是，由于根据原本就少的数据基于推测来重构图像，因此所取得的图像的空间分辨率与本来的图像相比容易下降。特别是取得数据的压缩率越高其影响越显著地显现。进而，由于棱镜等分光元件被插入到光路上，因此存在产生彗形像差、分辨率下降的课题。

本发明的发明人发现上述课题，并研究了用于解决这些课题的构成。本发明的发明人发现通过适当设计编码元件的各区域的分光透过率，能够抑制彗形像差的产生，使分辨率提高。根据本公开的某实施方式，能够同时满足高分辨率、多波长、动态图像拍摄(单镜头拍摄)这3个要求。此外，在本公开的实施方式中，x方向、y方向、波长方向的三维信息中的波长方向的信息被压缩。因此，只要保有二维数据即可，能够抑制数据量。因此，本公开的实施方式对于长时间的数据取得很有效。

本公开包含以下项目所述的摄像装置、系统、以及方法。

[项目1]

一种摄像装置，具备：

第1编码元件，其具有在从对象物入射的光的光路上二维排列的多个区域；和

摄像元件，其配置在通过了所述第1编码元件的光的光路上，

所述多个区域包含第1区域以及第2区域，

所述第1区域的光透过率的波长分布在相互不同的第1波长区域以及第2波长区域中分别具有极大值，

所述第2区域的光透过率的波长分布在相互不同的第3波长区域以及第4波长区域中分别具有极大值，

在将所述第1区域的光透过率的波长分布标准化为所述第1区域的光透过率的最大值为1、最小值为0时，所述第1波长区域以及所述第2波长区域中的所述极大值均为0.5以上，

在将所述第2区域的光透过率的波长分布标准化为所述第2区域的分光透过率的最大值为1、最小值为0时，所述第3波长区域以及所述第4波长区域中的所述极大值均为0.5以上，

所述第1波长区域以及所述第2波长区域中的至少1个与所述第3波长区域以及所述第4波长区域不同，

所述摄像元件取得将通过了所述第1编码元件的光的所述第1波长区域、所述第2波长区域、所述第3波长区域以及第4波长区域的分量重叠后的图像。

[项目2]

根据项目1所述的摄像装置，所述多个区域的一部分是透明区域。

[项目3]

根据项目2所述的摄像装置，二维排列的所述多个区域，在所述多个区域的一个排列方向以及与所述一个排列方向垂直的另一个排列方向上，交替地排列光透过率根据波长而不同的区域、和所述透明区域。

[项目4]

根据项目1～3中任意一项所述的摄像装置，

所述多个区域二维排列为矩阵状，

所述多个区域中包含的属于排列为1个行或列的区域的集合的各区域中的以第5波长区域的光的透过率的值为要素的向量、和所述多个区域中包含的属于排列为其他行或列的区域的集合的各区域中的以所述第5波长区域的光的透过率的值为要素的向量相互独立，

所述多个区域中包含的属于排列为1个行或列的区域的集合的各区域中的以第6波长区域的光的透过率的值为要素的向量、和所述多个区域中包含的属于排列为其他行或列的区域的集合的各区域中的以所述第6波长区域的光的透过率的值为要素的向量相互独立。

[项目5]

根据项目1～4中任意一项所述的摄像装置，

还具备光学系统，所述光学系统配置在所述对象物与所述第1编码元件之间，使来自所述对象物的光会聚在所述第1编码元件的面上，

所述第1编码元件配置在所述摄像元件上。

[项目6]

根据项目5所述的摄像装置，

所述摄像元件包含多个像素，

所述多个区域配置为与所述多个像素分别对应。

[项目7]

根据项目1～4中任意一项所述的摄像装置，

还具备光学系统，所述光学系统配置在所述对象物与所述第1编码元件之间，使来自所述对象物的光会聚在所述摄像元件的面上，

所述第1编码元件和所述摄像元件分离配置。

[项目8]

根据项目1～4中任意一项所述的摄像装置，

还具备光学系统，所述光学系统配置在所述第1编码元件与所述摄像元件之间，使通过了所述第1编码元件的来自所述对象物的光会聚在所述摄像元件的面上。

[项目9]

根据项目1～8中任意一项所述的摄像装置，

还具备信号处理电路，所述信号处理电路基于由所述摄像元件取得的图像、和所述第1编码元件中的光透过率的空间分布以及波长分布，来生成通过了所述第1编码元件的光的每个波长区域的多个图像。

[项目10]

根据项目9所述的摄像装置，

所述信号处理电路通过统计的方法来生成所述每个波长区域的多个图像。

[项目11]

根据项目9或10所述的摄像装置，

所述每个波长区域的多个图像中的数据数比由所述摄像元件取得的所述图像中的数据数更多。

[项目12]

根据项目9～11中任意一项所述的摄像装置，

所述摄像元件包含多个像素，

所述信号处理电路使用由所述摄像元件取得的所述图像中的以所述多个像素的信号值为要素的向量g、和所述第1编码元件中的光透过率的空间分布以及波长分布所决定的矩阵h，生成基于下式而估计出的向量f’，作为所述每个波长区域的多个图像：

其中，φ(f)是正则化项，τ是权重系数。

[项目13]

根据项目9～12中任意一项所述的摄像装置，

所述信号处理电路将所述每个波长区域的多个图像生成为运动图像。

[项目14]

根据项目1～13中任意一项所述的摄像装置，

还具备至少1个第2编码元件，所述第2编码元件的光透过率在空间方向上一样，并且在波长方向上具有多个透光区域和多个遮光区域，

所述摄像元件配置在通过了所述第1编码元件以及所述至少1个第2编码元件的光的光路上。

[项目15]

根据项目14所述的摄像装置，

所述至少1个第2编码元件的所述多个透光区域的波长宽度全部相等、且存在于最接近的2个所述透光区域之间的所述遮光区域的波长宽度全部相等。

[项目16]

根据项目14或15所述的摄像装置，

所述至少1个第2编码元件具备多个第2编码元件，

所述多个第2编码元件中的1个中的所述多个透光区域的波长区域与所述多个第2编码元件中的另1个中的所述多个透光区域的波长区域不同。

[项目17]

根据项目14～16中任意一项所述的摄像装置，

还具备信号处理电路，所述信号处理电路基于由所述摄像元件输出的图像、所述第1编码元件的光透过率的空间分布以及波长分布、和所述第2编码元件的光透过率的波长分布，生成通过了所述第1编码元件以及所述第2编码元件的光的每个波长区域的多个图像。

[项目18]

根据项目1～17中任意一项所述的摄像装置，

所述多个区域的每一个中的光透过率的波长分布是随机分布。

[项目19]

根据项目1～18中任意一项所述的摄像装置，

所述第1波长区域、所述第2波长区域、所述第3波长区域、以及所述第4波长区域的每一个中的所述第1编码元件的光透过率的空间分布是随机分布。

[项目20]

一种分光系统，具备：

项目1～8中任一项所述的摄像装置；和

信号处理装置，其基于由所述摄像元件取得的图像、和所述第1编码元件中的光透过率的空间分布以及波长分布，来生成通过了所述第1编码元件的光的每个波长区域的多个图像。

[项目21]

一种编码元件，在生成多个相互不同的波长区域的每个波长区域的图像的分光系统中使用，

所述编码元件具有二维排列的多个区域，所述多个区域包含分光透过率相互不同的2个以上的区域，所述2个以上的区域的每一个中的分光透过率在所述多个波长区域的至少2个中具有极大值。

[项目22]

根据项目21所述的编码元件，所述极大值处的光透过率为0.8以上。

[项目23]

根据项目21或22所述的编码元件，所述2个以上的区域中的所述至少2个波长区域的组合相互不同。

[项目24]

根据项目21～23中任一项所述的编码元件，所述多个区域的一部分为透明区域。

[项目25]

根据项目24所述的编码元件，在所述多个区域的2个排列方向上，光透过率根据波长而不同的区域和所述透明区域交替排列。

[项目26]

一种编码元件，在生成包括第1波长区域的图像以及第2波长区域的图像在内的多个波长区域的每个波长区域的图像的分光系统中使用，

所述编码元件具有二维排列为矩阵状的多个区域，

所述多个区域中包含的属于排列为1个行或列的区域的集合的各区域中的以所述第1波长区域的光的透过率的值为要素的向量、和所述多个区域中包含的属于排列为其他行或列的区域的集合的各区域中的以所述第1波长区域的光的透过率的值为要素的向量相互独立，

所述多个区域中包含的属于排列为1个行或列的区域的集合的各区域中的以所述第2波长区域的光的透过率的值为要素的向量、和所述多个区域中包含的属于排列为其他行或列的区域的集合的各区域中的以所述第2波长区域的光的透过率的值为要素的向量相互独立，

所述多个区域中包含的2个以上的区域的每一个中的分光透过率在所述第1以及第2波长区域的至少2个中具有极大值。

[项目27]

一种摄像装置，具备：

配置在从对象物入射的光的光路上的项目21～26中任一项所述的编码元件；和

摄像元件，其配置在通过了所述编码元件的光的光路上，取得通过了所述编码元件的所述多个波长区域的分量重叠后的图像。

[项目28]

根据项目27所述的摄像装置，还具备光学系统，所述光学系统配置在所述对象物与所述编码元件之间，使来自所述对象物的光会聚在所述编码元件的面上，

所述编码元件配置在所述摄像元件上。

[项目29]

根据项目28所述的摄像装置，所述编码元件中的所述多个区域配置为与所述摄像元件中的多个像素分别对应。

[项目30]

根据项目27所述的摄像装置，还具备光学系统，所述光学系统配置在所述对象物与所述编码元件之间，使来自所述对象物的光会聚在所述摄像元件的面上，

所述编码元件和所述摄像元件分离配置。

[项目31]

根据项目27所述的摄像装置，还具备光学系统，所述光学系统配置在所述编码元件与所述摄像元件之间，使通过了所述编码元件的来自所述对象物的光会聚在所述摄像元件的面上。

[项目32]

根据项目27～31中任一项所述的摄像装置，还具备信号处理电路，所述信号处理电路基于由所述摄像元件取得的图像、和所述编码元件中的分光透过率的空间分布，来生成通过了所述编码元件的光的每个波长区域的多个图像。

[项目33]

根据项目32所述的摄像装置，所述信号处理电路通过统计的方法来生成所述每个波长区域的多个图像。

[项目34]

根据项目32或33所述的摄像装置，所述光的每个波长区域的多个图像中的数据数比由所述摄像元件取得的所述图像中的数据数更多。

[项目35]

根据项目32～34中任一项所述的摄像装置，所述信号处理电路使用由所述摄像元件取得的所述图像中的以多个像素的信号值为要素的向量g、和所述编码元件中的分光透过率的空间分布所决定的矩阵h，生成基于下式而估计出的向量f’，作为所述每个波长区域的多个图像：

(φ(f)是正则化项，τ是权重系数)。

[项目36]

根据项目32～35中任一项所述的摄像装置，所述信号处理电路将所述每个波长区域的多个图像生成为运动图像。

[项目37]

一种分光系统，具备：

项目27～31中任一项所述的摄像装置；和

信号处理装置，其基于由所述摄像元件取得的图像、和所述编码元件中的分光透过率的空间分布，来生成通过了所述编码元件的光的每个波长区域的多个图像。

[项目38]

一种分光方法，包括如下步骤：

使用配置在从对象物入射的光的光路上的项目21～26中任一项所述的编码元件来使入射光的强度进行调制的步骤；

取得通过了所述编码元件的光的多个波长区域的分量重叠后的图像的步骤；

基于所述图像、和所述编码元件中的分光透过率的空间分布，来生成通过了所述编码元件的光的每个波长区域的多个图像的步骤。

[项目41]

一种摄像装置，使用于生成每个不同波段的多个图像的分光系统，具备：窄频带编码元件，其光透过率在空间方向上一样，并且在波长方向上具有多个透光区域和多个遮光区域；空间调制编码元件，其配置在通过所述窄频带编码元件的光的路径上，在空间方向上具有多个透光区域和多个遮光区域；摄像元件，其取得通过所述窄频带编码元件以及所述空间调制编码元件而被编码后的光。

[项目42]

根据项目41所述的摄像装置，所述窄频带编码元件的所述多个透光区域的波长宽度全部相等，并且存在于最接近的2个所述透光区域之间的所述遮光区域的波长宽度全部相等。

[项目43]

根据项目41或42所述的摄像装置，具有多个所述窄频带编码元件，多个所述窄频带编码元件中的所述多个透光区域为相互不同的波长区域。

[项目44]

根据项目43所述的摄像装置，多个所述窄频带编码元件中的所述多个透光区域包含所有的所述不同的波段。

[项目45]

根据项目41～44中任一项所述的摄像装置，所述空间调制编码元件的所述多个透光区域以及所述多个遮光区域的空间分布根据所述不同的波段而不同。

[项目46]

根据项目41～44中任一项所述的摄像装置，还具备分光元件，所述分光元件配置在通过所述窄频带编码元件的光的路径上，使光根据波长而在空间方向上分散，所述空间调制编码元件的光透过率在波长方向上一样。

[项目47]

一种分光系统，具备：项目45所述的摄像装置；和信号处理电路，其基于在所述摄像装置中从所述摄像元件输出的拍摄图像、所述窄频带编码元件的光透过率的波长分布信息、所述空间调制编码元件的光透过率的空间分布信息以及波长分布信息，来生成每个不同波段的多个图像。

[项目48]

一种分光系统，具备：项目46所述的摄像装置；和信号处理电路，其基于在所述摄像装置中从所述摄像元件输出的拍摄图像、所述窄频带编码元件的光透过率的波长分布信息、所述空间调制编码元件的光透过率的空间分布信息、和所述分光元件的分散特性，来生成每个不同波段的多个图像。

[项目49]

一种分光滤波器，使用于生成每个不同波段的多个图像的分光系统，所述分光滤波器在空间方向上具有多个透光区域和多个遮光区域，所述多个透光区域的波长宽度全部相等，存在于最接近的2个所述透光区域之间的所述遮光区域的波长宽度全部相等。

[项目50]

一种分光方法，是使用了摄像装置的分光方法，所述摄像装置具备：光透过率在空间方向上一样，并且在波长方向上具有多个透光区域和多个遮光区域的第1窄频带编码元件以及第2窄频带编码元件；空间调制编码元件，其配置在通过所述第1窄频带编码元件或所述第2窄频带编码元件的光的路径上，在空间方向上具有多个透光区域和多个遮光区域；和摄像元件，其取得通过所述第1窄频带编码元件、所述第2窄频带编码元件、以及所述空间调制编码元件而被编码后的光，所述第1窄频带编码元件以及所述空间调制编码元件对来自对象物的光进行编码，所述摄像元件取得所述第1窄频带编码元件以及所述空间调制编码元件进行编码后的光来生成第1像素信号，将所述第1窄频带编码元件更换为所述第2窄频带编码元件，所述第2窄频带编码元件以及所述空间调制编码元件对来自所述对象物的光进行编码，所述摄像元件取得所述第2窄频带编码元件以及所述空间调制编码元件进行编码后的光来生成第2像素信号。

以下，参照附图，对本公开的更具体的实施方式进行说明。在以下的说明中，有时将表示图像的信号(表示各像素的像素值的信号的集合)仅称作“图像”。在以下的说明中，使用图中所示的xyz坐标。

(实施方式1)

图1a至图1d是用于说明实施方式1中的编码元件c的图。编码元件c在分光系统中被使用，所述分光系统生成在摄像对象的波长区域中包含的多个波长区域的每个波长区域的图像。在本说明书中，有时将摄像对象的波长区域称作“对象波长区域”。编码元件c配置在从对象物入射的光的光路上，按照每个波长对入射光的强度进行调制并输出。在本说明书中，将由编码元件c进行的该过程称作“编码”。编码元件c相当于本公开中的第1编码元件。

图1a示意性地表示了编码元件c的构成。编码元件c具有二维排列的多个区域。各区域由透光性的构件形成，具有单独设定的分光透过率。在此，“分光透过率”是指光透过率的波长分布。将入射光的波长设为λ，分光透过率用函数t(λ)来表示。分光透过率t(λ)能够取0以上且1以下的值。在图1a中，例示了排列为6行8列的48个矩形区域，但在实际的用途中，可以设置比这更多的区域。其数量例如可以与一般的摄像元件(图像传感器)的像素数(例如数十万到数千万)为相同程度。在某例中，编码元件c配置在摄像元件的正上方，且能够配置为各区域与摄像元件的1个像素对应(对向)。

图1b示出了对象波长区域中包含的多个波长区域w1、w2、……、wi各自的光的透过率的空间分布的一例。在该图中，各区域(单元)的浓淡的差异表示透过率的差异。越淡的区域透过率越高，越浓的区域透过率越低。如图1b所示，光透过率的空间分布根据波长区域而不同。

图1c以及图1d是分别表示编码元件c中的2个区域a1、a2的分光透过率的例子的曲线图。各曲线图的横轴表示波长，纵轴表示光透过率。分光透过率被标准化，使得各区域的光透过率的最大值为1，最小值为0。区域a1的分光透过率和区域a2的分光透过率不同。这样，编码元件c中的分光透过率根据区域而不同。不过，不需要一定所有区域的分光透过率都不同。只要编码元件c中的多个区域中的至少一部分(2个以上)的区域的分光透过率相互不同即可。在某例中，编码元件c中包含的多个区域的分光透过率的类型的数量可以与对象波长区域中包含的波长区域的数量i相同，或者为波长区域的数量i以上。典型来说，编码元件c被设计成在半数以上的区域中分光透过率不同。

图2a是用于说明对象波长区域w和其中包含的多个波长区域w1、w2、……、wi的关系的图。对象波长区域w可以根据用途而设定为各种各样的范围。对象波长区域w可以为例如可见光的波长区域(约400nm～约700nm)、近红外线的波长区域(约700nm～约2500nm)、近紫外线的波长区域(约10nm～约400nm)、以及中红外、远红外、或者太赫兹波、毫米波等电波区域。像这样，所使用的波长区域不限于可见光区域。在本说明书中，不限于可见光，为了方便而将近紫外线、近红外线、以及电波等非可见光也称作“光”。

在本实施方式中，如图2a所示，将i设为4以上的任意整数，将对象波长区域w进行i等分后的各个波长区域设为波长区域w1、w2、……、wi。不过不限定于这种例子。对象波长区域w中包含的多个波长区域可以任意设定。例如，也可以根据波长区域而使其宽度(称作“频带宽度”)不均匀。也可以在相邻的波长区域之间存在间隙。图2b示出了根据波长区域而频带宽度不同，并且相邻的2个波长区域之间存在间隙的例子。像这样，多个波长区域只要相互不同即可，其决定方法是任意的。波长的分割数i也可以为3以下。

图3a是用于说明编码元件c的某区域中的分光透过率的特性的图。该例中的分光透过率相对于对象波长区域w内的波长，具有多个极大值p1～p5以及多个极小值。图3a所示的光透过率的波长分布被标准化为使得对象波长区域w内的光透过率的最大值为1、最小值为0。在该例中，在波长区域w2、wi-1等中具有分光透过率的极大值。像这样，在本实施方式中，各区域的分光透过率在多个波长区域w1～wi中的多个(至少2个)波长区域中具有极大值。从图3a可知，极大值p1、p3、p4、以及p5为0.5以上。

如上，各区域的光透过率根据波长而不同。因此，编码元件c使入射的光之中某波长区域的分量较多地透过，使其他波长区域的分量不那么多地透过。例如，对于i个波长区域中的k个(k是满足2≤k＜i的整数)的波长区域的光，透过率可以大于0.5(50％)，对于剩余的i-k个波长区域的光，透过率可以不足0.5(50％)。假设入射光是均等地包含所有可见光的波长分量的白色光的情况下，编码元件c将入射光按照每个区域调制为相对于波长具有离散的多个强度的峰值的光，并对这些多波长的光进行重叠来输出。

图3b是作为一例表示将图3a所示的分光透过率按照每个波长区域w1、w2、……、wi进行了平均化的结果的图。被平均化的透过率通过按照每个波长区域对分光透过率t(λ)进行积分并除以该波长区域的宽度(频带宽度)而得到。在本说明书中，将像这样按照每个波长区域进行了平均化的透过率的值称作该波长区域中的透过率。在该例中，在取极大值p1、p3、p5的3个波长区域中，透过率突出地变高。特别是，在取极大值p3、p5的2个波长区域中，透过率超过了0.8(80％)。

各区域的分光透过率的波长方向的分辨率可以设定为希望的波长区域的宽度(频带宽度)的程度。换言之，可以将包含分光透过率曲线上的1个极大值(峰值)的波长范围之中取最接近该极大值的极小值和该极大值的平均值以上的值的范围的宽度，设定为希望的波长区域的宽度(频带宽度)的程度。在此情况下，若使用傅里叶变换等将分光透过率分解为频率分量，则与该波长区域相当的频率分量的值相对变大。

编码元件c，典型来说，如图1a所示，被分割为划分成格子状的多个区域(单元)。这些单元具有相互不同的分光透过率特性。编码元件c中的各区域的光透过率的波长分布以及空间分布例如可以是随机分布或准随机分布。

随机分布以及准随机分布的思想如下。首先，编码元件c中的各区域可以认为是根据光透过率而具有例如0到1的值的向量要素。在此，在透过率为0(0％)的情况下，向量要素的值为0，在透过率为1(100％)的情况下，向量要素的值为1。换言之，在行方向或列方向上排列为一列的区域的集合可以认为是具有0到1的值的多维的向量。因此，可以说编码元件c在列方向或行方向上具备多个多维向量。此时，随机分布意味着任意的2个多维向量独立(不平行)。此外，准随机分布意味着包含在一部分的多维向量间不独立的构成。因此，在随机分布以及准随机分布中，多个区域中包含的属于排列于1个行(或列)的区域的集合的各区域中的以第1波长区域的光的透过率的值为要素的向量、和属于排列于其他行(或列)的区域的集合的各区域中的以第1波长区域的光的透过率的值为要素的向量彼此独立。对于与第1波长区域不同的第2波长区域也是同样，多个区域中包含的属于排列于1个行(或列)的区域的集合的各区域中的以第2波长区域的光的透过率的值为要素的向量、和属于排列于其他行(或列)的区域的集合的各区域中的以第2波长区域的光的透过率的值为要素的向量彼此独立。

随机分布也可以通过由以下的(数学式1)定义的自相关函数来定义。

【数学式1】

编码元件c由纵向m个、横向n个的共计m×n个矩形区域排列而构成，若假设具备该编码元件c的分光系统所生成的分光图像的数量为l个，则x(l，m，n)表示在纵向配置为第m个、在横向配置为第n个的矩形区域的第1个波长区域中的光透过率。此外，i＝-(l-1)，……，-1，0，1，……(l-1)，j＝-(m-1)，……，-1，0，1，……，(m-1)，k＝-(n-1)，……，-1，0，1，……，(n-1)。在m＜1，n＜1，1＜1，m＞m，n＞n，1＞l时，x(l，m，n)＝0。上述(数学式1)所表示的自相关函数y(i，j，k)是以i，j，以及k为变量来表示在纵向配置为第m个、在横向配置为第n个的矩形区域的第l个波长区域中的光透过率x(l，m，n)、和从该矩形区域在纵向偏离j个、在横向偏离k个的矩形区域中的从第l个波长区域偏离i个的波长区域中的光透过率x(l+i，m+j，n+k)的相关值的函数。此时，本公开中的“随机分布”是指，例如，上述(数学式1)所表示的自相关函数y(i，j，k)在y(0，0，0)时具有极大值，在其他时候不具有极大值。具体来说，意味着随着从i＝0向着l-1以及-(l-1)而单调减少，并且，随着从j＝0向着m-1以及-(m-1)而单调减少，并且，随着从k＝0向着n-1以及-(n-1)而单调减少。此外，“随机分布”除了在y(0，0，0)以外，也可以具有在i轴方向l/10处以下、在j轴方向m/10处以下、在k轴方向n/10处以下的极大值。

在将编码元件c配置于摄像元件的附近或者正上方的情况下，编码元件c中的多个区域的相互间隔(单元间距)也可以与摄像元件的像素间距大体一致。如此一来，从编码元件c射出的被编码后的光的像的分辨率与像素的分辨率大体一致。通过使透过了各单元的光仅入射到对应的1个像素，能够使后述的运算变得容易。在将编码元件c远离摄像元件而配置的情况下，也可以根据其距离来缩小单元间距。

在图1a至图1d所示的例子中，设想了各区域的透过率可以取0以上且1以下的任意值的灰度的透过率分布。但是，不需要一定设为灰度的透过率分布。例如，也可以如后述的实施方式2那样，采用各区域的透过率可以取大致0或大致1的任意一个值的二进制的透过率分布。在二进制的透过率分布中，各区域使对象波长区域所包含的多个波长区域中的至少2个波长区域的光的大部分透过，使剩余的波长区域的光的大部分不透过(进行遮光)。在此“大部分”是指大概80％以上。

也可以将全部单元中的一部分(例如一半)的单元置换为透明区域。这种透明区域使对象波长区域所包含的全部波长区域w1～wi的光以相同程度的高透过率(例如0.8以上)透过。在这种构成中，多个透明区域可以配置为例如相间方格状。即，在编码元件c中的多个区域的2个排列方向(图1a中的横向以及纵向)上，光透过率根据波长而不同的区域、和透明区域可以交替排列。

编码元件c可以使用多层膜、有机材料、衍射光栅构造、包含金属的微细构造中的至少1个来构成。在使用多层膜的情况下，例如，可以使用电介质多层膜或包含金属层的多层膜。在此情况下，形成为各多层膜的厚度、材料、以及层叠顺序的至少1个按照每个单元而不同。由此，能够实现根据单元而不同的分光特性。通过使用多层膜，能够实现分光透过率中的急剧的上升以及下降。使用了有机材料的构成，可以通过根据单元而使含有的颜料或染料不同、或者层叠不同种类的材料来实现。使用了衍射光栅构造的构成，可以通过按照每个单元设置不同的衍射间距或深度的衍射构造来实现。在使用包含金属的微细构造的情况下，可以利用基于等离子体效应的分光来制作。

(实施方式2)

图4是表示实施方式2的摄像装置d1的示意图。本实施方式的摄像装置d1具备成像光学系统100、编码元件c、和摄像元件s。编码元件c与在实施方式1中所说明的相同。因此，省略关于与实施方式1同样的内容的详细说明。

图4中还描绘了对从摄像元件s输出的图像信号进行处理的信号处理电路pr。信号处理电路pr既可以嵌入摄像装置d1中，也可以是通过有线或无线的方式与摄像装置d1电连接的信号处理装置的构成要素。信号处理电路pr基于由摄像元件s取得的图像g，来估计按照来自对象物o的光的每个波段而被分离的多个图像(以下，有时称作“光谱分离图像”或者“多波长图像”)f。

成像光学系统100包含至少1个摄像透镜。虽然在图4中，描绘为1个透镜，但成像光学系统100也可以由多个透镜的组合来构成。成像光学系统100在摄像元件s的摄像面上形成像。

编码元件c配置在摄像元件s的附近或正上方。在此“附近”意味着接近于来自成像光学系统100的光的像以某种程度清晰的状态形成在编码元件c的面上的程度。“正上方”意味着两者接近到几乎不产生间隙的程度。编码元件c以及摄像元件s也可以被一体化。编码元件c是具有光透过率的空间分布的掩模。编码元件c使透过成像光学系统100而入射的光的强度进行调制并使其通过。

图5a是表示本实施方式中的编码元件c的透过率分布的例子的图。该例相当于前述的二进制的透过率分布。在图5a中，黑色部分表示几乎不使光透过的区域(称作“遮光区域”)，白色部分表示使光透过的区域(称作“透光区域”)。在该例中，白色部分的光透过率大致为100％，黑色部分的光透过率大致为0％。编码元件c被分割为多个矩形区域，各矩形区域是透光区域或遮光区域。编码元件c中的透光区域以及遮光区域的二维分布可以是例如随机分布或准随机分布。

随机分布以及准随机分布的思想与前述思想相同。首先，编码元件c中的各区域可以认为是根据光透过率而具有例如0到1的值的向量要素。换言之，排列为一列的区域的集合可以认为是具有0到1的值的多维的向量。因此，可以说编码元件c在行方向上具备多个多维向量。此时，随机分布意味着任意的2个多维向量独立(不平行)。此外，准随机分布意味着包含在一部分的多维向量间不独立的构成。

由编码元件c进行的编码过程可以说是进行用于对各波长的光所形成的图像进行区分的标记的过程。只要能够进行这种标记，透过率的分布就可以任意设定。在图5a所示的例子中，黑色部分的数量和白色部分的数量的比率为1∶1，但不限定于这种比率。例如，也可以为白色部分的数量∶黑色部分的数量＝1∶9这种偏重于一方的分布。

图5b是表示编码元件c的其他构成例的图。该例相当于前述的具有灰度的透过率分布的掩模。在此情况下，编码元件c中的各区域与图1a至图1d所示的构成同样地根据波长区域而具有3个等级以上的透过率的值。

如图5a以及图5b所示，编码元件c按照每个波段w1、w2、……、wi而具有不同的透过率空间分布。不过，各波段的透过率空间分布在使其在空间方向上进行了平行移动时也可以一致。

图6a是近似地表示具有图5a所示的二进制的透过率分布的编码元件c中的某区域中的分光透过率的图。具有二进制的透过率的各区域，理想来说，具有图6a所示那样的分光透过率。在该例中，分光透过率在对象波长区域所包含的多个波长区域(各自以刻度的间隔来表现)中的3个波长区域中具有极大值。实际上，不会成为图6a那样的理想的分光透过率，而会成为图6b所示那样的连续的分光透过率。即使为图6b所示那样的分光透过率，只要按照每个波长区域进行积分后的值超过了规定的阈值，则该波长区域中的透过率大致近似为1，由此能够视为图6a所示的分光透过率。

与这种编码元件c的透过率分布相关的信息通过设计数据或实测校准而事先取得，并利用于后述的运算处理。

摄像元件s是具有二维排列的多个光检测单元(在本说明书中，也称作“像素”)的单色型的摄像元件。摄像元件s可以是例如ccd(charge-coupleddevice)或cmos(complementarymetaloxidesemiconductor)传感器、红外线阵列传感器、太赫兹阵列传感器、毫米波阵列传感器。光检测单元可以通过例如光电二极管来构成。摄像元件s不需要一定是单色型的摄像元件。例如，也可以使用具有r/g/b、r/g/b/ir、或r/g/b/w的滤波器的彩色型的摄像元件。通过使用彩色型的摄像元件，能够增加与波长相关的信息量，能够使光谱分离图像f的重构的精度提高。不过，在使用了彩色型的摄像元件的情况下，空间方向(x，y方向)的信息量下降，因此与波长相关的信息量和分辨率处于相互折中的关系。取得对象的波长范围(对象波长区域)可以任意决定，不限于可见的波长范围，也可以是紫外、近红外、中红外、远红外、微波/电波的波长范围。

信号处理电路pr是对从摄像元件s输出的图像信号进行处理的电路。信号处理电路pr可以通过例如数字信号处理器(dsp)、现场可编程门阵列(fpga)等可编程逻辑器件(pld)、或者中央运算处理装置(cpu)/图像处理用运算处理器(gpu)和计算机程序的组合来实现。这种计算机程序被保存在存储器等记录介质中，通过由cpu执行该程序，能够执行后述的运算处理。如前所述，信号处理电路pr也可以是摄像装置d1的外部的要素。在这样的构成中，与摄像装置d1电连接的个人计算机(pc)、或因特网上的云服务器等信号处理装置具有信号处理电路pr。在本说明书中，将包含这样的信号处理装置和摄像装置的系统称作“分光系统”。

以下，对本实施方式中的摄像装置d1的动作进行说明。

图7是表示本实施方式中的分光方法的概要的流程图。首先，在步骤s101中，使用编码元件c使入射光的强度按照每个波段在空间上进行调制。接着，在步骤s102中，通过摄像元件s来取得透过了编码元件c的光的分量重叠后的图像。在后续的步骤s103中，基于由摄像元件s取得的图像、和编码元件c的分光透过率的空间分布，来生成每个波段的多个图像。

接着，对通过本实施方式的摄像装置d1来取得拍摄图像g的过程进行说明。

来自对象物o的光束通过成像光学系统100而被会聚，其像通过配置在摄像元件s的正前方的编码元件c而被编码。换言之，根据编码元件c中的每个波长的透过率的空间分布，通过编码元件c的光的强度被调制。其结果，保有编码信息的像作为相互重合的多重像而形成在摄像元件s的摄像面上。此时，与现有的基于压缩感知的构成不同，由于未使用棱镜等分光元件，因此不产生像的空间方向的偏移。因此，即使为多重像也能够较高地维持空间分辨率。图4所示的图像g中包含的多个黑点，示意性地表示通过编码而产生的低辉度的部分。另外，图4所示的黑点的数量以及配置没有反映现实的数量以及配置。实际上，可能产生比图4所示的数量更多的低辉度的部分。通过摄像元件s中的多个光检测单元将多重像的信息变换为多个电信号(像素信号)，生成拍摄图像g。

摄像装置d1也可以进一步具备仅使入射光束的一部分波段的分量透过的带通滤波器。由此，能够限定测定波段。通过限定测定波段，能够得到限定为希望波长的分离精度高的光谱分离图像f。

接着，说明基于拍摄图像g、编码元件c的每个波长的透过率的空间分布特性来对多波长的光谱分离图像f进行重构的方法。在此，多波长意味着例如比通常的彩色照相机所取得的3色(r·g·b)的波段更多的波段。该波段的数量(以下，有时称作“分光频带数”)可以为例如4到100程度的数量。根据用途不同，分光频带数也可以超过100。

想要求取的数据是光谱分离图像f，将该数据表示为f。若将分光频带数(波带数)设为w，则f是对各频带的图像数据f1，f2，……，fw进行了综合的数据。若将要求取的图像数据的x方向的像素数设为n，将y方向的像素数设为m，则图像数据f1，f2，……，fw分别是n×m个像素的二维数据的集合。因此，数据f是要素数n×m×w的三维数据。另一方面，被编码元件c编码以及复用而取得的拍摄图像g的数据g的要素数是n×m。本实施方式中的数据g可以用以下的(数学式2)来表示。

【数学式2】

在此，f1，f2，……，fw是具有n×m个要素的数据，因此右边的向量严格来说是n×m×w行1列的1维向量。向量g被变换为n×m行1列的1维向量来表示并计算。矩阵h表示对向量f的各分量f1，f2，……，fw以按照每个波段而不同的编码信息来进行编码/强度调制，并将它们相加的变换。因此，h是n×m行n×m×w列的矩阵。

那么，若给出向量g和矩阵h，则似乎通过对(数学式2)的逆问题进行求解能够算出f。但是，由于求取的数据f的要素数n×m×w比取得数据g的要素数n×m更多，因此该问题成为不良设定问题，直接这样无法求解。因此，本实施方式的信号处理电路pr利用数据f中包含的图像的冗余性，使用压缩感知的手法来求解。具体来说，通过对以下的(数学式3)的式子进行求解，来估计所求取的数据f。

【数学式3】

在此，f’表示估计出的f的数据。上式的括弧内的第1项表示估计结果hf与取得数据g的偏差量、所谓残差项。在此将平方和设为残差项，但也可以将绝对值或者平方和平方根等作为残差项。括弧内的第2项是后述的正则化项(或稳定化项)。(数学式3)意味着求取将第1项与第2项的和最小化的f。信号处理电路pr能够通过递归的迭代运算来使解收敛，并算出最终的解f’。

(数学式3)的括弧内的第1项意味着求取取得数据g、和通过矩阵h对估计过程的f进行系统变换而得到的hf之间的差分的平方和的运算。第2项的φ(f)是f的正则化中的制约条件，是反映了估计数据的稀疏信息的函数。作为作用，有使估计数据平滑或稳定的效果。正则化项例如可以通过f的离散余弦变换(dct)、小波变换、傅里叶变换、或总变差(tv)等来表示。例如，在使用了总变差的情况下，能够取得抑制了观测数据g的噪声的影响的稳定的推测数据。各个正则化项的空间中的对象物o的稀疏性，根据对象物o的质地而不同。也可以选择对象物o的质地在正则化项的空间中变得更稀疏的正则化项。或者，也可以将多个正则化项包含在运算中。τ是权重系数，该值越大则冗余的数据的削减量越多(进行压缩的比例越高)，越小则向解的收敛性变得越弱。权重系数τ设定为f收敛某种程度并且不至于过压缩的适度的值。

另外，在此示出了(数学式3)所示的使用了压缩感知的运算例，但也可以使用其他方法来求解。例如，可以使用最大似然估计法或贝叶斯估计法等其他统计方法。此外，光谱分离图像f的数量是任意的，各波段也可以任意设定。

如上，在本实施方式中，使用图5a或图5b所示那样的、分光透过率特性根据波段而不同的编码元件c。由此，如后述的实施例1所示，能够抑制彗形像差的产生，并抑制压缩感知所引起的分辨率的下降。根据本实施方式，能够同时满足高分辨率、多波长、动态图像拍摄(单镜头拍摄)这3个要求。此外，在摄像时，仅保有二维数据即可，因此对于长时间的数据取得很有效。另外，本实施方式中的摄像元件以及信号处理电路取得运动图像，但也可以构成为仅取得静止图像。

(实施方式3)

实施方式3利用编码图案的像面上的模糊状态来对多波长图像进行重构，这一点与实施方式2不同。以下，省略关于与实施方式2同样的内容的详细说明。

图8a是表示本实施方式的摄像装置d2的示意图。在摄像装置d2中，与摄像装置d1不同，编码元件c远离摄像元件s而配置。由编码元件c编码后的像在摄像元件s上以模糊的状态而被取得。因此，预先保有该模糊信息，并使其反映到(数学式2)的系统矩阵h中。在此，模糊信息由点扩散函数(pointspreadfunction：psf)来表示。psf是规定点像向周边像素的扩散程度的函数。例如，在图像上与1个像素相当的点像由于模糊而扩散到该像素周围的k×k个像素的区域的情况下，psf可以被规定为表示对该区域内的各像素的辉度的影响的系数组(矩阵)。通过使基于psf的编码图案的模糊的影响反映到系统矩阵h中，能够对光谱分离图像f进行重构。

配置编码元件c的位置是任意的，但需要防止编码元件c的编码图案过度扩散而消失。因此，例如，如图8b所示，配置在成像光学系统100中最接近对象物o的透镜的附近或对象物o的附近为佳。特别是在视角大的光学系统中焦点距离变短，因此在这些位置上各视角的光束的重叠变小且在摄像元件s上编码图案不易模糊而容易残留。此外，如实施方式2那样，将编码元件c配置在更接近摄像元件s的位置的情况下，编码图案也容易残留，因此优选。

(实施例1)

接着，对本公开的实施例进行说明。

图9是表示使用本公开的分光方法对光谱分离图像f进行了重构的结果的一例的图。在此，作为编码元件c，使用了图5a所示那样的、具有将多个透光区域和多个遮光区域随机排列而成的二进制图案的元件。各透光区域的光透过率为大致100％，各遮光区域的光透过率为大致0％。摄像装置的构成采用了实施方式2中的构成。

拍摄图像g是对由编码元件c按照20个频带的每个波段进行编码后的像进行了复用的500×311个像素的图像。

在实施例1中，基于拍摄图像g、编码元件c的每个波段的透过率的空间分布特性，来对(数学式3)的推测算法进行求解，由此得到了20个波段的光谱分离图像f。此时，使用了总变差(tv)作为正则化项。

(比较例1)

作为比较例，对取代编码元件c而使用了几乎不具有透过率的波长依赖性的编码元件、和在y方向上1个像素1个像素地进行分光偏移的分光元件p的情况下的光谱分离图像f进行了重构。分光元件配置在通过了编码元件的光的路径上，仅在y方向上分光为20个频带。

图10是表示比较例的结果的图。图10所示的拍摄图像g是在y方向上进行了偏移的各分光频带的图像的多重像，因此与图9所示的拍摄图像g相比分辨率低。其结果，光谱分离图像f的分辨率也变低。

图11表示实施例1以及比较例1各自中的相对于正确图像的均方误差(meansquarederror：mse)。mse用(数学式4)来表示，示出了平均每1个像素的均方误差。值越小则意味着越接近正确图像。

【数学式4】

在此，n，m分别表示图像的纵、横的像素数，i’i、j表示重构图像(光谱分离图像)的i行j列的像素值，ii、j表示正确图像的j行j列的像素值。另外，本实施例以及比较例中所使用的图像是8比特图像，像素值的最大值是255。

图11中的横轴表示重构后的光谱分离图像f的图像编号，纵轴表示mse的值。由图11可以确认，在通过实施例1的方法进行了重构的情况下，与比较例1相比，任意一个光谱分离图像f的mse的值都小，接近正确图像。mse的值为大约180～200程度，可知与正确图像大体一致。另一方面，在作为现有方法的比较例1中，mse的值整体较高，可知与正确图像相比较大地劣化。实施例1与比较例1的mse之差最小为1.7倍，最大为2.5倍，能够看到本公开的构成的有效性。这是因为，在实施例1中，与比较例1不同，在摄像图像g中不产生像偏移，在摄像图像g的阶段分辨率较高。此外，在本公开的构成中由于不需要中继光学系统，因此能够实现大幅的小型化。进而，在使用棱镜等的分光偏移方式中在对光源那样的高强度的被摄体进行了拍摄时有可能在线上大范围地产生饱和。相对于此，在不进行图像偏移的本公开的实施方式中，饱和的范围有限，这是有利的。

(实施方式4)

关于本公开的实施方式4，参照图12、图13a、图13b、图13c、图13d、图13e、图14a以及图14b来进行说明。图12是表示实施方式4所涉及的分光系统s1的图。本说明书中的“分光系统”的定义在后面叙述。如图12所示，本实施方式的分光系统s1包含摄像装置d4和信号处理电路pr。

[摄像装置d4]

本实施方式的摄像装置d4具备窄频带编码装置200、摄像透镜102、空间调制编码元件cs、和摄像元件s。空间调制编码元件cs相当于本公开的第1编码元件。

[窄频带编码装置200]

窄频带编码装置200配置在从对象物o入射的光束r的光路上。在本实施方式中，窄频带编码装置200配置在对象物o与摄像透镜102之间，但也可以配置在摄像透镜102与后述的空间调制编码元件cs之间。窄频带编码装置200具有至少1个窄频带编码元件。窄频带编码元件相当于本公开的第2编码元件。

[窄频带编码装置200具有2个窄频带编码元件的方式]

窄频带编码装置200具备窄频带编码元件c1以及窄频带编码元件c2。进而，窄频带编码装置200具备按照每个拍摄对窄频带编码元件c1以及窄频带编码元件c2进行切换的机构。在图12的例子中，窄频带编码装置200具有将2个窄频带编码元件在相对于摄像装置d4的光轴垂直的方向上排列并保持的机构。进而，窄频带编码装置200具有使2个窄频带编码元件在该垂直的方向上移动的滑动机构。对2个窄频带编码元件进行切换的机构不限于该例。例如，窄频带编码装置200也可以具备旋转轴。在此情况下，2个窄频带编码元件离旋转轴等距离地配置。若窄频带编码装置200旋转，则配置在光路上的窄频带编码元件切换。

窄频带编码元件c1以及窄频带编码元件c2分别具有在空间方向上一样的光透过率。在此“一样”意味着光透过率(或光透过率的波长分布)均匀，或者，其误差为10％以内。

此外，窄频带编码元件c1以及窄频带编码元件c2分别在光透过率的波长分布中，在波长方向上具有多个透光区域以及多个遮光区域。以下使用图13a以及13b详细进行说明。

图13a以及13b是表示实施方式1的窄频带编码元件c1的分光透过率的例子的图。在此，“分光透过率”意味着光透过率的波长分布。将入射光的波长设为λ，分光透过率用函数t(λ)来表示。分光透过率t(λ)可以取0以上且1以下的值。在图13a以及13b所示的例子中，窄频带编码元件c1的分光透过率在波长方向上周期性地变化。分光透过率的1个周期将光透过率大致为1且大体固定的透过波长区域t、和光透过率大致为0且大体固定的遮光波长区域q各包含1个。在本说明书中，透过波长区域t定义为光透过率为0.5以上的波长区域，并且该区域中的平均透过率大致为1。同样，遮光波长区域q定义为光透过率不足0.5的波长区域，并且该区域中的平均透过率大致为0。大致为1是指0.8以上的值，大致为0是指0.2以下的值。窄频带编码元件的分光透过率优选二进制分布。二进制分布是在透过波长区域t中透过率大致为1且固定、在遮光波长区域q中大致为0且固定的分布。但是，只要在透过波长区域t中透过率的平均值大致为1、在遮光波长区域q中透过率的平均值大致为0，也可以不必是二进制分布。在以后说明的窄频带编码元件中也是同样。

在图13a以及13b所示的分光透过率的例子中，透过波长区域t和遮光波长区域q的波长宽度相等地被设定，但不限定于该例。也可以如图13c至13e所示，透过波长区域t的波长宽度小于遮光波长区域q的波长宽度。此外，分光透过率也可以不周期性地变化。即，分光透过率中的多个透过波长区域t也可以具有相互不同的波长宽度。此外，分光透过率中的多个遮光波长区域q也可以具有相互不同的波长宽度。

图14a是表示对象波长区域w、和其中包含的多个波段w1、w2、……、wn的关系的图。对象波长区域w是由摄像装置d4作为拍摄对象的波长区域。多个波段w1、w2、……、wn是摄像装置d4在图像信号中使用的波段。此外，后述的信号处理电路pr对按照每个波段w1、w2、……、wn而分离后的n个光谱分离图像f1、f2、……、fn进行重构。

对象波长区域w根据用途可以设定为各种各样的范围。例如可以是可见光的波长区域(约400nm～约700nm)、近红外线的波长区域(约700nm～约2500nm)、近紫外线的波长区域(约10nm～约400nm)、以及中红外、远红外、或者太赫兹波、毫米波等电波区域。像这样，摄像装置d1所使用的波长区域不限于可见光域。在本说明书中，不限于可见光，为了方便，将近紫外线、近红外线、以及电波等非可见光也称作“光”。

在本实施方式中，如图14a所示，将n设为4以上的任意整数，将对象波长区域w进行n等分后的每一个设为波段w1、w2、……、wn。不过，对象波长区域w所包含的多个波段的设定不限定于此。例如，也可以根据波段而使其宽度(频带宽度)不均匀。如图14b所示，也可以根据波段而频带宽度不同，或者在相邻的2个波段之间存在间隙。像这样，多个波段只要不存在相互重复的部分即可，其决定方法是任意的。波段的数量n例如为4到100的程度，但根据用途不同也可以超过100。

在本实施方式中，窄频带编码元件c1以及窄频带编码元件c2的透过波长区域t的宽度被设计为与波段w1、w2、……、wn的宽度大体一致。各波段的宽度例如为20nm。各波段的宽度也可以为10nm、5nm、或者1nm。

如上所述，窄频带编码元件c1在光透过率的波长分布中，在波长方向具有多个透光区域(透过波长区域t)和多个遮光区域(遮光波长区域q)。多个透光区域分别相当于波段w1、w2、……、wn的任意一个。

图13b表示窄频带编码元件c2的分光透过率。图13b所示的分光透过率是对图13a所示的窄频带编码元件c1的分光透过率中的透过波长区域t和遮光波长区域q的分布进行了倒转的分光透过率。因此，将窄频带编码元件c1的分光透过率中的透过波长区域t、和窄频带编码元件c2的分光透过率中的透过波长区域t合在一起的波长区域覆盖多个波段w1、w2、……、wn的全部。

如上所述，窄频带编码元件c1和窄频带编码元件c2是各自所具有的多个透光区域(透过波长区域t)相互不同的波段。此外，多个透光区域分别相当于波段w1、w2、……、wn的任意一个。

[窄频带编码装置200具备3个窄频带编码元件的方式]

窄频带编码装置200也可以具备窄频带编码元件c11、窄频带编码元件c12、以及窄频带编码元件c13这3个窄频带编码元件。图13c、13d、以及13e中示出窄频带编码元件c11、c12、以及c13所分别具有的分光透过率的例子。图13c、13d、以及13e所示的3种分光透过率均在波长方向上具有周期性的分布，在空间方向上具有一样的分布。此外，任意一个分光透过率的1个周期都将透过波长区域t和遮光波长区域q各包含1个。

图13d所示的窄频带编码元件c12的分光透过率，是使图13a所示的窄频带编码元件c11的分光透过率在波长增加的方向上偏移了透过波长区域t的宽度的分光透过率。同样地，图13e所示的窄频带编码元件c13的分光透过率是使图13a所示的窄频带编码元件c12的分光透过率在波长增加的方向上偏移了透过波长区域t的宽度的2倍的分光透过率。因此，将窄频带编码元件c11、窄频带编码元件c12、以及窄频带编码元件c13的分光透过率中的透过波长区域t全部合在一起的波长区域覆盖多个波段w1、w2、……、wn的全部。

在图13c、13d、以及13e所示的分光透过率的例子中，透过波长区域t具有遮光波长区域q的一半的宽度，但不限于该例。同样地，3种分光透过率具有彼此相等的宽度的透过波长区域t，但不限于该例。此外，3种分光透过率具有彼此相等的宽度的遮光波长区域q，但不限于该例。此外，分光透过率周期性地变化，但不限于该例。换言之，1种分光透过率中的多个透过波长区域t也可以具有相互不同的波长宽度。此外，1种分光透过率中的多个遮光波长区域q也可以具有相互不同的波长宽度。如上所述，窄频带编码元件c11、窄频带编码元件c12、以及窄频带编码元件c13的分光透过率只要是将该3种分光透过率中的透过波长区域t全部合在一起来覆盖对象波长区域w的分光透过率即可。

[窄频带编码装置200的其他方式]

窄频带编码装置200也可以具备4个以上的窄频带编码元件。在此情况下，对各个窄频带编码元件进行设计，使得将各个窄频带编码元件的分光透过率中的透过波长区域t合在一起的波长区域覆盖波段w1、w2、……、wn的全部。

此外，如图15所示，摄像装置d4也可以取代窄频带编码装置200而仅具备窄频带编码元件cn一个。在此情况下，摄像装置d4将与窄频带编码元件cn的分光透过率中的透过波长区域t相当的波段使用于图像信号中。换言之，摄像装置d4不将与窄频带编码元件cn的分光透过率中的遮光波长区域q相当的波段使用于图像信号中。因此，通过一个窄频带编码元件cn的分光透过率中的透过波长区域t，来覆盖多个波段w1、w2、……、wn的全部。

[窄频带编码元件的构造]

窄频带编码元件可以使用多层膜、有机材料、衍射光栅构造、包含金属的微细构造的至少1个来构成。在使用多层膜的情况下，例如，可以使用电介质多层膜或包含金属层的多层膜。通过使用多层膜，能够实现透过波长区域t和遮光波长区域q的边界处的透过率的急剧的上升以及下降。使用了有机材料的构成可以通过使含有的颜料或染料不同的材料层叠来实现。使用了衍射光栅构造的构成，可以通过设置对衍射间距或深度进行了调整的衍射构造来实现。在使用包含金属的微细构造的情况下，可以利用基于等离子体效应的分光来制作。

[摄像透镜102]

摄像透镜102对来自对象物o的光进行聚光，并在摄像元件s的摄像面上形成像。也可以取代摄像透镜102，而使用对多个摄像透镜进行了组合的成像光学系统。

[空间调制编码元件cs]

空间调制编码元件cs配置在从对象物o入射的光的光路上。

空间调制编码元件cs具有二维排列的多个区域。例如，如图16a所示，空间调制编码元件cs具有划分为格子状的多个区域a。各区域a由透光性的构件形成。在图16a中，例示了排列为6行8列的48个矩形的区域a，但在实际的用途中，可以设置比这更多的区域a。该数量可以是一般的摄像元件或图像传感器的像素数、例如与数十万至数千万相同的程度。在本实施方式中，空间调制编码元件cs配置在摄像元件s的正上方。此外，多个区域a的相互的间隔设置为与摄像元件的像素间距大体一致。由此，透过了某区域a的光仅入射到摄像元件s的对应的1个像素。此外，也可以将空间调制编码元件cs远离摄像元件s而配置。在此情况下，也可以根据与摄像元件s的距离来缩小区域a的间隔。由此，能够使透过了空间调制编码元件cs的某区域a的光仅入射到摄像元件s的对应的1个像素。

图16b表示空间调制编码元件cs中的光透过率的空间分布的一例。光透过率按照多个波段w1、w2、……、wn的每一个而示出。在该图中，各区域a的灰色的浓淡的差异表示光透过率的差异。灰色越淡的区域光透过率越高，越浓的区域光透过率越低。空间调制编码元件cs按照多个波段w1、w2、……、wn的每一个具备具有大致为1的光透过率的多个区域a、和具有大致为0的光透过率的多个区域a。此外，也可以具备具有大致为0和大致为1之间的第3光透过率的多个区域a。空间调制编码元件cs按照多个波段w1、w2、……、wn的每一个，在空间上配置多个透光区域和多个遮光区域而构成。透光区域是光透过率为0.5以上、例如具有大致为1或者第3光透过率的区域a。遮光区域是光透过率不足0.5、例如具有大致为0的光透过率的区域a。如图16b所示，多个透光区域以及多个遮光区域的空间分布根据波段w1、w2、……、wn而不同。

如上所述，空间调制编码元件cs在光透过率的空间分布中在其空间方向上具有多个透光区域(区域a)和多个遮光区域(区域a)。此外，多个透光区域以及多个遮光区域的空间分布根据波段w1、w2、……、wn而不同。

图16c以及图16d示出在本实施方式中的空间调制编码元件cs所具有的多个区域a中具有代表性的2个区域a1、区域a2的分光透过率。

空间调制编码元件cs中的各区域a的分光透过率与图13a以及图13b所示的窄频带编码元件的分光透过率相比，波长方向的分辨率低。以下对各区域a的分光透过率的分辨率以区域a1为例具体地进行说明。

图17表示空间调制编码元件cs的区域a1中的分光透过率。图17所示的分光透过率被标准化为对象波长区域w内的光透过率的最大值为1、最小值为0。在图17所示的分光透过率中，存在极大值m1、m2、m3、m4、m5以及极小值m1、m2、m3、m4、m5、m6。从图17可知，极大值m1、m3、m4、以及m5为0.5以上。例如，极大值m1与极小值ml以及极小值m2相邻。在波长λ1下，透过率取极小值m1和极大值m1的平均值。此外，在波长λ2下，透过率取极小值m2和极大值m1的平均值。此时，与波长λ2-λ1相当的波长宽度相当于波长方向的分辨率。在空间调制编码元件cs中，与分辨率相当的波长宽度的至少一部分大于波段w1、w2、……、wn的宽度。另一方面，如上所述，窄频带编码元件具有波段w1、w2、……、wn的宽度程度的透过波长区域t。透过波长区域t相当于窄频带编码元件的分辨率。因此，图17所示的空间调制编码元件cs的区域a1中的分光透过率与窄频带编码元件的分光透过率相比，可以说波长方向的分辨率较低。

接着，说明各区域a的分光透过率所满足的条件的一例。此时，使用使上述窄频带编码元件的分光透过率和空间调制编码元件的区域a的分光透过率叠加后的分光透过率的特性(以后，有时仅称作“叠加后的分光透过率”来进行说明)来进行说明。

图18a表示窄频带编码元件的分光透过率，图18b表示空间调制编码元件cs的某区域a1中的分光透过率。此外，图18c表示使图18a以及图18b的分光透过率叠加后的曲线图，用网格示出了透光区域重叠的部分。该网格的部分表示在对象波长区域w中具有一样的强度分布的光入射到窄频带编码元件以及空间调制编码元件cs的区域a1时，透过的光的波长以及强度。在此，各波段w1、w2、……、wn中的透过率的平均值通过将在各波段的范围内对透过率进行积分而得到的值除以该波段的宽度而得到。在本公开中，将通过该方法而得到的各波段中的透过率的平均值称作该波段的平均透过率。

图19是仅示出了在图18c的分光透过率中用网格示出的部位的图。在本实施方式中，在图19所示的分光透过率中，在波段w1、w2、……、wn中的2个以上的波段中平均透过率成为0.5以上。例如在图19中，在波段w4、波段wn-1等中，平均透过率成为0.5以上。

在使与区域a1不同的另外的区域a的分光透过率和窄频带编码元件的分光透过率进行了叠加的情况下，具有与图19不同的分光透过率。具体来说，平均透过率为0.5以上的波段的组合或者数量相互不同。

如上所述，对于各区域a的分光透过率来说，只要叠加后的分光透过率在2个以上的波段中平均透过率成为0.5以上，并且具有相互不同的分光透过率即可。

此外，各区域a的分光透过率也可以满足以下所说明的条件1或条件2。

对于在空间调制编码元件cs的第i行(1≤i≤6)，在行方向上排列为一列的区域a的集合x进行考虑。在集合x的各区域a中，考虑以波段wj(1≤j≤n)中的叠加后的平均透过率的值为要素的、1行8列向量ai(j)。“叠加后的平均透过率”是指使各区域a的分光透过率、和窄频带编码元件的分光透过率进行叠加后的分光透过率中的平均透过率。在本实施方式中，该向量ai(j)针对任意的j、即在任意的波段间相互独立(条件1)。例如，在第1行的区域a的集合x1中，以波段w1中的叠加后的平均透过率的值为要素的向量表示为a1(1)。同样在第1行的区域a的集合x1中，以波段w2中的叠加后的平均透过率的值为要素的向量表示为a1(2)。向量a1(1)和向量a1(2)相互独立。也可以在波段w1、w2、……、wn中的所有波段的组合中独立。此外，也可以在波段w1、w2、……、wn中的一部分波长区域间独立。

此外，在本实施方式中，向量ai(j)针对任意的i、即对于任意的行相互独立(条件2)。例如，在波段w1中，以第1行的区域a的集合x1中的叠加后的平均透过率的值为要素的向量表示为a1(1)。同样，在波段w1中，以第2行的区域a的集合x2中的叠加后的平均透过率的值为要素的向量表示为a2(1)。向量a1(1)和向量a2(1)相互独立。也可以在所有行的组合中独立。也可以在一部分行的组合中独立。

也可以采用二进制的分光透过率。二进制的分光透过率定义为平均透过率取大致为1或大致为0的任意一个值的分光透过率。

图20a中示出二进制的分光透过率的一例。图20a所示的分光透过率针对所有波段取0或1的任意一个值。另一方面，图20b所示那样的分光透过率也为二进制的分光透过率。

图21a以及图21b是表示本实施方式中的空间调制编码元件cs的另外的构成例的图。示出了具有比图16a所示的例子更多的区域a的构成。图21a是表示各区域a具有二进制的分光透过率的空间调制编码元件cs的透过率分布的例子的图。在图21a中，将空间调制编码元件cs的一部分方形地包围并放大，示出了该部分的每个波段的透过率分布。在图21a中，黑色部分表示光透过率大致为0的遮光区域。此外，白色部分表示光透过率大致为1的透光区域。在图21a所示的例子中，遮光区域的数量和透光区域的数量的比率为1∶1，但不限定于这种比率。例如，也可以为(透光区域的数量)∶(遮光区域的数量)＝1∶9这种偏重于一方的分布。

图21b是表示各区域a具有连续的分光透过率的空间调制编码元件cs的例子的图。

如图21a以及图21b所示，空间调制编码元件cs按照每个波段w1、w2、……、wn具有不同的透过率空间分布。不过，包含多个区域的一部分中的规定波段的透过率空间分布也可以与其他部分中的该波段的透过率空间分布一致。

也可以使空间调制编码元件cs的全部区域a中的一部分成为透明的区域。本说明书中的透明的区域是指，使对象波长区域w所包含的所有波段w1～wn的光以相同程度的高透过率(例如0.8以上)透过的区域。例如也可以将全部区域a的一半设为透明区域，并配置为相间方格花纹状。即，在空间调制编码元件cs中的多个区域a的2个排列方向(图16a中的横向以及纵向)上，可以将分光透过率根据波段而不同的区域a、和透明的区域交替排列。

空间调制编码元件cs可以使用多层膜、有机材料、衍射光栅构造、包含金属的微细构造的至少1个来构成。在使用多层膜的情况下，例如，可以使用电介质多层膜或包含金属层的多层膜。在此情况下，形成为按照每个单元使各多层膜的厚度、材料、以及层叠顺序的至少1个不同。由此，能够实现按照每个区域a而不同的分光特性。在各区域a具有二进制的分光透过率的情况下，通过使用多层膜，能够实现分光透过率中的急剧的上升以及下降。使用了有机材料的构成可以通过根据各区域a而使含有的颜料或染料不同、或者层叠不同种类的材料来实现。使用了衍射光栅构造的构成可以通过按照每个区域a设置不同的衍射间距或深度的衍射构造来实现。在使用包含金属的微细构造的情况下，可以利用基于等离子体效应的分光来制作。

[摄像元件s]

摄像元件s是具有二维排列的多个光检测单元(在本说明书中，也称作“像素”)的单色型的摄像元件。摄像元件s可以是例如ccd(charge-coupleddevice)或cmos(complementarymetaloxidesemiconductor)传感器、红外线阵列传感器、太赫兹阵列传感器、毫米波阵列传感器。光检测单元可以通过例如光电二极管来构成。作为摄像元件s，例如也可以使用具有r/g/b、r/g/b/ir、或r/g/b/w的滤波器的彩色型的摄像元件。通过使用彩色型的摄像元件，能够增加与波长相关的信息量，能够使光谱分离图像f的重构的精度提高。

[信号处理电路pr]

信号处理电路pr基于由摄像元件s取得的拍摄图像g，对光谱分离图像f进行估计。

信号处理电路pr是对从摄像元件s输出的图像信号进行处理的电路。信号处理电路pr可以通过例如数字信号处理器(dsp)、现场可编程门阵列(fpga)等可编程逻辑器件(pld)、或者中央运算处理装置(cpu)或图像处理用运算处理器(gpu)与计算机程序的组合来实现。这种计算机程序被保存在存储器等记录介质中，通过由cpu执行该程序，能够执行后述的运算处理。信号处理电路pr也可以是通过有线或无线方式与摄像装置d1电连接的信号处理装置的构成要素。在这种构成中，与摄像装置d1电连接的个人计算机(pc)、或者因特网上的云服务器等信号处理装置具有信号处理电路pr。在本说明书中，将包含这样的信号处理装置和摄像装置的系统称作“分光系统”。信号处理电路pr将与窄频带编码元件以及空间调制编码元件cs的透过率分布相关的信息作为设计数据或者通过实测校准而事先取得，并利用于后述的运算/处理。

对实测校准进行说明。例如，在对象波长区域为整个可见光区域的情况下，作为被摄体将白板设置于对象物o的位置，使来自对象物o的白色光透过窄频带编码元件或空间调制编码元件cs。由此，能够在摄像元件s上形成窄频带编码元件或空间调制编码元件cs的像。根据该窄频带编码元件或空间调制编码元件cs的像，能够算出各区域a如何对均等地包含全部可见光的波长分量的白色光进行调制、即各区域a的分光透过率。此外，也可以使用通过带通滤波器限定了波段的光。也可以通过更换多个带通滤波器进行的多次拍摄，来取得希望的所有波段的透过率数据。也可以选择几个波段来进行测定，对于除此以外的波段通过测定出的数据的插值来算出。

[其他构成]

摄像装置d1也可以进一步具备带通滤波器。带通滤波器仅使来自对象物o的反射光中的对象波长区域w透过。由此，在窄频带编码元件或空间调制编码元件中能够去除残留的对象波长区域w外的波长区域的分量。由此，能够得到限定于希望的对象波长区域w的分离精度高的光谱分离图像f。

[动作]

以下，使用图22对本实施方式中的摄像装置d4的动作进行说明。图22是表示使用了本实施方式中的分光系统s1的分光方法的概要的流程图。

首先，在步骤1x中，将窄频带编码元件c1设置在对象物o的光路上。

接着，在步骤1a中，使用窄频带编码元件c1和空间调制编码元件cs这两个编码元件使入射光的强度按照每个波段在空间上进行调制。在本说明书中将该过程称作“编码”。具体来说，首先，来自对象物o的光束r入射到窄频带编码元件c1。入射到窄频带编码元件c1的光之中、只有具有透过波长区域t内的波长的光透过窄频带编码元件c1，具有遮光波长区域q内的波长的光被遮光。由此光束r被调制为相对于波长具有离散的多个强度峰值的光，并被摄像透镜102会集。被摄像透镜102会集后的光入射到空间调制编码元件cs。被窄频带编码元件c1调制后的光分别入射到空间调制编码元件cs的多个区域a。各区域a根据各区域a的分光透过率对入射光所包含的具有多个峰值强度的光进行调制并输出。如上所述，窄频带编码元件c1以及空间调制编码元件cs针对对象波长区域w具有图20a或图20b所示的分光透过率特性。因此，窄频带编码元件c1以及空间调制编码元件cs将应分离的波段w1、w2、……、wn中的至少2个波段的光进行重叠并输出到摄像元件s。这意味着取得了在波长方向上被压缩的数据。

接着，在步骤1b中，根据透过窄频带编码元件c1以及空间调制编码元件cs而入射到摄像元件s的光来生成拍摄图像g。具体来说，入射到摄像元件s的多个像素的光被变换为多个电信号(像素信号)。被变换后的多个像素信号的集合为拍摄图像g。图12中示出拍摄图像g的例子。图12所示的拍摄图像g中包含的多个黑点示意性地表示了通过编码而产生的低辉度的部分。另外，图12所示的黑点的数量以及配置并未反映现实的数量以及配置。实际上，可能产生比图12所示的数量更多的低辉度的部分。

然后，在分支y，判断是否使用所有的窄频带编码元件进行了拍摄。若还未使用所有的窄频带编码元件进行拍摄，则前进到步骤1d。

在步骤1d中，将窄频带编码元件c1更换为窄频带编码元件c2。然后，使用更换后的窄频带编码元件c2，再次进行步骤1x、步骤1a以及步骤1b。

在窄频带编码装置具备3个以上的窄频带编码元件的情况下，直到所有的窄频带编码元件所进行的拍摄结束为止，反复步骤1d、步骤1x、步骤1a、步骤1b的循环。在窄频带编码装置仅具备1个窄频带编码元件的情况下，将步骤1x、步骤1a以及步骤1b各进行一次。

所有的窄频带编码元件所进行的拍摄完成后，前进到步骤1c。

在后续的步骤1c中，信号处理电路pr基于由摄像元件s取得的拍摄图像g、窄频带编码元件的光透过率的波长分布信息、空间调制编码元件cs的光透过率的空间分布信息以及波长分布信息，来生成光谱分离图像f。

对步骤1c中的光谱分离图像f的生成方法具体进行说明。

将光谱分离图像f的数据表示为光谱分离图像f，将取得的拍摄图像g的数据表示为拍摄图像g。拍摄图像g可以用包含光谱分离图像f的以下的(数学式5)来表示。

【数学式5】

g＝hf

……(数学式5)

在(数学式5)中，光谱分离图像f表示为以各波段w1、w2、……、wn的图像数据f1、f2、……、fn为要素的向量。此外，拍摄图像g表示为以每次拍摄得到的图像数据g1、g2、……、gn为要素的向量。以后，有时分别作为“光谱分离图像向量f”、“拍摄图像向量g”进行说明。

若将要求取的光谱分离图像f的x方向的像素数设为px，将y方向的像素数设为py，则各波段的图像数据f1、f2、……、fn分别具有px×py像素的二维数据。光谱分离图像f具有要素数px×py×n的三维数据。

另一方面，若对m个窄频带编码元件进行更换来进行m次拍摄，则拍摄图像g具有要素数px×py×m的三维数据。

在(数学式4)中，矩阵h表示用按照每个波段而不同的编码信息来对作为光谱分离图像向量f的各要素的各波段的图像数据f1、f2、……、fn进行编码，并将它们相加的变换。矩阵h是px×py×m行px×py×n列的矩阵。其矩阵要素hi(wj)(1≤i≤m，1≤j≤n)由拍摄时间ti的用于拍摄的窄频带编码元件ci中的波段wj的光透过率和空间调制编码元件cs的光透过率空间分布的积来表示。在本实施方式中，在窄频带编码装置200具备图13a以及图13b所示那样的2个窄频带编码元件的情况下，例如，矩阵要素h1(wj)在j为奇数时成为0，矩阵要素h2(wj)在j为偶数时成为0。在窄频带编码装置200具备3个以上的窄频带编码元件的情况下也是同样，矩阵h有规律地包含0分量。若矩阵h含有较多0分量，则在运算过程中应考虑的未知数的数量减少。

在此，各波段w1、w2、……、wn的图像数据f1、f2、……、fn是分别具有px×py个要素的数据，因此在右边进行了向量表示的光谱分离图像f严格来说相当于px×py×n行1列的1维向量。此时，拍摄图像g可以变换为px×py×m行1列的1维向量来表示。

那么，若给出拍摄图像向量g和矩阵h，则通过对(数学式5)的逆问题进行求解似乎能够算出光谱分离图像向量f。但是，m＜n，求取的光谱分离图像向量f的要素数px×py×n比已取得的拍摄图像向量g的要素数px×py×m更多。因此，该问题成为不良设定问题，直接这样无法求解。因此，本实施方式的信号处理电路pr利用光谱分离图像f中包含的图像的冗余性，使用压缩感知的手法来求解。具体来说，通过对以下的(数学式6)的式子进行求解，来估计所求取的光谱分离图像向量f。

【数学式6】

……(数学式6)

在此，估计图像向量f’表示估计出的光谱分离图像向量f。信号处理电路pr通过递归的迭代运算使解收敛，并作为最终的解而算出估计图像向量f’。

(数学式6)意味着求取将右边的括弧内的第1项和第2项之和最小化的估计图像向量f’。上式的括弧内的第1项表示估计结果hf与拍摄图像向量g的偏差量、所谓残差项。在本实施方式中，将取得的拍摄图像向量g、和通过矩阵h对估计过程的光谱分离图像向量f进行系统变换而得到的矩阵hf之间的差分的平方和作为残差项。也可以将绝对值或者平方和平方根等作为残差项。括弧内的第2项是正则化项。第2项的φ(f)是光谱分离图像向量f的正则化中的制约条件，是反映了估计数据的稀疏信息的函数。作为作用，有使估计数据平滑或稳定的效果。正则化项例如可以通过光谱分离图像向量f的离散余弦变换(dct)、小波变换、傅里叶变换、或总变差(tv)等来表示。例如，在使用了总变差的情况下，能够取得抑制了拍摄图像向量g的噪声的影响的稳定的推测数据。各个正则化项的空间中的对象物o的稀疏性根据对象物o的质地而不同。也可以选择对象物o的质地在正则化项的空间中变得更稀疏的正则化项。或者，也可以将多个正则化项包含在运算中。第2项中的τ是权重系数，该值越大则冗余的数据的削减量越多、即压缩的比例越高，越小则向解的收敛性变得越弱。权重系数τ设定为光谱分离图像向量f收敛某种程度并且不至于过压缩的适度的值。

另外，在此示出了(数学式6)所示的使用了压缩感知的运算例，但也可以使用其他方法来求解。例如，可以使用最大似然估计法或贝叶斯估计法等其他统计方法。

(实施方式4的效果)

窄频带编码元件在波长方向上具有多个透光区域(透过波长区域t)和多个遮光区域(遮光波长区域q)。由此，被窄频带编码元件以及空间调制编码元件cs编码并被输入到摄像元件的光，在与透过波长区域t相当的多个波段，具有离散的强度。因此，在根据入射到摄像元件的光来对光谱分离图像f进行重构的运算中，具有使应考虑的未知数的数量减少的效果。这与使波长分辨率提高同义。由此，因为运算的精度上升，所以能够得到多波长且高分辨率的光谱分离图像f。

此外，通过使透过了空间调制编码元件的某区域a的光仅入射到摄像元件的对应的1个像素，从而来自2个以上的区域a的光不会入射到摄像元件的1个像素。由此，信号处理电路pr中的运算变得容易。

此外，窄频带编码元件在波长方向上周期性地具有透过波长区域t和遮光波长区域q的情况下，透过波长区域t必定以一定间隔而存在。即，在对象波长区域w中透过波长区域t存在于更大的范围。因此，能够使用一个窄频带编码元件来得到更多波段中的光谱分离图像。

此外，在使用多个窄频带编码元件的情况下，与使用了一个窄频带编码元件的情况相比，虽然拍摄次数增加，但所有的拍摄图像所包含的波段数增加。因此，能够得到多波长的光谱分离图像f。

若增加所使用的窄频带编码元件的数量，则例如对象波长区域w以及波段数相同的情况下，能够使一个窄频带编码元件中的透过波长区域t的数量减少。换言之，能够将一个窄频带编码元件中的遮光波长区域q的范围扩大。因此，在通过信号处理电路pr来得到光谱分离图像的运算过程中，矩阵h中的未知数减少，计算变得容易。由此，能够提高光谱分离图像的重构精度。

此外，有时一个窄频带编码元件中的透过波长区域t的数量有限。在此情况下，在对象波长区域w相等的情况下，通过增加所使用的窄频带编码元件的数量，作为整体，能够增加透过波长区域t的数量。即，能够将对象波长区域w分割为很多的透过波长区域t，因此能够实现波段的窄频带化。由此，能够实现更窄频带中的观察。

此外，在本实施方式中，在空间调制编码元件中，光透过率的空间分布(多个透光区域以及多个遮光区域的空间分布)具有波长依赖性。因此，能够通过空间调制编码元件按照每个波长来进行光的编码。故而，无需单独使用棱镜等分光元件，只要使用一般的成像透镜即可，因此能够实现摄像装置的小型化。此外，由于也能够抑制利用分光元件时的彗形像差的产生，因此能够抑制分辨率的下降。此外，在不进行利用分光元件进行的每个波长的图像偏移的本公开中，在强光入射到摄像装置的情况下产生的像素的饱和的范围有限，且这是有利的。

产业上的可利用性

本公开中的摄像装置例如在取得多波长的二维图像的照相机以及测定设备中很有用。本公开中的摄像装置还能够应用于面向生物体/医疗/美容的感测、食品的异物/残留农药检查系统、遥感系统以及车载感测系统等。

标号说明

100成像光学系统

102摄像透镜

200窄频带编码装置

o对象物

g、g1、g2拍摄图像

c编码元件

c1、c2窄频带编码元件

cs空间调制编码元件

pr信号处理电路

s摄像元件

f、f1、f2、f3、fi、fn光谱分离图像

d1、d2、d2’、d4摄像装置

a、a1、a2区域

r光束

t1、t2拍摄时间

w1、w2、wi、wn波段

w对象波长区域。