摄像装置以及分光系统的制作方法
【技术领域】
[0001] 本公开涉及用于取得分光图像的编码元件、摄像装置、分光系统以及使用了这些 的分光方法。
【背景技术】
[0002] 通过有效利用各自为窄频带的许多波带（例如数十波带以上）的光谱信息，能够 掌握现有的RGB图像中不可能掌握的观测物的详细的物性。取得该多波长的信息的照相机 被称作"超光谱照相机"。超光谱照相机被利用于食品检查、生物体检查、医药品开发、矿物 的成分分析等所有领域。
[0003] 作为将观测对象的波长限定为窄频带而取得的图像的有效利用例，专利文献1公 开了一种进行被检体的肿瘤部位和非肿瘤部位的判别的装置。该装置通过激励光的照射， 来检测积累在癌细胞内的原卟啉IX发出635nm的荧光、光电-原卟啉发出675nm的荧光的 情况。由此，进行肿瘤部位和非肿瘤部位的识别。
[0004] 专利文献2公开了一种通过取得连续的多波长的光的反射率特性的信息来判定 伴随时间经过而下降的生鲜食品的鲜度的方法。
[0005] 能够测定多波长的图像或反射率的超光谱照相机大致分为以下4种方式。
[0006] (a)线传感器方式
[0007] (b)电子滤波器方式 [0008] (c)傅里叶变换方式
[0009] (d)干涉滤波器方式
[0010] (a)在线传感器方式中，使用具有线状的狭缝的构件来取得对象物的1维信息。通 过了狭缝的光通过衍射光栅或棱镜等分光元件根据波长而被分离。通过具有二维排列的多 个像素的摄像元件（图像传感器）来检测被分离后的每个波长的光。在该方式中，由于只 能得到1次对象物的1维信息，因此通过与狭缝方向垂直地扫描照相机整体或者测定对象 物来得到二维的光谱信息。在线传感器方式中，有能够得到高分辨率的多波长图像的优点。 专利文献3公开了一种线传感器方式的超光谱照相机的例子。
[0011] (b)在电子滤波器方式中，有使用液晶可调谐滤波器（Liquid Crystal Tunable Filter :LCTF)的方法、和使用声光元件（Acousto-Optic Tunable Filter :A0TF)的方法。 液晶可调谐滤波器是将线性偏光镜、复折射滤波器、以及液晶单元排列为多级的元件。仅通 过电压控制就能够排除无用的波长的光并仅提取任意的特定波长的光。声光元件由粘接了 压电元件的声光晶体构成。若对声光晶体施加电信号，则产生超声波，在晶体内形成疏密的 驻波。通过由此产生的衍射效应能够仅提取任意的特定波长的光。该方式虽然波长受到限 定但具有能够取得高分辨率的动态图像的数据的优点。
[0012] (C)傅里叶变换方式使用双光束干涉仪的原理。来自测定对象的光束被分束器分 岔，各个光束被固定反光镜以及移动反光镜反射并再次结合之后，被检测器观测到。通过使 移动反光镜的位置随时间而发生变动，能够取得表示依赖于光的波长的干涉的强度变化的 数据。通过对所得到的数据进行傅里叶变换，能够得到光谱信息。傅里叶变换方式的优点 是能够同时取得多波长的信息。
[0013] (d)干涉滤波器方式是使用了法布里珀罗干涉仪的原理的方式。可以采用将具有 离开规定间隔的反射率高的2个面的光学元件配置在传感器上的构成。光学元件的2个面 间的间隔根据区域而不同，被决定为与希望的波长的光的干涉条件一致。干涉滤波器方式 具有能够同时且以动态图像来取得多波长的信息的优点。
[0014] 除了这些方式以外，还有例如像专利文献4所公开的那样利用了压缩感知的方 法。专利文献4所公开的装置利用棱镜等第1分光元件对来自测定对象的光进行了分光之 后，用编码掩模进行标记，进而利用第2分光元件来还原光线的路径。由此，通过传感器来 取得被编码并且相对于波长轴被复用了的图像。通过压缩感知的应用，能够根据被复用了 的图像来重构多波长的多幅图像。
[0015] 压缩感知是根据较少的样本数的取得数据来复原比其更多的数据的技术。若将测 定对象的二维坐标设为（x，y)，将波长设为λ，则想要求取的数据f是 x，y，λ的三维的数 据。相对于此，通过传感器而得到的图像数据g是在λ轴方向上被压缩以及复用了的二维 的数据。根据数据量相对较少的取得图像g来求取数据量相对较多的数据f的问题在于所 谓的不良设定问题，直接这样无法求解。但是，一般来说，自然图像的数据具有冗余性，通过 巧妙利用这一点能够将该不良设定问题变换为良设定问题。有效利用图像的冗余性来削减 数据量的技术的例子有jpeg压缩。jpeg压缩使用如下方法：将图像信息变换为频率分量， 除去并非数据的本质的部分、例如视觉识别性低的分量。在压缩感知中，将这种技法加入运 算处理中，将想要求取的数据空间变换为用冗余性来表达的空间，由此来削减未知数并得 到解。在该变换中，例如使用离散余弦变换（DCT)、小波变换、傅里叶变换、总变差（TV)等。 [0016] 在先技术文献
[0017] 专利文献
[0018] 专利文献1 :国际公开第13/002350号
[0019] 专利文献2 :JP特开2007-108124号公报
[0020] 专利文献3 :JP特开2011-89895号公报
[0021] 专利文献4 :美国专利第7283231号说明书
【发明内容】
[0022] 发明要解决的课题
[0023] 在现有的利用了压缩感知的超光谱照相机中，棱镜等分光元件被插入到光路上。 因此，存在产生彗形像差、分辨率下降的课题。
[0024] 本公开提供一种能够抑制彗形像差的产生以及伴随于此的分辨率的下降的新的 摄像技术。
[0025] 用于解决课题的手段
[0026] 本公开的一个方式所涉及的摄像装置具备：第1编码元件，其具有在从对象物入 射的光的光路上二维排列的多个区域；和摄像元件，其配置在通过了所述第1编码元件的 光的光路上，所述多个区域的每一个包含第1区域以及第2区域，所述第1区域的光透过率 的波长分布在相互不同的第1波长区域以及第2波长区域中分别具有极大值，所述第2区 域的光透过率的波长分布在相互不同的第3波长区域以及第4波长区域中分别具有极大 值，在将所述第1区域的光透过率的波长分布标准化为所述第1区域的光透过率的最大值 为1、最小值为〇时，所述第1波长区域以及所述第2波长区域中的所述极大值均为0. 5以 上，在将所述第2区域的光透过率的波长分布标准化为所述第2区域的分光透过率的最大 值为1、最小值为〇时，所述第3波长区域以及所述第4波长区域中的所述极大值均为0. 5 以上，所述第1波长区域以及所述第2波长区域中的至少1个与所述第3波长区域以及所 述第4波长区域不同，所述摄像元件取得将通过了所述第1编码元件的光的所述第1波长 区域、所述第2波长区域、所述第3波长区域以及第4波长区域的分量重叠后的图像。
[0027] 发明效果
[0028] 根据本公开，能够抑制彗形像差的产生以及伴随于此的分辨率的下降。
【附图说明】
[0029] 图IA是示意性地表示实施方式1中的编码元件C的构成的图。
[0030] 图IB是表示实施方式1中的编码元件C的对象波长区域所包含的多个波长区域 Wl、W2........Wi各自的光的透过率的空间分布的一例的图。
[0031] 图IC是表示实施方式1中的编码元件C的2个区域Al中的分光透过率的例子的 图。
[0032] 图ID是表示实施方式1中的编码元件C的2个区域A2中的分光透过率的例子的 图。
[0033] 图2A是用于说明对象波长区域W、和其中包含的多个波长区域W1、W2........Wi 的关系的图。
[0034] 图2B是表示根据波长区域而频带宽度不同，并且相邻的2个波长区域之间存在间 隙的例子的图。
[0035] 图3A是用于说明编码元件C的某区域中的分光透过率的特性的图。
[0036] 图3B是表示将图3A所示的分光透过率按照每个波长区域Wl、W2........Wi进 行了平均化的结果的图。
[0037] 图4是表示本公开的实施方式2的摄像装置Dl的示意图。
[0038] 图5A是表示本实施方式中的编码元件C的透过率分布的例子的图。
[0039] 图5B是表不编码兀件C的其他构成例的图。
[0040] 图6A是近似性地表示具有图5A所示的二进制的透过率分布的编码元件C中的某 区域的分光透过率的图。
[0041] 图6B是表示具有图5A所示的二进制的透过率分布的编码元件C中的某区域的分 光透过率的例子的图。
[0042] 图7是表示实施方式2中的分光方法的概要的流程图。
[0043] 图8A是表示本公开的实施方式3中的摄像装置D2的示意图。
[0044] 图8B是表示本公开的实施方式3的变形例中的摄像装置D2'的示意图。
[0045] 图9是表示在本公开的实施例1中对光谱分离图像F进行了重构的结果的一例的 图。
[0046] 图10是表示在比较例1中对光谱分离图像F进行了重构的结果的一例的图。
[0047] 图11是表示实施例1以及比较例1各自中的相对于正确图像的均方误差（Mean Squared Error :MSE)的图。
[0048] 图12是表不本公开的实施方式4的分光系统SI的不意图。
[0049] 图13A是表示图12所示的摄像装置D4中的窄频带编码元件的分光透过率的例子 的图。
[0050] 图13B是表示图12所示的摄像装置D4中的窄频带编码元件的分光透过率的其他 例子的图。
[0051] 图13C是表示窄频带编码元件的分光透过率的其他例子的图。
[0052] 图13D是表示窄频带编码元件的分光透过率的其他例子的图。
[0053] 图13E是表示窄频带编码元件的分光透过率的其他例子的图。
[0054] 图14A是说明对象波长区域W、和其中包含的多个波段W1、W2........Wn的关系 的图。
[0055] 图14B是表示根据波段而频带宽度不同，并且相邻的2个波段之间存在间隙的例 子的图。
[0056] 图15是表示分光系统Sl中的摄像装置D4的其他构成例的图。
[0057] 图16A是示意性地表示图12所示的摄像装置D4中的空间调制编码元件CS的构 成的图。
[0058] 图16B是表示图12所示的摄像装置D4中的空间调制编码元件CS的对象波长区 域所包含的多个波长区域Wl、W2........Wi各自的光的透过率的空间分布的一例的图。
[0059] 图16C是表示图12所示的摄像装置D4中的空间调制编码元件CS的区域Al中的 分光透过率的例子的图。
[0060] 图16D是表示图12所示的摄像装置D4中的空间调制编码元件CS的区域A2中的 分光透过率的例子的图。
[0061] 图17是说明空间调制编码元件CS的某区域中的分光透过率的波长分辨率的图。
[0062] 图18A是表示透过了窄频带编码元件Cl时所得到的光的波长以及强度的例子的 图。
[0063] 图18B是表示透过了空间调制编码元件CS时所得到的光的波长以及强度的例子 的图。
[0064] 图18C是表示透过了窄频带编码元件Cl和空间调制编码元件CS双方时所得到的 光的波长以及强度的例子的图。
[0065] 图19是表示透过了窄频带编码元件Cl和空间调制编码元件CS双方时所得到的 光的波长以及强度的例子的图。
[0066] 图20A是表示二进制的分光透过率的一例的图。
[0067] 图20B是表示二进制的分光透过率的另一例的图。
[0068] 图2IA是表示实施方式4中的空间调制编码元件CS的透过率分布的例子的图。
[0069] 图21B是表示实施方式4中的空间调制编码元件CS的其他透过率分布的图。
[0070] 图22是表示实施方式4中的分光方法的概要的流程图。
【具体实施方式】
[0071] 在说明本公开的实施方式之前，说明本发明的发明人所发现的见解。
[0072] 根据本发明的发明人的研究，上述现有的超光谱照相机中存在以下这样的课题。 (a)线传感器方式为了得到二维图像需要对照相机进行扫描，不适合测定对象的动态图像 拍摄。（C)傅里叶变换方式也需要使反射镜移动，因此不适合动态图像拍摄。（b)电子滤波 器方式由于1个波长1个波长地取得图像，因此无法同时取得多波长的图像。（d)干涉滤波 器方式由于能够取得图像的波长的频带数和空间分辨率相互折中，因此在取得多波长图像 的情况下，会牺牲空间分辨率。如此，在现有的超光谱照相机中，不存在同时满足高分辨率、 多波长、动态图像拍摄（单镜头拍摄）这3者的超光谱照相机。
[0073] 利用了压缩感知的构成，乍一看认为能够同时满足高分辨率、多波长、动态图像拍 摄。但是，由于根据原本就少的数据基于推测来重构图像，因此所取得的图像的空间分辨率 与本来的图像相比容易下降。特别是取得数据的压缩率越高其影响越显著地显现。进而， 由于棱镜等分光元件被插入到光路上，因此存在产生彗形像差、分辨率下降的课题。
[0074] 本发明的发明人发现上述课题，并研究了用于解决这些课题的构成。本发明的发 明人发现通过适当设计编码元件的各区域的分光透过率，能够抑制彗形像差的产生，使分 辨率提高。根据本公开的某实施方式，能够同时满足高分辨率、多波长、动态图像拍摄（单 镜头拍摄）这3个要求。此外，在本公开的实施方式中，X方向、y方向、波长方向的三维信 息中的波长方向的信息被压缩。因此，只要保有二维数据即可，能够抑制数据量。因此，本 公开的实施方式对于长时间的数据取得很有效。
[0075] 本公开包含以下项目所述的摄像装置、系统、以及方法。
[0076] [项目 1]
[0077] 一种摄像装置，具备：
[0078] 第1编码元件，其具有在从对象物入射的光的光路上二维排列的多个区域；和 [0079] 摄像元件，其配置在通过了所述第1编码元件的光的光路上，
[0080] 所述多个区域包含第1区域以及第2区域，
[0081] 所述第1区域的光透过率的波长分布在相互不同的第1波长区域以及第2波长区 域中分别具有极大值，
[0082] 所述第2区域的光透过率的波长分布在相互不同的第3波长区域以及第4波长区 域中分别具有极大值，
[0083] 在将所述第1区域的光透过率的波长分布标准化为所述第1区域的光透过率的最 大值为1、最小值为〇时，所述第1波长区域以及所述第2波长区域中的所述极大值均为0. 5 以上，
[0084] 在将所述第2区域的光透过率的波长分布标准化为所述第2区域的分光透过率的 最大值为1、最小值为〇时，所述第3波长区域以及所述第4波长区域中的所述极大值均为 0. 5以上，
[0085] 所述第1波长区域以及所述第2波长区域中的至少1个与所述第3波长区域以及 所述第4波长区域不同，
[0086] 所述摄像元件取得将通过了所述第1编码元件的光的所述第1波长区域、所述第 2波长区域、所述第3波长区域以及第4波长区域的分量重叠后的图像。
[0087] [项目 2]
[0088] 根据项目1所述的摄像装置，所述多个区域的一部分是透明区域。
[0089] [项目 3]
[0090] 根据项目2所述的摄像装置，二维排列的所述多个区域，在所述多个区域的一个 排列方向以及与所述一个排列方向垂直的另一个排列方向上，交替地排列光透过率根据波 长而不同的区域、和所述透明区域。
[0091] [项目 4]
[0092] 根据项目1~3中任意一项所述的摄像装置，
[0093] 所述多个区域二维排列为矩阵状，
[0094] 所述多个区域中包含的属于排列为1个行或列的区域的集合的各区域中的以第5 波长区域的光的透过率的值为要素的向量、和所述多个区域中包含的属于排列为其他行或 列的区域的集合的各区域中的以所述第5波长区域的光的透过率的值为要素的向量相互 独立，
[0095] 所述多个区域中包含的属于排列为1个行或列的区域的集合的各区域中的以第6 波长区域的光的透过率的值为要素的向量、和所述多个区域中包含的属于排列为其他行或 列的区域的集合的各区域中的以所述第6波长区域的光的透过率的值为要素的向量相互 独立。
[0096] [项目 5]
[0097] 根据项目1~4中任意一项所述的摄像装置，
[0098] 还具备光学系统，所述光学系统配置在所述对象物与所述第1编码元件之间，使 来自所述对象物的光会聚在所述第1编码元件的面上，
[0099] 所述第1编码元件配置在所述摄像元件上。