拍摄装置、拍摄系统、图像生成装置及滤色器的制作方法

本公开涉及使用了压缩传感技术的彩色拍摄装置。

背景技术：

为了拍摄彩色图像，需要获取与光的3原色相当的红(R)、绿(G)、蓝(B)这3个不同波长的信息。在多数的彩色拍摄装置中，为了小型化和/或低成本化而仅搭载有一个图像传感器，因此，需要通过一个图像传感器来获取R/G/B这3个波长信息。

以往，已知有如下方法：利用不同的位置的像素获取R/G/B这3个波长的信息而进行被称为去马赛克(demosaicking)的处理，由此获取所有的像素的R/G/B这3个波长的信息。

图15是表示正在被广泛利用的拜尔排列(bayer arrangement)的示意图(例如，专利文献1)。在拜尔排列中，获取整体的像素的1/2的接近人的视觉特性的G像素，分别各获取整体的像素的1/4的R像素与B像素，通过去马赛克处理，获取所有的像素的R/G/B这3个波长的信息。

另一方面，在专利文献2中，公开了如下技术：以随机的颜色图案配置滤光器要素，对于采样数据集合应用压缩传感技术，由此进行去马赛克。

现有技术文献

专利文献

专利文献1：U.S.Patent No.5629734

专利文献2：日本特表2013-511924

非专利文献

非专利文献1：Rudin L.I.,Osher S.J.,and Fatemi E.：Nonlinear total variation based noise removal algorithms.Physica D,vol.60,pp.259－268,1992

非专利文献2：Shunsuke Ono,Isao Yamada,“Decorrelated Vectorial Total Variation”,IEEE Conference on Computer Vision and Pattern Recognition,2014

非专利文献3：J.Ma,“Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement”,IEEE Transactions on Instrumentation&Measurement,vol.60,no.1,pp.126－136,2011

非专利文献4：M.Aharon,M.Elad,and A.M.Bruckstein,“K－SVD：An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation,”IEEE Transactions on Image Processing,vol.54,no.11,pp.4311－4322,2006

非专利文献5：D.Kiku,Y.Monno,M.Tanaka and M.Okutomi,“Minimized－Laplacian residual interpolation for color image demosaicking”,IS&T/SPIE Electronic Imaging(EI),2014.

非专利文献6：Manya V.Afonso,José M.Bioucas－Dias,and Mário A.T.Figueiredo,“Fast Image Recovery Using Variable Splitting and Constrained Optimization”,IEEE Transactions on Image Rrocessing,VOL.19,NO.9,pp.2345－2356,2010.

技术实现要素：

然而，以往的技术在图像传感器的各像素中，仅能够获取R/G/B的某一个波长的信息，所以去马赛克后的彩色图像的分辨率降低，会产生被称为假彩色(false color)的彩色合成(artifact)。

本公开的非限定性的例示的一个方式是一种拍摄装置，通过利用一个图像传感器获取彩色图像，能够抑制分辨率的降低和/或彩色合成的产生。

本公开的一个技术方案所涉及的拍摄装置具备：对光信号进行成像的成像光学系统；拍摄元件，具有多个像素，利用所述多个像素接收成像后的所述光信号，并转换为电信号；以及滤色器，被配置于所述成像光学系统与所述拍摄元件之间，在与所述多个像素对应的各位置，对于多个波长范围具有不同的光透射率。

上述一般且特定的技术方案可以使用系统、方法以及计算机程序来实现，或者可以使用系统、方法以及计算机程序的组合来实现。

根据本公开，一边在像素内进行加法运算，一边获取R图像、G图像、B图像，并且使用压缩传感技术进行图像复原，由此能够仅利用一个图像传感器，以堪比3块图像传感器的分辨率获取彩色图像。本公开的一个技术方案的附加的好处以及有利的点从本说明书以及附图可以明确。该好处以及/或者有利的点能够通过本说明书以及附图所公开的各种技术方案以及特征独立地提供，为了得到其1个以上，并不需要所有的技术方案以及特征。

附图说明

图1是表示本公开的一个实施方式所涉及的拍摄系统10的构成的示意图。

图2是表示空间及波长调制部101以及调制图像获取部102的详细构成的图。

图3示意地表示包含滤色器202的拍摄系统10。

图4是表示作为滤光片1～3的各波长特性的一部分的透射率的图。

图5是表示根据均匀分布设定各滤光片的各像素的厚度的例子的图。

图6是表示根据正态分布设定各滤光片的各像素的厚度的例子的图。

图7是表示利用空间光调制器204使每个像素的透射率变化的拍摄系统10的变形例的图。

图8是表示将透射率根据滤光片的厚度而变化的多个滤光片与空间光调制器204组合而使每个像素的透射率变化的拍摄系统10的进一步的变形例的图。

图9是表示图像生成装置12的主要的处理的步骤的流程图。

图10是表示像素数N＝16的调制图像与生成图像的示意图。

图11是表示R图像的图。

图12是表示G图像的图。

图13是表示B图像的图。

图14是表示包含所有颜色的彩色图像的一例的图。

图15是表示拜尔排列的示意图。

图16是本实施方式中的彩色图像生成电路105所生成的彩色图像中的G图像的一例。

图17是将图16的(a)～(c)的图像的一部分的区域放大后的图像的一例。

附图标记说明

10拍摄系统；11拍摄装置；12图像生成装置；101空间及波长调制部；102调制图像获取部；103发送电路；104接收电路；105彩色图像生成电路；106输出接口(I/F)装置；201成像光学系统；202滤色器；203拍摄元件；204空间光调制器

具体实施方式

本公开的一个技术方案所涉及的拍摄装置具备：对光信号进行成像的成像光学系统；拍摄元件，具有多个像素，利用所述多个像素接收成像后的所述光信号，并转换为电信号；以及滤色器，被配置于所述成像光学系统与所述拍摄元件之间，在与所述多个像素对应的各位置，对于多个波长范围具有不同的光透射率。

也可以是：所述多个波长范围为三个波长范围。

也可以是：在所述滤色器中的与所述多个像素对应的各位置，对于所述多个波长范围的各个，具有不同的光透射率。

也可以是：关于所述滤色器中的所述多个波长范围的各个，与各位置相关的透射率的相关系数小于1。

也可以是：关于所述滤色器中的所述多个波长范围的各个，n个的各位置的透射率与其它的n个的各位置的透射率之间不相关。

也可以是：所述滤色器中的与所述多个像素对应的各位置的透射率的分布依照均匀随机数。

也可以是：所述滤色器中的与所述多个像素对应的各位置的透射率的分布依照高斯随机数。

也可以是：所述滤色器具有空间光调制器，所述空间光调制器在与所述多个像素对应的各位置，对于所述多个波长范围具有不同的光透射率。

也可以是：所述滤色器针对所述多个波长范围的各个具有切割膜(cut film)，所述切割膜在与所述多个像素对应的各位置具有不同的厚度。

也可以是：所述滤色器针对所述多个波长范围的各个具有切割膜，所述切割膜仅配置于与所述多个像素中的一部分像素对应的位置。

也可以是：所述切割膜在所述多个波长范围中的至少一部分的波长范围中，光透射率为1。

也可以是：还具备发送所述滤色器的透射率的信息的发送电路。

本公开的其它的一个技术方案所涉及的拍摄系统，是具备拍摄装置与图像生成装置的拍摄系统，所述拍摄装置具备：对光信号进行成像的成像光学系统；拍摄元件，具有多个像素，利用所述多个像素接收成像后的所述光信号，并转换为电信号；滤色器，被配置于所述成像光学系统与所述拍摄元件之间，在与所述多个像素对应的各位置，对于多个波长范围具有不同的光透射率；以及发送电路，发送所述滤色器的透射率的信息和所述电信号，所述图像生成装置具备：接收电路，接收所述滤色器的透射率的信息和所述电信号；和图像生成电路，使用所述透射率的信息和所述电信号，按所述多个波长范围的各个，生成图像。

本公开的其它的一个技术方案所涉及的图像生成装置，是在具备拍摄装置的拍摄系统中使用的图像生成装置，所述拍摄装置具备：对光信号进行成像的成像光学系统；拍摄元件，具有多个像素，利用所述多个像素接收成像后的所述光信号，并转换为电信号；滤色器，被配置于所述成像光学系统与所述拍摄元件之间，在与所述多个像素对应的各位置，对于多个波长范围具有不同的光透射率；以及发送电路，发送所述滤色器的透射率的信息和所述电信号，所述图像生成装置具备：接收电路，接收所述滤色器的透射率的信息和所述电信号；和图像生成电路，使用所述透射率的信息和所述电信号，按所述多个波长范围的各个，生成图像。

也可以是：所述图像生成电路使用透射率的信息和所述电信号，使用压缩传感技术来生成所述图像。

也可以是：在将与所述电信号对应的调制图像表示为y、将所述多个波长范围的各个的所述图像表示为x、将预先求出的采样矩阵表示为A时，y＝Ax成立，所述图像生成电路将使得评价式最小化的x作为所述图像来生成，所述评价式包括：包含调制图像y与复原后的信号Ax的误差平方和|Ax－y|²的项；用于运算最小值的所述图像x的像素值的约束项；以及将所述图像的亮度成分与色差成分的梯度分离后的全变差(total variation)项。

本公开的其它的一个技术方案所涉及的滤色器，是对多个波长范围的光进行滤波的滤色器，在所述多个波长范围的光所透射的任意的位置，各波长范围的透射率的组合不同。

也可以是：所述多个波长范围包含第1波长范围、第2波长范围以及第3波长范围，在第1位置，所述第1波长范围的透射率为98～100％，所述第2波长范围以及所述第3波长范围的各透射率小于98％，在与所述第1位置不同的第2位置，所述第2波长范围的透射率为98～100％，所述第1波长范围以及所述第3波长范围的各透射率小于98％，在与所述第1位置以及所述第2位置不同的第3位置，所述第3波长范围的透射率为98～100％，所述第1波长范围以及所述第2波长范围的各透射率小于98％。

也可以是：对于所述第1波长范围、第2波长范围以及第3波长范围的各个，各位置的透射率的分布依照均匀随机数以及高斯随机数中的某一个。

也可以是：在与所述电信号对应的调制图像饱和的情况下，所述图像生成电路对处理进行切换。

也可以是：所述图像生成电路生成使得评价函数最小化的图像x，所述评价函数包含下述约束：在所述调制图像饱和的像素中，在采样矩阵乘以图像x而得的值超过饱和值的情况下提供0，否则提供∞。

以下，一边参照附图，一边对具有拍摄装置以及图像生成装置的本公开的拍摄系统的实施方式进行说明。

(实施方式1)

图1是表示本公开的一个实施方式所涉及的拍摄系统10的构成的示意图。本实施方式的拍摄系统10具备拍摄装置11和图像生成装置12。

拍摄装置11具有空间及波长调制部101、调制图像获取部102以及发送电路103。另一方面，图像生成装置12具有接收电路104、彩色图像生成电路105以及输出接口装置106。

首先，一边参照图2，一边对拍摄装置11进行说明。

图2表示空间及波长调制部101以及调制图像获取部102的详细构成。

如图2所示，空间及波长调制部101对应于成像光学系统201以及滤色器202。另外，调制图像获取部102对应于拍摄元件203。

(成像光学系统201)

成像光学系统201至少具有1个或多个透镜和透镜位置调整机构(均未图示)。1个或多个透镜将来自被拍摄对象的光会聚，而使光信号成像。光信号也可以表述为“被拍摄对象的像”。透镜位置调整机构例如为用于调整透镜的成像位置的致动器以及控制致动器的驱动量的控制电路(控制器)。另外，在1个或多个透镜的焦点被固定的情况下，不需要透镜位置调整机构。

(拍摄元件203)

拍摄元件203具有多个像素，利用多个各像素接收成像光学系统201成像而成的光信号，并转换为电信号。电信号具有每个像素的调制图像。拍摄元件203被配置于透镜的焦距处。

(滤色器202)

滤色器202被配置于从成像光学系统201入射的光到达拍摄元件203之前的光路上。典型地，滤色器202与拍摄元件203的前表面相接触地配置。所谓的拍摄元件203的“前表面”，也可以被规定为拍摄元件203的上表面或拍摄元件203的受光面。

滤色器202为了对入射到拍摄元件203的多个波长范围的光进行滤波而使用。滤色器202在多个波长范围的光透射的任意的位置具有不同的光透射率。这里所说的“位置”意味着具有一定的面积的微小区域的位置。各微小区域的面积与例如拍摄元件203的各像素的受光面积相等。光透射率也可以根据透射的不同波长范围而不同。在本说明书中，如上所述，滤色器202的“位置”被设为与拍摄元件203的像素相对应的区域的位置。例如，拍摄元件203的多个像素包含第1像素以及第2像素。多个波长范围包含第1波长范围、第2波长范围以及第3波长范围。针对第1波长范围、第2波长范围以及第3波长范围的各个，对应于第1像素的滤色器202的一部分具有与对应于第2像素的滤色器202的一部分不同的光透射率。

滤色器202的更详细的内容在下文进行说明。

(发送电路103)

发送电路103将拍摄元件203所拍摄的调制图像与通过滤色器202设定的作为滤光片信息的调制信息向图像生成装置12发送。发送可以为有线以及无线中的任意一个。

另外，在本实施方式中，设想设置发送电路103以及接收电路104来大致实时地发送接收调制图像以及调制信息而进行处理。然而，也可以设置保存调制图像以及调制信息的存储装置(例如硬盘驱动器)来非实时地进行处理。

再次参照图1，分别说明图像生成装置12的接收电路104、彩色图像生成电路105以及输出接口装置106。

(接收电路104)

接收电路104接收从拍摄装置11输出的调制图像与调制信息。接收电路104与发送电路103之间的通信可以通过有线方式，也可以通过无线方式。另外，即便发送电路103通过有线方式发送调制图像以及调制信息，也可以通过经由将有线通信转换为无线通信的设备，而使接收电路104通过无线方式接收这些信息。反之亦然。

(彩色图像生成电路105)

彩色图像生成电路105利用调制图像以及调制信息来生成彩色图像。生成彩色图像的处理在下文详述。彩色图像生成电路105将所生成的彩色图像向输出接口装置106发送。

(输出接口装置106)

输出接口装置106为影像输出端子。输出接口装置106将彩色图像设为数字信号或模拟信号而向图像生成装置12的外部输出。

接下来，一边参照图3～图6，一边更详细地说明滤色器202。

图3示意地表示包含滤色器202的拍摄系统10。以下，关注滤色器202。

如上所述，滤色器202具有按各个位置且对应于不同波长范围而不同的光透射率。即，在多个波长范围的光透射的任意的位置，各波长范围的透射率的组合不同。为了实现这样的光学特性，本实施方式的滤色器202具有规定光的透射波长范围的多种滤光片1～3，且各滤光片的厚度按每个位置变化。“厚度”对应于沿着与透射光的光轴平行的方向的、滤光片的切割膜(cut film)(下述)的长度。

另外，在图3中将3个滤光片(滤光片1、滤光片2、滤光片3)组合而记载，但这是一例。组合的滤光片的数量不限于3。

滤光片1具有切割膜202a，滤光片2具有切割膜202b，滤光片3具有切割膜202c。切割膜202a～202c的各个是将每1层具有预定的吸收率的膜从0个开始层叠多个而构成的。

图4表示作为滤光片1～3的各波长特性的一部分的透射率。

波长特性表示所入射的光的各波长以怎样的程度反射、透射、吸收。反射光、透射光以及吸收光的总和与入射光相等。透射光与入射光的比率被称为“透射率”，吸收光与入射光的比率被称为“吸收率”。吸收率也可以通过从入射光的光量减去反射光的光量和透射光的光量，再除以入射光的光量而求得。图4表示它们中的透射率与波长的关系。

如下所述，构成滤色器202的3个滤光片的波长特性都为在任意的波长下，即使厚度变化透射率也不变，即吸收率为0％。

例如，在滤光片1中在波长450nm左右、在滤光片2中在波长580nm左右、在滤光片3中在波长640nm左右，吸收率为0％。在图4中，滤光片1的透射率在波长450nm左右、滤光片2的透射率在波长580nm左右、滤光片3的透射率在波长640nm左右，透射率变为非常大，分别为100％。

在本说明书中，吸收率为“0％”是理想情况，不排除0％以外的吸收率。即便吸收率为几％左右，也能够作为本实施方式的切割膜202a～202c发挥作用。例如，如果实际上吸收率为0～2％的范围内，则能够将吸收率作为0％来进行处理。同样，透射率为“100％”是理想情况。如果透射率在98％以上100％以下的范围内，则能够将透射率作为100％而进行处理。

另外，如图3所示，滤光片1～3按顺序层叠而构成。例如以滤光片3为例进行说明时，为了层叠滤光片2时的支撑，也可以在切割膜202c不存在的部位填充不实质上对透射波长的透射率或吸收率造成影响的光学部件。对于其它的滤光片1以及2也同样。由此，各切割膜的202a～202c的光学特性决定滤光片1～3的各自的光学特性。

在此，将与波长λ相关的、滤光片1的切割膜202a的透射率设为C1(λ)、将滤光片2的切割膜202b的透射率设为C2(λ)、将滤光片3的切割膜202c的透射率设为C3(λ)。另外，如果将位置(u，v)的切割膜202a的厚度设为T1(u，v)、将切割膜202b的厚度设为T2(u，v)、将切割膜202c的厚度设为T3(u，v)，则位置(u，v)处的波长特性由下式来表达。另外，为了记载的简洁化，方便起见，将切割膜的厚度记述为“滤光片的厚度”。

【式1】

x(λ，u，v)＝Φ(C1(λ)，T1(u，v))·Φ(C2(λ)，T2(u，v))·Φ(C3(λ)，T3(u，v)).

这里，Φ(C(λ)，T(u，v))是由滤光片的波长特性C(λ)以及滤光片的厚度T(u，v)决定的、表示波长λ的光的透射率的函数。另外，Φ(C(λ)，T(u，v))是当C(λ)所含的吸收率为0或T(u，v)为0时取固定值的函数。通常，如果滤光片的厚度增大，则透射率降低，但在滤光片的吸收率为0的情况下，无论滤光片的厚度如何，透射率变为固定值。另外，在不配置滤光片(T(u，v)＝0)的情况下透射率也变为固定值。这样，通过按各个位置变更滤光片的厚度，能够得到针对拍摄元件203的各个像素、波长范围的透射率不同的滤色器。此时，在滤色器202的各切割膜上，n个位置的透射率的集合x_i(i：1～n的整数)与其它的n个位置的透射率的集合y_i(i：1～n的整数)的相关系数为0～0.2左右。即，可以说两集合之间不相关。

另外，相关系数通过将集合x_i以及集合y_i的协方差除以各自的标准偏差而求出。具体地说，相关系数ρ通过下述的式子求出。

【式2】

通过对滤色器202与拜尔排列的滤光片(图15)进行比较，使两者的差异明确。现在，作为一例，关注拜尔排列的使红色的波长透射的像素(R像素)。在拜尔排列中，所有的R像素的波长特性相同。由此，如果求取与R像素相关的透射率的相关系数，则始终为1。

接下来，关注滤色器202的、主要使红色的波长透射的滤光片3。如上所述，在滤光片3的切割膜上，对应于不同位置，切割膜的厚度不同，波长特性不同。即使在某位置的附近，如果位置不同，则波长特性也不同。因此，如果求出与滤光片3相关的每个位置的透射率的相关系数，则始终小于1。在该点上，滤色器202的各切割膜与拜尔排列的滤光片大不相同。

另外，如果将一定的范围设定为包含拜尔排列的滤光片的所有颜色的像素，若求取进入其中的像素组的透射率的相关系数，则小于1。然而，此时的相关系数是一定的。另一方面，如果在包含所有的切割膜的滤色器202上设定同样的范围，若求取进入其中的滤色器202上的位置处的透射率的相关系数，则其值不是一定的。

在此，各滤光片的厚度设定为从厚度0％(不配置滤光片)到最大厚度100％为均匀分布。

图5表示根据均匀分布设定各滤光片的各像素的厚度的例子。在图5中，通过将最大厚度设为100时的滤光片的厚度的比例的数值表示滤光片1～3各个。通过采用这样的滤色器202，由于在每个像素、各滤光片的厚度不同，所以能够根据式1而实现按各个波长、按各个像素不同的透射率。另外，在专利文献1所记载的拜尔排列和/或专利文献2所记载的随机的滤光片配置的情况下，每个像素的波长特性具有R像素、G像素、B像素的差别，但各自的透射率是一定的。即，即使是专利文献2所记载的随机的滤光片配置，针对各个波长，透射率也是一定的。通过如上所述那样构成滤色器202，能够实现不但针对各个像素、也针对各个波长进行基于均匀随机数(uniform random number)的随机采样。

当然，各滤光片的厚度并不限定于均匀随机数。例如，也可以以将厚度50％作为平均的正态分布(高斯分布)来设定。

图6表示根据正态分布设定各滤光片的各像素的厚度的例子。在图6中，也通过使最大厚度为100时的滤光片的厚度的比例的数值来表示滤光片1～3的各个。通过如此设定，能够实现针对各个波长进行基于正态随机数(normal random number)的随机采样。

另外，滤色器202也可以不按各个像素使滤光片的厚度变化。例如，也可以利用使用了液晶的滤色器和/或空间光调制器来实现。所谓的空间光调制器是使透射率在空间上和/或时间上进行调制的光学元件，能够按各个像素使透射率变化。

图7表示利用空间光调制器204使各个像素的透射率变化的拍摄系统10的变形例。滤色器202由滤光片1、滤光片2、滤光片3、空间光调制器204构成。在此，在滤光片1，2，3的各个，存在设置有滤光片的像素与未设置滤光片的像素。在滤光片1，在像素(u，v)设置有滤光片的情况下，设为M1(u，v)＝1，未设置滤光片的情况下，设为M1(u，v)＝0。同样，在滤光片2，在像素(u，v)设置有滤光片的情况下，设为M2(u，v)＝1，未设置滤光片的情况下，设为M2(u，v)＝0；在滤光片3，在像素(u，v)设置有滤光片的情况下，设为M3(u，v)＝1，未设置滤光片的情况下设为M3(u，v)＝0。另外，将像素(u，v)的空间光调制器204的透射率设为S(u，v)。此时，像素位置(u，v)处的波长特性由下式表达。

【式3】

x(λ，u，v)＝P(C1(λ)，M1(u，v))·P(C2(λ)，M2(u，v))·P(C3(λ)，M3(u，v))·S(u，v).

其中，P是通过是否设置有各滤光片来决定透射率的函数，通过下式表达。

【式4】

这样，通过将多个滤光片与空间光调制器204组合，能够实现按拍摄元件203的各个像素，使波长范围的透射率不同的滤色器。

当然，也能够将图3所示的滤色器202与空间光调制器204进行组合。

图8表示通过将透射率根据滤光片的厚度变化的多个滤光片与空间光调制器204组合而使各个像素的透射率变化的拍摄系统10的进一步的变形例。此时，像素位置(u，v)处的波长特性通过下式表达。

【式5】

x(λ，u，v)＝Φ(C1(λ)，T1(u，v))·Φ(C2(λ)，T2(u，v))·Φ(C3(λ)，T3(u，v))·S(u，v).

接下来，对图像生成装置12(图1)进行说明。

图9是表示图像生成装置12的主要的处理的步骤的流程图。

图像生成装置12的接收电路104接收发送电路103所发送的调制图像和调制信息(步骤S101)。

彩色图像生成电路105利用图像复原技术(例如压缩传感技术)从调制图像和调制信息，生成彩色图像(步骤S102)。

以下，更详细地说明该处理。彩色图像的生成处理在将所拍摄的调制图像设为y、将所生成的生成图像设为x的情况下，能够如以下那样公式化。

【式6】

y＝Ax.

在此，矩阵A是由调制信息决定的采样矩阵。采样矩阵A表示所拍摄的调制图像y与所生成的彩色RGB图像x的关系。

以下，说明采样矩阵A的获取方法。在此，说明利用由麦克贝斯色彩测试标准板进行的色彩校准的技术。麦克贝斯色彩测试标准板是基于孟塞尔颜色系统的24色的色彩样本，各色彩样本的XYZ值和/或sRGB值已定。

在此，将利用本实施方式的彩色拍摄装置拍摄该24色的色彩样本j而得的某像素i(i＝1，2，3，…，N)处的调制亮度值设为I(j，i)(j＝1，2，3，…，24)，将各色彩样本的sRGB值设为R’(j)、G’(j)、B’(j)。于是，以下的关系式成立。

【式7】

c(1，i)·R(j)+c(2，i)·G(j)+c(3，i)·B(j)＝I(j，i)，j＝1，2，…，24.

其中，c(x，i)(x＝1，2，3)为采样矩阵A的i行(3(i－1)+x)列的要素。采样矩阵A的i行(3(i－1)+x)列(i＝1，2，3，…，N、j＝1，2，3，…，24)以外的要素为0。另外，R(j)、G(j)、B(j)通过对R’(j)、G’(j)、B’(j)进行线性变换而得到。具体地说，通过以下那样的计算而得到。

【式8】

R(j)＝{(R′(j)/255+0.055)/1.055}^2.4×255，

G(j)＝{(G′(j)/255+0.055)/1.055}^2.4×255，

B(j)＝{(B′(j)/255+0.055)/1.055}^2.4×255.

式7中，对于某像素i，未知数(c(1，i))为3，方程式为24，所以能够通过最小二乘法求解。对于所有的像素i进行该处理，由此能够获取采样矩阵A。

为了将说明简略化，拍摄元件203的像素数设为N＝16。图10是表示像素数N＝16的调制图像与生成图像的示意图。在该图中，(a)表示调制图像，(b)表示作为生成图像的彩色图像的红色(R)通道的生成R图像，(c)表示作为生成图像的彩色图像的绿色(G)通道的生成G图像，(d)表示作为生成图像的彩色图像的蓝色(B)通道的生成B图像。在式6中，y以及x如下。

【式9】

y＝[y₁ y₂ y₃ … y₁₆]^T.

x＝[r₁ g₁ b₁ r₂ g₂ b₂ r₃ g₃ b₃ … r₁₆ g₁₆ b₁₆]^T.

如从该式可知，式6中，对于作为未知数的x的要素数48，作为观测数的y的要素数少至16，成为不良设定问题。

为了解决该不良设定问题，利用压缩传感技术。所谓压缩传感技术，是在信号的传感时通过加法处理(编码化)来压缩数据量，利用压缩后的数据，之后进行复原处理，由此对原来的信号进行解码化的技术。在压缩传感处理中，为了解决不良设定问题，利用已有知识(prior knowledge)。作为针对自然图像的已有知识，利用作为与图像上的附近的亮度变化的绝对值和的全变差(Total Variation)(例如非专利文献1、非专利文献2)和/或、在小波(Wavelet)变换和/或DCT变换、曲波(Curvelet)变换等线性转换中大多的系数变为0这一稀疏(sparse)性(例如非专利文献3)、通过学习获取上述的线性变换的变换系数的字典学习(Dictionary Learning)(例如非专利文献4)等即可。

在此，对作为被分类为全变差的一种的技术的、去相关矢量全变差(Decorrelated Vectorial Total Variation)进行说明。该技术通过将彩色图像的亮度成分与色差成分的梯度进行分离并计算，来抑制被称为假彩色的彩色合成的产生。这通过将以下的评价函数最小化来实现。

【式10】

该评价函数由以下的3项成立。

1.数据保真度(Data Fidelity)项||Ax-y||²₂：用于满足式6的约束项

2.动态范围(Dynamic Range)项：用于运算最小值min的x的范围(x为[0，255]3×N)：用于使像素值为0以上255以下的约束项。

3.去相关矢量全变差项J(x)：将彩色图像的亮度成分与色差成分的梯度分离后的全变差项。

在此，以下的式子成立。

【式11】

其中，

x＝[x_R^T x_G^T x_B^T]^T∈R^3N，

C为正交色彩变换：

D＝diag(D₁ D₁ D₁)∈R^6N×3N是彩色图像中的1次梯度运算符，

D₁＝[D_v^T D_h^T]^T∈A^2N×N为各通道的1次梯度运算符，

D_v，D_h∈R^N×N为垂直/水平的1次梯度运算符(诺依曼(Neumann)边界)，

为x的第i个要素，x＝[x₁^T x₂^T]^T，

w∈(0，1).

R为实数，R+为非负的实数。

图11～图13是本实施方式中的彩色图像生成电路105所生成的各个颜色的彩色图像的一例。图11表示R图像，图12表示G图像，图13表示B图像。本申请发明人们实际生成彩色图像并进行比较，但在本申请中利用各图像的亮度值来图示。

在这些图中，(a)表示由3片式相机拍摄到的正确彩色图像，(b)表示利用作为一般的去马赛克技术的专利文献1所记载的自适应彩色平面插值(Adaptive Color Plane Interpolation)法(ACPI法)的去马赛克图像，(c)表示利用非专利文献5所记载的最小的拉普拉斯残余插值(Minimized-Laplacian Residual Interpolation)法(MLRI法)的去马赛克图像，(d)表示利用本实施方式中的彩色图像生成电路105的复原图像。

以下作为例子参照图11进行说明，但同样的说明也可适用于图12以及图13。

在图11的(a)的中央部，示出具有格子状的图案的窗。

图11的(b)、(c)利用通过图15所示的以往的拜尔排列拍摄的图像。本申请发明人们进行验证，确认在图11的(b)所示的利用ACPI的去马赛克图像中，在边缘附近存在被称为假彩色的彩色合成。具体地说，在窗的边缘部分实际确认了假彩色的存在。本申请发明人们也确认了这样的假彩色在图11的(d)所示的利用本实施方式的复原图像中不存在。

在图11的(c)所示的利用MLRI法的去马赛克图像中，窗的格子状的图案等、高频成分不能复原。另一方面，可知，本实施方式中的彩色图像生成电路105与以往技术相比，也没有彩色合成，直至高频区域都能够复原。

图14是包含所有的颜色的彩色图像的一例。图14利用该彩色图像的亮度值来表示。一看到窗的格子状的图案便可以明了，可以说利用本实施方式的复原图像最接近正确图像。

输出接口(I/F)装置106为了将彩色图像生成电路105所生成的彩色图像显示于显示器或在人检测等图像处理中利用而将其输出(步骤S103)。

另外，在由拍摄元件203接收到的信号饱和的情况下，式6不成立，式10中的数据保真度项成为使复原画质降低的原因。因此，彩色图像生成电路105通过针对饱和的像素变更式10中的数据保真度项，使复原画质提高。对此，可以将式10中的第2项如下变更即可。

【式12】

在此，上述第2项是针对饱和的像素的数据保真度项，称为饱和约束。在此，

【式13】

y_i(i∈NS)

表示所拍摄的调制图像y的不饱和的像素，

【式14】

y_i(i∈S)

表示所拍摄的调制图像y的饱和的像素，

【式15】

a_i

表示将采样矩阵A的第i行转置后的矢量。另外，

【式16】

这是在对推定值x乘以采样矩阵A而得的值饱和、即yi以上的情况下为0，其余情况下返回∞的值的函数。在此，式16的接近作用素通过

【式17】

来表达。因此，能够通过利用交替方向乘子法(Alternating Direction Method of Multipliers；ADMM)等凸优化的技术，来进行求解。(参照非专利文献6)

图16～图17是本实施方式中的彩色图像生成电路105生成的彩色图像的一例。在此，表示G图像。本申请发明人们实际生成彩色图像并进行了比较，但在本申请中利用G图像的亮度值来图示。

在这些图中，图16的(a)表示通过3片式相机拍摄到的正确图像，图16的(b)表示通过式10的评价函数复原后的图像、即没有饱和约束的复原图像，图16的(c)表示将式10的评价函数中的第2项变更为式12而复原后的图像、即有饱和约束的复原图像。另外，图17的(a)～(c)分别是将图16的(a)～(c)的图像中的、在图16的(d)中表示为“放大对象的区域”的区域放大后的图像。

图16的(a)的一部分的像素的亮度值高，观测到的调制图像的一部分的像素饱和。因此，如图16的(b)以及图17的(b)所示，在不利用饱和约束的复原图像中，数据保真度项不正确地发挥作用，产生椒盐噪声(salt-and-pepper noise)那样的彩色合成。另一方面，确认了在图16的(c)所示的、利用饱和约束的本实施方式的复原图像中，没有产生这样的彩色合成。

如上所述，本实施方式的拍摄系统10利用滤色器202来进行拍摄，通过向压缩传感技术导入基于饱和像素的约束来进行彩色图像生成处理，由此，能够降低彩色合成，获取高清晰的彩色图像。

如上所述，本实施方式的拍摄系统10利用滤色器202进行拍摄，通过压缩传感技术进行彩色图像生成处理，由此能够降低彩色合成，获取高清晰的彩色图像。

本公开所涉及的拍摄系统为了在利用一个图像传感器获取R/G/B这3个波长信息的彩色拍摄装置中获取抑制了分辨率的降低和/或彩色合成的产生的图像是有用的。