固态成像装置和电子设备的制作方法

1.本技术涉及固态成像装置和电子设备。


背景技术：

2.在现有技术中，已经提出了具有将拜耳阵列的一个像素分割成多个像素的配置的固态成像装置(例如，参见专利文献1)。在专利文献1中公开的固态成像装置中，可以通过执行全分辨率去马赛克处理(用于在重新马赛克处理之后执行去马赛克处理的一系列处理)来获得高分辨率捕获图像，可以通过执行合并处理来获得具有优异信噪比的捕获图像，并且可以通过改变多个像素的每一个像素中的曝光条件来获得高动态范围(hdr)的捕获图像。
3.[引用列表]
[0004]
[专利文献]
[0005]
[专利文献1]
[0006]
jp 2019-175912 a


技术实现要素：

[0007]
[技术问题]
[0008]
然而，在专利文献1中公开的固态成像装置中，不可能通过一个成像处理获取被摄体的rgb图像、cmy图像和亮度信息的全部。
[0009]
本公开的目的是提供一种能够通过成像处理获取rgb图像、cmy图像、以及亮度信息的固态成像装置以及电子设备。
[0010]
[问题的解决方案]
[0011]
本公开的固态成像装置包括：(a)像素阵列部，其中排列有多个像素单元组，像素单元组由以2
×
2矩阵布置的像素单元构成，像素单元由以m
×
m(m是2或更大的自然数)矩阵布置的像素构成，并且像素包括光电转换单元和被形成为与光电转换单元的滤光器，(b)像素单元组中的每一个像素单元组包括透射红色光的r滤光器和透射青色光的c滤光器，作为构成像素单元组的四个像素单元之中的第一像素单元中的颜色滤光器，青色光与红色光具有互补色关系；像素单元组中的每一个像素单元组包括透射绿色光的g滤光器和透射品红色光的m滤光器，作为第二像素单元和第三像素单元中的每一个像素单元中的颜色滤光器，品红色光与绿色光具有互补色关系；并且像素单元组中的每一个像素单元组包括透射蓝色光的b滤光器和透射黄色光的y滤光器，作为在第四像素单元中的颜色滤光器，黄色光与蓝色光具有互补色关系。
[0012]
本公开的电子设备包括(a)固态成像装置，包括像素阵列部，其中排列有多个像素单元组，像素单元组由以2
×
2矩阵布置的像素单元构成，像素单元由以m
×
m(m是2或更大的自然数)矩阵布置的像素构成，并且像素包括光电转换单元和被形成为与光电转换单元对应的颜色滤光器；其中，像素单元组中的每一个像素单元组包括透射红色光的r滤光器和透
射青色光的c滤光器，作为构成像素单元组的四个像素单元之中的第一像素单元中的颜色滤光器，青色光与红色光具有互补色关系；像素单元组中的每一个像素单元组包括透射绿色光的g滤光器和透射品红色光的m滤光器，作为第二像素单元和第三像素单元中的每一个像素单元中的颜色滤光器，所述品红色光与所述绿色光具有互补色关系；并且像素单元组中的每一个像素单元组包括透射蓝色光的b滤光器和透射黄色光的y滤光器，作为在第四像素单元中的颜色滤光器，黄色光与蓝色光具有互补色关系；(b)光学透镜，在固态成像装置的成像表面上将来自被摄体的图像光形成为图像；以及(c)信号处理电路，对从固态成像装置输出的信号执行信号处理。
附图说明
[0013]
[图1]图1是示出根据本公开的第一实施例的电子设备的总体配置的示图。
[0014]
[图2]图2是示出根据本公开的第一实施例的固态成像装置的总体配置的示图。
[0015]
[图3a]图3a是示出沿着图2中的线a-a的像素阵列部的横截面配置的示图。
[0016]
[图3b]图3b是示出沿着图3a中的线b-b的颜色滤光器的最小单元阵列的示图。
[0017]
[图4]图4是示出根据修改例的颜色滤光器的最小单元阵列的示图。
[0018]
[图5]图5是示出红色像素和青色像素的透射率的示图。
[0019]
[图6]图6是示出绿色像素和品红色像素的透射率的示图。
[0020]
[图7]图7是示出蓝色像素和黄色像素的透射率的示图。
[0021]
[图8]图8是示出颜色滤光器阵列的配置的示图。
[0022]
[图9]图9是示出根据修改例的微透镜的布置的示图。
[0023]
[图10]图10是示出图像生成处理的流程图。
[0024]
[图11]图11是示出由信号处理电路生成的捕获图像的示图。
[0025]
[图12]图12是示出重新马赛克处理的处理内容的示图。
[0026]
[图13]图13是示出重新马赛克处理的处理内容的示图。
[0027]
[图14]图14是示出合并处理的处理内容的示图。
[0028]
[图15]图15是示出合并处理的处理内容的示图。
[0029]
[图16]图16是示出合并处理的处理内容的示图。
[0030]
[图17]图17是示出亮度合成处理的处理内容的示图。
[0031]
[图18]图18是示出亮度合成处理的处理内容的示图。
[0032]
[图19]图19是示出根据本公开的第二实施例的电子设备的总体配置的示图。
[0033]
[图20]图20是示出图像生成处理的流程图。
[0034]
[图21]图21是示出hdr图像生成处理的处理内容的示图。
[0035]
[图22]图22是示出hdr图像生成处理的处理内容的示图。
[0036]
[图23]图23是示出信号线的连接状态的示图。
[0037]
[图24]图24是示出信号线的连接状态的示图。
[0038]
[图25]图25是示出车辆控制系统的示意性配置的示例的框图。
[0039]
[图26]图26是示出车外信息检测单元和成像单元的安装位置的示例的示图。
[0040]
[图27]图27是示出内窥镜操作系统的示意性配置的示例的示图。
[0041]
[图28]图28是示出摄像头和ccu的功能配置的示例的框图。
具体实施例
[0042]
在下文中，将参照图1至图28描述根据本公开的实施例的固态成像装置1和电子设备的示例。将按照以下顺序描述本公开的实施例。要注意的是，本公开不限于以下示例。此外，本说明书中描述的效果是示例性的而非限制性的，并且可以提供其他效果。
[0043]
1.第一实施例：电子设备
[0044]
1-1电子设备的总体配置
[0045]
1-2主要部分的配置
[0046]
1-3图像生成处理
[0047]
2.第二实施例：电子设备
[0048]
2-1主要部分的配置
[0049]
2-2修改例
[0050]
3.应用于移动体的示例
[0051]
4.应用于内窥镜操作系统的示例
[0052]
《1.第一实施例：电子设备》
[0053]
[1-1.电子设备的整体结构]
[0054]
将描述根据本公开的第一实施例的电子设备100。作为电子设备100，可采用诸如成像装置的各种电子设备，例如，数字静态相机和数字摄像机、具有成像功能的移动电话或具有成像功能的其他设备。图1是示出根据本公开的第一实施例的整个电子设备100的示意图。
[0055]
如图1所示，电子设备100包括固态成像装置101(在下文中，也称为“固态成像装置1”)、光学透镜102、快门装置103、驱动电路104和信号处理电路105。信号处理电路105包括马赛克图像生成单元106、白平衡调整单元107、模式确定单元108、重新马赛克处理单元109、合并处理单元110、亮度值计算单元111和亮度合成单元112。在电子设备100中，光学透镜102将从被摄体接收的图像光(入射光113)的图像形成为固态成像装置101的成像表面上的图像，固态成像装置101将入射光113的量以像素单元转换为电信号并输出像素信号，并且信号处理电路105对从固态成像装置101输出的像素信号执行信号处理。此时，快门装置103控制用于固态成像设备101的光照射时段和遮光时段。另外，驱动电路104提供用于控制像素信号的传送操作和快门装置103的快门操作的驱动信号。
[0056]
图2是示出固态成像装置1的示意性配置示图。图2中的固态成像装置1是背面照射型互补金属氧化物半导体(cmos)图像传感器。
[0057]
如图2所示，固态成像装置1包括基板2、像素阵列部3、垂直驱动电路4、列信号处理电路5、水平驱动电路6、输出电路7以及控制电路8。
[0058]
像素阵列部3包括在基板2上以矩阵排列的多个像素9。像素9中的每一个像素包括光电转换单元24、被形成为与光电转换单元24对应的颜色滤光器19以及微透镜20，如图3a和图3b所示。对于像素9，以2
×
2矩阵排列的四个像素9构成一个像素单元10。此外，对于像素单元10，以2
×
2矩阵排列的四个像素单元10构成一个像素单元组11。即，像素阵列部3被配置为使得多个像素单元组11以矩阵排列。
[0059]
应注意，尽管在第一实施例中描述了一个像素单元10由以2
×
2矩阵排列的像素9构成的示例，但是也可采用其他配置。例如，如图4中所示，像素单元可由以m
×
m(m是2或更
大的自然数)矩阵排列的像素9构成。在图4中，示出了m为5以上的情况。
[0060]
由例如移位寄存器构成的垂直驱动电路4选择期望的像素驱动布线12，将用于驱动像素9的脉冲提供至所选择的像素驱动布线12，并且以行为单位驱动像素9。即，垂直驱动电路4在垂直方向上以行为单位对像素阵列部3中的像素9顺次执行选择扫描，并且通过垂直信号线13将基于根据每一个像素9的光电转换单元24中接收的光量生成的信号电荷的像素信号提供至列信号处理电路5。
[0061]
例如，针对像素9的每列布置列信号处理电路5，并且对从与一行对应的像素9输出的信号为每一个像素列执行诸如噪声去除的信号处理。例如，列信号处理电路5执行信号处理，诸如用于去除像素特定的固定图案噪声的相关双采样(cds)和模拟数字(ad)转换。
[0062]
例如，由移位寄存器构成的水平驱动电路6将水平扫描脉冲顺次输出至列信号处理电路5以依次选择列信号处理电路5中的每一个，并且将已经经受信号处理的像素信号(在下文中，也称为“像素值”)从列信号处理电路5中的每一个输出至水平信号线14。
[0063]
输出电路7对连续供应的像素信号(像素值)执行信号处理并且通过水平信号线14从每一个列信号处理电路5输出像素信号。可以采用的信号处理的示例包括缓冲、黑电平调整、列变化校正和各种类型的数字信号处理。
[0064]
控制电路8基于垂直同步信号、水平同步信号和主时钟信号生成时钟信号或控制信号作为垂直驱动电路4、列信号处理电路5、水平驱动电路6等的操作的参考。此外，控制电路8将所生成的时钟信号或控制信号输出至垂直驱动电路4、列信号处理电路5、水平驱动电路6等。
[0065]
[1-2.主要部分的配置]
[0066]
接下来，将描述图1中的固态成像装置1的详细配置。图3a是示出固态成像装置1的像素阵列部3的横截面配置的示图。图3b是示出沿着图3a中的线b-b的颜色滤光器19的最小单元阵列的示图。在图3a和图3b中，背面照射型cmos图像传感器用作固态成像装置1。
[0067]
如图3a和图3b所示，根据第一实施例的固态成像装置1包括光接收层18，其中，基板2、绝缘膜15、遮光膜16和平坦膜17以该顺序层压。此外，在绝缘膜15侧上的光接收层18的表面(在下文中，也称为“后表面s1”)上形成聚光层21，其中依次层压颜色滤光器19和微透镜20(片上透镜)。此外，布线层22和支撑基板23依次层压在基板2侧上的光接收层18的表面上(在下文中，也称为“表面s2”)。应注意，光接收层18的后表面s1和平坦膜17的后表面是相同的表面，并且因此在以下描述中平坦膜17的后表面将被称为“后表面s1”。此外，光接收层18的表面s2和基板2的表面是相同的表面，并且因此在以下描述中基板2的表面将被称为“表面s2”。
[0068]
基板2由例如硅(si)形成的半导体基板构成，并且形成图1所示的像素阵列部3。在像素阵列部3中，形成在基板2上的多个光电转换单元24布置成矩阵。在光电转换单元24中，生成并累积对应于入射光113的量的信号电荷。此外，像素分离单元25设置在彼此相邻的光电转换单元24之间，使得已经穿过其他光电转换单元24的光不渗透。绝缘膜15在后表面s1侧上连续地覆盖整个基板2(在光接收表面侧上的整体)。此外，遮光膜16以格子形状形成在绝缘膜15的位于后表面s3侧的部分(位于光接收表面侧的部分)中，使得多个光电转换单元24中的每一个的光接收表面是开放的。
[0069]
颜色滤光器19形成为对应于绝缘膜15的后表面s1侧(光接收表面侧)上的每一个
光电转换单元24。即，针对一个光电转换单元24(像素9)形成一个颜色滤光器19。由此，颜色滤光器19形成规则地布置成矩阵的颜色滤光器阵列26。每一个颜色滤光器19被配置为透射具有特定波长的光的入射光113(红色光、绿色光、蓝色光、青色光、品红色光或黄色光)并且使透射光入射在光电转换单元24上。
[0070]
作为颜色滤光器19，使用透射红色光的r滤光器19r、透射绿色光的g滤光器19g、透射蓝色光的b滤光器19b、透射与由r滤光器19r透射的红色光具有互补色关系的青色光的c滤光器19c、透射与由g滤光器19g透射的绿色光具有互补色关系的品红色光的m滤光器19m、以及透射与由b滤光器19b透射的蓝色光具有互补色关系的黄色光的y滤光器19y。换言之，如图5所示，在光谱分布图中，c滤光器19c是在r滤光器19r的透射率增加的波长处具有降低的透射率并且在r滤光器19r的透射率降低的波长处具有增加的透射率的颜色滤光器。如图6所示，在光谱分布图中，m滤光器19m是在g滤光器19g的透射率增加的波长处具有降低的透射率并且在g滤光器19g的透射率降低的波长处具有增加的透射率的滤光器。此外，如图7所示，在光谱分布图中，y滤光器19y是在b滤光器19b的透射率增加的波长处具有降低的透射率并且在b滤光器19b的透射率降低的波长处具有增加的透射率的滤光器。
[0071]
在图3a和图3b中，符号r表示r滤光器19r，并且在下文中，类似地，符号g表示g滤光器19g，符号b表示b滤光器19b，符号c表示c滤光器19c，符号m表示m滤光器19m，并且符号y表示y滤光器19y。此外，在以下描述中，包括r滤光器19r的像素9将被表示为红色像素9r，包括g滤光器19g的像素9将被表示为绿色像素9g，包括b滤光器19b的像素9将被表示为蓝色像素9b，包括c滤光器19c的像素9将被表示为青色像素9c，包括m滤光器19m的像素9将被表示为品红色像素9m，并且包括y滤光器19y的像素9将被表示为黄色像素9y。
[0072]
此外，颜色滤光器19(r滤光器19r、g滤光器19g、b滤光器19b、c滤光器19c、m滤光器19m、y滤光器19y)的阵列模式被配置为使得布置为如图3b所示的4
×
4矩阵的颜色滤光器19的阵列被设置为颜色滤光器19的阵列的最小单元(在下文中，也称为“最小单元阵列”)，如图8所示，最小单位阵列设置在像素阵列部3的所有像素单元组11中。
[0073]
颜色滤光器19的最小单元阵列是其中校正四分拜耳阵列的一部分的阵列，四分拜耳阵列被配置为使得r滤光器19r布置在构成像素单元组11的四个像素单元10中的右上侧的像素单元10(在下文中，也称为“第一像素单元10
1”)中。g滤光器19g布置在左上侧的像素单元10(在下文中，也称为“第二像素单元10
2”)和右下侧的像素单元10(在下文中，也称为“第三像素单元10
3”)中，并且b滤光器19b被布置在如图3b所示的左下侧上的像素单元10(在下文中，也称为“第四像素单元10
4”)中。具体地，构成四分拜耳阵列的第一像素单元101的2
×
2阵列的像素9中的位于右上侧和左下侧的像素9中的r滤光器19r被c滤光器19c替换。此外，构成第二像素单元102和第三像素单元103中的每一个的2
×
2阵列中的像素9中的位于右上侧和左下侧的像素9中的g滤光器19g被m滤光器19m替换。此外，构成第四像素单元104的2
×
2阵列中的像素9中的位于右上侧和左下侧的像素9中的b滤光器19b被y滤光器19y替换。
[0074]
即，在颜色滤光器19的最小单元阵列中，r滤光器19r被包括在布置在第一像素单元101中的对角线位置处的像素对(构成一组的两个像素9)中的一个像素对中，并且c滤光器19c被包括在另一个像素对中。在下文中，类似地，g滤光器19g被包括在布置在第二像素单元102中的对角线位置处的像素对中的一个像素对中，并且m滤光器19m被包括在另一个像素对中。此外，g滤光器19g被包括在布置在第三像素单元103中的对角线位置处的像素对中的
一个像素对中，并且m滤光器19m被包括在另一个像素对中。此外，b滤光器19b包括在布置在第四像素单元104中的对角线位置处的像素对中的一个像素对中，并且y滤光器19y包括在另一个像素对中。
[0075]
利用最小单元阵列中的颜色滤光器19的这种布置，在包括在第一像素单元101中的所有颜色滤光器19中，在r滤光器19r的透射率减小的波长处具有增大的透射率的r滤光器19r和c滤光器19c彼此组合，如图5所示，并且因此对于从短波长侧到长波长侧的所有光，透射率基本上是平坦的。在下文中，在包括在第二像素单元102中的所有颜色滤光器19中，如在图6中所示，具有在g滤光器19g的透射率减小的波长处增大的透射率的g滤光器19g和m滤光器19m彼此组合，并且因此对于从短波长侧到长波长侧的所有光，透射率基本上是平坦的。此外，在包括在第四像素单元104中的所有颜色滤光器19中，如图7所示，在b滤光器19b的透射率减小的波长处具有增大的透射率的b滤光器19b和y滤光器19y彼此组合，并且因此对于从短波长侧至长波长侧的所有光，透射率基本上是平坦的。
[0076]
要注意的是，如图4中所示，在像素单元10由以m
×
m矩阵布置的像素9构成，并且m是大于等于3的自然数的情况下(图4示出了m为大于等于5的情况)，以棋盘格图案相互布置的像素9可被配置为包括r滤光器19r、g滤光器19g以及b滤光器19b。具体地，第一像素单元101被配置为使得在以m
×
m矩阵设置的多个像素9之中以棋盘格图案相互定位的一些像素9包括r滤光器19r，并且其余像素9包括c滤光器19c。类似地，在下文中，第二像素单元102被配置为使得在以m
×
m矩阵设置的多个像素9之中以棋盘格图案相互定位的一些像素9包括g滤光器19g，并且其余像素9包括m滤光器19m。此外，第三像素单元103被配置为使得在以m
×
m矩阵设置的多个像素9之中以棋盘格图案相互定位的一些像素9包括g滤光器19g，并且其余像素9包括m滤光器19m。此外，第四像素单元104被配置为使得在以m
×
m矩阵设置的多个像素9之中以棋盘格图案相互定位的一些像素9包括b滤光器19b，并且其余像素9包括y滤光器19y。
[0077]
以这种方式，根据第一实施例的固态成像装置1被配置为使得除了r滤光器19r、g滤光器19g和b滤光器19b之外，颜色滤光器19还包括c滤光器19c、m滤光器19m和y滤光器19y。因此，通过使用包括r滤光器19r的红色像素9r、包括g滤光器19g的绿色像素9g以及包括b滤光器19b的蓝色像素9b的像素信号，可以生成rgb图像(在图14中的rgb马赛克图像38)。此外，可以通过使用包括c滤光器19c的青色像素9c、包括m滤光器19m的品红色像素9m以及包括y滤光器19y的黄色像素9y的像素信号来生成cmy图像(图15中的cmy马赛克图像39)。此外，能够通过将同一像素单元10中的像素9的像素值相加来生成亮度信息(图16中的亮度图像41)。因此，能够通过一次成像处理来获取rgb图像、cmy图像以及亮度信息。rgb图像由于颜色滤光器19的感光度低而容易在暗处成像，但是，由于颜色滤光器19的光谱感光度的重叠小，所以颜色再现性良好。由于颜色滤光器19的光谱感光度的重叠大，因此cmy图像的颜色再现性差，但是颜色滤光器19的感光度低，与rgb图像相比，cmy图像容易在暗处进行成像。另外，通过使用rgb图像和cmy图像的组合的六种颜色，可以进一步提高颜色再现性。
[0078]
此外，在根据第一实施例的固态成像装置1被配置为使得r滤光器19r被包括在布置在第一像素单元101中的对角线位置处的像素对中的一个像素对中的情况下，并且，如图14所示，在其他像素对中，与颜色滤光器19的排列对应的马赛克图像30中的仅具有红色的颜色信息的图像像素31r的重心和通过对仅具有红色的颜色信息的图像像素31r的合并处理而生成的图像像素37r的重心变得彼此相等，因此，不需要对组化处理中的红色的图像像素
31r的重心进行校正。此外，如图14和图15所示，对于仅具有绿色的颜色信息的图像像素31g、仅具有蓝色的颜色信息的图像像素31b、仅具有青色的颜色信息的图像像素31c、仅具有品红色的颜色信息的图像像素31m以及仅具有黄色的颜色信息的图像像素31y也是如此。因此，能够获取更适当的rgb图像和cmy图像。在图14和图15中，符号r表示仅具有红色的颜色信息的图像像素31r(在下文中，也称为“红色图像像素”)，并且类似地，在下文中，符号g表示仅具有绿色的颜色信息的图像像素31g(在下文中，也称为“绿色图像像素”)，符号b表示仅具有蓝色的颜色信息的图像像素31b(在下文中，也称为“蓝色图像像素”)，符号c表示仅具有青色的颜色信息的图像像素31c(在下文中，也称为“青色图像像素”)，符号m表示仅具有品红色的颜色信息的图像像素31m(在下文中，也称为“品红色图像像素”)，并且符号y表示仅具有黄色的颜色信息的图像像素31y(在下文中，也称为“黄色图像像素”)。
[0079]
需要说明的是，虽然在第一实施例中说明了将左上方和右下方的像素单元10设置为第二像素单元102和第三像素单元103的示例，但也可以采用其他结构。例如，也可以采用第二像素单元102和第三像素单元103设置在右上侧的像素单元10和左下侧的像素单元10中的结构，第二像素单元102和第三像素单元103设置在左上侧和左下侧的像素单元10内的结构，或者第二像素单元102和第三像素单元103设置在右上侧和右下侧的像素单元10中。此外，例如，也可以采用第一像素单元101设置在下侧，第四像素单元104设置在上侧的结构。即，可以仅仅需要将每一个像素单元组11配置为包括r滤光器19r和c滤光器19c作为构成像素单元组11的四个像素单元10中的第一像素单元101中的颜色滤光器19，g滤光器19g和m滤光器19m作为颜色滤光器19包括在第二像素单元102和第三像素单元103中，并且b滤光器19b和y滤光器19y被包括作为第四像素单元104中的颜色滤光器19。
[0080]
微透镜20被形成为对应于在颜色滤光器19的后表面s4侧(光接收表面侧)上的每一个光电转换单元24。即，针对一个光电转换单元24(像素9)形成一个微透镜20。由此，微透镜20形成以矩阵规则地布置的微透镜阵列27。每一个微透镜20被配置为从对象收集图像光(入射光113)并且通过颜色滤光器19将收集的入射光113引导至光电转换单元24的后表面(光接收表面)的附近。
[0081]
注意，虽然在第一实施例中描述了针对一个光电转换单元24形成一个微透镜20的示例，但是还可以采用其他配置。例如，在绿色像素9g用作相位差像素的情况下，可以采用其中以1
×
2矩阵排列的两个绿色像素9g被布置为如图9中所例示的配置，并且针对所布置的两个绿色像素9g(相位差像素)形成一个微透镜20。根据这样的配置，可以检测共享一个微透镜20的两个绿色像素9g(相位差像素)之间的捕获图像的相位差。
[0082]
布线层22形成在基板2的表面s2侧上，并且被配置为包括层间绝缘膜28和隔着层间绝缘膜28层压为多个层的布线29。布线层22通过多层布线29驱动构成像素9的像素晶体管。
[0083]
支撑基板23形成在布线层22的与面向基板2的一侧相对的表面上。支撑基板23是用于在固态成像装置1的制造阶段确保基板2的强度的基板。例如，可以使用硅(si)作为支撑基板23的材料。
[0084]
[1-3.图像生成处理]
[0085]
接下来，将描述由信号处理电路105(马赛克图像生成单元106、白平衡调整单元107、模式确定单元108、重新马赛克处理单元109、合并处理单元110、亮度值计算单元111、
亮度合成单元112)执行的图像生成处理。
[0086]
当执行图像生成处理时，马赛克图像生成单元106首先基于在如图10所示的步骤s101中从红色像素9r、绿色像素9g、蓝色像素9b、青色像素9c、品红色像素9m和黄色像素9y输出的像素信号(像素值)生成与如图11所示的颜色滤光器19的阵列对应的马赛克图像30。
[0087]
随后，处理进行到步骤s102，白平衡调整单元107基于在步骤s101中生成的马赛克图像30的图像像素31的像素值来估计光源的色温，并基于估计的色温来调整马赛克图像30的白平衡。
[0088]
随后，处理进行到步骤s103，并且模式确定单元108确定由电子设备100的用户选择的成像模式是高分辨率模式和高信噪比模式中的哪一个。此外，在确定结果是高分辨率模式的情况下，处理进行至步骤s104。另一方面，在判定结果为高信噪比模式的情况下，处理进入步骤s105。
[0089]
在步骤s104中，重新马赛克处理单元109对在步骤s102中进行了白平衡校正的马赛克图像30进行重新马赛克处理。在再生处理中，如图12所示，将构成马赛克图像30的红色、绿色和蓝色图像像素31r、31g和31b的像素阵列转换成拜耳阵列，从而生成由拜耳阵列的红色、绿色和蓝色图像像素32r、32g和32b构成的rgb马赛克图像33。此外，如图13所示，青色、品红色和黄色图像像素31c、31m和31y的像素阵列被转换成预先确定的预定阵列，从而生成由预定阵列的青色、品红色和黄色图像像素34c、34m和34y构成的cmy马赛克图像35。图13示出了通过用青色、品红色和黄色图像像素34c、34m和34y替换拜耳阵列的红色、绿色和蓝色图像像素32r、32g和32b所形成的像素阵列用作预定阵列的情况。图12示出了马赛克图像30和rgb马赛克图像33的放大部分。此外，图13示出了马赛克图像30和cmy马赛克图像35的放大部分。
[0090]
另一方面，在步骤s105中，合并处理单元110对在步骤s102中校正了白平衡的马赛克图像30进行合并处理，然后处理进入步骤s106。在合并处理中，如图14所示，在与马赛克图像30内的第一像素单元101对应的各像素组361中，将红色图像像素31r的像素值相加，形成1个红色图像像素37r的像素值。下文类似地，绿色图像像素31g的像素值在与第二像素单元102对应的像素组362的每一个中相加，以形成一个绿色图像像素37g的像素值。此外，绿色图像像素31g的像素值在与第三像素单元103对应的每一个像素组363中相加，以形成一个绿色图像像素37g的像素值。此外，在与第四像素单元104对应的像素组364中的每一个中，将蓝色图像像素31b的像素值相加，以形成一个蓝色图像像素37b的像素值。由此，生成由红色图像像素37r(仅具有红色的颜色信息的图像像素37r)、绿色图像像素37g(仅具有绿色的颜色信息的图像像素37g)、蓝色图像像素37g(仅具有蓝色的颜色信息的图像像素37b)构成的rgb马赛克图像38。rgb马赛克图像38的像素数是马赛克图像30的像素数的四分之一。图14示出马赛克图像30和rgb马赛克图像38的放大部分。
[0091]
此外，在合并处理中，如图15所示，青色图像像素31c的像素值被加在与马赛克图像30中的第一像素单元101对应的像素组361的每一个中，以形成青色图像像素38c的一个像素值，其中，在步骤s102中已经针对该马赛克图像校正了白平衡。在下文类似地，品红色图像像素31m的像素值在与第二像素单元102对应的像素组362的每一个中相加，以形成一个品红色图像像素38m的像素值。此外，在对应于第三像素单元103的每一个像素组363中，添加品红色图像像素31m的像素值，以形成一个品红色图像像素38m的像素值。此外，在对应于第四
像素单元104的每一个像素组364中，黄色图像像素31y的像素值相加，以形成一个黄色图像像素38y的像素值。由此，生成由青色图像像素38c(仅具有青色的颜色信息的图像像素38c)、品红色图像像素38m(仅具有品红色的颜色信息的图像像素38m)和黄色图像像素38y(仅具有黄色的颜色信息的图像像素38y)构成的cmy马赛克图像39。cmy马赛克图像39的像素数是马赛克图像30的像素数的四分之一。图15示出马赛克图像30和cmy马赛克图像39的放大部分。
[0092]
此外，在合并处理中，亮度值计算单元111将在对应于马赛克图像30中的第一像素单元101的每一个像素组361中的具有红色和青色的颜色信息的图像像素31r和31c的像素值相加，以计算如图16所示的一个图像像素40的亮度值，其中马赛克图像30在步骤s102中对其校正了白平衡。下文类似地，在与第二像素单元102对应的像素组362的每一个中具有绿色和品红色的颜色信息的图像像素31g和31m的像素值计算一个图像像素40的亮度值。此外，具有绿色和品红色的颜色信息的图像像素31g和31m的像素值在与第三像素单元103对应的像素组363的每一个中相加，以计算一个图像像素40的亮度值。此外，在与第四像素单元104对应的像素组364中的每一个中，将具有蓝色和黄色的颜色信息的图像像素31b和31m的像素值相加，以计算一个图像像素40的亮度值。因此，生成仅表示图像像素40的亮度值的亮度图像41。亮度图像41的像素数是马赛克图像30的像素数的四分之一。图16示出马赛克图像30和亮度图像41的放大部分。
[0093]
注意，可以采用如下配置：其中通过将马赛克图像30的像素值乘以校正系数获得的数值用作用于计算亮度值的像素值，马赛克图像是在步骤s102中已经校正了白平衡的图像。具体而言，基于马赛克图像30的图像像素31的像素值r、g、b、cy、mg和ye以及预先确定的校正系数a
11
、a
21
、a
12
、a
22
、a
13
和a
23
，根据以下公式(1)计算亮度图像41的图像像素40的亮度值br1、br2和br3。
[0094][0095]
在上述公式(1)中，r是红色图像像素31r的像素值，g是绿色图像像素31g的像素值，b是蓝色图像像素31b的像素值，cy是青色图像像素31c的像素值，mg是品红色图像像素31m的像素值，并且ye是黄色图像像素31y的像素值。另外，br1是从红色和青色图像像素31r和31c的像素值r和cy获得的亮度值，br2是从绿色和品红色图像像素31g和31m的像素值g和mg获得的亮度值，br3是从蓝色和黄色图像像素31b和31y的像素值b和ye获得的亮度值。作为校正系数a
11
、a
21
、a
12
、a
22
、a
13
和a
23
，使用对于光源的每一个色温而设置不同的数值的数值，使得建立br1＝br2＝br3的关系。因此，如图5、图6和图7中所示，可以减小亮度值br1、br2和br3之间的差值。
[0096]
接着，处理进入步骤s106，亮度合成单元112对在步骤s105中生成的rgb马赛克图像38或cmy马赛克图像39进行亮度合成处理。在亮度合成处理中，首先，基于在步骤s101中生成的马赛克图像30的图像像素31的像素值，确定对象是否亮。此外，如图17所示，在确定对象明亮的情况下，亮度图像41的亮度值与rgb马赛克图像38合成以生成合成图像42。通过对rgb马赛克图像38和亮度图像41进行合成，能够实现高颜色再现性和高分辨率这两者。此外，与例如分别包括用于获得rgb马赛克图像38的固态成像装置和用于获得亮度图像41的固态成像装置的复眼相机不同，视差校正不是必需的。
[0097]
在rgb马赛克图像38和亮度图像41的合成中，首先，基于rgb马赛克图像38的像素37的像素值r、g、b和预先确定的系数b
11
、b
21
、b31、b
12
、b
22
、b32、a
13
、a
23
、a
33
，按照下式(2)计算像素的y1信号、cb信号、cr信号。随后，基于所计算的y1信号和亮度图像41的图像像素40的亮度值(y2信号)，根据以下公式(3)计算合成图像42的像素43的亮度信号y。即，使用y2信号对y1信号进行校正以设置为亮度信号y。在这种情况下，在上述公式(2)中计算的cb信号和cr信号被用作像素43的颜色信息。
[0098][0099]
y＝αy1+(1-α)y2...(3)
[0100]
在此，通过从相邻像素的补码处理获得信号值y1cbcr，并且因此存在分辨率(相当于y1信号)劣化的趋势。另一方面，y2信号的分辨率几乎不劣化。为此，根据上述公式(3)，可以获得高分辨率图像。
[0101]
另一方面，在确定被摄体是暗的情况下，如图18所示，使用颜色转换矩阵将cmy马赛克图像39转换成rgb马赛克图像44。接着，将亮度图像41与转换后的rgb马赛克图像44合成，生成合成图像45。通过将亮度图像41与rgb马赛克图像44合成，能够实现高信噪比和高分辨率两者。此外，与例如上述复眼照相机不同，视差校正不是必需的。
[0102]
如上所述，在根据本公开第一实施例的固态成像装置1中，每一个像素单元组11被配置为使得r滤光器19r和c滤光器19c被包括作为构成像素单元组11的四个像素单元10中的第一像素单元101中的颜色滤光器19，g滤光器19g和m滤光器19m作为颜色滤光器19包括在第二像素单元102和第三像素单元103中，并且b滤光器19b和y滤光器19y被包括作为第四像素单元104中的颜色滤光器19。因此，通过使用红色像素9r、绿色像素9g、蓝色像素9b的像素信号，能够生成rgb图像。此外，可以通过使用青色像素9c、品红色像素9m和黄色像素9y的像素信号来生成cmy图像。此外，可通过将同一像素单元10中的像素9的像素值相加来产生亮度信息。为此，可以提供能够通过一次成像处理获取rgb图像、cmy图像、以及亮度信息的固态成像装置1。
[0103]
《2.第二实施例：电子设备》
[0104]
[主要部分的配置]
[0105]
接下来，将描述根据本公开的第二实施例的电子设备100。图19是示出根据第二实施例的电子设备100的整体配置的示图。此外，图20是示出第一实施例的图像生成处理的流程图。在图19和图20中，对应于图1和图10中的部件的部分被给予相同的附图标记和符号，并且将不给出其重复描述。
[0106]
根据第二实施例的电子设备100与第一实施例的电子设备的不同之处在于，信号处理电路105包括如图19所示的hdr图像生成单元114，并且图像生成处理包括步骤s201而不是如图20所示的图10中的步骤s106。
[0107]
在步骤s201中，hdr图像生成单元114基于在步骤s105中生成的rgb马赛克图像38和cmy马赛克图像39执行hdr图像生成处理(见图14和图15)。在hdr图像生成处理中，如图21和图22所示，使用颜色转换矩阵将cmy马赛克图像39转换成rgb马赛克图像46。随后，转换后的rgb马赛克图像46和在步骤s105中生成的rgb马赛克图像38被合成以生成hdr图像47。作
为合成由cmy马赛克图像39和在步骤s105中生成的rgb马赛克图像38获得的rgb马赛克图像46的方法，例如可以采用按每一个图像像素48将rgb马赛克图像46的像素值与rgb马赛克图像38的像素值相加的方法。
[0108]
如上所述，根据本公开的第二实施例的电子设备100被配置为将cmy马赛克图像39转换为rgb马赛克图像46，并且合成转换后的rgb马赛克图像46和由合并处理单元110生成的rgb马赛克图像38，以生成hdr图像47(高动态范围图像)。因此，除了rgb图像、cmy图像以及亮度信息以外，还可以通过一个成像处理生成hdr图像47。
[0109]
[2-2.修改例]
[0110]
要注意的是，在根据本公开的第一和第二实施例的电子设备100中，已经描述了由设置在固态成像装置1外部的信号处理电路105数字地执行合并处理的示例，但是也可采用其他配置。例如，可以采用在从固态成像装置1的像素9读取像素信号时以模拟方式执行合并处理的配置。具体地，如图23所示，可以采用这样一种配置，其中，连接至构成像素单元10的像素9的浮动扩散49的信号线50之中，连接至相同颜色的像素9的浮动扩散49的信号线50彼此电连接，并且相同颜色的像素9的像素信号相加并且输出至cds电路51。因此，可以获得相同颜色的像素9的像素值相加的结果。
[0111]
此外，如图24所示，可以采用这样的配置，其中，连接到构成像素单元10的像素9的浮动扩散49的信号线50彼此电结合，并且多个像素9的像素信号相加并且输出到cds电路51。因此，可以获得在图16中示出的亮度图像41的图像像素40的亮度值(亮度信息)。
[0112]
《3.应用于移动体的示例》
[0113]
根据本公开的技术(本技术)可应用于各种产品。例如，根据本公开的技术可实现为安装在任何类型的移动体(诸如，汽车、电动车辆、混合电动车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶以及机器人)上的装置。
[0114]
图25是示出车辆控制系统的示意性配置的示例的框图，车辆控制系统是可以应用本公开的技术的移动体控制系统的示例。
[0115]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图25所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040以及集成控制单元12050。此外，作为集成控制单元12050的功能配置，示出了微型计算机12051、声音图像输出单元12052和车载网络接口(i/f)12053。
[0116]
驱动系统控制单元12010根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元12010作为产生内燃机或驱动电动机等车辆的驱动力的驱动力产生装置、向车轮传递驱动力的驱动力传递机构、调整车辆的转向角的转向机构、产生车辆的制动力的制动装置等控制装置发挥功能。
[0117]
车身系统控制单元12020根据各种程序控制配备在车身中的各种装置的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如车头灯、车尾灯、制动灯和转向信号或雾灯的各种灯的控制装置。在这种情况下，从替代键的便携式装置发送的无线电波或各种开关的信号可以被输入到车身系统控制单元12020。车身系统控制单元12020接收这些无线电波或信号的输入并且控制车辆的门锁装置、电动车窗装置、灯等。
[0118]
车外信息检测单元12030检测安装有车辆控制系统12000的车辆外部的信息。例如，成像单元12031与车外信息检测单元12030连接。车外信息检测单元12030使成像单元12031拍摄车辆外部的图像并接收拍摄的图像。另外，车外信息检测单元12030也可以基于接收到的图像，对道路上的人物、汽车、障碍物、标志、文字等进行物体检测处理、距离检测处理。
[0119]
成像单元12031是接收光并输出与接收的光量相应的电信号的光学传感器。成像单元12031也可以将电信号作为图像和测距信息输出。另外，成像单元12031所接收的光可以是可见光，也可以是红外线等不可见光。
[0120]
车内信息检测单元12040检测车内的信息。例如，在车内信息检测单元12040上连接有检测驾驶员的状态的驾驶员状态检测单元12041。驾驶员状态检测单元12041包括例如拍摄驾驶员的图像的摄像机，并且车辆内部信息检测单元12040可以基于从驾驶员状态检测单元12041输入的检测信息计算驾驶员的疲劳度或集中度或者可以确定驾驶员是否打瞌睡。
[0121]
微型计算机12051可以基于由车外信息检测单元12030或车内信息检测单元12040获取的车内和车外的信息，计算驱动力产生装置、转向机构或制动装置的控制目标值，并且向驱动系统控制单元12010输出控制命令。例如，微型计算机12051可以执行协作控制，以实现高级驾驶员辅助系统(adas)的功能，包括车辆碰撞避免、冲击减轻、基于车辆间距离的行驶、车速维持驾驶、车辆碰撞警报、车辆车道偏离警报等。
[0122]
另外，微型计算机12051基于由车外信息检测单元12030或车内信息检测单元12040取得的车辆周边的信息，对驱动力产生装置、转向机构、制动装置等进行控制，由此能够不依赖于驾驶员的操作而进行用于自主行驶的自动驾驶等的协调控制。
[0123]
另外，微型计算机12051可以基于由车外信息检测单元12030获取的车外信息，将控制命令输出到车身系统控制单元12020。例如，微型计算机12051可以通过根据由车辆外部信息检测单元12030检测到的前面车辆或对面车辆的位置控制前照灯，来执行用于防眩光的协调控制，例如将远光切换为近光。
[0124]
声音图像输出单元12052将声音和图像中的至少一个的输出信号发送到能够视觉地或听觉地向车辆的乘员或车辆外部通知信息的输出装置。在图25所示的示例中，音频扬声器12061、显示单元12062和仪表板12063被示为输出设备。例如，显示单元12062可包括板载显示器和平视显示器中的至少一个。
[0125]
图26是示出成像单元12031的安装位置的示例的示图。
[0126]
在图26中，车辆12100具备成像单元12101、12102、12103、12104、12105作为成像单元12031。
[0127]
成像单元12101、12102、12103、12104和12105被设置在诸如车辆12100的车辆内部的前鼻、侧视镜、后保险杠、后门、以及挡风玻璃的上部的位置处。设置在车辆内部的前鼻部的成像单元12101和设置在挡风玻璃的上部的成像单元12105主要获取车辆12100前方的图像。设置在侧视镜上的成像单元12102和12103主要获取车辆12100的横向侧上的图像。设置在后保险杠或后门上的成像单元12104主要获取车辆12100后面的图像。由成像单元12101和12105获取的前视图图像主要用于前方车辆、行人、障碍物、交通信号、交通标志、车道等的检测。
[0128]
需注意，图26示出成像单元12101至12104的成像范围的示例。成像范围12111指示设置在前鼻处的成像单元12101的成像范围，成像范围12112和12113分别指示设置在侧视镜处的成像单元12102和12103的成像范围，并且成像范围12114指示设置在后保险杠或后门处的成像单元12104的成像范围。例如，通过重叠由成像单元12101至12104拍摄到的图像数据，能够获得俯视车辆12100的俯瞰图像。
[0129]
成像单元12101至12104中的至少一个可具有获取距离信息的功能。例如，成像单元12101至12104中的至少一个可以是由多个成像元件配置的立体相机，或者可以是具有用于相位差检测的像素的成像元件。
[0130]
例如，微型计算机12051尤其能够抽出车辆12100行驶的路径上的最近的三维物体，即，在与车辆12100大致相同的方向上以规定的速度(例如，0km/h以上)行驶的三维物体，基于从成像单元12101至12104获得的距离信息，获取与拍摄范围12111至12114中的各三维物体之间的距离和该距离的时间变化(相对于车辆12100的相对速度)，来作为前方车辆。另外，微型计算机12051可以在前行车辆的前方设置应当提前保证的车间距离，并且可以执行自动制动控制(也包括跟随停止控制)或自动加速控制(也包括跟随起动控制)。这样，为了不依赖于驾驶员的操作而进行自主行驶的自动驾驶等，能够进行协调控制。
[0131]
例如，微型计算机12051可以基于从成像单元12101至12104获得的距离信息将与三维物体有关的三维物体数据分类并提取为二轮车、普通车辆、大型车辆、行人和其他三维物体(诸如电线杆)，并且使用该三维物体数据用于自动躲避障碍物。例如，微型计算机12051将车辆12100附近的障碍物识别为车辆12100的驾驶员能够视觉识别的障碍物和难以视觉识别的障碍物。另外，微型计算机12051可以确定指示与每一个障碍物碰撞的风险的程度的碰撞风险，并且当碰撞风险具有等于或大于设置值的值并且存在碰撞的可能性时，经由音频扬声器12061或显示单元12062向驾驶员输出警告，并且经由驱动系统控制单元12010执行强制减速或躲避转向，使得其可以执行用于防碰撞的驾驶辅助。
[0132]
成像单元12101至12104中的至少一个可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定在成像单元12101至12104的成像图像中是否存在行人来识别行人。这样的行人识别通过例如提取作为红外照相机的成像单元12101至12104的成像图像中的特征点的过程和对表示被摄体的轮廓的一系列特征点执行图案匹配处理并且判断被摄体是否是行人的过程来执行。当微型计算机12051确定在成像单元12101至12104的捕获图像中存在行人并且识别出行人时，声音图像输出单元12052控制显示单元12062，使得识别出的行人重叠并以用于强调的正方形轮廓线显示。另外，声音图像输出单元12052可控制显示单元12062，使得在期望的位置处显示指示行人等的图标。
[0133]
上面已经描述了可以应用根据本公开的技术的车辆控制系统的示例。本公开的技术可以应用于上述配置中的成像单元12031等。具体而言，图1和图2中的固态成像装置101和1以及图1中的信号处理电路105可应用于成像单元12031。通过将根据本公开内容的技术应用于成像单元12031，可以获得更清晰的捕获图像，并且因此可以减少驾驶员的疲劳。
[0134]
《4.应用于内窥镜操作系统的示例》
[0135]
例如，根据本公开的技术(本技术)可应用于内窥镜操作系统。
[0136]
图27是示出根据本公开的技术(本技术)可应用于的内窥镜操作系统的示意性配置的示例的示图。
[0137]
图27示出操作者(医生)11131正在使用内窥镜操作系统11000对病床11133上的患者11132进行操作的状态。如图所示，内窥镜操作系统11000由内窥镜11100、气腹管11111、通电用处理器具11112等其他处理器具11110、支承内窥镜11100的支承臂装置11120、以及搭载有用于内窥镜手术的各种装置的手推车11200构成。
[0138]
内窥镜11100由透镜镜筒11101和连接到透镜镜筒11101的基端的摄像头11102构成，透镜镜筒11101的从尖端具有预定长度的区域被插入到患者11132的体腔中。虽然在图示的示例中示出被配置为具有刚性透镜镜筒11101的所谓的刚性镜的内窥镜11100，但是内窥镜11100可被配置为具有柔性透镜镜筒的所谓的柔性镜。
[0139]
在透镜镜筒11101的顶端设置有供物镜嵌入的开口部。光源装置11203连接到内窥镜11100，并且由光源装置11203产生的光被设置为在透镜镜筒11101内部延伸的光导引导至透镜镜筒的尖端并且经由物镜朝向患者11132的体腔中的观察对象辐射。另外，内窥镜11100也可以是直视内窥镜、立体观察内窥镜或侧视内窥镜。
[0140]
光学系统和成像元件被设置在摄像头11102的内部，并且来自观察目标的反射光(观察光)通过光学系统会聚在成像元件上。通过成像元件对观察光进行光电转换，生成与该观察光对应的电信号、即与观察图像对应的图像信号。图像信号被作为raw数据发送至照相机控制单元(ccu)11201。
[0141]
ccu 11201由中央处理单元(cpu)、图形处理单元(gpu)等构成，并且全面地控制内窥镜11100和显示装置11202的操作。此外，ccu 11201从摄像头11102接收图像信号并且对图像信号执行用于基于图像信号显示图像的各种类型的图像处理，例如，显影处理(去马赛克处理)等。
[0142]
显示装置11202在ccu 11201的控制下基于ccu 11201已经经历图像处理的图像信号来显示图像。
[0143]
光源装置11203例如由发光二极管(led)等光源构成，将拍摄手术部等时的照射光供给到内窥镜11100。
[0144]
输入装置11204是内窥镜操作系统11000的输入接口。用户能够经由输入装置11204向内窥镜操作系统11000输入各种信息或指令。例如，用户输入用于改变内窥镜11100的成像条件(照射光的类型、倍率、焦距等)的指令。
[0145]
处置器械控制装置11205控制用于对组织进行烧灼、切开、封闭血管等的通电用处理器具11112的驱动。为了确保内窥镜11100的视野并确保操作者的操作空间，气腹装置11206经由气腹管11111向患者11132的体腔内送入气体以对体腔内进行充气。记录器11207是可以记录与操作者相关的各种类型的信息的装置。打印机11208是能够以诸如文本、图像和图形的各种格式打印与操作者相关的各种类型的信息的设备。
[0146]
向内窥镜11100供给用于拍摄手术部位的放射线光的光源装置11203例如可以由led、激光光源、或它们的组合构成的白色光源构成。当通过rgb激光源的组合形成白光源时，可以高精度地控制每种颜色(每种波长)的输出强度和输出时序，并且因此，光源装置11203调整捕获图像的白平衡。此外，在这种情况下，以时分方式将来自各个rgb激光光源的每一个的激光照射至观察目标，并且与照射定时同步地控制摄像头11102的成像元件的驱动，使得还可以以时分方式捕获对应于rgb的每一个的图像。根据该方法，不用对成像元件设置滤光器，就能够获得彩色图像。
[0147]
此外，可以控制光源装置11203的驱动以便以预定的时间间隔改变输出光的强度。摄像头11102的成像元件的驱动与光强度的改变的定时同步地被控制，从而以时分方式获取图像，并且图像被合成，由此能够在没有曝光不足或过曝光的情况下以高动态范围生成所谓的图像。
[0148]
另外，光源装置11203也可以具有能够供给与特殊光观察对应的规定波段的光的结构。在特殊光观察中，通过利用生物体组织的光吸收的波长依赖性来例如射出比通常观察时的照射光(即白色光)窄的频带的光，来进行以高对比度对粘膜表层的血管等规定的组织进行成像的所谓的窄频带光观察(窄频带光观察)。或者，在特殊光观察中，也可以进行通过射出激励光而生成的荧光来获取图像的荧光观察。荧光观察可以通过向身体组织发射激发光并且从身体组织观察荧光(自发荧光观察)来执行，或者向身体组织局部注射诸如吲哚菁绿(icg)的试剂并且向身体组织发射与试剂的荧光波长对应的激发光以获得荧光图像来执行。光源装置11203可以构成为能够供给与这样的特殊光观察对应的窄频带光和/或激励光。
[0149]
图28是示出图27中示出的摄像头11102和ccu 11201的功能配置的示例的框图。
[0150]
摄像头11102具有镜头单元11401、成像单元11402、驱动单元11403、通信单元11404和摄像头控制单元11405。ccu 11201具有通信单元11411、图像处理单元11412、以及控制单元11413。摄像头11102和ccu 11201经由传输电缆11400彼此连接，使得它们可以彼此通信。
[0151]
透镜单元11401是设置在用于与透镜镜筒11101连接的部分处的光学系统。从透镜镜筒11101的顶端获取的观察光被引导至摄像头11102并且入射在透镜单元11401上。透镜单元11401由包括变焦透镜和聚焦透镜的多个透镜的组合构成。
[0152]
成像单元11402由成像元件构成。构成成像单元11402的成像元件可以是一个元件(所谓的单板型)或多个元件(所谓的多板型)。当成像单元11402被配置为多板类型时，例如，对应于rgb的图像信号由成像元件生成，并且可通过合成图像信号获得彩色图像。可选择地，成像单元11402可被配置为包括用于获取与三维(3d)显示相应的右眼和左眼的图像信号的一对成像元件。在进行3d显示时，手术操作者11131能够更准确地掌握手术部内的生物体组织的深度。这里，当成像单元11402被配置为多板类型时，可根据成像元件设置多个透镜单元11401。
[0153]
此外，成像单元11402可不必设置在摄像头11102中。例如，成像单元11402可紧接物镜之后设置在透镜镜筒11101内部。
[0154]
驱动单元11403由致动器构成，并且在摄像头控制单元11405的控制下将透镜单元11401的变焦透镜和聚焦透镜沿着光轴移动预定距离。由此，可适当地调整由成像单元11402捕获的图像的倍率和聚焦。
[0155]
通信单元11404由用于向ccu 11201发送各种信息或者从ccu 11201接收各种信息的通信装置构成。通信单元11404经由传输电缆11400将从成像单元11402获得的图像信号作为raw数据传输至ccu 11201。
[0156]
此外，通信单元11404从ccu 11201接收用于控制摄像头11102的驱动的控制信号，并且将控制信号供应至摄像头控制单元11405。控制信号包括例如关于成像条件的信息，诸如用于指定成像图像的帧速率的信息、用于指定成像时的曝光值的信息和/或用于指定成
像图像的放大倍率和焦点的信息。
[0157]
此外，成像条件(诸如上述的帧速率、曝光值、放大倍率、以及聚焦)可以由用户适当地指定或者可以基于所获取的图像信号由ccu 11201的控制单元11413自动地设置。在后者的情况下，在内窥镜11100中提供所谓的自动曝光(ae)功能、自动聚焦(af)功能和自动白平衡(awb)功能。
[0158]
摄像头控制单元11405基于经由通信单元11404接收的来自ccu 111201的控制信号控制摄像头11102的驱动。
[0159]
通信单元11411由用于向和从摄像头11102发送和接收各种类型的信息的通信设备构成。通信单元11411经由传输电缆11400接收从摄像头11102传输的图像信号。
[0160]
此外，通信单元11411向摄像头11102发送用于控制摄像头11102的驱动的控制信号。图像信号或控制信号可以通过电通信、光通信等传输。
[0161]
图像处理单元11412对作为从摄像头11102发送的raw数据的图像信号执行各种图像处理。
[0162]
控制单元11413进行关于使用内窥镜11100的手术部等的拍摄和通过拍摄手术部等获得的拍摄图像的显示的各种控制。例如，控制单元11413生成用于控制摄像头11102的驱动的控制信号。
[0163]
此外，控制单元11413使显示装置11202基于已经经受图像处理单元11412的图像处理的图像信号，显示通过对手术部分等进行成像而获得的捕获图像。在这种情况下，控制单元11413可使用各种图像识别技术来识别捕获的图像中的各种对象。例如，控制单元11413通过检测捕获图像中包含的物体的边缘形状、颜色等，能够识别钳子、特定的生物体部位、出血、使用了通电用处理器具11112时的雾气等手术器具。当控制单元11413使显示装置11202显示所拍摄的图像时，可使用识别结果使各种类型的手术支持信息与手术部分的图像叠加并显示。当手术辅助信息叠加和显示并呈现给操作者11131时，可以减少操作者11131的负担，并且操作者11131可以可靠地进行操作。
[0164]
将摄像头11102和ccu 11201彼此连接的传输电缆11400是支持电信号通信的电信号电缆、支持光学通信的光纤或者其复合电缆。
[0165]
在此，在附图中示出的示例中，使用传输电缆11400以有线方式执行通信，但是摄像头11102和ccu 11201之间的通信可以以无线方式执行。
[0166]
上面已经描述了可以应用根据本公开的技术的内窥镜操作系统的示例。根据本公开的技术可以应用于例如上述配置之中的摄像头11102的成像单元11402、ccu 111201的图像处理单元11412等。具体而言，图1和图2中的固态成像装置101和1可应用于成像单元10402，并且图1中的信号处理电路105可应用于图像处理单元11412。通过将根据本公开的技术应用于成像单元10402和图像处理单元11412，可以获得手术部分的更清晰的图像，并且因此，外科医生可以可靠地确认手术部分。
[0167]
此处，尽管内窥镜操作系统已被描述为示例，但根据本公开的技术可应用于其他，例如，微观操作系统。
[0168]
本技术还可采取以下配置。
[0169]
(1)一种固态成像装置，包括：
[0170]
像素阵列部，在像素阵列部中排列有多个像素单元组，像素单元组由以2
×
2矩阵
布置的像素单元构成，像素单元由以m
×
m(m是2或更大的自然数)矩阵布置的像素构成，并且像素包括光电转换单元和被形成为与光电转换单元对应的颜色滤光器；
[0171]
其中，像素单元组中的每一个像素单元组包括透射红色光的r滤光器和透射青色光的c滤光器，作为构成像素单元组的四个像素单元之中的第一像素单元中的颜色滤光器，青色光与红色光具有互补色关系；像素单元组中的每一个像素单元组包括透射绿色光的g滤光器和透射品红色光的m滤光器，作为第二像素单元和第三像素单元中的每一个像素单元中的颜色滤光器，品红色光与绿色光具有互补色关系；并且像素单元组中的每一个像素单元组包括透射蓝色光的b滤光器和透射黄色光的y滤光器，作为在第四像素单元中的颜色滤光器，黄色光与蓝色光具有互补色关系。
[0172]
(2)根据(1)所述的固态成像装置，
[0173]
其中，m是3或更大的自然数；
[0174]
第一像素单元被配置为使得在以m
×
m矩阵布置的多个像素之中以棋盘格图案相互定位的一些像素包括r滤光器，并且其余像素包括c滤光器；
[0175]
第二像素单元被配置为使得在以m
×
m矩阵布置的多个像素之中以棋盘格图案相互定位的一些像素包括g滤光器，并且其余像素包括m滤光器；并且
[0176]
第三像素单元被配置为使得在以m
×
m矩阵布置的多个像素之中以棋盘格图案相互定位的一些像素包括b滤光器，并且其余像素包括y滤光器。
[0177]
(3)根据(1)所述的固态成像装置，
[0178]
其中，m＝2；
[0179]
第一像素单元被配置为使得布置在对角位置处的像素对中的一个像素对包括r滤光器，并且另一个像素对包括c滤光器；
[0180]
第二像素单元被配置为使得布置在对角位置处的像素对中的一个像素对包括g滤光器，并且另一个像素对包括m滤光器；并且
[0181]
第三像素单元被配置为使得布置在对角位置处的像素对中的一个像素对包括b滤光器，并且另一个像素对包括m滤光器。
[0182]
(4)一种电子设备，包括：
[0183]
固态成像装置，包括像素阵列部，在像素阵列部中排列有多个像素单元组，像素单元组由以2
×
2矩阵布置的像素单元构成，像素单元由以m
×
m(m是2或更大的自然数)矩阵布置的像素构成，并且像素包括光电转换单元和被形成为与光电转换单元对应的颜色滤光器；其中，像素单元组中的每一个像素单元组包括透射红色光的r滤光器和透射青色光的c滤光器，作为构成像素单元组的四个像素单元之中的第一像素单元中的颜色滤光器，青色光与红色光具有互补色关系；像素单元组中的每一个像素单元组包括透射绿色光的g滤光器和透射品红色光的m滤光器，作为第二像素单元和第三像素单元中的每一个像素单元中的颜色滤光器，品红色光与绿色光具有互补色关系；并且像素单元组中的每一个像素单元组包括透射蓝色光的b滤光器和透射黄色光的y滤光器，作为在第四像素单元中的颜色滤光器，黄色光与蓝色光具有互补色关系；
[0184]
光学透镜，在固态成像装置的成像表面上将来自被摄体的图像光形成为图像；以及
[0185]
信号处理电路，对从固态成像装置输出的信号执行信号处理。
[0186]
(5)根据(4)所述的电子设备，
[0187]
其中，信号处理电路包括合并处理单元，合并处理单元通过以下生成rgb马赛克图像：对与从信号获得的颜色滤光器的排列对应的马赛克图像中的与第一像素单元对应的每一个像素组中包括的图像像素的像素值进行相加，以将像素值设置为仅具有红色的颜色信息的一个图像像素的像素值、对与第二像素单元和第三像素单元对应的每一个像素组中仅具有绿色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有绿色的颜色信息的一个图像像素的像素值、以及对与第四像素单元对应的每一个像素组中仅具有蓝色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有蓝色的颜色信息的一个图像像素的像素值。
[0188]
(6)根据(4)或(5)所述的电子设备，
[0189]
其中，信号处理电路包括合并处理单元，合并处理单元通过以下生成cmy马赛克图像：对与从信号获得的颜色滤光器的排列对应的马赛克图像中的与第一像素单元对应的每一个像素组中仅具有青色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有青色的颜色信息的一个图像像素的像素值、对与第二像素单元和第三像素单元对应的每一个像素组中仅具有品红色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有品红色的颜色信息的一个图像像素的像素值、以及对与第四像素单元对应的每一个像素组中仅具有黄色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有黄色的颜色信息的一个图像像素的像素值。
[0190]
(7)根据(4)至(6)中任一项所述的电子设备，
[0191]
其中，信号处理电路包括亮度值计算单元，亮度值计算单元：对与从信号获得的颜色滤光器的阵列对应的马赛克图像中的与第一像素单元对应的每一个像素组中具有红色和青色的颜色信息的图像像素的像素值进行相加，以计算一个图像像素的亮度值、对与第二像素单元和第三像素单元对应的每一个像素组中具有绿色和品红色的颜色信息的图像像素的像素值进行相加，以计算一个图像像素的亮度值、以及对与第四像素单元对应的每一个像素组中具有蓝色和黄色的颜色信息的图像像素的像素值进行相加，以计算一个图像像素的亮度值。
[0192]
(8)根据(7)所述的电子设备，
[0193]
其中，亮度值计算单元使用通过将马赛克图像的像素值与针对光源的每一个色温而设置的校正系数相乘而获得的数值，作为要用于计算亮度值的像素值。
[0194]
(9)根据(7)或(8)所述的电子设备，
[0195]
其中，信号处理电路包括：
[0196]
合并处理单元通过以下生成rgb马赛克图像：对与从信号获得的颜色滤光器的排列对应的马赛克图像中的与第一像素单元对应的每一个像素组中仅具有红色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有红色的颜色信息的一个图像像素的像素值、对与第二像素单元和第三像素单元对应的每一个像素组中仅具有绿色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有绿色的颜色信息的一个图像像素的像素值、以及对与第四像素单元对应的每一个像素组中仅具有蓝色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有蓝色的颜色信息的一个图像像素的像素值；以及
[0197]
亮度合成单元，对rgb马赛克图像和亮度值进行合成。
[0198]
(10)根据(7)或(8)所述的电子设备，
[0199]
其中，信号处理电路包括：
[0200]
合并处理单元，合并处理单元通过以下生成cmy马赛克图像：对与从信号获得的颜色滤光器的排列对应的马赛克图像中的与第一像素单元对应的每一个像素组中仅具有青色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有青色的颜色信息的一个图像像素的像素值、对与第二像素单元和第三像素单元对应的每一个像素组中仅具有品红色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有品红色的颜色信息的一个图像像素的像素值、以及对与第四像素单元对应的每一个像素组中仅具有黄色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有黄色的颜色信息的一个图像像素的像素值；以及
[0201]
亮度合成单元，亮度合成单元将cmy马赛克图像转换为rgb马赛克图像，然后将所转换的rgb马赛克图像和亮度值进行合成。
[0202]
(11)根据(5)所述的电子设备，
[0203]
其中，合并处理单元通过以下生成rgb马赛克图像并生成cmy马赛克图像：对与从信号获得的颜色滤光器的排列对应的马赛克图像中的与第一像素单元对应的每一个像素组中仅具有青色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有青色的颜色信息的一个图像像素的像素值、对与第二像素单元和第三像素单元对应的每一个像素组中仅具有品红色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有品红色的颜色信息的一个图像像素的像素值、以及对与第四像素单元对应的每一个像素组中仅具有黄色的颜色信息的图像像素的像素值进行相加，以将像素值设置为仅具有黄色的颜色信息的一个图像像素的像素值；并且
[0204]
信号处理电路包括hdr图像生成单元，hdr图像生成单元将cmy马赛克图像转换为rgb马赛克图像，并将所转换的rgb马赛克图像和由合并处理单元生成的rgb马赛克图像进行合成，以生成高动态范围图像。
[0205]
[参考标号列表]
[0206]
1 固态成像装置
[0207]
2 基板
[0208]
3 像素阵列部
[0209]
4 垂直驱动电路
[0210]
5 列信号处理电路
[0211]
6 水平驱动电路
[0212]
7 输出电路
[0213]
8 控制电路
[0214]
9 像素
[0215]
10 像素单元
[0216]
11 像素单元组
[0217]
12 像素驱动布线
[0218]
13 垂直信号线
[0219]
14水平信号线
[0220]
15 绝缘膜
[0221]
16 遮光膜
[0222]
17 平坦膜
[0223]
18 光接收层
[0224]
19 颜色滤光器
[0225]
20 微透镜
[0226]
21 聚光层
[0227]
22 布线层
[0228]
23 支撑基板
[0229]
24 光电转换单元
[0230]
25 像素分离单元
[0231]
26 颜色滤光器阵列
[0232]
27 微透镜阵列
[0233]
28 层间绝缘膜
[0234]
29 布线
[0235]
30 马赛克图像
[0236]
31 图像像素
[0237]
32 图像像素
[0238]
33 rgb马赛克图像
[0239]
34 图像像素
[0240]
35 cmy马赛克图像
[0241]
361、362、363、36
4 像素组
[0242]
37 图像像素
[0243]
38 图像像素
[0244]
39 cmy马赛克图像
[0245]
40 图像像素
[0246]
41 亮度图像
[0247]
42 合成图像
[0248]
43 图像像素
[0249]
44 rgb马赛克图像
[0250]
45 合成图像
[0251]
46 rgb马赛克图像
[0252]
47 hdr图像
[0253]
48 图像像素
[0254]
100 电子设备
[0255]
101 固态成像装置
[0256]
102 光学透镜
[0257]
103 快门装置
[0258]
104 驱动电路
[0259]
105 信号处理电路
[0260]
106 马赛克图像生成单元
[0261]
107 白平衡调整单元
[0262]
108 模式确定单元
[0263]
109 马赛克处理单元
[0264]
110 合并处理单元
[0265]
111 亮度值计算单元
[0266]
112 亮度合成单元
[0267]
113 入射光
[0268]
114 hdr图像生成单元