摄像装置及图像处理方法与流程

1.本公开涉及摄像装置及图像处理方法。


背景技术：

2.近年来，作为对被摄体进行摄像并生成图像数据的摄像装置用的固体摄像元件，ccd(电荷耦合器件(charge coupled device))传感器及cmos(互补金属氧化物半导体(complementary metal oxide semiconductor))传感器等日益普及。这些固体摄像元件的针对入射光的动态范围(即，从被埋没在基底噪声中而无法取出信号的电平直到饱和电平的亮度范围)随着半导体技术的进步而不断提高。但是，在实际利用固体摄像元件的状况下，有时发生超过预先设定的动态范围的入射光。因此，正在大力研究用于扩大动态范围的技术。
3.在专利文献1中，公开了将曝光时间相互不同的图像数据合成从而得到宽动态范围的技术。另外，在专利文献2中，公开了将从被配置在1个像素内的灵敏度不同的多个摄像单元得到的图像数据合成来扩大动态范围的技术。
4.在先技术文献
5.专利文献
6.专利文献1：日本特开昭62-108678号公报
7.专利文献2：日本特开2008-99073号公报


技术实现要素：

8.本发明所要解决的课题
9.本公开提供能够有效地扩大被摄像的图像的动态范围的摄像装置等。
10.用于解决课题的手段
11.本公开的一个方式所涉及的摄像装置具备摄像部和处理电路，该摄像部包括：多个像素，各自包括生成信号电荷的光电转换部以及积蓄所述信号电荷的电荷积蓄部；以及信号读出电路，读出与所述电荷积蓄部中积蓄的所述信号电荷对应的信号，该摄像部输出基于所述信号的图像数据，该处理电路对所述摄像部所输出的图像数据进行处理，所述摄像部以非破坏方式多次进行读出，从而在1帧期间内顺次输出多个图像数据，所述处理电路求出所述多个图像数据之中的连续输出的2个图像数据间的差量从而生成至少1个差量图像数据，从所述多个图像数据之中的最初输出的初始图像数据、以及所述至少1个差量图像数据中，基于各自的亮度值选择1个图像数据作为第1图像数据，将所述第1图像数据、与作为所述多个图像数据中包含的除了所述初始图像数据以外的某一个图像数据的第2图像数据合成，来生成第3图像数据。
12.本公开的一个方式所涉及的图像处理方法中，顺次输入在1帧期间内以非破坏方式多次进行读出从而得到的多个图像数据，求出所述多个图像数据之中的连续输入的2个图像数据间的差量，从而生成至少1个差量图像数据，从所述多个图像数据之中的最初输入
的初始图像数据、以及所述至少1个差量图像数据中，基于各自的亮度值选择1个图像数据作为第1图像数据，将所述第1图像数据、与作为所述多个图像数据中包含的除了所述初始图像数据以外的某一个图像数据的第2图像数据合成，来生成第3图像数据。
13.发明效果
14.本公开所涉及的摄像装置等能够有效地扩大被摄像的图像的动态范围。
附图说明
15.图1是表示比较例所涉及的摄像装置的动作定时的例子的定时图。
16.图2是表示比较例所涉及的摄像装置所摄像的图像的例子的图。
17.图3是表示实施方式1所涉及的摄像装置的例示性的构成的框图。
18.图4是表示实施方式1所涉及的摄像部的例示性的电路构成的示意图。
19.图5是表示实施方式1所涉及的像素的例示性的设备构造的截面示意图。
20.图6是表示实施方式1所涉及的摄像部中的动作的一例的定时图。
21.图7是表示信号读出期间中的控制信号的一例的定时图。
22.图8是表示实施方式1所涉及的图像选择部的例示性的构成的框图。
23.图9是用于说明实施方式1所涉及的图像选择部的动作的一例的图。
24.图10是用于说明实施方式1所涉及的电荷积蓄节点的像素信号电平的变化的一例的图。
25.图11是用于说明在不进行非破坏读出的情况下的像素信号电平的变化的图。
26.图12是用于说明实施方式1所涉及的比较部的动作的一例的图。
27.图13是用于说明实施方式1所涉及的电荷积蓄节点的像素信号电平的变化的其他例的图。
28.图14是表示实施方式2所涉及的图像选择部的例示性的构成的框图。
29.图15是表示实施方式2所涉及的选择控制部的动作的一例的流程图。
30.图16是表示实施方式3所涉及的摄像部的例示性的电路构成的示意图。
具体实施方式
31.(成为本公开的基础的见识)
32.在详细说明本实施方式之前，说明以往的动态范围扩大手段中的摄像装置的动作例。
33.此外，在本说明书中，有时将动态范围被扩大后的图像称为“高动态范围图像”。另外，有时将与动态范围扩大有关的图像数据的取得、以及与动态范围扩大有关的图像处理，分别通过“高动态范围摄像”、以及“高动态范围处理”或“高动态范围合成”等用语表现。
34.作为取得高动态范围图像的方法，例如提出了将通过不同的曝光条件摄像的多个图像数据合成为1个的方法。在该方法中，例如，以长曝光时间和短曝光时间这2个条件对同一场景进行摄像。在以长曝光时间摄像的图像中，亮度高的被摄体部分易于由于光量过多而过曝，另一方面，亮度低的被摄体部分不被埋没在噪声中而更明亮地映现。在以短曝光时间摄像的图像中，亮度低的被摄体部分易于由于光量不足而被埋没在噪声中，另一方面，亮度高的被摄体部分不过曝而能够取得。以下，有时将以长曝光时间摄像的图像称为“长时间
曝光图像”。另外，有时将以短曝光时间摄像的图像称为“短时间曝光图像”。通过以亮度高的部分由短时间曝光图像表现且亮度低的部分由长时间曝光图像表现的方式将各个图像的图像数据合成为1个图像数据，能够得到高动态范围图像。
35.曝光条件不同的多个图像数据例如能够通过在摄像元件的摄像面内按每个像素以不同的曝光时间进行摄像而得到。图1是表示在比较例所涉及的摄像装置中，按摄像装置的每行以不同的曝光时间进行摄像的情况下的摄像装置的动作定时例的定时图。在图1中，表示在cmos传感器中以像素的水平行为单位顺次进行曝光和读出的滚动快门动作。
36.图1的(a)是表示垂直同步信号vd的下降(或者上升)的定时的图。图1的(b)是表示水平同步信号hd的下降(或者上升)的定时的图。图1的(c)是表示摄像元件的第r0行至第r7行的水平像素行中的各水平像素行的读出动作及快门动作的定时的图。在图1的(c)的各水平像素行的图中，在白色矩形所示的定时进行像素的读出动作，在附加垂直线的矩形所示的定时进行电子快门动作。即，属于各水平像素行的各像素的曝光期间，成为该水平像素行中的从快门动作结束至下一次读出动作开始的期间。
37.在图1所示的例中，属于第r0行、第r2行、第r4行及第r6行的各像素的曝光时间是图中所示的曝光时间tel。另外，属于第r1行、第r3行、第r5行及第r7行的各像素的曝光时间是图中所示的曝光时间tes。在图1中，曝光时间tel＞曝光时间tes。像这样，按每个像素以不同的曝光时间进行摄像，并将以曝光时间tel摄像的像素的输出图像数据与以曝光时间tes摄像的像素的输出图像数据合成，从而得到高动态范围的图像。以后，将图1中以曝光时间tel进行摄像的属于第r0行、第r2行、第r4行及第r6行的各像素称为“长时间曝光像素”，将以曝光时间tes进行摄像的属于第r1行、第r3行、第r5行及第r7行的各像素称为“短时间曝光像素”。
38.根据图1能够理解，长时间曝光像素与短时间曝光像素产生相互的曝光不重复的期间。相互的曝光重复的期间、即长时间曝光像素及短时间曝光像素同时曝光的期间的长度最长为短时间曝光像素的曝光时间tes。在长时间曝光像素与短时间曝光像素的曝光不重复的期间中发生的事象，仅被长时间曝光像素记录，而不被短时间曝光像素记录。
39.图2是表示比较例所涉及的摄像装置所摄像的图像的例子的图。图2的“光源”的左侧是表示光源的点灯定时的图，其右侧是表示光源的光源图案200的图。另外，图2的“长时间曝光像素”的左侧是表示长时间曝光像素的曝光的定时的图，其右侧是表示由长时间曝光像素摄像的长时间曝光图像201的图。另外，图2的“短时间曝光像素”的左侧是表示短时间曝光像素的曝光的定时的图，其右侧是表示由短时间曝光像素摄像的短时间曝光图像202的图。
40.例如，如图2所示，在作为被摄体的光源具有点灯的期间及熄灯的期间这双方，进而光源仅在短时间曝光像素的曝光时间tes的期间外点灯的情况下，来自该光源的光仅被长时间曝光像素取得，而不被短时间曝光像素取得。像这样，根据光源点灯的期间的长度、各像素的受光灵敏度及输出图像数据的增益设定等，有可能发生如下状况：在由短时间曝光像素摄像的短时间曝光图像202中未映现来自光源的光，而在由长时间曝光像素摄像的长时间曝光图像201中来自光源的光以过曝的状态映现。例如，在图2的例中，尽管光源具有像光源图案200那样的图案，但由于光源仅在只有长时间曝光像素进行曝光的期间中以某种程度的持续时间点灯，因此在长时间曝光图像201中光源以过曝的状态映现。另一方面，
在短时间曝光图像202中未映现光源自身。结果，在哪一个图像中都无法取得光源图案200的信息。因此，在合成后的输出图像中无法描绘光源图案200，无法得到期望的动态范围扩大效果。也就是说，在比较例所涉及的摄像装置中，根据摄像场景的照明状况，摄像装置的动态范围扩大效果降低，无法有效地扩大被摄像的图像的动态范围。
41.于是，本公开提供能够有效地扩大被摄像的图像的动态范围的摄像装置。例如，本公开提供在如上所述的被摄体的亮度以时间变化的情况下动态范围扩大性能也不容易降低的摄像装置。
42.本公开的一个方式的概要如下。
43.本公开的一个方式所涉及的摄像装置具备摄像部和处理电路，该摄像部包括：多个像素，各自包括生成信号电荷的光电转换部以及积蓄所述信号电荷的电荷积蓄部；以及信号读出电路，读出与所述电荷积蓄部中积蓄的所述信号电荷对应的信号，该摄像部输出基于所述信号的图像数据，该处理电路对所述摄像部所输出的图像数据进行处理，所述摄像部以非破坏方式多次进行读出，从而在1帧期间内顺次输出多个图像数据，所述处理电路求出所述多个图像数据之中的连续输出的2个图像数据间的差量从而生成至少1个差量图像数据，从所述多个图像数据之中的最初输出的初始图像数据、以及所述至少1个差量图像数据中，基于各自的亮度值选择1个图像数据作为第1图像数据，将所述第1图像数据、与作为所述多个图像数据中包含的除了所述初始图像数据以外的某一个图像数据的第2图像数据合成，来生成第3图像数据。
44.由此，根据从摄像部连续输出的图像数据间的差量，生成与以比1帧期间内的曝光时间短的曝光时间摄像的图像数据等价的曝光时间的至少1个差量图像数据。进而，从初始图像数据和差量图像数据中，基于亮度值选择第1图像数据，从而即使作为与以短的曝光时间摄像的图像数据等价的曝光时间的图像数据，也选择适于在高动态范围合成中使用的例如亮度值高的图像数据。然后，通过将第1图像数据、与作为未取差量因而以比第1图像数据长的曝光时间摄像的图像数据的第2图像数据合成，能够得到动态范围扩大的第3图像数据。另外，摄像部以非破坏方式多次进行读出从而输出多个图像数据，因此即使在摄像场景的被摄体的亮度以时间性变化的情况下，在多个图像数据之中也包含有在亮度高的时间段中被曝光的图像数据。因此，在差量图像数据中，即使作为与以短的曝光时间摄像的图像数据等价的曝光时间的图像数据，也包含亮度值高的图像数据。也就是说，在第3图像数据的合成中，使用作为第1图像数据而亮度值高的差量图像数据，因此即使在摄像场景的被摄体的亮度以时间性变化的情况下，动态范围扩大性能也不容易降低。由此，本方式的摄像装置能够有效地扩大被摄像的图像的动态范围。
45.另外，第1图像数据和第2图像数据是从摄像部输出的多个图像数据、或者该多个图像数据的差量图像数据，因此均为基于相同的像素的信号的图像数据。因此，为了得到曝光时间不同的图像数据，无论在时间上还是在位置上都不需要对像素的功能进行分割。由此，本方式的摄像装置不会引起帧率的延长及分辨率的降低，而能够有效地扩大被摄像的图像的动态范围。
46.另外，例如也可以是，所述第2图像数据是所述多个图像数据之中的最后输出的图像数据。
47.由此，第2图像数据是从摄像部输出的多个图像数据之中的曝光时间最长的图像
数据，因此即使在被摄体中存在亮度低的部分的情况下，也确保了第2图像数据的曝光时间，能够合成减小噪声的第3图像数据。
48.另外，例如也可以是，所述处理电路从所述初始图像数据、以及所述至少1个差量图像数据之中的所述1帧期间的最初的差量图像数据中，基于各自的亮度值选择某一方的图像数据，反复从选择的图像数据以及新生成的差量图像数据中基于各自的亮度值选择某一方的图像数据，来选择所述第1图像数据。
49.由此，即使在从摄像部输出的多个图像数据的数量增加的情况下，也反复从选择的图像数据以及新生成的差量图像数据这2个图像数据中选择某一方的图像数据。由此，为了进行选择而保持的图像数据是2个即可。因此，能够削减为了保存图像数据而所需的存储器。
50.另外，例如也可以是，所述处理电路在新生成的差量图像数据的亮度值比之前选择的图像数据的亮度值小的情况下，选择之前选择的图像数据作为所述第1图像数据。
51.像这样，在新生成的差量图像数据的亮度值比之前选择的图像数据的亮度值小的情况下，由于电荷积蓄部中积蓄的信号电荷接近于饱和因而差量图像数据的亮度值变小的可能性高。因此，以后生成的差量图像数据也同样亮度值变小的可能性高，即使不与以后生成的差量图像数据相比，而选择之前选择的图像数据作为第1图像数据，选择的第1图像数据不变的可能性也高。由此，通过选择之前选择的图像数据作为第1图像数据，以后不再需要生成差量图像数据，因此能够提高处理速度并减小耗电。
52.另外，例如也可以是，所述处理电路包括：保存所述摄像部所输出的所述多个图像数据之中的连续输出的2个图像数据中的一方的第1存储器以及保存该2个图像数据中的另一方的第2存储器；差量运算电路，求出所述第1存储器及所述第2存储器中保存的2个图像数据的差量，从而生成差量图像数据；第3存储器，保存所述初始图像数据或者由所述差量运算电路生成的差量图像数据；以及比较电路，将由所述差量运算电路生成的差量图像数据的亮度值，与所述第3存储器中保存的所述初始图像数据或者差量图像数据的亮度值进行比较。
53.由此，仅通过在第1存储器及第2存储器中保存从摄像部连续输出的2个图像数据，且在第3存储器中保存初始图像数据或者差量图像数据，由比较电路对亮度值进行比较。由此，能够通过简易的构成的摄像装置有效地扩大被摄像的图像的动态范围。
54.另外，例如也可以是，所述光电转换部包括：第1电极、第2电极、以及所述第1电极与所述第2电极之间的光电转换层。
55.由此，在具备包括光电转换层的光电转换部的摄像装置中，能够有效地扩大被摄像的图像的动态范围。
56.另外，例如也可以是，所述光电转换部是光电二极管。
57.由此，在具备包括光电二极管的光电转换部的摄像装置中，能够有效地扩大被摄像的图像的动态范围。
58.另外，本公开的一个方式所涉及的图像处理方法中，顺次输入在1帧期间内以非破坏方式多次进行读出从而得到的多个图像数据，求出所述多个图像数据之中的连续输入的2个图像数据间的差量，从而生成至少1个差量图像数据，从所述多个图像数据之中的最初输入的初始图像数据、以及所述至少1个差量图像数据中，基于各自的亮度值选择1个图像
数据作为第1图像数据，将所述第1图像数据、与作为所述多个图像数据中包含的除了所述初始图像数据以外的某一个图像数据的第2图像数据合成，来生成第3图像数据。
59.由此，根据连续输入的图像数据间的差量，生成与以比1帧期间内的曝光时间短的曝光时间摄像的图像数据等价的曝光时间的至少1个差量图像数据。进而，从初始图像数据和差量图像数据中，基于亮度值选择第1图像数据，从而即使作为与以短的曝光时间摄像的图像数据等价的曝光时间的图像数据，也选择适于在高动态范围合成中使用的例如亮度值高的图像数据。通过将第1图像数据、与作为未取差量因而以比第1图像数据长的曝光时间摄像的图像数据的第2图像数据合成，能够得到动态范围扩大的第3图像数据。另外，以非破坏方式多次进行读出从而输入多个图像数据，因此即使在摄像场景的被摄体的亮度以时间性变化的情况下，在多个图像数据之中也包含有在亮度高的时间段中被曝光的图像数据。因此，在差量图像数据中，即使作为与以短的曝光时间摄像的图像数据等价的曝光时间的图像数据，也包含亮度高的图像数据。也就是说，在第3图像数据的合成中，使用作为第1图像数据而亮度值高的差量图像数据，因此即使在摄像场景的被摄体的亮度以时间性变化的情况下，动态范围扩大性能也不容易降低。由此，本方式的图像处理方法能够有效地扩大被摄像的图像的动态范围。
60.另外，例如也可以是，所述第2图像数据是所述多个图像数据之中的所述1帧期间内的最后输出的图像数据。
61.由此，第2图像数据是被输入的多个图像数据之中的曝光时间最长的图像数据，因此在被摄体中存在亮度低的部分的情况下，也确保了第2图像数据的曝光时间，能够合成减小噪声的第3图像数据。
62.另外，例如也可以是，所述图像处理方法从所述初始图像数据、以及所述至少1个差量图像数据之中的所述1帧期间的最初的差量图像数据中，基于各自的亮度值选择某一方的图像数据，反复从选择的图像数据以及新生成的差量图像数据中基于各自的亮度值选择某一方的图像数据，来选择所述第1图像数据。
63.由此，即使在输入的多个图像数据的数量增加的情况下，也反复从选择的图像数据以及新生成的差量图像数据这2个图像数据中选择某一方的图像数据。因此，为了进行选择而保持的图像数据是2个即可。由此，能够削减为了保存图像数据而所需的存储器。
64.另外，例如也可以是，所述图像处理方法在新生成的差量图像数据的亮度值比之前选择的图像数据的亮度值小的情况下，选择之前选择的图像数据作为所述第1图像数据。
65.像这样，在新生成的差量图像数据的亮度值比之前选择的图像数据的亮度值小的情况下，由于电荷积蓄部中积蓄的信号电荷接近于饱和因而差量图像数据的亮度值变小的可能性高。因此，以后生成的差量图像数据也同样亮度值变小的可能性高，即使不与以后生成的差量图像数据相比，而选择之前选择的图像数据作为第1图像数据，选择的第1图像数据不变的可能性也高。由此，通过选择之前选择的图像数据作为第1图像数据，以后不再需要生成差量图像数据，因此能够提高处理速度并减小耗电。
66.以下，参照附图说明本公开的实施方式。此外，以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接方式、步骤、步骤的顺序等为一例，意图不在于限定本公开。本说明书中说明的各种方式只要不产生矛盾则能够相互组合。此外，关于以下的实施方式中的构成要素之中表示
最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素而被说明。在以下的说明中，具有实质上相同的功能的构成要素由共通的参照标记表示，有时省略说明。
67.(实施方式1)
68.首先，说明实施方式1所涉及的摄像装置。
69.[摄像装置的整体构成]
[0070]
本实施方式所涉及的摄像装置具有如下功能：根据通过不同的曝光时间摄像的多个图像数据，生成高动态范围图像的图像数据。本实施方式所涉及的摄像装置中包含的摄像部以规定的曝光时间进行摄像，并且在该曝光时间中多次以非破坏方式读出像素信号。进而，在本实施方式所涉及的摄像装置中包含的图像处理部中，生成通过上述以非破坏方式读出像素信号而得到的多个图像数据彼此的差量图像数据。从最初得到的图像数据以及差量图像数据中，例如基于图像数据中的局部的亮度值选择1个图像数据，将选择的图像数据、与通过上述的规定的曝光时间的摄像而得到的图像数据合成，从而生成高动态范围图像的图像数据。
[0071]
图3是表示本实施方式所涉及的摄像装置的例示性的构成的框图。如图3所示，本实施方式所涉及的摄像装置100具备透镜光学系统110、摄像部120、摄像控制部130及图像处理部140。图像处理部140是处理电路的一例。
[0072]
透镜光学系统110例如包括自动调焦用透镜、变焦用透镜及光阑。透镜光学系统110将光聚光至摄像部120的摄像面。
[0073]
摄像部120将经由透镜光学系统110入射的光转换为与其强度相应的电信号，并作为图像数据输出。在此，摄像部120具有不伴随着信号的复位动作而读出与入射光强度相应的信号、换言之以非破坏方式读出信号的功能。即，摄像部120以规定的曝光时间进行摄像，并且在该曝光时间中以非破坏方式读出各像素的信号，从而输出基于非破坏方式读出的规定的曝光时间中途的图像数据、以及以规定的曝光时间摄像的通常读出图像数据il这双方。也就是说，在包含规定的曝光时间在内的1帧期间内，摄像部以非破坏方式多次进行读出，从而在1帧期间内顺次输出多个图像数据。通常读出图像数据il是第2图像数据的一例。关于摄像部120的详细构成在后文中叙述。
[0074]
摄像控制部130生成用于控制摄像部120的信号并向摄像部120供给。用于控制摄像部120的信号，例如是垂直同步信号(vd)或水平同步信号(hd)、以及用于开始上述的非破坏读出的触发信号等。在图3所示的例子中，以将摄像控制部130与摄像部120分离的状态进行了记载，但两者也可以被制作在同一半导体基板上。另外，摄像控制部130的一部分或者全部也可以包含在摄像部120中。摄像控制部130例如由专用电路、处理器、存储器或者它们的组合等实现。
[0075]
图像处理部140接受从摄像部120输出的多个图像数据，进行多个图像数据的图像处理。图像处理部140具有图像选择部141及hdr合成部142。图像处理部140例如由专用电路、处理器、存储器或者它们的组合等实现。
[0076]
图像选择部141求出基于来自摄像控制部130的控制信号在摄像部120中以非破坏方式读出且被输出的连续的2个图像数据间的差量，从而生成至少1个差量图像数据。进而，从多个图像数据之中的最初输出的初始图像数据、以及至少1个差量图像数据中，基于各自的亮度值选择某1个图像数据，并作为输出图像数据is输出。输出图像数据is是第1图像数
据的一例。详细后述，由图像选择部141选择的输出图像数据is，相当于以比摄像部120或者摄像控制部130中设定的规定的曝光时间短的曝光时间摄像的图像数据。即，图像选择部141的输出图像数据is、以及从摄像部120输出的以规定的曝光时间摄像的通常读出图像数据il，被作为上述的高动态范围摄像中的短时间曝光图像及长时间曝光图像的图像数据供给至hdr合成部142。
[0077]
hdr合成部142接受从图像选择部141输出的输出图像数据is、以及作为从摄像部120输出的多个图像数据中的1个图像数据的通常读出图像数据il。hdr合成部142将输出图像数据is与通常读出图像数据il合成，生成合成结果图像数据ihdr。由此，由摄像装置100摄像高动态范围图像。
[0078]
[摄像部的电路构成]
[0079]
接下来，说明摄像部120的电路构成。图4是表示本实施方式所涉及的摄像部120的例示性的电路构成的示意图。图4所示的摄像部120具有包括以2维排列的多个像素10的像素阵列pa。图4示意性地表示将像素10以2行2列的矩阵状配置的例子。摄像部120中的像素10的数量及配置不限定于图4所示的例子。另外，有时将这些像素10以2维排列的面称为摄像面。
[0080]
各像素10具有光电转换部13及信号检测电路14。如后文中参照附图说明的那样，光电转换部13具有隔在相互对置的2个电极之间的光电转换层，接受入射的光并生成信号电荷。光电转换部13不需要其整体是按每个像素10而独立的元件，光电转换部13的例如一部分也可以跨多个像素10。信号检测电路14是检测由光电转换部13生成的信号电荷的电路。具体而言，信号检测电路14读出与后述的电荷积蓄节点41中积蓄的信号电荷对应的信号。在该例中，信号检测电路14包含信号检测晶体管24及地址晶体管26。信号检测晶体管24及地址晶体管26例如是场效应晶体管(fet)，在此，作为信号检测晶体管24及地址晶体管26，例示n沟道mosfet(金属氧化物半导体场效应晶体管(metal oxide semiconductor field effect transistor))。信号检测晶体管24及地址晶体管26、以及后述的复位晶体管28等各晶体管具有控制端子、输入端子及输出端子。控制端子例如是栅极。输入端子是漏极及源极中的一方，例如是漏极。输出端子是漏极及源极中的另一方，例如是源极。
[0081]
如图4中示意地所示，信号检测晶体管24的控制端子具有与光电转换部13的电连接。由光电转换部13生成的信号电荷被积蓄在信号检测晶体管24的栅极与光电转换部13之间的电荷积蓄节点41中。在此，信号电荷是空穴或者电子。电荷积蓄节点41是电荷积蓄部的一例，也称为“浮动扩散节点”。光电转换部13的构造的详细情况留待后述。
[0082]
摄像部120具备对像素阵列pa进行驱动并在多个定时取得图像数据的驱动部。驱动部包括电压供给电路32、复位电压源34、垂直扫描电路36、列信号处理电路37及水平信号读出电路38。
[0083]
各像素10的光电转换部13还具有与灵敏度控制线42的连接。在图4所例示的构成中，灵敏度控制线42与电压供给电路32连接。电压供给电路32向后述的对置电极12供给规定的电压。另外，也可以在帧间将不同的电压向对置电极12供给。
[0084]
电压供给电路32不限定于特定的电源电路，既可以是生成规定的电压的电路，也可以是将从其他电源供给的电压转换为规定的电压的电路。
[0085]
各像素10具有与供给电源电压vdd的电源线40的连接。如图所示，在电源线40上，
连接有信号检测晶体管24的输入端子。通过电源线40作为源极跟随器电源发挥功能，信号检测晶体管24将由光电转换部13生成并积蓄在电荷积蓄节点41中的信号电荷放大并输出。由此，摄像部120能够以非破坏方式输出与电荷积蓄节点41中积蓄的信号电荷对应的信号。
[0086]
在信号检测晶体管24的输出端子上，连接着地址晶体管26的输入端子。地址晶体管26的输出端子与按像素阵列pa的每列配置的多个垂直信号线47之中的1个连接。地址晶体管26的控制端子与地址控制线46连接，通过控制地址控制线46的电位，能够将信号检测晶体管24的输出选择性地向对应的垂直信号线47读出。
[0087]
在图示的例中，地址控制线46与垂直扫描电路36连接。垂直扫描电路36也称为“行扫描电路”。垂直扫描电路36通过向地址控制线46施加规定的电压，以行为单位选择各行中配置的多个像素10。由此，执行被选择的像素10的信号的读出、以及后述的电荷积蓄节点41的复位动作。
[0088]
进而，在垂直扫描电路36上，连接着像素驱动信号生成电路39。在图示的例中，像素驱动信号生成电路39生成对像素阵列pa的各行中配置的像素10进行驱动的信号，生成的像素驱动信号被供给至由垂直扫描电路36选择的行的像素10。
[0089]
垂直信号线47是将来自像素阵列pa的像素信号向周边电路传递的主信号线。在垂直信号线47上，连接着列信号处理电路37。列信号处理电路37也称为“行信号积蓄电路”。列信号处理电路37进行以相关双重采样为代表的噪音抑制信号处理及模拟-数字转换(ad转换)等。如图所示，列信号处理电路37与像素阵列pa中的像素10的各列对应地设置。在这些列信号处理电路37上，连接着水平信号读出电路38。水平信号读出电路38也称为“列扫描电路”。水平信号读出电路38从多个列信号处理电路37向水平共通信号线49顺次读出信号。
[0090]
在图4所例示的构成中，像素10具有复位晶体管28。复位晶体管28例如能够与信号检测晶体管24及地址晶体管26同样是场效应晶体管。以下，只要没有特别说明，就说明适用了n沟道mosfet作为复位晶体管28的例子。如图所示，复位晶体管28被连接在供给复位电压vr的复位电压线44与电荷积蓄节点41之间。复位晶体管28的控制端子与复位控制线48连接，通过控制复位控制线48的电位，能够将电荷积蓄节点41的电位复位为复位电压vr。在该例中，复位控制线48与垂直扫描电路36连接。因此，通过垂直扫描电路36向复位控制线48施加规定的电压，能够以行为单位将各行中配置的多个像素10复位。
[0091]
在该例中，向复位晶体管28供给复位电压vr的复位电压线44与复位电压源34连接。复位电压源34也称为“复位电压供给电路”。复位电压源34只要具有能够在摄像部120动作时向复位电压线44供给规定的复位电压vr的构成即可，与上述的电压供给电路32同样不限定于特定的电源电路。电压供给电路32及复位电压源34各自既可以是单一的电压供给电路的一部分，也可以是独立的个别的电压供给电路。此外，电压供给电路32及复位电压源34中的一方或者双方也可以是垂直扫描电路36的一部分。或者，来自电压供给电路32的灵敏度控制电压以及/或者来自复位电压源34的复位电压vr也可以经由垂直扫描电路36向各像素10供给。
[0092]
也能够使用信号检测电路14的电源电压vdd作为复位电压vr。在该情况下，能够使向各像素10供给电源电压的在图4中未图示的电压供给电路与复位电压源34共通。另外，能够使电源线40与复位电压线44共通，因此能够简化像素阵列pa中的布线。但是，通过将复位电压vr设为与信号检测电路14的电源电压vdd不同的电压，能够更加灵活地控制摄像部
120。
[0093]
[像素的设备构造]
[0094]
接下来，说明摄像部120的像素10的设备构造。图5是表示本实施方式所涉及的像素10的例示性的设备构造的截面示意图。在图5所例示的构成中，上述的信号检测晶体管24、地址晶体管26及复位晶体管28形成于半导体基板20。半导体基板20不限定于其整体为半导体的基板。半导体基板20也可以是在形成感光区域一侧的表面设置了半导体层的绝缘性基板等。在此，说明使用p型硅(si)基板作为半导体基板20的例子。
[0095]
半导体基板20具有杂质区域26s、24s、24d、28d及28s、以及用于像素10间的电分离的元件分离区域20t。在此，杂质区域26s、24s、24d、28d及28s是n型区域。另外，元件分离区域20t也被设置在杂质区域24d与杂质区域28d之间。元件分离区域20t通过例如基于规定的注入条件进行受体的离子注入来形成。
[0096]
杂质区域26s、24s、24d、28d及28s例如是在半导体基板20内形成的杂质的扩散层。如图5中示意地所示，信号检测晶体管24包括杂质区域24s及杂质区域24d、以及栅极电极24g。栅极电极24g使用导电性材料被形成。导电性材料例如是通过掺杂杂质从而被赋予了导电性的多晶硅，但也可以是金属材料。杂质区域24s作为信号检测晶体管24的例如源极区域发挥功能。杂质区域24d作为信号检测晶体管24的例如漏极区域发挥功能。在杂质区域24s与杂质区域24d之间，形成信号检测晶体管24的沟道区域。
[0097]
同样，地址晶体管26包括杂质区域26s及杂质区域24s、以及与地址控制线46(参照图4)连接的栅极电极26g。栅极电极26g使用导电性材料被形成。导电性材料例如是通过掺杂杂质从而被赋予了导电性的多晶硅，但也可以是金属材料。在该例中，信号检测晶体管24及地址晶体管26通过共享杂质区域24s从而相互电连接。杂质区域24s作为地址晶体管26的例如漏极区域发挥功能。杂质区域26s作为地址晶体管26的例如源极区域发挥功能。杂质区域26s具有与在图5中未图示的垂直信号线47(参照图4)的连接。此外，杂质区域24s也可以不由信号检测晶体管24及地址晶体管26共享。具体而言，信号检测晶体管24的源极区域与地址晶体管26的漏极区域也可以在半导体基板20内分离，经由被设置在层间绝缘层50内的布线层被电连接。
[0098]
复位晶体管28包括杂质区域28d及28s、以及与复位控制线48(参照图4)连接的栅极电极28g。栅极电极28g例如使用导电性材料被形成。导电性材料例如是通过掺杂杂质从而被赋予了导电性的多晶硅，但也可以是金属材料。杂质区域28s作为复位晶体管28的例如源极区域发挥功能。杂质区域28s具有与在图5中未图示的复位电压线44(参照图4)的连接。杂质区域28d作为复位晶体管28的例如漏极区域发挥功能。
[0099]
在半导体基板20上，以覆盖信号检测晶体管24、地址晶体管26及复位晶体管28的方式配置有层间绝缘层50。层间绝缘层50例如由二氧化硅等绝缘性材料形成。如图所示，在层间绝缘层50中，配置有布线层56。布线层56例如由铜等金属形成，例如在其一部分中能够包括上述的垂直信号线47等信号线或者电源线。层间绝缘层50中的绝缘层的层数、以及层间绝缘层50中配置的布线层56中包含的层数能够任意地设定，不限定于图5所示的例子。
[0100]
在层间绝缘层50上，配置上述的光电转换部13。采用别的说法，在本实施方式中，构成像素阵列pa(参照图4)的多个像素10形成在半导体基板20中及半导体基板20上。在半导体基板20上以2维排列的多个像素10形成感光区域。感光区域也被称为像素区域。相邻的
2个像素10间的距离即像素间距例如也可以是2μm左右。
[0101]
光电转换部13包含像素电极11、对置电极12、以及被配置在它们之间的光电转换层15。像素电极11是第1电极的一例，对置电极12是第2电极的一例。在图示的例中，对置电极12及光电转换层15跨多个像素10形成。另一方面，像素电极11按每个像素10设置，通过与相邻的其他像素10的像素电极11在空间上分离，从而相对于其他像素10的像素电极11电分离。
[0102]
对置电极12例如是由透明的导电性材料形成的透明电极。对置电极12被配置在光电转换层15中供光入射一侧。因此，透射了对置电极12的光向光电转换层15入射。此外，由摄像部120检测的光不限定于可见光的波长范围内的光。例如，摄像部120也可以检测红外线或者紫外线。在此，可见光的波长范围例如是380nm以上且780nm以下。本说明书中的“透明”意味着透射想要检测的波长范围的光的至少一部分，不必须在可见光的波长范围整体中透射光。在本说明书中，为了方便，将包含红外线及紫外线的电磁波整体表现为“光”。对置电极12例如能够使用ito、izo、azo、fto、sno2、tio2、zno2等透明导电性氧化物(tco：transparent conducting oxide)。
[0103]
光电转换层15接受入射的光并产生空穴-电子对。光电转换层15例如由有机半导体材料形成。
[0104]
如参照图4说明的那样，对置电极12具有与连接于电压供给电路32的灵敏度控制线42的连接。另外，在此，对置电极12跨多个像素10形成。因此，能够经由灵敏度控制线42，从电压供给电路32将期望的大小的灵敏度控制电压向多个像素10间一并施加。此外，只要能够从电压供给电路32施加期望的大小的灵敏度控制电压，则对置电极12也可以按每个像素10分离设置。同样，光电转换层15也可以按每个像素10分离设置。
[0105]
像素电极11是用于收集由光电转换部13生成的信号电荷的电极。像素电极11按每个像素10至少存在1个。像素电极11与对置电极12对置配置。通过控制相对于像素电极11的电位的对置电极12的电位，能够由像素电极11将通过光电转换在光电转换层15内产生的空穴-电子对之中的作为正电荷的空穴及作为负电荷的电子中的某一方作为信号电荷收集。例如在利用空穴作为信号电荷的情况下，通过使对置电极12的电位比像素电极11高，能够通过像素电极11选择性地收集空穴。另外，每单位时间收集的信号电荷量与像素电极11和对置电极12之间的电位差相应地变化。以下，例示利用空穴作为信号电荷的情况。此外，也能够利用电子作为信号电荷。在该情况下，使对置电极12的电位比像素电极11低即可。
[0106]
像素电极11由铝或铜等金属、金属氮化物、或者通过掺杂杂质而赋予了导电性的多晶硅等形成。
[0107]
像素电极11也可以是遮光性的电极。例如，通过形成厚度为100nm的tan电极作为像素电极11，能够实现足够的遮光性。通过将像素电极11设为遮光性的电极，能够抑制经过光电转换层15后的光向形成于半导体基板20的晶体管的沟道区域或者杂质区域入射。在图示的例中，该晶体管是信号检测晶体管24、地址晶体管26及复位晶体管28中的至少某一个。也可以利用上述的布线层56在层间绝缘层50内形成遮光膜。通过利用这些遮光性的电极或者遮光膜抑制光向形成于半导体基板20的晶体管的沟道区域入射，例如能够抑制晶体管的阈值电压的变动等晶体管的特性的偏移等。另外，通过抑制光向形成于半导体基板20的杂质区域入射，能够抑制由于杂质区域中的意外的光电转换引起噪声混入。像这样，抑制光向
半导体基板20入射，有助于提高摄像部120的可靠性。
[0108]
如图5中示意地所示，像素电极11经由插塞52、布线53及接触插塞54，与信号检测晶体管24的栅极电极24g连接。换言之，信号检测晶体管24的栅极具有与像素电极11的电连接。插塞52及布线53例如能够由铜等金属形成。插塞52、布线53及接触插塞54构成信号检测晶体管24与光电转换部13之间的电荷积蓄节点41(参照图4)的至少一部分。布线53能够是布线层56的一部分。另外，像素电极11经由插塞52、布线53及接触插塞55也与杂质区域28d连接。在图5所例示的构成中，信号检测晶体管24的栅极电极24g、插塞52、布线53、接触插塞54及55、以及作为复位晶体管28的源极区域及漏极区域中的一方的杂质区域28d，构成电荷积蓄节点41的至少一部分，作为积蓄由像素电极11收集的信号电荷的电荷积蓄区域发挥功能。
[0109]
与由像素电极11收集信号电荷从而积蓄至电荷积蓄节点41中的信号电荷的量相应的电压，被施加至信号检测晶体管24的栅极。信号检测晶体管24放大该电压。由信号检测晶体管24放大的电压作为信号电压经由地址晶体管26被选择性地读出。也就是说，读出与电荷积蓄节点41中积蓄的信号电荷对应的信号。在本说明书中，有时将与像素10中的电荷积蓄节点41中积蓄的信号电荷对应的信号电压简称为“信号”或者“像素信号”。
[0110]
如上的摄像部120能够使用一般的半导体制造工艺制造。特别是，在使用硅基板作为半导体基板20的情况下，能够利用各种硅半导体工艺来制造。
[0111]
[摄像部的动作]
[0112]
接下来，说明本实施方式所涉及的摄像装置100的动作。换言之，说明摄像装置100所进行的图像处理方法。首先，以下参照图4至图7说明摄像部120中的动作的一例。为了简化说明，在此说明像素阵列pa中包含的像素10的行数为第r0行～第r7行的合计8行的情况下的动作的例子。
[0113]
首先，关于取得摄像部120中的图像数据进行说明。在取得图像数据时，执行将像素阵列pa中的各像素10的电荷积蓄节点41复位的复位动作、以及与复位动作后积蓄的电荷信号对应的信号的读出。本实施方式所涉及的摄像部120并用称为“通常读出”的读出方式与称为“非破坏读出”的读出方式。通常读出在一次读出期间中，进行非破坏方式的像素信号的读出，并且为了下1帧期间中的电荷积蓄而进行将电荷积蓄节点41的电位复位的复位动作。非破坏读出仅进行非破坏方式的像素信号的读出，而不伴随着将电荷积蓄节点41的电位复位的复位动作。摄像部120通过通常读出和非破坏读出，不进行复位动作而以非破坏方式连续多次进行读出，从而在1帧期间内顺次输出多个图像数据。
[0114]
图6是表示本实施方式所涉及的摄像部120中的动作的一例的定时图。图6的(a)是表示垂直同步信号vd的下降(或者上升)的定时的图。图6的(b)是表示水平同步信号hd的下降(或者上升)的定时的图。图6的(c)表示用于规定在摄像部120中实施非破坏读出的定时的非破坏读出触发信号vd＿nd的定时的一例的图。图6的(d)是示意性地表示像素阵列pa的各行中的信号读出期间的读出定时的图。在图6的(d)的图中，在白色矩形所示的定时进行像素的通常读出，在附加点影的矩形所示的定时进行非破坏读出。
[0115]
垂直同步信号vd、水平同步信号hd及非破坏读出触发信号vd＿nd例如由摄像控制部130供给至摄像部120。
[0116]
在图6的例中，在1帧期间中进行1次通常读出和3次非破坏读出。在此，1帧期间，是
指图6的(a)所示的2个连续的垂直同步信号vd之间的时间tvd的期间，换言之是指图6中的时刻t0至t5的期间。
[0117]
如图6所示，摄像部120基于垂直同步信号vd，在时刻t0，开始属于第r0行的多个像素10的信号的通常读出。其后，在时刻t2，开始第1次非破坏读出，在时刻t3开始第2次非破坏读出，在时刻t4开始第3次非破坏读出。接下来，在时刻t5，基于下一个垂直同步信号vd，开始属于第r0行的多个像素的信号的通常读出。关于属于第r1行以后的像素10的读出，也与上述的属于第r0行的像素10同样进行这样的通常读出及非破坏读出。与属于第r0行的像素10的差异在于，读出的开始时刻按每单位时间、例如在图6中作为时间thd示出的每1hd期间向后方偏移。
[0118]
图7是表示上述的信号读出期间中的控制信号的一例的定时图。图7的(a)、(b)及(c)是分别与图6的(a)、(b)及(c)同样表示垂直同步信号vd及水平同步信号hd的下降(或者上升)的定时、以及非破坏读出触发信号vd＿nd的定时的图。在图7的(d)中，“vsel＿r0”是表现属于第r0行的多个像素10中的地址控制线46的电位vsel＿r0的时间变化的图，“vrs＿r0”是表现属于第r0行的多个像素10中的复位控制线48的电位vrs＿r0的时间变化的图，“vfd＿r0”是表现属于第r0行的特定的像素10中的电荷积蓄节点41的电位vfd＿r0的时间变化的图。在图7的(d)中，“vsel＿r1”、“vrs＿r1”、“vsel＿r2”、“vrs＿r2”、“vsel＿r3”及“vrs＿r3”是分别与“vsel＿r0”及“vrs＿r0”同样表现地属于第r1行、第r2行及第r3行的多个像素10中的地址控制线46的电位的时间变化及复位控制线48的电位的时间变化的图。
[0119]
在信号读出期间中，首先，最初进行通常读出。在通常读出中，首先，基于垂直同步信号vd，在时刻t0使第r0行的地址控制线46的电位vsel＿r0成为高(high)电平，具体而言设定为图7的“vsel＿r0”所示的电位vh，从而使得其栅极与该地址控制线46连接的地址晶体管26导通。由此，电荷积蓄节点41的电位vfd＿r0、具体而言与时刻t0以前积蓄在电荷积蓄节点41中的信号电荷量相应的像素信号电位vsig＿l所对应的信号电压向垂直信号线47输出，并向列信号处理电路37传递。也就是说，读出第r0行的像素10的像素信号。
[0120]
在上述的像素10的像素信号的读出完成后，例如列信号处理电路37中的像素信号的ad转换完成后，在相同的通常读出期间内，以如下次序进行属于第r0行的像素10的复位动作。首先，使第r0行的复位控制线48的电位vrc＿r0成为高电平，具体而言设定为图7的“vrs＿r0”所示的电位vh，从而使得其栅极与该复位控制线48连接的复位晶体管28导通。由此，电荷积蓄节点41与复位电压线44连接，向电荷积蓄节点41供给复位电压vr。即，电荷积蓄节点41的电位vfd＿r0被复位为复位电压vr。其后，在从时刻t0经过了时间trs的时刻t1，使复位控制线48的电位vrs＿r0成为低(low)电平，具体而言设定为图7的“vrs＿r0”所示的电位vl，使复位晶体管28截止，在此基础上经由垂直信号线47从第r0行的像素10读出复位动作后的像素信号。此时得到的像素信号是与复位电压vr的大小对应的像素信号。
[0121]
在读出上述复位动作后的像素信号后，使地址控制线46的电位vsel＿r0成为低电平，具体而言设定为图7的“vsel＿r0”所示的电位vl，使地址晶体管26截止。在此读出的像素信号电位vsig＿l1及复位电压vr所对应的信号电压分别向列信号处理电路37传递，例如进行通过取得相互的信号处理结果的差量来去除固定模式噪声等信号处理。
[0122]
在图6及图7中以时间trs所示的时间，表现从上述的像素信号的通常读出开始到电荷积蓄节点41的电位的复位动作完成为止的时间，从时刻t0经过了时间trs的时刻t1成
为下一次像素信号读出中的曝光的开始点。
[0123]
接下来，进行非破坏读出。首先，在从时刻t1经过了时间te1后的时刻t2，基于非破坏读出触发信号vd＿nd，再次将第r0行的地址控制线46的电位vsel＿r0设定为高电平。由此，使得其栅极与该地址控制线46连接的地址晶体管26导通。此时的电荷积蓄节点41的电位vfd＿r0是与在时刻t1至时刻t2之间的时间te1的期间中积蓄在电荷积蓄节点41中的电荷量对应的像素信号电位vsig＿e1，通过上述的信号读出的操作，与像素信号电位vsig＿e1对应的信号电压向垂直信号线47输出并向列信号处理电路37传递。
[0124]
另一方面，在时刻t2开始的非破坏读出中，第r0行的复位控制线48的电位vrc＿r0不从低电平变化。结果，其栅极与复位控制线48连接的复位晶体管28保持截止，电荷积蓄节点41的电位vfd＿r0不向复位电压vr变化。由于不进行该电荷积蓄节点41的电位vdf＿r0的复位动作，该电荷积蓄节点41中积蓄的信号电荷不伴随着时刻t2的读出动作而被破坏，即进行非破坏读出。在电荷积蓄节点41的电位vfd＿r0的读出完成的时刻，将地址控制线46的电位设定为低电平，使地址晶体管26截止。
[0125]
在从时刻t2经过了时间te2的时刻t3、以及从时刻t3经过了时间te3的时刻t4，也基于非破坏读出触发信号vd＿nd，与时刻t1的动作同样进行非破坏读出。即，在各时刻t3及t4，将第r0行的地址控制线46的电位vsel＿r0设定为高电平，使得其栅极与该地址控制线46连接的地址晶体管26导通。由此，在时刻t3，与在时刻t1至时刻t3之间的“时间te1+时间te2”的期间中积蓄在电荷积蓄节点41中的电荷量对应的像素信号电位vsig＿e2所对应的信号电压，向垂直信号线47输出，并向列信号处理电路37传递。另外，在时刻t4，与在时刻t1至时刻t4之间的“时间te1+时间te2+时间te3”的期间中积蓄在电荷积蓄节点41中的电荷量对应的像素信号电位vsig＿e3所对应的信号电压，向垂直信号线47输出，并向列信号处理电路37传递。进而，第r0行的复位控制线48的电位vrc＿r0不从低电平变化，不将电荷积蓄节点41的电位vdf＿r0向复位电压vr复位。与从时刻t2开始的读出同样，在从时刻t3及时刻t4分别开始的电荷积蓄节点41的电位vfd＿r0的读出完成的时刻，将地址控制线46的电位设定为低电平，使地址晶体管26截止。
[0126]
接下来，再次进行通常读出。首先，基于下一垂直同步信号vd，在时刻t5将第r0行的地址控制线46的电位vsel＿r0设定为高电平，从而使得其栅极与该地址控制线46连接的地址晶体管26导通。此时的电荷积蓄节点41的电位vfd＿r0，是与在时刻t1至时刻t5的“时间te1+时间te2+时间te3+时间te4＝曝光时间tel”的期间、即从垂直同步信号vd的间隔的时间tvd减去时间trs而得到的长度的期间中积蓄在电荷积蓄节点41中的电荷量对应的像素信号电位vsig＿l2。与该电位对应的信号电压通过上述的操作向垂直信号线47输出，并向列信号处理电路37传递。另外，在从时刻t5开始的通常读出中，与时刻t0的通常读出同样，在相同的通常读出期间内，进行属于第r0行的像素10的复位动作。即，将第r0行的复位控制线48的电位vrc＿r0设定为高电平，使得其栅极与该复位控制线48连接的复位晶体管28导通，从而电荷积蓄节点41的电位vdf＿r0被复位为复位电压vr。其后，在经过了时间trs后的时刻t6，将复位控制线48的电位设定为低电平，使复位晶体管28截止，在此基础上经由垂直信号线47从第r0行的像素10读出复位动作后的像素信号。在读出上述的像素信号后，将地址控制线46的电位设定为低电平，使地址晶体管26截止。在从时刻t5开始的通常读出中，首先，以非破坏方式读出与像素信号电位vsig＿l2对应的信号，其后，将电荷积蓄节点
41的电位vdf＿r0复位。
[0127]
关于属于第r1行以后的像素10的读出，也与上述的属于第r0行的像素10的读出同样进行。与属于第r0行的像素10的差异在于，读出的开始时刻按每单位时间、例如按在图7中作为时间thd表示的每1hd期间向后方偏移。在本说明书中，在说明摄像装置100的动作定时时，仅基于属于第r0行的像素10的读出定时描述摄像部120的动作，关于上述的属于第r1行以后的像素10的读出定时的偏移有时省略记载。
[0128]
在图6及图7中，非破坏读出在1帧期间内实施3次，但1帧期间内的非破坏读出的次数不特别限定，既可以是1次以上2次以下，也可以是4次以上。例如，次数也可以根据摄像场景的被摄体的亮度等变更。
[0129]
在图6及图7中，为了简化说明，关于电子快门动作、即为了调整各像素10的曝光时间而在1帧期间的某一个定时将电荷积蓄节点41中积蓄的电荷排出的动作，并未特别记载，但在本实施方式中的摄像部120中也能够采用该动作。电子快门动作的定时只要是在电子快门动作结束后进行至少1次非破坏读出的定时即可。例如，针对属于第r0行的像素10的电子快门动作能够在图6及图7中的时刻t1至时刻t2之间的任一个定时进行。在该情况下，通过时刻t2的非破坏读出而得到的像素信号的曝光时间的时间te1，成为从上述的电子快门动作结束后到时刻t2为止的期间的长度。
[0130]
通过图7所示的一系列动作，在相当于时刻t1至时刻t6之间的时间tvd的期间中，得到通过1次通常读出而取得的称为“通常读出图像数据”的图像数据、以及通过3次非破坏读出而取得的称为“非破坏读出图像数据”的图像数据。另外，以后，有时将通常读出图像数据称为上述的通常读出图像数据il，将3个非破坏读出图像数据从被取得的时刻早的数据开始称为非破坏读出图像数据ind1、ind2及ind3。
[0131]
如上所述，时刻t2的非破坏读出图像数据ind1，是基于在从时刻t1电荷积蓄节点41被复位起的时间te1的期间中积蓄在电荷积蓄节点41中的电荷量所对应的像素信号的图像数据。同样，时刻t3的非破坏读出图像数据ind2，是基于在从时刻t1起的“时间te1+时间te2”的期间中积蓄的电荷量所对应的像素信号的图像数据，时刻t4的非破坏读出图像数据ind3，是基于在从时刻t1起的“时间te1+时间te2+时间te3”的期间中积蓄的电荷量所对应的像素信号的图像数据。通常读出图像数据il，是基于在与时刻t1至时刻t5的期间对应的曝光时间tel中积蓄的电荷量所对应的像素信号的图像数据。像这样，摄像部120不进行将电荷积蓄节点41的信号电荷复位的复位动作，而以非破坏方式多次进行读出，从而在1帧期间内将非破坏读出图像数据ind1、ind2及ind3以及通常读出图像数据il作为多个图像数据向图像处理部140顺次输出。此外，在本说明书中，在1帧期间内输出的多个图像数据，是基于在1帧期间内的各时刻的电荷积蓄节点41中积蓄的电荷所对应的像素信号的多个图像数据。具体而言，在1帧期间内输出的多个图像数据，是将从通常读出中电荷积蓄节点41被复位起通过非破坏读出而读出的非破坏读出图像数据、与下一次通常读出中被读出的通常读出图像数据组合而成的多个图像数据。
[0132]
[图像选择部的动作]
[0133]
接下来，参照图8及图9说明本实施方式所涉及的图像选择部141的动作。如上所述，图像选择部141在1帧期间内，从摄像部120顺次接受由多个非破坏读出图像数据及通常读出图像数据构成的多个图像数据，计算这些多个图像数据间的差量图像数据，从多个图
像数据之中最初输出的初始图像数据、以及计算出的至少1个差量图像数据中，选择1个图像数据。
[0134]
图8是表示本实施方式所涉及的图像选择部141的例示性的构成的框图。本实施方式中的图像选择部141包括输入分配部1401、帧存储器1402、帧存储器1403、减法部1404、比较部1405、选择器1406及帧存储器1407。帧存储器1402是第1存储器的一例，以后有时称为“帧存储器mem1”。帧存储器1403是第2存储器的一例，以后有时称为“帧存储器mem2”。帧存储器1407是第3存储器的一例，以后有时称为“帧存储器mem3”。另外，减法部1404是差量运算电路的一例，比较部1405是比较电路的一例。
[0135]
输入分配部1401将摄像部120所输出的多个图像数据保存至帧存储器mem1及帧存储器mem2。输入至图像选择部141的图像数据向输入分配部1401传递，并选择性地保存至帧存储器mem1和帧存储器mem2中的某一个。具体而言，帧存储器mem1保存摄像部120所输出的多个图像数据之中的连续输出的2个图像数据中的一方，帧存储器mem2保存该2个图像数据中的另一方。例如，输入分配部1401将摄像部120所输出的多个图像数据交替地保存至帧存储器mem1及帧存储器mem2，在将新的图像数据保存至帧存储器mem1及帧存储器mem2时，改写已保存的图像数据。
[0136]
减法部1404计算帧存储器mem1及帧存储器mem2中保存的2个图像数据间的差量图像数据。也就是说，减法部1404求出帧存储器mem1及帧存储器mem2中保存的2个图像数据的差量，从而生成差量图像数据。减法部1404例如在帧存储器mem1及帧存储器mem2中保存的2个图像数据之中，以从之后保存的图像数据减去之前保存的图像数据的方式，使成为减数和被减数的对象的帧存储器适宜地反转。另外，减法部1404也可以求出帧存储器mem1及帧存储器mem2中保存的2个图像数据的差量的绝对值，从而生成差量图像数据。减法部1404将生成的差量图像数据向比较部1405及选择器1406输出。在帧存储器mem1及帧存储器mem2中的仅一方保存有图像数据的情况下，减法部1404将保存的图像数据原样输出。
[0137]
比较部1405将从减法部1404输出的图像数据的亮度值，与帧存储器mem3中保存的图像数据的亮度值进行比较，并向选择器1406输出用于选择1个图像数据的选择信号。具体而言，比较部1405将由减法部1404生成的差量图像数据，与帧存储器mem3中保存的初始图像数据或者差量图像数据进行比较。比较部1405在帧存储器mem3中未保存图像数据的情况下，例如输出用于选择从减法部1404输出的差量图像数据的选择信号。
[0138]
选择器1406基于从比较部1405供给的选择信号，在从减法部1404输出的图像数据以及帧存储器mem3中保存的图像数据中选择某一个，并保存至帧存储器mem3。此外，选择器1406在接受了用于选择帧存储器mem3中保存的图像数据的选择信号的情况下，也可以不重新将图像数据保存至帧存储器mem3。
[0139]
在摄像部120中的像素10的从复位动作直到下一次通常读出为止的一系列图像读出、以及后述的图像选择动作全部完成的时刻被保存在帧存储器mem3中的图像数据，作为最终的图像选择部141的输出图像数据is向hdr合成部142输出。
[0140]
参照图9详细说明本实施方式所涉及的图像选择部141的动作。图9是用于说明本实施方式所涉及的图像选择部141的动作的一例的图。在图9的(a)中，表示摄像部120的动作的定时图。在图9所示的动作中，通过与图6及图7同样的摄像部120的动作，在从时刻t0开始的1帧期间中，在时刻t1进行了像素10的复位动作之后，在时刻t2、t3及t4分别进行非破
坏读出，得到非破坏读出图像数据ind1、ind2及ind3。其后，从开始下一次通常读出的时刻t5，通过通常读出，将与从时刻t0开始的1帧期间中积蓄在电荷积蓄节点41中的电荷对应的像素信号读出，得到通常读出图像数据il。图9的(b)的表格表示图像选择部141中包含的3个帧存储器mem1、帧存储器mem2及帧存储器mem3中保存的内容的时间变化。
[0141]
首先，作为初始化动作，在进行摄像部120的各像素10的复位动作的定时，图像选择部141将帧存储器mem1、帧存储器mem2及帧存储器mem3中保存的值复位为0(图9的(b)的步骤s1)。也就是说，成为在帧存储器mem1、帧存储器mem2及帧存储器mem3中未保存图像数据的状态。
[0142]
接下来，与从时刻t2开始的摄像部120的第1次非破坏读出同步，非破坏读出图像数据ind1向图像选择部141输入。输入分配部1401将输入的非破坏读出图像数据ind1保存至帧存储器mem1。此时，由于在帧存储器mem2中写入了0，减法部1404输出非破坏读出图像数据ind1自身。非破坏读出图像数据ind1经由选择器1406也保存至帧存储器mem3(图9的(b)的步骤s2)。像这样，在步骤s2中，图像选择部141将第1次非破坏读出图像数据ind1作为暂定输出图像数据保存至帧存储器mem3。
[0143]
接下来，与从时刻t3开始的摄像部120的第2次非破坏读出同步，非破坏读出图像数据ind2向图像选择部141输入。输入分配部1401将输入的非破坏读出图像数据ind2保存至帧存储器mem2。减法部1404被输入帧存储器mem2中保存的非破坏读出图像数据ind2、以及在之前的步骤中保存至帧存储器mem1的非破坏读出图像数据ind1。减法部1404从非破坏读出图像数据ind2减去非破坏读出图像数据ind1，生成差量图像数据ind2-ind1。差量图像数据ind2-ind1向比较部1405的一方的输入端供给。比较部1405的另一方的输入端被供给在步骤s1中保存至帧存储器mem3的非破坏读出图像数据ind1，比较部1405将这些图像数据进行比较，并输出用于选择1个图像数据的选择信号。向比较部1405供给的2个图像数据也向选择器1406供给，选择器1406基于由比较部1405输出的选择信号从2个被输入的图像数据中选择一方，并将该图像数据保存至帧存储器mem3。关于比较部1405的详细动作在后文中叙述。由此，帧存储器mem3中保存的图像数据从在步骤s2中保存的第1次非破坏读出图像数据ind1，被改写为从选择器1406输出的第1次非破坏读出图像数据ind1以及减法部1404所输出的差量图像数据ind2-ind1中的某一个(图9的(b)的步骤s3)。将步骤s3中的选择器1406的输出、即被保存至帧存储器mem3的图像数据，称为输出图像数据out＿2。输出图像数据out＿2是在步骤s3中决定的图像选择部141的暂定输出图像数据。
[0144]
接下来，与从时刻t4开始的摄像部120的第3次非破坏读出同步，非破坏读出图像数据ind3向图像选择部141输入。输入分配部1401将输入的非破坏读出图像数据ind3保存至帧存储器mem1。也就是说，帧存储器mem1中保存的图像数据被改写为非破坏读出图像数据ind3。减法部1404被输入帧存储器mem1中保存的非破坏读出图像数据ind3、以及在步骤s3中保存至帧存储器mem2的非破坏读出图像数据ind2。此时，减法部1404使成为减数和被减数的对象的帧存储器与步骤s3相反，生成差量图像数据ind3-ind2。差量图像数据ind3-ind2向比较部1405的一方的输入端供给。比较部1405的另一方的输入端被供给在步骤s3中保存至帧存储器mem3的输出图像数据out＿2，比较部1405将这些图像数据进行比较，并输出用于选择1个图像数据的选择信号。向比较部1405供给的2个图像数据也向选择器1406供给，选择器1406基于由比较部1405输出的选择信号从2个被输入的图像数据中选择一方，向
帧存储器mem3保存被选择的图像数据。由此，帧存储器mem3中保存的图像数据从在步骤s4中保存的输出图像数据out＿2，被改写为从选择器1406输出的步骤s4的输出图像数据out＿2以及减法部1404所输出的差量图像数据ind3-ind2中的某一个(图9的(b)的步骤s4)。将步骤s4中的选择器1406的输出、即被保存至帧存储器mem3的图像数据，称为输出图像数据out＿3。输出图像数据out＿3是在该步骤中决定的图像选择部141的暂定输出图像数据。
[0145]
像这样，在步骤s3及s4中，减法部1404生成第n次非破坏读出图像数据与第n+1次非破坏读出图像数据的差量图像数据。n是1以上的整数。比较部1405取得被生成的差量图像数据、以及帧存储器mem3在此时刻保存的暂定输出图像数据。然后，比较部1405将该差量图像数据与该暂定输出图像数据进行比较，并输出用于选择亮度值大的图像数据的选择信号。被选择的图像数据作为新的暂定输出图像数据被选择器1406保存至帧存储器mem3。这些动作在1帧期间内反复执行，直到摄像部120的非破坏读出进行了规定次数为止。
[0146]
接下来，与从时刻t5开始的摄像部120的通常读出同步，通常读出图像数据il向图像选择部141输入。输入分配部1401将输入的通常读出图像数据il保存至帧存储器mem2。也就是说，帧存储器mem2中保存的图像数据被改写为通常读出图像数据il。减法部1404被输入帧存储器mem2中保存的通常读出图像数据il、以及在步骤s4中被保存至帧存储器mem1的非破坏读出图像数据ind3。此时，减法部1404使成为减数和被减数的对象的帧存储器与步骤s4相反，生成差量图像数据il-ind3。差量图像数据il-ind3向比较部1405的一方的输入端供给。比较部1405的另一方的输入端被供给在步骤s4中保存至帧存储器mem3的输出图像数据out＿3，比较部1405将这些图像数据进行比较，并输出用于选择1个图像数据的选择信号。向比较部1405供给的2个图像数据也向选择器1406供给，选择器1406基于由比较部1405输出的选择信号，从输入的2个图像数据中选择一方，并向帧存储器mem3保存被选择的图像数据。由此，帧存储器mem3中保存的图像数据从在步骤s4中保存的输出图像数据out＿3，被改写为从选择器1406输出的步骤s4的输出图像数据out＿3以及从减法部1404输出的差量图像数据il-ind3中的某一个(图9的(b)的步骤s5)。步骤s5中的选择器1406的输出、即被保存至帧存储器mem3的图像数据，成为图像选择部141的输出图像数据is。步骤s5的输出图像数据is成为从图像选择部141最终输出的图像数据。图像选择部141将输出图像数据is向hdr合成部142输出。
[0147]
像这样，在步骤s5中，减法部1404生成1帧期间内的最后的非破坏读出图像数据ind3与通常读出图像数据il的差量图像数据il-ind3。比较部1405取得被生成的差量图像数据il-ind3、以及帧存储器mem3在此时刻保存的暂定输出图像数据。然后，比较部1405将差量图像数据il-ind3与该暂定输出图像数据进行比较，并输出用于选择亮度值大的图像数据的选择信号。被选择的图像数据作为输出图像数据is被选择器1406保存至帧存储器mem3。
[0148]
如上，在步骤s2至s5中，作为摄像部120在1帧期间内以非破坏方式多次进行读出从而得到的多个图像数据的非破坏读出图像数据ind1、ind2及ind3、以及通常读出图像数据il，被顺次输入至输入分配部1401。
[0149]
另外，在步骤s3至s5中，减法部1404求出非破坏读出图像数据ind1、ind2及ind3以及通常读出图像数据il之中的连续输入的2个图像数据间的差量，从而生成差量图像数据
ind2-ind1、ind3-ind2及il-ind3作为至少1个差量图像数据。比较部1405输出用于从非破坏读出图像数据ind1、ind2及ind3以及通常读出图像数据il之中的作为最初输出的初始图像数据的非破坏读出图像数据ind1、以及差量图像数据ind2-ind1、ind3-ind2及il-ind3中基于各自的亮度值选择输出图像数据is的选择信号。具体而言，在步骤s3中，比较部1405输出用于从非破坏读出图像数据ind1和差量图像数据ind2-ind1中基于各自的亮度值选择某一方的图像数据的选择信号。在步骤s4及s5中，比较部1405反复输出用于从选择的图像数据和新生成的差量图像数据中基于各自的亮度值选择某一方的图像数据的选择信号，并输出用于作为最终选择的图像数据而选择输出图像数据is的选择信号。
[0150]
详细后述，hdr合成部142将输出图像数据is与通常读出图像数据il合成来生成合成结果图像数据ihdr。
[0151]
只要是图8及图9所示的构成，则无论1帧期间的非破坏读出的次数是多少次，都无需改变图像选择部141所需的硬件构成。输入分配部1401将向图像选择部141输入的图像数据交替地分配给2个帧存储器mem1及帧存储器mem2并保存。通过将一次保存的图像数据保持到下一步骤中使用、以及改写为新输入的图像数据，从而削减所需的帧存储器资源。另外，选择器1406通过在各步骤中覆盖帧存储器mem3中保存的暂定的输出图像数据out＿2或者out＿3，从而削减所需的帧存储器资源。
[0152]
在图像选择部141中，生成通常读出图像数据与非破坏读出图像数据的差量图像数据、或者非破坏读出图像数据彼此的差量图像数据。如图7中的说明所述，例如，时刻t2的非破坏读出图像数据ind1，是基于在从时刻t1被复位起的时间te1的期间中积蓄的电荷量所对应的像素信号的图像数据，时刻t3的非破坏读出图像数据ind2，是基于在从时刻t1被复位起的“时间te1+时间te2”的期间中积蓄的电荷量所对应的像素信号的图像数据。作为它们的差量的差量图像数据ind2-ind1，是基于在时刻t3至时刻t2的时间te2的期间中积蓄的电荷量所对应的像素信号的图像数据。也就是说，通过取得被输出的2个图像数据的差量的操作，能够得到与以时间te2的曝光时间摄像的图像数据等价的曝光时间的图像数据。同样，作为时刻t3的非破坏读出图像数据ind2与时刻t4的非破坏读出图像数据ind3的差量的差量图像数据ind3-ind2，是与以时间te3的曝光时间摄像的图像数据等价的曝光时间的图像数据。作为时刻t5的通常读出图像数据il与时刻t4的非破坏读出图像数据ind3的差量的差量图像数据il-ind3，是与以时间te4的曝光时间摄像的图像数据等价的曝光时间的图像数据。此外，时刻t2的非破坏读出图像数据ind1，是以时刻t1的像素10的复位为基准进行曝光及电荷积蓄而得到的像素信号所对应的图像数据，且是与将时刻t1至时刻t2的时间te1的期间作为曝光时间的通常读出图像数据同等的数据。
[0153]
上述的差量图像数据中的等价的曝光时间、即时间te1至时间te4，均比摄像部120中通过通常读出得到的通常读出图像数据il的曝光时间tel短。由此，hdr合成部142将作为这些差量图像数据中的某一个数据的输出图像数据is作为高动态范围摄像中的短时间曝光图像的图像数据，另外将通常读出图像数据il作为高动态范围摄像中的长时间曝光图像的图像数据，来进行合成，从而实现了高动态范围图像生成。
[0154]
时间trs及时间te1的合计、与时间te2、te3及te4各自例如是相同的长度。也就是说，非破坏读出图像数据ind1以及差量图像数据ind2-ind1、ind3-ind2及il-ind3各自的实质曝光时间大致相同。此外，也可以引入电子快门动作，或者使非破坏读出的时间的间隔变
动等，从而将时间trs及时间te1的合计与时间te2、te3及te4各自设为不同的长度。在该情况下，为了调整曝光时间之差，也可以将适宜地适用了增益而得到的图像数据向减法部1404或者比较部1405输入。
[0155]
如上所述，本实施方式所涉及的摄像装置100通过在用于摄像长时间曝光图像的曝光时间中进行非破坏读出，生成高动态范围摄像中的短时间曝光图像的输出图像数据is。即，这意味着，长时间曝光图像与短时间曝光图像都使用摄像部120中的相同的像素10来摄像。例如，在如图1所示的按摄像面上的每个像素改变曝光时间来摄像的方法的情况下，由于将摄像面上的像素分割为长时间曝光像素和短时间曝光像素，各个曝光时间的图像的分辨率降低。在本实施方式所涉及的摄像装置100中，如上所述，长时间曝光图像与短时间曝光图像都从同一像素10摄像，因此能够在双方的曝光时间的图像的摄像中使用摄像面上的全部像素10，不会发生图像的分辨率的劣化。
[0156]
另一方面，如上所述的根据非破坏读出图像数据生成的差量图像数据，并不总是能够替代以与各自等价的曝光时间摄像的图像数据、例如在相同的定时取得的通常读出图像数据而使用。对此，使用图10及图11更详细地进行说明。
[0157]
图10是用于说明电荷积蓄节点41的像素信号电平的变化的一例的图。在图10中表示如下情况：与图6或者图7中的摄像部120的动作同样，从在时刻t1将像素10复位起直到时刻t5进行摄像部120的各像素10的曝光及电荷的积蓄，在时刻t2、时刻t3及时刻t4分别进行非破坏读出，在时刻t5进行通常读出。另外，摄像场景设为在暗背景中圆形的光源点灯的场景。图10的(a)的上侧是表示在摄像面上与光源对应的区域的像素10的电荷积蓄节点41中积蓄的电荷量的电平即像素信号电平的图。图10的(a)的下侧是表示与非破坏读出图像数据ind1、ind2及ind3以及通常读出图像数据il对应的图像的例子的图。图10的(b)是表示与非破坏读出图像数据ind1以及差量图像数据ind2-ind1、ind3-ind2及il-ind3对应的图像的例子的图。
[0158]
如图10的(a)所示，在像素刚进行复位动作后的摄像部120的各像素10的电荷积蓄节点41中几乎没有电荷的状态下，随着曝光时间经过，光源部分的像素信号电平以某大小的斜率大致线性地增加。其后，如果电荷积蓄节点41中积蓄的电荷量增加，并接近于能够积蓄的上限(即饱和电荷量)的像素信号电平，则其增加的比例变得平缓。再其后，在摄像部120的电荷积蓄节点41的电荷量达到上限的像素信号电平，无法积蓄更多的电荷的情况下，像素信号电平不再变化。将该状态称为信号处于饱和状态。在图10中，上限的像素信号电平是时刻t4及t5的像素信号电平。此外，不仅是摄像部120的电荷积蓄节点41的积蓄电荷存在上限，而且一般在列信号处理电路37中能够检测的信号电平也存在上限，有时也会由于列信号处理电路37中的信号电平达到其上限而导致来自摄像部120的输出成为饱和状态。在此，为了简化说明，设为列信号处理电路37中的饱和的信号电平与电荷积蓄节点41的饱和的像素信号电平相同，电荷积蓄节点41的积蓄电荷达到饱和的像素信号电平的状态下的输出图像数据的亮度值，与能够从摄像部120输出的亮度值的最大值相等(也就是说，成为过曝的状态)。此时，通过时刻t2、t3及t4的非破坏读出而得到的非破坏读出图像数据ind1、ind2及ind3、以及通过时刻t5的通常读出而得到的通常读出图像数据il所对应的图像，例如是图10的(a)的下侧所示的图像。
[0159]
此时，在图像选择部141的内部，这些非破坏读出图像数据ind1、ind2及ind3以及
通常读出图像数据il之间的差量图像数据ind2-ind1、ind3-ind2及il-ind3所对应的图像、以及非破坏读出图像数据ind1所对应的图像，例如是图10的(b)所示的图像。非破坏读出图像数据ind1中的光源部分i21的亮度值，对应于图10的(a)中的像素信号电平li21。非破坏读出图像数据ind2与非破坏读出图像数据ind1之间的差量图像数据ind2-ind1中的光源部分i32的亮度值，对应于图10的(a)中的像素信号电平li32。非破坏读出图像数据ind3与非破坏读出图像数据ind2之间的差量图像数据ind3-ind2中的光源部分i42的亮度值，对应于图10的(a)中的像素信号电平li43。最后，通常读出图像数据il与非破坏读出图像数据ind3之间的差量图像数据il-ind3中的光源部分i54的亮度值，对应于图10的(a)中的像素信号电平li54。根据图10能够理解，非破坏读出图像数据ind1以及差量图像数据ind2-ind1、ind3-ind2及il-ind3的像素信号电平的大小关系为像素信号电平li21＞li32＞li43＞li54。因此，在从像素的复位动作经过了长的曝光时间而在像素信号电平接近于饱和状态的状态下进行的非破坏读出中，与曝光时间经过相伴的像素信号电平的上升变小，因此在从像素的复位动作经过了一定以上的曝光时间后的非破坏读出图像数据的差量图像数据中，该位置较暗地映现。
[0160]
图11是用于说明在不进行非破坏读出的情况下的像素信号电平的变化的图。在图11中，表示了针对与图10相同的摄像场景，通过与图10相同的定时的非破坏读出进行摄像的情况、以及通过与该非破坏读出相同的定时的通常读出进行摄像的情况下的图像。图11的(a)是概略性地表示各个读出方式中的像素信号电平的时间变化的图。图11的(a)的实线的标绘所示的通过非破坏读出进行摄像的情况下的像素信号电平从时刻t1开始增加，在某时刻成为饱和状态。相对于此，图11的(a)的虚线的标绘所示的通过通常读出进行摄像的情况下的像素信号电平在每次通常读出时像素10被复位，因此与其相应，在每次通常读出时返回复位电平。
[0161]
在图11的(b)中，表示基于时刻t2至时刻t5得到的图像数据的图像的例子。如图10的情况下说明的那样，例如，在图11的(b)的上侧“差量图像”所示的非破坏读出图像数据间的差量图像数据ind2-ind1、ind3-ind2及il-ind3以及作为初始图像数据的非破坏读出图像数据ind1所对应的图像中，随着用于差量计算的非破坏读出图像数据的取得时刻向后推移，差量图像数据的亮度值变小。相对于此，在时刻t2、t3、t4及t5通过通常读出进行摄像的情况下的图像数据it2、it3、it4及it5，是像素信号电平总是从复位电平开始进行电荷积蓄而得到的图像数据。因此，在任一个读出定时，像素信号电平以与时刻t1至时刻t2的像素信号电平的增加同等的斜率增加。由此，例如，像图11的(b)的下侧“通常读出图像”所示的图像数据it2、it3、it4及it5所对应的图像那样，如果曝光时间是同等的，则作为结果得到的图像数据也成为相同的电平的亮度值。即，在通过计算非破坏读出图像数据的差量图像数据来取得特定的曝光时间的图像数据的方法中，在摄像部120的电荷积蓄节点41中积蓄大量的电荷，在根据积蓄电荷接近于饱和电平的状态下的非破坏读出图像数据计算差量图像数据的情况下，在亮度值上与以相同的曝光时间通过通常读出而取得的图像数据产生差异。在这样的状况下，即使被摄体的明亮度不变化，在非破坏读出图像数据的差量图像数据上，亮度值也变低，成为被摄体过暗地映现的图像。因此，非破坏读出图像数据的差量图像数据不能说正确地表现了被摄体的明亮度，也存在不适于作为高动态范围摄像中的短时间曝光图像而使用的图像数据。
[0162]
在本实施方式所涉及的图像选择部141中，不是选择像这样被摄体的亮度水平过暗地映现的未准确地表现被摄体的明亮度的图像，而是选择更适于高动态范围摄像的短时间曝光图像的图像数据。该动作更具体而言由下述的比较部1405实现。
[0163]
图12是用于说明本实施方式所涉及的图像选择部141的比较部1405的动作的一例的图。比较部1405例如通过图12所示的处理，从2个图像数据中选择更适于高动态范围合成的图像数据。在图12中，说明比较部1405选择图像数据a及图像数据b中的某一方的情况。例如，图像数据a是帧存储器mem3中保存的图像数据，图像数据b是由减法部1404输出的差量图像数据。
[0164]
首先，图12的(a)所示的2个图像的图像数据a及图像数据b向比较部1405输入。接下来，如图12的(b)所示，比较部1405将输入的2个图像数据分割为规定的大小的多个块。在此，规定的大小例如是水平16像素
×
垂直16像素。在图12的例中，在水平方向上分割为8个块，在垂直方向上分割为5个块。接下来，如图12的(c)所示，比较部1405按被分割为规定的大小而成的每个块，计算亮度值的平均值。其后，如图12的(d)所示，针对被输入的2个图像数据的各个块，将位于相同位置的块的亮度值的平均值进行比较，在某一个块中，一方的图像数据的平均值比另一方的图像数据的平均值大规定的阈值以上的情况下，将用于选择该图像数据的选择信号作为比较部1405的输出。在图12的(d)的例中，在图像中央部的块中图像数据a与图像数据b相比亮度值的平均值较大，因此选择图像数据a作为比较部1405的输出。
[0165]
在图12所示的比较部1405的动作中，针对被输入的2个图像数据的各个块，选择具有亮度值较大的块的图像数据作为输出。该方法基于图10中的讨论。即，在非破坏读出图像数据的差量图像数据中，在摄像部120中与光源对应的位置的像素10的像素信号电平未达到饱和电平，而像素信号电平的增加相对于曝光时间的斜率大的情况下，图像数据的亮度值大。另外，在像素10的像素信号电平接近于或达到饱和电平，像素信号电平的增加相对于曝光时间的斜率小或大致为0的情况下，非破坏读出图像数据的差量图像数据的亮度值小。另外，当然，在光源熄灯的情况下，即使延长曝光时间，相应位置的亮度值(去除噪声等的影响)也不变化，在非破坏读出图像数据的差量图像数据中，相应位置的亮度值大致为0。
[0166]
利用上述情况，能够根据非破坏读出图像数据的差量图像数据的亮度值，检测被摄体的光源的点灯状态或者摄像部120的电荷积蓄节点41的积蓄电荷有无饱和。在非破坏读出图像数据的亮度值大的情况下，是光源点灯、而且摄像部120的电荷积蓄节点41中积蓄的电荷未达到饱和电荷量的状态。另一方面，在非破坏读出图像数据的差量图像数据的亮度值小的情况下，可以认为是摄像部120的电荷积蓄节点41中积蓄的电荷接近于饱和电荷量的状态、或者曝光时间中的光源的点灯时间短的状态。如果差量图像数据的光源部分的亮度值大致为0，则视为光源熄灯、或者摄像部120的电荷积蓄节点41的积蓄电荷达到了饱和电荷量的状态。如上所述，在并用长时间曝光的摄像和短时间曝光的摄像的高动态范围摄像中，在长时间曝光的摄像中易于过曝即电荷积蓄节点41饱和的明亮的被摄体，使用通过短时间曝光以使其不过曝而摄像的图像数据来表现。因此，对于其中使用的短时间曝光的图像数据，要求不使电荷积蓄节点41饱和而能够取得高亮度部。电荷积蓄节点41的积蓄电荷越接近于饱和电荷量，则非破坏读出图像数据及通常读出图像数据之间的差量图像数据的亮度值越小。因此，比较部1405将这些差量图像数据及初始图像数据之中的亮度值较
大的图像数据，视为光源点灯且距积蓄电荷的饱和状态较远的图像数据、即更适于高动态范围合成的图像数据。也就是说，比较部1405向选择器1406输出用于从输入的2个图像数据中选择亮度值较大的图像数据的选择信号。
[0167]
此外，在图12的(b)中，将输入的图像数据分割为规定的大小的块，但也可以不如上所述分割为块，而基于图像数据整体的亮度值的平均值进行上述的比较动作。但是，在作为光源的被摄体映现的面积相对于整个画面的比例小的情况下，由于光源的点灯状态或者摄像部120的电荷积蓄节点41的饱和状态而引起的信号变化在图像数据整体的平均值中所占的比例小，有可能难以按照意图判定亮度值的大小关系。从有效地检测更局部的亮度信息的观点出发，例如，如上所述，比较部1405将输入的各个图像数据分割为多个块，并以块为单位进行亮度值的比较。另外，比较部1405也可以替代多个块，而在图像数据a与图像数据b中将相同的位置的像素的亮度值进行比较。
[0168]
另外，将输入的图像数据分割为块时的块大小，既可以设定为固定的大小，例如也可以按每1帧期间可变。另外，在计算每块的平均值之前，也可以追加通过中值滤波器等的平滑化处理将摄像部120的像素缺陷等瑕疵成分除去的处理。
[0169]
另外，在分割的多个块之中，根据块的位置而存在亮度值的平均值在图像数据a中较高的位置的块、以及亮度值的平均值在图像数据b中较高的位置的块的情况下，比较部1405也可以利用以下的方法进行比较。例如，比较部1405也可以选择亮度值的平均值较高的块的数量多的图像数据。另外，例如，比较部1405也可以选择包含亮度值的平均值最高的块的图像数据。另外，例如，比较部1405也可以将对图像数据a的各块的亮度值的平均值取平均而得到的值，与对图像数据b的各块的亮度值的平均值取平均而得到的值进行比较，选择对亮度值的平均值进行平均而得到的值较高的图像数据。比较部1405的比较的方法不限于这些方法，只要是能够选择适于在高动态范围摄像中使用的图像数据的具有高亮度值的区域的图像数据的方法即可。
[0170]
另外，在全部块中，图像数据a与图像数据b的亮度值的平均值之差小、其为阈值以下的情况下，比较部1405例如选择作为之前选择的图像数据的在帧存储器mem3中保存的图像数据a。
[0171]
图13是用于说明电荷积蓄节点41的像素信号电平的变化的其他例的图。在图13中，作为与图10中的摄像场景不同的摄像场景，表示光源仅在通常读出图像数据il的曝光时间tel之中的一部分中点灯的情况下的例子。图13的(a)是表示光源的点灯定时的图。图13的(b)的上侧是表示在摄像面上与光源对应的区域的像素10的电荷积蓄节点41的像素信号电平的图。图13的(b)的下侧是表示与非破坏读出图像数据ind1、ind2及ind3以及通常读出图像数据il对应的图像的例子的图。图13的(c)是表示与非破坏读出图像数据ind1以及差量图像数据ind2-ind1、ind3-ind2及il-ind3对应的图像的例子的图。
[0172]
在图13中，进行像素10的通常读出动作及非破坏读出动作的定时与图6及图7等相同，但如图13的(a)及(b)所示，光源在时刻ton点灯，在时刻toff熄灯。
[0173]
如图13的(b)所示，像素信号电平从时刻ton开始增加，在时刻toff以后不增加。基于该像素信号电平的在各时刻通过非破坏读出而取得的非破坏读出图像数据ind1、ind2及ind3、以及在曝光时间tel通过通常读出而取得的通常读出图像数据il所对应的图像，例如是图13的(b)的下侧所示的图像。进而，像这样得到的非破坏读出图像数据ind1、以及差量
图像数据ind2-ind1、ind3-ind2及il-ind3，例如是图13的(c)所示的图像。通过上述的图像选择部141的动作，输出光源部分最明亮地映现的差量图像数据ind2-ind1，作为向后级的hdr合成部142输出的短时间曝光图像的输出图像数据is。在图13的(b)的像素信号电平的图中，差量图像数据ind2-ind1也是取得了像素信号电平相对于曝光时间以最大的斜率增加的时间段的数据，视为光源点灯且距摄像部120的电荷积蓄节点41的饱和状态最远的、最好地取得了被摄体的信息的图像数据。
[0174]
[hdr合成部的动作]
[0175]
hdr合成部142将图像选择部141的短时间曝光图像的输出图像数据is，与从摄像部120输出的长时间曝光图像的通常读出图像数据il合成，生成高动态范围图像的合成结果图像数据ihdr。关于高动态范围图像的合成结果图像数据ihdr的生成手段，使用公知的方法即可。例如，对于合成结果图像数据ihdr的各像素值，能够使用将图像选择部141的输出图像数据is及通常读出图像数据il的对应的像素值进行加权相加的结果。即，在将合成结果图像数据ihdr的位置x处的像素值设为ihdr(x)的情况下，能够通过：
[0176]
ihdr(x)＝α(x)
×
il(x)+(1-α(x))
×
is(x)式(1)进行计算。在此，α(x)是满足0≤α(x)≤1的实数。另外，il(x)是通常读出图像数据il的位置x处的像素值，is(x)是输出图像数据is的位置x处的像素值。为了补偿由于曝光时间之差而引起的is(x)及il(x)的各像素值之差，也可以在对各个图像数据的像素值适宜地适用增益之后进行式(1)的计算。另外，式(1)中的系数α(x)是按每个像素、或者将多个像素汇总的每个块而变动的值，例如能够基于输出图像数据is及通常读出图像数据il的亮度值及噪声水平这双方决定。例如，在通常读出图像数据il的亮度值接近于最大值的像素中，使α(x)变小。另外，例如，在输出图像数据is的像素之中的与周边像素的方差大而噪声水平高的像素中，使α(x)变大。
[0177]
如上所述，本实施方式所涉及的摄像装置100在1帧期间内进行1次通常读出、以及至少1次非破坏读出。通过1次通常读出、以及至少1次非破坏读出，输出以非破坏方式多次进行读出而得到的多个图像数据。进而，摄像装置100根据至少1个非破坏读出图像数据彼此的差量、或者通常读出图像数据与非破坏读出图像数据的差量，生成与以比通常读出中的曝光时间短的曝光时间摄像的图像数据等价的曝光时间的至少1个图像数据。进而，从最初以非破坏方式读出且输出的图像数据即初始图像数据、以及至少1个差量图像数据中，例如基于局部的亮度值，选择最适于作为在高动态范围合成中使用的短时间曝光图像的输出图像数据is，根据像这样选择的输出图像数据is、以及通常读出图像数据il，通过高动态范围处理，生成高动态范围图像的合成结果图像数据ihdr。在本实施方式所涉及的摄像装置100中，通过在1帧期间内以非破坏方式多次进行读出来连续地观测被摄体的状态，因此例如在像闪烁光源那样被摄体的状态以时间性变化的情况下，也能够追随于此而生成最适于高动态范围摄像的短时间曝光图像的图像数据。在摄像装置100中，例如，不会发生如在图2的说明中叙述的以长时间曝光图像及短时间曝光图像这双方都无法恰当地取得被摄体的状态的状况，摄像装置100对于任意的被摄体都能够有效地进行高动态范围摄像。也就是说，摄像装置100能够有效地扩大被摄像的图像的动态范围。
[0178]
(实施方式2)
[0179]
接下来说明实施方式2。在实施方式2中，与上述的实施方式1的不同点在于，替代摄像装置100中具备的图像选择部141而具备图像选择部141b。
[0180]
图14是表示本实施方式所涉及的图像选择部141b的例示性的构成的框图。图像选择部141b与上述的实施方式1所涉及的图像选择部141相比，不同点在于新具有选择控制部1408。针对除此以外的与实施方式1所涉及的图像选择部141共通的构成要素，附加与图8相同的标记并省略详细的说明。另外，图像选择部141b的动作也与图9所示的实施方式1所涉及的图像选择部141的动作大部分相同，以后仅针对其差异进行说明。
[0181]
选择控制部1408基于图像选择部141b的各动作步骤中的减法部1404的输出、即非破坏读出图像数据间的差量图像数据的亮度值，对图像选择部141b整体的动作的启动及停止进行控制。在图14中虽未图示，图像选择部141b整体的动作的启动及停止例如通过将摄像部120的输出端与输入分配部1401的输入端设为连接状态或者非连接状态来实现。在设为非连接状态的情况下，图像选择部141b的输出被固定为该时刻在帧存储器mem3中保存的图像数据，图像选择部141b中的图像选择动作停止。另外，也可以不仅停止图像选择部141b中的图像选择动作，而且在摄像部120及摄像控制部130中停止非破坏读出自身。其中，此时停止的读出仅是在图9中的时刻t2至t4进行的非破坏读出中的某一个，而实施时刻t5的通常读出。
[0182]
图15是表示选择控制部1408的动作的一例的流程图。首先，如果1帧期间中的摄像部120的非破坏读出开始，则选择控制部1408取得比较部1405中的亮度值的比较结果(步骤s11)。换言之，选择控制部1408在图9所示的各动作步骤中，对从减法部1404向比较部1405供给的初始图像数据及差量图像数据的例如局部的亮度值进行监视。
[0183]
接下来，选择控制部1408判定与比较部1405之前选择的图像数据、即此时刻的暂定输出图像数据的亮度值相比，由减法部1404新生成的差量图像数据的亮度值是否较小(步骤s12)。在与之前选择的图像数据的亮度值相比，新生成的差量图像数据的亮度值较小的情况下(步骤s12：是)，选择控制部1408使图像选择部141b整体的动作停止(步骤s13)。如果图9所示的各动作步骤中生成的差量图像数据的亮度值低于前1个步骤中的初始图像数据或者差量图像数据的亮度值，则在该动作步骤完成的时刻通过上述的方法使图像选择部141b的图像选择动作停止，图像选择部141b不进行以后的图像选择动作直到下一帧期间开始为止。结果，图像选择部141b选择之前选择的图像数据作为输出图像数据is，并向hdr合成部142输出。
[0184]
其后，例如，选择控制部1408与下一帧期间的开始同步地使图像选择部141b整体的动作启动。
[0185]
在新生成的差量图像数据的亮度值为之前选择的图像数据的亮度值以上的情况下(步骤s12：否)，选择控制部1408判定在1帧期间内摄像部120的非破坏读出是否进行了规定次数(步骤s14)。在1帧期间内摄像部120的非破坏读出进行了规定次数的情况下(步骤s14：是)，选择控制部1408结束动作。在1帧期间内摄像部120的非破坏读出未进行规定次数的情况下(步骤s14：否)，反复进行从步骤s11起的动作。
[0186]
一般而言，在摄像部120中得到的像素信号电平如图10所示，不是随着曝光时间经过而无限地增加，而是在某像素信号电平处达到饱和。如果设为在摄像部120中从被摄体取得了一定的光量的光，则越是靠后的时刻的非破坏读出，发生这样的像素信号电平的饱和状态的可能性越高。另外，如图10的说明中叙述的那样，在像素信号电平接近于或者达到饱和，像素信号电平的增加相对于曝光时间的斜率小或者大致为0的情况下，差量图像数据的
亮度值小。因此能够认为，在之后的时刻读出的差量图像数据的亮度值小的情况下，由于上述的像素信号电平的饱和而发生差量图像数据的亮度值降低的可能性高。由此，如果在更靠后的时刻取得的差量图像数据中的亮度值比此前的差量图像数据的亮度值小，则本实施方式所涉及的图像选择部141b视为在摄像部120中与光源部分对应的区域的像素信号电平接近于饱和状态，在使用其后生成的差量图像数据的图像选择中，难以得到适于高动态范围处理的短时间曝光图像的图像数据，而停止其后的图像选择动作。由此，通过减少图像选择动作或者非破坏读出的实施次数，能够得到提高处理速度及减小耗电的效果。
[0187]
此外，步骤s12中的选择控制部1408的亮度值的判定基准不限于上述的例子。选择控制部1408也可以判定与比较部1405中之前选择的图像数据的亮度值相比，新由减法部1404生成的差量图像数据的亮度值是否小规定的阈值以上等，以与图12中说明的比较部1405的亮度值的比较同样的基准进行判定。例如，选择控制部1408也可以在选择了作为比较部1405之前选择的图像数据的暂定输出图像数据的情况下，使图像选择部141b整体的动作停止。
[0188]
(实施方式3)
[0189]
接下来说明实施方式3。在实施方式3中，与实施方式1的不同点在于，替代摄像装置100所具备的摄像部120而具备摄像部120b。光电转换部13不限于具有如图4及图5所示的光电转换层15。例如，也可以使用光电二极管(pd：photo diode)作为光电转换部。
[0190]
图16是表示本实施方式所涉及的摄像部120b的例示性的电路构成的示意图。针对与图4所示的实施方式1中的摄像部120共通的构成要素，附加与图4相同的标记并省略说明。
[0191]
如图16所示，摄像部120b具有包括以2维排列的多个像素10b的像素阵列pab。各像素10b具有光电二极管1501以替代像素10的光电转换部13。另外，像素10b具有与光电二极管1501的阳极连接且将由光电二极管1501得到的电能作为电荷积蓄的电容器1502。电容器1502中积蓄的电荷在电容器1502上被作为电压检测，该电压被由信号检测晶体管24构成的源极跟随器电路放大并输出至垂直信号线47。由信号检测晶体管24构成的源极跟随器电路的输入阻抗高，因此具有不消耗电容器1502中积蓄的电荷的特征。因此，能够以不破坏电容器1502中积蓄的电荷的方式多次取出电压，因此在摄像部120b中也能够进行非破坏读出。
[0192]
本实施方式所涉及的摄像部120b的像素10b与实施方式1所涉及的摄像部120同样具有复位晶体管28。在复位晶体管28中，复位晶体管28的源极端子和漏极端子分别与电容器1502的两端连接。通过控制复位控制线48的电位，能够将电容器1502中积蓄的电荷复位并排除。由此，摄像部120b实现与通常读出相伴的像素10b的复位动作。另外，在该例中，在光电二极管1501的阴极上连接有pd电压线1503，进而pd电压线1503与pd电压供给电路1504连接。pd电压供给电路1504例如将与电源电压vdd相同的电压向光电二极管1501的阴极供给。
[0193]
本实施方式所涉及的摄像部120b的动作能够与图7所示的实施方式1所涉及的摄像部120的动作模式完全同样地进行。即，通过将地址控制线46的电位设定为高电平，从而经由其栅极与该地址控制线46连接的地址晶体管26，将电荷积蓄节点41的电位向垂直信号线47输出，并向列信号处理电路37传递。另外，通过将复位控制线48的电位设定为高电平，能够经由其栅极与该复位控制线48连接的复位晶体管28，将电容器1502的积蓄电荷复位，
使电容器1502返回能够积蓄电荷的初始状态。在进行非破坏读出时，仅将地址控制线46的电位设定为高电平，而将复位控制线48的电位维持低电平，由此实现非破坏读出。
[0194]
根据本实施方式，在摄像部120b具备光电二极管1501的情况下，能够以与实施方式1同样的方法进行高动态范围摄像。
[0195]
(其他实施方式)
[0196]
以上，基于各实施方式说明了1个或者多个方式所涉及的摄像装置，但本公开不限定于这些实施方式。
[0197]
在上述实施方式中，使用了作为第2图像数据的一例的通常读出图像数据il，作为在hdr合成部142的合成中使用的长时间曝光图像的图像数据，但不限于此。也可以使用摄像部120或120b在1帧期间内以非破坏方式输出的多个图像数据中包含的除了非破坏读出图像数据ind1(即初始图像数据)以外的某一个图像数据，作为长时间曝光图像的第2图像数据。例如，图像处理部140也可以在非破坏读出图像数据ind2及ind3以及通常读出图像数据il之中，选择图像数据的像素之中亮度值的最低值处于规定范围内的图像数据，并将其用于合成。该规定范围例如根据摄像的图像的使用目的等设定。另外，例如，从使曝光时间重复的观点出发，图像处理部140也可以在非破坏读出图像数据ind2及ind3以及通常读出图像数据il之中，从曝光时间包含最终选择的输出图像数据is的实质的曝光的期间在内的非破坏读出图像数据或者通常读出图像数据中，选择长时间曝光图像的第2图像数据。
[0198]
另外，在上述实施方式中，从作为初始图像数据的非破坏读出图像数据ind1、以及差量图像数据ind2-ind1、ind3-ind2及il-ind3中，选择了输出图像数据is，但不限于此。例如，在非破坏读出图像数据ind1的曝光时间比差量图像数据ind2-ind1、ind3-ind2及il-ind3的实质的曝光时间大幅缩短、或者复位动作中的复位噪声大等情况下，在作为输出图像数据is选择的图像数据的候选中，也可以不包括非破坏读出图像数据ind1，而不将非破坏读出图像数据ind1向图像处理部输入。也就是说，也可以从差量图像数据ind2-ind1、ind3-ind2及il-ind3中选择输出图像数据is。
[0199]
另外，只要不脱离本公开的主旨，对本实施方式施加了本领域技术人员所想到的各种变形而得到的方式、以及将不同的实施方式中的构成要素组合而构筑的方式，也包含在本公开的范围内。
[0200]
工业实用性
[0201]
本公开所涉及的摄像装置能够适用于数字照相机、医疗用相机、监视用相机、车载用相机、数字单反相机或者数字无反射镜单镜头相机等各种相机系统及传感器系统。
[0202]
附图标记说明：
[0203]
10、10b 像素
[0204]
11 像素电极
[0205]
12 对置电极
[0206]
13 光电转换部
[0207]
14 信号检测电路
[0208]
15 光电转换层
[0209]
20 半导体基板
[0210]
20t 元件分离区域
[0211]
24 信号检测晶体管
[0212]
24d、24s、26s、28d、28s 杂质区域
[0213]
24g、26g、28g 栅极电极
[0214]
26 地址晶体管
[0215]
28 复位晶体管
[0216]
32 电压供给电路
[0217]
34 复位电压源
[0218]
36 垂直扫描电路
[0219]
37 列信号处理电路
[0220]
38 水平信号读出电路
[0221]
39 像素驱动信号生成电路
[0222]
40 电源线
[0223]
41 电荷积蓄节点
[0224]
42 灵敏度控制线
[0225]
44 复位电压线
[0226]
46 地址控制线
[0227]
47 垂直信号线
[0228]
48 复位控制线
[0229]
49 水平共通信号线
[0230]
50 层间绝缘层
[0231]
52 插塞
[0232]
53 布线
[0233]
54、55 接触插塞
[0234]
56 布线层
[0235]
100 摄像装置
[0236]
110 透镜光学系统
[0237]
120、120b 摄像部
[0238]
130 摄像控制部
[0239]
140 图像处理部
[0240]
141、141b 图像选择部
[0241]
142 hdr合成部
[0242]
1401 输入分配部
[0243]
1402、1403、1407 帧存储器
[0244]
1404 减法部
[0245]
1405 比较部
[0246]
1406 选择器
[0247]
1408 选择控制部
[0248]
1501 光电二极管
[0249]
1502 电容器
[0250]
1503 pd电压线
[0251]
1504 pd电压供给电路
[0252]
pa、pab 像素阵列