利用运动相关像素结合的摄像装置的制作方法

1.本发明涉及一种摄像装置、摄像系统和该摄像装置的驱动方法。


背景技术：

2.常规上已经提出了具有检测被摄体的运动的功能的摄像装置。非专利文献1中公开的摄像装置旨在通过将像素阵列划分为多个像素块并且将在像素块内的信号相加并读出，来减少运动检测时段中的电流消耗。
3.[引用列表]
[0004]
[非专利文献]
[0005]
非专利文献1：o.kumagai,et al.“a 1/4
‑
inch 3.9mpixel low
‑
power event
‑
driven back
‑
illuminated stacked cmos image sensor”isscc dig.tech.papers,pp.86
‑
87,feb 2018.


技术实现要素：

[0006]
然而，在非专利文献1中，没有考虑在运动检测时段期间形成像素块的像素的数量、布置等，并且存在降低特定被摄体的运动检测精度的问题。或者，在非专利文献1中公开的操作流程中，当暗的被摄体移动时、当小的被摄体移动等时，可能无法检测到运动对象。在这种情况下，可能会丧失以高分辨率拍摄被摄体的机会。
[0007]
根据本说明书的一种公开的摄像装置包括：像素单元，具有布置成形成多行和多列的多个像素；读出单元，该读出单元根据划分图案将像素单元划分为多个像素块，各个像素块包括所述多个像素中的至少两个像素，并且该读出单元组合来自所述多个像素块中的一个像素块中所包括的多个像素中的所述至少两个像素的信号，以生成所述多个像素块中的各个像素块的一个信号；检测单元，其检测由所述一个像素块的读出单元顺序地生成的多个信号之间的信号值的变化；以及控制单元，其响应于检测单元检测到信号值的变化来控制读出单元，以从至少所述一个像素块中所包括的多个像素中的各个像素分别输出信号，并且，控制单元控制读出单元，使得划分图案在至少两个帧中是不同的。
[0008]
根据本说明书的另一种公开的摄像装置包括：像素单元，具有布置成形成多行和多列的多个像素；读出单元，该读出单元根据划分图案将像素单元划分为多个像素块，各个像素块包括所述多个像素中的至少两个像素，并且该读出单元组合来自所述多个像素块中的一个像素块中所包括的多个像素中的所述至少两个像素的信号，以生成所述多个像素块中的各个像素块的一个信号；检测单元，其检测由所述一个像素块的读出单元顺序地生成的多个信号之间的信号值的变化；以及控制单元，其响应于检测单元检测到信号值的变化来控制读出单元，以从至少所述一个像素块中所包括的多个像素中的各个像素分别输出信号，并且控制单元控制读出单元，使得在划分图案包括第一像素块和第二象素块的帧中，形成第一像素块的像素的数量和形成第二像素块的像素的数量彼此不同。
[0009]
根据本说明书的另一种公开的摄像装置包括：像素单元，具有布置成形成多行和
多列的多个像素；读出单元，该读出单元根据划分图案将像素单元划分为多个像素块，各个像素块包括所述多个像素中的至少两个像素，并且该读出单元组合来自所述多个像素块中的一个像素块中所包括的多个像素中的所述至少两个像素的信号，以生成所述多个像素块中的各个像素块的一个信号；检测单元，其检测由所述一个像素块的读出单元顺序地生成的多个信号之间的信号值的变化；以及控制单元，其响应于检测单元检测到信号值的变化来控制读出单元，以从至少所述一个像素块中所包括的多个像素中的各个像素分别输出信号，并且当检测单元在预定数量的帧内未检测到信号值的变化时，控制单元控制读出单元，以从至少所述一个像素块中所包括的多个像素中分别输出信号。
[0010]
根据本发明，可以在抑制电流消耗的同时适当地拍摄被摄体。例如，可以提高被摄体的运动检测的精度。或者，可以独立于运动检测来拍摄被摄体。
附图说明
[0011]
[图1]图1是本发明的第一实施例中的摄像系统的框图。
[0012]
[图2]图2是本发明的第一实施例中的摄像装置的框图。
[0013]
[图3]图3是本发明的第一实施例中的像素块的概念图。
[0014]
[图4]图4是示出本发明的第一实施例中的像素的布置的图。
[0015]
[图5]图5是本发明的第一实施例中的像素单元的框图。
[0016]
[图6]图6是示出本发明的第一实施例中的像素单元的读出方法的图。
[0017]
[图7]图7是示出本发明的第一实施例中的摄像装置的驱动方法的流程图。
[0018]
[图8]图8是示出本发明的第二实施例中的摄像装置的驱动方法的流程图。
[0019]
[图9]图9是示出本发明的第三实施例中的像素块的图。
[0020]
[图10]图10是示出本发明的第三实施例中的像素块的图。
[0021]
[图11]图11是本发明的第四实施例中的摄像装置的框图。
[0022]
[图12]图12是本发明的第五实施例中的摄像装置的框图。
[0023]
[图13]图13是本发明的第六实施例中的摄像装置的框图。
[0024]
[图14]图14是示出本发明的第七实施例中的摄像装置的驱动方法的流程图。
[0025]
[图15]图15是示出本发明的第八实施例中的摄像装置的驱动方法的流程图。
[0026]
[图16]图16是示出本发明的第九实施例中的像素单元的读出方法的图。
[0027]
[图17]图17是示出本发明的第九实施例中的像素单元的读出方法的图。
[0028]
[图18]图18是本发明的第九实施例中的机器学习模型的图。
[0029]
[图19]图19是本发明的第十实施例中的像素单元的框图。
[0030]
[图20]图20是本发明的第十一实施例中的像素单元的框图。
[0031]
[图21a]图21a是本发明的第十二实施例中的车载相机中的摄像系统的框图。
[0032]
[图21b]图21b是本发明的第十二实施例的车载相机中的摄像系统的框图。
具体实施方式
[0033]
下面将描述本发明的实施例。稍后描述的实施例中的摄像装置包括像素单元、读出单元、检测单元和控制单元。像素单元具有布置在多行和多列之上的多个像素。读出单元根据预定的划分图案将像素单元划分为各自包括多个像素的多个像素块，并且组合来自像
素块中所包括的多个像素的信号以在各个像素块中生成一个信号。检测单元检测从一个像素块顺序地输出的多个信号的信号值的变化。响应于检测单元检测到信号值的变化，控制单元控制读出单元，以从至少一个像素块中所包括的多个像素中的各个像素分别输出信号。控制单元控制读出单元，使得划分图案在至少两个帧之间是不同的。
[0034]
具体地，划分图案中的多个像素块中的各个像素块可以包括预定数量的像素。控制单元基于在多个帧的摄像信号中检测到的被摄体的运动来改变像素块中所包括的像素的数量。此外，划分图案中的多个像素块可以包括第一像素块和第二像素块，该第一像素块包括预定数量的像素，该第二像素块包括与预定数量的像素更多个的数量的像素。在这种情况下，控制单元可以按帧改变第一像素块和第二像素块中的各个像素块的数量或布置。
[0035]
通过按帧改变划分图案，诸如像素块的像素数量或布置，在检测被摄体的运动的时段期间，可以在抑制电流消耗的同时提高运动检测精度。
[0036]
下面将通过使用附图来描述本发明的实施例。本发明不限于下述的实施例。例如，下述的任何实施例的一部分的特征可以被添加到其他实施例，或者可以被其他实施例的一部分的特征替换。
[0037]
[第一实施例]
[0038]
图1是本实施例的摄像系统的框图。摄像系统可以是数字静态相机、数字相机、相机头、监控相机、复印机、传真机、移动终端、智能电话、车载相机、观察卫星、人工智能机器人等。
[0039]
图1中示出的摄像系统具有挡板101、透镜102、光圈103、摄像装置100、信号处理单元104、存储器单元105、外部i/f单元106、存储介质控制i/f单元107、存储介质108、机器装置109和控制单元110。挡板101保护透镜102，并且透镜102在摄像装置100上形成被摄体的光学图像。光圈103可以改变已经穿过透镜102的光量。摄像装置100是互补金属氧化物半导体(cmos)型固态摄像装置，并且将由透镜102形成的光学图像转换为图像数据。摄像装置100可以包括形成有像素电路、信号处理电路等的半导体基板、存储半导体基板的封装以及连接到外部电路的连接端子等。在摄像装置100的半导体基板上形成模数(ad)转换器单元。信号处理单元104对由摄像装置100输出的图像数据进行诸如灰度校正、噪声去除等图像处理。
[0040]
存储器单元105具有诸如动态存储器等易失性存储器或诸如闪速存储器等非易失性存储器，并用作存储图像数据的帧存储器。外部i/f单元106是与外部计算机、网络、服务器等通信的有线或无线接口。存储介质控制i/f单元107是在存储介质108上进行图像数据的存储或读出的接口，并且存储介质108是诸如具有存储图像数据的半导体存储器的存储器卡等可移动存储介质。机器装置109可以包括诸如透镜102和光圈103等光学机构的驱动装置、对相机头进行姿势控制等的机构装置等。控制单元110具有cpu、rom、ram等，并且根据预定程序对整个摄像系统进行控制。此外，控制单元110可以检测图像数据中的被摄体的运动，并且对其进行预定处理。在图1中，信号处理单元104、存储器105和控制单元110与摄像装置100分开配设，但是可以在与摄像装置100相同的半导体基板上形成。
[0041]
图2是本实施例的摄像装置的框图。在本实施例中，摄像装置100的电路元件在两个叠置的半导体基板1a和1b上形成。在半导体基板(第一基板)1a上形成像素单元2，并且在半导体基板(第二基板)1b上形成诸如垂直扫描电路3、模数转换器电路(adc电路)4、水平扫
描电路5、信号处理电路6和控制电路7等读出单元。例如，半导体基板1a和1b的各布线层通过诸如cu
‑
cu等金属键(metallic bond)彼此电连接。
[0042]
像素单元2具有布置在多行和多列之上的多个像素10，并且各个像素10具有基于照射光生成和累积电荷的光电转换单元。请注意，在本说明书中，行方向指示附图中的水平方向，而列方向指示附图中的垂直方向。微透镜和滤色器可以布置在像素上10。滤色器是例如红色、蓝色和绿色的原色滤色器，并且根据拜耳(bayer)布置配设在各像素10上。一些像素10被遮光作为光学黑色像素(ob像素)。为像素10的各个列配设列信号线l1，并且基于入射光的信号从像素10输出到列信号线l1。
[0043]
垂直扫描电路3由移位寄存器、门电路、缓冲器电路等形成，并且，基于垂直同步信号、水平同步信号、时钟信号等按行输出驱动脉冲。驱动脉冲被提供给各个行上的像素10。可以顺序地或随机地按行提供驱动脉冲。
[0044]
adc电路4被配设在像素10的各个列上，从像素10读出信号，并对信号进行模数转换。adc电路4具有比较器、脉冲发生电路和数字存储器。比较器由差分放大器电路形成，并且根据列信号线l1上的模拟信号与随时间变化的斜坡信号之间的比较结果来输出高电平信号或低电平信号。当比较器的输出反相时，脉冲发生电路输出单触发脉冲，并且数字存储器响应于检测到触发脉冲而保持计数器的计数值。从当斜坡信号的电位开始减小时的时间到当比较器的输出反相时的时间的时间段根据输入到比较器的信号的电位而变化。保持在数字存储器中的计数值指示信号电位的振幅。
[0045]
水平扫描电路5由移位寄存器、门电路等形成，并且顺序地扫描多个adc电路4。即，水平扫描电路5从adc电路4的数字存储器顺序地读出数字图像数据。信号处理电路6对数字图像数据进行诸如相关双采样、灰度校正、降噪、白平衡等各种信号处理。来自信号处理电路6的图像数据被输出到摄像装置100的外部。
[0046]
控制电路7用作基于时钟、同步信号等生成各种控制信号和驱动信号的定时发生器。控制电路7控制垂直扫描电路3、adc电路4、水平扫描电路5和信号处理电路6。此外，如下所述，控制电路7可以将像素单元2划分为多个像素块并进行控制，以按像素块读出信号。
[0047]
图3是本实施例中的像素块的概念图。像素单元2被划分为多个像素块bl，并且各个像素块bl具有由m行和n列形成的多个像素10。在本实施例中的摄像装置100可以按像素块bl读出信号并且按帧改变像素块bl的数量。此外，还可以改变形成摄像素块bl的像素10的数量以及像素块bl的形状和尺寸。
[0048]
图4是示出本实施例中的像素的布置的图。根据拜耳布置在像素10上形成红色(r)、蓝色(b)和绿色(g)的滤色器。例如，红色滤色器r11布置在第一行、第一列的像素10上，并且蓝色滤色器b22布置在第二行、第二列的像素10上。此外，例如，滤色器g12布置在第一行、第二列的像素10上，并且绿色滤色器g21布置在第二行、第一列的像素10上。请注意，滤色器不一定需要根据拜耳布置形成，并且可以使用诸如洋红色、青色、黄色和绿色等互补色的滤色器形成。
[0049]
图5是本实施例的像素单元的框图。像素单元2具有以矩阵布置的多个像素10、列信号线l1、开关m5和m6以及恒流源11。各个像素10包括光电转换单元pd、转移晶体管m1、复位晶体管m2、放大晶体管m3、选择晶体管m4和浮置扩散区fd。以下描述示出了形成像素10的晶体管是n沟道mos晶体管的示例。光电转换单元pd例如由光电二极管形成，并且利用入射
光和电荷的累积进行光电转换。请注意，光电转换单元pd不限于光电二极管，并且可以是产生光电效应的材料。光电转换单元pd配设有微透镜，并且由微透镜收集的光进入光电转换单元pd。
[0050]
驱动脉冲从垂直扫描电路3输入到转移晶体管m1的栅极。当驱动脉冲转变为高电平时，转移晶体管m1接通(导通状态)，并且光电转换单元pd的电荷被转移至作为放大晶体管m3的输入节点的浮置扩散区fd。此外，当驱动脉冲转变为低电平时，转移晶体管m1被断开(非导通状态)。通过接通或断开转移晶体管m1，可以将光电转换单元pd的电荷转移到浮置扩散区fd。放大晶体管m3将基于转移到浮置扩散区fd的电荷的信号经由选择晶体管m4输出到列信号线l1。
[0051]
复位晶体管m2的源极连接到浮置扩散区fd，并且驱动脉冲从垂直扫描电路3输入到栅极。当驱动脉冲转变为高电平时，复位晶体管m2被接通，并且复位电压被提供给浮置扩散区fd。在放大晶体管m3与列信号线l1之间配设选择晶体管m4，驱动脉冲从垂直扫描电路3输入到选择晶体管m4的栅极。当驱动脉冲转变为高电平时，放大晶体管m3和列信号线l1彼此电连接。
[0052]
将描述如上所述形成的像素10的一般操作。垂直扫描电路3通过接通选择晶体管m4并接通复位晶体管m2来使浮置扩散区fd的电荷复位。垂直扫描电路3断开复位晶体管m2并结束复位操作。像素10的复位状态的信号被输出到列信号线l1并输入到adc电路4。在像素10的复位晶体管m2被断开后，浮置扩散区fd的电压包括复位噪声。垂直扫描电路3接通转移晶体管m1，并将在光电转换单元pd中累积的电荷转移至浮置扩散区fd。浮置扩散区fd的电位根据电荷量改变了预定电位。基于光电转换单元pd的电荷的信号从放大晶体管m3输出到列信号线l1并输入到adc电路4。通过计算上述复位状态下的信号与基于光电转换的电荷的信号之间的差，进行所谓的相关双采样，并且获得去除了噪声的图像数据。
[0053]
在本实施例中，像素单元2还具有开关m5和m6。多个开关(第一开关)m5使得同一列上的多行上的像素10的浮置扩散区fd彼此连接或断开。开关m5之一的源极被连接到浮置扩散区fd，并且漏极被连接到其他开关m5的漏极。驱动脉冲从垂直扫描电路3输入到开关m5的栅极，并且当驱动脉冲转变为高电平时，多个浮置扩散区fd由开关m5电连接。例如，当第一行和第二列的开关m5接通时，具有滤色器r11和g21的两个像素10的浮置扩散区fd的电荷相加并且基于相加后的电荷的信号被输出到列信号线l1。此外，当接通第一行至第四行上的开关m5时，具有滤色器r11、g21、r31和g41的四个像素10上的浮置扩散区fd的电荷相加。以这种方式，通过接通期望的行上的开关m5，可以任意地改变列方向(垂直方向)上要结合(bin)的像素10的数量。
[0054]
多个开关(第二开关)m6配设在相邻的列信号线l1之间并且使得列信号线l1彼此连接或断开。例如，开关m6的源极连接到第一列上的列信号线l1，并且漏极连接到第二列上的列信号线l1。当驱动脉冲从垂直扫描电路3输入到开关m6的栅极并且该驱动脉冲转变为为高电平时，开关m6使得在第一列和第二列上的列信号线l1彼此电连接。通过接通期望的列上的开关m5，可以任意地改变行方向(水平方向)上要结合的像素10的数量。
[0055]
在本实施例中，通过适当地接通或断开多个开关m5和m6，可以对像素单元2进行划分，并且可以任意地改变像素块bl的行方向和列方向上的像素10的相应数量。例如，假定像素单元2被划分为m行n列的多个像素块bl。在这种情况下，通过接通(m
‑
1)个开关m5并接通
(n
‑
1)个开关m6，可以对m行n列的像素10形成的各个像素块bl进行结合以读出一个信号。共用信号被输出到连接到一个像素块bl的多条列信号线l1。由此，按n列读出信号并还按m行读取并扫描就足够了。因此，可以通过增加像素块bl的尺寸并增加要结合的像素的数量来减少摄像装置100的电流消耗。另一方面，为了提高帧之间的运动检测精度，优选的是减少像素块bl中的像素的数量并进行高分辨率读出。在本实施例中，如下所述，可以在通过动态地改变划分图案(诸如，像素块bl的像素数量和布置)而提高运动检测精度的同时，减少电流消耗。
[0056]
请注意，在图5中，尽管示出了将具有多个不同的滤色器(r11、g12、g21、b22等)的像素10进行结合的示例，但是可以将具有相同颜色的滤色器(g12，g21等)的像素10进行结合。
[0057]
图6是示出本实施例中的像素单元的读出方法的图，其示出了各个帧的像素块和像素块中所包括的像素数量。像素单元2被划分为包括多个像素块bl的预定划分图案，并且各个像素块bl包括预定数量的像素。在图6中，以第一、第二、...、第n、第(n+1)、...、第x、第(x+1)的顺序读出帧。在第一帧和第二帧中，像素块bl由m行n列即m
×
n个像素10形成。在第n帧和第(n+1)帧中，像素块bl由k行l列即k
×
l个像素10形成。此外，在第x帧和第(x+1)帧中，像素块bl由p行q列即p
×
q个像素10形成。在本实施例中，期望根据帧的读出时间减少形成像素块bl的像素的数量。或者，期望满足式子m
×
n>k
×
l>p
×
q。或者，可以满足m>k>p和n>l>q中的至少一个式子。
[0058]
在第一帧和第二帧中，划分后的像素块bl的数量最小，并且在一个像素块bl中结合的像素的数量最大。由于按m行或按n列读出信号就足够了，因此摄像装置100中的电流消耗可以最小化。在第n和第(n+1)帧中，像素块bl的数量大于第一帧和第二帧中的像素块的数量，并且可以提高运动检测精度。在第x和第(x+1)帧中，像素块bl的数量大于第n和第(n+1)帧中的像素块的数量，并且可以提高运动检测精度。
[0059]
在本实施例中，与第n帧和第(n+1)帧一样，具有相同数量的像素块bl的多个帧是连续的。当运动检测精度优先时，期望增加具有更大数量的像素块bl的帧的数量。此外，当降低功耗优先时，可以增加具有更小数量的像素块bl的帧的数量。请注意，尽管在图6中示出了像素块bl的三种划分图案，但是可以使用两种划分图案或者四种或更多种的划分图案。
[0060]
图7是示出本实施例中的摄像装置的驱动方法的流程图，其示出了在运动检测时段(运动检测模式)中的信号的读出方法。摄像装置100可以顺序地进行像素块的划分图案的多种不同模式。
[0061]
在步骤s100中，摄像系统中的控制单元110根据预定程序开始操作。控制单元110启动摄像装置100，并且摄像装置100基于入射光开始电荷的累积。
[0062]
在步骤s101中，控制单元110将运动检测和块读出的操作模式设置为模式1(第一模式)，并将指示模式1的信号提供给摄像装置100。摄像装置100的控制电路7根据模式1的信号开始块读出。这里，例如，按模式1的块读出是通过划分成m行n列的像素块bl的第一划分图案的读出操作。在模式1中，一个帧中的像素块bl的数量最小，并且在一个像素块bl中结合的像素的数量最大。因此，可以减少摄像装置100中的电流消耗。
[0063]
在步骤s102中，控制单元110对多个帧的图像数据进行运动检测。即，控制单元110
比较多个帧之间的特定像素块bl的信号，并且确定多个帧之间的信号差(信号值的变化)是否超过预定阈值th。优选的是，要比较的多个帧是具有同一划分图案的像素块bl的多个连续帧，例如，图6的第一帧和第二帧。在第一帧中，不计算差，并且确定结果为否。如果帧之间的信号差超过阈值th(步骤s102为“是”)，则控制单元110确定被摄体相对于背景的相对位置已经改变，并且摄像装置100的操作转变到全像素读出模式(第三模式)(步骤s110)。在全像素读出模式下，摄像装置100按像素读出信号，并在对多个像素10不进行相加读出的情况下输出高清晰度图像数据。请注意，代替对各个像素10进行读出，可以在比模式1中的像素块bl更小的像素块bl中进行相加读出。此外，与模式1相比，在全像素读出模式下，可以提高adc电路4的分辨率(位数)和帧速率。
[0064]
在全像素读出模式下，图像系统将拍摄有被摄体的高清晰度图像数据输出到存储介质108或外部装置。请注意，在预定条件下，诸如在从转变到全像素读出模式起的预定时段之后或当不再检测到被摄体时，控制单元110可以使操作模式转变到进行运动检测的模式1(步骤s101)。
[0065]
如果帧之间的信号差未超过阈值th，即，未检测到运动(步骤s102为“否”)，则控制单元110确定是否已经对预定数量的帧即在预定时段内进行了模式1中的运动检测(步骤s103)。如果尚未对预定数量的帧进行了模式1中的运动检测(步骤s103为“否”)，则控制单元110在下一帧中重复进行块读出(步骤s101)和运动检测(步骤s102)。
[0066]
如果已对预定数量的帧进行了模式1中的运动检测而在预定时段内未检测到被摄体的运动(步骤s103为“是”)，则控制单元110将运动检测和块读出操作模式转变为模式2(第二模式)。摄像装置100根据模式2开始块读出(步骤s104)。这里，例如，在模式2中的块读出是通过具有在图6的第n帧和第(n+1)帧中示出的k行和l列的像素块bl的第二划分图案的读出操作。模式2中的像素块bl的像素数量小于模式1中的像素块bl的像素数量，并且一个帧中所包括的像素块bl的数量更大。因此，与模式1相比，可以以更高的精度进行运动检测。
[0067]
在步骤s105中，控制单元110确定多个帧之间的信号差是否超过预定阈值th。优选的是，要比较的多个帧是具有同一图案的像素块bl的连续帧，例如，图6的第n帧和第(n+1)帧。如果帧之间的信号差超过阈值th，即，如果检测到运动(步骤s105为“是”)，则控制单元110将摄像装置100的操作转变为全像素读出模式(步骤s110)。
[0068]
如果帧之间的信号差未超过阈值th，即，未检测到运动(步骤s105为“否”)，则控制单元110确定是否已经对预定数量的帧进行了模式2中的运动检测(步骤s106)。如果尚未对预定数量的帧进行了模式2中的运动检测(步骤s106为“否”)，则控制单元110在下一帧中重复进行块读出(步骤s104)和运动检测(步骤s105)。如果控制单元110在模式2中已经对预定数量的帧进行了运动检测(步骤s106为“是”)，则控制单元110进一步减少像素块bl的像素数量并进行运动检测。
[0069]
随后，控制单元110和摄像装置100重复上述处理，同时逐渐减少像素块bl的尺寸。如果在预定数量的帧(预定时段)内尚未检测到被摄体的运动(步骤s105为“否”，且步骤s106为“是”)，则控制单元110将运动检测和块读出的操作模式设置为模式p(步骤s107)。模式p是以预定的最小像素块bl中进行块读出和运动检测的操作模式。如果即使以最小像素块bl在预定数量的帧内也尚未检测到运动(步骤s108为“否”，且步骤s109为“是”)，则控制单元110将操作模式设置为模式1(步骤s101)，并重复上述处理。
[0070]
如上所述，本实施例的摄像装置100可以基于运动检测的结果，按帧改变划分图案，诸如像素块bl的像素数量或布置。在本实施例中，由于可以在摄像装置100内部进行块读出，因此可以减少电流消耗。例如，当像素块bl由m行n列的像素10形成时，仅使连接到n列上的任何列信号线l1的adc电路4按m行操作并进行读取和扫描就足够了。因此，可以通过增加像素块bl的尺寸并增加要结合的像素的数量来减少摄像装置100的电流消耗。另一方面，为了提高帧之间的运动检测精度，可以减小像素块bl的尺寸，并且可以进行高分辨率读出。在本实施例中，通过在逐渐减小像素块bl的同时进行运动检测，可以实现电流消耗的减少和运动检测精度的提高这两者。
[0071]
注意，在步骤s102、s105和s108中，尽管用于运动检测的阈值th对于所有模式可以是相同的，但是可以将其设置为各模式的最优值。类似地，在步骤s103、s106和s109中，尽管用作确定标准的帧数量对于所有模式可以是相同的，但是可以将其设置为各模式的最优值。
[0072]
此外，在m行和n列的像素块bl中，行方向上的相加和列方向上的相加中的一个相加可以在摄像装置100内部进行，而另一相加可以在摄像装置100外部进行。同样在这种情况下，通过在摄像装置100内部进行相加，可以获得减少电流消耗的优点。此外，代替将形成像素块bl的所有像素10的信号相加，可以将像素块bl中的任何像素10的信号的平均值或一些像素10的信号用作像素块bl的代表值。此外，在图5中，当开关m5断开时，多行上的选择晶体管m4可以同时接通以读出多行上的信号。当同时输出到列信号线l1的多行信号的电压彼此接近时，将多个信号的平均值输出到列信号线l1。当在同时选择的行当中某个信号尤其大时，将输出最大像素值。多个行上的像素值的平均值或最大值可以作为像素块bl的代表值用于帧之间的运动检测。
[0073]
[第二实施例]
[0074]
图8是示出本实施例中的摄像装置的驱动方法的流程图，其示出了在运动检测时段(运动检测模式)中读出信号的方法。下面将主要描述与第一实施例的特征不同的特征。上述特征以外的特征具有与第一实施例的构造相同的构造。关于第一实施例的所有描述应用于与第一实施例的构造相同的构造的部分。
[0075]
如果以最小的像素块bl在预定数量的帧内仍未检测到运动(步骤s108为“否”，且步骤s109为“是”)，则控制单元110使操作模式转变到全像素读出模式(步骤s110)。在从转变为全像素读出模式起经过预定时间之后，并且控制单元110使操作模式转变为进行运动检测的模式1(步骤s101)。此时，可以转变到模式1之外的、模式2至模式p中的任一模式。或者，可以根据预定条件来选择转变到哪一种模式。
[0076]
请注意，在图8中，每当进行从模式1到模式p的一个处理周期(步骤s101至s109)都进行全像素读出模式(步骤s110)。相比而言，可以针对从模式1到模式p的各个多次的处理进行全像素读出模式(步骤s110)。即，如果在模式p的处理之后从操作开始起的总帧数未达到预定的帧数(步骤s109为“否”)，则控制单元110可以转变到模式1(步骤s101)而无需进行步骤s110的全像素读出(步骤s110)。另一方面，如果从操作开始起的总帧数达到了预定的帧数，则控制单元110可在进行全像素读出后转变到模式1(步骤s110)。
[0077]
如上所述，即使在预定数量的帧内未检测到运动，也进行到全像素读出模式的转变，从而即使对运动检测困难的运动对象，也可以以高分辨率进行拍摄。请注意，在本实施
例中，不必如第一实施例中所示的那样改变像素块bl的尺寸、数量等。例如，摄像装置100在始终固定像素块的划分图案的同时进行块读取，并且当在预定数量的帧内未检测到运动时，转变到全像素读出模式。在这样的构造中，获得了如下优点：即使对运动检测困难的运动对象，也可以进行高分辨率拍摄。
[0078]
[第三实施例]
[0079]
图9和图10是示出本实施例中的像素块的图。在本实施例中，在一帧内布置具有不同像素数量和不同形状的多种像素块。下面将主要描述与第一实施例的特征不同的特征。
[0080]
在图9中，像素单元2被划分为多种像素块bl1、bl2、bl3、bl4、
……
。例如，像素块(第一像素块)bl1被形成为大致正方形的形状，并且由比其他像素块(第二像素块)bl2、bl3和bl4更少数量的像素10形成。像素块bl4与像素块bl1一样被形成为大致正方形的形状，但是由比其他像素块bl1、bl2和bl3更多数量的像素10形成。像素块bl2和bl3可以由相同数量的像素10形成，但是彼此具有不同的形状。在一帧中，通过布置具有不同像素数量或不同形状的多种像素块，可以在任何区域中提高运动检测精度。例如，当需要在更靠近摄像区域的中心的部分中增加运动检测精度时，优选的是，相比于更靠近周边的部分，减少更靠近中心的部分中的像素块bl的像素数量。
[0081]
此外，可以按帧改变划分图案，诸如像素块bl的像素的数量、形状、布置等。例如，当被摄体从更靠近中心的部分移动到更靠近周边的部分时，更靠近周边的部分上的像素块bl2和bl4的尺寸可以小于中心处的像素块bl1的尺寸。此外，如图10所示，可以将具有与像素块bl的像素数量不同的像素数量的像素块bl6布置在具有相同像素数量的像素块bl5之间。在具有不同像素数量的像素块相邻布置的情况下，更有可能在更多的像素块bl中检测到被摄体。从而，可以在抑制电流消耗的同时减少一帧中的像素块bl的数量并有效地增加运动检测精度。
[0082]
[第四实施例]
[0083]
图11是本实施例的摄像装置的框图。下面将主要描述与第一实施例的特征不同的特征。在本实施例中，形成摄像装置100的电路元件在单个半导体基板1上形成。即，在半导体基板1上形成像素单元2、垂直扫描电路3、adc电路4、水平扫描电路5、信号处理电路6和控制电路7。当半导体基板1具有足够的面积时，与将半导体基板叠置的第一实施例相比，可以抑制制造成本。同样在本实施例中，可以以与第一实施例类似的方式，在减少电流消耗的同时增加运动检测精度。
[0084]
[第五实施例]
[0085]
图12是本实施例的摄像装置的框图。下面将主要描述与第一实施例的特征不同的特征。在本实施例中，摄像装置100跨三个叠置的半导体基板1a、1b和1c形成。在半导体基板1a中形成像素单元2，并且在半导体基板1b中形成垂直扫描电路3、adc电路4、水平扫描电路5、信号处理电路6和控制电路7。在半导体基板(第三基板)1c中形成诸如动态随机存取存储器(dram)的存储电路。dram临时性存储数字转换后的图像数据。当在从摄像装置100到信号处理单元104的信号路径上限制速率时，通过将图像数据存储在dram中，可以以高速率从像素单元2读出信号。这使得能够以高的帧速率进行拍摄，并且能够精确检测快速移动的被摄体的运动。
[0086]
[第六实施例]
[0087]
图13是本实施例的摄像装置的框图。下面将主要描述与第一实施例的特征不同的特征。在本实施例中，针对各个像素10配设adc电路4。与第一实施例相比，尽管电路尺寸更大，但是可以以更高的速率读出信号。这使得能够以高的帧速率进行拍摄，并且能够精确检测快速移动的被摄体。
[0088]
[第七实施例]
[0089]
图14是示出本实施例中的摄像装置的驱动方法的流程图。当在全像素读出模式之后进行运动检测时，本实施例中的摄像装置100转变为与进行运动检测的读出模式相同的读出模式。下面将主要描述与第一实施例的特征不同的特征。
[0090]
在步骤s200中，控制单元110根据预定程序开始操作。控制单元110启动摄像装置100，并且摄像装置100基于入射光开始电荷的累积。
[0091]
在步骤s201中，控制单元110将运动检测和块读出的操作模式设置为模式1，并且摄像装置100根据模式1开始块读出。以与第一实施例类似的方式，在根据该模式1的块读出中，在一个像素块bl中所包括的像素的数量是最大的。
[0092]
在步骤s202中，控制单元110确定多个帧之间的信号差是否超过预定阈值th。如果帧之间的信号差超过阈值th，即，如果检测到运动(步骤s202为“是”)，则控制单元110将摄像装置100的操作转变为全像素读出模式(步骤s210)。在全像素读出模式下，摄像装置100按像素读出信号并输出高清晰度图像数据。在预定条件下，诸如在从转变到全像素读出模式起经过预定时间之后或当不再检测到被摄体时，控制单元110进行从全像素读出模式到模式1的运动模式的转变以进行运动检测(步骤s201)。
[0093]
如果帧之间的信号差未超过阈值th，即，未检测到运动(步骤s202为“否”)，则控制单元110确定是否已经对预定数量的帧进行了模式1中的运动检测(步骤s203)。如果尚未对预定数量的帧进行了模式1中的运动检测(步骤s203为“否”)，则控制单元110在下一帧中重复进行块读出(步骤s201)和运动检测(步骤s202)。
[0094]
如果没有检测到被摄体的运动并且对预定数量的帧进行了模式1中的运动检测(步骤s203为“是”)，则控制单元110将操作模式转变为模式2(步骤s204)。摄像装置100通过使用将像素块bl的像素的数量减少的划分图案来开始模式2中的块读出和运动检测。
[0095]
如果帧之间的信号差超过阈值th，即，如果检测到运动(步骤s205为“是”)，则控制单元110将摄像装置100的操作转变为全像素读出模式(步骤s211)。然后，在预定条件下，控制单元110将操作模式从全像素读出模式转变为模式2(步骤s204)。
[0096]
如果帧之间的信号差未超过阈值th，即，未检测到运动(步骤s205为“否”)，则控制单元110确定是否已经对预定数量的帧进行了模式2中的运动检测(步骤s206)。如果尚未对预定数量的帧进行了模式2中的运动检测(步骤s206为“否”)，则控制单元110在下一帧中重复进行块读出(步骤s204)和运动检测(步骤s205)。如果对预定数量的帧进行了模式2中的运动检测(步骤s206为“是”)，则控制单元110通过使用将像素块bl的像素的数量减少的划分图案来进行块读出和运动检测。
[0097]
然后，控制单元110和摄像装置100重复上述处理，同时逐渐减小像素块bl的尺寸。如果没有检测到运动，则控制单元110将运动检测和块读出的操作模式设置为模式p(步骤s207)。模式p是以预定的最小像素块bl进行块读出和运动检测的操作模式。
[0098]
如果帧之间的信号差超过阈值th，即，如果检测到运动(步骤s208为“是”)，则控制
单元110将摄像装置100的操作转变为全像素读出模式(步骤s212)。然后，在预定条件下，控制单元110将操作模式从全像素读出模式转变为模式p(步骤s207)。同样在最小像素块bl中，如果对预定数量的帧未检测到运动(步骤s208为“否”，并且步骤s209为“是”)，则控制单元110将操作模式设置为模式1(步骤s201)。
[0099]
在本实施例中，当全像素读出模式转变为块读出模式时，该模式再次转变为与已经进行了运动检测的模式相同的模式。例如，当在模式2中检测到运动并且进入全像素读出模式时，随后进行的块读出模式是模式2。以这种方式，当在全像素读出模式之后进行运动检测时，进行与运动检测时的读出模式相同的读出模式。如果在图像内的相同区域中重复检测到被摄体的运动，则通过使用相同的读出模式进行运动检测，可以有效地进行运动检测。结果，可以增加运动检测的速度和精度。
[0100]
[第八实施例]
[0101]
图15是示出本实施例中的摄像装置的驱动方法的流程图。当运动检测模式从全像素读出模式恢复时，本实施例中的摄像系统可以基于先前的运动检测结果来改变运动确定的帧数和像素块的图案。下面将主要描述与第一实施例和第六实施例的特征不同的特征。
[0102]
从步骤s300到步骤s309的处理与第一实施例和第六实施例的处理基本相同。在多个帧之间的信号差超过阈值th(步骤s302、步骤s305、步骤s308为“是”)，则控制单元110将摄像装置100的操作转变为全像素读出模式(步骤s310)。在从转变为全像素读出模式起经过预定时间之后或在预定条件下，控制单元110进行步骤s311及其后的处理以再次进行运动检测。
[0103]
在步骤s311中，控制单元110基于运动检测结果来重置划分图案(诸如，像素块的像素数量、布置等)(步骤s302、步骤s305或步骤s308)。例如，假定，如果模式2中的划分模式被用作由控制单元110重复进行步骤s301至步骤s309的运动检测的结果(步骤s304)，则被摄体的运动被检测的频率增加。在这种情况下，控制单元110以与模式2中相同的方式改变模式1和模式p的某些帧中的划分图案(步骤s301、s307)。此外，模式2中的像素块可以被更细地划分。请注意，运动检测结果可以存储在摄像系统或摄像装置100的存储器中。
[0104]
在步骤s312中，控制单元110基于运动检测结果(s302、s305或s308)重置在确定帧数(步骤s303、s306或s309)时的帧数。例如，假定，如果作为由控制单元110重复进行步骤s301至s309的运动检测的结果而进行模式2中的运动检测(步骤s305)，则被摄体的运动被检测的频率增加。在这种情况下，控制单元110增加模式2中的确定帧数(步骤s306)。即，通过增加运动检测的频率为高的模式的处理的速率(次数)，可以增加运动检测的速度和精度。
[0105]
随后，控制单元110通过使用像素块的划分图案的设置值和帧数来重复步骤s301至s309的运动检测。此外，控制单元110可以在重复运动检测的同时学习最优设置值。如上所述，通过基于运动检测的结果来重置像素块的划分图案和确定帧数，以及通过增加运动检测的频率为高的信号读出的步骤的比例，可以增加运动检测的速度和精度。
[0106]
[第九实施例]
[0107]
在本实施例中，将主要针对与第八实施例不同的特征来描述从第八实施例进一步扩展的示例。本实施例的驱动方法与第八实施例中描述的图15的流程图中示出的驱动方法基本相同，但是在像素块的划分图案方面不同。下面将描述简化为模式1至3的划分图案。当
第一次进行步骤s301至s309的运动检测时，控制单元110按照模式1、模式2和模式3的顺序进行运动检测。
[0108]
图16是示出本实施例中的像素单元的读出方法的图，其示出了像素块的初始划分图案。按照第一、第二、...、第n、第(n+1)、...、第x和第(x+1)的顺序读出各个帧。出于说明的目的，区域a、区域b和区域c是相同尺寸的像素区域。在对应于模式1的第一帧和第二帧中，像素单元2中形成左上区域a的像素块的数量大于形成中心区域b和右下区域c的像素块的数量。换句话说，区域a中的单个像素块中所包括的像素数量小于区域b或区域c中的单个像素块中所包括的像素数量。因此，区域a中的运动检测精度比区域b或区域c中的高。类似地，在对应于模式2的第n帧和第(n+1)帧中，像素单元2中形成中心区域b的像素块的数量大于形成左上区域a和右下区域c的像素块的数量。因此，区域b中的运动检测精度比区域a或区域c中的高。在对应于模式3的第x帧和第(x+1)帧中，由于像素单元2中形成右下区域c的像素块的数量大于形成左上区域a和中心区域b的像素块的数量，因此区域c中的运动检测精度比区域a和区域b中的高。请注意，虽然在图16中仅代表性地指示了区域a至区域c，但是可以将更多区域设置为摄像区域。
[0109]
这里，将描述作为重复步骤s301至s309的运动检测的结果，在任何模式中都没有在图16中检测到运动对象的情况(步骤s309为“是”)。在这种情况下，在步骤s311和步骤s312中不改变像素块的划分图案和帧数的设置的情况下，可以继续运动对象检测。或者，可以采用改变像素块的划分图案或帧数的设置。可以事先设置这种改变的方法，或者可以随机设置这样的改变。
[0110]
接下来，将描述作为重复步骤s301至s309的运动检测的结果，在任何模式中检测到运动对象的情况。如果检测到运动对象(步骤s302、s305和s308中的任意一个为“是”)，则控制单元110转变为全像素读出模式(步骤s310)。然后，以与没有检测到运动对象的情况相同的方式，在步骤s311和s312中，可以在不改变像素块的划分图案和帧数的设置的情况下继续运动对象检测。或者，像素块的划分图案或帧数可以设置为被改变。
[0111]
控制单元110可以在重复运动检测的同时基于检测结果的统计数据来设置最优划分图案和帧数。例如，在重复运动检测期间，当在模式1中进行运动检测的频率为高时，模式1出现的比例可以按照模式1、模式2、模式1、模式3、模式1、模式2、模式1、
……
的顺序增加。当在特定区域中检测到运动对象的概率为高时，可以增加该区域中的检测频率并且更有效地检测运动对象。
[0112]
此外，在重复运动检测期间，当表征检测运动的模式的顺序时，可以通过在步骤s311中重置划分图案(诸如像素块中的像素的数量、布置等)来改变模式出现的顺序。
[0113]
例如，假定，作为控制单元110重复步骤s301至步骤s309的运动检测的结果而在模式3中检测到被摄体的运动之后，被摄体的运动被检测的频率为高的下一模式是模式2。此外，假定，在模式2中检测到被摄体的运动后，被摄体的运动被检测的频率为高的下一模式是模式1。在这种情况下，控制单元110可重置划分图案，诸如像素块中的像素的数量、布置等，以使像素块的划分图案具有初始设置的模式3、模式2并然后模式1的顺序。
[0114]
图17是示出本实施例中的像素单元的读出方法的图，其示出了在重置像素块的划分图案之后得到的划分图案。以第一、第二、...、第n、第(n+1)、...、第x和第(x+1)的顺序读出帧。在对应于模式1的第一帧和第二帧中，由于像素单元2中形成右下区域c的像素块的数
量大于形成左上区域a和中心区域b的像素块的数量，因此区域c中的运动检测精度比区域a和区域b中的高。在对应于模式2的第n帧和第(n+1)帧中，由于像素单元2中形成中心区域b的像素块的数量大于形成左上区域a和右下区域c的像素块的数量，因此区域b中的运动检测精度比区域a和区域c中的高。在对应于模式3的第x帧和第(x+1)帧中，由于像素单元2中形成左上区域a的像素块的数量大于形成中心区域b和右下区域c的像素块的数量，因此区域a中的运动检测精度比区域b和区域c中的高。
[0115]
如上所述，通过改变像素块的划分图案的顺序，使得运动检测的频率增加，可以增加运动检测的速度和精度。例如，当被摄体从屏幕的右下方移动到屏幕的左上方时，可以重置图17中示出的划分图案。
[0116]
此外，通过根据在运动检测时获得的图像信息对被摄体进行分类并进行机器学习，还可以预测被摄体的运动并重置划分图案，诸如像素块的像素数量、布置等。图18示出了本实施例中的机器学习模型的神经网络的示意图。机器学习模型可以例如由控制单元110学习，并且存储在存储器单元105中。神经网络包含具有多个节点的输入层、具有多个节点的中间层和具有单个节点的输出层。在全像素模式中拍摄的图像可以被输入到输入层的各个节点。中间层的各个节点连接到输入层的各个节点。输入到中间层的节点的输入值的各个元素用于在中间层的各个节点中的计算中。例如，中间层的各节点通过使用从输入层的各个节点输入的输入值、预定的加权系数和预定的偏置值来计算操作值。中间层的各个节点连接到输出层，并将计算出的操作值输出到输出层的节点。从中间层的各个节点向输出层的节点输入操作值。机器学习模型(中间层)对图像中所包括的运动对象进行分类。例如，通过区分诸如人、动物、车辆等识别出的运动对象的差异并预测被摄体的尺寸、运动范围或速度，还可以重置划分图案(诸如像素块的像素数量、布置等)，并从输出层进行输出操作。请注意，可以添加关于检测到运动对象的像素块的信息，作为机器学习模型的输入。从而，图像内可能存在运动对象的区域被识别出，并且可以提高运动对象的分类精度。
[0117]
此外，机器学习模型的输出可以用于识别与运动对象具有紧密关系的被摄体。例如，将道路(其上可能出现车辆)、通道、门或窗户(人可能会进入或离开)识别为机器学习模型的输出。进行上述模式的选择或切换，使得存在上述被摄体的区域的像素块变小。
[0118]
当分类的被摄体不是期望的被摄体时，可以通过在不进行全像素读出模式(步骤s310)的情况下转变为设置像素块划分图案来提高检测期望的被摄体的精度(步骤s311)。
[0119]
请注意，当在全像素读出模式中拍摄的图像被输入到机器学习模型等的神经网络并且基于该神经网络的输出进行控制时，既不需要从模式1到模式p顺序地改变像素块的尺寸，也不需要在一个帧内配设具有不同尺寸的多个像素块。在本发明中包括用于设置像素块的各种方法。例如，基于输出的控制不限于上述模式选择，而是可以包括当没有检测到运动对象时对转变为全像素读出模式的定时的控制。或者，上述控制可以应用于对摄像装置的曝光时段的控制、摄像装置内部的增益控制、对帧速率的控制等。此外，上述控制可以应用于当检测到运动对象时对全像素模式的输出的时段的控制。
[0120]
关于机器学习模型的输入和输出的信息不限于上述示例。除了图像之外，还可以输入诸如拍摄时间、拍摄地点等各种信息(条件)，并且可以在各个条件下输出最优划分图案和像素块的像素数量。通过将运动对象检测的结果反馈到机器学习模型并更新各节点之间的各个加权系数，可以进行对在各种条件下能最有效地检测运动对象的像素块的划分图
案和像素数量的学习。输出层的节点通过使用从中间层的各个节点输入的计算值、加权系数和偏置值来计算输出层的值。请注意，可以通过例如误差反向传播方法来进行神经网络的学习。具体地，当数据输入到输入层时得到的输出值与从教学数据获得的输出相互比较，并且将由比较得到的误差反馈到中间层。通过重复该操作直到误差变得低于预定阈值，可以进行神经网络(学习模型)的学习。
[0121]
[第十实施例]
[0122]
图19是本实施例的像素单元的框图。虽然在第一实施例中通过使用在相邻列信号线l1之间配设的开关来将多列信号相加，但是在本实施例中，通过使用使多列浮置扩散区彼此电连接或电断开的开关来将多列像素的信号相加。下面将主要描述与第一实施例的特征不同的特征。
[0123]
像素10包括光电转换单元pd、转移晶体管m1、复位晶体管m2、放大晶体管m3、选择晶体管m4、开关(第四开关)m10和浮置扩散区fd。此外，多个像素10经由开关(第一开关)m50和开关(第三开关)m60彼此连接。在像素10中，开关m10的源极电连接至浮置扩散区fd，并且开关m10的漏极电连接至开关m50的源极、复位晶体管m2的源极和开关m60的源极。一个开关m50的漏极电连接至其他开关m50的漏极。驱动脉冲从垂直扫描电路3输入到开关m50的栅极。
[0124]
在运动检测模式即将信号相加的块读出模式中，可以通过在接通开关m10的同时控制开关m50和m60的接通或断开来将任意数量的像素的浮置扩散区fd的信号相加。具体地，首先，复位晶体管m2接通和断开，并且浮置扩散区fd复位。然后，转移晶体管m1接通和断开，并且光电转换单元pd的光电荷转移到浮置扩散区fd。在多行上，响应于开关m10和m50被接通，在多行上的浮置扩散区fd经由开关m10和开关m50彼此电连接。从而，可以在列方向(垂直方向)上进行相加读出。此外，在多列上，响应于开关m10和m60被接通，在多列上的浮置扩散区fd经由开关m10和开关m60彼此电连接。从而，可以在行方向(水平方向)上进行相加读出。
[0125]
在第一实施例中，通过使多条列信号线l1通过开关m6彼此电连接来进行行方向上的相加读出。在这种情况下，当多个信号之间的差较大时，可以输出最大信号而不是信号的相加值。例如，假定高强度光仅进入某个像素10并且基本上没有光进入其它像素的状态。在具有高强度光的像素10中，浮置扩散区fd的电位显著降低，放大晶体管m3的栅极与源极之间的电位差减小，因此放大晶体管m3将断开。另一方面，在各个低强度像素10中，浮置扩散区fd的电位保持为高状态，并且放大晶体管m3的源极的电位增加。因此，列信号线l1的电位将仅由低强度像素10限定，并且因此偏离信号的理想相加值(平均值)。对于用于相加的更大数量的列信号线l1而言，这种趋势更加明显，并且可能更难以检测到小的高强度被摄体的运动。
[0126]
相比而言，根据本实施例，通过对同样在行方向上的多个浮置扩散区fd中的电荷进行相加，可以进行理想的信号相加。特别地，当用于相加的像素数量在行方向上大时，本实施例的优点是显著的。根据本实施例，可以在水平方向上进行理想的信号相加，可以增加用于在水平方向上相加的像素的数量。
[0127]
在正常拍摄期间，即，在不进行信号相加的全像素读出模式下，开关m50和开关m60处于断开状态。此外，在除了各像素10中的复位操作之外的读出操作期间，开关m10处于断
开状态。具体地，在复位期间，复位晶体管m2和开关m10同时接通和断开。在浮置扩散区fd被复位后，开关m10被断开。响应于转移晶体管m1被接通和断开，电荷从光电转换单元pd转移到浮置扩散区fd。此时，由于开关m10被断开，因此浮置扩散区fd与开关m50和开关m60电隔离。从而，可以防止由于电容耦合等将相邻的列信号线l1上的信号混合到浮置扩散区fd，并且避免发生颜色混合。此外，还可以防止开关m50或开关m60的寄生电容附着到浮置扩散区fd并提高sn比。
[0128]
[第十一实施例]
[0129]
图20是本实施例中的像素单元的框图，其示出了第八实施例中的像素单元的变型例。下面将主要描述与第八实施例的特征不同的特征。
[0130]
像素10包括光电转换单元pd1和pd2、转移晶体管m11和m12、复位晶体管m2、放大晶体管m3、选择晶体管m4和浮置扩散区fd。光电转换单元pd1和pd2共享单个浮置扩散区fd。光电转换单元pd1和pd2分别配设有不同的滤色器。例如，在第一行第一列的像素10中，在光电转换单元pd1上配设有红色滤色器(r11)，并且在光电转换单元pd2上配设有绿色滤色器(g12)。通过独立地接通或断开转移晶体管m11和m12，可以独立地读出光电转换单元pd1和pd2的电荷，并且像素10可以用作包括两个像素10(r11、g12)的单位像素。多个像素10的浮置扩散区fd经由开关m50和m60彼此连接。然而，与第十实施例不同，在浮置扩散区fd与开关m50和m60之间未配设其它开关。
[0131]
在运动检测模式中，即，在将信号相加的块读出模式中，通过同时接通转移晶体管m11和m12，可以将光电转换单元pd1和pd2的电荷相加并读出。此外，与第十实施例一样，通过控制开关m50和m60的接通或断开，可以将任意数量的像素的浮置扩散区域fd彼此连接。
[0132]
在正常拍摄期间，即，在不进行信号相加的全像素读出模式下，开关m50和开关m60处于断开状态。在本实施例中，虽然在浮置扩散区fd与开关m50和m60之间未配设开关，但是在各个行上同时读出的各像素10的颜色是相同的，因此不会发生颜色混合。例如，在第一行的像素10的读出中，首先同时读出红色像素r11、r13、
……
的信号，然后同时读出绿色像素g12、g14、
……
的信号。即，在各个行上同时读出的信号的颜色分量是相同的。因此，在本实施例中，可以防止颜色混合。请注意，可以以与第十实施例相同的方式在浮置扩散区fd与开关m50和m60之间配设开关。在这种情况下，可以防止相同颜色的信号的干扰，并且可以减少附着在浮置扩散区fd上的寄生电容并提高sn比。
[0133]
[第十二实施例]
[0134]
图21a和图21b示出第一至第十一实施例中的任何一个中的摄像装置被应用于与车载相机有关的摄像系统的示例。在本实施例中，形成摄像装置100的像素10可以包括第一光电转换单元和第二光电转换单元。信号处理单元104可以被构造为处理基于由第一光电转换单元生成的电荷的信号和基于由第二光电转换单元生成的电荷的信号，并获取关于从摄像装置100到被摄体的距离的距离信息。
[0135]
摄像系统2000具有图像处理单元2030和视差计算单元2040，该图像处理单元2030对由摄像装置100获取的多个图像数据进行图像处理，该视差计算单元2040根据由摄像系统2000获取的多个图像数据计算视差(视差图像的相位差)。此外，摄像系统2000具有距离测量单元2050和碰撞确定单元2060，该距离测量单元2050基于所计算的视差来计算到对象的距离，该碰撞确定单元2060基于计算出的距离来确定是否存在碰撞可能性。这里，视差计
算单元2040和距离测量单元2050是获取关于到对象的距离的距离信息的距离信息获取单元的示例。即，距离信息是关于视差、散焦量、到对象的距离等的信息。碰撞确定单元2060可以使用任何距离信息来确定碰撞可能性。距离信息获取单元可以通过专门设计的硬件来实现，或者可以由软件模块来实现。此外，距离信息获取单元可以由现场可编程门阵列(fpga)或专用集成电路(asic)来实现，或者由其组合实现。
[0136]
摄像系统2000连接到车辆信息获取装置2310，并且可以获取诸如车辆速度、偏航率(yaw rate)、转向角度(steering angle)等的车辆信息。此外，摄像系统2000与控制ecu 2410连接，控制ecu 2410是基于碰撞确定单元2060的确定结果输出用于使车辆生成制动力的控制信号的控制装置。此外，摄像系统2000也与基于碰撞确定单元2060的确定结果向驾驶者发出警报的警报装置2420连接。例如，当作为碰撞确定单元2060的确定结果，碰撞概率高时，控制ecu 2410进行车辆控制以通过应用制动、推回加速器、抑制引擎功率等来避免碰撞或减少损坏。警报装置2420通过发出诸如声音的警报，在汽车导航系统等的显示器上显示警报信息，向座椅安全带或方向盘提供振动等来警报用户。摄像系统2000用作如上所述对控制车辆的操作进行控制的控制单元。
[0137]
在本实施例中，通过使用摄像系统2000来拍摄车辆周围的区域，例如前部区域或后部区域。图21b示出了当拍摄车辆的前部区域(拍摄区域2510)时的摄像系统。作为拍摄控制单元的车辆信息获取装置2310向摄像系统2000或摄像装置100发送指令，以便进行在以上的第一至第十一实施例中描述的操作。由于摄像装置100的操作与第一至第十一实施例中的操作相同，因此这里将省略其描述。这样的构造可以进一步提高测距精度。
[0138]
虽然上文已经描述了用于避免与其他车辆碰撞的控制的示例，但是该实施例可应用于跟随其他车辆的自动驾驶控制，不偏离车道的自动驾驶控制等。此外，摄像系统不限于诸如主题车辆的车辆，并且，例如，可以应用于诸如船舶、飞机或工业机器人等移动单元(移动设备)。另外，摄像系统可以广泛应用于诸如智能交通系统(its)的利用对象识别的装置，而不限于移动单元。
[0139]
[第十三实施例]
[0140]
虽然在上述实施例中进行运动检测处理和对读出块的模式的确定处理的信号处理单元104和控制单元110配设在摄像装置的外部，但是信号处理单元104和控制单元110也可以配设在摄像装置的内部。例如，信号处理单元104和控制单元110可以安装在图12中示出的半导体基板(第三基板)1c上。当在从摄像装置100到信号处理单元104的信号路径上速率受限时，通过将信号处理单元104和控制单元110配设在摄像装置100的内部，可以缩短到信号处理单元104和控制单元110的信号发送路径。从而，信号处理单元104可以以使得能够以高帧率进行拍摄的高速率读出信号，并且控制单元110可以精确地检测快速移动的被摄体的运动。
[0141]
[第十四实施例]
[0142]
信号处理单元104和控制单元110可以安装在图13中示出的半导体基板(第二基板)1b上。同样在本实施例中，当在从摄像装置100到信号处理单元104的信号路径上速率受限时，通过将信号处理单元104和控制单元110配设在摄像装置100的内部，可以缩短到信号处理单元104和控制单元110的信号发送路径。这使得能够以高帧速率进行拍摄并精确检测快速移动的被摄体的运动。
[0143]
[其它实施例]
[0144]
本发明不限于上述实施例，并且在不脱离本发明的技术概念或其主要特征的情况下，可以以各种形式来实现本发明。例如，任何实施例的构造的一部分被添加到另一实施例的示例，或者任何实施例的构造的一部分被另一实施例的构造的一部分替换的示例，是本发明的实施例之一。
[0145]
本发明的实施例可以由摄像系统或摄像装置的计算机来实现，其读出并执行在存储介质中存储的计算机可执行指令(例如，一个或多个程序)。此外，专用集成电路(asic)可以用作非暂时性计算机可读存储介质。可以将存储有用于实现上述功能的程序代码的存储介质供应给摄像系统或摄像装置。此外，摄像系统或摄像装置可以下载程序，以便通过网络或服务器执行上述一些或全部功能。
[0146]
处理器(例如，中央处理单元(cpu)、微处理单元(mpu))可以被包括在摄像系统或摄像装置中。计算机可执行指令可以从例如网络或存储介质提供给计算机。例如，存储介质可以是硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储装置、光盘(例如，压缩盘(cd)、数字多功能光盘(dvd)、蓝光光盘(bd)(注册商标))、闪速存储器装置、存储卡等。
[0147]
虽然参照示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围应当被赋予最宽的解释，以便涵盖所有这类修改以及等同的结构和功能。
[0148]
本申请要求于2018年8月31日提交的日本专利申请第2018
‑
163852号和于2019年6月10日提交的日本专利申请第2019
‑
108210号的权益，在此通过引用将其全部内容并入本文。
[0149]
[附图标记列表]
[0150]
bl、bl1、bl2 像素块
[0151]
2 像素单元
[0152]
3 垂直扫描电路
[0153]
4 adc电路
[0154]
5 信号处理电路
[0155]
6 水平扫描电路
[0156]
7 控制电路
[0157]
10 像素
[0158]
100 摄像装置
[0159]
110 控制单元
[0160]
pd1、pd2 光电转换单元
[0161]
m1 转移晶体管
[0162]
m2 复位晶体管
[0163]
m3 放大晶体管
[0164]
m4 选择晶体管
[0165]
fd 浮置扩散区
[0166]
m5、m6、m10、m50、m60 开关
[0167]
l1 列信号线