成像设备的制作方法

成像设备
1.对相关申请的交叉引用
2.本技术要求于2020年11月26日向韩国知识产权局提交的第10-2020-0161099号韩国专利申请的权益，该申请的全部公开内容通过引用被合并于此以用于所有目的。
技术领域
3.一些示例实施例涉及一种成像设备。


背景技术：

4.成像设备是通过将光学信号转换成电信号来生成图像的设备，并可以被安装在电子设备上以提供相机功能。最近，使用光学信号生成包括距离信息的深度图像的成像设备已经被安装在各种电子设备上，并且已经积极提出了用于改进生成深度图像的成像设备的性能的方法。


技术实现要素：

5.一些示例实施例提供了一种成像设备，其中，可以生成具有改进的或优异的噪声特性的深度图像，同时在不降低帧速率的情况下增加大的或最大的可测量距离。
6.根据一些示例实施例，成像设备包括：光源，被配置为由使用具有第一频率的第一参考信号和使用具有不同于第一频率的第二频率的第二参考信号生成的光学控制信号操作；多个像素，多个像素中的每一个包括光电二极管和像素电路，光电二极管被配置为响应于由光源输出并从被摄体反射的光接收信号而生成电荷，像素电路被配置为输出与光电二极管的电荷相对应的像素信号；以及逻辑电路，被配置为使用像素信号生成原始数据以生成深度图像。多个像素包括第一像素和第二像素。逻辑电路被配置为将具有第一频率的第一光电控制信号输入到连接到每个第一像素中的光电二极管的像素电路，并被配置为将具有第二频率的第二光电控制信号输入到连接到每个第二像素中的光电二极管的像素电路。
7.根据一些示例实施例，成像设备包括光源、传感器和图像处理器，其中，光源被配置为由使用具有第一频率的第一参考信号和使用具有不同于第一频率的第二频率的第二参考信号生成的光学控制信号操作，传感器包括多个像素和逻辑电路，多个像素被配置为响应于由光源输出并从被摄体反射的光接收信号而生成像素信号，逻辑电路被配置为使用像素信号生成原始数据，多个像素包括第一像素和第二像素，第一像素被配置为与具有第一频率的第一光电控制信号同步操作，第二像素被配置为与具有第二频率的第二光电控制信号同步操作，以及图像处理器被配置为使用原始数据计算被摄体的距离信息。原始数据包括与第一像素相对应的第一原始数据和与第二像素相对应的第二原始数据。图像处理器被配置为计算被摄体的距离信息，然后使用第一原始数据来校正第二原始数据，其中，第一原始数据与第一像素之中的与第二像素中的每一个相邻的两个或更多个第一相邻像素相对应。
8.根据一些示例实施例，成像设备包括时钟驱动器电路、像素阵列、读出电路和光
源，其中，时钟驱动器电路被配置为输出具有第一频率的第一光电控制信号和具有低于第一频率的第二频率的第二光电控制信号，像素阵列具有被配置为接收第一光电控制信号的第一像素和被配置为接收第二光电控制信号的第二像素，读出电路通过多条列线连接到像素阵列，光源被配置为由具有第二频率且不同于第二光电控制信号的光学控制信号控制。
附图说明
9.通过以下结合附图的详细描述，将更清楚地理解本发明构思的上述和其他方面、特征和优点，其中：
10.图1和图2是示意性地图示根据一些示例实施例的成像设备的框图；
11.图3是根据一些示例实施例的成像设备的示意性框图；
12.图4a和图4b是示出根据一些示例实施例的成像设备中包括的像素阵列的示意图；
13.图5是根据一些示例实施例的成像设备的像素的示意性电路图；
14.图6是图示根据一些示例实施例的成像设备的操作的视图；
15.图7至图9是图示根据一些示例实施例的包括在成像设备中的光源的操作的视图；
16.图10和图11是图示根据一些示例实施例的成像设备的操作的视图；
17.图12和图13是图示根据一些示例实施例的成像设备的操作的视图；
18.图14和图15是示意性地图示根据一些示例实施例的成像设备中包括的像素阵列的示图；
19.图16是图示根据一些示例实施例的成像设备的操作的示图；
20.图17是根据一些示例实施例的包括在成像设备中的像素阵列的示意图；
21.图18是根据一些示例实施例的成像设备的像素的示意性电路图；以及
22.图19至图21是示意性地图示根据一些示例实施例的包括成像设备的电子设备的示图。
具体实施方式
23.在下文中，将参考附图描述一些示例实施例。
24.图1和图2是示意性地图示根据一些示例实施例的成像设备的框图。
25.首先，参考图1，根据一些示例实施例的成像设备1可以包括传感器模块2、图像信号处理器5等。传感器模块2可以包括光源3和传感器4。在一些示例实施例中，例如图1所示，传感器模块2和图像信号处理器5可以被包括在不同的半导体器件中。作为示例，传感器模块2可以以包括光源3和传感器4的半导体封装的形式实现，并且图像信号处理器5可以被包括在连接到传感器模块2的半导体器件中，以使得能够通过预定接口与其通信，预定接口被包括在例如应用处理器、中央处理单元、片上系统等中的至少一个中。
26.光源3可以包括输出特定(或可替代地，预定)波段的光学信号的至少一个发光设备，并且发光设备可以由垂直腔表面发射激光器(vcsel)或发光二极管(led)实现。例如，当光源3包括多个发光设备时，发光设备可以以阵列形式布置在基板上。光源3还可以包括布置在光信号的路径中的光学元件等，以改进光学信号的特性。例如，由光源3输出的光学信号可以是红外波段中的光学信号，例如具有在780nm与1mm之间的波长或在300ghz至400thz之间的频率。
27.光源3可以由具有不同操作频率的两个或更多个光学控制信号操作。例如，光源3可以在第一光发射时间期间由具有第一频率的第一光学控制信号操作，并且另外可以在第二光发射时间期间由具有不同于第一频率的第二频率的第二光学控制信号操作。可替代地，由第一光学控制信号操作的第一光源和由第二光学控制信号操作的第二光源也可以被包括在光源3中。在这种情况下，第一光源和第二光源可以交替操作，例如，可以不一定同时操作。
28.由光源3输出的光学信号由被摄体6反射，并且由被摄体6反射的光接收信号可以入射在传感器4上。传感器4可以包括响应于光接收信号而生成电信号的像素、使用电信号生成结果图像所需/用于生成结果图像的原始数据的逻辑电路等。原始数据可以包括指示被摄体6与被摄体6周围的背景(未示出)之间的距离的深度信息。图像信号处理器5使用原始数据生成结果图像，并且，结果图像可以是或可以包括指示到被摄体6和被摄体6周围的背景的距离的深度图像。
29.接下来，参考图2，成像设备1a的传感器模块2a和图像信号处理器5a可以在单个封装中/内实现。参考图2，光源3、传感器4a和图像信号处理器5a可以全部被包括在一个半导体封装中。图像信号处理器5a可以被包括在传感器4a中，或者可以与传感器4a分开实现。
30.在一些示例实施例中，例如图1和图2中所示的那些实施例，图像信号处理器5和5a可以以软件和/或硬件实现。作为示例，当如图1所示的示例实施例中的图像信号处理器5与传感器模块2分开实现时，图像信号处理器5可以实现为应用处理器等内部的软件。可替代地或附加地，当如图2所示的示例实施例中的图像信号处理器5a被集成到传感器模块2a中时，图像信号处理器5a可以实现为硬件。
31.图3是根据一些示例实施例的成像设备的示意性框图。
32.参考图3，成像设备10可以包括逻辑电路20、像素阵列30、光源驱动器40、光源50等。像素阵列30可以包括以阵列形状排列的多个像素px，诸如具有多个行和多个列的矩形或正方形形状。多个像素px中的每一个可以包括响应于从被摄体60入射的光接收信号而生成电荷的光电二极管，以及生成与由光电二极管生成的电荷相对应的电信号的像素电路。
33.例如，像素电路可以包括浮动扩散区/节点/区域、传输晶体管、复位晶体管、驱动晶体管、选择晶体管等。像素px的配置可以取决于一个示例实施例而变化。例如，像素px中的每一个可以包括有机光电二极管和/或可以被实现为数字像素，与硅光电二极管不同，有机光电二极管包括有机材料。当像素px被实现为数字像素时，每个像素px可以包括比较器、将比较器的输出转换为数字信号并输出转换后的信号的计数器等。
34.逻辑电路20可以包括用于控制像素阵列30的多个电路。例如，逻辑电路20可以包括时钟驱动器21、读出电路22、操作电路23、控制逻辑24等。时钟驱动器21可以在第一方向和/或第二方向上驱动像素阵列30。例如，时钟驱动器21可以生成输入到像素电路的传送门的传输控制信号、输入到复位门的复位控制信号、输入到选择门的选择控制信号、输入到光电门的光电控制信号等。第一方向和第二方向可以以各种方式限定。例如，第一方向可以对应于行方向，并且第二方向可以对应于列方向。
35.读出电路22可以包括相关双采样器(cds)、模数转换器(adc)等。相关双采样器通过列线连接到由时钟驱动器21提供的时钟信号选择的像素px，并执行相关双采样以检测复位电压和像素电压。模数转换器可以将由相关双采样器检测到的复位电压和像素电压转换
为数字信号，并可以将转换后的信号传送到操作电路23。
36.操作电路23可以包括放大电路和用于临时存储数字信号的锁存器或缓冲电路，并可以处理从读出电路22接收的数字信号。时钟驱动器21、读出电路22和操作电路23可以由控制逻辑24控制。控制逻辑24可以包括用于控制时钟驱动器21、读出电路22及操作电路23的操作时序的时序控制器、用于处理图像数据的图像信号处理器等。在一些示例实施例中，操作电路23可以被包括在控制逻辑24中。
37.控制逻辑24可以对由读出电路22和操作电路23输出的数据进行信号处理，以生成用于生成结果图像的原始数据。例如，由原始数据生成的结果图像可以是或可以包括深度图像。当图像信号处理器被包括在控制逻辑24中时，控制逻辑24可以使用原始数据生成结果图像。
38.根据一些示例实施例，控制逻辑24可以基于成像设备10的操作模式使用由读出电路22和操作电路23输出的数据来计算被摄体60与成像设备10之间的距离，或者可以识别靠近成像设备10的被摄体60。可替代地或附加地，操作电路23可以生成深度图像，并且控制逻辑24可以对深度图像进行后处理，从而提升结果图像的质量。
39.尽管图3将时钟驱动器21、控制逻辑24、读出电路22和操作电路23中的每一个图示为单独组件，但示例实施例不限于此。例如，由时钟驱动器21、控制逻辑24、读出电路22和操作电路23中的一个执行的功能中的一些可以可替代地或另外由时钟驱动器21、控制逻辑24、读出电路22和操作电路23中另外的一个或多个来执行。
40.成像设备10可以包括向被摄体60输出光学信号的光源50。光源50可以包括至少一个发光器件，并且例如可以包括其中多个发光器件以阵列形式排列的半导体芯片。光源50可以由光源驱动器40操作。光源驱动器40可以由逻辑电路20控制；然而，示例实施例不限于此。
41.在一些示例实施例中，光源驱动器40可以通过生成具有脉冲信号特性的光学控制信号来驱动光源50。光源驱动器40可以响应于逻辑电路20的控制命令使用脉冲宽度调制(pwm)信号生成光学控制信号，并可以确定光学控制信号的频率、占空比、持续时间等中的至少一个。例如，逻辑电路20可以使由时钟驱动器21输入到像素阵列30的时钟信号中的至少一个与输入到光源50的光学控制信号同步。在一些示例实施例中，与输入到光源50的光学控制信号同步的信号可以是或可以包括由时钟驱动器21输入到像素px的光电控制信号。光电控制信号可以是或可以包括用于控制连接在每个像素px的浮动扩散与光电二极管之间的晶体管的导通/截止切换的信号。
42.可以根据由光源驱动器40输入到光源50的光学控制信号的频率来确定成像设备10可以测量的大的，例如，最大距离。例如，可以如等式1所示确定光学控制信号的频率与成像设备10可以测量的最大距离之间的关系。在等式1中，c可以是光速，dm可以是可由成像设备10测量的最大距离，并且，fm可以是光学控制信号的频率。
43.[等式1]
[0044][0045]
更详细地，成像设备10可以测量的最大距离可以与光学控制信号的频率成反比。因此，可以以降低光学控制信号的频率的方式增加成像设备10可以测量的最大距离。
[0046]
然而，输入到成像设备10的像素px的光电控制信号可以具有与光学控制信号相同的频率，因此，在光学控制信号的频率降低的情况下，由成像设备10生成的深度图像的噪声特性会劣化。为了防止或降低发生这种问题的可能性，还可以利用通过分别在第一帧周期期间用第一频率的光学控制信号驱动光源50并且在第二帧周期期间用不同于第一频率的第二频率的光学控制信号驱动光源50而获得的数据来生成一个深度图像。然而，在这种情况下，会降低成像设备10的帧速率，并且在被摄体在第一帧周期与第二帧周期之间移动的情况下，可能不准确地或可能不太准确地生成深度图像。
[0047]
在本发明构思的一些示例实施例中，为了防止或减少上述问题的可能性或影响，可以使用通过使用第一频率的第一参考信号和第二频率的第二参考信号生成的光学控制信号来驱动光源50。可替代地或另外地，可以通过用第一频率的第一光电控制信号驱动第一像素并且用第二频率的第二光电控制信号驱动第二像素来生成深度图像。因此，在增加可由成像设备10测量的大的距离/最大距离的同时，可以显著减少由成像设备10输出的深度图像的噪声特性的劣化。
[0048]
图4a和图4b是图示根据一些示例实施例的包括在成像设备中的像素阵列的示意图。图5是根据一些示例实施例的成像设备的像素的示意性电路图。图6是图示根据一些示例实施例的成像设备的操作的视图。
[0049]
首先，参考图4a，根据一些示例实施例的像素阵列100可以包括在第一方向(x轴方向)和第二方向(y轴方向)上排列的多个像素110和120。作为示例，像素阵列100可以包括第一像素110和第二像素120，并且，第二像素120可以分别在第一方向和第二方向上与第一像素110相邻。具体地讲，第二像素120中的每一个可以在第一方向和第二方向上不与其他第二像素120相邻。例如，第一像素110和第二像素120可以以棋盘状排列。
[0050]
第一像素110和第二像素120两者可以具有相同的结构。然而，第一像素110和第二像素120可以通过从成像设备的逻辑电路接收不同频率的控制信号来操作。例如，逻辑电路可以将第一频率的第一光电控制信号输入到第一像素110，并可以将低于第一频率的第二频率的第二光电控制信号输入到第二像素120。
[0051]
布置在第二方向上的相同位置上的第一像素110和第二像素120可以连接到不同的行线，使得第一光电控制信号被输入到第一像素110，并且第二光电控制信号被输入到第二像素120。参考图示像素阵列100的部分区域的放大视图的图4b，第一行线r1包括第一子行线r11和第二子行线r12。第一子行线r11可以连接到第一像素110，并且第二子行线r12可以连接到第二像素120。更详细地，具有第一频率的第一光电控制信号可以通过第一子行线r11-r41被输入到第一像素110，并且具有第二频率的第二光电控制信号可以通过第二子行线r12-r42被输入到第二像素120。与行线不同，列线可以由布置于在第一方向上的相同位置的第一像素110和第二像素120共享。
[0052]
参考图5，根据一些示例实施例的成像设备的像素px可以包括响应于光学信号而生成电荷的光电二极管pd以及输出与由光电二极管pd生成的电荷相对应的电信号的像素电路pc1至pc4。像素电路pc1-pc4可以包括第一像素电路pc1至第四像素电路pc4。
[0053]
第一像素电路pc1可以连接到第一列线col1，并且第二像素电路pc2可以连接到第二列线col2。第三像素电路pc3可以连接到第三列线col3，并且第四像素电路pc4可以连接到第四列线col4。第一列线col1至第四列线col4可以连接到从第一像素电路pc1至第四像
素电路pc4获得像素电路的采样电路和将像素电路转换为数字数据的模数转换器(未示出)。
[0054]
第一像素电路pc1至第四像素电路pc4可以具有相同的结构。例如，第一像素电路pc1可以包括连接到光电二极管pd的第一光电晶体管px1、第一传输晶体管tx1、第一浮动扩散fd1，例如，累积由光电二极管pd生成的电荷的第一浮动扩散节点，以及多个第一电路元件rx1、dx1和sx1。多个第一电路元件rx1、dx1和sx1可以包括第一复位晶体管rx1、第一驱动晶体管dx1、第一选择晶体管sx1等。用于控制第一传输晶体管tx1、第一复位晶体管rx1和第一选择晶体管sx1的控制信号tg1、rg1和sel1可以由成像设备的时钟驱动器输入。尽管图5将每个晶体管图示为nmos晶体管，但是示例实施例不限于此。此外，每个晶体管的电和/或物理特性可以彼此相同或不同。
[0055]
当第一复位晶体管rx1导通时，第一浮动扩散fd1的电压被复位为电源电压vdd，并且选择晶体管sx1导通，使得第一复位电压被输出到第一列线col1。在第一复位晶体管rx1截止之后第一传输晶体管tx1导通之前的第一曝光时间期间，光电二极管pd可以曝光以生成电荷。
[0056]
当第一传输晶体管tx1导通时，在光电二极管pd中生成并在第一光电晶体管px1中累积的电荷可以移动到第一浮动扩散fd1。当第一选择晶体管sx1导通时，可以将第一像素电压输出到第一列线col1。连接到第一列线col1的第一模数转换器可以将第一复位电压与第一像素电压之间的差转换为作为数字数据的第一原始数据data1。
[0057]
第二像素电路pc2至第四像素电路pc4的操作可以类似于第一像素电路pc1的操作。然而，分别输入到第一像素电路pc1至第四像素电路pc4的数字控制信号/光电控制信号pg1至pg4可以具有不同的相位(或不同的上升时间/下降时间)。例如，当像素px是参考图4a和图4b描述的第一像素110中的一个时，光电控制信号pg1-pg4具有第一频率，并可以基于光学控制信号具有0度、90度、180度和270度中的一个的相位差。另一方面，当像素px是参考图4a和图4b描述的第二像素120中的一个时，光电控制信号pg1-pg4具有第二频率，并可以基于光学控制信号具有0度、90度、180度和270度中的一个的相位差。在下文中，将参考图6更详细地描述成像设备的操作。
[0058]
参考图6，输入到像素px的光电控制信号pg1至pg4可以基于光学控制信号具有0度、90度、180度和270度中的一个的相位差。此外，光电控制信号pg1至pg4中的每一个的占空比可以是1/2。输入到成像设备的光源的光学控制信号和从被摄体反射并输入到成像设备的像素阵列的光接收信号可以具有特定的(或可替代地，预定的)相位差相位差可以根据原始数据来确定，所述原始数据根据光电控制信号pg1-pg4和光接收信号的重叠时间ex2-ex4来确定。例如，如等式2中那样确定相位差并且在等式2中，a1至a4可以是或可以与由第一像素电路pc1至第四像素电路pc4输出的原始数据相对应。另外，可以如等式3所示确定关于根据相位差到被摄体的距离的信息。
[0059]
[等式2]
[0060][0061]
[等式3]
[0062][0063]
图7至图9是图示根据一些示例实施例的包括在成像设备中的光源的操作的视图。
[0064]
图7是图示通过用使用第一频率的第一参考信号和第二频率的第二参考信号生成的光学控制信号驱动光源来增加用成像设备可测量的最大距离的方法的示图。在诸如图7所示的一些示例实施例中，第一频率是120mhz，并且第二频率是20mhz。然而，取决于一些示例实施例，可以不同地修改第一频率和第二频率。例如，第一频率可以大于第二频率，并可以是第二频率的整数倍或半整数倍。
[0065]
在一些示例实施例中，光源由使用第一参考信号和第二参考信号生成的光学控制信号驱动，第一像素由第一频率的第一光电控制信号驱动，并且第二像素由第二频率的第二光电控制信号驱动，从而增加成像设备可以测量的最大距离。参考上述等式1，可以使用从第一像素获得的原始数据测量的最大距离可以是1.25m，并且可以使用从第二像素获得的原始数据测量的最大距离可以更大，例如可以是7.5m。
[0066]
例如，在使用从第一像素获取的原始数据测量的距离为1m的情况下，成像设备到被摄体的实际距离可以是2.25m、3.5m、4.75m和6m中的一个，而不是1m。具体地，成像设备与被摄体之间的距离为1m和6m的情况可能无法仅通过从第一像素获得的原始数据来彼此区分。例如，在这种情况下可能存在混叠现象。
[0067]
在发明构思的一些示例实施例中，通过用使用第一参考信号和第二参考信号生成的光学控制信号驱动光源，可以防止或减少发生上述问题的可能性。例如，可以通过将第一参考信号与第二参考信号相乘来生成光学控制信号。例如，在发明构思的一些示例实施例中，可以由成像设备测量的最大距离可以按照当用第一参考信号驱动光源时可测量的最大距离和当用第二参考信号驱动光源时可测量的最大距离的最小(最少)公倍数来进行扩展。在如图7所示的一些示例实施例中，成像设备可以测量的最大距离可以是15m。
[0068]
当使用从第一像素获得的原始数据测量的距离为d1并且使用从第二像素获得的原始数据测量的距离为d2时，可以根据下面的等式4确定成像设备与被摄体之间的实际距离d。在等式4中，n1和n2均是大于或等于0的整数，d1
max
是可以使用从第一像素获得的原始数据测量的最大距离，并且d2
max
可以是可以使用从第二像素获得的原始数据测量的最大距离。
[0069]
[等式4]
[0070]
d＝d1+n1*d1
max
＝d2+n2*d2
max
[0071]
例如，当使用从第一像素获得的原始数据测量的距离为1m并且使用从第二像素获得的原始数据测量的距离为6m时，可以将实际距离d确定为6m。另一方面，当使用从第一像素获得的原始数据测量的距离为1m并且使用从第二像素获得的原始数据测量的距离为7.25m时，可以将实际距离d确定为14.75m。
[0072]
图8和图9是图示生成光学控制信号的方法的示图。首先，在图8所示的一些示例实施例中，第一参考信号201的频率可以是120mhz，并且第二参考信号202的频率可以是20mhz。作为将第一参考信号201与第二参考信号202相乘的结果，可以生成光学控制信号203。光学控制信号203的一个周期pt可以与第二参考信号202的一个周期相同，并且因此，光学控制信号203的频率可以是等于第二频率20mhz。
[0073]
光学控制信号203的一个周期pt可以包括第一周期t1和第二周期t2，并且第一周期t1和第二周期t2可以是相同的时间量。可以在第一周期t1期间通过光学控制信号203重复地打开和关闭光源，并可以在第二周期t2期间通过光学控制信号203将光源维持在关闭状态。可以根据第一频率和第二频率的比率来确定光源在第一周期t1期间重复打开和关闭的次数。作为示例，在如图8所示的一些示例实施例中，第一频率可以是第二频率的6倍，并且因此，光源可以在第一周期t1期间重复打开和关闭三次。
[0074]
接下来，在图9所示的一些示例实施例中，第一参考信号211的频率可以是120mhz，并且第二参考信号212的频率可以是10mhz。在图9所示的示例实施例中，光学控制信号213的频率可以是10mhz，并且由于第一频率是第二频率的12倍，因此光源可以在第一周期t1期间重复打开和关闭六次。
[0075]
在一些示例实施例中，在光源由光学控制信号203和213驱动的同时，像素阵列的第一像素可以接收具有第一频率的第一光电控制信号，并且第二像素可以接收具有第二频率的第二光电控制信号。因此，使用通过使用从第一像素获得的原始数据计算的到被摄体的距离的信息和使用从第二像素获得的原始数据计算的到被摄体的距离的信息，可以更准确地计算成像设备与被摄体之间的距离，和/或可以提高深度图像的精度。可替代地或附加地，由于在一个帧周期期间，光学控制信号203和213被输入到光源，并且从自第一像素和第二像素获取的原始数据生成深度图像，因此可以在不降低帧速率或仅略微降低帧速率的情况下增加可测量距离。
[0076]
图10和图11是图示根据一些示例实施例的成像设备的操作的视图。
[0077]
在例如参考图10和11描述的一些示例实施例中，可以使用如参考图8描述的一些示例实施例中的第一频率的第一参考信号201和第二频率的第二参考信号202来生成光学控制信号203。图10可以是图示在光源由光学控制信号203驱动的同时输入到每个第一像素的第一光电控制信号pg11至pg14的示图，并且图11可以是图示输入到每个第二像素的第二光电控制信号pg21至pg24的示图。第一像素和第二像素可以具有相同的结构。
[0078]
首先，参考图10，光学控制信号203可以是频率为20mhz的信号，并可以在一个周期pt的第一周期t1期间打开和关闭光源，并可以在第二周期t2期间关闭光源。第一光电控制信号pg11至pg14可以是与包括在每个第一像素中的像素电路的光电晶体管相对应的信号。在例如参考图10描述的一些示例实施例中，每个第一像素可以包括如参考图5描述的第一至第四像素电路。
[0079]
第一光电控制信号pg11至pg14可以分别被输入到第一至第四像素电路的光电晶体管。如上参考图8所述，基于用于生成光学控制信号203的第一参考信号201，第一光电控制信号pg11至pg14可以具有第一频率，并且每个第一光电控制信号pg11至pg14可以具有0度、90度、180度和270度中的一个的相位差。此外，与第一参考信号201相比，第一光电控制信号pg11至pg14可以具有1/2的占空比。在一些示例实施例中，可以通过减小第一参考信号201的占空比并进行相位偏移来生成第一光电控制信号pg11至pg14。
[0080]
接下来，参考图11，可以将第二光电控制信号pg21至pg24输入到包括在第二像素中的第一至第四像素电路的光电晶体管。第二光电控制信号pg21至pg24可以具有第二频率，并且第二光电控制信号pg21至pg25中的每一个可以基于第二参考信号202具有0度、90度、180度和270度中的一个的相位差。另外，与第二参考信号202相比，第二光电控制信号
pg21至pg24可以具有1/2的占空比。
[0081]
成像设备的逻辑电路可以使用从第一像素获得的原始数据来计算到被摄体的第一距离信息，并可以使用从第二像素获得的原始数据来计算到被摄体的第二距离信息。尽管是对于相同被摄体的距离信息，但由于输入到第一像素和第二像素的光电控制信号彼此不同，所以第一距离信息和第二距离信息可以不同。逻辑电路可以通过根据上面参考等式4描述的方法组合第一距离信息和第二距离信息来计算到被摄体的更准确的距离信息，并可以从其生成深度图像。
[0082]
图12和图13是图示根据一些示例实施例的成像设备的操作的视图。
[0083]
首先，参考图12，根据一些示例实施例的成像设备可以根据特定的(或可替代地，预定的)帧速率进行操作。可以根据帧周期fp来确定帧速率，其中，帧周期fp是成像设备输出一个深度图像所需的时间。在帧周期fp期间，光源由光学控制信号驱动，并且光学控制信号可以是使用具有不同频率的参考信号生成的信号。例如，可以通过将第一频率的第一参考信号与第二频率的第二参考信号相乘来生成光学控制信号。
[0084]
第一光电控制信号是或包括输入到成像设备中包括的像素阵列的第一像素的信号，并可以具有第一频率。例如，每个第一像素可以包括第一至第四像素电路，并且图12所示的第一光电控制信号可以被输入到第一像素电路。可以将在其中第一光电控制信号的相位偏移90度、180度和270度的信号输入到第二至第四像素电路。
[0085]
第二光电控制信号是或包括输入到成像设备中包括的像素阵列的第二像素的信号，并可以具有第二频率。与第一像素类似，第二像素中的每一个可以包括第一至第四像素电路，并且图12所示的第二光电控制信号可以被输入到第一像素电路。可以将在其中第二光电控制信号的相位偏移90度、180度和270度的信号输入到第二至第四像素电路。
[0086]
如上所述，可以根据输入到光源的光学控制信号的频率来确定可以由成像设备测量的到被摄体的大的，例如，最大距离。在一些示例实施例中，如图12所示，成像设备可以测量的最大距离可以在仅一个帧周期(fp)内增加。
[0087]
同时，由于第一频率的第一光电控制信号被输入到第一像素并且第二频率的第二光电控制信号被输入到第二像素，因此从第一像素获取的第一原始数据与从第二像素获取的第二原始数据之间的噪声特性可能存在差异，这可能影响深度图像的质量。在本发明构思的一些示例实施例中，可以通过使用第一原始数据修改第二原始数据来防止或减少发生上述问题的可能性。
[0088]
首先，成像设备的逻辑电路可以使用从第一像素获得的第一原始数据和从第二像素获得的第二原始数据来计算到被摄体的更准确的距离信息。当计算到被摄体的距离信息时，成像设备的图像处理器可以通过使用第一原始数据来修改第二原始数据并生成深度图像。例如，图像处理器可以通过使用从与每个第二像素相邻的两个或更多个第一相邻像素获得的第一原始数据来修改每个第二像素的第二原始数据。在一些示例实施例中，图像处理器可以用算术平均值替换每个第二像素的第二原始数据，其中，算术平均值诸如集中趋势的一个或更多个测量，集中趋势诸如从第一相邻像素获得的第一原始数据的均值、中值或众数中的一个或更多个。通过如上所述使用第一原始数据修改第二原始数据，可以显著降低像素之间的噪声特性的差异，并可以提高由成像设备输出的深度图像的质量。
[0089]
图13可以是图示比较示例以图示根据一些示例实施例的成像设备的操作的视图。
参考图13，在比较示例中，光源可以在连续的第一帧周期fp1和第二帧周期fp2中由不同频率的光学控制信号驱动。
[0090]
例如，在第一帧周期fp1中，光源可以由第一频率的光学控制信号驱动，并且在第二帧周期fp2中，光源可以由低于第一频率的第二频率的光学控制信号驱动。取决于光学控制信号的频率，在第一帧周期fp1和第二帧周期fp2中输入到像素的光电控制信号的频率也可以变化。可以在第一帧周期fp1中将具有第一频率的光电控制信号输入到像素，并可以在第二帧周期fp2中将具有第二频率的光电控制信号输入到像素。
[0091]
根据比较示例的成像设备使用在第一帧周期fp1中从像素获取的原始数据和在第二帧周期fp2中从像素获取的原始数据来获取到被摄体的距离信息，并可以生成深度图像。因此，需要两个帧周期fp1和fp2来生成一个深度图像，结果，成像设备的帧速率可能降低，从而导致操作性能的劣化。
[0092]
同时，在根据本发明构思的一些示例实施例的成像设备的情况下，如参考图12所述，可以仅用在一个帧周期fp中获取的原始数据来生成指示准确距离信息的深度图像。可替代地或附加地，为了减小从以不同频率的光电控制信号操作的第一像素和第二像素获取的原始数据的噪声特性的差异，可以通过参考从第一像素获得的第一原始数据来校正从第二像素获得的第二原始数据。因此，可以实现可以在不降低帧速率的情况下输出具有优异噪声特性的准确深度图像的成像设备。由于深度图像主要基于接收具有相对大的第一频率的光电控制信号的第一像素的第一原始数据来生成，因此深度图像的分辨率也可以被充分确保。
[0093]
在一些示例实施例中，随着成像设备中包括的第二像素的数量增加，要参考第一原始数据修改的第二原始数据的量增加。因此，第二像素可以按照比第一像素更少的数量布置或排列在像素阵列中，这将在下文中参考图14和图15进行描述。
[0094]
图14和图15是示意性地图示根据一些示例实施例的成像设备中包括的像素阵列的示图。
[0095]
首先，参考图14，根据一些示例实施例的像素阵列100a可以包括在第一方向(x轴方向)和第二方向(y轴方向)上排列的多个像素110a和120a。例如，像素阵列100可以包括第一像素110a和第二像素120a。类似于上面参考图4a和图4b描述的示例实施例，第二像素120a可以分别在第一方向和第二方向上与第一像素110a相邻，并且第一像素110a和第二像素120a两者可以具有相同的结构。例如，第一像素110a和第二像素120a中的每一个可以包括如参考图5描述的多个像素电路pc1至pc4。
[0096]
第一像素110a和第二像素120a可以通过从成像设备的逻辑电路接收具有不同频率的光电控制信号来操作。例如，逻辑电路可以将第一频率的第一光电控制信号输入到第一像素110a，并可以将低于第一频率的第二频率的第二光电控制信号输入到第二像素120a。第一光电控制信号和第二光电控制信号可以被输入到像素110a和120a的光电晶体管。
[0097]
与从输入相对较小频率的光电控制信号的第二像素120a获得的第二原始数据相比，从相对较大频率的光电控制信号的第一像素110a获得的第一原始数据可以具有相对优异的空间分辨率。因此，通过将像素阵列110a配置为使得第二像素120a的数量小于第一像素110a的数量，可以增加由成像设备生成的深度图像的空间分辨率。作为实例，第一像素
110a的数量可以为第二像素120a的数量的整数倍或接近整数倍，并且在图14中所示的示例实施例中，第一像素110a的数量可以为第二像素120a的数量的三倍。在图15所示的一些示例实施例中，像素阵列100b可以被配置为使得第一像素110b的数量是第二像素120b的数量的8倍。
[0098]
图16是图示根据一些示例实施例的成像设备的操作的示图。
[0099]
参考图16，根据一些示例实施例的成像设备的像素阵列300可以包括有源区域310和虚拟区域320。多个像素311和312可以布置在有源区域310中，并且多个虚拟像素321可以布置在虚拟区域320中。像素311和312以及虚拟像素321可以排列在第一方向(x轴方向)和第二方向(y轴方向)上。
[0100]
第一像素311和第二像素312布置在有源区域310中，并且第一像素311和第二像素312可以分别具有包括共享单个光电二极管的第一至第四像素电路的结构，并可以通过接收不同的光电控制信号来操作。作为示例，可以将第一频率的第一光电控制信号pg11至pg14输入到每个第一像素311的第一至第四像素电路，并且可以将具有小于第一频率的第二频率的第二光电控制信号pg21至pg24输入到每个第二像素312的第一至第四像素电路。
[0101]
行线r1至r4中的每一个可以包括多条线，使得第一频率的第一光电控制信号pg11至pg14被输入到第一像素311，并且第二频率的第二光电控制信号pg21至pg24被输入到第二像素312。例如，第一行线r1可以包括连接到第一像素311以发送第一光电控制信号pg11至pg14的第一光电控制线，以及连接到第二像素312以发送第二光电控制信号pg21至pg24的第二光电控制线。
[0102]
在根据如图16所示的一些示例实施例的像素阵列300中，第一像素311的数量可以是第二像素312的数量的三倍。成像设备的逻辑电路通过使用通过将第一频率的第一参考信号与第二频率的第二参考信号相乘而生成的光学控制信号来驱动光源，同时，可以从第一像素311获得第一原始数据并从第二像素312获得第二原始数据。逻辑电路可以通过使用第一原始数据和第二原始数据来计算被摄体的距离信息。
[0103]
当计算距离信息时，成像设备的图像处理器可以通过使用与每个第二像素312相邻的第一相邻像素的第一原始数据来修改第二原始数据。例如，可以基于连接到第三行线r3以及第一列线c1和第三列线c3的第一相邻像素的第一原始数据以及连接到第二列线c2以及第二行线r2和第四行线r4的第一相邻像素的第一原始数据来修改从连接到第三行线r3和第二列线c2的第二像素312获得的第二原始数据。在一些示例实施例中，第二原始数据可以由第一相邻像素的第一原始数据的算术平均值替换。然而，取决于示例实施例，可以使用第一原始数据以除算术平均值之外的各种方式附加地或可替代地修改第二原始数据。
[0104]
例如，图像处理器可以通过将输入到每个第一相邻像素的第一光电控制信号pg11至pg14和输入到每个第二像素312的第二光电控制信号pg21至pg24的相位彼此匹配/对准来修改第二原始数据。不同相位的光电控制信号pg11至pg14和pg21至pg24被输入到第一至第四像素电路，并且图像处理器可以基于从包括在每个第一相邻像素中的第一至第四像素电路获取的第一原始数据来修改从包括在每个第二像素312中的第一至第四像素电路获取的第二原始数据。
[0105]
在一些示例实施例中，可以基于从每个第一相邻像素的第一像素电路获得的第一原始数据来修改从每个第二像素312的第一像素电路获得的第二原始数据。可替代地或附
加地，可以基于从每个第一相邻像素的第二像素电路获得的第一原始数据来修改从每个第二像素312的第二像素电路获得的第二原始数据。图像处理器可以通过使用修改后的第二原始数据和第一原始数据来生成表示被摄体的深度图像。
[0106]
在如图16所示的一些示例实施例中，连接到第一行线r1的第二像素312可以在第二方向上不与第一像素311相邻。因此，与连接到其他行线r2-r4的第二像素312相比，用于修改从连接到第一行线r1的第二像素312获取的第二原始数据的第一原始数据可能不足。
[0107]
在本发明构思的一些示例实施例中，从布置在虚拟区域320中的虚拟像素321获得的原始数据可以用于修改第二像素312中的至少一个的第二原始数据。例如，为了修改连接到第一行线r1和第二列线c2的第二像素312的第二原始数据，可以使用由连接到虚拟行线r0和第二列线c2的虚拟像素321输出的原始数据。
[0108]
图17是根据一些示例实施例的包括在成像设备中的像素阵列的示意图。
[0109]
在例如图17所示的一些示例实施例中，包括在成像设备中的像素阵列400可以包括在第一方向(x轴方向)和第二方向(y轴方向)上排列的多个像素410和420。像素410和420可以具有相同的结构。
[0110]
像素阵列400可以包括第一像素410和第二像素420，并且第一像素410和第二像素420可以由具有不同频率的光电控制信号控制。作为示例，控制像素阵列400的逻辑电路可以通过在第一方向上延伸并连接到像素阵列400的行线将第一频率的第一光电控制信号输入到第一像素410，并可以将具有第二频率的第二光电控制信号输入到第二像素420。
[0111]
在例如图17所示的一些示例实施例中，第一像素410和第二像素420中的每一个可以包括四个相邻子像素411-414、421-424。在第一像素410和第二像素420中的每一个中，四个子像素411-414和421-424可以以2
×
2形状排列。四个子像素411-414和421-424中的每一个可以包括光电二极管和像素电路，并且像素电路可以包括连接到光电二极管的光电晶体管和放大光电二极管的电荷并输出像素信号的驱动晶体管。
[0112]
例如，可以将相同的光电控制信号输入到布置在第一像素410内的相同位置的子像素411-414。例如，可以将具有相同频率和相位的一个光电控制信号输入到第一子像素411。基于输入到第一子像素411的光电控制信号，输入到第二子像素412的光电控制信号具有90度的相位差，输入到第三子像素413的光电控制信号可以具有180度的相位差，并且输入到第四子像素414的光电控制信号可以具有270度的相位差。类似地，可以将相同的光电控制信号输入到布置在第二像素420内部的相同位置的子像素421至424。
[0113]
图18是根据一些示例实施例的成像设备的像素的示意性电路图。
[0114]
图18是示意性地图示可以被包括在参考图17描述的像素阵列400中的像素px的电路图。参考图18，像素px可以包括第一子像素px
sub1
至第四子像素px
sub4
。参考图18描述的像素px可以应用于根据参考图17描述的一些示例实施例的第一像素411和第二像素421两者。
[0115]
第一子像素px
sub1
至第四子像素px
sub4
可以具有相同的结构，并且作为示例，参考第一子像素px
sub1
，第一子像素px
sub1
至第四子像素px
sub4
均可以包括第一光电二极管pd1和通过第一光电节点pn1连接到第一光电二极管pd1的像素电路。像素电路可以包括光电晶体管px1、传输晶体管tx1、浮动扩散fd1、复位晶体管rx1、驱动晶体管dx1、选择晶体管sx1等。然而，像素电路的配置可以取决于示例实施例进行各种修改。像素电路的操作可以类似于上面参考图5描述的操作。
[0116]
输入到光电晶体管px1的光电控制信号pg1的频率可以根据像素px而变化。例如，当像素px是第一像素410中的一个时，光电控制信号pg1具有第一频率，并且当像素px是第二像素420中的一个时，光电控制信号pg1可以具有小于第一频率的第二频率。例如，当像素px是第一像素410中的一个时，光电控制信号pg1具有与用于生成光学控制信号的第一参考信号相同的频率和相位，并可以具有1/2的占空比。
[0117]
输入到第二子像素px
sub2
至第四子像素px
sub4
的光电控制信号pg2-pg4可以具有与输入到第一子像素px
sub1
的光电控制信号pg1相同的频率。另外，输入到第二子像素px
sub2
的光电控制信号pg2与输入到第一子像素px
sub1
的光电控制信号pg1具有90度的相位差，并且输入到第三子像素px
sub3
的光电控制信号pg3与光电控制信号pg1具有180度的相位差。输入到第四子像素px
sub4
的光电控制信号pg4可以与光电控制信号pg1具有270度的相位差。成像设备的逻辑电路可以通过使用从第一子像素px
sub1
至第四子像素px
sub4
获得的原始数据来生成被摄体与像素px之间的距离信息。
[0118]
图19至图21是示意性地图示根据一些示例实施例的包括成像设备的电子设备的示图。
[0119]
图19可以是示意性地图示根据一些示例实施例的包括成像设备的电子设备500的外观的示图。图19图示了电子设备500是移动设备，例如智能电话，但这仅是示例，并不一定限于这种类型。例如，除了移动设备之外，根据一些示例实施例的电子设备500还可以广泛应用于诸如tv、台式计算机、监视器、冰箱等中的至少一个的设备、以及诸如门锁或atm的要求安全性的设备。
[0120]
参考图19，电子设备500可以包括壳体510和相机单元520。相机单元520可以附加地布置在其上布置有显示器的壳体510的前表面上以及壳体510的后表面上。相机单元520可以包括多个相机521至523、光源524等。
[0121]
根据一些示例实施例，多个相机521至523中的至少一个可以是成像设备。例如，成像设备可以用预定的光学控制信号驱动安装在相机单元520中的光源524。在一些示例实施例中，光学控制信号可以是通过将具有第一频率的第一参考信号与具有低于第一频率的第二频率的第二参考信号相乘而生成的信号。
[0122]
由通过光学控制信号操作的光源输出的光可以从被摄体反射并入射在成像设备的像素阵列上，作为光接收信号。光接收信号可以具有与光学控制信号特定的(或者可替代地，预定的)相位差，并且成像设备可以通过计算光学控制信号与光接收信号之间的相位差来生成包括被摄体的深度图像。可以根据上面参考图1至图18描述的示例实施例来理解成像设备的详细操作。
[0123]
接下来，参考图20，电子设备1000可以包括相机模块组1100、应用处理器1200、pmic 1300和外部存储器1400。
[0124]
相机模块组1100可以包括多个相机模块1100a、1100b和1100c。尽管附图示出了布置有三个相机模块1100a、1100b和1100c的一些示例实施例，但是示例实施例不限于此。在一些示例实施例中，相机模块组1100可以被修改为仅包括两个相机模块。可替代地或附加地，在一些示例实施例中，相机模块组1100可以被修改和实现为包括n个(其中，n是4或更大的自然数)相机模块。另外，在一些示例实施例中，相机模块组1100中包括的多个相机模块1100a、1100b和1100c中的至少一个可以被实现为根据上面参考图1至图18描述的示例实施
例之一的成像设备。
[0125]
在下文中，将参考图21更详细地描述相机模块1100b的详细配置，但是根据一些示例实施例，以下描述可以等同地应用于其他相机模块1100a和1100c。
[0126]
参考图21，相机模块1100b可以包括棱镜1105、光路折叠元件(下文中称为“opfe”)1110、致动器1130、图像感测设备1140和存储单元1150。
[0127]
棱镜1105可以包括反光材料的反射表面1107，以改变从外部入射的光l的路径。
[0128]
在一些示例实施例中，棱镜1105可以将在第一方向x上入射的光l的路径改变为垂直于第一方向x的第二方向y。另外，棱镜1105可以使反光材料的反射表面1107在围绕中心轴1106的方向上旋转，或者可以使中心轴1106在b方向上旋转，以将在第一方向x上入射的光l的路径改变为在第二方向，即垂直方向上入射。在这种情况下，opfe 1110也可以在垂直于第一方向x和第二方向y的第三方向z上移动。
[0129]
在一些示例实施例中，如图所示，棱镜1105在a方向上的大的(例如，最大)旋转角度在正(+)a方向上为15度或更小，且在负(-)a方向上可以大于15度，但实施例不限于此。
[0130]
在一些示例实施例中，在正(+)或负(-)b方向上，棱镜1105可以在20度之间、或在10度与20度之间、或在15度与20度之间移动，并且在这种情况下，移动角度可以与其在正(+)或负(-)b方向上的角度相同，或者可以与在约1度的范围内几乎角度相同。
[0131]
在一些示例实施例中，棱镜1105可以在平行于中心轴1106的延伸方向的第三方向(例如，z方向)上移动反光材料的反射表面1106。
[0132]
opfe 1110可以包括例如由m(其中，m是自然数)个组组成的光学透镜。m个透镜可以在第二方向y上移动以改变相机模块1100b的光学变焦比率。例如，当相机模块1100b的基本光学变焦比率是z时，在包括在opfe 1110中的m个光学透镜移动的情况下，相机模块1100b的光学变焦比率可以改变为3z、5z、或者5z或更高的光学变焦比率。
[0133]
致动器1130可以将opfe 1110或光学透镜(下文中称为光学透镜)移动到特定位置。例如，致动器1130可以调整光学透镜的位置，使得图像传感器1142被定位在光学透镜的焦距处以用于精确感测。
[0134]
图像感测设备1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以使用通过光学透镜提供的光l来感测感测目标的图像。控制逻辑1144可以控制相机模块1100b的整体操作。例如，控制逻辑1144可以根据通过控制信号线cslb提供的控制信号来控制相机模块1100b的操作。
[0135]
存储器1146可以存储相机模块1100b的操作所需的信息，诸如校准数据1147。校准数据1147可以包括相机模块1100b使用从外部提供的光l生成图像数据所必需/所使用的信息。校准数据1147可以包括例如关于上述旋转程度的信息、关于焦距的信息、关于光轴的信息等中的至少一个。例如，当相机模块1100b以多状态相机的形式实现时，在多状态相机中，焦距取决于光学透镜的位置而改变，校准数据1147可以包括光学透镜的每个位置(或状态)的焦距值和与自动聚焦有关的信息。
[0136]
存储单元1150可以存储通过图像传感器1142感测的图像数据。存储单元1150可以布置在图像感测设备1140的外部，并可以以与构成图像感测设备1140的传感器芯片堆叠的形式实现。在一些示例实施例中，存储单元1150可以实现为电可擦除可编程只读存储器(eeprom)，但示例实施例不限于此。
[0137]
一起参考图20和图21，在一些示例实施例中，多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。因此，多个相机模块1100a、1100b和1100c中的每一个可以根据其中包括的致动器1130的操作而包括相同或不同的校准数据1147。
[0138]
在一些示例实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100b)可以是包括上述棱镜1105和opfe 1110的折叠透镜型相机模块，并且其他相机模块(例如，1100a、1100b)可以是不包括棱镜1105和opfe 1110的垂直相机模块，但是实施例不限于此。
[0139]
在一些示例实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)可以是用于使用例如红外线(ir)提取深度信息的垂直型深度相机。在这种情况下，应用处理器1200可以将从深度相机提供的图像数据与从另一相机模块(例如，1100a或1100b)提供的图像数据合并，从而生成3d深度图像。
[0140]
在一些示例实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视场。在这种情况下，例如，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)的光学透镜可以彼此不同，但是配置不限于此。
[0141]
可替代地或附加地，在一些示例实施例中，多个相机模块1100a、1100b和1100c的视场可以彼此不同。在这种情况下，包括在多个相应相机模块1100a、1100b和1100c中的光学透镜也可以彼此不同，但是其配置不限于此。
[0142]
在一些示例实施例中，多个相机模块1100a、1100b和1100c可以彼此物理分离并被布置。例如，一个图像传感器1142的感测区域未被多个相机模块1100a、1100b和1100c划分和使用，但是独立的图像传感器1142可以布置在多个相机模块1100a、1100b和1100c中的每一个的内部。另外，多个相机模块1100a、1100b和1100c中的至少一个可以包括基于距被摄体的距离信息生成深度图像的tof传感器。
[0143]
返回参考图20，应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以与多个相机模块1100a、1100b和1100c分开实现。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可以通过彼此分离为单独的半导体芯片来实现。
[0144]
图像处理设备1210可以包括多个子图像处理器1212a、1212和1212c、图像生成器1214和相机模块控制器1216。
[0145]
图像处理设备1210可以包括与多个相机模块1100a、1100b和1100c的数量相对应的多个子图像处理器1212a、1212b和1212c。
[0146]
可以通过彼此分离的图像信号线isla、islb和islc将分别从相机模块1100a、1100b和1100c生成的图像数据提供给对应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a生成的图像数据通过图像信号线isla被提供给子图像处理器1212a，从相机模块1100b生成的图像数据通过图像信号线islb被提供给子图像处理器1212b，并且从相机模块1100c生成的图像数据可以通过图像信号线islc被提供给子图像处理器1212c。可以使用例如基于移动工业处理器接口(mipi)的相机串行接口(csi)来执行这种图像数据传输，但是示例实施例不限于此。
[0147]
另一方面，在一些示例实施例中，一个子图像处理器可以被布置为与多个相机模
块相对应。例如，子图像处理器1212a和子图像处理器1212c不是如图所示彼此分开实现的，而是可以通过集成到一个子图像处理器中来实现。在这种情况下，可以通过选择元件(例如，多路复用器)等选择从相机模块1100a和相机模块1100c提供的图像数据，然后将其提供给集成子图像处理器。
[0148]
提供给相应子图像处理器1212a、1212b和1212c的图像数据可以被提供给图像生成器1214。图像生成器1214可以根据图像生成信息或模式信号使用从相应子图像处理器1212a、1212b和1212c提供的图像数据来生成输出图像。
[0149]
详细地，图像生成器1214可以合并从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据的至少一部分，并可以根据图像生成信息或模式信号生成输出图像。另外，图像生成器1214可以通过根据图像生成信息或模式信号选择从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据中的任何一个来生成输出图像。
[0150]
在一些示例实施例中，图像生成信息可以包括变焦信号或变焦因子。可替代地或附加地，在一些示例实施例中，模式信号可以是，例如基于从用户选择的模式的信号。
[0151]
例如，当图像生成信息是或包括变焦信号(变焦因子)并且相机模块1100a、1100b和1100c具有不同的视场(视角)时，图像生成器1214可以取决于变焦信号的类型而不同地操作。例如，当变焦信号是第一信号时，在合并由相机模块1100a输出的图像数据和由相机模块1100c输出的图像数据之后，可以使用合并的图像信号和由相机模块1100b输出的不用于合并的图像数据来生成输出图像。例如，在变焦信号是与第一信号不同的第二信号的情况下，图像生成器1214不执行这种图像数据合并，并可以选择由相机模块1100a、1100b和1100c输出的图像数据中的任何一个，并可以生成输出图像。然而，实施例不限于此，并可以根据需要不同地修改和实现处理图像数据的方法。
[0152]
在一些示例实施例中，图像生成器1214可以从多个子图像处理器1212a、1212b和1212c中的至少一个接收具有不同曝光时间的多个图像数据，并可以对多个图像数据执行高动态范围(hdr)处理，从而生成具有增加的动态范围的合并图像数据。
[0153]
相机模块控制器1216可以向相应相机模块1100a、1100b和1100c提供控制信号。从相机模块控制器1216生成的控制信号可以通过彼此分离的控制信号线csla、cslb和cslc被提供给对应的相机模块1100a、1100b和1100c。
[0154]
可以根据包括变焦信号或模式信号的图像生成信息将多个相机模块1100a、1100b和1100c中的任何一个指定为主相机(例如，1100b)，并可以将剩余的相机模块(例如，1100a和1100c)指定为从相机。这样的信息可以被包括在控制信号中，并通过彼此分离的控制信号线csla、cslb和cslc被提供给对应的相机模块1100a、1100b和1100c。
[0155]
可以根据变焦因子或操作模式信号来改变作为主设备和从设备操作的相机模块。例如，当相机模块1100a的视场宽于相机模块1100b的视场并且其变焦因子提供相对低的变焦比率时，相机模块1100b可以作为主设备操作，并且相机模块1100a可以作为从设备操作。相反，当变焦因子指示相对高的变焦比率时，相机模块1100a可以作为主设备操作，并且相机模块1100b可以作为从设备操作。
[0156]
在一些示例实施例中，从相机模块控制器1216提供给相应相机模块1100a、1100b和1100c的控制信号可以包括同步使能信号。例如，当相机模块1100b是主相机并且相机模块1100a和1100c是从相机时，相机模块控制器1216可以向相机模块1100b发送同步使能信
号。接收同步使能信号的相机模块1100b基于接收到的同步使能信号生成同步信号，并可以通过同步信号线ssl将生成的同步信号发送到相机模块1100a和1100c。相机模块1100b以及相机模块1100a和1100c可以与这样的同步信号同步，以将图像数据发送到应用处理器1200。
[0157]
在一些示例实施例中，从相机模块控制器1216提供给多个相机模块1100a、1100b和1100c的控制信号可以包括基于模式信号的模式信息。基于该模式信息，多个相机模块1100a、1100b和1100c可以关于感测速度在第一操作模式和第二操作模式下进行操作。
[0158]
在第一操作模式下，多个相机模块1100a、1100b和1100c可以以第一速率生成图像信号(例如，以第一帧速率生成图像信号)，并可以以高于第一速率的第二速率对生成的图像信号进行编码(例如，对具有高于第一帧速率的第二帧速率的图像信号进行编码)，并可以将编码的图像信号发送到应用处理器1200。在这种情况下，第二速度可以是第一速度的30倍或更小。
[0159]
应用处理器1200将接收到的图像信号，例如编码的图像信号，存储在其中提供的存储器1230中或应用处理器1200外部的存贮器1400中，然后，可以从存储器1230或存贮器1400读取编码的图像信号并解码读取的信号，并可以显示基于解码的图像信号生成的图像数据。例如，图像处理设备1210的多个子处理器1212a、1212b和1212c中的对应子处理器可以执行解码，并还可以对解码的图像信号执行图像处理。
[0160]
多个相机模块1100a、1100b和1100c可以在第二操作模式下以低于第一速率的第三速率生成图像信号(例如，生成具有低于第一帧速率的第三帧速率的图像信号)，并可以将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可以对接收的图像信号执行图像处理，或者可以将图像信号存储在存储器1230或存贮器1400中。
[0161]
pmic 1300可以向多个相应相机模块1100a、1100b和1100c供电，诸如电源电压。例如，在应用处理器1200的控制下，pmic 1300可以通过电力信号线psla向相机模块1100a供应第一功率，通过电力信号线pslb向相机模块1100b供应第二功率，并通过电力信号线pslc向相机模块1100c供应第三功率。
[0162]
pmic 1300响应于来自应用处理器1200的功率控制信号pcon生成与多个相机模块1100a、1100b和1100c中的每一个相对应的功率，并且还可以调整功率级别。功率控制信号pcon可以包括用于多个相机模块1100a、1100b和1100c的每个操作模式的功率调整信号。例如，操作模式可以包括低功率模式，并且在这种情况下，电力控制信号pcon可以包括关于在低功率模式下操作的相机模块和设定功率级别的信息。提供给多个相机模块1100a、1100b和1100c的功率级别可以彼此相同或不同。此外，可以动态地改变功率级别。
[0163]
如上所述，根据一些示例实施例，通过用使用第一频率的第一参考信号和第二频率的第二参考信号生成的光学控制信号来操作成像设备的光源，可以增加可以由成像设备测量的大的，例如最大，距离。可替代地或附加地，成像设备的第一像素可以由第一频率的光电控制信号驱动，其第二像素可以由第二频率的光电控制信号驱动，并可以使用从第一像素获得的数据来调整从第二像素获得的数据，从而生成具有改进的/优异的噪声特性的深度图像。
[0164]
示例实施例不限于上述那些实施例。例如，上述示例实施例都不一定彼此相互排
斥。例如，一些示例实施例可以包括参考上述附图中的一个或更多个描述的特征，并还可以包括参考上述附图中的另一个或多个描述的其他特征。
[0165]
上面公开的任何元件可以包括处理电路或在处理电路中实现，处理电路例如包括逻辑电路的硬件；硬件/软件组合，诸如执行软件的处理器；或其组合。例如，处理电路更具体地可以包括但不限于中央处理单元(cpu)、算术逻辑单元(alu)、数字信号处理器、微计算机、现场可编程门阵列(fpga)、片上系统(soc)、可编程逻辑单元、微处理器、特殊应用集成电路(asic)等。
[0166]
尽管以上已经示出和描述了一些示例实施例，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的本发明构思的范围的情况下，可以进行修改和/或变化。