图像处理装置和具有该图像处理装置的移动计算装置的制造方法
【专利说明】图像处理装置和具有该图像处理装置的移动计算装置
[0001]本申请要求于2014年4月28日提交的第61/985，019号美国临时专利申请的优先权和2015年2月12日提交的第10-2015-0021547号韩国专利申请的优先权，所述专利申请中的每件的全部内容通过引用包含于此。
技术领域
[0002]本发明构思的实施例涉及一种图像处理装置，尤其涉及一种能够把从全PAF像素阵列输出的数据中提取的颜色数据和深度数据以并行方式和/或串行方式输出的图像处理装置和一种包括该图像处理装置的移动计算装置。
【背景技术】
[0003]PAF代表相位检测自动对焦或相位差自动对焦。在摄影领域中，动态范围是最大可测量光强度与最小可测量光强度之间的范围。光强度的变化程度取决于用作图像捕获装置的装置，其中，该图像捕获装置决定图像传感器的动态范围方面的总体性能。
[0004]宽动态范围(WDR)也称作高动态范围(HDR)。WDR技术通过以数字方式对每个像素应用多次曝光，物理地提高了像素性能或者增大了图像传感器的动态范围。
[0005]理想的WDR传感器是满阱容量(FWC)高的传感器。FWC定义为入射信号在读出期间所能容纳而不饱和的最大电子数。随着FWC增大，图像传感器的动态范围增大。
[0006]在数字信号透镜反射(DSLR)相机中，相机传感器包括能够直接检测相位差的像素，以减少被相位差自动对焦模块占据的空间。因此，DSLR相机可以执行自动对焦。这种技术被应用到无反射镜DSLR。
[0007]相关技术的相位差检测像素采用金属等遮蔽光电二极管的一部分，并仅检测入射到光电二极管的未遮蔽部分上的光。在相关技术中，使用遮蔽部分和未遮蔽部分(即，两个像素)来检测相位差的方法具有以下问题:彩色图像的图像质量由于不规则地工作的两个像素而劣化。
【发明内容】
[0008]在示例实施例中，一种图像处理装置包括:像素阵列，包括二维布置的像素并被配置成捕获图像，所述像素中的每个像素包括多个光电转换元件；以及图像数据处理电路，被配置成由从所述像素输出的像素信号来产生图像数据。所述图像处理装置还包括:颜色数据处理电路，被配置成从所述图像数据提取颜色数据并输出提取的颜色数据。所述图像处理装置还包括:深度数据提取电路，被配置成从所述图像数据提取深度数据并输出提取的深度数据。所述图像处理装置还包括:输出控制电路，被配置成控制所述颜色数据和所述深度数据的输出。
[0009]在一个示例实施例中，所述图像处理装置被实现在一个CMOS图像传感器芯片中。
[0010]在一个示例实施例中，所述像素阵列和所述图像数据处理电路被集成到第一芯片中，所述颜色数据处理电路、所述深度数据提取电路和所述输出控制电路被集成到第二芯片中。
[0011 ] 在一个示例实施例中，所述图像处理装置还包括:应用处理器，被配置成控制所述颜色数据处理电路、所述深度数据提取电路和所述输出控制电路的操作。
[0012]在一个示例实施例中，所述图像数据包括长曝光图像数据和短曝光图像数据。
[0013]在一个示例实施例中，所述输出控制电路被配置成以并行方式基于线来输出颜色数据和深度数据。
[0014]在一个示例实施例中，所述输出控制电路被配置成确定颜色数据和深度数据的输出顺序。
[0015]在一个示例实施例中，所述输出控制电路被配置成以串行方式输出颜色数据和深度数据。
[0016]在一个示例实施例中，所述输出控制电路被配置成在一个水平时间段期间以串行方式输出大小彼此不同的颜色数据和深度数据。
[0017]在一个示例实施例中，所述输出控制电路被配置成以串行方式输出对应于第一线数的颜色数据和对应于第二线数的深度数据，所述第一线数和所述第二线数中的每个为自然数，所述第一线数等于或大于所述第二线数。
[0018]在一个示例实施例中，所述输出控制电路被配置成以串行方式输出对应于第一像素数的颜色数据和对应于第二像素数的深度数据，所述第一像素数和所述第二像素数中的每个为自然数，所述第一像素数等于或大于所述第二像素数。
[0019]在示例实施例中，所述移动计算装置包括被配置成产生图像数据的图像传感器，所述图像传感器包括:像素阵列，包括二维布置的像素并被构造成捕获图像，所述像素中的每个像素包括多个光电转换元件；以及图像数据处理电路，被配置成由从所述像素输出的像素信号产生图像数据。所述移动计算装置还包括被配置成处理所述图像数据的处理电路，所述处理电路包括被配置成从所述图像数据提取颜色数据并输出提取的颜色数据的颜色数据处理电路。所述处理电路还包括被配置成从所述图像数据提取深度数据并输出提取的深度数据的深度数据提取电路。所述处理电路还包括被配置成控制所述颜色数据和所述深度数据的输出的输出控制电路。
[0020]在一个示例实施例中，所述图像数据包括长曝光图像数据和短曝光图像数据，所述长曝光图像数据与从包括在所述多个像素中的每个像素中的第一光电转换元件输出的第一像素信号对应，所述短曝光图像数据与从包括在所述多个像素中的每个像素中的第二光电转换元件输出的第二像素信号对应。
[0021]在一个示例实施例中，所述输出控制电路被配置成以并行方式基于线来输出颜色数据和深度数据。
[0022]在一个示例实施例中，所述输出控制电路被配置成确定颜色数据和深度数据的输出顺序。
[0023]在一个示例实施例中，所述输出控制电路被配置成以串行方式输出颜色数据和深度数据。
[0024]在一个示例实施例中，所述输出控制电路被配置成在一个水平时间期间以串行方式输出大小不同的颜色数据和深度数据。
[0025]在一个示例实施例中，所述输出控制电路被配置成以串行方式输出对应于第一线数的颜色数据和对应于第二线数的深度数据，所述第一线数和所述第二线数中的每个为自然数，所述第一线数等于或大于所述第二线数。
[0026]在一个示例实施例中，所述输出控制电路被配置成输出对应于第一像素数的颜色数据和对应于第二像素数的深度数据，所述第一像素数和所述第二像素数中的每个为自然数，所述第一像素数等于或大于所述第二像素数。
[0027]在一个示例实施例中，所述移动计算装置还包括应用处理器，所述应用处理器具有被配置成处理从输出控制电路输出的颜色数据和深度数据的另一个处理电路，并且所述另一个处理电路集成在图像传感器和应用处理器中的至少一个中。
[0028]在示例实施例中，一种图像处理装置包括:存储器，被配置成存储计算机可读指令；以及处理器，被配置成执行所述计算机可读指令，从而由与具有多个光电转换元件的像素阵列的像素关联的像素信号产生图像数据，从所述图像数据提取颜色数据和深度数据，并且输出所述颜色数据和所述深度数据。
[0029]在一个示例实施例中，所述像素阵列为相位差自动对焦像素阵列。
[0030]在一个示例实施例中，所述图像数据包括长曝光图像数据和短曝光图像数据，相比于与所述短曝光图像数据关联的像素信号，所述长曝光图像数据对应于与曝光时间较长的像素关联的像素信号。
[0031 ] 在一个示例实施例中，所述多个光电转换元件中的至少一个第一光电转换元件被构造成产生长曝光图像数据，并且所述多个光电转换元件中的至少一个第二光电转换元件被构造成产生短曝光图像数据。
[0032]在一个示例实施例中，所述处理器还被配置成在利用长曝光图像数据和短曝光图像数据提取颜色数据之前，对图像数据进行处理，所述处理包括降噪处理、边缘锐化处理、颜色校正处理和伽玛处理中的至少一种。
[0033]在一个示例实施例中，所述处理器还被配置成在利用长曝光图像数据和短曝光图像数据提取深度数据之前处理图像数据。
[0034]在一个示例实施例中，所述处理器还被配置成通过提取每对长曝光图像数据和短曝光图像数据之间的差值数据来处理所述图像数据。
【附图说明】
[0035]本发明构思的这些和/或其他方面及优点将根据下面结合附图对实施例的描述而变得明了和更易于理解，在附图中:
[0036]图1示出根据本发明构思的示例实施例的包括多个像素的图像传感器的像素阵列。
[0037]图2示出根据示例实施例的在图1中示出的像素阵列的一部分。
[0038]图3示出根据示例实施例的在图1中示出的像素阵列的一部分。
[0039]图4示出根据示例实施例的在图1中示出的像素阵列的一部分。
[0040]图5示出根据示例实施例的在图1中示出的像素阵列的一部分。
[0041]图6示出根据示例实施例的在图1中示出的像素阵列的一部分。
[0042]图7示出根据示例实施例的包括两个光电二极管的像素的剖视图。
[0043]图8示出根据示例实施例的包括四个光电二极管的像素的剖视图。
[0044]图9示出根据示例实施例的包括两个光电二极管的像素(例如，PAF像素)的电路图。
[0045]图10是根据示例实施例描述在图9中示出的像素的操作的时序图。
[0046]图11示出根据示例实施例的包括四个光电二极管的像素(例如，PAF像素)的电路图。
[0047]图12是根据示例实施例描述在图11中示出的像素的操作的时序图。
[0048]图13是根据另一示例实施例描述在图11中示出的像素的操作的时序图。
[0049]图14是根据示例实施例的包括图1的像素阵列的图像传感器的框图。
[0050]图15是根据示例实施例的包括图1的像素阵列的图像传感器的另一框图。
[0051]图16是根据包括图1中示出的像素阵列的数据处理系统的一个示例实施例的框图。
[0052]图17是根据示例实施例的图16的图像信号处理器(ISP)的示意性框图。
[0053]图18A和图18B示出根据示例实施例的在图16中示出的CMOS图像传感器中一个扫描场期间的曝光时间和积累曝光量。
[0054]图19示出根据示例实施例的长曝光图像信号的输入/输出亮度特性和短曝光图像信号的输入/输出亮度特性以描述长曝光图像信号和短曝光图像信号的组合处理。
[0055]图20是根据本发明构思的示例实施例的数据处理装置的框图。
[0056]图21是根据示例实施例的描述根据像素的位置的差值的概念图。
[0057]图22至图27是根据示例实施例的从图20中示出的处理电路输出颜色数据和深度数据的时序图。
[0058]图28是示出包括在图20中示出的处理电路的数据处理装置的示例实施例的框图。
[0059]图29是示出包括在图20中示出的处理电路的数据处理装置的示例实施例的框图。
[0060]图30是示出