专利名称：图像处理设备，摄像设备，图像处理方法和程序的制作方法
技术领域：
本公开涉及图像处理设备，尤其涉及补偿像素值的图像处理设备和图像处理方法，和使计算机执行上述方法的程序。
背景技术：
近年来，通过拍摄诸如人物之类被摄物体的图像，生成拍摄图像，并记录这些生成的图像的摄像装置，比如数字静态照相机的使用已普及。已广泛使用的这些摄像装置之一是具有受光面的摄像装置，所述受光面包括上面以Bayer阵列形式布置有滤色器的像素。另外最近，随着多功能摄像设备和高质量摄像设备的出现，研究了具有除生成图像的像素以外的像素的摄像装置，或者具有除布置成Bayer阵列的R、G和B滤色器以外的滤色器的摄像装置。例如，现在正在研究配备生成图像的像素(图像生成像素)和实现多种功能的新像素的摄像装置。例如，作为配备这些摄像装置之一的摄像设备，提出配备具有光瞳分割通过摄像透镜的光的像素(相差检测像素)的摄像装置的摄像设备(例如参见未经审查的日本专利申请公开No. 2009-145401)。在该摄像设备中，安装通过遮蔽光敏元件接收的从被摄物体发出的光的一半，进行光瞳分割的相差检测像素，和由于这些相差检测像素的操作，形成一对图像。通过测量这两个图像之间的间隔，能够计算散焦(out of focus)距离。该摄像设备根据散焦距离，计算其摄像透镜的移动距离，并通过根据计算的移动距离，调整摄像透镜的位置，进行聚焦控制。
发明内容
在上述现有技术中，由于摄像设备配备具有相差检测像素和图像生成像素的摄像装置，因此摄像设备不必单独配备用于聚焦检测的摄像装置，和用于摄像的摄像装置。另外，在上述现有技术中，如果在相差检测像素中存在缺陷像素，那么借助于与缺陷像素相邻并且接收其方向与缺陷像素理应接收的光的方向相同的光瞳分割光的相差检测像素的像素值的平均值，能够补偿缺陷像素的像素值。不过，可以想到存在位于高频图像的边缘的缺陷像素，或者存在其中密集存在缺陷像素的区域。在诸如这样的情况下，由于归因于图像的高频分量，或者密集存在的缺陷像素的影响，难以进行正确的补偿，因此补偿精度会降低。不过，即使在这种情况下，对相差检测像素之中的缺陷像素进行精确补偿也是重要的。考虑到上述问题，实现了本公开，本公开能够改善属于相差检测像素的缺陷像素的像素值的补偿精度。为了解决上述问题，实现了本公开，本公开的第一实施例提供一种图像处理设备， 包括摄像装置，所述摄像装置具备多个图像生成像素，所述多个图像生成像素生成用于产生图像的像素值，并且具备多对两种类型的相差检测像素，所述多对两种类型的相差检测像素生成用于通过相差检测，进行在焦状态判断的像素值；检测单元，所述检测单元检测由在包括在摄像装置生成的图像数据中的像素值之中的图像生成像素的像素值形成的第一图像的边缘，并检测由在包括在摄像装置生成的图像数据中的像素值之中的所述两种相差检测图像像素的像素值形成的第二图像的边缘；和补偿单元，当在一种相差检测像素中包括缺陷像素时，所述补偿单元根据检测的边缘，计算关于另一种相差检测像素的第二图像和所述第一图像之间的距离，并根据计算的距离和所述另一种相差检测像素的像素值，补偿缺陷像素的像素值。另外，本公开的第一实施例提供一种用于所述图像处理设备的图像处理方法，和使计算机执行所述图像处理方法的程序。结果，本公开的第一实施例带来当在一种相差检测像素中包括缺陷像素时，可根据用另一种图像生成像素的像素值表示的第一图像和关于相差检测像素的第二图像之间的计算距离，和另一种相差检测像素的像素值， 进行缺陷像素的像素值的补偿的效果。另外，在本公开的第一实施例中，可按照检测单元设定用于检测所述距离的特定区域，并检测用所述特定区域内的另一种相差检测像素的像素值表示的边缘，和用与所述特定区域相邻的图像生成像素的像素值表示的边缘，而补偿单元计算用另一种相差检测像素的像素值表示的边缘，和用图像生成像素的像素值表示的边缘之间的距离，然后根据计算的距离和另一种相差检测像素的像素值，补偿缺陷像素的像素值的方式，进行缺陷像素的像素值的补偿。结果，本公开的第一实施例还带来可进行置于用于检测所述距离的特定区域中的缺陷像素的像素值的补偿的效果。另外，在本公开的第一实施例中，如果缺陷像素的位置和用另一种相差检测像素的像素值表示的边缘的位置相对于用图像生成像素的像素值表示的边缘的位置对称，那么补偿单元可根据关于用另一种相差检测像素的像素值表示的边缘的像素值，补偿缺陷像素的像素值。结果，本公开的第一实施例还带来如果缺陷像素的位置和用另一种相差检测像素的像素值表示的边缘的位置相对于用图像生成像素的像素值表示的边缘的位置对称，那么可根据关于用另一种相差检测像素的像素值表示的边缘的像素值，进行缺陷像素的像素值的补偿的效果。另外，在本公开的第一实施例中，如果缺陷像素的位置和用另一种相差检测像素的像素值表示的边缘的位置不对称，那么补偿单元可根据与缺陷像素相邻的所述一种相差检测像素的像素值的平均值，补偿缺陷像素的像素值。结果，本公开的第一实施例还带来如果缺陷像素的位置和用另一种相差检测像素的像素值表示的边缘的位置不对称，那么可根据与缺陷像素相邻的所述一种相差检测像素的像素值的平均值，进行缺陷像素的像素值的补偿的效果。另外，在本公开的第一实施例中，如果在所述特定区域中，未检测到与用图像生成像素的像素值表示的检测边缘对应的，用另一种相差检测像素的像素值表示的边缘，那么补偿单元可根据与缺陷像素相邻的所述一种相差检测像素的像素值的平均值，补偿缺陷像素的像素值。结果，本公开的第一实施例还带来如果在所述特定区域中，未检测到与用图像生成像素的像素值表示的检测边缘对应的，用另一种相差检测像素的像素值表示的边缘， 那么可根据与缺陷像素相邻的所述一种相差检测像素的像素值的平均值，进行缺陷像素的像素值的补偿的效果。另外，在本公开的第一实施例中，可以想到在图像生成像素包括覆盖以遮蔽属于除红光波长范围之外的波长范围的各种光的红色滤色器的红色像素；覆盖以遮蔽属于除蓝光波长范围之外的波长范围的各种光的蓝色滤色器的蓝色像素；和覆盖以遮蔽属于除绿光波长范围之外的波长范围的各种光的绿色滤色器的绿色像素，并且用图像生成像素的像素值表示的边缘是用绿色像素的像素值形成的图像的边缘时，补偿单元计算用另一种相差检测像素的像素值表示的边缘和用绿色像素的像素值表示的边缘之间的距离，并根据计算的距离和另一种相差检测像素的像素值，补偿缺陷像素的像素值。结果，本公开的第一实施例还带来计算用另一种相差检测像素的像素值表示的边缘和用绿色像素的像素值表示的边缘之间的距离，然后根据计算的距离和另一种相差检测像素的像素值，能够进行缺陷像素的像素值的补偿的效果。本公开的第二实施例提供一种摄像设备，所述摄像设备包括摄像装置，所述摄像装置具备多个图像生成像素，所述多个图像生成像素生成用于产生图像的像素值，并且具备多对两种类型的相差检测像素，所述多对两种类型的相差检测像素生成用于通过相差检测，进行在焦状态判断的像素值；检测单元，所述检测单元检测由在包括在摄像装置生成的图像数据中的像素值之中的图像生成像素的像素值形成的第一图像的边缘，并检测由在包括在摄像装置生成的图像数据中的像素值之中的所述两种相差检测图像像素的像素值形成的第二图像的边缘；补偿单元，当在一种相差检测像素中包括缺陷像素时，所述补偿单元计算关于另一种相差检测像素的第二图像和所述第一图像之间的距离，并根据计算的距离和所述另一种相差检测像素的像素值，补偿缺陷像素的像素值；判断单元，所述判断单元根据相差检测像素的补偿像素值，判断是否实际使聚焦目标对象达到聚焦状态；和控制单元， 所述控制单元根据判断单元的判断结果，控制透镜的驱动。结果，本公开的第二实施例带来当在一种相差检测像素中包括缺陷像素时，可根据用图像生成像素的像素值表示的第一图像和关于另一种相差检测像素的第二图像之间的距离，和另一种相差检测像素的像素值， 进行缺陷像素的像素值的补偿，以及可根据缺陷像素的补偿像素值，进行在焦状态判断的效果。按照本公开的实施例，可带来能够提高属于相差检测像素的缺陷像素的像素值的补偿精度的效果。
图I是表示按照本公开的实施例的摄像设备的功能结构的例子的方框图；图2是表示包括在按照本公开的实施例的摄像装置中的像素阵列的例子的示意图；图3A、图3B和图3C由按照本公开的实施例的缺陷补偿单元进行的边缘检测的例子;图4A和图4B是表示由按照本公开的实施例的缺陷补偿单元进行的缺陷像素的像素值补偿的例子的示意图。图5A-图是表示在本公开的实施例中，在用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘在比较区之外的情况下，缺陷像素的像素值的补偿例子的示意图。图6A-图6D是表示借助于利用按照本公开实施例的缺陷像素的补偿获得的数据的相差检测的例子，和按照缺陷像素的现有补偿的相差检测的例子的示意图。
图7A和图7B是表示包括对其来说，能够利用按照本公开的实施例的补偿检测相差的多个缺陷像素的像素阵列的例子的示意图。图8是表示由按照本公开的实施例的摄像设备进行的相差检测像素中的缺陷像素的补偿的摄像处理过程的例子的流程图；图9是表示在按照本公开的实施例的摄像处理操作中进行的缺陷补偿处理的例子的流程图。
具体实施例方式下面说明本公开的实施例(下面称为实施例)。〈I.第一实施例>[摄像设备的功能结构例子]图I是表示按照本公开的一个实施例的摄像设备100的功能结构的例子的方框图。摄像设备100是通过拍摄被摄物体的图像，生成图像数据(拍摄图像)，并把生成的图像数据记录为图像内容(静止图像内容和运动图像内容)的摄像设备。假定在下面的说明中，作为图像内容(图像文件)，将主要记录静止图像内容(静止图像文件)。摄像设备100包括透镜单元110，操作接收单元120，控制单元130，摄像装置200， 信号处理单元140，图像生成单元150，显示单元151和存储器单元152。另外，摄像设备100 包括缺陷像素信息保持单元310，缺陷补偿单元330，相差检测单元161和驱动单元162。透镜单元110收集从被摄物体发出的光(被摄物体光)。透镜单元110包括变焦透镜111，光圈112和聚集透镜113。当被驱动单元162驱动时，变焦透镜111沿着光轴的方向移动，以改变焦距，从而调整包括在拍摄图像中的被摄物体的图像的放大率。光圈112是按照驱动单元162的驱动，改变开口的幅度，从而调整入射在摄像装置 200上的被摄物体光的光量的遮蔽装置。当被驱动单元162驱动时，聚集透镜113沿着光轴的方向移动，以便进行调焦。操作单元120接收用户发出的操作。例如，当用户按下快门按钮(未示出)时，操作单元120把关于快门按钮的按压的信号作为操作信号提供给控制单元130。控制单元130控制摄像设备100的每个单元的操作。在图I中，只描述了主要的信号线，省略了其它线路。例如，当快门按钮被按下，从而控制单元130收到开始记录静止图像的操作信号时，控制单元130把该信号提供给信号处理单元140。摄像装置200是把接收的被摄物体光光电转换成电信号的图像传感器。可借助 CMOS (互补金属氧化物半导体)传感器或CXD (电荷耦合器件)传感器，实现摄像装置200。 摄像装置200包括根据接收的被摄物体光，生成用于生成拍摄图像的信号的像素(图像生成像素)，和生成用于检测相差的信号的像素(相差检测像素)。这里，相差检测是一种其中通过光瞳分割通过摄像透镜的光，形成一对图像，并通过测量这些形成的图像之间的间隔(两个图像之间的距离)，即，通过检测两个图像之间的相差，检测在焦状态的程度的焦点检测方法。另外，在摄像装置200中，布置借助于让红光通过的滤色器，接收红(R)光的像素 (R像素)，和借助于让绿光通过的滤色器，接收绿(G)光的像素(G像素)，作为图像生成像素。除了 R像素和G像素之外，在摄像装置200中，布置借助于让蓝光通过的滤色器，接收蓝(B)光的像素(B像素)，作为图像生成像素。摄像装置200将在下面参考图2说明。摄像装置200把通过光电转换生成的电信号(图像信号)提供给信号处理单元140。信号处理单元140通过对从摄像装置200供给的电信号进行预定信号处理，补偿图像信号。例如，在把从摄像装置200供给的电信号转换成数字电信号(像素值)之后，信号处理单元140对数字电信号进行黑电平补偿，缺陷补偿，黑斑(shading)补偿，混色补偿等等。这里，黑电平补偿是其中如果像素值产生自光学黑区中的各个像素，那么从每个像素的像素值本身中减去生成的像素值，以致如果像素接收的光量为“0”，那么每个像素的像素值变成“O”的处理。缺陷补偿是其中通过借助于与布置在摄像装置200中的图像生成像素之中的未正常工作的像素(缺陷像素)相邻的像素的像素值，估计缺陷像素的像素值，补偿缺陷像素的像素值的处理。这里，在信号处理单元140进行的缺陷补偿中，图像生成像素之中的缺陷像素被补偿，不过相差检测像素之中的缺陷像素未被补偿。另外，黑斑补偿是通过按照像素的图像高度，对像素的像素值赋予增益，补偿当像素的位置从摄像装置200的中心移向周边部分时出现的像素亮度的降低的处理，对与拍摄图像对应的所有像素的像素值进行这种处理。另外，混色补偿是其中通过从像素的像素值中减去混色的估计增加量，补偿由来自相邻像素的漏光引起的像素的像素值的增加量(混色)的处理。信号处理单元140 把对其进行这些补偿处理的信号之中，由相差检测像素生成的图像信号(相差检测像素图像信号)提供给缺陷补偿单元330。另外，信号处理单元140把对其进行这些补偿处理的信号之中，由图像生成像素生成的图像信号提供给缺陷补偿单元330和图像生成单元150。图像生成单元150对从信号处理单元140供给的由图像生成像素生成的图像信号进行预定处理，以便生成将显示在显示单元151上的图像数据，和将保存在存储器单元152 中的图像数据。例如，图像生成单元150对图像信号进行白平衡补偿，Y补偿，去马赛克处理，图像压缩处理等等。图像生成单元150把将显示在显示单元151上的图像数据提供给显示单元151，从而使显示单元151显示该图像数据。图像生成单元150把将保存在存储器单元152中的图像数据提供给存储器单元152，从而使存储器单元152保存该图像数据。显示单元151根据从图像生成单元150供给的图像数据，显示图像。例如，显示单元151用彩色液晶面板体现。存储器单元152把由图像生成单元150供给的图像数据保存为图像内容(图像文件)。例如，诸如DVD (数字通用光盘)之类的光盘，诸如存储卡或半导体存储器之类的可拆卸记录介质或多个可拆卸介质可用作所述存储器单元152。另外,这些记录介质可被嵌入摄像设备100中，或者可以作为可拆卸介质安装在摄像设备100中。缺陷像素信息保持单元310保持摄像装置200中的相差检测像素之中的缺陷像素的位置信息(缺陷像素信息)。例如，缺陷像素信息保持单元310保持相差检测像素之中的缺陷像素的位置，作为缺陷像素信息，其中缺陷像素是在摄像设备100的制造过程中的摄像装置200的功能检查中检测到的。缺陷像素信息保持单元310把缺陷像素信息提供给缺陷补偿单元330。缺陷补偿单元330根据从缺陷像素信息保持单元310供给的缺陷像素信息，和从信号处理单元140供给的相差像素和图像生成像素的像素值，补偿相差像素之中的缺陷像素的像素值。首先，缺陷补偿单元330根据缺陷像素信息，检查在相互比较一对相差检测像素的像素值的区域(比较区)中，是否存在缺陷像素。如果检测到缺陷边缘，那么缺陷补偿单元330根据从邻近比较区的图像生成像素的像素值获得的分布数据，和从种类与缺陷像素的种类不同的相差检测像素的像素值获得的分布数据，检测边缘。如果利用由作为缺陷像素的相对物的相差检测像素的像素值表示的边缘的像素值，能够补偿缺陷像素的像素值，那么能够根据由作为缺陷像素的相对物的相差检测像素的像素值表示的边缘的像素值，补偿缺陷像素的像素值。缺陷补偿单元330进行的补偿将在后面参考图3A-图6D说明。 缺陷补偿单元330把补偿的数据(相差检测像素图像信号)提供给相差检测单元161。这里，缺陷补偿单元330是在下面的权利要求中描述的检测单元和补偿单元的组合的例子。相差检测单元161通过根据从缺陷补偿单元330供给的上述相差检测像素图像信号的相差检测，判断是否实际使将被聚焦的被摄物体(聚焦目标对象)达到聚焦状态。这里，在本公开的实施例中，为了便于说明，将假定相差检测单元161借助于存在于比较区中的相差检测像素的相差检测像素图像信号，进行上述判断。相差检测单元161用比较区中的相差检测像素的各对像素值，形成一对图像，并借助于这些形成的图像之间的间隔，进行在焦状态判断。如果存在于其中在进行聚焦的区域(聚焦区)中的被摄物体处于在焦状态， 那么相差检测单元161把该被摄物体处于聚焦状态的信息，作为在焦状态判断结果信息提供给驱动单元162。如果该被摄物体未处于在焦状态，那么相差检测单元161计算散焦距离 (散焦量)，并把计算的散焦量信息作为在焦状态判断结果信息，提供给驱动单元162。这里，相差检测单元161是在下面的权利要求中描述的判断单元的例子。驱动单元162驱动变焦透镜111，光圈112和聚集透镜113。例如，驱动单元162 根据从相差检测单元161供给的在焦状态判断结果信息，计算聚集透镜113的驱动量，并按照计算的驱动量，移动聚焦透镜113。如果被摄物体处于在焦状态，那么驱动单元162使聚焦透镜113的位置保持原样。如果被摄物体不处于在焦状态，那么驱动单元162根据指示散焦量的在焦状态判断结果信息，和聚焦透镜113的位置信息，计算驱动量(移动距离)，并按照驱动量(移动距离)移动聚焦透镜113。这里，驱动单元162是在下面的权利要求中描述的控制单元的例子。[包括在图像传感器中的像素阵列的例子]图2是表示包括在按照本公开的实施例的摄像装置200中的像素阵列的例子的示意图。在图2中，将在假定存在具有表示水平方向的X轴和表示垂直方向的Y轴的X-Y 坐标系的情况下进行说明。另外，在图2中，将假定左下角的点是X-Y坐标系的原点，从下到上的方向是Y轴的正向，从左到右的方向是X轴的正向。另外假定摄像装置200通过沿着X轴方向，从左到右扫描像素，读取信号(以像素阵列的行为单位读取信号)。下面将借助于包括在摄像装置200中的像素中的一些像素(18行X 18列像素阵列)的区域(在图2中描述成区域210)，进行说明。包括在摄像装置200中的像素的阵列由沿着X轴方向和沿着Y轴方向，以示于区域210中的18行X 18列像素阵列为单位，反复排列的多个像素阵列构成。在图2中，像素用正方形表示。特别地，图像生成像素用其中具有标记(R，G或B) 的正方形表示，R，G和B分别代表安装在像素上的红色，绿色和蓝色滤色器。换句话说，在图2中，图像生成像素的R像素被描述成R像素211，B像素被描述成B像素214。至于G像素，在图2中，包括在其中包括R像素(R像素211)的一行中的G像素被描述成Gr像素(Gr 像素212)，包括在其中包括B像素(B像素214)的一行中的G像素被描述成Gb像素(Gb像素 213)。另外，相差检测像素由其中具有白色矩形标记的灰色正方形表示。这里，白色矩形标记表示入射光通过，从而被光敏元件接收，而不被遮光层遮蔽的相差检测像素部分。换句话说，白色矩形标记表示遮光层的开口。下面将解释图2中所示的两种相差检测像素(右开口相差检测像素215和左开口相差检测像素216)。右开口相差检测像素215是具有允许光敏元件的右半部接收入射光，而阻止光敏元件的左半部接收入射光的遮蔽层的相差检测像素。换句话说，就入射在右开口相差检测像素215的微透镜上的光来说，右开口相差检测像素215遮蔽通过出射光瞳的右半部(在正X轴方向一侧)的一些被摄物体光。另外，就入射在右开口相差检测像素215的微透镜上的光来说，右开口相差检测像素215允许通过出射光瞳的左半部(在负X轴方向一侧) 的一些被摄物体光被光敏元件接收。左开口相差检测像素216是具有允许光敏元件的左半部接收入射光，而阻止光敏元件的右半部接收入射光的遮蔽层的相差检测像素。换句话说，就入射在左开口相差检测像素216的微透镜上的光来说，左开口相差检测像素216遮蔽通过出射光瞳的左半部(在负X轴方向一侧)的一些被摄物体光。另外，就入射在左开口相差检测像素216的微透镜上的光来说，左开口相差检测像素216允许通过出射光瞳的右半部(在正X轴方向一侧) 的一些被摄物体光被光敏元件接收。另外，右开口相差检测像素215和左开口相差检测像素216是成对使用的，以致每对的两个像素形成一对图像。下面说明摄像装置200中的像素的阵列。在摄像装置200中，沿着与读取信号的扫描方向垂直的方向，交替排列其中布置图像生成像素的多行(线)，和其中布置相差检测像素的一行(线)。在图2中，将假定由图像生成像素构成的上述多行的数目为5。另外，在上述多行中，图像生成像素被布置成 Bayer阵列。另外，为了便于图解说明，图2举例表示与由相差检测像素构成的一行邻接的， 由图像生成像素构成的两行由R像素和Gr像素构成。随后，在假定在图2中所示的相差检测像素中，存在缺陷像素的情况下，借助于图 2中所示的2行X14列的阵列(区域220)，说明由缺陷补偿单元330进行的缺陷像素的像素值的补偿。[缺陷补偿单元进行的边缘检测的例子]图3A，图3B和图3C表示由按照本公开的实施例的缺陷补偿单元330进行的边缘检测的例子。图3A示意表示描述成像对象的区域(成像区域410)。另外，边缘用成像区域410 中的白色区域(区域411)示意表示。下面将在假定在图3A中，只有区域411发光，成像区域410的剩余部分漆黑的情况下进行说明。图3B表示拍摄图3A中所示的成像区域410的图像的像素的区域(像素区420)。 像素区420包括一行14个相差检测像素和一行14个图像生成像素。另外,像素区420显示在由相差检测像素构成的一行中，位于从左侧起第三列的右开口相差检测像素(右开口相差检测像素430之一)是缺陷像素(缺陷像素460)。另外，在图3B中，将假定在左开口相差检测像素(左开口相差检测像素440)中，没有任何缺陷像素。另外，像素区420显示用缺陷补偿单元330搜索，以寻找边缘的图像生成像素(G像素450)由其中具有小圆点的正方形表不。G像素450将在后面在图3C中说明。图3C示意表示当用图3B中所示的像素区420拍摄图3A中所示的成像区410的图像时，用缺陷补偿单元330检测到的边缘。将在假定图3B中所示的像素区420中的一行相差检测像素的区域(范围)是其中相互比较每对相差检测像素的值，以便检测关于聚焦目标对象的散焦距离的比较区的情况下说明图3C。在图3C中，每个图示意表示用缺陷补偿单元330检测到的边缘，纵轴表示每个像素的强度(输出等级)，横轴表示每个像素的位置(像素位置)。图3C表示由像素区420 中的G像素(G像素450)的像素值生成的像素值的分布数据(分布数据451)，和由像素区 420中的左开口相差检测像素的像素值生成的像素值的分布数据(分布数据441)。另外， 图3C包括由右开口相差检测像素的像素值生成的分布数据(分布数据431)。下面参考图3C，说明用缺陷补偿单元330进行的边缘检测。首先，缺陷补偿单元 330根据缺陷像素信息，检查在比较区内是否存在缺陷像素。如果存在缺陷像素，那么缺陷补偿单元330从邻近比较区的图像生成像素的像素值中检测边缘。这里，在本公开的实施例中，将假定G像素(图3B中所示的G像素450)的像素值被用作图像生成像素的像素值。 换句话说，缺陷补偿单元330生成G像素的像素值的分布数据(分布数据451)，并检测分布数据451中的边缘(突出的输出等级)。如果从G像素的像素值中检测到边缘，那么缺陷补偿单元330从种类与缺陷像素 (缺陷像素460)的种类不同的相差检测像素的像素值中检测边缘。这里,如图3B中所示， 由于假定缺陷像素460是右开口相差检测像素，因此从左开口相差检测像素(左开口相差检测像素440)的像素值中检测到边缘。换句话说，缺陷补偿单元330生成左开口相差检测像素的像素值的分布数据(分布数据441)，并检测分布数据441中的边缘(突出的输出等级)。随后，如果从种类与缺陷像素的种类不同的相差检测像素的像素值的分布数据 (分布数据441)中检测出边缘，那么缺陷补偿单元330测量该边缘和从G像素的像素值中检测出的边缘之间的距离(间隔Al)。随后，缺陷补偿单元330检查缺陷像素的位置和用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘的位置，是否相对于用G像素的像素值表示的边缘的位置对称。换句话说，生成右开口相差检测像素的像素值的分布数据 (分布数据431)，然后检查用缺陷像素的像素值表示的位置(在表示分布数据431的半直线上，不是粗线段的线段的中点)，和用G像素的像素值表示的边缘的位置之间的间隔(间隔A2)是否和间隔Al相同。随后将参考图4A和图4B，说明在判断间隔A2等于间隔Al的情况下，缺陷像素460 的像素值的补偿。[缺陷补偿单元进行的缺陷像素的像素值的补偿例子]图4A和图4B是表示按照本公开的实施例的缺陷补偿单元330进行的缺陷像素的像素值的补偿例子的示意图。在图4A和图4B中，与图3A，图3B或图3C的组件对应的组件用相同的附图标记表示，其详细说明将被省略。在图4A中，参考图3B中所示的像素阵列(像素区420)，示意地解释在间隔A2等于间隔Al的情况下，缺陷像素(缺陷像素460)的像素值的补偿(关于间隔Al和间隔A2， 参见图3C)。另外在图4A中，输出用图3C中的分布数据451表示的边缘的像素被表示成用粗线框住的图像生成像素(Gr像素470)。另外在图4A中，输出用图3C中的分布数据441 表示的边缘的像素被表示成用粗线圈住的相差检测像素(相差检测像素442)。另外，在图4A中，用箭头481示意表示根据相差检测像素442的像素值，补偿缺陷像素460的像素值。下面说明在间隔A2和间隔Al具有相同长度的情况下，用缺陷补偿单元330进行的缺陷像素的像素值的补偿。首先解释用缺陷补偿单元330进行的补偿的原理。如果摄像设备进行的摄像处于在焦状态，那么用一对相差检测像素中的一个相差检测像素的像素值表示的边缘的位置，和用一对相差检测像素中的另一个相差检测像素的像素值表示的边缘的位置彼此一致 (在图3C中，用分布数据441表示的边缘的位置和用分布数据431表示的边缘的位置相互重叠)。另一方面，如果摄像设备进行的摄像处于散焦状态，那么所述两个边缘的位置彼此分离，以当摄像处于在焦状态时，所述两个边缘将在彼此一致的位置作为它们之间的距离的中点。所述两个边缘的位置之间的距离是按照散焦距离(散焦量)确定的。另外，在所述两个边缘的像素值(输出等级)变得彼此相同。换句话说，在缺陷像素的像素值表示边缘的情况下，如果检测到当摄像处于在焦状态时，用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘将与用缺陷像素的像素值表示的边缘一致的位置，那么可借助于用相差检测像素的像素值表示的边缘的像素值，补偿缺陷像素的像素值。这里，缺陷补偿单元330检测用相关的图像生成像素(G像素)的像素值表示的边缘的位置，作为当摄像处于在焦状态时，用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘将与用缺陷像素的像素值表示的边缘一致的位置。随后，借助于所述检测的边缘的位置，和用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘，缺陷补偿单元330检查缺陷像素的像素值是否表示边缘。随后，如果缺陷像素的像素值表示边缘，那么缺陷补偿单元330通过把作为缺陷像素的相对物的相差检测像素的像素值设定为缺陷像素的像素值，补偿缺陷像素的像素值。在图4B中，借助于图3C中所示的分布数据441和分布数据431，示意表示了其中作为缺陷像素的相对物的相差检测像素的像素值被设定为缺陷像素的像素值的补偿。另外，在图4B中，用箭头482示意表示根据作为缺陷像素460的相对物的相差检测像素的像素值，补偿缺陷像素460的像素值。另外，在图4B中，用虚线圆圈432表示利用箭头482所示的像素值的复制而补偿的缺陷像素460的像素值。如上所述，在缺陷像素位于边缘的图像将被拍摄的位置的情况下，缺陷补偿单元 330根据用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘的像素值，补偿缺陷像素的像素值。利用这种方法，能够提高补偿的精度。下面将说明在缺陷像素未位于边缘的图像将被拍摄的位置的情况下，缺陷补偿单元330进行的补偿。在相差检测单元161进行的相差检测中，关于比较区中的边缘的信息变成重要信息。在缺陷像素未位于边缘的图像将被拍摄的位置的情况下，即使缺陷像素的像素值的补偿精度得到改进，相差检测的精度也几乎不受影响。于是，在缺陷像素未位于边缘的图像将被拍摄的位置的情况下，缺陷补偿单元330按照和现有补偿相似的方式，根据种类与缺陷像素的种类相同的相邻相差检测像素的像素值，补偿缺陷像素的像素值。利用这种方法，在缺陷像素未位于边缘的图像将被拍摄的位置的情况下的补偿速度得到提高。换句话说，通过仅仅提高必需高精度的补偿的精度，缺陷补偿单元330能够快速进行补偿。下面将参考图5A-图5D，说明在用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘在比较区之外的情况下的补偿。[缺陷补偿单元330进行的缺陷像素的像素值的补偿的例子]图5A-图是表示在本公开的实施例中，在用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘在比较区之外的情况下，缺陷像素的像素值的补偿例子的示意图。在图5A中，示意表示了描述提供图5C中所示的像素值的被摄物体(成像对象) 的区域(成像区510)。另外，成像区510显示示意表示边缘的白色区域(区域511)。图5B表示描述用于对图5A中所示的成像区域510成像的像素的区域(像素区 525)。像素区525包括布置成一行的24个相差检测像素，和布置成一行的24个图像生成像素。另外，像素区525包括缺陷像素560，Gr像素550，右开口相差检测像素530和左开口相差检测像素540。这里，由于缺陷像素560，Gr像素550，右开口相差检测像素530和左开口相差检测像素540分别类似于图3A中所示的缺陷像素460，Gr像素450，右开口相差检测像素430和左开口相差检测像素440，因此将省略它们的详细说明。另外，图5B表示其中存在其像素值被比较的一对相差检测像素的区域(比较区 520)。相差检测单元161根据置于比较区520中的相差检测像素的像素值，检查像(边缘) 之间的间隔，并关于聚焦目标对象，检测散焦距离。换句话说，不使用在比较区520之外的相差检测像素的像素值，缺陷补偿单元330通过只使用位于比较区520内的相差检测像素的像素值检测边缘，进行补偿。另外，缺陷补偿单元330根据与比较区520对应(相邻)的像素(Gr像素550)的像素值，检测边缘。图5C利用粗实线，示意表示与图5B中的比较区520对应的Gr像素550的分布数据(分布数据551)，和左开口相差检测像素540的分布数据(分布数据541)。另外，图5C 利用粗实线，示意表示右开口相差检测像素530的分布数据(分布数据531)。这里，分布数据551，分布数据541和分布数据531分别对应于图3C中所示的分布数据451，分布数据441和分布数据431。另外，示于每个上述分布数据的右侧的是用虚线描述的三个分布数据，这三个分布线由在像素区525中的比较区520之外的像素的像素值表示。下面将说明在用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘在比较区之外的情况下，缺陷像素的像素值的补偿。缺陷补偿单元330不检测在比较区(比较区520)之外的区域，比如用粗虚线描述的，并且在分布数据541的右侧的边缘(圆542中的边缘)。不过，在上述相差检测中，借助于用位于比较区520内的相差检测像素的像素值表示的一对分布数据，计算散焦距离。于是，在一对边缘之一在比较区之外的情况下，由于所述一对边缘之一未被检测到，那么即使精确地补偿了缺陷像素的像素值，散焦距离的精度也未得到改善。为了应付该问题，在本公开的实施例中，如下所述，不借助在比较区之外的像素的像素值补偿缺陷像素的像素值，以致散焦距离的计算精度不降低，计算速度得到提闻。在图5C中，在用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘在比较区之外的情况下，利用图5B中所示的像素阵列，示意表示根据与缺陷像素相邻的像素的像素值，进行的缺陷像素的补偿的例子。在图中，其像素值被用于缺陷像素的像素值的补偿的相差检测像素被表示成用粗虚线圈住的相差检测像素(右开口相差检测像素533和右开口相差检测像素534)。另外，在图中，用箭头581和582示意表示根据右开口相差检测像素533和右开口相差检测像素534的像素值，补偿缺陷像素560的像素值。如图5C中所示，在未检测到用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘的情况下，借助于种类与缺陷像素的种类相同的相邻相差检测像素(右开口相差检测像素533和右开口相差检测像素534)的像素值的平均像素值，补偿缺陷像素的像素值。[相差检测的例子]图6A-图6D是表示借助于利用按照本公开实施例的缺陷像素的补偿获得的数据的相差检测的例子，和按照缺陷像素的现有补偿的相差检测的例子的示意图。在图6A-图6D中，将假定对图3A中所示的图像区410成像。图6A和图6B示意表示按照缺陷像素的现有补偿的相差检测的例子。图6A示意表示现有的缺陷像素的补偿，以及像素阵列。这里，由于像素区620，右开口相差检测像素 630，左开口相差检测像素640和缺陷像素660分别与图3B中所示的像素区420，右开口相差检测像素430，左开口相差检测像素440和缺陷像素460相似，将省略它们的详细说明。 另外，在图6A中，其像素值被用于缺陷像素的像素值的补偿的相差检测像素被表示成用粗线圈住的相差检测像素(右开口相差检测像素633和634)。另外，在图6A中，用箭头681 和682示意表示根据右开口相差检测像素633和右开口相差检测像素634的像素值，补偿缺陷像素660的像素值。如图6A中所示，通过利用种类与缺陷像素的种类相同的相邻相差检测像素(右开口相差检测像素633和634)的像素值的平均像素值，进行缺陷像素的像素值的现有补偿。图6B表示借助于图6A中所示的缺陷像素的补偿结果生成的分布数据(分布数据 641和分布数据631)。这里，分布数据641是根据左开口相差检测像素640的像素值生成的分布数据，分布数据631是根据右开口相差检测像素630的像素值生成的分布数据。另外，图6B表示借助于图6A中所示的右开口相差检测像素633和634的像素值的平均值，补偿的缺陷像素660的像素值。缺陷像素660的补偿像素值被表示成用椭圆632环绕的分布数据。在按照现有补偿方法的缺陷像素660的像素值的补偿中，右开口相差检测像素 633和634的像素值的平均像素值(输出等级)被设定成缺陷像素660的像素值。换句话说，如果右开口相差检测像素633和634的两个像素值都为“0”，那么缺陷像素660的像素值变成“O”。如果缺陷像素660的像素值表示边缘，那么这样的补偿不能精确地补偿缺陷像素660的像素值。结果，由于将用于测量相差检测中的间隔的两个边缘之一未被检测到 (参见图6B的间隔All)，因此出现不能进行精确的相差检测的问题。图6C和图6D示意表示在用按照本公开的实施例的缺陷补偿单元330进行缺陷像素的像素值的补偿之后的相差检测的例子。这里，由于图6C与图4A相同，因此将省略其详细说明。图6D表不与图3C中所不相似的分布数据451和441,和与图4B中所不相似的分布数据431和虚线圆432中的分布数据。另外，图6D表示分布数据441的边缘和分布数据 431的边缘之间的间隔(间隔A12)。如间隔A12所示，如果假定在缺陷像素的位置检测到边缘，那么通过借助于作为缺陷像素的相对物的相差检测像素的像素值，补偿缺陷像素的像素值，按照本公开的实施例的补偿能够精确地进行相差检测。[包括多个缺陷像素的像素阵列的例子]图7A和图7B是表示包括对其来说，能够利用按照本公开的实施例的补偿检测相差的多个缺陷像素的像素阵列的例子的示意图。虽然在图7A和图7B中包括多个缺陷像素，不过与图3B的组件对应的那些组件用相同的附图标记表示，其详细说明将被省略。图7A表示其中多个缺陷像素(缺陷像素460)聚集在一起的图像区(图像区710) 的示例。即使在这种情况下，如果检测到用相关的Gr像素450的像素值表示的边缘，和用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘，那么也能够借助于作为缺陷像素的相对物的相差检测像素的像素值，补偿缺陷像素的像素值。换句话说，即使在如像素区710中所示，存在多个缺陷像素的情况下，在用缺陷补偿单元330进行的补偿之后，也能够精确地进行相差检测。图7B表示其中属于一对的两种相差检测像素中的一种的多个相差检测像素是缺陷像素的图像区(图像区720)的例子。即使在这种情况下，如果检测到用相关的Gr像素 450的像素值表示的边缘，和用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘，那么也能够精确地进行相差检测。换句话说，即使在如像素区720中所示，每对缺陷像素之一是缺陷像素的情况下， 在用缺陷补偿单元330进行的补偿之后，也能够精确地进行相差检测。[摄像设备的操作的例子]下面参考附图，说明按照本公开的实施例的摄像设备100的操作。图8是表示由按照本公开的实施例的摄像设备100进行的相差检测像素的缺陷像素的补偿的摄像处理过程的例子的流程图。首先，控制单元130判断用户是否发出了拍摄图像的摄像操作开始指令(步骤 S901)。如果判断用户未发出拍摄图像的摄像操作开始指令(步骤S901，否)，那么结束该摄像处理过程。另一方面，如果判断用户发出了拍摄图像的摄像操作开始指令(步骤S901，是)， 那么相差检测单元161设定用于计算聚集目标物的散焦量的比较区(步骤S902)。之后，拍摄被摄物体的图像，摄像装置200获得拍摄的图像(步骤S903)。随后，用缺陷补偿单元330，根据在比较区内的相差检测像素的像素值，和邻近比较区的图像生成像素(本公开的实施例中的G像素)的像素值，进行其中补偿缺陷相差检测像素的像素值的缺陷补偿处理(步骤S910)。缺陷补偿处理(步骤S910)将在后面参考图9说明。这里，步骤S910是在下面的权利要求中描述的检测过程和补偿过程的例子。之后，相差检测单元161进行其中通过相差检测计算散焦量的相差检测处理(步骤S904)。随后，进行其中用驱动单元162驱动聚焦透镜113，从而使聚焦目标对象聚焦的聚焦处理(步骤S905)。随后，控制单元13判断在操作接收单元120，快门按钮是否被按下(步骤S906)。 如果判断快门按钮未被按下(步骤S906，否)，那么流程进入步骤S909。另一方面，如果判断按下了快门按钮(步骤S906，是)，那么摄像设备200拍摄静止图像(步骤S907)。随后，图像生成单元150对其进行信号处理的静止图像由存储器单元 152记录(步骤S908)。随后，控制单元130判断用户是否发出了停止静止图像拍摄操作的摄像操作停止指令(步骤S909)。如果判断用户未发出停止静止图像拍摄操作的摄像操作停止指令(步骤S909，否)，那么流程返回步骤S902。另一方面，如果判断用户发出了停止静止图像拍摄操作的摄像操作停止指令(步骤S909，是)，那么结束该摄像处理过程。图9是表示在按照本公开的实施例的摄像处理操作中进行的缺陷补偿处理(步骤
5910)的例子的流程图。首先，缺陷补偿单元330根据从缺陷像素信息保持单元310供给的缺陷像素信息，判断在检测到相差的区域(比较区)内的相差检测像素中，是否存在缺陷像素(步骤
5911)。如果判断在补偿区内的相差检测像素中，没有任何缺陷像素(步骤S911，否)，那么结束该缺陷补偿处理过程。另一方面，如果判断在补偿区内的相差检测像素中，存在缺陷像素(步骤S911， 是)，那么生成与比较区相邻的图像生成像素(例如，G像素)的像素值的分布数据(步骤
5912)。随后，判断是否存在用由图像生成像素的像素值生成的分布数据表示的边缘(步骤S913)。如果判断不存在用图像生成像素的分布数据表示的边缘，那么流程进入步骤 S918(步骤 S913，否)。另一方面，如果判断存在用分布数据表示的边缘(步骤S913，是)，那么生成用种类与缺陷像素的种类不同的相差检测像素的像素值表示的分布数据(步骤S914)。随后，判断是否存在用从种类与缺陷像素的种类不同的相差检测像素的像素值获得的生成分布数据表示的边缘(步骤S915)。如果判断不存在用从所述相差检测像素的像素值获得的分布数据表示的边缘(步骤S915，否)，那么流程进入步骤S918。另一方面，如果判断存在用从种类与缺陷像素的种类不同的相差检测像素的像素值获得的分布数据表示的边缘(步骤S915，是)，那么检测用图像生成像素的像素值表示的边缘(A)和用由种类与缺陷像素的种类不同的相差检测像素的像素值表示的边缘(B)之间的距离(步骤S916)。随后，判断在用种类与缺陷像素的种类不同的相差检测像素的像素值表示的边缘(B)相对于用图像生成像素的像素值表示的边缘(A)的对称位置，是否存在缺陷像素(步骤S917)。如果判断在边缘(B)的对称位置，不存在边缘(步骤S917，否)，那么借助于接收方向与缺陷像素理应接收的光的方向相同的光的相差检测像素的像素值的平均像素值，补偿缺陷像素的像素值(步骤S918)。在步骤S918之后，结束缺陷补偿处理过程。另一方面，如果判断在边缘(B)的对称位置，存在边缘(步骤S917，是)，那么根据用种类与缺陷像素的种类不同的相差检测像素的像素值表示的边缘(B)的像素值，补偿缺陷像素的像素值(步骤S919)，然后结束缺陷补偿处理过程。如上所述，按照本公开的实施例，通过借助于种类与缺陷像素的种类不同的相差检测像素的像素值，补偿缺陷像素的像素值，能够提高作为相差检测像素的缺陷像素的像素值的补偿精度。特别地，只有当假定在缺陷像素的位置检测到边缘时，才借助作为缺陷像素的相对物的相差检测像素的像素值，补偿缺陷像素的像素值。换句话说，只有当缺陷像素涉及到在焦调整时，才能够进行高度精确的补偿。由于只有当假定在缺陷像素的位置检测到边缘时，才借助于作为缺陷像素的相对物的相差检测像素的像素值，补偿缺陷像素的像素值，因此能够降低缺陷像素的像素值的补偿负载。另外，由于在假定在缺陷像素的位置检测到边缘的情况下，改进了补偿精度，因此在用按照本公开的实施例的摄像设备拍摄高频被摄物体或者对比度高的被摄物体的图像的情况下，改进了通过相差检测的边缘的检测精度。换句话说，按照本公开的实施例的摄像设备具有改进的相差自动聚焦功能。另外，在现有的摄像设备中，由于缺陷像素的像素值是利用相邻相差检测像素的像素值补偿的，因此如果存在其中多个缺陷像素聚集在一起的图像区，那么存在参考缺陷像素的像素值进行补偿的可能性，结果变得难以精确地进行补偿。在本公开的实施例中，如果对于将被聚焦的像来说，像的移动距离较大，那么借助于离缺陷像素的位置较远的像素的像素值，进行缺陷像素的补偿，结果即使存在其中多个缺陷像素聚集在一起的图像区，也能够进行精确的补偿。换句话说，由于具有多个缺陷像素的摄像装置可用在按照本公开的实施例的摄像设备中，因此能够提高制造过程中摄像装置的成品率。尽管借助于G像素，说明了按照本公开的实施例的补偿，不过借助于R像素或B像素，可以进行类似的补偿。另外，用G像素，R像素和B像素生成的亮度信号(Y信号)可用于补偿。此外，利用现有的被摄物体识别算法计算的被摄物体的散焦距离可用于补偿。尽管在本公开的实施例中，计算用相关图像生成像素的像素值表示的边缘和用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘之间的距离，不过该方法不是适用于本公开的唯一方法，相反其它方法也可用于本公开。例如，正如上述方法一样，其中在计算缺陷像素的位置和用相关图像生成像素的像素值表示的边缘的位置之间的距离之后， 检查是否存在用作为缺陷像素的相对物的相差检测像素的像素值表示的边缘的方法可用于本公开。尽管在本公开的实施例中，假定像的移动距离是像素长度的整数倍，不过可以想到像的移动距离不是像素长度的整数倍(例如，使像沿着向右的方向移动I. 5个像素的长度)。这种情况下，利用在从像的初始位置向左2个像素长度的位置的像素值，和在从像的初始位置向左I个像素长度的位置的像素值，用线性插值生成在从像的初始位置向左I. 5 个像素长度的位置的像素值，该生成像素值可用于相关缺陷像素的像素值的补偿。尽管在本公开的实施例中，在假定缺陷像素属于一对两种相差检测像素中的一种的情况下，进行了上述说明，不过，本公开并不局限于上述假定。即使在多个缺陷像素属于一对两种相差检测像素中的两种的情况下，通过计算作为各个缺陷像素的相对物的相差检测像素的亮度值，作为所述相对物的像素值，也能够正如本公开的实施例那样进行每个缺陷像素的像素值的补偿。另外，尽管在本公开的实施例中，在假定安装在图像生成像素上的滤色器是三原色滤色器(红色滤色器，绿色滤色器和蓝色滤色器)之一的情况下，进行了上述说明，不过本公开并不局限于上述假定。例如，即使在图像生成像素上安装补色滤色器的情况下，也能够进行缺陷像素的像素值的补偿。另外，即使在检测属于可见光波长的所有各种光的图像生成像素位于图像区中(例如，其上沿着光轴堆叠蓝色像素，绿色像素和红色像素的摄像装置)的情况下，也能够正如本公开的实施例那样进行缺陷像素的像素值的补偿。另外，在本公开的实施例中，尽管在假定相差检测像素接收通过光瞳分割入射光而获得的一半的光的情况下，进行了上述说明，不过本公开并不局限于上述假定。例如，即使在具备两个光敏元件，能够利用所述两个光敏元件接收两个光瞳分割光的相差检测像素位于图像区中的情况下，也能够正如本公开的实施例那样进行缺陷像素的像素值的补偿。另外，在本公开的实施例中，尽管在假定存在沿着左右方向对光进行光瞳分割的两种相差检测像素的情况下，进行了上述说明，不过本公开并不局限于上述假定。即使在相差检测像素沿着上下方向对光进行光瞳分割的情况下，也能够正如本公开的实施例那样进行缺陷像素的像素值的补偿。另外，本公开并不局限于图2中所示的像素阵列的模式，像素阵列的任意模式可正如本公开的实施例那样，用于缺陷像素的像素值的补偿，只要像素阵列的该模式允许进行相差检测。在本公开的实施例的上述说明中，为了使本公开具体化，说明了本公开的实施例的例子，并且如上明确所述，在本公开的实施例中描述的一些事项秘在下述权利要求中的特定发明事项有关系。按照类似的方式，下述权利要求中的各个特定发明事项与本公开的实施例中，名称与各个特定发明事项相同的事项有关系。不过，本公开并不局限于上面说明的实施例，相反为了使本公开具体化，可对上述实施例做出各种修改，而不脱离本公开的精神和范围。在本公开的实施例中描述的处理过程可被具体化为包括一系列这些过程的方法， 所述一系列过程可被具体化成使计算机执行所述一系列过程的程序。程序可被保存在记录介质上。作为所述记录介质，可以使用⑶(光盘)，MD(小型光盘),DVD (数字通用光盘)， 存储卡，蓝光光盘(Blu-ray Disc (注册商标))等。本公开包含与在2011年I月11日向日本专利局提交的日本优先权专利申请JP 2011-002666中公开的主题相关的主题，该专利申请的整个内容在此引为参考。
权利要求
1.一种图像处理设备，包括摄像装置，所述摄像装置具备多个图像生成像素，所述多个图像生成像素生成用于产生图像的像素值，并且所述摄像装置具备多对两种类型的相差检测像素，所述多对两种类型的相差检测像素生成用于通过相差检测进行在焦状态判断的像素值；检测单元，所述检测单元检测由在包括在摄像装置生成的图像数据中的像素值之中的图像生成像素的像素值形成的第一图像的边缘，并检测由在包括在摄像装置生成的图像数据中的像素值之中的所述两种类型的相差检测像素的像素值形成的第二图像的边缘；和补偿单元，在一种类型的相差检测像素中包括缺陷像素的情况下，所述补偿单元根据检测的边缘，计算关于另一种类型的相差检测像素的第二图像和所述第一图像之间的距离，并根据计算的距离和所述另一种类型的相差检测像素的像素值，补偿缺陷像素的像素值。
2.按照权利要求I所述的图像处理设备，其中检测单元设定用于检测所述距离的特定区域，并检测用所述特定区域内的所述另一种类型的相差检测像素的像素值表示的边缘，和用与所述特定区域相邻的图像生成像素的像素值表示的边缘，补偿单元计算用所述另一种类型的相差检测像素的像素值表示的边缘与用图像生成像素的像素值表示的边缘之间的距离，并根据计算的距离和所述另一种类型的相差检测像素的像素值，补偿缺陷像素的像素值。
3.按照权利要求2所述的图像处理设备，其中如果缺陷像素的位置和用所述另一种类型的相差检测像素的像素值表示的边缘的位置相对于用图像生成像素的像素值表示的边缘的位置对称，那么补偿单元根据用所述另一种类型的相差检测像素的像素值表示的边缘的像素值，补偿缺陷像素的像素值。
4.按照权利要求3所述的图像处理设备，其中如果缺陷像素的位置和用所述另一种类型的相差检测像素的像素值表示的边缘的位置不对称，那么补偿单元根据与缺陷像素相邻的所述一种类型的相差检测像素的像素值的平均值，补偿缺陷像素的像素值。
5.按照权利要求3所述的图像处理设备，其中如果在所述特定区域中，未检测到与用图像生成像素的像素值表示的检测边缘对应的、用所述另一种类型的相差检测像素的像素值表示的边缘，那么补偿单元根据与缺陷像素相邻的所述一种类型的相差检测像素的像素值的平均值，补偿缺陷像素的像素值。
6.按照权利要求I所述的图像处理设备，其中图像生成像素包括覆盖有遮蔽属于除红光波长范围之外的波长范围的光的红色滤色器的红色像素；覆盖有遮蔽属于除蓝光波长范围之外的波长范围的光的蓝色滤色器的蓝色像素，和覆盖有遮蔽属于除绿光波长范围之外的波长范围的光的绿色滤色器的绿色像素；并且其中用图像生成像素的像素值表示的边缘是用绿色像素的像素值形成的图像的边缘；并且补偿单元计算用所述另一种类型的相差检测像素的像素值表示的边缘和用绿色像素的像素值表示的边缘之间的距离，并根据计算的距离和所述另一种类型的相差检测像素的像素值，补偿缺陷像素的像素值。
7.一种摄像设备，包括摄像装置，所述摄像装置具备多个图像生成像素，所述多个图像生成像素生成用于产生图像的像素值，并且所述摄像装置具备多对两种类型的相差检测像素，所述多对两种类型的相差检测像素生成用于通过相差检测，进行在焦状态判断的像素值；检测单元，所述检测单元检测由在包括在摄像装置生成的图像数据中的像素值之中的图像生成像素的像素值形成的第一图像的边缘，并检测由在包括在摄像装置生成的图像数据中的像素值之中的所述两种类型的相差检测像素的像素值形成的第二图像的边缘；补偿单元，当在一种类型的相差检测像素中包括缺陷像素时，所述补偿单元根据检测的边缘，计算关于另一种类型的相差检测像素的第二图像和所述第一图像之间的距离，并根据计算的距离和所述另一种类型的相差检测像素的像素值，补偿缺陷像素的像素值；判断单元，所述判断单元根据相差检测像素的补偿像素值，判断是否实际使聚焦目标对象达到聚焦状态；以及控制单元，所述控制单元根据判断单元的判断结果，控制透镜的驱动。
8.—种图像处理方法，包括使具备多个图像生成像素和多对两种类型的相差检测像素的摄像装置，利用所述多个图像生成像素生成用于产生图像的像素值，并且利用所述多对两种类型的相差检测像素生成用于通过相差检测进行在焦状态判断的像素值；检测由在包括在摄像装置生成的图像数据中的像素值之中的图像生成像素的像素值形成的第一图像的边缘，和由在包括在摄像装置生成的图像数据中的像素值之中的所述两种类型的相差检测像素的像素值形成的第二图像的边缘；当在一种类型的相差检测像素中包括缺陷像素时，根据检测的边缘，计算关于另一种类型的相差检测像素的第二图像和所述第一图像之间的距离；以及根据计算的距离和所述另一种类型的相差检测像素的像素值，补偿缺陷像素的像素值。
9.一种使计算机执行下述过程的程序使具备多个图像生成像素和多对两种类型的相差检测像素的摄像装置，利用所述多个图像生成像素生成用于产生图像的像素值，和利用所述多对两种类型的相差检测像素生成用于通过相差检测，进行在焦状态判断的像素值；检测由在包括在摄像装置生成的图像数据中的像素值之中的图像生成像素的像素值形成的第一图像的边缘，和由在包括在摄像装置生成的图像数据中的像素值之中的所述两种类型的相差检测图像像素的像素值形成的第二图像的边缘；当在一种类型的相差检测像素中包括缺陷像素时，根据检测的边缘，计算关于另一种类型的相差检测像素的第二图像和所述第一图像之间的距离；和根据计算的距离和所述另一种类型的相差检测像素的像素值，补偿缺陷像素的像素值。
全文摘要
本发明公开了图像处理设备，摄像设备，图像处理方法和程序。一种图像处理设备，包括具备生成图像的图像生成像素，和生成用于在焦状态判断的像素值的多对两种类型的相差检测像素的摄像装置；检测由图像生成像素的像素值形成的第一图像的边缘，和由所述多对相差检测图像像素的像素值形成的第二图像的边缘的检测单元；和如果在一种类型的相差检测像素中包括缺陷像素，那么根据检测的边缘，计算关于另一种类型的相差检测像素的第二图像和所述第一图像之间的距离，并根据计算的距离和所述另一种类型的相差检测像素的像素值，补偿缺陷像素的像素值的补偿单元。
文档编号H04N5/225GK102595033SQ20121000763
公开日2012年7月18日 申请日期2012年1月4日 优先权日2011年1月11日
发明者原一成 申请人:索尼公司