信息处理设备、信息处理方法以及信息处理程序的制作方法
【专利摘要】本公开提供一种信息处理设备、信息处理方法和信息处理程序。所述信息处理设备包括：图像获取部分，构造为获取RAW图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；以及控制器，构造为使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一RAW图像的所述RAW图像，基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一RAW图像的缺陷像素，并且创建缺陷位置数据，使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二RAW图像的所述RAW图像，以及基于所述缺陷位置数据校正所述第二RAW图像的亮度值。
【专利说明】信息处理设备、信息处理方法以及信息处理程序
【技术领域】
[0001]本公开涉及一种信息处理设备，其被构造为高速地校正包括图像传感器的缺陷像素的异常亮度值的RAW (原生)图像。本公开还涉及一种信息处理方法以及信息处理程序。
【背景技术】
[0002]包括缺陷像素的图像传感器拍摄作为RAM图像的图像。通常，中值滤波器(medianfilter)用于消除RAM图像的异常亮度值(例如，参见日本专利申请特开(Laid-open)号H09-270962)。中值滤波器的计算包括循环处理(loop processing)中的多个条件分支处理(conditional branching processing)。通常处理速度很慢。
[0003]而且，最近已知称为GPGPU (通用计算图形处理器)的【技术领域】。根据GPGPU，用于图形渲染(rendering)的GPU (图形处理单元)安装于计算机器中，并且GPU不仅用于渲染还用于其它数值计算。
[0004]GPU成本低，易于访问并且能够实现高速计算。由于这些，可以低成本地开发包括GPU的编辑系统。GPU处理图像的特殊效果。
[0005]然而，即使仅仅创建和执行用于GPU的程序，也并不意味着容易实现高速计算。在开发程序中，必须设计图像处理算法，并且设计如何安装程序。结果，可实时处理大尺寸图像，并且可实时实现计算量大的图像处理。
[0006]最近，公开了一些技术，其设计使用GPU的高速计算。
[0007]例如，日本专利申请特开(Laid-open)号2010-130696公开了以下技术。S卩，当解码视频信号时，GPU执行一些处理步骤并且CPU执行其它的处理步骤。结果，平衡了 GPU的工作量和CPU的工作量。根据该公开，可有效实现以下模块。即，CPU和GPU之间的数据通信被最小化，平衡了 GPU的工作量和CPU的工作量，并且GPU卸下CPU的工作量。
【发明内容】
[0008]以前，从算法处理的特性的角度，GPGPU不能执行中值滤波器的算法处理。由于此，GPGPU不能执行计算，并且因此不能高速校正RAW图像的缺陷像素值。
[0009]考虑以上所提及的环境，期望提供一种信息处理设备、一种信息处理方法以及一种信息处理程序，其能够高速校正RAW图像的缺陷像素值。
[0010]( I)根据本技术的实施例，提供一种信息处理设备，包括:图像获取部分，构造为获取RAW图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；以及控制器，构造为使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像，基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一 RAW图像的缺陷像素，并且创建缺陷位置数据，使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像，以及基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
[0011]通常，中值滤波器执行缺陷像素值校正处理作为处理系列。根据本技术，缺陷像素值校正处理分为两个处理。一个处理直到缺陷像素被确定。另一处理在确定缺陷像素之后并且直到实际校正了亮度值。而且，拍摄图像的处理分为预备拍摄和实际拍摄。结果，对于每个处理可优化通过控制器执行的处理方法。可高速校正缺陷像素的亮度值。
[0012](2)根据本技术的实施例，提供一种信息处理设备，其中控制器包括:第一算法处理器，构造为使所述成像单元预备拍摄预备拍摄对象，并且获取所述第一 RAW图像，基于目标像素值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一 RAW图像的缺陷像素，并且创建缺陷位置数据，以及使所述成像单元实际拍摄实际拍摄对象；以及第二算法处理器，构造为基于所述缺陷位置数据校正所述第二 RAW图像的亮度值，所述第二 RAW图像由所述实际拍摄获得。
[0013]根据本技术，所述控制器包括两个算法处理器。由于此，可对于直到缺陷像素被确定的处理优化一个算法处理器。可对于确定缺陷像素之后且直到实际了校正亮度值的处理优化另一算法处理器。结果，可较高速度地校正缺陷像素的亮度值。
[0014](3)根据本技术的实施例，提供一种信息处理设备，其中所述第二算法处理器可构造为对每个像素颜色，计算围绕缺陷位置的邻近像素的亮度值的平均，以及用平均值校正所述缺陷位置的亮度值。
[0015]所述中值滤波器获取所述中间值以校正缺陷像素的亮度值。可选择的，本技术使用围绕缺陷位置的邻近像素的亮度值的平均值。由于此，不是必须将多个计算目标像素的亮度值排序并计算中间值从而获得要校正的亮度值，如中值滤波器所做的那样。结果，可较高速度地校正缺陷像素的亮度值。
[0016](4)根据本技术的实施例，提供一种信息处理设备，其中所述第一算法处理器可被构造为设置所述成像单元中的拍摄条件，所述预备拍摄的拍摄条件比所述实际拍摄的拍摄条件更能强调所述图像传感器的每个像素的缺陷特性。
[0017]根据本技术，预备拍摄中的缺陷像素数目大于实际拍摄中的缺陷像素数目。换言之，预备拍摄采用眨眼缺陷像素一定被确定为缺陷的拍摄条件。结果，可确定地校正在实际拍摄中获取的RAW图像的缺陷像素的亮度值。
[0018](5)根据本技术的实施例，提供一种信息处理设备，其中所述第二算法处理器可为图形处理单元。
[0019]根据本技术，图形处理单元用作第二算法处理器。图形处理单元能够高速执行并行算法处理。结果，可较高速度地校正缺陷像素的亮度值。
[0020](6)根据本技术的实施例，提供一种信息处理方法，包括:通过图像获取部分获取RAff图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；通过控制器使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像；通过所述控制器，基于目标像素值和围绕所述目标像素的邻近像素的值之间的差量确定所述第一RAff图像的缺陷像素，并且创建缺陷位置数据；通过所述控制器，使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像；以及通过所述控制器，基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
[0021](7)根据本技术的实施例，提供一种信息处理程序，使计算机起以下作用:图像获取部分，构造为获取RAW图像,所述RAW图像由成像单元拍摄,所述成像单元包括图像传感器；以及控制器，构造为使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像，基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一 RAW图像的缺陷像素，并且创建缺陷位置数据，使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像，以及基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
[0022]如以上所描述的，根据本技术，能高速校正RAW图像的缺陷像素值。
[0023]根据以下最佳方式实施例(如附图中所例示)的详细说明，本公开的这些和其它目的、特点以及优点将变得更加清楚，。
【专利附图】
【附图说明】
[0024]图1是示出中值滤波器的基本方案的图；
[0025]图2是示出基于目标像素的亮度值和阈值之间的比较，确定是否替换目标像素的亮度值的例子的图；
[0026]图3不出测量始终缺陷(always-defective)像素和眨眼缺陷(blink-defective)像素的例子；
[0027]图4是示出拍摄条件和缺陷之间的关系的图；
[0028]图5是示出ICXD RGB阵列的例子的图；
[0029]图6是示出1(XD RGB阵列中的(九个)中值滤波红像素的图；
[0030]图7是示出ICXD RGB阵列中的(五个)中值滤波红像素的图；
[0031 ] 图8是示出1(XD RGB阵列中的绿目标像素Gl和中值滤波像素(目标像素Gl和邻近像素G2，一共五个)的图；
[0032]图9是示出1(XD RGB阵列中的绿目标像素Gl和中值滤波像素(目标像素Gl和邻近像素G1，一共九个)的图；
[0033]图10是示出1(XD RGB阵列中的绿目标像素Gl和中值滤波像素(目标像素Gl和邻近像素Gl，一共五个)的图；
[0034]图11是示出ICXD RGB阵列的例子的图；
[0035]图12是示出ICXD RGBW阵列中的(五个)中值滤波红像素的图；
[0036]图13是示出ICXD RGBW阵列中的绿目标像素和中值滤波像素(目标像素G和邻近像素G，一共三个)的图；
[0037]图14是示出ICXD RGBW阵列中的白目标像素和中值滤波像素(目标像素W和邻近像素W,—共五个)的图；
[0038]图15是示出3CXD RGB阵列的红图像传感器的阵列的例子的图；
[0039]图16是示出3CXD RGB阵列中的(九个)中值滤波红像素的图；
[0040]图17是示出3CXD RGB阵列中的(五个)中值滤波红像素的图；
[0041]图18是示出ICXD RGB阵列中的(四个)红邻近像素的图，其中获取该红邻近像素的平均以校正红缺陷像素值；
[0042]图19是示出ICXD RGB阵列中校正红和蓝缺陷像素值的计算方法的例子的图；
[0043]图20是示出ICXD RGB阵列中的(四个)绿邻近像素的图，其中获取该绿邻近像素的平均以校正绿缺陷像素值；
[0044]图21是示出ICXD RGB阵列中校正绿缺陷像素值的计算方法的例子的图；[0045]图22是示出ICXD RGBW阵列中的(四个)红邻近像素的图，其中获取该红邻近像素的平均以校正红缺陷像素值；
[0046]图23是示出ICXD RGBW阵列中的(两个)绿邻近像素的图，其中获取该绿邻近像素的平均以校正绿缺陷像素值；
[0047]图24是示出ICXD RGBW阵列中的(四个)白邻近像素的图，其中获取该白邻近像素的平均以校正白缺陷像素值。
[0048]图25是示出3CXD RGB阵列或者ICXD黑白阵列中的(四个)单色邻近像素的图，其中获取该单色邻近像素的平均以校正单色缺陷像素值；
[0049]图26是示出图像获取设备100的构造的图，其中该设备包括此实施例的信息处理设备并被构造为获取荧光图像；
[0050]图27是示出本技术的信息处理设备20的硬件构造的框图；
[0051]图28是示出本技术的信息处理设备20的功能框图；以及
[0052]图29是示出缺陷像素检测和缺陷像素值校正的整个流程的流程图。
【具体实施方式】
[0053]下面，将参考附图描述本公开的实施例。
[0054]<第一实施例>
[0055]首先，将描述中值滤波器。接着，将描述相关技术的问题以及本技术的要点。进而，将描述使用本技术的环境。
[0056][中值滤波器]
[0057]图像传感器的成像区域包括像素。像素包括缺陷像素。当拍摄图像时，缺陷像素输出异常的亮度值。异常亮度值完全不同于邻近像素的亮度值。中值滤波器构造为消除这样的异常亮度值。
[0058]图1是示出中值滤波器的基本方案的图。让我们注意特定像素(矩阵Ml的中央阴影部分)，并且注意该像素的亮度值以及八个邻近像素的亮度值。首先，从矩阵Ml的左上像素依次写下亮度值。序列LI被写下。所述值从左依次为11、33、25、67、80、35、55、66和94。
[0059]接着，序列LI的亮度值从最小值依次排序(sort)。序列L2示出经排序的序列。
[0060]最后，如序列L3中所示，获得中值，即55。用55替换目标像素的值，即80。矩阵M2示出目标像素的值被替换。
[0061]以上已描述中值滤波器的基本方案。异常值完全不同于邻近像素的亮度值，并且异常值是突出值。注意，如果原样地使用中值滤波器，则非常可能不是这种异常值的亮度值也被消除。考虑到这个，实践中，采用阈值。基于阈值确定是否替换亮度值。
[0062]图2是示出基于目标像素的亮度值和阈值之间的比较，确定是否替换目标像素的亮度值的例子的图。将参照图1的例子进行说明。首先，矩阵Ml的目标像素的原始亮度值是80。而且，中间亮度值是55。这里，获取替换之前的亮度值和亮度值替换候选者之间的差。将该差与预设阈值(dth)相比较。
[0063]假设该差大于阈值(例如，dth=20)( I 80-55 I > dth)。在这种情况下，将替换目标像素的亮度值。如此，如矩阵M3中所示，用替换候选值55替换目标像素的亮度值。假设该差小于阈值(例如，dth=30)( I 80-55 I <dth)。在这种情况下，将不替换目标像素的亮度值。正如矩阵M4中所示，亮度值是原始值。
[0064]这样合适地设置阈值。结果，通过中值滤波器可仅仅校正明显异常值。
[0065][相关技术的问题和本技术的要点]
[0066]如以上所描述的，中值滤波器构造为消除图像传感器的缺陷像素的异常亮度值。然而，如以上所描述，中值滤波器的算法处理包括亮度值替换处理、条件分支处理等。条件分支处理将差与阈值比较。由于此，难于较高速度地执行算法处理。
[0067]而且，近些年，称为GPGPU (通用计算图形处理器)的硬件用于图像处理领域中，以便通过并行计算提升处理速度。GPGPU能够并行执行简单计算，并且能够高速处理简单计算。然而，GPGPU难以执行例如值替换的循环处理，并且难以执行例如较大和较小值的比较的条件分支处理。由于此，即使GPGPU执行中值滤波处理，GPGPU也不能很大地提升中值滤波处理的速度，并且不能很大地接收GPGPU的优点。
[0068]考虑以上所提及的环境，根据本技术，中值滤波处理被清楚地分为两个处理，即缺陷像素检测和缺陷像素值校正。而且，优化用于执行每个处理的硬件，并且优化操作方法。
[0069]首先，将描述硬件的优化。在缺陷像素检测中，将亮度值排序，并且将目标像素的亮度值与中间亮度值相比较。处理包括多个条件分支处理。CPU适于执行该处理。
[0070]在缺陷像素值校正中，通过简单的算法处理(后面描述)校正缺陷像素的亮度值。简单算法处理的例子包括加法、乘法、阵列中的元素的无条件移动、以及移位(bit shift)。GPGPU适于执行该简单算法处理。
[0071]接着，将描述从操作的角度的优化。不需要每次获取图像时检测缺陷像素。可以在替换一系列样品载片(slide)时，每天早上一次等情况下检测缺陷像素。即，不频繁地执行缺陷像素检测处理。如此，即使花一定时间检测缺陷像素，样品的照相处理也较少受到缺陷像素检测处理的影响。
[0072]相反的，每次获取图像时都必须校正缺陷像素值。由于此，期望通过使用GPGPU加速缺陷像素值的校正，并且希望即使在连续拍摄的情况下也最小化校正处理时间。如以上所描述的，不频繁地执行占据较长时间的处理，并且频繁地执行占据较短时间的处理。结果，优化了操作方法。
[0073]以上已描述了相关技术的问题以及本技术的要点。
[0074][缺陷像素检测处理]
[0075]接着，将描述缺陷像素检测处理。在缺陷像素检测处理中,基于拍摄的RAM图像，在图像传感器的成像区域的像素之中指定缺陷像素的位置。在该处理中，需要注意眨眼缺陷(blink defect)的存在。根据眨眼缺陷，像素在一些拍摄条件下转变为缺陷像素并且输出异常亮度值，并且同样的像素在其他拍摄条件下不转变为缺陷像素并且输出正常亮度值。
[0076]图3示出测量始终缺陷(always-defective)像素和眨眼缺陷像素的例子。在这个例子中，使用24-兆像素传感器，并且以IS0400的感光度进行曝光一秒。中值滤波器用于确定阈值dth为700的缺陷。表的行显示五个不同的拍摄亮度等级，例如I (无光)到5(最売)°
[0077]而且，在每个亮度下获取三次图像(拍摄#0到2)。表的列显示缺陷位置的xy坐标。“I”意味着目标像素的亮度值和中间亮度值之间的差值大于700。“O”意味着差值小于或等于700。
[0078]如图3中所示，坐标(50，582 )的像素是始终缺陷。同时，坐标(461，1251)的像素或者坐标(518，731)的像素具有正常和异常亮度值。坐标(461，1251)的像素或者坐标(518，7 31)的像素有时被确定为缺陷像素,并且有时不被确定为缺陷像素。
[0079]检测缺陷像素的拍摄称为“预备拍摄(preliminary photographing)”。样品的拍摄将称为“实际拍摄”。在始终缺陷像素的情况下，在预备拍摄中检测到缺陷像素。在实际拍摄中获取的图像可被适当地校正。然而，在眨眼缺陷像素的情况下，在预备拍摄中检测不到缺陷像素。如果在实际拍摄时眨眼缺陷像素转变为缺陷像素，则在实际拍摄中获取的图像不能被校正。
[0080]考虑以上，根据本技术，预备拍摄的拍摄条件不同于实际拍摄的拍摄条件。特别的，在前面的条件下，比后面的条件更可能检测到缺陷像素。眨眼缺陷的问题可用这种方式处理。
[0081]图4是示出拍摄条件和缺陷之间的关系的图。在图4中，基于坐标指定每个缺陷，并且计数缺陷的数目。图像传感器使用24-兆像素图像传感器，设置温度为25° C，并且测
量缺陷。
[0082]图4的上部示出以下条件下的缺陷的数目为123。S卩，ISO感光度为400，进行曝光一秒，并且中值滤波器指定阈值为700的缺陷像素。而且，这123个缺陷之中的122个缺陷包含于通过在以下条件下指定缺陷像素获取的185个缺陷之中。S卩，ISO感光度为100，进行曝光四秒，并且阈值为700。然而，123个缺陷之中的一个缺陷不包含于这185个缺陷中。
[0083]S卩，这意味着以下事实。进行预备拍摄并且在以下条件下检测缺陷。即ISO感光度为100，进行曝光四秒，并且阈值为700。在这种情况下，在实际拍摄中，一个缺陷不被校正。
[0084]图4的下部示出所有的以上所提及的123个缺陷都包含于在以下条件下检测到的356个缺陷中。S卩，ISO感光度为100，进行曝光四秒，并且阈值为500。
[0085]合适地设置预备拍摄的拍摄条件，并且以这种方式合适地设置用于检测缺陷的中值滤波器的阈值。从而，可检测到包含在实际拍摄中产生的所有缺陷的缺陷像素。
[0086]注意，在这个例子中，在实际拍摄中产生123个缺陷。同时，校正356个缺陷。即，原始正常的233 (=356-123)个像素值被校正。然而，从有效像素比的角度，可以忽视24兆像素(即，所有像素的数目)之中的数目233。
[0087]确定地校正缺陷像素的亮度值比校正小数目的正常像素的亮度值对校正结果的影响要大。因此，确定地校正缺陷像素的亮度值很重要。
[0088]此后，将分别描述ICXD RGB阵列、ICXD RGBW阵列、3CXD RGB阵列以及IC⑶黑白(black-and-white)阵列的缺陷像素检测方法。ICCD RGB阵列、ICCD RGBW阵列、3CCD RGB阵列以及ICCD黑白阵列是图像传感器的像素阵列的例子。
[0089][缺陷像素检测方法的例子I(1(XD RGB阵列)]
[0090]这里，将描述缺陷像素检测方法，其中图像传感器的像素阵列是ICCD RGB阵列。图5是示出ICXD RGB阵列的例子的图。R表示具有红光滤波器的像素。B表示具有蓝光滤波器的像素。G表示具有绿光滤波器的像素。注意，为了使说明更容易，绿像素包括Gl和G2。[0091]图6是示出1(XD RGB阵列中的(九个)中值滤波红像素的图。基本的，中值滤波器用于检测缺陷像素。然而，不是必须使用中值滤波器。可基于其它算法检测缺陷像素。
[0092]如图6中所示，八个阴影像素和圆圈的目标像素的亮度值被中值滤波，以确定目标像素的缺陷。应注意，中值滤波具有相同颜色的像素。这同样适用于图像传感器的其它颜色和其它像素阵列。
[0093]中值滤波器的细节取决于拍摄设备而不同。从而这里将不详细描述它们。
[0094]注意，在图6中，总计九个像素被中值滤波。可选择的，可中值滤波位置如图7中所示的像素。图7是示出ICCD RGB阵列中的(五个)中值滤波红像素的图。降低了中值滤波像素的数目。结果，可减少亮度值排序处理的时间。
[0095]以上已描述了红像素被中值滤波的情况。在ICXD RGB阵列中，蓝像素阵列与红像素阵列相同。从而将不描述蓝像素。
[0096]接着，将描述中值滤波绿像素的三个例子。圆圈的像素表示目标像素的位置，并且阴影像素表示中值滤波像素。图8是示出ICCD RGB阵列中的绿目标像素Gl和中值滤波像素(目标像素Gl和邻近像素G2，一共五个)的图。
[0097]图9是示出1(XD RGB阵列中的绿目标像素Gl和中值滤波像素(目标像素Gl和邻近像素G1，一共九个)的图。图10是示出1(XD RGB阵列中的绿目标像素Gl和中值滤波像素(目标像素Gl和邻近像素Gl，一共五个)的图。
[0098]以上已描述了在图像传感器的像素阵列是ICXD RGB阵列的情况下中值滤波红、蓝和绿像素的情况。
[0099][缺陷像素检测方法的例子2(1(XD RGBW阵列)]
[0100]这里，将描述缺陷像素检测方法，其中图像传感器的图像阵列是ICXD RGBW阵列。图11是示出IC⑶RGBW阵列的例子的图。R表示具有红光滤波器的像素。B表示具有蓝光滤波器的像素。G表示具有绿光滤波器的像素。W表示具有白光滤波器的像素。
[0101]图12是示出1(XD RGBW阵列中的(五个)中值滤波红像素的图。如图12中所示，四个阴影像素和圆圈的目标像素的亮度值被中值滤波，以确定目标像素的缺陷。
[0102]以上已描述红像素被中值滤波的情况。在ICXD RGBW阵列中，蓝像素阵列与红像素阵列相同。从而将不描述蓝像素。
[0103]接着，将描述中值滤波绿像素的例子。圆圈的像素表示目标像素的位置，并且阴影像素表示中值滤波像素。图13是示出ICCD RGBW阵列中的绿目标像素和中值滤波像素(目标像素G和邻近像素G，一共三个)的图。
[0104]接着，将描述中值滤波白像素的例子。图14是示出ICXD RGBW阵列中的白目标像素和中值滤波像素(目标像素W和邻近像素W，一共五个)的图。
[0105]以上已描述了在图像传感器的像素阵列是ICXD RGBW阵列的情况下中值滤波红、蓝、绿和白像素的情况。
[0106][缺陷像素检测方法的例子3(3(XD RGB阵列)]
[0107]这里，将描述缺陷像素检测方法，其中图像传感器的像素阵列是3CCD RGB阵列。图15是示出3CXD RGB阵列的红图像传感器的阵列的例子的图。蓝图像传感器和绿图像传感器具有相同的阵列，并且通过使用相同的方法进行中值滤波。从而省略其的说明。
[0108]图16是示出3CXD RGB阵列中的(九个)中值滤波红像素的图。[0109]注意，在图16中，一共九个像素被中值滤波。可选择的，可中值滤波位置在图17中示出的像素。图17是示出3CXD RGB阵列中的(五个)中值滤波红像素的图。
[0110]以上已描述了在图像传感器的像素阵列是3CXD RGB阵列的情况下中值滤波红、蓝和绿像素的情况。
[0111][缺陷像素检测方法的例子4(ICXD黑白阵列)]
[0112]在图像传感器具有IC⑶黑白阵列的情况中，该阵列与3CXD RGB阵列的三个颜色之一的阵列相同。从而将省略对其的说明。
[0113][缺陷位置数据]
[0114]通过例如对应于图像传感器的像素布置的矩阵表达缺陷位置数据。在矩阵中，“I”表示正常像素的位置，并且“O”表示缺陷像素的位置。当GPGPU校正亮度值时，通过使用具有“O”和“ I ”元素值的矩阵，可使计算简单。
[0115]例如，图像传感器的像素阵列是ICXD RGB阵列。在这种情况中，期望创建红和蓝共用的缺陷位置矩阵以及专门用于绿的缺陷位置矩阵。原因如下。在亮度值校正步骤中，亮度值校正分为两个处理，即，红和蓝处理、以及绿处理。用于红和蓝处理的缺陷位置矩阵不同于用于绿处理的缺陷位置矩阵。
[0116]注意，还创建逻辑倒置矩阵，并且该逻辑倒置矩阵包含于缺陷位置数据中。通过将缺陷位置矩阵的“O”和“I”逻辑倒置而获取逻辑倒置矩阵。当GPGPU校正缺陷像素值时，逻辑倒置矩阵被用于计算中。
[0117][缺陷像素值校正处理]
[0118]GPGPU校正缺陷像素值，以便加速校正处理。如果通过使用中值滤波器校正缺陷像素值，则中值被用作校正值。然而，如果GPGPU用于加速算法处理，则不使用中值。可选择的，在缺陷像素附近的邻近像素的平均值用于校正缺陷像素的亮度值。
[0119]注意，从实际的角度，已确认前者的校正结果与后者的校正结果相同。原因如下。在大部分情况中，缺陷像素是单个独立像素。当缺陷像素具有突出的亮度值时，在缺陷像素附近的邻近像素具有大致相似的亮度值。由于此，当使用者用眼睛观察校正图像时，基于中间值的校正和基于平均值的校正之间没有很大的区别。
[0120]另外，加速缺陷像素值校正处理的关键是如果环境允许使用针对GPGPU优化的计算方法。针对GPGPU优化的计算方法如下。组合地使用矩阵相加、相乘、元素位置移动以及移位，以及获取缺陷像素附近的邻近像素的平均值。加速缺陷像素值校正处理的另一关键是不执行循环处理或者条件分支处理，并且如果环境允许增加并行处理。
[0121]此后，将描述以上所提及的例子(例如ICXD RGB阵列、ICXD RGBW阵列、3CXD RGB阵列以及IC⑶黑白阵列)的校正计算方法。
[0122][缺陷像素值校正方法的例子I(ICXD RGB阵列)]
[0123]这里，将描述缺陷像素值校正方法，其中图像传感器的像素阵列是ICXD RGB阵列。注意，在ICCD RGB阵列中，红阵列方法与蓝阵列方向相同，红校正方法与蓝校正方法相同，并且红校正方法与蓝校正方法可同时执行。从而在以下例子中将描述红校正方法。
[0124]图18是示出ICXD RGB阵列中的(四个)红邻近像素的图，获取该红邻近像素的平均来校正红缺陷像素值。在图18中，圆圈的像素表示缺陷像素。围绕圆圈的像素的阴影像素表示邻近像素，获取该邻近像素的平均来校正缺陷像素的亮度值。[0125]在图18中，应注意缺陷像素和平均值被获取的邻近像素的位置关系。特别的，四个邻近像素与缺陷像素分别在上、下、左和右方向上相距两个像素。图19示出了例如在以上观点的情况下适于GPGPU的计算。
[0126]图19是示出在ICXD RGB阵列中校正红和蓝缺陷像素值的计算方法的例子的图。在图19中，原始RAW图像SO的位置R和位置B被标注了圆圈。圆圈表示缺陷像素的位置。缺陷位置矩阵DM在对应于圆圈的位置处包括“ I”。
[0127]首先，创建位移(shift)RAW图像SI到S4。位移RAW图像SI的像素值与原始RAW图像SO的像素值在上方向上相差两个像素。位移RAW图像S2的像素值与原始RAW图像SO的像素值在下方向上相差两个像素。位移RAW图像S3的像素值与原始RAW图像SO的像素值在右方向上相差两个像素。位移RAW图像S4的像素值与原始RAW图像SO的像素值在左方向上相差两个像素。而且，针对每个像素，将位移RAW图像SI到S4相加。相加的结果将被临时称为“加RAW图像”。根据以上所提及的计算，对所有像素执行图18中的阴影邻近像素的亮度值的加处理，而不考虑缺陷的存在/不存在。
[0128]在以上所提及的计算中，不考虑缺陷的存在/不存在。由于此，在以下计算中，缺陷位置矩阵DM和逻辑倒置矩阵NM被用于基于缺陷的存在/不存在选择值。
[0129]基于以上所提及的计算获取加RAW图像。首先，将加RAW图像与缺陷位置矩阵DM相乘。结果，仅撷取(retrieve) 了缺陷位置的加结果。而且，将原始RAW图像SO的四倍与逻辑倒置矩阵匪相乘。结果，撷取了除缺陷位置之外的位置的亮度值的四倍。最后，获取缺陷位置的加结果与除缺陷位置之外的位置的亮度值的四倍的和。
[0130]以上已描述ICXD RGB阵列的红和蓝校正计算方法。对于GPGPU，以上所提及的计算是优化的。计算的关键是其不包括循环处理或者条件判定处理。
[0131]注意，在获取邻近像素的平均值的情况中，必须在最后将和除以相加像素的数目。当执行8位处理时,执行这个处理。在RAW图像显影(development)处理之后执行8位处理。所以这里不执行除法。
[0132]而且，在以上所提及的计算中，尽可能使用数值“4”。原因如下。通过将数字位置在进位方向上位移两个比特位而获取四倍。通过将数字位置在相反方向上位移两个比特位而获取四分之一。在这种方式中，使计算简单。
[0133]接着，将描述图8的绿校正。图20是示出ICXD RGB阵列中的(四个)绿邻近像素的图，其中获取该绿邻近像素的平均以校正绿缺陷像素值。在图20中，圆圈的像素表示缺陷像素。围绕圆圈的像素的阴影像素表示邻近像素，获取邻近像素的平均以校正缺陷像素的亮度值。而且，图21是示出ICCD RGB阵列中的校正绿缺陷像素值的计算方法的例子的图。
[0134]基本上，图8的绿校正方法与红和蓝校正方法相似。注意:平均值被获取的邻近像素分别在右上、左上、右下和左下方向上，距离具有要校正的亮度值的像素一个像素。由于此，创建以下位移RAW图像SI到S4。位移RAW图像SI与原始RAW图像SO在右上方向上相差一个像素。位移RAW图像S2与原始RAW图像SO在左上方向上相差一个像素。位移RAW图像S3与原始RAW图像SO在右下方向上相差一个像素。位移RAW图像S4与原始RAW图像SO在左下方向上相差一个像素。除了上述之外，绿校正方法与红和蓝校正方法类似。所以将省略说明。注意以上已描述图8的绿像素校正。然而，图10的绿校正方法与红和蓝校正方法类似。在这种情况中，通过使用图19的方法可以同时校正红、蓝和绿像素。
[0135][缺陷像素值校正方法的例子2(ICXD RGBW阵列)]
[0136]这里，将描述缺陷像素值校正方法，其中图像传感器的像素阵列是ICXD RGBW阵列。注意，在ICXD RGBW阵列中，红阵列方法与蓝阵列方法相同，红校正方法与蓝校正方法相同，并且红校正方法和蓝校正方法可同时执行。所以，将如以下例子描述红校正方法。
[0137]图22是示出ICXD RGBW阵列中(四个)红邻近像素的图，其中获取该红邻近像素的平均以校正红缺陷像素值。在图22中，圆圈的像素表示缺陷像素。围绕圆圈的像素的阴影像素表示邻近像素，获取邻近像素的平均以校正缺陷像素的亮度值。
[0138]如图22中所示，除了以下之外，ICXD RGBW阵列的红和蓝校正与以上所提及的ICXD RGB的校正计算方法类似。创建以下位移RAW图像SI到S4。位移RAW图像SI与原始RAW图像SO在右上方向上相差两个像素。位移RAW图像S2与原始RAW图像SO在左上方向上相差两个像素。位移RAW图像S3与原始RAW图像SO在右下方向上相差两个像素。位移RAW图像S4与原始RAW图像SO在左下方向上相差两个像素。ICXD RGBW阵列的红和蓝校正与IC⑶RGB阵列的红和蓝校正类似。所以将省略说明。
[0139]图23是示出ICXD RGBW阵列的(两个)绿邻近像素的图，其中获取该绿邻近像素的平均以校正绿缺陷像素。仅有两个被获取平均值的邻近像素。如下，ICXD RGBW阵列的校正计算方法不同于ICXD RGB的上述校正计算方法。S卩，仅有两个位移RAW图像SI和S2。位移RAW图像SI与原始RAW图像SO在右上方向上相差一个像素。位移RAW图像S2与原始RAff图像SO在左下方向上相差一个像素。而且，原始RAW图像SO不是被四倍而是被两倍。
[0140]图24是示出1(XD RGBW阵列中的(四个)白邻近像素的图，其中获取白邻近像素的平均以校正白缺陷像素。创建以下位移RAW图像SI到S4。位移RAW图像SI与原始RAW图像SO在右上方向上相差一个像素。位移RAW图像S2与原始RAW图像SO在左上方向上相差一个像素。位移RAW图像S3与原始RAW图像SO在右下方向上相差一个像素。位移RAW图像S4与原始RAW图像SO在左下方向上相差一个像素。
[0141][缺陷像素值校正方法的例子3(3CXD RGB阵列和IC⑶黑白阵列)]
[0142]最后，将描述缺陷像素值校正方法的例子，其中图像传感器的像素阵列是3CCDRGB阵列或者IC⑶黑白阵列。以上已描述了基本构思。
[0143]图25是示出3CXD RGB阵列或者IC⑶黑白阵列中(四个)单色邻近像素的图，其中获取该单色邻近像素的平均以校正单色缺陷像素值。如图25所示，创建以下位移RAW图像SI到S4。位移图像SI与原始RAW图像SO在上方向上相差一个像素。位移RAW图像S2与原始RAW图像SO在下方向上相差一个像素。位移RAW图像S3与原始RAW图像SO在右方向上相差一个像素。位移RAW图像S4与原始RAW图像SO在左方向上相差一个像素。
[0144][图像获取设备的构造]
[0145]接着，将描述信息处理设备的构造。信息处理设备执行以上所提及的缺陷像素检测处理和以上所提及的缺陷像素值校正处理。图26是示出图像获取设备100的构造的图，该设备包括这个实施例的信息处理设备，并且该设备构造为获取荧光图像。注意，这里图像获取设备100的例子是荧光显微镜。可选择的，可采用明视场显微镜。
[0146]图像获取设备100包括荧光显微镜10和信息处理设备20。
[0147]突光显微镜10包括镜台(stage)ll、光学系统12、光源13、图像传感器14、光源驱动器15、镜台驱动器16和照相机控制器17。
[0148]镜台11具有表面，其上可布置作为拍摄对象的生物样品SPL。生物样品SPL的例子包括组织切片、细胞、染色体等。镜台11能够在平行于表面的方向(X轴和y轴方向)上以及在垂直于表面的方向(Z轴方向)上移动。
[0149]光学系统12布置在镜台11的上方。光学系统12包括物镜12A、成像透镜12B、二向色镜12C、发射滤光器12D以及激发滤光器12E。
[0150]在获取生物样品SPL的荧光图像的情况下，激发滤光器12E仅仅使光源13发射的光中具有激发荧光染料的激发波长的光穿过，以产生激发光。穿过激发滤光器并且进入二向色镜12C的激发光被二向色镜12C反射并被引导至物镜12A。物镜12A将激发光会聚到生物样品SPL上。接着，物镜12A和成像透镜12B将生物样品SPL的像放大预定倍数，并且在图像传感器14的成像区域中形成放大的图像。
[0151]光源13为例如灯泡(汞灯)、LED (发光二极管)等。生物样品中的荧光标签被来自光源13的激发光照射。
[0152]当生物样品SPL被激发光照射时，染色剂(stain)发射荧光。染色剂结合到生物样品SPL的每个组织。荧光通过物镜12A穿过二向色镜12C，并且通过发射滤光器12D到达成像透镜12B。
[0153]发射滤光器12D吸收光，该光已穿过激发滤光器12E并且被以上所提及的物镜12A放大。仅部分颜色光穿过发射滤光器12D。如以上所描述的，成像透镜12B放大颜色光的像，外部光从该颜色光丧失。成像透镜12B在图像传感器14上形成图像。
[0154]作为图像传感器14，使用例如CXD (电荷耦合器件)图像传感器、CMOS (互补金属氧化物半导体)图像传感器等。在这种图像传感器中，对应于所有像素的所有光接收部分能够同时被曝光。
[0155]光源驱动器15至少包括驱动电路。响应于来自信息处理设备20的光发射指令SI，驱动电路将恒定驱动电流提供到光源13A，并且使光源13A发射光。
[0156]响应于来自信息处理设备20的镜台控制信号S2，镜台驱动器16提供三个轴(x、y和z)方向上的镜台驱动电流用于驱动镜台11，并且使镜台11在三个轴方向上移动。
[0157]响应于来自信息处理设备20的曝光控制信号S3，照相机控制器17控制图像传感器14。照相机控制器17A/D (模拟到数字)转换由图像传感器14撷取的对应于像素的信号(RAW数据)。照相机控制器17将经A/D转换的信号施加到信息处理设备20。
[0158]信息处理设备20处理(图像处理，后面描述)从显微镜10的照相机控制器17提供的RAW数据。信息处理设备20存储经处理的图像。而且，信息处理设备20基于预定程序执行控制光源驱动器15、镜台驱动器16以及照相机控制器17的算法处理。
[0159][信息处理设备20的构造]
[0160]接着，将描述信息处理设备20的硬件构造。
[0161]图27是示出本技术的信息处理设备20的硬件构造的框图。
[0162]信息处理设备20包括CPU (中央处理单元)21 (控制器，第一算法处理器)、R0M (只读存储器)22、RAM (随机存取存储器)23、操作输入单元24、接口单元25、显示单元26、储存器(storage) 27、网络接口单元28、GPGPU (通用计算图形处理器)30 (控制器，第二算法处理器)、以及连接它们的总线29。CPU21执行算法控制。RAM23是CPU21的工作存储器。在操作输入单元24中输入根据使用者的操作的指令。
[0163]执行各种处理的程序被存储在R0M22中。显微镜10连接到接口单元25。网络连接到网络接口单元28。
[0164]显示单元26是液晶显示器、EL (电致发光)显示器、等离子体显示器等。储存器27是例如HDD (硬盘驱动器)的磁盘、半导体存储器、光盘等。
[0165]从存储在R0M22中的多个程序之中，CPU21在RAM23中展开对应于来自操作输入单元24的指令的程序。CPU21基于展开的程序任意地(arbitrarily)控制显示单元26和储存器27。而且，必要时，CPU21基于RAM23中开发的程序经由接口单元25控制显微镜10的各个单元。
[0166]GPGPU30能够并行执行例如RAW图像校正处理、阴影处理(shading processing)以及JPEG处理的图像处理。
[0167]CPU21和GPGPU30实现功能块(后面描述)。CPU21执行存储在R0M22、储存器27等中的程序。必要时，CPU21控制以上所提及的单元。由于此，信息处理设备20能够实现多种功能块。信息处理设备20能够使各个单元起到信息处理设备20的功能。
[0168][信息处理设备20的功能块]
[0169]图28是示出本技术的信息处理设备20的功能块图。注意，在图28中，实线箭头表示信息处理设备20中的拍摄图像数据流。而且，粗体箭头表示位置缺陷数据流。位置缺陷数据显示图像传感器14的缺陷像素的位置。
[0170]注意，在预备拍摄中，图像获取部分43、缺陷位置数据创建部分44以及缺陷位置数据储存器45以此次序运行。在实际拍摄中，图像获取部分43、缺陷位置数据储存器45、图像校正部分46、显影处理器47、阴影处理器48、颜色平衡校正部分49、伽马校正部分50、8位处理器51以及失真校正部分52以此次序运行。而且，在实际拍摄中，缝合处理器(stitching processor) 53、瓦片划分处理器(tile division processor) 54 以及 JPEG 处理器55以此次序处理图像。储存器27临时存储经处理的图像。此后，经处理的图像通过网络接口单元28上载到图像管理服务器。
[0171]如图27所示，基于以下程序，CPU21用作镜台控制器41、光源控制器42、图像获取部分43 (图像获取部分)、缺陷位置数据创建部分44、缝合处理器53以及瓦片划分处理器54。一个程序使CPU21指定图像传感器14的缺陷像素的位置。另一程序对应于创建8位JPEG彩色图像的指令。
[0172]而且，基于以下程序，GPGPU30用作图像校正部分46、显影处理器47、阴影处理器
48、颜色平衡校正部分49、伽马校正部分50、8位处理器51、失真校正部分52以及JPEG处理器55。一个程序使GPGPU30校正缺陷像素的亮度值。另一程序对应于创建8位JPEG彩色图像的指令。
[0173]而且，储存器27用作缺陷位置数据储存器45。
[0174]镜台控制器41通过将控制信号S2发送到镜台驱动器16而控制镜台驱动器16，从而移动镜台11。
[0175]光源控制器42通过将控制信号SI发送到光源驱动器15而控制光源驱动器15，从而控制光源13A。
[0176]图像获取部分43通过将信号S3发送到照相机控制器17而控制照相机控制器17，从而设置各种拍摄条件并且获得图像。经由照相机控制器17，图像获取部分43从图像传感器14获得作为RAW图像的拍摄图像。
[0177]图像传感器14在预备拍摄中获取RAW图像。缺陷位置数据创建部分44从图像获取部分43获取RAW图像。缺陷位置数据创建部分44通过使用中值滤波器确定图像传感器14的缺陷位置。缺陷位置数据创建部分44创建缺陷位置数据。缺陷位置数据储存器45存储创建的缺陷位置数据。
[0178]缺陷位置数据储存器45存储由缺陷位置数据创建部分44创建的缺陷位置数据。缺陷位置数据储存器45必要时将缺陷位置数据提供到图像校正部分46。
[0179]基于缺陷位置数据，图像校正部分46校正RAW图像中的图像缺陷。这里，从图像获取部分43接收RAW图像。从缺陷位置数据储存器45接收缺陷位置数据。通过用邻近像素的亮度值的平均替换缺陷像素的亮度值，图像校正部分46校正像素的缺陷。
[0180]显影处理器47显影(去马赛克(demosaic)) RAW图像，并且获取彩色图像。这里，图像获取部分43获取RAW图像，并且图像校正部分46校正RAW图像。
[0181]阴影处理器48将阴影处理施加到被显影处理器47显影的图像。颜色平衡校正部分49校正经阴影处理的图像的颜色平衡(白平衡)。结果，原始应为无颜色的部分被校正为无颜色。伽马校正部分50将伽马校正施加到颜色平衡被校正的图像。结果，颜色数据和信号之间的相对关系被调整，其中该信号实际输出颜色数据。
[0182]8位处理器51将经伽马校正的图像的灰度值从16位改变为8位。失真校正部分52将失真校正施加到8位图像，并且校正透镜的失真。
[0183]缝合处理器53将缝合处理施加到施加了失真校正的多个图像。缝合处理器53获取邻近图像的相对位置信息。缝合处理器52以这种方式缝合邻近图像。
[0184]瓦片划分处理器54将缝合的图像划分成瓦片，从而加速图像显示。注意，执行瓦片划分处理，以便高速显示图像数据。瓦片划分处理不总是必须的。JPEG处理器55获取分成瓦片的图像的JPEG图像。储存器27存储JPEG图像。此后，JPEG图像通过网络接口单元28上载到图像管理服务器(未示出)。使用者浏览JPEG图像。
[0185][缺陷像素检测处理以及缺陷像素值校正处理的流程]
[0186]接着，将描述缺陷像素检测和缺陷像素值校正的整个流程。图29是示出缺陷像素检测和缺陷像素值校正的整个流程的流程图。
[0187]首先，通过光源驱动器15和照相机控制器17，图像获取部分43使图像传感器14执行预备拍摄。图像传感器14在预备拍摄的拍摄条件下，进行预备拍摄。图像获取部分43获取预备拍摄中取得的RAW图像(步骤STl )。图像获取部分43将获取的RAW图像提供到缺陷位置数据创建部分44。
[0188]接着，如以上所描述的，缺陷位置数据创建部分44中值滤波从图像获取部分43获取的RAW图像。结果，缺陷位置数据创建部分44检测缺陷像素。缺陷位置数据创建部分44创建检测的缺陷像素的位置作为缺陷位置数据(步骤ST2)。缺陷位置数据包括缺陷位置矩阵DM和逻辑倒置矩阵W。缺陷位置数据创建部分44将创建的缺陷位置数据存储在缺陷位置数据储存器45中。
[0189]接着，通过光源驱动器15和照相机控制器17，图像获取部分43使图像传感器14进行实际拍摄。图像传感器14在实际拍摄的拍摄条件下进行实际拍摄。图像获取部分43获取在实际拍摄中得到的RAW图像(步骤ST3)。图像获取部分43将获取的RAW图像提供到图像校正部分46。
[0190]接着，图像校正部分46基于RAW图像和缺陷位置数据校正缺陷像素值(步骤ST4)。这里，从图像获取部分43提供RAW图像。从缺陷位置数据储存器45撷取缺陷位置数据。以上已描述了校正方法。图像校正部分46将校正的RAW图像提供到显影处理器47。
[0191]接着，显影处理器47显影所提供的RAW图像。阴影处理器48、颜色平衡校正部分
49、伽马校正部分50、8位处理器51、失真校正部分52以及缝合处理器53以此次序处理经显影的图像。而且，瓦片划分处理器54和JPEG处理器55以此次序处理经处理的图像。储存器27临时存储处理后的图像(步骤ST5)。
[0192]重复从实际拍摄(步骤ST3)到在储存器27中存储实际拍摄中获取的图像(步骤ST5)的处理，直到实际拍摄的对象失去(步骤ST6，否)。
[0193]以上已描述了缺陷像素检测和缺陷像素值校正的整个流程。
[0194][本技术的其它构造]
[0195]注意本技术可采用以下构造。
[0196](I) 一种信息处理设备,包括:
[0197]图像获取部分，构造为获取RAW图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；以及
[0198]控制器，构造为
[0199]使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像，
[0200]基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一 RAff图像的缺陷像素，并且创建缺陷位置数据，
[0201]使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像，以及
[0202]基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
[0203](2)如(I)所述的信息处理设备，其中
[0204]所述控制器包括
[0205]第一算法处理器，构造为
[0206]使所述成像单元预备拍摄预备拍摄对象，并且获取所述第一 RAW图像，
[0207]基于目标像素值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一RAff图像的缺陷像素，并且创建缺陷位置数据，以及
[0208]使所述成像单元实际拍摄实际拍摄对象，以及
[0209]第二算法处理器，构造为基于所述缺陷位置数据校正所述第二 RAW图像的亮度值，所述第二 RAW图像由所述实际拍摄获得。
[0210]( 3 )如(2 )所述的信息处理设备，其中[0211 ] 所述第二算法处理器构造为
[0212]对每个像素颜色，计算围绕缺陷位置的邻近像素的亮度值的平均，以及
[0213]用平均值校正所述缺陷位置的亮度值。
[0214](4)如(2)或(3)所述的信息处理设备，其中[0215]所述第一算法处理器构造为设置所述成像单元中的拍摄条件，所述预备拍摄的拍摄条件比所述实际拍摄的拍摄条件更能强调所述图像传感器的每个像素的缺陷特性。
[0216](5)如(2)到(4)任意一个所述的信息处理设备，其中
[0217]所述第二算法处理器是图形处理单元。
[0218](6) 一种信息处理方法,包括:
[0219]通过图像获取部分获取RAW图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；
[0220]通过控制器使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像；
[0221]通过所述控制器，基于目标像素值和围绕所述目标像素的邻近像素的值之间的差量确定所述第一 RAW图像的缺陷像素，并且创建缺陷位置数据；
[0222]通过所述控制器，使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像；以及
[0223]通过所述控制器，基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
[0224](7) 一种信息处理程序，使计算机起以下作用:
[0225]图像获取部分，构造为获取RAW图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；以及
[0226]控制器，构造为
[0227]使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像，
[0228]基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一 RAff图像的缺陷像素，并且创建缺陷位置数据，
[0229]使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像，以及
[0230]基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
[0231][补充说明]
[0232]本领域技术人员应理解依据设计需要以及其它因素可发生多种修改、组合、子组合以及变化，只要它们落入附加的权利要求或者它的等同物的范围中。
[0233]本公开包含涉及在日本优先权专利申请JP2012-157242中公开的主题，该申请于2012年7月13日提交于日本专利特许厅，通过引用将其整体内容合并于此。
【权利要求】
1.一种信息处理设备,包括: 图像获取部分，构造为获取RAW图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；以及控制器，构造为 使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像，基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一RAff图像的缺陷像素，并且创建缺陷位置数据， 使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像，以及 基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
2.如权利要求1所述的信息处理设备，其中 所述控制器包括 第一算法处理器，构造为 使所述成像单元预备拍摄预备拍摄对象，并且获取所述第一 RAW图像， 基于目标像素值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一 RAW图像的缺陷像素，并且创建缺陷位置数据，以及使所述成像单元实际拍摄实际拍摄对象，以及 第二算法处理器，构造为基于所述缺陷位置数据校正所述第二 RAW图像的亮度值，所述第二 RAW图像由所述实际拍摄获得。
3.如权利要求2所述的信息处理设备，其中 所述第二算法处理器构造为 对每个像素颜色，计算围绕缺陷位置的邻近像素的亮度值的平均，以及 用平均值校正所述缺陷位置的亮度值。
4.如权利要求3所述的信息处理设备，其中 所述第一算法处理器构造为设置所述成像单元中的拍摄条件，所述预备拍摄的拍摄条件比所述实际拍摄的拍摄条件更能强调所述图像传感器的每个像素的缺陷特性。
5.如权利要求4所述的信息处理设备，其中 所述第二算法处理器是图形处理单元。
6.—种信息处理方法,包括: 通过图像获取部分获取RAW图像,所述RAW图像由成像单元拍摄,所述成像单元包括图像传感器； 通过控制器使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像； 通过所述控制器，基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量确定所述第一 RAW图像的缺陷像素，并且创建缺陷位置数据； 通过所述控制器，使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像；以及 通过所述控制器，基于所述缺陷位置数据校正所述第二 RAW图像的亮度值。
7.一种信息处理程序，使计算机起以下作用:图像获取部分，构造为获取RAW图像，所述RAW图像由成像单元拍摄，所述成像单元包括图像传感器；以及控制器，构造为 使所述成像单元预备拍摄预备拍摄对象，并且获取作为第一 RAW图像的所述RAW图像，基于目标像素的值和围绕所述目标像素的邻近像素的值之间的差量，确定所述第一RAff图像的缺陷像素，并且创建缺陷位置数据， 使所述成像单元实际拍摄实际拍摄对象，并且获取作为第二 RAW图像的所述RAW图像，以及 基于所述缺陷位置数据校 正所述第二 RAW图像的亮度值。
【文档编号】H04N1/40GK103546661SQ201310280834
【公开日】2014年1月29日 申请日期:2013年7月5日 优先权日:2012年7月13日
【发明者】木岛公一朗 申请人:索尼公司