本发明涉及检测由摄像元件的读出电路而引起的噪声并进行校正的图像处理装置、图像处理方法和程序，其中，该摄像元件具有二维状配置的多个像素。
背景技术：
近年来，在cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)等摄像元件中，像素和从该像素读出信号的读出电路的细微化得以发展。在这种细微化中，感光度的降低和各种噪声的增加成为问题。针对感光度的降低，采用在一个读出电路中共享多个像素而视为一个共享块来读出信号的共享像素构造，削减读出电路的面积，提高各像素的开口率(受光部的比例)，由此提高感光度。
另一方面，在摄像元件产生的噪声中，存在由于暗电流而引起的暗电流散粒噪声和由于读出电路中的热噪音等而引起的随机噪声。并且，除了暗电流散粒噪声和随机噪声以外，还存在像素值始终示出异常值的噪声、以及像素值按照每次摄像而变动的闪烁缺陷噪声等。
作为检测产生这种噪声的缺陷像素的技术，求出关注像素的像素值与相同颜色的周边像素的像素值之间的差分值，使用该差分值和阈值暂时判定关注像素是否是缺陷像素后，在暂时判定为关注像素是缺陷像素的情况下，求出关注像素周边的相邻不同颜色像素间的像素值的差分值，该差分值超过阈值的相邻不同颜色像素的数量越多，则越降低表示关注像素是缺陷的可能性的缺陷状态变量，由此，高精度地检测缺陷像素(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2006-148230号公报
技术实现要素：
发明要解决的课题
但是，在上述缺陷像素中，存在由于读出电路而引起的缺陷像素。例如，在该读出电路中的浮动扩散(以下称为“fd”)中产生了缺陷的情况下，产生经由该读出电路读出的各像素的像素值一律高于周围的像素值或一律低于周围的像素值的异常共享块(以下称为“缺陷块”)。
但是，在上述专利文献1中，存在如下问题：由于参照关注像素的周边像素，因此，在缺陷块相邻的情况下、以与缺陷块相邻的形式对被摄体的边缘部分进行摄像的情况下以及在缺陷块的周围产生了缺陷像素的情况下等，无法准确地求出关注像素的像素值与周边像素的像素值的差分值，无法正确检测缺陷块。
本发明是鉴于上述情况而完成的，其目的在于，提供能够高精度地检测缺陷块并进行校正的图像处理装置、图像处理方法和程序。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：取得部，其取得由具有多个像素和多个读出电路的摄像元件生成的图像数据，该多个像素呈二维状配置，从外部接收光并生成与受光量对应的信号，以与每规定的像素数对应的方式设置该读出电路，该读出电路读出所述信号作为像素值；检测部，其根据所述取得部取得的所述图像数据，使用由共享所述读出电路的多个像素构成的共享块内的像素的像素值和所述共享块外的像素的像素值，检测所述共享块内产生的像素值的偏移成分；以及校正部，其根据所述检测部检测到的所述偏移成分，计算对所述共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述共享块内的至少一个以上的像素的像素值进行校正。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述检测部根据所述共享块内的像素的像素值与所述共享块外的和所述共享块内的像素相邻的像素的像素值之差，检测所述偏移成分。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述检测部计算所述共享块内的多个像素各自的像素值与所述共享块外的位于所述共享块内的各像素的周围的像素的像素值之差，根据计算出的差来检测所述偏移成分。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述检测部根据所述共享块内的像素的像素值与所述共享块外的位于所述共享块内的像素的周围的像素的像素值之差，检测所述偏移成分。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述检测部根据所述共享块内的像素的像素值与所述共享块外的位于所述共享块内的像素的周围的像素的校正后的像素值之差，检测所述偏移成分。
并且，本发明的图像处理装置的特征在于，在上述发明中，在所述摄像元件的受光面上配置有使相互不同的多个波段的光透射的滤色器，所述检测部根据所述共享块内的像素的像素值与所述共享块外的和所述共享块内的像素颜色相同的像素的像素值之差，检测所述偏移成分。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述检测部根据所述共享块内的像素的像素值与所述共享块外的和所述共享块内的像素颜色相同的像素的校正后的像素值之差，检测所述偏移成分。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述检测部在所述共享块内的像素为缺陷像素时、与所述共享块内的像素相邻的像素为缺陷像素时、或与所述共享块内的像素相邻的像素为由于所述读出电路而在像素值中产生噪声的缺陷块时，中止所述共享块内的像素的像素值与所述共享块外的和所述共享块内的像素相邻的像素的像素值之差的计算。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述检测部具有：偏移计算部，其根据所述取得部取得的所述图像数据，使用所述共享块内的像素的像素值和所述共享块外的像素的像素值，按照每个所述共享块计算所述偏移成分；以及缺陷块判定部，其根据所述偏移计算部计算出的所述偏移成分，判定关注的所述共享块是否是由于所述读出电路而在像素值中产生噪声的缺陷块，所述校正部针对由所述缺陷块判定部判定为所述缺陷块的所述共享块，根据所述偏移计算部计算出的所述偏移成分，计算对所述共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述共享块内的至少一个以上的像素的像素值进行校正。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述偏移计算部在计算所述偏移成分的情况下，在所述共享块内的像素为缺陷像素时、与所述共享块内的像素相邻的像素为缺陷像素时、或与所述共享块内的像素相邻的像素为所述缺陷块时，中止所述偏移成分的计算。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部使用在所述取得部取得的所述图像数据之前计算出的所述校正量，对所述共享块内的至少一个以上的像素的像素值进行校正。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部根据所述偏移成分和在所述取得部取得的所述图像数据之前的帧中计算出的所述偏移成分，计算所述校正量。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部使用在所述取得部取得的所述图像数据之前的帧中计算出的所述校正量，对所述取得部取得的所述图像数据的当前帧的所述共享块内的至少一个以上的像素的像素值进行校正。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部从所述共享块内的各像素的像素值中减去所述校正量，由此对所述共享块内的各像素的像素值进行校正。
并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部具有：亮点判定部，其根据包含所述共享块的多个像素中的2个像素的像素值之差，判定是否在所述共享块内产生了亮点；偏移计算部，其针对由所述亮点判定部判定为未产生亮点的所述共享块，计算所述偏移成分；校正量计算部，其根据所述偏移计算部计算出的所述偏移成分，计算所述校正量；以及像素值校正部，其根据所述校正量计算部计算出的所述校正量，对所述共享块内的像素的像素值进行校正。
并且，本发明的图像处理方法的特征在于，所述图像处理方法包含以下步骤：取得步骤，取得由具有多个像素和多个读出电路的摄像元件生成的图像数据，该多个像素呈二维状配置，从外部接收光并生成与受光量对应的信号，以与每规定的像素数对应的方式设置该读出电路，该读出电路读出所述信号作为像素值；检测步骤，根据所述取得步骤中取得的所述图像数据，使用由共享所述读出电路的多个像素构成的共享块内的像素的像素值和所述共享块外的像素的像素值，检测所述共享块内产生的像素值的偏移成分；以及校正步骤，根据所述检测步骤中检测到的所述偏移成分，计算对所述共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述共享块内的至少一个以上的像素的像素值进行校正。
并且，本发明的程序的特征在于，所述程序使图像处理装置执行以下步骤：取得步骤，取得由具有多个像素和多个读出电路的摄像元件生成的图像数据，该多个像素呈二维状配置，从外部接收光并生成与受光量对应的信号，以与每规定的像素数对应的方式设置该读出电路，该读出电路读出所述信号作为像素值；检测步骤，根据所述取得步骤中取得的所述图像数据，使用由共享所述读出电路的多个像素构成的共享块内的像素的像素值和所述共享块外的像素的像素值，检测所述共享块内产生的像素值的偏移成分；以及校正步骤，根据所述检测步骤中检测到的所述偏移成分，计算对所述共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述共享块内的至少一个以上的像素的像素值进行校正。
发明效果
根据本发明，发挥能够高精度地检测缺陷块并进行校正这样的效果。
附图说明
图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。
图2是示意地示出本发明的实施方式1的摄像元件的主要部分的结构的概略图。
图3是示意地示出由于本发明的实施方式1的摄像元件中的读出电路而引起的伤的产生例的图。
图4是示出本发明的实施方式1的缺陷块检测部执行的处理的概要的流程图。
图5是示出图4的偏移计算处理的概要的流程图。
图6a是示意地示出本发明的实施方式1的偏移计算部计算的偏移计算的概要的图。
图6b是示意地示出本发明的实施方式1的偏移计算部计算的偏移计算的概要的图。
图7是示出本发明的实施方式1的缺陷块校正部执行的处理的概要的流程图。
图8是示出本发明的实施方式2的偏移计算处理的概要的流程图。
图9a是示意地示出滤波处理前的各像素的像素值的图。
图9b是示意地示出滤波处理后的各像素的像素值的图。
图9c是示意地示出本发明的实施方式2的偏移计算部计算的偏移计算的概要的图。
图10是示出本发明的实施方式3的偏移计算处理的概要的流程图。
图11是示意地示出本发明的实施方式3的偏移计算部计算的偏移计算的概要的图。
图12是示意地示出本发明的实施方式4的摄像系统的结构的框图。
图13是示出本发明的实施方式4的缺陷块校正部执行的处理的概要的流程图。
图14是示出本发明的实施方式5的缺陷块校正部执行的处理的概要的流程图。
具体实施方式
下面，参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。另外，本发明不由以下说明的实施方式进行限定。进而，在附图的记载中，对相同部分标注相同标号进行说明。
(实施方式1)
〔摄像系统的结构〕
图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。图1所示的摄像系统1具有摄像装置10、图像处理装置20、显示装置30。
〔摄像装置的结构〕
首先，对摄像装置10的结构进行说明。如图1所示，摄像装置10具有光学系统101、光圈102、快门103、驱动器104、摄像元件105、模拟处理部106、a/d转换部107、操作部108、存储器接口部109、记录介质110、易失存储器111、非易失存储器112、总线113、摄像控制部114、第1外部接口部115。
光学系统101使用多个透镜构成。光学系统101例如使用对焦透镜和变焦透镜构成。
光圈102对光学系统101会聚的光的入射量进行限制，由此进行曝光的调整。光圈102在摄像控制部114的控制下，对光学系统101会聚的光的入射量进行限制。
快门103将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦面快门等构成。另外，也可以不使用快门103而使用对摄像元件105进行控制从而以电子方式对曝光量进行控制的所谓电子快门。
驱动器104在后述摄像控制部114的控制下，对光学系统101、光圈102和快门103进行驱动。例如，驱动器104使光学系统101沿着光轴o1移动，由此进行摄像装置10的变焦倍率的变更或焦点位置的调整。
摄像元件105在后述摄像控制部114的控制下，接收光学系统101会聚的光，将其转换为图像数据(电信号)进行输出。摄像元件105使用二维状配置有多个像素的cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)等构成。另外，在本实施方式1中，另外配置能够以分时方式照射不同彩色光的光源，在摄像元件105中，不配置滤波器，使用一边变更要照射的颜色一边依次取入的图像数据生成彩色图像数据(面顺次方式)。并且，也可以在摄像元件105的各像素的前表面配置透射相互不同的波段的光的拜耳排列的rgb滤波器。进而，摄像元件105不限于拜耳排列，当然也可以是例如fovion这样的层叠型的形式。并且，所使用的滤波器不限于rgb，也可以应用青色、黄色、品红等补色滤波器等任意滤波器。
这里，对摄像元件105的结构进行详细说明。图2是示意地示出摄像元件105的主要部分的结构的概略图。另外，图2所示的摄像元件105示出在多个像素中共享读出电路以通过提高像素的开口率来提高感光度的例子。另外，图2所示的摄像元件105针对水平方向(横向)上2个像素×垂直方向(纵向)上4个像素这8个像素配置一个读出电路。另外，在图2中，说明了针对水平方向(横向)上2个像素×垂直方向(纵向)上4个像素这8个像素将一个读出电路作为一个群组的例子，但是，在本实施方式1的摄像元件105上，在水平方向和垂直方向上并列配置有上述像素和读出电路。
如图2所示，摄像元件105具有：多个像素105a(光电二极管)，它们通过曝光来接收光，进行光电转换，由此产生与曝光量对应的电荷；第1开关105b，其分别设置在多个像素105a上，根据摄像控制部114的控制进行开闭；垂直转送线105c，其在垂直方向上转送从多个像素105a分别输出的信号(电荷)；fd部105d(floatingdiffusion：浮动扩散)，其蓄积从多个像素105a分别输出的信号；放大器部105e，其对从fd部105d输出的信号进行放大；第2开关105f，其根据摄像控制部114的控制进行开闭；控制线105g，其对第2开关105f进行控制；以及转送线105h，其转送由放大器部105e放大后的电信号。
这样构成的摄像元件105在读出与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值的情况下，首先，使fd部105d成为复位状态，摄像控制部114仅接通第1开关105b(1)，由此向fd部105d转送像素105a(1)中产生的电荷。然后，摄像控制部114接通第2开关105f，由此，摄像元件105通过放大器部105e对fd部105d中蓄积的电荷进行放大，作为像素值进行读出(输出)。接着，摄像元件105使fd部105d成为复位状态，摄像控制部114仅接通第1开关105b(2)，由此向fd部105d转送像素105a(2)中产生的电荷。然后，摄像控制部114接通第2开关105f，由此，摄像元件105通过放大器部105e对fd部105d中蓄积的电荷进行放大，作为像素值进行读出。摄像元件105通过依次进行这种读出动作，能够依次输出与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值。另外，在本实施方式1中，fd部105d、第2开关105f、放大器部105e和控制线105g作为从多个像素105a分别读出电荷的读出电路发挥功能。
这里，对由于摄像元件105中的读出电路而引起的伤的产生例进行说明。图3是示意地示出由于摄像元件105中的读出电路而引起的伤的产生例的图。在图3中，示出针对图2所示的横向上2个像素×纵向上4个像素这8个像素利用一个读出电路读出信号的共享像素的情况。并且，在图3中，由细线l1形成的正方形p1表示各像素，该白色的正方形p1表示正常像素，黑色的正方形p2表示缺陷像素(像素值始终高于正常像素的白伤或像素值始终低于正常像素的黑伤)。进而，在图3中，粗线l2的框g1表示输出被分类为相同像素值群组(共享块)的像素值的像素，施加了斜线的像素p4的群组g2表示由于基于读出电路的伤而产生噪声的缺陷块。即，缺陷块是在读出电路中产生了缺陷的情况下、经由该读出电路读出的各像素的像素值一律高于周围的像素值或一律低于周围的像素值的异常共享块。如图3所示，在现有方法中，在参照关注像素的周边像素的情况下，在以与缺陷块相邻的形式对被摄体的边缘部分进行了摄像时、缺陷块相邻时、以及在缺陷块的周围产生了缺陷像素时等，无法准确地求出关注像素的像素值与周边像素的像素值的差分值，无法正确检测和校正缺陷块。
返回图1，继续进行摄像装置10的结构的说明。
模拟处理部106对从摄像元件105输入的模拟信号实施规定的模拟处理，将其输出到a/d转换部107。具体而言，模拟处理部106对从摄像元件105输入的模拟信号进行噪声降低处理和增益放大处理等。例如，模拟处理部106在针对模拟信号降低了复位噪声等之后进行波形整形，进而进行增益放大以成为目标明亮度。
a/d转换部107对从模拟处理部106输入的模拟信号进行a/d转换，由此生成数字的图像数据(以下称为“raw图像数据”)，经由总线113输出到易失存储器111。另外，a/d转换部107也可以直接对后述摄像装置10的各部输出raw图像数据。另外，也可以在摄像元件105中设置上述模拟处理部106和a/d转换部107，摄像元件105直接输出数字的raw图像数据。
操作部108给出摄像装置10的各种指示。具体而言，操作部108具有将摄像装置10的电源状态切换为接通状态或断开状态的电源开关、给出静态图像拍摄指示的释放开关、切换摄像装置10的各种设定的操作开关和给出动态图像拍摄指示的动态图像开关等。
记录介质110使用从摄像装置10的外部安装的存储卡构成，经由存储器接口部109以拆装自如的方式安装在摄像装置10上。并且，记录介质110也可以在摄像控制部114的控制下，经由存储器接口部109将程序和各种信息分别输出到非易失存储器112。并且，记录介质110记录摄像元件105在遮光状态下进行摄像而得到的多个图像数据(例如100张)。在该图像数据中对应地记录有各像素的地址和像素值。
易失存储器111暂时存储经由总线113从a/d转换部107输入的图像数据。例如，易失存储器111暂时存储经由模拟处理部106、a/d转换部107和总线113而由摄像元件105按照每1帧依次输出的图像数据。易失存储器111使用sdram(synchronousdynamicrandomaccessmemory：同步动态随机存取存储器)等构成。
非易失存储器112记录用于使摄像装置10进行动作的各种程序、程序的执行中所使用的各种数据。并且，非易失存储器112具有程序记录部112a。非易失存储器112使用闪存等构成。
总线113使用连接摄像装置10的各结构部位的传送路径等构成，将摄像装置10的内部产生的各种数据转送到摄像装置10的各结构部位。
摄像控制部114使用cpu(centralprocessingunit：中央处理单元)等构成，根据来自操作部108的指示信号和释放信号，进行针对构成摄像装置10的各部的指示和数据的转送等，对摄像装置10的动作进行总括控制。例如，摄像控制部114在从操作部108输入了第二释放信号的情况下，进行开始进行摄像装置10中的拍摄动作的控制。这里，摄像装置10中的拍摄动作是指，模拟处理部106和a/d转换部107针对摄像元件105输出的图像数据实施规定处理的动作。这样实施了处理后的图像数据在摄像控制部114的控制下，经由总线113和存储器接口部109记录在记录介质110中。
第1外部接口部115经由总线113将从外部的设备输入的信息输出到非易失存储器112或易失存储器111，另一方面，经由总线113向外部的设备输出易失存储器111存储的信息、非易失存储器112存储的信息和摄像元件105生成的图像数据。具体而言，第1外部接口部115经由总线113向图像处理装置20输出摄像元件105生成的图像数据。
〔图像处理装置的结构〕
接着，对图像处理装置20的结构进行说明。图像处理装置20具有第2外部接口部21、缺陷块检测部22、缺陷块校正部23、图像处理部24。
第2外部接口部21经由摄像装置10的第1外部接口部115取得由摄像元件105生成的图像数据，将所取得的图像数据输出到缺陷块检测部22和缺陷块校正部23。在本实施方式1中，第2外部接口部21作为取得部发挥功能。
缺陷块检测部22根据第2外部接口部21取得的图像数据，使用由共享读出电路的多个像素构成的共享块内的像素的像素值和该共享块外的像素的像素值，检测共享块内产生的像素值的偏移成分。具体而言，缺陷块检测部22根据共享块内的像素的像素值与和该共享块内的像素相邻的共享块外的像素的像素值之差，检测共享块内产生的像素值的偏移成分。缺陷块检测部22具有平均图像生成部221、偏移计算部222、缺陷块判定部223。另外，在本实施方式1中，缺陷块检测部22作为检测部发挥功能。
平均图像生成部221经由第2外部接口部21和第1外部接口部115取得记录介质110的图像数据记录部110a中记录的、摄像元件105在遮光状态下生成的多个图像数据(例如100张)，使用所取得的多个图像数据生成平均图像。
偏移计算部222使用共享块内的像素的像素值和该共享块外的像素的像素值，计算共享块内产生的像素值的偏移成分。具体而言，偏移计算部222计算从关注地址的共享块内的像素的像素值中减去与该像素相邻的关注地址的共享块外的相邻像素的像素值而得到的值，由此计算共享块内产生的像素值的偏移成分。
缺陷块判定部223根据偏移计算部222计算出的偏移成分，判定关注共享块是否是由于读出电路而在像素值中产生噪声的缺陷块。具体而言，缺陷块判定部223判定关注地址的共享块的偏移电平的绝对值是否大于规定阈值，由此判定关注地址的共享块是否是缺陷块。更具体而言，缺陷块判定部223在判定为关注地址的共享块的偏移电平的绝对值大于规定阈值的情况下，将该共享块的地址作为产生缺陷块的共享块地址输出到缺陷块校正部23。
缺陷块校正部23根据缺陷块检测部22检测到的偏移成分，计算对共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对共享块内的至少一个以上的像素的像素值进行校正。缺陷块校正部23具有偏移计算部231、像素值校正部232。另外，在本实施方式1中，缺陷块校正部23作为校正部发挥功能。并且，缺陷块校正部23也可以根据缺陷块检测部22检测到的偏移成分，计算对共享块内的全部像素的像素值进行校正的校正量，使用该校正量对共享块内的全部像素的像素值进行校正。当然，缺陷块校正部23也可以根据缺陷块检测部22检测到的偏移成分，计算对共享块内的多个像素的像素值进行校正的校正量，使用该校正量对共享块内的多个像素的像素值进行校正。
偏移计算部231使用共享块内的像素的像素值和该共享块外的像素的像素值，检测共享块内产生的偏移成分。具体而言，偏移计算部231计算从关注地址的共享块内的像素的像素值中减去与该像素相邻的关注地址的共享块外的相邻像素的像素值而得到的值。
像素值校正部232使用偏移计算部231计算出的偏移电平，从关注地址的共享块内的各像素的像素值中一律减去偏移电平，由此对像素值进行校正。
图像处理部24对由缺陷块校正部23校正了作为缺陷块的共享块内的像素的像素值后的图像数据进行规定的图像处理，将其输出到显示装置30。这里，关于规定的图像处理，进行至少包含光学黑体减法处理、白平衡调整处理、摄像元件为拜耳排列的情况下的图像数据的同时化处理、彩色矩阵运算处理、γ校正处理、颜色再现处理和边缘强调处理、噪声降低处理等的基本图像处理。并且，图像处理部24根据预先设定的各图像处理的参数，进行再现自然图像的图像处理。这里，各图像处理的参数是对比度、清晰度、彩度、白平衡和灰度的值。
〔显示装置的结构〕
接着，对显示装置30的结构进行说明。显示装置30显示与从图像处理装置20输入的图像数据对应的图像。显示装置30使用液晶或有机el(electroluminescence：电致发光)等显示面板等构成。
在具有以上结构的摄像系统1中，图像处理装置20检测由摄像元件105生成的图像数据中产生的缺陷块并进行校正，显示装置30显示与由图像处理装置20实施了图像处理后的图像数据对应的图像。
〔缺陷块检测部的处理〕
接着，对缺陷块检测部22执行的处理进行说明。图4是示出缺陷块检测部22执行的处理的概要的流程图，是缺陷块检测部22执行的主程序的流程图。
如图4所示，首先，平均图像生成部221经由第2外部接口部21和第1外部接口部115取得记录介质110的图像数据记录部110a中记录的、摄像元件105在遮光状态下生成的多个图像数据(例如100张)，使用所取得的多个图像数据生成平均图像(步骤s101)。具体而言，平均图像生成部221使用多个图像数据，按照每个像素计算像素值的平均值，生成平均图像。另外，使用平均图像的多个图像数据不需要是摄像元件105在遮光状态下生成的图像数据，例如也可以是对平面进行摄像而得到的图像数据，但是，优选是摄像元件105在遮光状态下生成的图像数据。该情况下，摄像元件105在遮光状态下生成的图像数据的随机噪声最低，优选用于检测。
接着，缺陷块检测部22对表示关注共享块的垂直方向的地址的计数器shy进行初始化(shy＝0)(步骤s102)，并且，对表示关注共享块的水平方向的地址的计数器shx进行初始化(shx＝0)(步骤s103)。这里，共享块的地址(shx,shy)将图像数据的左上方的共享块(图3所示的粗线l2所包围的框g1的左上方的共享块)作为原点(0,0)，以共享块单位进行计数。
然后，偏移计算部222执行计算关注地址(shx,shy)的共享块的偏移电平的偏移计算处理(步骤s104)。另外，偏移计算处理的详细情况在后面叙述。
接着，缺陷块判定部223判定关注地址(shx,shy)的共享块的偏移电平的绝对值是否大于规定阈值(|偏移电平|>阈值)(步骤s105)。这里，优选规定阈值设为缺陷块开始醒目的电平，优选预先通过实验等进行设定。当然，阈值例如能够根据摄像元件的温度等而适当变更。缺陷块判定部223在判定为关注地址(shx,shy)的共享块的偏移电平的绝对值大于规定阈值的情况下(步骤s105：是)，将该共享块的地址(shx,shy)作为产生缺陷块的共享块地址输出到缺陷块校正部23(步骤s106)。在步骤s106之后，缺陷块检测部22转移到后述步骤s107。与此相对，缺陷块判定部223在判定为关注地址(shx,shy)的共享块的偏移电平的绝对值不大于规定阈值的情况下(步骤s105：否)，缺陷块检测部22转移到后述步骤s107。
在步骤s107中，缺陷块检测部22使计数器shx增加1(shx＝shx+1)。
接着，在计数器shx小于水平方向共享块数(shx<水平方向块数)的情况下(步骤s108：是)，缺陷块检测部22返回上述步骤s104。与此相对，在计数器shx不小于水平方向共享块数的情况下(步骤s108：否)，缺陷块检测部22转移到后述步骤s109。
在步骤s109中，缺陷块检测部22使计数器shy增加1(shy＝shy+1)。
接着，在计数器shy小于垂直方向共享块数(shy<垂直方向块数)的情况下(步骤s110：是)，缺陷块检测部22返回上述步骤s103。与此相对，在计数器shy不小于垂直方向共享块数的情况下(步骤s110：否)，缺陷块检测部22结束本处理。
〔偏移计算处理的概要〕
接着，对图4的步骤s104中说明的偏移计算处理的详细情况进行说明。图5是示出偏移计算处理的概要的流程图。
如图5所示，首先，偏移计算部222计算从关注地址(shx,shy)的共享块内的像素的像素值中减去与该像素相邻的共享块外的相邻像素的像素值而得到的值(步骤s201)。这里，偏移计算部222在逆向求出差的情况下，在后述缺陷块校正部23进行的校正处理中进行相加即可。并且，在步骤s201的处理中，在关注地址(shx,shy)的共享块为图像端部的情况下，偏移计算部222仅针对相邻的共享块外的像素所在的组合而计算上述差。
图6a是示意地示出偏移计算部222计算的偏移计算的概要的图，是示意地示出在摄像元件105的受光面上未设置滤色器的情况下的偏移计算的概要的图。
如图6a所示，偏移计算部222在2×4的共享块的情况下，计算与相邻的共享块外的像素之间的差。具体而言，偏移计算部222从箭头a1的起点的像素pp1的像素值中减去箭头a1的目的地的像素pp2的像素值。另外，在图像端部，在箭头a1的目的地不存在像素的情况下，偏移计算部222不计算与该箭头a1对应的差。
图6b是示意地示出偏移计算部222计算的偏移计算的概要的图，是示意地示出在摄像元件105的受光面上配置了滤色器的情况下的偏移计算的概要的图。另外，在图6b中，以拜耳排列的滤色器为例进行说明，但是不限于此，补色滤波器等也进行同样的处理。
如图6b所示，偏移计算部222计算从关注地址(shx,shy)的共享块内的像素的像素值中减去与该像素相邻的共享块外的颜色相同的相邻像素的像素值而得到的值。这里，相邻不限于挨着的像素。具体而言，偏移计算部222从箭头a2的起点的像素pg1的像素值中减去箭头a2的目的地的像素pg2的像素值，从箭头a2的起点的像素pr1的像素值中减去箭头a2的目的地的像素pr2的像素值，从箭头a2的起点的像素pb1的像素中减去箭头a2的目的地的像素pb2的像素值。该情况下，在偏移计算部222中，如配置有拜耳排列中的滤波器gr的gr像素(位于配置了配置有滤波器r的r像素的行的g像素)和配置有滤波器gb的gb像素(位于配置了配置有滤波器b的b像素的行的g像素)那样，针对具有相同分光灵敏度的像素，不需要必须进行区分。例如，在图6b所示的情况下，偏移计算部222在像素pg1(gr像素)的情况下，可以与像素pg2(gr像素)的像素值或像素pg3(gr像素)的像素值进行比较来计算差，当然，也可以计算与斜向相邻的像素pg4(gb像素)的像素值之差。即，偏移计算部222根据关注地址(shx,shy)的共享块内的像素的像素值与位于关注地址(shx,shy)的共享块内的像素的周围的共享块外的像素的像素值之差，检测偏移成分。
返回图5，继续进行步骤s202以后的说明。
在步骤s202中，偏移计算部222计算偏移电平。具体而言，偏移计算部222计算上述步骤s201中计算出的差的中央值作为关注地址(shx,shy)的共享块的偏移电平。另外，除了中央值以外，偏移计算部222也可以根据统计值、例如最频值和平均值等计算为偏移电平。偏移计算部222在使用中央值的情况下，在关注地址(shx,shy)的共享块内或与该像素相邻的共享块外的像素中存在缺陷像素时，能够减少该缺陷像素的影响来计算偏移电平。
并且，在图6a和图6b中，偏移计算部222可以利用关注地址(shx,shy)的共享块内最外侧的全部像素和与它们相邻的像素的全部组合(全部箭头)计算差，也可以仅计算一部分(例如仅共享群组的四角、g像素、水平方向等)的差。即，偏移计算部222求出较多的差，由此能够进一步减少随机噪声和缺陷像素的影响。在步骤s202之后，偏移计算部222返回图4的主程序。
这样，缺陷块检测部22按照每个共享块计算偏移电平，在该计算出的偏移电平的绝对值大于规定阈值的共享块的情况下，判定为产生缺陷块，将该共享块的地址(shx,shy)作为缺陷块输出到缺陷块校正部23。
〔缺陷块校正部的处理〕
接着，对缺陷块校正部23执行的处理进行说明。图7是示出缺陷块校正部23执行的处理的概要的流程图，是缺陷块校正部23执行的主程序的流程图。
如图7所示，首先，缺陷块校正部23对表示存储有产生缺陷块的共享块的地址的数组的index的变量进行初始化(index＝0)(步骤s301)。
接着，偏移计算部231执行计算存储有产生缺陷块的共享块的地址的数组的第index个存储的地址(shx,shy)的共享块的偏移电平的偏移计算处理(步骤s302)。另外，偏移计算部231进行的偏移计算处理与上述图5中说明的偏移计算处理相同，因此省略说明。
然后，像素值校正部232使用偏移计算部231计算出的偏移电平，从关注地址(shx,shy)的共享块内的各像素的像素值中一律减去偏移电平，由此对像素值进行校正(步骤s303)。
接着，缺陷块校正部23使index增加1(index＝index+1)(步骤s304)。
然后，在index小于产生缺陷块的共享块的地址数(index<产生缺陷块的共享块的地址数)的情况下(步骤s305：是)，缺陷块校正部23返回上述步骤s302。与此相对，在index不小于产生缺陷块的共享块的地址数的情况下(步骤s305：否)，缺陷块校正部23结束本处理。
这样，缺陷块校正部23根据产生由缺陷块检测部22检测到的缺陷块的共享块的地址，对从第2外部接口部21输入的图像数据中的产生缺陷块的共享块的各像素的像素值进行校正，将其输出到图像处理部24。
根据以上说明的本发明的实施方式1，由于在缺陷块中一律被偏移，因此，通过使用多个差计算偏移电平，从而能够减少随机噪声和缺陷像素的影响而检测缺陷块，因此，能够高精度地检测缺陷块并进行校正。
另外，在本发明的实施方式1中，偏移计算部231根据从缺陷块检测部22输入的表示缺陷块的地址(shx,shy)，计算对应的共享块的偏移电平，但是，在缺陷块检测部22中的偏移计算部222中也同样计算该偏移电平。该情况下，缺陷块检测部22也可以在处于缺陷块的偏移电平不变的条件下时，将产生缺陷块的共享块的地址和检测时的偏移电平(图5的步骤s202中由偏移计算部222计算出的偏移电平)对应起来输出到缺陷块校正部23。该情况下，缺陷块校正部23的偏移计算部231可以省略图7的步骤s302的偏移计算处理。另外，根据摄像元件105的驱动电压和温度等，缺陷块检测部22检测到的偏移电平可能不同，因此，在缺陷块校正部23中，优选再次进行计算偏移电平的偏移计算处理。
(实施方式2)
接着，对本发明的实施方式2进行说明。本实施方式2具有与上述实施方式1的摄像系统1相同的结构，偏移计算处理不同。下面，对本实施方式2的偏移计算部执行的偏移计算处理进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。
〔偏移计算处理的概要〕
图8是示出本实施方式2的偏移计算处理的概要的流程图。另外，在本实施方式2中，偏移计算部222和偏移计算部231分别进行相同处理，因此，仅对偏移计算部222执行的情况下的偏移计算处理进行说明。
如图8所示，首先，偏移计算部222对图像数据的各像素的像素值执行滤波处理(步骤s401)。例如，如图9a所示，偏移计算部222生成由各像素pp12、pp21的像素值构成的图像数据，各像素pp12、pp21的像素值是对图像数据的各像素pp1的像素值执行中值滤波处理等(例如3×3)作为滤波处理后得到的(图9a→图9b)。另外，除了中值滤波处理以外，偏移计算部222也可以进行低通滤波处理和带通滤波处理等公知的滤波处理。该情况下，优选偏移计算部222进行分别在边界处折返的处理或复制处理等，以使得不会混合使用地址(shx,shy)的共享块内外的像素。
接着，偏移计算部222计算与滤波处理后的相邻像素的像素值之差(步骤s402)。具体而言，偏移计算部222使用未进行滤波处理的状态的关注地址(shx,shy)的共享块内的各像素的像素值(图9a)和上述步骤s401中执行了滤波处理后的滤波处理结果(参照图9b)，计算从关注地址(shx,shy)的共享块内的像素的像素值中减去与该像素相邻的共享块外的相邻像素的像素值而得到的值(参照图9c)。例如，如图9c所示，偏移计算部222从箭头a3的起点的像素pp1的像素值中减去箭头a3的目的地的像素pp21的像素值。
然后，偏移计算部222计算上述步骤s402中计算出的差的中央值作为关注地址(shx,shy)的共享块的偏移电平(步骤s403)。另外，除了中央值以外，偏移计算部222也可以根据统计值、例如最频值和平均值等计算为偏移电平。偏移计算部222在使用中央值的情况下，当在地址(shx,shy)的共享块内或与该像素相邻的共享块外的像素中存在缺陷像素时，能够减少该缺陷像素的影响而计算偏移电平。在步骤s403之后，偏移计算部222返回图4的主程序。
根据以上说明的本发明的实施方式2，通过使用滤波处理后的像素值，由此，在缺陷块的周围存在缺陷像素的情况下、或随机噪声较大的情况下，也能够排除它们的影响，能够高精度地检测缺陷块并进行校正。
另外，在本发明的实施方式2中，偏移计算部222使用关注地址(shx,shy)的共享块内的滤波处理前的像素值和共享块外的滤波处理后的像素值，计算与相邻像素的像素值之差，但是，也可以代替共享块内的各像素的像素值而使用滤波处理后的像素值，计算与相邻像素的像素值之差。即，偏移计算部222可以计算滤波处理后的关注地址(shx,shy)的共享块内的各像素的像素值与和该像素相邻的共享块外的像素的像素值之差作为偏移电平。
并且，在本发明的实施方式2中，以在摄像元件105的各像素的受光面上未配置滤色器的情况为例进行了说明，但是，在配置滤色器的情况下，仅使用具有与关注像素相同的分光灵敏度特性的像素(相同颜色的像素)的像素值进行滤波处理即可。
(实施方式3)
接着，对本发明的实施方式3进行说明。本实施方式3的摄像系统具有与上述实施方式1的摄像系统1相同的结构，偏移计算处理不同。下面，对本实施方式3的偏移计算部执行的偏移计算处理进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。
〔偏移计算处理的概要〕
图10是示出本实施方式3的偏移计算处理的概要的流程图。另外，在本实施方式3中，偏移计算部222和偏移计算部231分别进行相同处理，因此，仅对偏移计算部222执行的情况下的偏移计算处理进行说明。
如图10所示，首先，偏移计算部222计算相邻像素之差(步骤s501)。
图11是示意地示出偏移计算部222计算的偏移计算的概要的图，是示意地示出在摄像元件105的受光面上未设置滤色器的情况下的偏移计算的概要的图。在图11中，施加阴影的像素和涂黑的像素表示缺陷像素或缺陷块。即，像素p2表示基于白伤或黑伤的缺陷像素，像素p4表示产生由于读出电路而引起的伤的像素(缺陷块)，像素p5表示亮部阈值以上的像素，像素p6表示暗部阈值以下的像素。
如图11所示，偏移计算部222计算从关注地址(shx,shy)的共享块内的像素的像素值中减去与该像素相邻的共享块外的相邻像素的像素值而得到的值。该情况下，偏移计算部222在2个像素为缺陷像素或缺陷块时，不计算该组合的差。具体而言，如图11所示，偏移计算部222仅在箭头a10的状态下，从箭头a1的起点的像素pp1的像素值中减去箭头a10的目的地的像素pp2的像素值。
对此，如图11所示，偏移计算部222在共享块外的相邻像素为缺陷像素p2或缺陷块p4的情况下以及共享块内的像素为缺陷像素p2的情况下，不计算该组合的差。进而，偏移计算部222在关注地址(shx,shy)的共享块内的像素为缺陷像素时、与共享块内的像素相邻的像素为缺陷像素时、或与共享块内的像素相邻的像素为缺陷块时，不进行(中止)共享块内的像素的像素值与和共享块内的像素相邻的共享块外的像素的像素值之差的计算。
并且，偏移计算部222在关注地址(shx,shy)的共享块内的像素的像素值和与该像素相邻的共享块外的相邻像素的像素值分别都为暗部阈值以下或亮部阈值以上的情况下，不计算该组合的差。具体而言，如图11所示，偏移计算部222中止共享块内的像素p5的像素值与和该像素相邻的像素p5的像素值之差的计算。
返回图10，继续进行步骤s502以后的说明。
在步骤s502中，偏移计算部222计算偏移电平。具体而言，偏移计算部222计算上述步骤s501中计算出的差的中央值作为关注地址(shx,shy)的偏移电平。另外，除了中央值以外，偏移计算部222也可以根据统计值、例如最频值和平均值等计算为偏移电平。偏移计算部222在使用中央值的情况下，能够减少随机噪声和被摄体等的影响而计算偏移电平。在步骤s502之后，偏移计算部222返回图4的主程序。
根据以上说明的本发明的实施方式3，将缺陷像素和相邻的缺陷块除外，因此，能够排除它们的影响，高精度地检测缺陷块并进行校正。
并且，根据本发明的实施方式3，将暗图像和亮图像除外，因此，在由于涂黑而无法检测负方向的偏移、或者由于泛白而无法检测正方向的偏移的情况下，也能够高精度地检测缺陷块并进行校正。
(实施方式4)
接着，对本发明的实施方式4进行说明。本实施方式4的摄像系统的结构与上述实施方式1的摄像系统1的结构不同。下面，对本实施方式4的摄像系统的结构进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。
〔摄像系统的结构〕
图12是示意地示出本发明的实施方式4的摄像系统的结构的框图。图12所示的摄像系统1a代替上述实施方式1的摄像系统1的图像处理装置20而具有图像处理装置20a。
〔图像处理装置的结构〕
对图像处理装置20a的结构进行说明。图像处理装置20a代替上述实施方式1的图像处理装置20的缺陷块校正部23而具有缺陷块校正部23a。
缺陷块校正部23a具有亮点判定部231a、偏移计算部232a、校正量计算部233a、校正量存储器234a、像素值校正部235a。
亮点判定部231a在存储有产生缺陷块的共享块的地址的数组的第index个存储的位置的共享块和该共享块的周围(例如与该共享块相邻的周围1个像素)的像素内，取得上数第3个像素值即pixt和下数第3个像素值即pixb，判定从上数第3个像素值即pixt中减去下数第3个像素值即pixb而得到的像素值之差是否小于阈值。另外，除了亮点以外，亮点判定部231a也可以检测被摄体的亮度差来进行判定。由此，能够防止由于被摄体的渐变而引起的误检测。
偏移计算部232a执行计算如下的地址的共享块的偏移电平的像素值的偏移计算处理，计算偏移成分，其中，该地址是存储有产生缺陷块的共享块的地址的数组的第index个存储的地址。
校正量计算部233a从校正量存储器234a取得第index个校正量，使用所取得的校正量和由偏移计算部232a计算出的偏移电平，对校正量进行修正。
校正量存储器234a使用rom(readonlymemory)等构成，存储校正量计算部233a计算出的校正量。
像素值校正部235a从校正量存储器234a取得校正量，使用所取得的校正量，从地址内的各像素的像素值中一律减去校正量，由此对像素值进行校正。
〔缺陷块校正部的处理〕
接着，对缺陷块校正部23a执行的处理进行说明。图13是示出缺陷块校正部23a执行的处理的概要的流程图，是缺陷块校正部23a执行的主程序的流程图。
如图13所示，首先，缺陷块校正部23a对表示存储有产生缺陷块的共享块的地址的数组的index的变量进行初始化(index＝0)(步骤s601)。
接着，亮点判定部231a在存储有产生缺陷块的共享块的地址的数组的第index个存储的关注地址(shx,shy)的共享块和该共享块的周围(例如与该共享块相邻的周围1个像素、位于该共享块的周围的在偏移计算处理中使用的像素。)的像素内，取得上数第3个像素值即pixt和下数第3个像素值即pixb(步骤s602)。另外，设pixt为上数第3个，pixb为下数第3个，但是，不需要必须是第3个。在本实施方式4中，如上述图3那样在周围假设2个缺陷像素，因此设为第3个。因此，可以根据周围假设的缺陷像素的数量进行适当变更。
然后，亮点判定部231a判定从上数第3个像素值即pixt中减去下数第3个像素值即pixb而得到的像素值之差是否小于阈值(pixt-pixb<阈值)(步骤s603)。这里，关于阈值，考虑希望检测的最大的偏移电平和随机噪声，例如设为希望检测的最大的偏移电平的1.5倍。在亮点判定部231a判定为从上数第3个像素值即pixt中减去下数第3个像素值即pixb而得到的像素值之差小于阈值的情况下(步骤s603：是)，缺陷块校正部23a转移到后述步骤s604。与此相对，在亮点判定部231a判定为从上数第3个像素值即pixt中减去下数第3个像素值即pixb而得到的像素值之差不小于阈值的情况下(步骤s603：否)，缺陷块校正部23a转移到后述步骤s608。
在步骤s604中，偏移计算部232a执行计算存储有产生缺陷块的共享块的地址的数组的第index个存储的关注地址(shx,shy)的共享块的像素值的偏移电平的偏移计算处理。另外，偏移计算部232a进行的偏移计算处理与上述图5、图8和图10中的任意一方说明的偏移计算处理相同，因此省略说明。
接着，校正量计算部233a从校正量存储器234a取得第index个校正量(步骤s605)。预先利用规定值(例如0或缺陷块检测部22的检测时检测到的偏移电平)对校正量进行初始化。并且，初始化的定时是摄像系统1a的电源接通的定时，例如在通过内窥镜系统构成摄像系统1a的情况下，是内窥镜镜体(摄像装置10)与处理器(图像处理装置20a)连接的定时。
然后，校正量计算部233a使用步骤s605中取得的校正量和步骤s604中由偏移计算部232a计算出的偏移电平，对校正量进行修正(步骤s606)。例如，校正量计算部233a计算例如使用系数α进行修正后的校正量。具体而言，校正量计算部233a在0<α<1的条件下，在设步骤s605中取得的校正量为β、步骤s604中由偏移计算部232a计算出的偏移电平为γ时，通过以下的式(1)计算进行修正后的校正量ν。
ν＝α×γ+(1-α)×β…(1)
接着，校正量计算部233a在校正量存储器234a的第index个存储步骤s606中修正后的校正量(步骤s607)。
然后，像素值校正部235a从校正量存储器234a取得第index个校正量(步骤s608)。
接着，像素值校正部232使用步骤s608中取得的校正量，从关注地址(shx,shy)内的各像素的像素值中一律减去步骤s608中取得的校正量，由此对像素值进行校正(步骤s609)。
然后，缺陷块校正部23a使index增加1(index＝index+1)(步骤s610)。
然后，在index小于产生缺陷块的共享块的地址数(index<产生缺陷块的共享块的地址数)的情况下(步骤s611：是)，缺陷块校正部23a返回上述步骤s602。与此相对，在index不小于产生缺陷块的共享块的地址数的情况下(步骤s611：否)，缺陷块校正部23a结束本处理。
根据以上说明的本发明的实施方式4，针对检测时和校正时不同的偏移电平的缺陷块，能够根据图像数据高精度地计算偏移电平。
并且，根据本发明的实施方式4，在偏移电平由于被摄体和随机噪声而稍微变动的情况下，也能够计算稳定的校正量，能够高精度地检测缺陷块并进行校正。
另外，在本发明的实施方式4中，将像素值校正部235a修正后的校正量反映到紧接其后的校正中进行校正，但是，也可以延迟针对校正的反映来进行校正。具体而言，可以是校正量计算部233a进行规定帧(例如数秒的帧数)的校正量的修正和针对校正量存储器234a的存储，然后，像素值校正部235a在经过了规定帧后对像素值进行校正。并且，也可以是像素值校正部235a进行校正量的修正和针对校正量存储器234a的存储，直到校正量以某个程度收敛为止(例如校正量的变化量成为规定电平以下为止)，然后，像素值校正部235a在校正量收敛后对像素值进行校正。
(实施方式5)
接着，对本发明的实施方式5进行说明。本实施方式5的摄像系统具有与上述实施方式4的摄像系统1a相同的结构，仅缺陷块校正部执行的处理不同。下面，对本实施方式5的缺陷块校正部执行的处理进行说明。另外，对与上述实施方式4的摄像系统1a相同的结构标注相同标号并省略说明。
〔缺陷块校正部的处理〕
图14是示出本实施方式5的缺陷块校正部23a执行的处理的概要的流程图，是缺陷块校正部23a执行的主程序的流程图。在图14中，步骤s701对应于上述图13的步骤s601。
在步骤s702中，像素值校正部235a从校正量存储器234a取得第index个校正量。
接着，像素值校正部235a使用步骤s702中取得的校正量，从关注地址(shx,shy)内的各像素的像素值中一律减去步骤s702中取得的校正量，由此对像素值进行校正(步骤s703)。像素值校正部235a将校正后的像素值存储在校正量存储器234a中。
步骤s704～步骤s709分别对应于上述图13的步骤s602～步骤s607。并且，步骤s710～步骤s711分别对应于上述图13的步骤s610～步骤s611。
另外，在步骤s706中，像素值校正部235a在计算关注地址(shx,shy)的偏移的情况下，针对关注地址(shx,shy)内的各像素的像素值，使用步骤s703中校正前的像素值。此时，像素值校正部235a针对关注地址(shx,shy)外的像素的像素值，与步骤s604同样，可以使用校正前的像素值，也可以使用校正后的像素值。由此，像素值校正部235a通过使用校正后的像素值作为关注地址(shx,shy)外的像素的像素值，在连结的缺陷块(挨着的相邻的多个共享块为缺陷块的状态)的情况下，能够进行减少了相邻缺陷块中产生的缺陷的影响的偏移的检测。
根据以上说明的本发明的实施方式5，先对像素值进行校正，延迟将计算出的偏移电平反映到校正量中的定时，由此，能够并列进行校正和校正量的计算，因此，与上述实施方式4相比，能够提早校正后的图像数据的输出定时，而且，能够高精度地检测缺陷块并进行校正。
并且，根据本发明的实施方式5，先对像素值进行校正，由此，不需要存储进行偏移电平的计算和校正量的修正所需要的行的量的、校正所需要的图像数据，因此，能够削减缓存容量。其结果，在利用硬件实现缺陷块校正部23a的情况下，能够削减硬件规模。
另外，在本实施方式5中，像素值校正部235a将修正后的校正量反映到在下一个定时拍摄的图像数据(下一帧的图像数据)的校正中而进行校正，但是，也可以延迟针对校正的反映来进行校正。具体而言，可以是校正量计算部233a进行规定帧(例如数秒的帧数)的校正量的修正和针对校正量存储器234a的存储，然后，像素值校正部235a在经过了规定帧后对像素值进行校正。并且，也可以是像素值校正部235a进行校正量的修正和针对校正量存储器234a的存储，直到校正量以某个程度收敛为止(例如校正量的变化量成为规定电平以下为止)，然后，像素值校正部235a在校正量收敛后对像素值进行校正。
(其他实施方式)
在本发明的实施方式中，预先判定缺陷块，对产生缺陷块的共享块内的像素的像素值进行校正，但是，也可以针对全部共享块，使用所拍摄的图像数据实时地进行偏移计算并进行缺陷块的判定，由此，对作为缺陷块的共享块内的像素的像素值进行校正，而不用预先判定缺陷块。
并且，在本发明的实施方式中，在摄像元件的受光面上配置滤色器的情况下，采用由r滤波器、g滤波器和b滤波器构成的拜耳排列的滤色器，但是，其他滤色器也能够应用本发明。具体而言，在本发明中，在上述实施方式1～5的摄像元件的受光面上，也可以代替拜耳排列的滤色器而采用由补色的cy(青色)滤波器、r滤波器和b滤波器构成的滤色器。并且，在本发明中，也可以是对r滤波器、b滤波器和g滤波器的排列进行变更后的滤色器。进而，在本发明中，也可以是分别倾斜配置r滤波器、g滤波器和b滤波器的滤色器。进而，在本发明中，也可以是使用cy(青色)滤波器、mg(品红)滤波器和ye(黄色)滤波器的补色滤波器的滤色器。在本发明中，还可以是使用w滤波器(无色的白色滤波器)、mg滤波器和g滤波器的滤色器。
并且，在本发明的实施方式中，在一个摄像元件中设置具有相互不同的分光透射率的多个滤色器，但是，例如，2板式摄像装置或使用分别仅设置r滤波器、g滤波器、b滤波器的摄像元件的3板式摄像装置也能够应用本发明，该2板式摄像装置使用在各像素的受光面或摄像元件整面上仅设置透射绿色波长区域的g滤波器的摄像元件、以及以格子图案在各像素的受光面上交错设置透射红色或蓝色波长区域的r滤波器和b滤波器的摄像元件。该情况下，在计算一个摄像元件中的g像素的校正系数的情况下，使用与该g像素的坐标对应的另一个摄像元件的r像素或b像素的像素值，由此，能够计算本发明的校正量。
并且，在本发明的实施方式中，以由水平方向上2个像素、垂直方向上4个像素构成的共享块(2×4)为例进行了说明，但是，还能够应用于由不同像素数构成的共享块。例如，还能够应用于由水平方向上1个像素、垂直方向上4个像素构成的共享块(1×4)、以及由水平方向上4个像素、垂直方向上4个像素构成的共享块(4×4)。
并且，在本发明的实施方式中，设为在图像处理装置中包含缺陷块检测部的结构，但是，也可以在外部设置缺陷块检测部，在非易失存储器中预先记录所检测到的产生缺陷块的共享块地址，图像处理装置经由第2外部接口部从非易失存储器取得该共享块地址。即，在制造内窥镜(镜体)等的工厂内，可以使用检测缺陷块的工具和图像处理装置等来检测产生缺陷块的共享块地址，在内窥镜的非易失存储器或镜体id等中记录该共享块地址，与内窥镜连接的处理装置(处理器)从内窥镜的非易失存储器取得镜体id和产生缺陷块的共享块地址。由此，处理装置(处理器)能够根据从内窥镜取得的共享块地址对缺陷块进行校正。即，在用户使用内窥镜时仅进行校正的状况下，也能够应用本发明。
本发明不限于上述实施方式，当然能够在本发明主旨的范围内进行各种变形和应用。例如，除了本发明的说明中使用的摄像装置以外，还能够应用于便携电话或智能手机中的具有摄像元件的便携设备、摄像机、内窥镜、监视照相机、显微镜这样的通过光学设备拍摄被摄体的摄像装置等、能够对被摄体进行摄像的任意设备。
并且，本发明还能够应用于显示或记录用的图像数据以外的图像数据、例如ob区域的图像数据或光学上未设计保证的像圈外的区域的图像数据等图像数据。
并且，在本说明书中，在所述各动作流程图的说明中，为了简便而使用“首先”、“接着”、“接下来”、“然后”等对动作进行了说明，但是，并不意味着必须按照该顺序来实施动作。
并且，上述实施方式中的图像处理装置的各处理的方法、即各流程图所示的处理均能够作为能够使cpu等控制部执行的程序预先进行存储。除此以外，还能够存储在存储卡(rom卡、ram卡等)、磁盘(软盘(注册商标)、硬盘等)、光盘(cd-rom、dvd等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，cpu等控制部读入该外部存储装置的存储介质中存储的程序，通过该读入的程序对动作进行控制，由此能够执行上述处理。
并且，本发明不限于上述实施方式和变形例的原样，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述实施方式所公开的多个结构要素，能够形成各种发明。例如，可以从上述实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合各实施方式和变形例中说明的结构要素。
并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。这样，能够在不脱离发明主旨的范围内进行各种变更和应用。
标号说明
1、1a：摄像系统；10：摄像装置；20、20a：图像处理装置；21：第2外部接口部；22：缺陷块检测部；23、23a：缺陷块校正部；24：图像处理部；30：显示装置；101：光学系统；102：光圈；103：快门；104：驱动器；105：摄像元件；105a：像素；105b：第1开关；105c：垂直转送线；105d：fd部；105e：放大器部；105f：第2开关；105h：转送线；106：模拟处理部；107：a/d转换部；108：操作部；109：存储器接口部；110：记录介质；110a：图像数据记录部；111：易失存储器；112：非易失存储器；112a：程序记录部；113：总线；114：摄像控制部；115：第1外部接口部；221：平均图像生成部；222、231、232a：偏移计算部；223：缺陷块判定部；231a：亮点判定部；232、235a：像素值校正部；233a：校正量计算部；234a：校正量存储器。
权利要求书(按照条约第19条的修改)
1.(修改后)一种图像处理装置，其特征在于，所述图像处理装置具有：
取得部，其取得由摄像元件生成的图像数据，该摄像元件呈二维状配置有多个共享块，该共享块包含生成与从外部接收到的光的受光量对应的信号的相邻的多个像素，以及用于针对所述相邻的多个像素分别读出像素值作为所述信号的共同的1个读出电路；
偏移计算部，其根据所述取得部取得的所述图像数据，使用作为多个所述共享块之一的关注共享块内的像素的像素值和所述关注共享块外的像素的像素值，计算所述关注共享块内产生的像素值的偏移成分；以及
校正部，其根据所述偏移成分，计算对所述关注共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述关注共享块内的至少一个以上的像素的像素值进行校正。
2.(修改后)根据权利要求1所述的图像处理装置，其特征在于，
所述偏移计算部根据所述关注共享块内的像素的像素值与所述关注共享块外的和所述关注共享块内的像素相邻的像素的像素值之差，计算所述偏移成分。
3.(修改后)根据权利要求2所述的图像处理装置，其特征在于，
所述偏移计算部计算所述关注共享块内的多个像素各自的像素值与所述关注共享块外的位于所述关注共享块内的各像素的周围的像素的像素值之差，根据计算出的差来计算所述偏移成分。
4.(修改后)根据权利要求1所述的图像处理装置，其特征在于，
所述偏移计算部根据所述关注共享块内的像素的像素值与所述关注共享块外的位于所述关注共享块内的像素的周围的像素的像素值之差，计算所述偏移成分。
5.(修改后)根据权利要求1所述的图像处理装置，其特征在于，
所述偏移计算部根据所述关注共享块内的像素的像素值与所述关注共享块外的位于所述关注共享块内的像素的周围的像素的校正后的像素值之差，计算所述偏移成分。
6.(修改后)根据权利要求1所述的图像处理装置，其特征在于，
在所述摄像元件的受光面上配置有使相互不同的多个波段的光透射的滤色器，
所述偏移计算部根据所述关注共享块内的像素的像素值与所述关注共享块外的和所述关注共享块内的像素颜色相同的像素的像素值之差，计算所述偏移成分。
7.(修改后)根据权利要求6所述的图像处理装置，其特征在于，
所述偏移计算部根据所述关注共享块内的像素的像素值与所述关注共享块外的和所述关注共享块内的像素颜色相同的像素的校正后的像素值之差，计算所述偏移成分。
8.(修改后)根据权利要求2～7中的任意一项所述的图像处理装置，其特征在于，
所述偏移计算部在所述关注共享块内的像素为缺陷像素时、与所述关注共享块内的像素相邻的像素为缺陷像素时、或与所述关注共享块内的像素相邻的像素为由于所述读出电路而在像素值中产生噪声的缺陷块时，中止所述关注共享块内的像素的像素值与所述关注共享块外的和所述关注共享块内的像素相邻的像素的像素值之差的计算。
9.(修改后)根据权利要求1～7中的任意一项所述的图像处理装置，其特征在于，
所述图像处理装置还具有缺陷块判定部，该缺陷块判定部根据所述偏移计算部计算出的所述偏移成分，判定所述关注共享块是否是由于所述读出电路而在像素值中产生噪声的缺陷块，
所述校正部针对由所述缺陷块判定部判定为所述缺陷块的所述关注共享块，根据所述偏移计算部计算出的所述偏移成分，计算对所述关注共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述关注共享块内的至少一个以上的像素的像素值进行校正。
10.(删除)
11.(修改后)根据权利要求1～9中的任意一项所述的图像处理装置，其特征在于，
所述校正部使用在所述取得部取得的所述图像数据之前计算出的所述校正量，对所述关注共享块内的至少一个以上的像素的像素值进行校正。
12.(修改后)根据权利要求1～9中的任意一项所述的图像处理装置，其特征在于，
所述校正部根据所述偏移成分和在所述取得部取得的所述图像数据之前的帧中计算出的所述偏移成分，计算所述校正量。
13.(修改后)根据权利要求1～9中的任意一项所述的图像处理装置，其特征在于，
所述校正部使用在所述取得部取得的所述图像数据之前的帧中计算出的所述校正量，对所述取得部取得的所述图像数据的当前帧的所述关注共享块内的至少一个以上的像素的像素值进行校正。
14.(修改后)根据权利要求1～9中的任意一项所述的图像处理装置，其特征在于，
所述校正部从所述关注共享块内的各像素的像素值中减去所述校正量，由此对所述关注共享块内的各像素的像素值进行校正。
15.(修改后)根据权利要求1～9中的任意一项所述的图像处理装置，其特征在于，
所述校正部具有：
亮点判定部，其根据包含所述关注共享块的多个像素中的2个像素的像素值之差，判定是否在所述关注共享块内产生亮了点；
所述偏移计算部；
校正量计算部，其根据所述偏移计算部计算出的所述偏移成分，计算所述校正量；以及
像素值校正部，其根据所述校正量计算部计算出的所述校正量，对所述关注共享块内的像素的像素值进行校正，
所述校正部针对由所述亮点判定部判定为未产生亮点的所述关注共享块，计算所述偏移成分或所述校正量。
16.(修改后)一种图像处理方法，其特征在于，所述图像处理方法包含以下步骤：
取得步骤，取得由摄像元件生成的图像数据，该摄像元件呈二维状配置有多个共享块，该共享块包含生成与从外部接收到的光的受光量对应的信号的相邻的多个像素，以及用于针对所述相邻的多个像素分别读出像素值作为所述信号的共同的1个读出电路；
偏移计算步骤，根据所述取得步骤中取得的所述图像数据，使用作为多个所述共享块之一的关注共享块内的像素的像素值和所述关注共享块外的像素的像素值，计算所述关注共享块内产生的像素值的偏移成分；以及
校正步骤，根据所述偏移成分，计算对所述关注共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述关注共享块内的至少一个以上的像素的像素值进行校正。
17.(修改后)一种程序，其特征在于，所述程序使图像处理装置执行以下步骤：
取得步骤，取得由摄像元件生成的图像数据，该摄像元件呈二维状配置有多个共享块，该共享块包含生成与从外部接收到的光的受光量对应的信号的相邻的多个像素，以及用于针对所述相邻的多个像素分别读出像素值作为所述信号的共同的1个读出电路；
偏移计算步骤，根据所述取得步骤中取得的所述图像数据，使用作为多个所述共享块之一的关注共享块内的像素的像素值和所述关注共享块外的像素的像素值，计算所述关注共享块内产生的像素值的偏移成分；以及
校正步骤，根据所述偏移成分，计算对所述关注共享块内的至少一个以上的像素的像素值进行校正的校正量，使用该校正量对所述关注共享块内的至少一个以上的像素的像素值进行校正。
18.(追加)根据权利要求1所述的图像处理装置，其特征在于，
所述取得部取得多个所述共享块中由于所述读出电路而在像素值中产生噪声的缺陷块的位置信息，
所述偏移计算部针对所述位置信息所包含的所述共享块计算所述偏移成分，
所述校正部根据所述偏移成分，针对所述位置信息所包含的所述共享块进行校正。