摄像装置制造方法
摄像装置制造方法
【专利摘要】摄像装置具备：摄像元件，其输出通过为了拍摄被摄体而二维状排列的多个像素拍摄到的像素信号；存储器(41)，其存储存在于摄像元件中的亮点像素的位置信息；摄像元件驱动部，其使摄像元件输出像素信号；亮点校正电路(42)，其在基于从存储器(41)读出的亮点像素的位置信息而判断为从摄像元件输出的像素信号为亮点像素的信号时，根据亮点校正值来对被判断为亮点像素的像素的像素信号进行校正，该亮点校正值为根据包围被判断为亮点像素的像素的周围的八个像素的像素信号中的、除了在被判断为亮点像素的像素的一个像素之后输出的邻接像素的像素信号之外的七个像素计算出的值。
【专利说明】摄像装置
【技术领域】
[0001]本发明涉及一种进行针对拍摄被摄体的摄像元件的图像处理的摄像装置。
【背景技术】
[0002]近年来，拍摄被摄体的摄像元件广泛用于内窥镜装置等摄像装置中。
[0003]另外，摄像元件最近愈发高像素化、微细化，对于摄像元件，制造完全没有缺陷的像素或者完全不产生噪声的像素是近于不可能的。
[0004]因此，提出了多种通过图像处理来对摄像元件的与通常像素不同但是产生像素信号的缺陷像素、固定图案的噪声进行校正的技术。
[0005]例如，在作为第一以往例的日本国特开2003-116060号公报中，缺陷像素校正部在其内部具有用于记录通过事先的检查所获得的缺陷像素的位置信息的缺陷位置记录ROM,根据能够从该缺陷位置记录ROM确定的缺陷像素的周围像素求出相关性高的方向，使用属于该方向的周围像素来计算缺陷像素的校正值。
[0006]另外，在作为第二以往例的日本国特开平10-42201号公报的段落[0016]中，记载有以下内容:“主要利用之前的行上的映像信息以及之后的行上的映像信息，对于处于与缺陷像素相同行上的图像信息，除了缺陷像素以及其前后的像素的数据之外用于插值。使用之前的行上的映像信息以及之后的行上的映像信息来进行校正，因此不仅是缺陷像素，对其前后的信号也能够进行插值。”。
[0007]然而，在具有传输模拟的像素信号的线缆的摄像装置的情况下，由于线缆而像素信号的波形变得平缓，在如第一以往例那对缺陷像素的像素信号进行校正的情况下，不能充分地进行校正。
[0008]另一方面，在如第二以往例那样对缺陷像素以及缺陷像素前后的像素的像素信号进行校正的情况下，对不需要插值的缺陷像素之前的像素也进行插值，因此存在如下缺点:进行导致变更原来的图像信号的值的过校正。
[0009]因此，希望如下一种摄像装置:在由于线缆而模拟的像素信号的波形变平缓那样的情况下，也能够恰当地校正以作为缺陷像素的亮点像素为起因的像素信号。
[0010]本发明是鉴于上述的点而完成的，其目的在于提供一种能够恰当地校正亮点像素对于在摄像元件中的亮点像素之后读出的像素的影响的摄像装置。
【发明内容】
[0011]用于解决问题的方案
[0012]本发明的一种方式所涉及的摄像装置具备:摄像元件，其具有为了拍摄被摄体而二维状排列的多个像素，该摄像元件输出由该多个像素拍摄到的像素信号；亮点位置信息存储部，其存储在上述摄像元件中存在的作为缺陷像素的亮点像素的位置信息；摄像元件驱动部，其通过对上述摄像元件施加传输信号来沿着规定的方向使构成上述摄像元件的上述多个像素输出上述像素信号；以及亮点校正部，在根据从上述亮点位置信息存储部读出的上述亮点像素的位置信息判断为通过上述传输信号的施加而从上述摄像元件输出的上述像素信号为亮点像素的像素信号时，基于根据七个像素计算出的亮点校正值来对被判断为上述亮点像素的像素的像素信号进行亮点校正，该七个像素为从上述摄像元件输出的、包围被判断为上述亮点像素的像素的周围八个像素的像素信号中的、除了在被判断为上述亮点像素的像素的一个像素之后输出的邻接像素的像素信号之外的七个像素。
【专利附图】
【附图说明】
[0013]图1是表示本发明的第一实施方式的内窥镜装置的整体结构的图。
[0014]图2是表示图1中的摄像系统部分的结构的框图。
[0015]图3是表示亮点校正电路的结构的框图。
[0016]图4是表示亮点像素与其周边像素的图。
[0017]图5是表示本发明的第二实施方式中的摄像系统部分的结构的框图。
[0018]图6是用于说明第二实施方式中的振铃校正的说明图。
[0019]图7是表示振铃校正电路的结构的框图。
[0020]图8是表示在摄像元件中多个亮点像素接近存在的情况下的像素的图。
[0021]图9是表示本发明的第三实施方式中的邻接像素校正部的结构的框图。
[0022]图10是用于表示本发明的第三实施方式中的饱和粗糙(saturation zara)的插值方法的说明图。
【具体实施方式】
[0023]以下参照【专利附图】
【附图说明】本发明的实施方式。
[0024](第一实施方式)
[0025]如图1所示，构成本发明的摄像装置的第一实施方式的内窥镜装置I具有:用于进行内窥镜检查的电子内窥镜(以下简单记为内窥镜)2、向该内窥镜2提供照明光的光源装置3、作为针对内窥镜2的摄像元件等进行信号处理(图像处理)的信号处理装置(图像处理装置)的处理器4以及作为显示通过处理器4所生成的映像信号的显示装置的监视器5。
[0026]内窥镜2具有插入到患者的体腔内等的插入部6、设置在该插入部6的基端(后端)的操作部7以及从该操作部7延伸出的线缆部8。该线缆部8的端部的光源连接器9b拆装自如地连接在光源装置3，另外，信号连接器9a拆装自如地连接在处理器4。
[0027]此外，如图1所示，线缆部8的端部侧不限于分支的结构，例如也可以设为如下结构:从光源连接器经由连接线缆将其端部的信号连接器拆装自如地连接在处理器4。另外，也可以设为光源装置3与处理器4 一体化的结构。
[0028]另外，图1的处理器4还能够连接线缆长度等与图1所示的内窥镜2不同的内窥镜来使用。
[0029]在上述内窥镜2中的插入部6、操作部7、线缆部8内插通有传输照明光的导光器11，其基端到达光源连接器％。用户通过将该光源连接器9b连接到光源装置3，使由光源装置3内的光源灯12所产生的照明光被聚光透镜13聚光而入射到导光器11的基端。
[0030]该照明光通过导光器11来传输，从插入部6的前端部14的照明窗射出而对体腔内的患部等被摄体进行照明。被照明的被摄体通过安装在与照明窗邻接设置的观察窗上的物镜15而在其成像位置形成被摄体的光学像。在成像位置，作为固体摄像元件(摄像元件)而配置有电荷耦合元件(简记为CCD)16的受光面，在受光面形成有二维排列的由具备进行光电变换的功能的光电二极管构成的像素。
[0031]另外，在前端部14内配置有将(XD16、驱动未图示的CXD的定时发生器(TG)、对该(XD16进行信号成分抽取的⑶S电路17组入一个封装的片上系统部(简记为SIP) 18。另夕卜，在本实施方式所涉及的内窥镜2中，例如在信号连接器9a内配置有内置了作为模拟数字变换单元的A/D变换电路19a的模拟前端(AFE) 19。
[0032]在处理器4内设置有作为摄像元件驱动单元或者摄像元件驱动部的CXD驱动部21以及作为图像处理单元的图像处理部24，该CXD驱动部21生成驱动(XD16的CXD驱动信号(简单称为驱动信号或者进行传输的传输信号)，该图像处理部24具有作为亮点校正单元或者亮点校正部的亮点校正电路22以及进行图像处理的图像处理电路23，该亮点校正电路22对由(XD16进行拍摄并从(XD16输出的像素信号中的经过了⑶S电路17、AFE19之后的像素信号进行针对作为缺陷像素的亮点(或者亮点像素)的校正(称为亮点校正)。
[0033]作为缺陷像素的亮点或者亮点像素不具有正常的光电变换功能，对于传输信号的施加，输出信号水平高的接近白色的像素信号(白信号)。
[0034]CXD驱动部21将所生成的CXD驱动信号经由内窥镜2内的线缆25施加到(XD16，形成CCD16的受光部的像素将经过光电变换得到的信号电荷作为像素信号而输出。
[0035]在该像素信号中，作为噪声而包含CCD驱动信号中的一部分信号(复位信号)，因此CDS电路17抽取像素信号中的信号成分来输出消除了噪声的像素信号。此外，CDS电路17生成用于从CCD驱动信号中抽取信号成分的采样信号，使用该采样信号来生成消除了噪声的像素信号。
[0036]在将⑶S电路17设置在远离(XD16的位置的情况下，容易受到将(XD16的输出信号输入到CDS电路17的进行信号传输的线缆导致的信号延迟的影响，在本实施方式中，将该⑶S电路17配置在(XD16的附近，因此不受线缆导致的信号延迟的影响，因此能够高精确度地抽取(XD16的信号成分。
[0037]通过⑶S电路17消除了噪声的基带的模拟像素信号经由插入部6、操作部7、线缆部8内的形成信号传输路径或者信号传输线的线缆25而输入到AFE19。在该AFE19中，像素信号被AFE19内的放大器进行放大之后，通过作为模拟数字变换单元或者模拟数字变换部的A/D变换电路19a被从模拟的像素信号变换为数字的像素信号
[0038]此外，CXD驱动部21设置在处理器4内部，因此CXD驱动波形在传输到插入部6的前端部14时，由于内窥镜2内的线缆25而变平缓，但是在SIP18内对其波形进行校正来驱动 CCD16。
[0039]经由AFE19内的A/D变换电路19a的数字的像素信号输入到图像处理部24内的亮点校正电路22,亮点校正电路22进行针对被判断为亮点的像素、即亮点像素进行校正的图像处理。
[0040]通过亮点校正电路22进行了亮点像素的校正的像素信号通过图像处理电路23被变换为标准的映像信号并输出到监视器5。在监视器5的显示面，作为内窥镜图像而显示由(XD16拍摄到的被摄体的图像。[0041]另外，内窥镜2内置有作为亮点位置信息存储单元或者亮点位置信息存储部的存储器27，该存储器27保存有装载于该内窥镜2的CCD16中预先检查到的亮点像素的二维位置(简单记为位置)信息。例如，在图1的例子中在信号连接器9a内设置有存储器27。在该存储器27中还保存有(XD16的水平以及垂直的像素数的信息。
[0042]该存储器27在信号连接器9a连接在处理器4的情况下与亮点校正电路22电连接。亮点校正电路22从存储器27读出亮点像素的二维的位置信息，例如在设置于亮点校正电路22内的存储器41 (参照图3)中保存为亮点像素地址。因而，还能够视为存储器41也构成存储存在于(XD16中的亮点像素的二维位置的亮点位置信息存储单元。
[0043]如后述那样，亮点校正电路22使用保存在存储器41内的亮点像素地址，根据输入到该亮点校正电路22的像素信号的地址，在与亮点像素地址一致的情况下判断为亮点像素，在不一致的情况下判断为不是亮点像素的普通像素。
[0044]输入到亮点校正电路22的像素信号的定时与CXD驱动信号的定时和线缆25的长度相应地产生地偏移(从CXD驱动信号的定时延迟)，因此在存储器27中还保存有该线缆25的长度所导致的定时偏移的信息。
[0045]例如，在CXD驱动信号驱动(XD16的水平方向的第i个以及垂直方向的第j个像素P(i，j)的定时时，在由于线缆25的长度导致的延迟量而经由AFE19实际输入到亮点校正电路22的像素信号(以沿水平方向配置的像素为单位)延迟η个像素数的情况下，延迟该η个像素数的信息预先保存在存储器27。也就是说，在CCD驱动信号驱动像素P(i，j)的定时时，由于线缆25的长度导致的延迟量而使上述像素P(i，j)的像素信号实际输入到亮点校正电路22的定时偏移为P(i+n，j)。
[0046]换句话说，亮点校正电路22能够掌握从各像素实际输入到该亮点校正电路22的像素信号的定时、实际输入的像素在摄像面上的二维位置(地址)。此外，在如图1所示那样在处理器4内配置了亮点校正电路22和CXD驱动部21的情况下，能够近似为输出到CXD驱动部21的CCD驱动信号(传输信号)施加到CCD16的延迟量与CCD16的输出信号输入到亮点校正电路22的延迟量相同。
[0047]图2表示图1中的图像处理系统的概要的结构。如图2所示那样包含(XD16的SIP18经由内窥镜2内的极细的线缆(实际为同轴线缆)25与AFE19相连接。
[0048]因此，在通过线缆25传输了从SIP18输出的模拟的像素信号的情况下，由于CXD自身的水平传送效率劣化、用于抑制噪声的低通滤波器、将线缆25设为同轴线缆的情况下随着长度的增大而(内侧导体与外侧导体之间的)电容增大从而容性负载增大等，亮点像素的像素信号的波形也变平缓，亮点像素的像素信号以及在该亮点像素的像素信号之后(通过施加C⑶驱动信号而读出)输出的规定像素的像素信号受到其影响。
[0049]因而，在本实施方式中，如以下说明那样，亮点校正电路22针对亮点像素的像素信号，将亮点像素的周围像素中的、在该亮点像素的像素信号的一个像素后输出的一个像素(称为邻接像素)的像素信号排除在外来进行校正。
[0050]通过该亮点校正电路22进行了校正的像素信号通过构成图像处理电路23的OB钳位电路31而OB部的信号水平被钳位。此外，OB是光暗的简称，OB部在光学上对作为摄像元件的CCD16的摄像面的像素进行遮光，将从被遮光的像素输出的像素信号的水平用作为没有被遮光的像素的像素信号的黑电平。从该OB钳位电路31输出的像素信号输入到白平衡电路33来进行白平衡的调整。S卩，调整白平衡电路33内的放大器的增益使得拍摄了白色被摄体的情况下的R、G、B的像素信号的水平成为1:1:1。
[0051]从该白平衡电路33输出的像素信号经由进行水平轮廓、垂直轮廓的增强、伽马校正等各种的图像处理的各种图像电路34被变换为标准的映像信号并输出到监视器5。
[0052]图3示出图1以及图2的亮点校正电路22的结构。
[0053]亮点校正电路22内的存储器41保存有亮点像素地址数据以及延迟量(延迟时间)数据的信息，该亮点像素地址数据是作为从存储器27读出的亮点像素的位置信息的数据，该延迟量(延迟时间)数据是经由(XD16以及⑶S电路17输出的模拟像素信号通过线缆25进行传输并进行A/D变换之后实际输入到亮点校正电路22的延时的数据。
[0054]此外，也可以将存储器41设置在亮点校正电路22的外部。另外，也可以不设置存储器41而从存储器27读出亮点校正电路22所需的信息。
[0055]通过(XD16进行拍摄并进行了⑶S处理的像素信号通过线缆25来传输，通过AFE19内的A/D变换电路19a而成为数字的像素信号，输入到亮点校正电路22内的亮点像素校正电路42并且输入到选择器43的一个输入端sa。亮点像素校正电路42将校正了亮点像素的像素信号输出到选择器43的另一个输入端Sb。另外，存储器41的亮点地址用于控制选择器43的切换(选择)以选择并从选择器43输出输入到选择器43的两个输入端sa、sb的两个像素信号中的一方。
[0056]具体地说，在对亮点校正电路22内输入了亮点像素的情况下，控制选择器43的切换(选择)使得选择输出通过亮点像素校正电路42对亮点地址进行亮点校正所得到的像素信号Pcor，在不是输入亮点像素而是输入了普通像素Pn的情况下，控制选择器43的切换(选择)使得选择输出该普通像素Pn。
[0057]图4示出CCD16中的亮点像素Pw和其周围的八个像素，沿着作为规定方向的水平方向按每行从左侧向右侧依次读出这些像素。在本实施方式中，如以下所说明那样设置在亮点校正电路22的亮点像素校正电路42使用亮点校正值Pav来校正亮点像素Pw的像素信号，该亮点校正值Pav是根据除了亮点像素Pw之后读出的一个像素(在图4中是成为亮点像素Pw的横向右侧的邻接像素)Pwr之外的、亮点周围的七个像素的像素信号计算出的值。
[0058]输入到亮点校正电路22的通常像素Pn输入到亮点像素校正电路42并且经由选择器43输出到下级的图像处理电路23，亮点周围的八个像素中的、除了与亮点像素Pw的横向右侧邻接的邻接像素(在亮点的像素信号的一个像素之后输出的像素)Pwr之外的亮点周围的七个像素的像素信号用于校正亮点像素Pw的像素信号。而且，设置在亮点像素校正电路42内的亮点周围七个像素电路44计算上述亮点周围的七个像素的像素信号的平均值Pav作为校正亮点像素Pw的亮点校正值,将平均值Pav作为校正亮点像素Pw的像素信号Pcor而输出到选择器43。
[0059]此外，选择器43选择(切换)如上述那样输入到两个输入端sa、Sb的两个像素信号PruPcor中的一个而从一个输出端输出。也就是说，在输入了普通像素Pn的情况下，选择器43选择输出普通像素Pn的图像信号，在输入了亮点像素Pw的情况下，选择器43将亮点周围的七个像素的像素信号的平均值Pav作为校正亮点像素Pw的像素信号Pcor而输出。这样具备本发明的摄像装置的内窥镜装置I的特征在于，具备:作为摄像元件的(XD16，其具有为了拍摄被摄体而二维状排列的多个像素，该摄像元件输出由该多个像素拍摄的像素信号；作为亮点位置信息存储部的存储器27，其存储作为存在于上述摄像元件中的缺陷像素的亮点像素的(二维)位置信息；作为摄像元件驱动部的CXD驱动部21，其通过对上述摄像元件施加传输信号来沿着规定的方向使构成上述摄像元件的上述多个像素输出上述像素信号；以及作为亮点校正部的亮点校正电路22，其在根据从上述亮点位置信息存储部读出的上述亮点像素的位置信息判断为通过上述传输信号的施加而从上述摄像元件输出的上述像素信号为亮点像素的信号时，根据通过七个像素计算出的亮点校正值来对被判断为上述亮点像素的像素的像素信号进行亮点校正，该七个像素为从上述摄像元件输出的、包围被判断为上述亮点像素的像素的周围八个像素的像素信号中的、除了在被判断为上述亮点像素的像素的一个像素之后输出的邻接像素的像素信号的七个像素。
[0060]而且，本实施方式中的亮点校正电路22具有如图3所说明那样的作用。
[0061]因而，根据本实施方式的内窥镜装置1，在由于线缆25而模拟的像素信号的波形变平缓的情况下也能够恰当地校正以作为缺陷像素的亮点像素为起因的像素信号。
[0062]另外，在使用了作为所装载的摄像元件的CCD16、线缆25的长度等不同的内窥镜2的情况下，在作为装载于各内窥镜2的内窥镜信息存储单元的存储器27中保存有存在于所装载的CCD16的亮点像素Pw的位置信息等，因此能够恰当地校正以亮点像素为起因的像素信号。
[0063](0B部亮点校正)此外，对于未图示的30个像素左右的水平OB部，在处理器侧(图1的24)中由数字电路进行行钳位。为了正确地进行该行钳位,需要对成为其基础的包含亮点像素的水平OB部的数据有效地进行包含亮点像素在内的噪声消除。具体地说，使用排序滤波器来消除一个行中央十个左右像素中具有最大像素值的数个像素、具有最小像素值的数个像素，并以剩余的OB像素进行行钳位，由此能够准确地进行行钳位。
[0064](第二实施方式)
[0065]接着说明本发明的第二实施方式。在第一实施方式中，主要考虑由于线缆25而亮点像素的像素信号平缓而对平缓的情况下的亮点像素的像素信号进行校正。
[0066]在如亮点像素的像素信号那样阶梯状地变化的情况下，依赖于形成信号传输路径的线缆25的线缆长度等，有时通过线缆25传输的像素信号产生以衰减振动的方式变化的振铃。本说明书中的振铃在亮点像素阶梯状地向上凸的波形中产生的情况下，是指如以下所述那样在该亮点像素之后出现向下凸、即成为谷的波形的现象，与在通常的脉冲的上升部分和下降部分中振动波形分别产生的振铃不同。
[0067]当产生亮点像素引起的振铃(简记为亮点像素的振铃)时，对于从亮点像素起规定的像素个数(例如几个像素数)之后输出(希望进行校正)的规定的像素或者校正对象的像素的像素信号，从(亮点像素的像素信号)该像素的像素信号的原来的信号水平值(像素信号值)起使输出水平谷状地下降，由此产生显示或者视觉辨认为如黑点那样的现象(亮点像素为起因的异常像素)。
[0068]因此，在本实施方式中，在第一实施方式中还设置对亮点像素的振铃导致的异常像素进行校正的振铃校正单元，换句话说还设置通过加法运算对谷状地下降的异常像素的像素值进行校正的加法运算校正单元。图5示出本实施方式的内窥镜装置中的摄像系统部分的结构。[0069]图5所示的结构是在图2的结构中在亮点校正电路22的前级设置了作为对振铃导致的异常像素进行校正的加法运算校正单元的振铃校正电路61的结构。亮点校正电路22的结构以及作用与在第一实施方式中说明的内容相同，因此省略其说明。此外，也可以设为亮点校正电路22在其内部具备振铃校正电路61的结构。也就是说，也可以是如下结构:亮点校正单元具备作为对振铃导致的异常像素进行校正的振铃校正单元的振铃校正电路61。
[0070](振铃校正)
[0071]另外，在本实施方式中，在设置于各内窥镜2的存储器27内除了上述的亮点像素Pw的位置信息等之外,作为校正参数,还预先保存从亮点像素Pw起(数起)产生被称为暗点的异常像素的像素位置(像素数位置)的信息、异常像素的像素信号值(水平)相对于亮点像素Pw的像素信号值(水平)下降的信号值比(水平比)或者比例等信息。
[0072]例如，在从亮点像素Pw起第N个像素是异常像素或者校正对象像素的情况下，存储器27预先存储N的信息。
[0073]另外，在将亮点像素Pw的像素信号值设为Vw、异常像素Pa的以谷状下降的下降像素信号值成为Va的情况下，存储器27预先存储成为Va/(Vw-Va) =k的校正系数k的信息。
[0074]此外，在产生多个异常像素Pa的情况下，在将该异常像素设为Pa1、将谷状下降的下降像素信号值设为Vai时，构成校正信息存储单元的存储器27预先存储成为Vai/(Vw-Vai) =ki的校正系数ki的信息。此外，i为i=l,2,3,..., m, m是异常像素Pa的最大数。
[0075]而且，对异常像素Pai的像素信号值Vai加上乘以(Vw-Vai) Xki得到的校正值来校正异常像素Pai的像素信号值Vai (此外，当去掉异常像素Pai等中的i时，成为对一个异常像素Pa的校正)。
[0076]在图5所示的结构例中，示出了将存储器41设置在亮点校正电路22的外部的例子，但是也可以如上述的结构例那样设置在亮点校正电路22的内部。该存储器41读入存储器27的信息并保存在存储器41内部。振铃校正电路61在进行振铃校正的情况下，从存储器41获取该校正所需的校正参数等。此外，也可以不设置存储器41而设为从存储器27获取校正等所需的信息的结构。
[0077]图6示出亮点像素Pw的像素信号和由于该亮点像素Pw的像素信号而产生异常像素Pa或者Pai的概要的波形例子。此外，图6中的㈧和⑶例如示出线缆长度不同的情况。除了线缆长度之外，线缆的种类、线缆的端部等也影响振铃的产生。
[0078]在(XD16中产生的亮点像素Pw的像素信号经由⑶S电路17以脉冲状输出。在图6中不出CDS输出波形。此外，图6中的横轴表不时间、纵轴表不像素信号值(水平)。但是，在AFE输出波形中，在横轴上以亮点像素Pw的像素位置为基准以像素单位示出后续的像素的位置。
[0079]上述⑶S电路17的输出信号通过线缆25来传输，但是由于振铃使亮点像素Pw的像素信号如图6的线缆传输后的波形所示那样，该像素信号自身从阶梯状的脉冲波形变形为山状(平缓的)的凸部的波形，并且在该亮点像素Pw之后输出的像素部分侧中变形为谷状的凹部的波形。也就是说，由于亮点像素Pw，该亮点像素Pw后续的像素的像素信号值谷状变小。[0080]这种波形的像素信号在AFE19中被进行A/D变换而变换为数字的像素信号，如图6的AFE后的波形所示那样成为阶梯状的波形。该AFE后的波形的像素信号经由处理器4内的短的线缆输入到作为对亮点引起的振铃进行校正的加法运算校正单元的振铃校正电路61。也就是说，AFE输出波形几乎成为向振铃校正电路61输入的输入波形。此外，由处理器4内的短的线缆导致的延时通常能够忽略。
[0081]在图6的(A)的AFE后的波形中，在从亮点像素Pw起第二个像素中产生了成为谷状凹部的异常像素Pa。
[0082]另一方面，在图6的(B)的AFE后的波形中，在从亮点像素Pw起第二个像素和第三个像素中产生了成为谷状凹部的异常像素Pal、Pa2。
[0083](振铃校正)
[0084]为了校正这种异常像素Pa (Pal、Pa2等)，在本实施方式中，构成加法运算校正单元的振铃校正电路61对所输入的数字的像素信号进行针对异常像素Pai (此外，省略Pa的并行符号，但是设为Pai还包含Pa的情况)的校正。通过该振铃校正电路61进行了校正的像素信号输入到亮点校正电路22，如上述那样进行对亮点像素Pw的校正后输出到图像处理电路23。
[0085]图7示出作为加法运算校正单元的振铃校正电路61的详细结构。该振铃校正电路61具有乘法运算电路65以及校正值保持电路66，该乘法运算电路65根据所输入的像素信号，使用存储器41的亮点像素Pw的位置信息在输入亮点像素Pw的像素信号值Vw的定时将亮点像素Pw的像素信号值Vw与校正系数ki相乘，该校正值保持电路66保持(存储)相乘得到的校正值VwXki。由该乘法运算电路65和校正值保持电路66来构成校正值计算保持电路67，该校正值计算保持电路67计算并保持对亮点像素Pw的像素信号值Vw导致的异常像素Pai的像素信号值Vai进行校正的校正值。
[0086](振铃校正)
[0087]另外，该振铃校正电路61具有加法运算校正电路68，该加法运算校正电路68对在亮点像素Pw之后输入的异常像素Pai进行对该像素信号值Vai与通过上述校正值保持电路66所保持的校正值进行加法运算的校正，并经由选择器69来输出到亮点校正电路22。此外，选择器69通过进行振铃校正的启动/关闭(0N/0FF)的开关70，在关闭的情况下选择亮点像素Pw的像素信号值Vw，在启动的情况下选择通过加法运算校正电路68加上校正值所得到的像素信号并输出到亮点校正电路22。
[0088]说明这种结构的本实施方式中的振铃校正电路61的动作。
[0089]如上述那样，对振铃校正电路61输入图6所说明的AFE输出波形的像素信号。
[0090]振铃校正电路61内的乘法运算电路65在如图6的最下段所示那样输入了亮点像素Pw的定时将该像素信号值Vw与校正系数ki相乘而计算校正值VwX ki,校正值保持电路66保持该校正值Vw Xki。
[0091](振铃校正)
[0092]此外，该亮点像素Pw的像素信号经由振铃校正电路61输入到亮点校正电路22。
[0093]另外，作为加法运算校正单元的加法运算校正电路68在如图6的(A)所示那样输入在亮点像素Pw后输入的异常像素Pa的像素信号值Va时，对该像素信号值Va加上通过校正值保持电路66保持的校正值Vw Xki后输出。也就是说，加法运算校正电路68在被输入异常像素Pa的像素信号值Va时，校正为经校正的像素信号值Va+VwXki后输出到亮点校正电路22。
[0094]另外，在如图6的⑶所示那样产生多个异常像素Pal、Pa2的情况下，对各异常像素Pal、Pa2使用校正系数kl、k2来进行与上述校正相同的校正。
[0095]如上所述，说明了除了相对一个亮点像素在一个像素后输出的邻接像素(水平邻接像素)的像素信号之外而计算上述亮点周围的七个像素的像素信号的平均值Pav作为亮点校正值的情形，但是在CCD中根据传输方式的原理而具有水平方向关联性，因此也可以考虑该亮点像素的像素信号的一个像素之前输出的一个像素对于亮点像素的影响。
[0096]例如，可举出计算除了在亮点像素的水平方向(前后)邻接的两个邻接像素之外的亮点周围的六个像素的像素信号的平均值。并且，还可举出分别准备校正系数来校正两个邻接像素。
[0097](振铃校正)
[0098]这样，从振铃校正电路61向亮点校正电路22侧输出对如图6的最下段那样的异常像素Pa、Pai (i=l,2)的像素信号值Vai进行校正得到的像素信号,亮点校正电路22如上述那样对亮点像素Pw进行校正。
[0099]根据具有这种结构以及作用的本实施方式，在如第一实施方式那样由于线缆而模拟的像素信号的波形变平缓的情况下也能够恰当地校正以作为缺陷像素的亮点像素为起因的像素信号，并且在由于亮点引起的振铃而在其周围产生了使像素信号值谷状地下降的异常像素Pa的情况下，也能够将该异常像素Pa的像素信号值校正为恰当的像素信号值。因而，根据本实施方式，在由于振铃而产生了画质黑点状劣化的现象的情况下，也能够减轻乃至消除该画质的劣化。
[0100]此外，在上述的第二实施方式中，说明了在通过振铃校正电路61进行振铃校正之后通过亮点校正电路22进行亮点校正的结构，但是也可以在通过亮点校正电路22进行亮点校正之后通过振铃校正电路61进行振铃校正。
[0101]在这种情况下，在通过亮点校正电路22进行了亮点校正的情况下，保持进行亮点校正之前的亮点像素Pw的像素信号值Vw,由振铃校正电路61使用该像素信号值Vw来进行振铃校正。
[0102]在亮点像素Pw相对于普通像素Pn很少产生那样的情况下，在亮点校正电路22之前进行振铃校正的情况与之后进行振铃校正的情况的作用效果几乎相同。
[0103](亮点校正和振铃校正的电路结构)
[0104]但是，如以下说明的那样，可能存在亮点像素Pw邻近(接近)产生那样的情况。当考虑这种情况时，通过如以下说明的那样在进行振铃校正之后进行亮点校正，能够以不复杂化的处理方法来简单地进行校正。
[0105]图8示出(XD16中的多个亮点像素Pwl、Pw2接近存在的部分。在如图8那样多个亮点像素Pwl、Pw2在水平方向上接近存在的情况下，成为振铃的影响和线缆25的平缓的影响混合存在的状态，因此例如在先通过亮点校正电路22进行亮点校正的情况下，导致校正振铃的影响时所需的亮点像素Pw的像素信号值被校正等，校正该影响的处理方法变得复杂化而难以简单地进行校正。
[0106]与此相对，当如上述那样先通过振铃校正电路61来消除(或者减轻)振铃的影响时，剩余的几乎都起因于亮点像素Pw和线缆传输的平缓。因此，对剩余的亮点像素Pw和线缆传输的平缓的影响，只要如第一实施方式那样进行校正来消除它即可，能够不使处理变得复杂化而简单地进行校正。
[0107](振铃校正)
[0108](第三实施方式)
[0109]图9示出第三实施方式中的邻接像素校正电路71的结构。本实施方式例如是在第二实施方式中还设置了作为对与亮点像素Pw邻接的邻接像素Pwr进行校正的邻接像素校正单元的邻接像素校正电路71。
[0110]从AFE19输出的像素信号输入到构成邻接像素校正电路71的例如三行存储器72，以保持垂直方向上三个像素邻接的关系的方式依次存储三个水平行的像素信号。而且，从中央行的输出端读出的像素信号输入到形成判断单元的比较器73，并且输出到切换电路74的一个输入端a以及经由振铃电路61输出到输入端C。
[0111]比较器73将上述图像信号与通过阈值设定电路75设定的阈值进行比较，根据比较结果来控制上述切换电路74的信号切换。换句话说，比较器73形成使用阈值来判断上述图像信号是否在应该进行校正的范围内的判断单元。
[0112]在本实施方式中，将阈值设定电路75设为能够按照使用状况从多个阈值中选择实际使用的阈值来使用的结构。作为多个阈值，例如具有分别产生第一阈值、第二阈值以及第三阈值的第一阈值发生电路76a、第二阈值发生电路76b以及第三阈值发生电路76c，能够通过阈值选择部77经由选择开关78来选择连接到比较器73的阈值。
[0113]例如将第一阈值设定为判断暗电流(或者黑电平)的水平的阈值，将第二阈值设定为判断比暗电流的水平还低的接近O的水平的阈值，将第三阈值设定为判断是否从以下说明的平均值起下降了规定比例以上的阈值。
[0114]第一阈值或者第二阈值用于判断邻接像素Pwr是否由于振铃而降低到暗电流水平或者A/D变换电路19a的变换范围(range)的下限附近。
[0115]另一方面，第三阈值用于判断与振铃的影响相比亮点像素Pw由于线缆25进行传输时的容性负载而波形的平缓变大、该平缓波及到邻接像素Pwr的使用环境的情况。
[0116]而且，比较器73通过将邻接像素Pwr的图像信号的信号值与第三阈值进行比较，来判断是否受亮点像素Pw的线缆传输所影响，该第三阈值是对与该邻接像素Pwr的垂直方向(上下方向)邻接的(不受亮点像素Pw的线缆传输影响的)垂直邻接像素影响的平均值Vav乘以规定的系数C所得到的值。
[0117](振铃校正)上述比较器73根据例如保存在上述的存储器27或者41的亮点像素Pw的位置信息和由于线缆25而延时的信息来进行控制使得在从亮点像素Pw起一个像素之后输出的邻接像素Pwr实际输入到该比较器73的定时进行比较动作。也可以设置控制比较器73以进行该比较动作的电路。
[0118]另外，邻接像素校正电路71具有平均值计算电路79，该平均值计算电路79基于三行存储器72计算上述中央行的前一行的像素信号与后一行的像素信号的平均值。该平均值计算电路79计算邻接像素Pwr的前一行和后一行的垂直方向上邻接的两个像素的像素信号的平均值Vav，输出到切换电路74的另一个输入端b，并且输出到第三阈值发生电路76c0[0119]第三阈值发生电路76c对平均值Vav乘以规定比例的系数C (例如C=0.7-0.8左
右)来产生第三阈值。
[0120]比较器73在成为上述邻接像素Pwr的像素信号的信号值为阈值以下的比较结果的判断信息的情况下，进行切换使得选择输入端b，平均值计算电路79的平均值Vav的图像信号代替邻接像素Pwr的图像信号而经由切换电路74输出到亮点校正电路22。此外，也可以根据连接在比较器73的阈值来进行切换使得代替输入端b而选择输入端C。
[0121]另一方面，比较器73在上述邻接像素Pwr的像素信号的信号值超过阈值的比较结果的情况下，进行切换使得选择输入端a，邻接像素Pwr的像素信号经由切换电路74输出到亮点校正电路22。
[0122]根据具有这种结构以及进行这种动作的本实施方式，除了第二实施方式的作用效果之外，还在如邻接像素Pwr由于亮点像素Pw引起的振铃、线缆传输引起的平缓而成为从原来的信号值偏离的值的情况下，进行以在该垂直方向上邻接的邻接像素的平均值进行替换的校正，因此能够校正为良好的画质。
[0123]此外，不限于使用阈值来判断振铃的影响是否为A/D变换电路19a的变换范围的下限侧的值以下的情况，也可以通过对上限侧也设定阈值并判断是否为该阈值以上来对邻接像素Pwr进行校正。
[0124]将上述的实施方式等局部地进行组合等而构成的实施方式也属于本发明。另外，在图1中示出了将AFE19设置在信号连接器9a内的例子，但是例如也可以配置在内窥镜2的操作部?内等其它的场所。另外，也可以将AFE19、A/D变换电路19a配置在处理器4内。
[0125]另外，还存在受限于图像信号较高的情况的课题。图像信号当然是通过(XD16来获得的，但是图像信号的最大值·有时在CCD16的每个像素中不同。
[0126]一般被称为饱和粗糙的现象。如果饱和粗糙是监视器5上看不见的结构则没有问题。例如，在能够充分获得CCD16的图像信号的最大值的情况下认为动态范围宽，只要在不出现饱和粗糙的范围内映现在监视器5即可。通常以饱和截断(saturation clipping)这样的方法以不会出现饱和粗糙的图像信号水平来加以限制。将饱和截断的阈值以上的图像信号替换为饱和截断的阈值。
[0127]如果能够在(XD16的全部的像素中获得饱和截断的阈值以上的图像信号则没有问题。
[0128]此外，在判断图像信号的最大值是否充分的情况下，应该考虑CCD16的图像信号是否在线性的范围内。如果是线性，则与接受的光量成比例地获得图像信号，从而能够制作恰当的图像。
[0129]一般当关注比线性范围的图像信号的最大值更高的信号水平时，在每个像素中以非线性获得对于光量的信号，认为成为饱和粗糙。
[0130]由此，在(XD16的图像信号的最大值不充分而在几个像素中低于饱和截断的阈值的情况下，导致在监视器5中看到饱和粗糙。
[0131]另外，此时，有时到显示于监视器5为止的图像处理中的增益调整(包含白平衡调整)、伽马校正产生影响而导致饱和粗糙显著。
[0132]此外，这样的现象对(XD16性能的依赖性强，因此希望根据(XD16的特征来对应。该现象不是依赖于CCD16的个体差而是依赖于CCD16的种类(像素数的不同、动作频率的不同)。另外，该现象有时根据CCD16的种类而改变，存在不出现饱和粗糙在纵向上连续这种特征的现象。
[0133]针对这种课题，可以在存储器27中存储在(XD16中会引起饱和粗糙(简记为未饱和像素)那样的像素的位置，根据该位置信息进行插值(校正)。插值(校正)方法只要如到目前为止所述那样应用使用了周围像素的平均值即可。根据图10来说明该方法。图10示出成为插值(校正)对象的(以斜线表示)未饱和像素以及与未饱和像素邻接的周边八个像素(A?H)。此外，以下将像素I (I=A?H)的像素值也简单地通过I来表示。
[0134]作为对未饱和像素进行简单插值的方法，能够单纯地采用使用周围所有像素的平均值，在这种情况下，通过(A+B+C+D+E+F+G+H)+8来求出。另外，在未饱和像素出现在上下方向上连续的特征的情况下，设为以下的平均值。
[0135]在这种情况下，通过(A+C+2D+2E+F+H)+8来求出。通过代替像素B和G而使用像素D和E，平均值不会变小，能够以充分高的信号水平来进行插值。同样地，如果在周围的像素中存在不适合求出平均值的像素，则通过代替它而替换为恰当的像素能够进行恰当的插值。
[0136]插值主要依赖于通过(XD16产生的未饱和像素的特征。因而，只要根据(XD16的种类来改变平均值的计算方法即可。
[0137]在未饱和像素的插值方法中使用了上述位置信息，但是由于存储容量有限，因此希望有效地进行插值。具体地说，将使用了位置信息的插值和没有使用位置信息的插值进行组合。
[0138]首先，为了准备上述图像位置，对于对象像素，在图像信号超过插值用阈值(例如90IRE)而低于高亮度判断的阈值(96IRE)的情况下，使其位置信息存储到存储器27。此外，IIRE与7.14mV的电平相当。
[0139]具体地说，希望在制造(XD16并出厂时的检查中来对应。这是因为需要准确地测量图像信号或向CCD16提供恰当的光。
[0140]在基于上述位置信息的像素的位置，当图像信号超过了插值用阈值时执行插值来改善饱和粗糙。由此，能够将理应饱和的图像信号改变为充分的饱和。当图像信号小于插值用阈值时，不饱和而没有问题，因此不进行插值。
[0141]接着，在不基于上述位置信息的像素的位置，对于对象像素，在超过了高亮度判断的阈值时还使用未饱和判断的阈值(98IRE)来进行判断。在该判断中，如果是98IRE?100IRE则不进行插值，如果是96IRE?98IRE则进行插值。
[0142]在98IRE?100IRE时不进行插值是因为已几乎饱和因而饱和粗糙不明显。由此能够只在需要的情况下有效地进行插值。
[0143]此外，在存储器27中存储亮点像素的位置和未饱和像素的位置的情况下，只要将知道是哪个的标志设置到MSB(16bit数据的最上位bit)或分开存储区域即可。
[0144]另外，目前为止是使用像素的位置信息的方法和没有使用的方法的组合，但是假如存在没有像素的位置信息的内窥镜，则只要以上述说明的不使用像素的位置信息的方法来进行插值即可。
[0145]例如，可举出在低于高亮度判断的阈值的情况下以周边八个像素的平均值来替换的插值方法。[0146]本申请是以2012年4月10日向日本国申请的日本特愿2012-89437号为主张优先权的基础的申请，上述的公开内容引用到本申请的说明书、权利要求书、附图中。
【权利要求】
1.一种摄像装置，其特征在于，具备: 摄像元件，其具有为了拍摄被摄体而二维状排列的多个像素，该摄像元件输出由该多个像素拍摄到的像素信号； 亮点位置信息存储部，其存储在上述摄像元件中存在的作为缺陷像素的亮点像素的位置信息； 摄像元件驱动部，其通过对上述摄像元件施加传输信号来沿着规定的方向使构成上述摄像元件的上述多个像素输出上述像素信号；以及 亮点校正部，在根据从上述亮点位置信息存储部读出的上述亮点像素的位置信息判断为通过上述传输信号的施加而从上述摄像元件输出的上述像素信号为亮点像素的像素信号时，基于根据七个像素计算出的亮点校正值来对被判断为上述亮点像素的像素的像素信号进行亮点校正，该七个像素为从上述摄像元件输出的、包围被判断为上述亮点像素的像素的周围八个像素的像素信号中的、除了在被判断为上述亮点像素的像素的一个像素之后输出的邻接像素的像素信号之外的七个像素。
2.根据权利要求1所述的摄像装置，其特征在于， 上述亮点校正部具备: 亮点校正电路，其针对被判断为上述亮点像素的像素，将上述七个像素的像素信号的平均值计算为上述亮点校正值；以及 选择器，其根据基于上述亮点位置信息存储部的上述亮点像素的位置信息的切换信号，在输入了没有被判断为上述亮点像素的普通像素的情况下，选择该普通像素的像素信号进行输出，在输入了被判断为上述亮点像素的像素的像素信号的情况下，选择由上述亮点校正电路计算出的上述亮点校正值的像素信号进行输出。
3.根据权利要求1所述的摄`像装置，其特征在于，具有: 线缆，其传输构成上述摄像元件的各像素的模拟的像素信号；以及模拟数字变换部，其将通过上述线缆传输的上述模拟的像素信号变换为数字的像素信号而输出到上述亮点校正部， 还具有加法运算校正部，该加法运算校正部对从被判断为上述亮点像素的像素起在成为一个像素数以上的规定的像素数之后输出的规定的像素的像素信号，进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的校正。
4.根据权利要求2所述的摄像装置，其特征在于，具有: 线缆，其传输构成上述摄像元件的各像素的模拟的像素信号；以及模拟数字变换部，其将通过上述线缆传输的上述模拟的像素信号变换为数字的像素信号而输出到上述亮点校正部， 还具有加法运算校正部，该加法运算校正部对从被判断为上述亮点像素的像素起在成为一个像素数以上的规定的像素数之后输出的规定的像素的像素信号，进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的校正。
5.根据权利要求3所述的摄像装置，其特征在于， 还具备校正信息存储部，该校正信息存储部预先存储从被判断为上述亮点像素的像素起在上述规定的像素数之后输出的上述规定的像素的位置与上述规定比例的校正信息，其中，上述加法运算校正部使用上述校正信息存储部的上述位置的信息，在上述规定的像素的像素信号被输入到该加法运算校正部的定时，对该像素信号进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的加法运算校正。
6.根据权利要求4所述的摄像装置，其特征在于， 还具备校正信息存储部，该校正信息存储部预先存储从被判断为上述亮点像素的像素起在上述规定的像素数之后输出的上述规定的像素的位置与上述规定比例的校正信息， 其中，上述加法运算校正部使用上述校正信息存储部的上述位置的信息，在上述规定的像素的像素信号被输入到该加法运算校正部的定时，对该像素信号进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的加法运算校正。
7.根据权利要求5所述的摄像装置，其特征在于，还具备: 判断部，其使用阈值判断在被判断为上述亮点像素的像素的一个像素之后输出的上述邻接像素的像素信号的信号值是否在应该进行校正的范围内；以及 邻接像素校正部，其在上述判断部判断为应该进行校正的情况下，对上述邻接像素的像素信号进行如下的校正:以在垂直于上述规定的方向的方向上与该邻接像素邻接的两个像素的像素信号的平均值替换上述邻接像素的像素信号。
8.根据权利要求6所述的摄像装置，其特征在于，还具备: 判断部，其使用阈值判断在被判断为上述亮点像素的像素的一个像素之后输出的上述邻接像素的像素信号的信号值是否在应该进行校正的范围内；以及 邻接像素校正部，其在上述判断部判断为应该进行校正的情况下，对上述邻接像素的像素信号进行如下的校正:以在垂直于上述规定的方向的方向上与该邻接像素邻接的两个像素的像素信号的平均值替换上述邻接像素的像素信号。·
9.根据权利要求5所述的摄像装置，其特征在于， 上述加法运算校正部设置在上述亮点校正部的前级侧，上述亮点校正部对上述加法运算校正部进行加法运算校正之后的像素信号进行上述亮点校正。
10.根据权利要求7所述的摄像装置，其特征在于， 上述加法运算校正部设置在上述亮点校正部的前级侧，上述亮点校正部对上述加法运算校正部进行加法运算校正之后的像素信号进行上述亮点校正。
11.根据权利要求8所述的摄像装置，其特征在于， 上述判断部通过将上述邻接像素的像素信号的信号值与作为上述阈值的对与上述邻接像素邻接的上述两个像素的像素信号的平均值乘以规定系数所得到的值进行比较来进行上述判断。
12.根据权利要求5所述的摄像装置，其特征在于， 上述校正信息存储部针对被判断为上述亮点像素的一个像素，将作为上述规定的像素的位置而包含第一位置以及第二位置的多个位置、与上述第一位置以及上述第二位置相对应地表示上述规定比例的第一系数和第二系数预先存储为上述校正信息， 上述加法运算校正部针对上述第一位置以及上述第二位置的上述规定的像素，分别使用将上述第一系数和上述第二系数与被判断为上述亮点像素的像素的像素信号值分别相乘所得到的值来进行上述加法运算校正。
13.根据权利要求6所述的摄像装置，其特征在于， 上述校正信息存储部针对被判断为上述亮点像素的一个像素，将作为上述规定的像素的位置而包含第一位置以及第二位置的多个位置、与上述第一位置以及上述第二位置相对应地表示上述规定比例的第一系数和第二系数预先存储为上述校正信息， 上述加法运算校正部针对上述第一位置以及上述第二位置的上述规定的像素，分别使用将上述第一系数和上述第二系数与被判断为上述亮点像素的像素的像素信号值分别相乘所得到的值来进行上述加法运算校正。
14.根据权利要求3所述的摄像装置，其特征在于，具备: 内窥镜，其具备上述摄像元件和上述亮点位置信息存储部，一端连接在上述摄像元件的上述线缆插通该内窥镜；以及信号处理装置，上述线缆的另一端拆装自如地连接于该信号处理装置，该信号处理装置具备上述摄像元件驱动部和上述亮点校正部。
15.根据权利要求6所述的摄像装置，其特征在于，具备: 内窥镜，其具备上述摄像元件、上述亮点位置信息存储部以及上述校正信息存储部，一端连接在上述摄像元件的上述线缆插通该内窥镜；以及信号处理装置，上述线缆的另一端拆装自如地连接于该信号处理装置，该信号处理装置具备上述摄像元件驱动部和上述亮点校正部 。
【文档编号】H04N5/367GK103858422SQ201380003425
【公开日】2014年6月11日 申请日期:2013年4月9日 优先权日:2012年4月10日
【发明者】筒井启介, 大塚慎, 大河文行, 塙隆行 申请人:奥林巴斯医疗株式会社
【专利摘要】摄像装置具备：摄像元件，其输出通过为了拍摄被摄体而二维状排列的多个像素拍摄到的像素信号；存储器(41)，其存储存在于摄像元件中的亮点像素的位置信息；摄像元件驱动部，其使摄像元件输出像素信号；亮点校正电路(42)，其在基于从存储器(41)读出的亮点像素的位置信息而判断为从摄像元件输出的像素信号为亮点像素的信号时，根据亮点校正值来对被判断为亮点像素的像素的像素信号进行校正，该亮点校正值为根据包围被判断为亮点像素的像素的周围的八个像素的像素信号中的、除了在被判断为亮点像素的像素的一个像素之后输出的邻接像素的像素信号之外的七个像素计算出的值。
【专利说明】摄像装置
【技术领域】
[0001]本发明涉及一种进行针对拍摄被摄体的摄像元件的图像处理的摄像装置。
【背景技术】
[0002]近年来，拍摄被摄体的摄像元件广泛用于内窥镜装置等摄像装置中。
[0003]另外，摄像元件最近愈发高像素化、微细化，对于摄像元件，制造完全没有缺陷的像素或者完全不产生噪声的像素是近于不可能的。
[0004]因此，提出了多种通过图像处理来对摄像元件的与通常像素不同但是产生像素信号的缺陷像素、固定图案的噪声进行校正的技术。
[0005]例如，在作为第一以往例的日本国特开2003-116060号公报中，缺陷像素校正部在其内部具有用于记录通过事先的检查所获得的缺陷像素的位置信息的缺陷位置记录ROM,根据能够从该缺陷位置记录ROM确定的缺陷像素的周围像素求出相关性高的方向，使用属于该方向的周围像素来计算缺陷像素的校正值。
[0006]另外，在作为第二以往例的日本国特开平10-42201号公报的段落[0016]中，记载有以下内容:“主要利用之前的行上的映像信息以及之后的行上的映像信息，对于处于与缺陷像素相同行上的图像信息，除了缺陷像素以及其前后的像素的数据之外用于插值。使用之前的行上的映像信息以及之后的行上的映像信息来进行校正，因此不仅是缺陷像素，对其前后的信号也能够进行插值。”。
[0007]然而，在具有传输模拟的像素信号的线缆的摄像装置的情况下，由于线缆而像素信号的波形变得平缓，在如第一以往例那对缺陷像素的像素信号进行校正的情况下，不能充分地进行校正。
[0008]另一方面，在如第二以往例那样对缺陷像素以及缺陷像素前后的像素的像素信号进行校正的情况下，对不需要插值的缺陷像素之前的像素也进行插值，因此存在如下缺点:进行导致变更原来的图像信号的值的过校正。
[0009]因此，希望如下一种摄像装置:在由于线缆而模拟的像素信号的波形变平缓那样的情况下，也能够恰当地校正以作为缺陷像素的亮点像素为起因的像素信号。
[0010]本发明是鉴于上述的点而完成的，其目的在于提供一种能够恰当地校正亮点像素对于在摄像元件中的亮点像素之后读出的像素的影响的摄像装置。
【发明内容】
[0011]用于解决问题的方案
[0012]本发明的一种方式所涉及的摄像装置具备:摄像元件，其具有为了拍摄被摄体而二维状排列的多个像素，该摄像元件输出由该多个像素拍摄到的像素信号；亮点位置信息存储部，其存储在上述摄像元件中存在的作为缺陷像素的亮点像素的位置信息；摄像元件驱动部，其通过对上述摄像元件施加传输信号来沿着规定的方向使构成上述摄像元件的上述多个像素输出上述像素信号；以及亮点校正部，在根据从上述亮点位置信息存储部读出的上述亮点像素的位置信息判断为通过上述传输信号的施加而从上述摄像元件输出的上述像素信号为亮点像素的像素信号时，基于根据七个像素计算出的亮点校正值来对被判断为上述亮点像素的像素的像素信号进行亮点校正，该七个像素为从上述摄像元件输出的、包围被判断为上述亮点像素的像素的周围八个像素的像素信号中的、除了在被判断为上述亮点像素的像素的一个像素之后输出的邻接像素的像素信号之外的七个像素。
【专利附图】
【附图说明】
[0013]图1是表示本发明的第一实施方式的内窥镜装置的整体结构的图。
[0014]图2是表示图1中的摄像系统部分的结构的框图。
[0015]图3是表示亮点校正电路的结构的框图。
[0016]图4是表示亮点像素与其周边像素的图。
[0017]图5是表示本发明的第二实施方式中的摄像系统部分的结构的框图。
[0018]图6是用于说明第二实施方式中的振铃校正的说明图。
[0019]图7是表示振铃校正电路的结构的框图。
[0020]图8是表示在摄像元件中多个亮点像素接近存在的情况下的像素的图。
[0021]图9是表示本发明的第三实施方式中的邻接像素校正部的结构的框图。
[0022]图10是用于表示本发明的第三实施方式中的饱和粗糙(saturation zara)的插值方法的说明图。
【具体实施方式】
[0023]以下参照【专利附图】
【附图说明】本发明的实施方式。
[0024](第一实施方式)
[0025]如图1所示，构成本发明的摄像装置的第一实施方式的内窥镜装置I具有:用于进行内窥镜检查的电子内窥镜(以下简单记为内窥镜)2、向该内窥镜2提供照明光的光源装置3、作为针对内窥镜2的摄像元件等进行信号处理(图像处理)的信号处理装置(图像处理装置)的处理器4以及作为显示通过处理器4所生成的映像信号的显示装置的监视器5。
[0026]内窥镜2具有插入到患者的体腔内等的插入部6、设置在该插入部6的基端(后端)的操作部7以及从该操作部7延伸出的线缆部8。该线缆部8的端部的光源连接器9b拆装自如地连接在光源装置3，另外，信号连接器9a拆装自如地连接在处理器4。
[0027]此外，如图1所示，线缆部8的端部侧不限于分支的结构，例如也可以设为如下结构:从光源连接器经由连接线缆将其端部的信号连接器拆装自如地连接在处理器4。另外，也可以设为光源装置3与处理器4 一体化的结构。
[0028]另外，图1的处理器4还能够连接线缆长度等与图1所示的内窥镜2不同的内窥镜来使用。
[0029]在上述内窥镜2中的插入部6、操作部7、线缆部8内插通有传输照明光的导光器11，其基端到达光源连接器％。用户通过将该光源连接器9b连接到光源装置3，使由光源装置3内的光源灯12所产生的照明光被聚光透镜13聚光而入射到导光器11的基端。
[0030]该照明光通过导光器11来传输，从插入部6的前端部14的照明窗射出而对体腔内的患部等被摄体进行照明。被照明的被摄体通过安装在与照明窗邻接设置的观察窗上的物镜15而在其成像位置形成被摄体的光学像。在成像位置，作为固体摄像元件(摄像元件)而配置有电荷耦合元件(简记为CCD)16的受光面，在受光面形成有二维排列的由具备进行光电变换的功能的光电二极管构成的像素。
[0031]另外，在前端部14内配置有将(XD16、驱动未图示的CXD的定时发生器(TG)、对该(XD16进行信号成分抽取的⑶S电路17组入一个封装的片上系统部(简记为SIP) 18。另夕卜，在本实施方式所涉及的内窥镜2中，例如在信号连接器9a内配置有内置了作为模拟数字变换单元的A/D变换电路19a的模拟前端(AFE) 19。
[0032]在处理器4内设置有作为摄像元件驱动单元或者摄像元件驱动部的CXD驱动部21以及作为图像处理单元的图像处理部24，该CXD驱动部21生成驱动(XD16的CXD驱动信号(简单称为驱动信号或者进行传输的传输信号)，该图像处理部24具有作为亮点校正单元或者亮点校正部的亮点校正电路22以及进行图像处理的图像处理电路23，该亮点校正电路22对由(XD16进行拍摄并从(XD16输出的像素信号中的经过了⑶S电路17、AFE19之后的像素信号进行针对作为缺陷像素的亮点(或者亮点像素)的校正(称为亮点校正)。
[0033]作为缺陷像素的亮点或者亮点像素不具有正常的光电变换功能，对于传输信号的施加，输出信号水平高的接近白色的像素信号(白信号)。
[0034]CXD驱动部21将所生成的CXD驱动信号经由内窥镜2内的线缆25施加到(XD16，形成CCD16的受光部的像素将经过光电变换得到的信号电荷作为像素信号而输出。
[0035]在该像素信号中，作为噪声而包含CCD驱动信号中的一部分信号(复位信号)，因此CDS电路17抽取像素信号中的信号成分来输出消除了噪声的像素信号。此外，CDS电路17生成用于从CCD驱动信号中抽取信号成分的采样信号，使用该采样信号来生成消除了噪声的像素信号。
[0036]在将⑶S电路17设置在远离(XD16的位置的情况下，容易受到将(XD16的输出信号输入到CDS电路17的进行信号传输的线缆导致的信号延迟的影响，在本实施方式中，将该⑶S电路17配置在(XD16的附近，因此不受线缆导致的信号延迟的影响，因此能够高精确度地抽取(XD16的信号成分。
[0037]通过⑶S电路17消除了噪声的基带的模拟像素信号经由插入部6、操作部7、线缆部8内的形成信号传输路径或者信号传输线的线缆25而输入到AFE19。在该AFE19中，像素信号被AFE19内的放大器进行放大之后，通过作为模拟数字变换单元或者模拟数字变换部的A/D变换电路19a被从模拟的像素信号变换为数字的像素信号
[0038]此外，CXD驱动部21设置在处理器4内部，因此CXD驱动波形在传输到插入部6的前端部14时，由于内窥镜2内的线缆25而变平缓，但是在SIP18内对其波形进行校正来驱动 CCD16。
[0039]经由AFE19内的A/D变换电路19a的数字的像素信号输入到图像处理部24内的亮点校正电路22,亮点校正电路22进行针对被判断为亮点的像素、即亮点像素进行校正的图像处理。
[0040]通过亮点校正电路22进行了亮点像素的校正的像素信号通过图像处理电路23被变换为标准的映像信号并输出到监视器5。在监视器5的显示面，作为内窥镜图像而显示由(XD16拍摄到的被摄体的图像。[0041]另外，内窥镜2内置有作为亮点位置信息存储单元或者亮点位置信息存储部的存储器27，该存储器27保存有装载于该内窥镜2的CCD16中预先检查到的亮点像素的二维位置(简单记为位置)信息。例如，在图1的例子中在信号连接器9a内设置有存储器27。在该存储器27中还保存有(XD16的水平以及垂直的像素数的信息。
[0042]该存储器27在信号连接器9a连接在处理器4的情况下与亮点校正电路22电连接。亮点校正电路22从存储器27读出亮点像素的二维的位置信息，例如在设置于亮点校正电路22内的存储器41 (参照图3)中保存为亮点像素地址。因而，还能够视为存储器41也构成存储存在于(XD16中的亮点像素的二维位置的亮点位置信息存储单元。
[0043]如后述那样，亮点校正电路22使用保存在存储器41内的亮点像素地址，根据输入到该亮点校正电路22的像素信号的地址，在与亮点像素地址一致的情况下判断为亮点像素，在不一致的情况下判断为不是亮点像素的普通像素。
[0044]输入到亮点校正电路22的像素信号的定时与CXD驱动信号的定时和线缆25的长度相应地产生地偏移(从CXD驱动信号的定时延迟)，因此在存储器27中还保存有该线缆25的长度所导致的定时偏移的信息。
[0045]例如，在CXD驱动信号驱动(XD16的水平方向的第i个以及垂直方向的第j个像素P(i，j)的定时时，在由于线缆25的长度导致的延迟量而经由AFE19实际输入到亮点校正电路22的像素信号(以沿水平方向配置的像素为单位)延迟η个像素数的情况下，延迟该η个像素数的信息预先保存在存储器27。也就是说，在CCD驱动信号驱动像素P(i，j)的定时时，由于线缆25的长度导致的延迟量而使上述像素P(i，j)的像素信号实际输入到亮点校正电路22的定时偏移为P(i+n，j)。
[0046]换句话说，亮点校正电路22能够掌握从各像素实际输入到该亮点校正电路22的像素信号的定时、实际输入的像素在摄像面上的二维位置(地址)。此外，在如图1所示那样在处理器4内配置了亮点校正电路22和CXD驱动部21的情况下，能够近似为输出到CXD驱动部21的CCD驱动信号(传输信号)施加到CCD16的延迟量与CCD16的输出信号输入到亮点校正电路22的延迟量相同。
[0047]图2表示图1中的图像处理系统的概要的结构。如图2所示那样包含(XD16的SIP18经由内窥镜2内的极细的线缆(实际为同轴线缆)25与AFE19相连接。
[0048]因此，在通过线缆25传输了从SIP18输出的模拟的像素信号的情况下，由于CXD自身的水平传送效率劣化、用于抑制噪声的低通滤波器、将线缆25设为同轴线缆的情况下随着长度的增大而(内侧导体与外侧导体之间的)电容增大从而容性负载增大等，亮点像素的像素信号的波形也变平缓，亮点像素的像素信号以及在该亮点像素的像素信号之后(通过施加C⑶驱动信号而读出)输出的规定像素的像素信号受到其影响。
[0049]因而，在本实施方式中，如以下说明那样，亮点校正电路22针对亮点像素的像素信号，将亮点像素的周围像素中的、在该亮点像素的像素信号的一个像素后输出的一个像素(称为邻接像素)的像素信号排除在外来进行校正。
[0050]通过该亮点校正电路22进行了校正的像素信号通过构成图像处理电路23的OB钳位电路31而OB部的信号水平被钳位。此外，OB是光暗的简称，OB部在光学上对作为摄像元件的CCD16的摄像面的像素进行遮光，将从被遮光的像素输出的像素信号的水平用作为没有被遮光的像素的像素信号的黑电平。从该OB钳位电路31输出的像素信号输入到白平衡电路33来进行白平衡的调整。S卩，调整白平衡电路33内的放大器的增益使得拍摄了白色被摄体的情况下的R、G、B的像素信号的水平成为1:1:1。
[0051]从该白平衡电路33输出的像素信号经由进行水平轮廓、垂直轮廓的增强、伽马校正等各种的图像处理的各种图像电路34被变换为标准的映像信号并输出到监视器5。
[0052]图3示出图1以及图2的亮点校正电路22的结构。
[0053]亮点校正电路22内的存储器41保存有亮点像素地址数据以及延迟量(延迟时间)数据的信息，该亮点像素地址数据是作为从存储器27读出的亮点像素的位置信息的数据，该延迟量(延迟时间)数据是经由(XD16以及⑶S电路17输出的模拟像素信号通过线缆25进行传输并进行A/D变换之后实际输入到亮点校正电路22的延时的数据。
[0054]此外，也可以将存储器41设置在亮点校正电路22的外部。另外，也可以不设置存储器41而从存储器27读出亮点校正电路22所需的信息。
[0055]通过(XD16进行拍摄并进行了⑶S处理的像素信号通过线缆25来传输，通过AFE19内的A/D变换电路19a而成为数字的像素信号，输入到亮点校正电路22内的亮点像素校正电路42并且输入到选择器43的一个输入端sa。亮点像素校正电路42将校正了亮点像素的像素信号输出到选择器43的另一个输入端Sb。另外，存储器41的亮点地址用于控制选择器43的切换(选择)以选择并从选择器43输出输入到选择器43的两个输入端sa、sb的两个像素信号中的一方。
[0056]具体地说，在对亮点校正电路22内输入了亮点像素的情况下，控制选择器43的切换(选择)使得选择输出通过亮点像素校正电路42对亮点地址进行亮点校正所得到的像素信号Pcor，在不是输入亮点像素而是输入了普通像素Pn的情况下，控制选择器43的切换(选择)使得选择输出该普通像素Pn。
[0057]图4示出CCD16中的亮点像素Pw和其周围的八个像素，沿着作为规定方向的水平方向按每行从左侧向右侧依次读出这些像素。在本实施方式中，如以下所说明那样设置在亮点校正电路22的亮点像素校正电路42使用亮点校正值Pav来校正亮点像素Pw的像素信号，该亮点校正值Pav是根据除了亮点像素Pw之后读出的一个像素(在图4中是成为亮点像素Pw的横向右侧的邻接像素)Pwr之外的、亮点周围的七个像素的像素信号计算出的值。
[0058]输入到亮点校正电路22的通常像素Pn输入到亮点像素校正电路42并且经由选择器43输出到下级的图像处理电路23，亮点周围的八个像素中的、除了与亮点像素Pw的横向右侧邻接的邻接像素(在亮点的像素信号的一个像素之后输出的像素)Pwr之外的亮点周围的七个像素的像素信号用于校正亮点像素Pw的像素信号。而且，设置在亮点像素校正电路42内的亮点周围七个像素电路44计算上述亮点周围的七个像素的像素信号的平均值Pav作为校正亮点像素Pw的亮点校正值,将平均值Pav作为校正亮点像素Pw的像素信号Pcor而输出到选择器43。
[0059]此外，选择器43选择(切换)如上述那样输入到两个输入端sa、Sb的两个像素信号PruPcor中的一个而从一个输出端输出。也就是说，在输入了普通像素Pn的情况下，选择器43选择输出普通像素Pn的图像信号，在输入了亮点像素Pw的情况下，选择器43将亮点周围的七个像素的像素信号的平均值Pav作为校正亮点像素Pw的像素信号Pcor而输出。这样具备本发明的摄像装置的内窥镜装置I的特征在于，具备:作为摄像元件的(XD16，其具有为了拍摄被摄体而二维状排列的多个像素，该摄像元件输出由该多个像素拍摄的像素信号；作为亮点位置信息存储部的存储器27，其存储作为存在于上述摄像元件中的缺陷像素的亮点像素的(二维)位置信息；作为摄像元件驱动部的CXD驱动部21，其通过对上述摄像元件施加传输信号来沿着规定的方向使构成上述摄像元件的上述多个像素输出上述像素信号；以及作为亮点校正部的亮点校正电路22，其在根据从上述亮点位置信息存储部读出的上述亮点像素的位置信息判断为通过上述传输信号的施加而从上述摄像元件输出的上述像素信号为亮点像素的信号时，根据通过七个像素计算出的亮点校正值来对被判断为上述亮点像素的像素的像素信号进行亮点校正，该七个像素为从上述摄像元件输出的、包围被判断为上述亮点像素的像素的周围八个像素的像素信号中的、除了在被判断为上述亮点像素的像素的一个像素之后输出的邻接像素的像素信号的七个像素。
[0060]而且，本实施方式中的亮点校正电路22具有如图3所说明那样的作用。
[0061]因而，根据本实施方式的内窥镜装置1，在由于线缆25而模拟的像素信号的波形变平缓的情况下也能够恰当地校正以作为缺陷像素的亮点像素为起因的像素信号。
[0062]另外，在使用了作为所装载的摄像元件的CCD16、线缆25的长度等不同的内窥镜2的情况下，在作为装载于各内窥镜2的内窥镜信息存储单元的存储器27中保存有存在于所装载的CCD16的亮点像素Pw的位置信息等，因此能够恰当地校正以亮点像素为起因的像素信号。
[0063](0B部亮点校正)此外，对于未图示的30个像素左右的水平OB部，在处理器侧(图1的24)中由数字电路进行行钳位。为了正确地进行该行钳位,需要对成为其基础的包含亮点像素的水平OB部的数据有效地进行包含亮点像素在内的噪声消除。具体地说，使用排序滤波器来消除一个行中央十个左右像素中具有最大像素值的数个像素、具有最小像素值的数个像素，并以剩余的OB像素进行行钳位，由此能够准确地进行行钳位。
[0064](第二实施方式)
[0065]接着说明本发明的第二实施方式。在第一实施方式中，主要考虑由于线缆25而亮点像素的像素信号平缓而对平缓的情况下的亮点像素的像素信号进行校正。
[0066]在如亮点像素的像素信号那样阶梯状地变化的情况下，依赖于形成信号传输路径的线缆25的线缆长度等，有时通过线缆25传输的像素信号产生以衰减振动的方式变化的振铃。本说明书中的振铃在亮点像素阶梯状地向上凸的波形中产生的情况下，是指如以下所述那样在该亮点像素之后出现向下凸、即成为谷的波形的现象，与在通常的脉冲的上升部分和下降部分中振动波形分别产生的振铃不同。
[0067]当产生亮点像素引起的振铃(简记为亮点像素的振铃)时，对于从亮点像素起规定的像素个数(例如几个像素数)之后输出(希望进行校正)的规定的像素或者校正对象的像素的像素信号，从(亮点像素的像素信号)该像素的像素信号的原来的信号水平值(像素信号值)起使输出水平谷状地下降，由此产生显示或者视觉辨认为如黑点那样的现象(亮点像素为起因的异常像素)。
[0068]因此，在本实施方式中，在第一实施方式中还设置对亮点像素的振铃导致的异常像素进行校正的振铃校正单元，换句话说还设置通过加法运算对谷状地下降的异常像素的像素值进行校正的加法运算校正单元。图5示出本实施方式的内窥镜装置中的摄像系统部分的结构。[0069]图5所示的结构是在图2的结构中在亮点校正电路22的前级设置了作为对振铃导致的异常像素进行校正的加法运算校正单元的振铃校正电路61的结构。亮点校正电路22的结构以及作用与在第一实施方式中说明的内容相同，因此省略其说明。此外，也可以设为亮点校正电路22在其内部具备振铃校正电路61的结构。也就是说，也可以是如下结构:亮点校正单元具备作为对振铃导致的异常像素进行校正的振铃校正单元的振铃校正电路61。
[0070](振铃校正)
[0071]另外，在本实施方式中，在设置于各内窥镜2的存储器27内除了上述的亮点像素Pw的位置信息等之外,作为校正参数,还预先保存从亮点像素Pw起(数起)产生被称为暗点的异常像素的像素位置(像素数位置)的信息、异常像素的像素信号值(水平)相对于亮点像素Pw的像素信号值(水平)下降的信号值比(水平比)或者比例等信息。
[0072]例如，在从亮点像素Pw起第N个像素是异常像素或者校正对象像素的情况下，存储器27预先存储N的信息。
[0073]另外，在将亮点像素Pw的像素信号值设为Vw、异常像素Pa的以谷状下降的下降像素信号值成为Va的情况下，存储器27预先存储成为Va/(Vw-Va) =k的校正系数k的信息。
[0074]此外，在产生多个异常像素Pa的情况下，在将该异常像素设为Pa1、将谷状下降的下降像素信号值设为Vai时，构成校正信息存储单元的存储器27预先存储成为Vai/(Vw-Vai) =ki的校正系数ki的信息。此外，i为i=l,2,3,..., m, m是异常像素Pa的最大数。
[0075]而且，对异常像素Pai的像素信号值Vai加上乘以(Vw-Vai) Xki得到的校正值来校正异常像素Pai的像素信号值Vai (此外，当去掉异常像素Pai等中的i时，成为对一个异常像素Pa的校正)。
[0076]在图5所示的结构例中，示出了将存储器41设置在亮点校正电路22的外部的例子，但是也可以如上述的结构例那样设置在亮点校正电路22的内部。该存储器41读入存储器27的信息并保存在存储器41内部。振铃校正电路61在进行振铃校正的情况下，从存储器41获取该校正所需的校正参数等。此外，也可以不设置存储器41而设为从存储器27获取校正等所需的信息的结构。
[0077]图6示出亮点像素Pw的像素信号和由于该亮点像素Pw的像素信号而产生异常像素Pa或者Pai的概要的波形例子。此外，图6中的㈧和⑶例如示出线缆长度不同的情况。除了线缆长度之外，线缆的种类、线缆的端部等也影响振铃的产生。
[0078]在(XD16中产生的亮点像素Pw的像素信号经由⑶S电路17以脉冲状输出。在图6中不出CDS输出波形。此外，图6中的横轴表不时间、纵轴表不像素信号值(水平)。但是，在AFE输出波形中，在横轴上以亮点像素Pw的像素位置为基准以像素单位示出后续的像素的位置。
[0079]上述⑶S电路17的输出信号通过线缆25来传输，但是由于振铃使亮点像素Pw的像素信号如图6的线缆传输后的波形所示那样，该像素信号自身从阶梯状的脉冲波形变形为山状(平缓的)的凸部的波形，并且在该亮点像素Pw之后输出的像素部分侧中变形为谷状的凹部的波形。也就是说，由于亮点像素Pw，该亮点像素Pw后续的像素的像素信号值谷状变小。[0080]这种波形的像素信号在AFE19中被进行A/D变换而变换为数字的像素信号，如图6的AFE后的波形所示那样成为阶梯状的波形。该AFE后的波形的像素信号经由处理器4内的短的线缆输入到作为对亮点引起的振铃进行校正的加法运算校正单元的振铃校正电路61。也就是说，AFE输出波形几乎成为向振铃校正电路61输入的输入波形。此外，由处理器4内的短的线缆导致的延时通常能够忽略。
[0081]在图6的(A)的AFE后的波形中，在从亮点像素Pw起第二个像素中产生了成为谷状凹部的异常像素Pa。
[0082]另一方面，在图6的(B)的AFE后的波形中，在从亮点像素Pw起第二个像素和第三个像素中产生了成为谷状凹部的异常像素Pal、Pa2。
[0083](振铃校正)
[0084]为了校正这种异常像素Pa (Pal、Pa2等)，在本实施方式中，构成加法运算校正单元的振铃校正电路61对所输入的数字的像素信号进行针对异常像素Pai (此外，省略Pa的并行符号，但是设为Pai还包含Pa的情况)的校正。通过该振铃校正电路61进行了校正的像素信号输入到亮点校正电路22，如上述那样进行对亮点像素Pw的校正后输出到图像处理电路23。
[0085]图7示出作为加法运算校正单元的振铃校正电路61的详细结构。该振铃校正电路61具有乘法运算电路65以及校正值保持电路66，该乘法运算电路65根据所输入的像素信号，使用存储器41的亮点像素Pw的位置信息在输入亮点像素Pw的像素信号值Vw的定时将亮点像素Pw的像素信号值Vw与校正系数ki相乘，该校正值保持电路66保持(存储)相乘得到的校正值VwXki。由该乘法运算电路65和校正值保持电路66来构成校正值计算保持电路67，该校正值计算保持电路67计算并保持对亮点像素Pw的像素信号值Vw导致的异常像素Pai的像素信号值Vai进行校正的校正值。
[0086](振铃校正)
[0087]另外，该振铃校正电路61具有加法运算校正电路68，该加法运算校正电路68对在亮点像素Pw之后输入的异常像素Pai进行对该像素信号值Vai与通过上述校正值保持电路66所保持的校正值进行加法运算的校正，并经由选择器69来输出到亮点校正电路22。此外，选择器69通过进行振铃校正的启动/关闭(0N/0FF)的开关70，在关闭的情况下选择亮点像素Pw的像素信号值Vw，在启动的情况下选择通过加法运算校正电路68加上校正值所得到的像素信号并输出到亮点校正电路22。
[0088]说明这种结构的本实施方式中的振铃校正电路61的动作。
[0089]如上述那样，对振铃校正电路61输入图6所说明的AFE输出波形的像素信号。
[0090]振铃校正电路61内的乘法运算电路65在如图6的最下段所示那样输入了亮点像素Pw的定时将该像素信号值Vw与校正系数ki相乘而计算校正值VwX ki,校正值保持电路66保持该校正值Vw Xki。
[0091](振铃校正)
[0092]此外，该亮点像素Pw的像素信号经由振铃校正电路61输入到亮点校正电路22。
[0093]另外，作为加法运算校正单元的加法运算校正电路68在如图6的(A)所示那样输入在亮点像素Pw后输入的异常像素Pa的像素信号值Va时，对该像素信号值Va加上通过校正值保持电路66保持的校正值Vw Xki后输出。也就是说，加法运算校正电路68在被输入异常像素Pa的像素信号值Va时，校正为经校正的像素信号值Va+VwXki后输出到亮点校正电路22。
[0094]另外，在如图6的⑶所示那样产生多个异常像素Pal、Pa2的情况下，对各异常像素Pal、Pa2使用校正系数kl、k2来进行与上述校正相同的校正。
[0095]如上所述，说明了除了相对一个亮点像素在一个像素后输出的邻接像素(水平邻接像素)的像素信号之外而计算上述亮点周围的七个像素的像素信号的平均值Pav作为亮点校正值的情形，但是在CCD中根据传输方式的原理而具有水平方向关联性，因此也可以考虑该亮点像素的像素信号的一个像素之前输出的一个像素对于亮点像素的影响。
[0096]例如，可举出计算除了在亮点像素的水平方向(前后)邻接的两个邻接像素之外的亮点周围的六个像素的像素信号的平均值。并且，还可举出分别准备校正系数来校正两个邻接像素。
[0097](振铃校正)
[0098]这样，从振铃校正电路61向亮点校正电路22侧输出对如图6的最下段那样的异常像素Pa、Pai (i=l,2)的像素信号值Vai进行校正得到的像素信号,亮点校正电路22如上述那样对亮点像素Pw进行校正。
[0099]根据具有这种结构以及作用的本实施方式，在如第一实施方式那样由于线缆而模拟的像素信号的波形变平缓的情况下也能够恰当地校正以作为缺陷像素的亮点像素为起因的像素信号，并且在由于亮点引起的振铃而在其周围产生了使像素信号值谷状地下降的异常像素Pa的情况下，也能够将该异常像素Pa的像素信号值校正为恰当的像素信号值。因而，根据本实施方式，在由于振铃而产生了画质黑点状劣化的现象的情况下，也能够减轻乃至消除该画质的劣化。
[0100]此外，在上述的第二实施方式中，说明了在通过振铃校正电路61进行振铃校正之后通过亮点校正电路22进行亮点校正的结构，但是也可以在通过亮点校正电路22进行亮点校正之后通过振铃校正电路61进行振铃校正。
[0101]在这种情况下，在通过亮点校正电路22进行了亮点校正的情况下，保持进行亮点校正之前的亮点像素Pw的像素信号值Vw,由振铃校正电路61使用该像素信号值Vw来进行振铃校正。
[0102]在亮点像素Pw相对于普通像素Pn很少产生那样的情况下，在亮点校正电路22之前进行振铃校正的情况与之后进行振铃校正的情况的作用效果几乎相同。
[0103](亮点校正和振铃校正的电路结构)
[0104]但是，如以下说明的那样，可能存在亮点像素Pw邻近(接近)产生那样的情况。当考虑这种情况时，通过如以下说明的那样在进行振铃校正之后进行亮点校正，能够以不复杂化的处理方法来简单地进行校正。
[0105]图8示出(XD16中的多个亮点像素Pwl、Pw2接近存在的部分。在如图8那样多个亮点像素Pwl、Pw2在水平方向上接近存在的情况下，成为振铃的影响和线缆25的平缓的影响混合存在的状态，因此例如在先通过亮点校正电路22进行亮点校正的情况下，导致校正振铃的影响时所需的亮点像素Pw的像素信号值被校正等，校正该影响的处理方法变得复杂化而难以简单地进行校正。
[0106]与此相对，当如上述那样先通过振铃校正电路61来消除(或者减轻)振铃的影响时，剩余的几乎都起因于亮点像素Pw和线缆传输的平缓。因此，对剩余的亮点像素Pw和线缆传输的平缓的影响，只要如第一实施方式那样进行校正来消除它即可，能够不使处理变得复杂化而简单地进行校正。
[0107](振铃校正)
[0108](第三实施方式)
[0109]图9示出第三实施方式中的邻接像素校正电路71的结构。本实施方式例如是在第二实施方式中还设置了作为对与亮点像素Pw邻接的邻接像素Pwr进行校正的邻接像素校正单元的邻接像素校正电路71。
[0110]从AFE19输出的像素信号输入到构成邻接像素校正电路71的例如三行存储器72，以保持垂直方向上三个像素邻接的关系的方式依次存储三个水平行的像素信号。而且，从中央行的输出端读出的像素信号输入到形成判断单元的比较器73，并且输出到切换电路74的一个输入端a以及经由振铃电路61输出到输入端C。
[0111]比较器73将上述图像信号与通过阈值设定电路75设定的阈值进行比较，根据比较结果来控制上述切换电路74的信号切换。换句话说，比较器73形成使用阈值来判断上述图像信号是否在应该进行校正的范围内的判断单元。
[0112]在本实施方式中，将阈值设定电路75设为能够按照使用状况从多个阈值中选择实际使用的阈值来使用的结构。作为多个阈值，例如具有分别产生第一阈值、第二阈值以及第三阈值的第一阈值发生电路76a、第二阈值发生电路76b以及第三阈值发生电路76c，能够通过阈值选择部77经由选择开关78来选择连接到比较器73的阈值。
[0113]例如将第一阈值设定为判断暗电流(或者黑电平)的水平的阈值，将第二阈值设定为判断比暗电流的水平还低的接近O的水平的阈值，将第三阈值设定为判断是否从以下说明的平均值起下降了规定比例以上的阈值。
[0114]第一阈值或者第二阈值用于判断邻接像素Pwr是否由于振铃而降低到暗电流水平或者A/D变换电路19a的变换范围(range)的下限附近。
[0115]另一方面，第三阈值用于判断与振铃的影响相比亮点像素Pw由于线缆25进行传输时的容性负载而波形的平缓变大、该平缓波及到邻接像素Pwr的使用环境的情况。
[0116]而且，比较器73通过将邻接像素Pwr的图像信号的信号值与第三阈值进行比较，来判断是否受亮点像素Pw的线缆传输所影响，该第三阈值是对与该邻接像素Pwr的垂直方向(上下方向)邻接的(不受亮点像素Pw的线缆传输影响的)垂直邻接像素影响的平均值Vav乘以规定的系数C所得到的值。
[0117](振铃校正)上述比较器73根据例如保存在上述的存储器27或者41的亮点像素Pw的位置信息和由于线缆25而延时的信息来进行控制使得在从亮点像素Pw起一个像素之后输出的邻接像素Pwr实际输入到该比较器73的定时进行比较动作。也可以设置控制比较器73以进行该比较动作的电路。
[0118]另外，邻接像素校正电路71具有平均值计算电路79，该平均值计算电路79基于三行存储器72计算上述中央行的前一行的像素信号与后一行的像素信号的平均值。该平均值计算电路79计算邻接像素Pwr的前一行和后一行的垂直方向上邻接的两个像素的像素信号的平均值Vav，输出到切换电路74的另一个输入端b，并且输出到第三阈值发生电路76c0[0119]第三阈值发生电路76c对平均值Vav乘以规定比例的系数C (例如C=0.7-0.8左
右)来产生第三阈值。
[0120]比较器73在成为上述邻接像素Pwr的像素信号的信号值为阈值以下的比较结果的判断信息的情况下，进行切换使得选择输入端b，平均值计算电路79的平均值Vav的图像信号代替邻接像素Pwr的图像信号而经由切换电路74输出到亮点校正电路22。此外，也可以根据连接在比较器73的阈值来进行切换使得代替输入端b而选择输入端C。
[0121]另一方面，比较器73在上述邻接像素Pwr的像素信号的信号值超过阈值的比较结果的情况下，进行切换使得选择输入端a，邻接像素Pwr的像素信号经由切换电路74输出到亮点校正电路22。
[0122]根据具有这种结构以及进行这种动作的本实施方式，除了第二实施方式的作用效果之外，还在如邻接像素Pwr由于亮点像素Pw引起的振铃、线缆传输引起的平缓而成为从原来的信号值偏离的值的情况下，进行以在该垂直方向上邻接的邻接像素的平均值进行替换的校正，因此能够校正为良好的画质。
[0123]此外，不限于使用阈值来判断振铃的影响是否为A/D变换电路19a的变换范围的下限侧的值以下的情况，也可以通过对上限侧也设定阈值并判断是否为该阈值以上来对邻接像素Pwr进行校正。
[0124]将上述的实施方式等局部地进行组合等而构成的实施方式也属于本发明。另外，在图1中示出了将AFE19设置在信号连接器9a内的例子，但是例如也可以配置在内窥镜2的操作部?内等其它的场所。另外，也可以将AFE19、A/D变换电路19a配置在处理器4内。
[0125]另外，还存在受限于图像信号较高的情况的课题。图像信号当然是通过(XD16来获得的，但是图像信号的最大值·有时在CCD16的每个像素中不同。
[0126]一般被称为饱和粗糙的现象。如果饱和粗糙是监视器5上看不见的结构则没有问题。例如，在能够充分获得CCD16的图像信号的最大值的情况下认为动态范围宽，只要在不出现饱和粗糙的范围内映现在监视器5即可。通常以饱和截断(saturation clipping)这样的方法以不会出现饱和粗糙的图像信号水平来加以限制。将饱和截断的阈值以上的图像信号替换为饱和截断的阈值。
[0127]如果能够在(XD16的全部的像素中获得饱和截断的阈值以上的图像信号则没有问题。
[0128]此外，在判断图像信号的最大值是否充分的情况下，应该考虑CCD16的图像信号是否在线性的范围内。如果是线性，则与接受的光量成比例地获得图像信号，从而能够制作恰当的图像。
[0129]一般当关注比线性范围的图像信号的最大值更高的信号水平时，在每个像素中以非线性获得对于光量的信号，认为成为饱和粗糙。
[0130]由此，在(XD16的图像信号的最大值不充分而在几个像素中低于饱和截断的阈值的情况下，导致在监视器5中看到饱和粗糙。
[0131]另外，此时，有时到显示于监视器5为止的图像处理中的增益调整(包含白平衡调整)、伽马校正产生影响而导致饱和粗糙显著。
[0132]此外，这样的现象对(XD16性能的依赖性强，因此希望根据(XD16的特征来对应。该现象不是依赖于CCD16的个体差而是依赖于CCD16的种类(像素数的不同、动作频率的不同)。另外，该现象有时根据CCD16的种类而改变，存在不出现饱和粗糙在纵向上连续这种特征的现象。
[0133]针对这种课题，可以在存储器27中存储在(XD16中会引起饱和粗糙(简记为未饱和像素)那样的像素的位置，根据该位置信息进行插值(校正)。插值(校正)方法只要如到目前为止所述那样应用使用了周围像素的平均值即可。根据图10来说明该方法。图10示出成为插值(校正)对象的(以斜线表示)未饱和像素以及与未饱和像素邻接的周边八个像素(A?H)。此外，以下将像素I (I=A?H)的像素值也简单地通过I来表示。
[0134]作为对未饱和像素进行简单插值的方法，能够单纯地采用使用周围所有像素的平均值，在这种情况下，通过(A+B+C+D+E+F+G+H)+8来求出。另外，在未饱和像素出现在上下方向上连续的特征的情况下，设为以下的平均值。
[0135]在这种情况下，通过(A+C+2D+2E+F+H)+8来求出。通过代替像素B和G而使用像素D和E，平均值不会变小，能够以充分高的信号水平来进行插值。同样地，如果在周围的像素中存在不适合求出平均值的像素，则通过代替它而替换为恰当的像素能够进行恰当的插值。
[0136]插值主要依赖于通过(XD16产生的未饱和像素的特征。因而，只要根据(XD16的种类来改变平均值的计算方法即可。
[0137]在未饱和像素的插值方法中使用了上述位置信息，但是由于存储容量有限，因此希望有效地进行插值。具体地说，将使用了位置信息的插值和没有使用位置信息的插值进行组合。
[0138]首先，为了准备上述图像位置，对于对象像素，在图像信号超过插值用阈值(例如90IRE)而低于高亮度判断的阈值(96IRE)的情况下，使其位置信息存储到存储器27。此外，IIRE与7.14mV的电平相当。
[0139]具体地说，希望在制造(XD16并出厂时的检查中来对应。这是因为需要准确地测量图像信号或向CCD16提供恰当的光。
[0140]在基于上述位置信息的像素的位置，当图像信号超过了插值用阈值时执行插值来改善饱和粗糙。由此，能够将理应饱和的图像信号改变为充分的饱和。当图像信号小于插值用阈值时，不饱和而没有问题，因此不进行插值。
[0141]接着，在不基于上述位置信息的像素的位置，对于对象像素，在超过了高亮度判断的阈值时还使用未饱和判断的阈值(98IRE)来进行判断。在该判断中，如果是98IRE?100IRE则不进行插值，如果是96IRE?98IRE则进行插值。
[0142]在98IRE?100IRE时不进行插值是因为已几乎饱和因而饱和粗糙不明显。由此能够只在需要的情况下有效地进行插值。
[0143]此外，在存储器27中存储亮点像素的位置和未饱和像素的位置的情况下，只要将知道是哪个的标志设置到MSB(16bit数据的最上位bit)或分开存储区域即可。
[0144]另外，目前为止是使用像素的位置信息的方法和没有使用的方法的组合，但是假如存在没有像素的位置信息的内窥镜，则只要以上述说明的不使用像素的位置信息的方法来进行插值即可。
[0145]例如，可举出在低于高亮度判断的阈值的情况下以周边八个像素的平均值来替换的插值方法。[0146]本申请是以2012年4月10日向日本国申请的日本特愿2012-89437号为主张优先权的基础的申请，上述的公开内容引用到本申请的说明书、权利要求书、附图中。
【权利要求】
1.一种摄像装置，其特征在于，具备: 摄像元件，其具有为了拍摄被摄体而二维状排列的多个像素，该摄像元件输出由该多个像素拍摄到的像素信号； 亮点位置信息存储部，其存储在上述摄像元件中存在的作为缺陷像素的亮点像素的位置信息； 摄像元件驱动部，其通过对上述摄像元件施加传输信号来沿着规定的方向使构成上述摄像元件的上述多个像素输出上述像素信号；以及 亮点校正部，在根据从上述亮点位置信息存储部读出的上述亮点像素的位置信息判断为通过上述传输信号的施加而从上述摄像元件输出的上述像素信号为亮点像素的像素信号时，基于根据七个像素计算出的亮点校正值来对被判断为上述亮点像素的像素的像素信号进行亮点校正，该七个像素为从上述摄像元件输出的、包围被判断为上述亮点像素的像素的周围八个像素的像素信号中的、除了在被判断为上述亮点像素的像素的一个像素之后输出的邻接像素的像素信号之外的七个像素。
2.根据权利要求1所述的摄像装置，其特征在于， 上述亮点校正部具备: 亮点校正电路，其针对被判断为上述亮点像素的像素，将上述七个像素的像素信号的平均值计算为上述亮点校正值；以及 选择器，其根据基于上述亮点位置信息存储部的上述亮点像素的位置信息的切换信号，在输入了没有被判断为上述亮点像素的普通像素的情况下，选择该普通像素的像素信号进行输出，在输入了被判断为上述亮点像素的像素的像素信号的情况下，选择由上述亮点校正电路计算出的上述亮点校正值的像素信号进行输出。
3.根据权利要求1所述的摄`像装置，其特征在于，具有: 线缆，其传输构成上述摄像元件的各像素的模拟的像素信号；以及模拟数字变换部，其将通过上述线缆传输的上述模拟的像素信号变换为数字的像素信号而输出到上述亮点校正部， 还具有加法运算校正部，该加法运算校正部对从被判断为上述亮点像素的像素起在成为一个像素数以上的规定的像素数之后输出的规定的像素的像素信号，进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的校正。
4.根据权利要求2所述的摄像装置，其特征在于，具有: 线缆，其传输构成上述摄像元件的各像素的模拟的像素信号；以及模拟数字变换部，其将通过上述线缆传输的上述模拟的像素信号变换为数字的像素信号而输出到上述亮点校正部， 还具有加法运算校正部，该加法运算校正部对从被判断为上述亮点像素的像素起在成为一个像素数以上的规定的像素数之后输出的规定的像素的像素信号，进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的校正。
5.根据权利要求3所述的摄像装置，其特征在于， 还具备校正信息存储部，该校正信息存储部预先存储从被判断为上述亮点像素的像素起在上述规定的像素数之后输出的上述规定的像素的位置与上述规定比例的校正信息，其中，上述加法运算校正部使用上述校正信息存储部的上述位置的信息，在上述规定的像素的像素信号被输入到该加法运算校正部的定时，对该像素信号进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的加法运算校正。
6.根据权利要求4所述的摄像装置，其特征在于， 还具备校正信息存储部，该校正信息存储部预先存储从被判断为上述亮点像素的像素起在上述规定的像素数之后输出的上述规定的像素的位置与上述规定比例的校正信息， 其中，上述加法运算校正部使用上述校正信息存储部的上述位置的信息，在上述规定的像素的像素信号被输入到该加法运算校正部的定时，对该像素信号进行与被判断为上述亮点像素的像素的像素信号值的规定比例相加的加法运算校正。
7.根据权利要求5所述的摄像装置，其特征在于，还具备: 判断部，其使用阈值判断在被判断为上述亮点像素的像素的一个像素之后输出的上述邻接像素的像素信号的信号值是否在应该进行校正的范围内；以及 邻接像素校正部，其在上述判断部判断为应该进行校正的情况下，对上述邻接像素的像素信号进行如下的校正:以在垂直于上述规定的方向的方向上与该邻接像素邻接的两个像素的像素信号的平均值替换上述邻接像素的像素信号。
8.根据权利要求6所述的摄像装置，其特征在于，还具备: 判断部，其使用阈值判断在被判断为上述亮点像素的像素的一个像素之后输出的上述邻接像素的像素信号的信号值是否在应该进行校正的范围内；以及 邻接像素校正部，其在上述判断部判断为应该进行校正的情况下，对上述邻接像素的像素信号进行如下的校正:以在垂直于上述规定的方向的方向上与该邻接像素邻接的两个像素的像素信号的平均值替换上述邻接像素的像素信号。·
9.根据权利要求5所述的摄像装置，其特征在于， 上述加法运算校正部设置在上述亮点校正部的前级侧，上述亮点校正部对上述加法运算校正部进行加法运算校正之后的像素信号进行上述亮点校正。
10.根据权利要求7所述的摄像装置，其特征在于， 上述加法运算校正部设置在上述亮点校正部的前级侧，上述亮点校正部对上述加法运算校正部进行加法运算校正之后的像素信号进行上述亮点校正。
11.根据权利要求8所述的摄像装置，其特征在于， 上述判断部通过将上述邻接像素的像素信号的信号值与作为上述阈值的对与上述邻接像素邻接的上述两个像素的像素信号的平均值乘以规定系数所得到的值进行比较来进行上述判断。
12.根据权利要求5所述的摄像装置，其特征在于， 上述校正信息存储部针对被判断为上述亮点像素的一个像素，将作为上述规定的像素的位置而包含第一位置以及第二位置的多个位置、与上述第一位置以及上述第二位置相对应地表示上述规定比例的第一系数和第二系数预先存储为上述校正信息， 上述加法运算校正部针对上述第一位置以及上述第二位置的上述规定的像素，分别使用将上述第一系数和上述第二系数与被判断为上述亮点像素的像素的像素信号值分别相乘所得到的值来进行上述加法运算校正。
13.根据权利要求6所述的摄像装置，其特征在于， 上述校正信息存储部针对被判断为上述亮点像素的一个像素，将作为上述规定的像素的位置而包含第一位置以及第二位置的多个位置、与上述第一位置以及上述第二位置相对应地表示上述规定比例的第一系数和第二系数预先存储为上述校正信息， 上述加法运算校正部针对上述第一位置以及上述第二位置的上述规定的像素，分别使用将上述第一系数和上述第二系数与被判断为上述亮点像素的像素的像素信号值分别相乘所得到的值来进行上述加法运算校正。
14.根据权利要求3所述的摄像装置，其特征在于，具备: 内窥镜，其具备上述摄像元件和上述亮点位置信息存储部，一端连接在上述摄像元件的上述线缆插通该内窥镜；以及信号处理装置，上述线缆的另一端拆装自如地连接于该信号处理装置，该信号处理装置具备上述摄像元件驱动部和上述亮点校正部。
15.根据权利要求6所述的摄像装置，其特征在于，具备: 内窥镜，其具备上述摄像元件、上述亮点位置信息存储部以及上述校正信息存储部，一端连接在上述摄像元件的上述线缆插通该内窥镜；以及信号处理装置，上述线缆的另一端拆装自如地连接于该信号处理装置，该信号处理装置具备上述摄像元件驱动部和上述亮点校正部 。
【文档编号】H04N5/367GK103858422SQ201380003425
【公开日】2014年6月11日 申请日期:2013年4月9日 优先权日:2012年4月10日
【发明者】筒井启介, 大塚慎, 大河文行, 塙隆行 申请人:奥林巴斯医疗株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1