专利名称：图像处理方法及胶囊型内窥镜装置的制作方法
技术领域：
本发明涉及从由内窥镜装置拍摄到的体腔内的内窥镜图像中检测不适于诊断的图像，控制不适当的图像的显示和/或保存的图像处理方法及胶囊型内窥镜装置。
背景技术：
在医疗领域中，广泛使用X射线、CT、MRI、超声波观测装置、内窥镜装置等具有图像拍摄功能的医疗设备进行体腔内脏器的观察和诊断。在这种具有图像拍摄功能的医疗设备中，例如，内窥镜装置将细长的插入部插入体腔内，利用固体摄像元件等摄像单元拍摄通过设于该插入部的前端部的物镜光学系统而取入的体腔内的脏器图像。内窥镜装置以该摄像信号为基础，在监视器画面上显示体腔内脏器的内窥镜图像，手术医生根据显示在该监视器画面上的内窥镜图像进行观察和诊断。
该内窥镜装置可以直接拍摄消化器官粘膜图像，能够综合地观察粘膜的色调、病变形状、粘膜表面的细微结构等各种表观。
近年来，作为与该内窥镜装置同样地可期待实用性的、新的具有图像拍摄功能的医疗设备，正在开发胶囊型内窥镜装置。一般地，胶囊型内窥镜装置由胶囊型内窥镜、接收器和观察装置构成，胶囊型内窥镜在被检者从口部吞入并在体内的消化器官内行进的过程中拍摄消化器官内部，向体外发送该拍摄到的摄像信号，接收器在体外接收发送出的摄像信号，并记录存储该接收到的摄像信号，观察装置根据记录存储在该接收器中的摄像信号，在监视器上显示摄像图像。这种结构的胶囊型内窥镜装置例如有在日本特开2000-23980号公报中公开的装置。
在被检者将胶囊型内窥镜口服吞入后到被排出体外为止的期间中，所述胶囊型内窥镜装置拍摄体腔内部，向设于体外的接收器发送该拍摄到的摄像信号。从被检者吞入该胶囊型内窥镜到通过体腔内的食道、胃、十二指肠、小肠和大肠各个消化器官而被排出体外需要几个小时。例如，假设胶囊型内窥镜每秒拍摄两张(帧)图像发送给体外的接收器，从吞入该胶囊型内窥镜到排出体外花费了6小时，则胶囊型内窥镜在体腔内行进期间所拍摄的图像数量达43200张，非常庞大。如果全部记录这些图像，则存储装置需要非常大的容量，存在装置成本增加的问题。作为解决该问题的方法，例如可以考虑使用图像压缩处理来削减图像容量的方法。在该方法中，所记录的图像的像质劣化，难以观察粘膜表面的细微结构和微妙的色调变化。
并且，在观察装置上显示这样庞大数量的图像进行观察和诊断时，例如即使每秒显示10张图像，显示所有图像也需要长达72分钟的较长的时间。手术医生将要在这么长时间内观察所显示的摄像图像，对手术医生而言存在时间上负荷极大的问题。作为解决这种问题的方法，例如可以考虑增加每单位时间显示的图像数量来缩短观察时间的方法。在该方法中，从防止漏看病变部位和实现准确的观察诊断的角度考虑，每单位时间的显示图像数量存在极限，对手术医生而言缩短观察时间比较困难。
另一方面，通过胶囊型内窥镜装置拍摄的体腔内脏器的图像未必全部是适于诊断的图像。例如，可以列举极暗部位和晕光占据了视野的大部分的图像、过度接近或过度接触活体粘膜时看到的视野整体上呈红色/黄色等色调的图像(在内窥镜医生之间俗称为“红球”等的、在过度接近消化器管壁的状态下拍摄到的图像)、摄入了大肠中的粪便等残渣(异物)的图像等。这些不适于诊断的图像(以下称为不适当图像)在通常的内窥镜观察中经常被观察到。在与食物同样地基本利用消化器官的蠕动运动而移动并能够得到视野变化的胶囊型内窥镜中，由于停留，有可能连续出现相同的不适当图像。
发明内容
本发明的目的在于，提供一种可以判定拍摄被摄体而得到的图像是否是不适于观察和诊断的图像的图像处理方法，以及提供一种胶囊型内窥镜装置，其具有可以判定拍摄被摄体而得到的图像是否是不适于观察和诊断的图像的图像处理装置。
本发明的第1方式的图像处理方法包括以下步骤特征量计算步骤，对拍摄被摄体而得到的包含多种颜色信号的多个图像，计算各个图像的特征量；以及摄像状态判定步骤，对所述各个图像，根据计算出的所述特征量判定所述图像的拍摄状态。
本发明的第2方式的胶囊型内窥镜装置具有摄像装置，其拍摄被摄体而生成包含多种颜色信号的多个图像；图像处理装置，其对所述图像计算各个图像的特征量，对所述各个图像，根据计算出的所述特征量判定所述图像的拍摄状态，根据该判定结果进行处理的控制。
本发明的第3方式的胶囊型内窥镜装置具有图像生成单元，其拍摄被摄体而生成包含多种颜色信号的多个图像；特征量计算单元，其对所述图像计算各个图像的特征量；拍摄状态判定单元，其对所述各个图像，根据计算出的所述特征量来判定所述图像的拍摄状态；以及控制单元，其根据所述拍摄状态判定单元的判定结果进行处理的控制。
图1A是表示使用本发明的图像处理方法的胶囊型内窥镜装置1的概要结构的方框图。
图1B是表示使用本发明的图像处理方法的终端装置7的概要结构的方框图。
图2是说明胶囊型内窥镜装置1的胶囊型内窥镜3的概要结构的说明图。
图3是表示胶囊型内窥镜装置1的概要内部结构的方框图。
图4是说明从胶囊型内窥镜3发送的信号结构的说明图。
图5是说明胶囊型内窥镜3的位置检测的说明图。
图6是说明胶囊型内窥镜装置1的天线单元4的说明图。
图7是说明胶囊型内窥镜装置1的屏蔽夹克72的示意图。
图8是说明胶囊型内窥镜装置1的外部装置5在被检体上的佩戴状态的说明图。
图9是表示胶囊型内窥镜3的结构的方框图。
图10是说明有关暗部图像的判定的处理动作的流程图。
图11是说明有关晕光图像的判定的处理动作的流程图。
图12是说明有关异物图像的判定的处理动作的流程图。
图13是说明在计算表示像素色调的参数时使用的数组表的说明图。
图14是说明以表示像素的色调的两个参数为轴的二维区域中、活体粘膜表面像素和异物像素的分布区域的说明图。
图15是说明通过一系列的步骤判定暗部图像、晕光图像和异物图像时的处理动作的流程图。
图16是说明有关过度接近图像的判定的处理动作的流程图。
图17是说明有关其他观察不适当图像的判定的处理动作的流程图。
图18是说明在本实施方式中使用的数字滤波器的频率特性的简图。
图19A是说明晕光边缘边界部的频带滤波结果的变化的图，图19A是说明图像中的晕光位置的说明图。
图19B是说明图19A中的a-a’截面的像素值的分布图。
图19C是说明将频带滤波应用于图19A所示图像的结果的说明图。
图19D是说明图19C中的b-b’截面的像素值的分布图。
图20是说明有关不适当图像的判定的处理动作的流程图。
图21是说明终端装置7的图像显示动作的流程图。
图22是说明终端装置7的图像保存动作的流程图。
具体实施例方式
以下，参照
本发明的实施方式。
(第一实施方式)首先，使用
本发明的第一实施方式的胶囊型内窥镜装置及图像处理方法。首先，使用图1～图9说明本发明的第一实施方式的胶囊型内窥镜装置。图1A是表示使用本发明的图像处理方法的胶囊型内窥镜装置1的概要结构的方框图。图1B是表示使用本发明的图像处理方法的终端装置7的概要结构的方框图。图2是说明胶囊型内窥镜装置1的胶囊型内窥镜3的概要结构的说明图。图3是表示胶囊型内窥镜装置1的概要内部结构的方框图。图4是说明从胶囊型内窥镜3发送的信号结构的说明图。图5是说明胶囊型内窥镜3的位置检测的说明图。图6是说明胶囊型内窥镜装置1的天线单元4的说明图。图7是说明胶囊型内窥镜装置1的屏蔽夹克72的说明图。图8是说明胶囊型内窥镜装置1的外部装置5在被检体上的佩戴状态的说明图。图9是表示胶囊型内窥镜3的结构的方框图。
作为使用本发明的图像处理方法的摄像装置的胶囊型内窥镜装置1，如图1A所示，由胶囊型内窥镜3、天线单元4和外部装置5构成。胶囊型内窥镜3的具体情况将在后面叙述，其形成为从被检体即患者2的口吞入体腔内，通过蠕动运动在消化器官内行进的形状。并且，胶囊型内窥镜3具有在内部拍摄消化器官内部并生成其摄像图像信息的摄像功能、和向体外发送该摄像图像信息的发送功能。天线单元4的具体情况将在后面叙述，其设置在患者2的身体表面上。此外，天线单元4具有用于接收从所述胶囊型内窥镜3发送的摄像图像信息的多个接收天线11。外部装置5的外形形成为箱形形状，具体情况将在后面叙述，具有所述天线单元4接收到的摄像图像信息的各种处理、摄像图像信息的记录和基于摄像图像信息的摄像图像显示等功能。在该外部装置5的外壳表面设有显示所述摄像图像的液晶监视器12、进行各种功能的操作指示的操作部13。
并且，该外部装置5设有有关驱动电源用的电池余量的警告显示用LED、作为操作部13的电源开关。并且，也可以在胶囊型内窥镜3的内部具有使用了CPU和存储器的运算执行部，对接收到的和已记录的摄像图像信息实施后述的本发明的图像处理方法。
该外部装置5佩戴在患者2的身体上，并且如图1B所示，通过安装在托架6上而与作为图像处理装置的终端装置7连接。该终端装置7例如包括使用计算机的具有各种数据处理功能和存储装置(存储功能)的终端主体9；各种操作处理输入用的键盘8a和鼠标8b；以及作为显示各种处理结果的显示装置的显示器8c。该终端装置7的基本功能如下，通过托架6取入记录在所述外部装置5中的摄像图像信息，写入记录到内置于终端主体9的可重写的存储器、或可在终端主体9上自由装拆的可重写的半导体存储器等可移式存储器中，而且进行在显示器8c上显示该记录的摄像图像信息的图像处理。另外，存储在所述外部装置5中的摄像图像信息，也可以替代所述托架6而通过USB线缆等取入终端装置7中。这种托架6等是输入由胶囊型内窥镜3拍摄的图像的图像输入单元。
在该终端装置7的图像处理中，根据从所述外部装置5取入记录的摄像图像信息，选择根据时间经过而显示的图像，利用后述的本实施方式的图像处理方法检测不适于诊断的图像等。
下面，使用图2说明所述胶囊型内窥镜3的外形和内部结构。胶囊型内窥镜3形成为胶囊形状，由截面呈U字状的外壳部件14和在该外壳部件14的前端侧的开放端通过粘接剂而水密地安装的、由透明材料形成的大致半球形状的护罩部件14a构成。
在由该外壳部件14和护罩部件14a构成的胶囊形状的内部中空部中，在所述护罩部件14a的半球圆弧的中央部分的内部，取入经由护罩部件14a入射的观察部位像的物镜15被收纳配置在透镜框16中。在该物镜15的成像位置处，配置有作为摄像元件的电荷耦合元件(以下称为CCD)17。并且，在收纳所述物镜15的透镜框16的周围，发光放射照明光的4个白色系的LED 18配置在同一平面上(图中只示出两个LED)。在所述CCD 17后端侧的所述外壳部件14的中空部中配置有处理电路19，其进行以下处理，驱动控制所述CCD 17生成光电转换后的摄像信号，对该摄像信号实施规定的信号处理而生成摄像图像信号的摄像处理，以及控制所述LED18的亮灯/非亮灯动作的LED驱动处理；通信处理电路20，其把通过该处理电路19的摄像处理而生成的摄像图像信号转换为无线信号并进行发送；发送天线23，其向外部发送来自该通信处理电路20的无线信号；以及多个钮扣式电池21，其提供所述处理电路19和通信处理电路20的驱动用电源。
另外，CCD 17、LED 18、处理电路19、通信处理电路20和发送天线23配置在未图示的基板上。这些基板之间通过挠性基板连接。并且，在所述处理电路19中具有用于进行后述的图像处理的未图示的运算电路。即，如图3所示，所述胶囊型内窥镜3由利用所述CCD 17、LED 17和处理电路19构成的摄像装置43、包括所述通信处理电路20的发送器37以及发送天线23构成。
下面，使用图9说明所述胶囊型内窥镜3的摄像装置43的具体结构。摄像装置43由以下部分构成控制LED 18的亮灯及不亮灯动作的LED驱动器18A；控制CCD 17的驱动并进行光电转换后的电荷传送的CCD驱动器17A；处理电路19A，其使用从所述CCD 17传送来的电荷来生成摄像信号，且对该摄像信号实施规定的信号处理，生成摄像图像信号；开关19，其将来自电池21的驱动电源提供给所述LED驱动器18A、CCD驱动器17A、处理电路19A和发送器37；以及定时发生器19B，其向所述开关19和CCD驱动器17A提供定时信号。另外，开关19由以下开关组成接通/断开从电池21向所述LED驱动器18A的电源供给的开关19C；接通/断开向所述CCD 17、CCD驱动器17A和处理电路19A的电源供给的开关19D；以及接通/断开向所述发送器37的电源供给的开关19E。从电池21一直向所述定时产生器19B提供驱动电源。
这样构成的胶囊型内窥镜3的摄像装置43在开关19C～19E处于断开状态时，除定时发生器19B之外的部分处于非工作状态。在根据来自该定时发生器19B的定时信号而接通了所述开关19D时，处于从电池21向CCD 17、CCD驱动器17A和处理电路19A提供电源的工作状态。
在所述CCD 17的驱动初期，使CCD 17的电子快门动作，在去除不需要的暗电流后，定时发生器19B使开关19C接通，驱动LED驱动器18A，使LED 18亮灯，使CCD 17曝光。LED 18在CCD 17的预定曝光时间中亮灯，然后为了降低功耗，使开关19C断开，使LED 18熄灭。
通过CCD驱动器17A的控制向处理电路19A传送在所述CCD 17的曝光期间中蓄积的电荷。在处理电路19A中，根据从CCD 17传送来的电荷生成摄像信号，对该摄像信号实施预定的信号处理来生成内窥镜图像信号。CCD 17、CCD驱动器17A和处理电路19A构成图像生成单元。关于该内窥镜图像信号，在从发送器37发送的信号例如是模拟无线方式时，生成对CDS输出信号叠加了复合同步信号后的模拟摄像图像信号，输出给发送器37。此外，如果是数字无线方式，则在通过模拟/数字转换器把摄像图像信号转换为数字信号后，转换为串行信号，实施加扰等编码处理，向发送器37输出数字摄像图像信号。
该发送器37对从所述处理电路19A提供的模拟或数字摄像图像信号实施调制处理，从发送天线23无线发送到外部。此时，通过定时发生器19B对开关19E进行接通/断开操作，以仅在从所述处理电路19A输出了摄像图像信号时，向发送器37提供驱动电力。
另外，开关19E也可以控制为，在从处理电路19A输出摄像图像信号起经过预定时间后，向发送器37提供驱动电力。并且，还可以利用设于胶囊型内窥镜3中的未图示的pH传感器检测预定值的pH值，利用湿度传感器检测大于等于预定值的湿度。或者，也可以利用未图示的压力传感器或加速度传感器检测大于等于预定值的压力或加速度，从而检测到已被插入被检体即患者2的体腔内的情况，根据该检测信号，对开关19E进行控制以向发送器37提供电源。
另外，所述胶囊型内窥镜3的摄像装置43通常每秒拍摄像两张图像(每秒两帧＝2fps)，但是，例如在检查食道时，可以每秒拍摄15～30张图像(15fps～30fps)。具体地讲，在胶囊型内窥镜3中设置未图示的定时器电路，基于该定时器电路的定时器计数在预定时间以内时，进行每秒的拍摄张数较多的高速摄像。并且，在预定时间经过后，进行每秒的拍摄张数量较少的低速摄像，如此控制摄像装置43的驱动。或者，也可以在胶囊型内窥镜3接通电源时，同时使定时器电路工作，在患者2刚吞入后到通过食道为止的期间，控制为高速摄像。另外，还可以分别设置低速摄像用胶囊型内窥镜和高速摄像用胶囊型内窥镜，根据观察对象部位区分使用。
下面，说明设置在所述患者2的身体表面上的天线单元4。如图1A所示，在吞入胶囊型内窥镜3进行内窥镜检查时，患者2穿着设有由多个接收天线11构成的天线单元4的夹克10。该天线单元4如图6所示，例如将GPS中使用的贴片天线(patch antenna)那样的具有单向指向性的多个接收天线11配置为其指向性朝向患者2的体内方向。即，由于胶囊型内窥镜3的胶囊主体3D将停留在身体内，所以将所述多个天线11配置成包围该身体内的胶囊主体3D。通过使用这种指向性较高的天线11，从而不易受到来自身体内的胶囊主体3D以外的电波干扰妨碍的影响。
如图7所示，所述夹克10是利用电磁屏蔽纤维形成的屏蔽夹克72，覆盖设于患者2的身体表面的所述天线单元4、和通过腰带设在患者2的腰部的外部装置5的主体部5D。形成该屏蔽夹克72的电磁屏蔽纤维可以使用金属纤维、金属化学纤维、含硫化铜纤维等。另外，该屏蔽夹克72除夹克形状之外，还可以是背心和裙子形状。
此外，作为在所述屏蔽夹克72上安装所述外部装置5的示例，如图8所示，在所述外部装置5的外部主体5D上设置键孔74，将设于所述屏蔽夹克72上的键75插入所述键孔74中，由此可自由装卸地安装在腰带73上。或者，也可以仅在屏蔽夹克72上设置未图示的口袋，将外部主体5D收纳在该口袋中。或者，还可以在外部装置5的外部主体5D和屏蔽夹克72上设置魔术贴(magic tape)(注册商标)，利用该魔术贴(注册商标)进行安装固定。
即，通过将屏蔽夹克72穿着在配置有天线单元4的身体上，可以屏蔽对于天线单元4的来自外部的电波，使更加不易受到外部电波引起的干扰障碍的影响。
下面，使用图3说明所述天线单元4和外部装置5的结构。所述天线单元4由多个接收天线11a～11d和切换该天线11a～11d的天线切换开关45构成，这些接收天线接收从所述胶囊型内窥镜3的发送天线23发送出的无线信号。所述外部装置5由以下部分构成接收电路33，其进行把来自天线切换开关45的无线信号转换为摄像图像信号以及放大等的接收处理；信号处理电路35，其对由该接收电路33提供的摄像图像信号实施预定的信号处理，生成摄像图像的显示用信号和摄像图像数据；作为显示装置的液晶监视器12，其根据通过该信号处理电路35生成的摄像图像显示用信号，来显示摄像图像；作为存储装置的存储器47，其存储通过所述信号处理电路35所生成的摄像图像数据；以及天线选择电路46，其根据通过所述接收电路33接收处理后的无线信号的大小，控制所述天线切换开关45。
所述天线单元4的图中作为接收天线11a～11d示出的多个接收天线11接收从所述胶囊型内窥镜3的发送天线23以一定电波强度发送出的无线信号。该多个接收天线11a～11d由天线切换开关45根据来自所述外部装置5的天线选择电路46的天线选择信号进行控制，依次切换接收所述无线信号的接收天线。即，由通过所述天线切换开关45依次切换的每个接收天线11a～d接收到的无线信号被输出给所述接收电路33。在该接收电路33中，检测每个接收天线11a～11d的无线信号接收强度，计算各个接收天线11a～11d和胶囊型内窥镜3之间的位置关系，并且对该无线信号进行解调处理，将摄像图像信号输出给信号处理电路35。根据来自所述接收电路33的输出来控制所述天线选择电路46。
说明基于所述天线选择电路46的天线切换开关45的动作。如图4所示，从所述胶囊型内窥镜3发送的无线信号在摄像图像信号的1帧发送期间中，依次重复表示无线信号接收强度的接收强度信号的发送期间、即强度接收期间和摄像图像信号的发送期间、即视频信号期间来进行发送。
通过所述接收电路33，所述天线选择电路46被提供各个接收天线11a～11d接收到的接收强度信号的接收强度。所述天线选择电路46比较从所述接收电路33提供的各个天线11a～11d的接收强度信号的强度。然后，所述天线选择电路确定接收视频信号期间的摄像图像信号的最佳接收天线、即接收强度信号的强度最大的天线11i(i＝a～d)，生成并输出用于将天线切换电路45切换至该天线11i的控制信号。由此，在其他天线的接收强度信号的接收强度大于当前正在接收天线信号的天线时，从下一帧起切换视频信号期间的接收天线。
这样，在每当接收到来自胶囊型内窥镜3的无线信号时，比较摄像图像信号或接收强度信号的接收强度，通过接收到该比较结果的天线选择电路46，将接收强度最大的天线11i指定为图像信号接收用天线。由此，即使胶囊型内窥镜3在患者2的体内移动时，也能够利用可以在该移动位置检测出接收强度最大的信号的天线11来接收所取得的图像信号。并且，胶囊型内窥镜3在体内的移动速度被划分为非常慢的部分和较快的部分，所以不必总是对每次摄像动作进行1次天线切换动作，也可以在高速摄像模式等下针对多次摄像动作进行1次天线切换动作。
另外，胶囊型内窥镜3在患者2的体内移动，所以也可以按照适当的时间间隔从外部装置5发送作为电波强度检测结果的检测结果信号，根据该信号更新胶囊型内窥镜3发送时的输出。这样，即使胶囊型内窥镜3在患者2的体内移动时，也能够设定为适当的发送输出，可以防止无用地消耗电池21的能量，可以将信号的收发状态保持在合适状态。
下面，使用图5说明表示所述多个接收天线11和胶囊型内窥镜3的位置关系的信息的获取方法。另外，在图5中，以将胶囊型内窥镜3设定为三维坐标X、Y、Z的原点的情况为例进行说明。并且，为了简化说明，在以下的说明中使用所述多个接收天线11a～11d中的3个接收天线11a、11b、11c。此外，在以下的说明中，把接收天线11a与接收天线11b之间的距离设为Dab，把接收天线11b与接收天线11c之间的距离设为Dbc，把接收天线11a与接收天线11c之间的距离设为Dac。另外，这些接收天线11a～11c与胶囊型内窥镜3之间为预定的距离关系。
胶囊型内窥镜3发送的一定发送强度的无线信号由各个接收天线11j(j＝a、b、c)接收到时的接收强度，是距胶囊型内窥镜3(胶囊型内窥镜3的发送天线23)的距离Li(i＝a、b、c)的函数。具体地讲，取决于伴随电波衰减量的距离Li。因此，根据从胶囊型内窥镜3发送出的无线信号被接收天线11j接收到的接收强度，计算胶囊型内窥镜3与各个接收天线11j之间的距离Li。为了计算该距离Li，事前对所述天线选择电路46设定基于所述胶囊型内窥镜3和接收天线11j之间的距离的电波衰减量等相关数据。并且，把这样计算出的表示胶囊型内窥镜3和各个接收天线11j之间的位置关系的距离数据作为胶囊型内窥镜3的位置信息存储在所述存储器47中。以存储在该存储器47中的摄像图像信息和胶囊型内窥镜3的位置信息为基础，在后面叙述的所述终端装置7的图像处理方法中，对内窥镜观察结果的位置设定比较有用。
下面，使用图10～图21说明本发明的第一实施方式的胶囊型内窥镜装置1的作用及图像处理方法。图10是说明有关暗部图像的判定的处理动作的流程图。图11是说明有关晕光图像的判定的处理动作的流程图。图12是说明有关异物图像的判定的处理动作的流程图。图13是说明计算表示像素色调的参数时使用的数组表的说明图。图14是说明以表示像素色调的两个参数为轴的二维区域中的活体粘膜表面像素和异物像素的分布区域的说明图。图15是说明通过一系列步骤判定暗部图像、晕光图像和异物图像时的处理动作的流程图。图16是说明有关过度接近图像的判定的处理动作的流程图。图17是说明有关另一观察不适当图像判定的处理动作的流程图。图18是说明在本实施方式中使用的数字滤波器的频率特性的概略图。图19是说明晕光边缘边界部的频带滤波结果的变化的图，图19A是说明图像中的晕光位置的说明图。图19B是说明图19A中的a-a’截面的像素值的分布图。图19C是说明将频带滤波应用于图19A所示图像的结果的说明图。图19D是说明图19C中的b-b’截面的像素值的分布图。图20是说明有关不适当图像的判定的处理动作的流程图。图21是说明终端装置7的图像显示动作的流程图。
本实施方式的图像处理方法用于从通过胶囊型内窥镜3得到的一系列图像中检测不适于观察和诊断的图像。并且，本实施方式的胶囊型内窥镜装置1使作为输出单元的终端装置7不以显示等方式输出通过应用上述图像处理方法而被识别为不适当的图像。通过使终端装置7不以显示等方式输出被判定为不适当的图像，可以削减观察所需要的时间。另外，这些不适当的图像不仅不适于在终端装置7上显示观察，而且也不适于作为实施各种图像处理的对象图像，所以也可以把本实施方式的图像处理方法用于从图像处理对象中排除不适当的图像。
以下说明的图像处理方法利用软件实现，可以在所述胶囊型内窥镜3、外部装置5或终端装置7中任一方使用该图像处理方法。此处，使用应用于使用了计算机的终端装置7的示例进行说明。并且，在图像处理方法的说明中，图像的大小由ISX×ISY(1≤ISX、ISY。例如，ISX＝640、ISY＝480)的红(R)、绿(G)、蓝(B)这三个面构成，各个面的像素的灰度数取8比特、即0～255的值。
在胶囊型内窥镜3中，在对活体粘膜表面进行拍摄、或同时包含活体粘膜表面以外的拍摄对象物而进行拍摄的情况下，在可以用于观察和诊断的图像中会混入拍摄到不适当图像。这些不适当图像在视野内缺乏或不包含活体粘膜表面的信息。因此，这些不适当图像本来就是没有保存和观察意义的图像，是在通常的内窥镜检查中经常被观察到的图像。不适当图像大致可以分为以下五种。
第一种是暗部图像。所说暗部图像指由于照明光量不足等，图像整体或大部分变暗淡，难以观察活体粘膜表面的图像或者明亮度不足的图像。第二种是晕光图像。所说晕光图像指晕光占据了图像中的大部分的图像或者晕光较多的图像，所述晕光是在照明和活体粘膜正对着接近的情况下、或存在粘膜或泡状液体等的情况下产生的。第三种是异物图像。所说异物图像指由于内窥镜观察的前处置不良或因年老造成的蠕动运动的降低等，使得大肠中作为活体粘膜表面以外的拍摄对象物的粪便等残渣(异物)占据了图像中的大部分的图像，或者视野内异物较多的图像。并且，作为活体粘膜表面以外的拍摄对象物，也包括消化器官内的水分和液体，例如因消化液等形成的泡等。第四种是过度接近图像。过度接近图像指在过度接近或接触活体粘膜时看到的、视野整体上呈红色和黄色等的图像(在内窥镜医生之间俗称为“红球”等的图像)。过度接近图像由于过度接近使得没有对准焦点，并且视野范围变狭小，所以不能获得发现病变和血管像等的观察结果。第五种是其他观察不适当图像。作为其他观察不适当图像，可以列举在胶囊型内窥镜浸入滞留于消化器官内的水分中的状态下拍摄的浸水图像，在胶囊型内窥镜移动、例如瞬时高速移动或脉动、或由于某种原因而产生急剧蠕动的状态下拍摄的视野摇动图像等。这些观察不适当图像大致为没有对准焦点的图像，难以观察血管像和活体粘膜表面结构。这种不适合于观察、即图像的拍摄状态不适合于观察的图像有时会成为提高观察和诊断的效率的障碍。
对于暗部图像、晕光图像和异物图像，分别检测暗部、晕光和异物的像素及区域，根据其像素数或占图像中的总体像素数的比率、或者这些像素的位置，判定是否是不适当图像。并且，对于过度接近图像和其他观察不适当图像，计算图像整体的色调和轮廓等活体粘膜表面结构成分量，根据该值判定是否是不适当图像。关于用于检测这些不适当图像的具体的图像处理方法，以下按照不适当图像的类型进行说明。另外，把R图像、G图像和B图像各个图像中的第i个像素的颜色信号的值表述为ri、gi和bi。并且，作为前处理，对各个图像应用公知的逆γ校正。
首先，使用图10说明用于判定暗部图像的处理动作。此处，暗部图像的判定根据暗部像素占图像中的总像素数的比例来进行。在所述外部装置5中，对所述胶囊型内窥镜3拍摄而发送给外部装置5的摄像图像信号进行预定的信号处理，并存储作为摄像图像信号数据。存储在该外部装置15中的摄像图像信号数据被传送存储在终端装置7中。该终端装置7根据所存储的摄像图像信号数据进行暗部图像的判定动作。
首先，在步骤S1中，将表示序号的i初始化为1，该序号用于在作为处理对象的第j个(j为大于等于1的整数)图像的摄像图像信号数据中确定像素。并且，将用于对被判定为暗部的像素数进行计数的计数器Cnt初始化为0。另外，将表示第j个图像是否是暗部图像的判定结果的标志D[j]初始化为“FALSE”。用于确定像素的序号i和计数器Cnt取1以上且ISX×ISY以下的整数值，对标志D[j]的值设定表示被判定为暗部图像的“TRUE”、或表示被判定为不是暗部图像的“FALSE”中的任一方。
接着，在步骤S2中，判定第i个像素是否属于暗部。具体地讲，把R图像、G图像和B图像的各个图像中的第i个像素的值设为ri、gi和bi，如果ri≤Td、gi≤Td且bi≤Td，则判定为属于暗部的像素。其中，Td表示各颜色的阈值，在本发明的实施方式中，例如设定为Td＝50。另外，R图像、G图像和B图像的Td设为相同的值，但由于活体粘膜通常具有R图像最明亮的趋势，所以也可以例如把对于ri的阈值设定得大于对gi、bi的阈值。此外，还可以将对于ri、gi、bi的阈值分别设定为不同的值。在判定为第i个像素是属于暗部的像素时，转入步骤S3，在判定第i个像素是不属于暗部的像素时，转入步骤S6。步骤S2和S3构成根据像素的值即图像的明亮度计算特征量的特征量计算步骤或特征量计算单元。
在步骤S3中，使Cnt的值增加1。然后，在步骤S4中，判定第j个图像是否是暗部图像。具体地讲，如果Cnt≥α，则判定为暗部图像。其中，α表示用于决定相对于总像素数存在多少暗部像素时判定为暗部图像的阈值，即用于决定图像合格与否的拍摄状态阈值。该α在本实施方式中，例如设定为α＝0.7×ISX×ISY，即设定为总像素数的70％的像素数。在Cnt≥α时，转入步骤S5，在Cnt＜α时，转入步骤S6。
在步骤S5中，将作为处理对象图像的第j个图像判定为暗部图像，设为D[j]＝“TRUE”，结束处理，转入对接下来的第(j+1)个图像的判定处理。步骤S4和S5构成拍摄状态判定步骤或拍摄状态判定单元。
在步骤S6中，判定是否已对所有像素进行了步骤S2的暗部像素判定。具体地讲，在i＜ISX×ISY时，在步骤S7中，将用于确定像素的序号i加1(i＝i+1)，对下一像素执行所述步骤S2～步骤S6，对其余像素进行暗部像素判定。在i＝ISX×ISY时，结束处理，转入对接下来的第(j+1)个图像的判定处理。
如以上说明的那样，通过步骤S1～S7的一系列处理，可以根据摄像图像的各个像素的像素值，判定处理对象图像是否是暗部图像。
接着，使用图11说明用于判定晕光图像的处理动作。此处，根据晕光像素占图像中总像素数的比例来进行晕光图像的判定。
首先，在步骤S11中，将表示序号的i初始化为1，该序号用于在作为处理对象的第j个(j为大于等于1的整数)图像的摄像图像信号数据中确定像素。此外，将用于对被判定为暗部的像素的数量进行计数的计数器Cnt初始化为0。另外，将表示第j个图像是否是晕光图像的判定结果的标志H[j]初始化为“FALSE”。用于确定像素的序号i和计数器Cnt取1以上且ISX×ISY以下的整数值。对标志H[j]的值设定表示被判定为晕光图像的“TRUE”、或表示被判定为不是晕光图像的“FALSE”中的任一方。
然后，在步骤S12中，判定第i个像素是否属于极端明亮的像素即晕光像素。具体地讲，把R图像、G图像和B图像的各个图像中的第i个像素的值设为ri、gi和bi，如果ri≥Th、gi≥Th和bi≥Th，则判定为晕光像素。其中，Th表示各颜色的阈值，在本发明的实施方式中，例如设定为Th＝240。另外，R图像、G图像和B图像的Th设为相同的值，但由于活体粘膜通常具有R图像最明亮的趋势，所以例如也可以把对于ri的阈值设定得大于对于gi、bi的阈值。并且，还可以将对于ri、gi、bi的阈值分别设定为不同的值。在判定为第i个像素是晕光像素时，转入步骤S13，在判定为第i个像素不是晕光像素时，转入步骤S16。
在步骤S13中，使Cnt的值增加1。然后，在步骤S14中，判定第j个图像是否是晕光图像。具体地讲，如果Cnt≥β，则判定为晕光图像。其中，β表示用于决定相对于总像素数存在多少晕光像素时判定为晕光图像的阈值，即用于决定图像好坏的拍摄状态阈值。在本实施方式中，该β例如设定为β＝0.5×ISX×ISY，即设定为总像素数的50％的像素数。在Cnt≥β时，转入步骤S15，在Cnt＜β时，转入步骤S16。步骤S12和S13构成根据像素的值即图像的明亮度计算特征量的特征量计算步骤或特征量计算单元。步骤S14和S15构成拍摄状态判定步骤或拍摄状态判定单元。
在步骤S15中，将作为处理对象图像的第j个图像判定为晕光图像，设为H[j]＝“TRUE”，结束处理，转入对接下来的第(j+1)个图像的判定处理。
在步骤S16中，判定是否已对所有像素进行了步骤S12中的晕光像素判定。具体地讲，在i＜ISX×ISY时，在步骤S17中，对确定像素的序号i加1(i＝i+1)，对下一像素执行所述步骤S12～步骤S16，对其余像素进行晕光像素判定。在i＝ISX×ISY时，结束处理，转入对接下来的第(j+1)个图像的判定处理。
如以上说明的那样，通过步骤S11～S17的一系列处理，可以根据摄像图像的各个像素的像素值，判定处理对象图像是否是晕光图像。
另外，在以上说明中，说明了分别判定暗部图像和晕光图像的处理动作，但也可以在一次的处理动作中判定这两种图像。例如，在使用图10说明的暗部图像的判定处理的步骤S2中，取代判定第i个像素是否属于暗部的步骤，而判定第i个像素是否是适当的拍摄状态的像素，即判定是否为既不是暗部像素也不是晕光像素的像素。然后，在步骤S4中，取代判定第j个图像是否是暗部图像的步骤，而判定第j个图像是否是适当的拍摄状态的图像，即判定是否为既不是暗部图像也不是晕光图像的图像。换言之，在上述示例中，把像素值在预定阈值以上或以下作为判断基准，但也可以把像素值既不在预定阈值以上也不在预定阈值以下作为判断基准。具体地讲，在步骤S2中，在Td＜ri＜Th、Td＜gi＜Th、Td＜bi＜Th时，将第i个像素判定为适当的拍摄状态的像素，转入步骤S3，否则转入步骤S6。并且，在步骤S4中，在Cnt＞ISX×ISY-α时，判定为第j个图像是适当的拍摄状态的图像，转入步骤S5，否则转入步骤S6。通过以上处理动作，可以在一次的处理动作中检测是暗部图像或晕光图像，检测观察不适当图像。另外，在上述示例中，当标志D[j]被设定为“TRUE”时，表示判定为第j个图像是适当的拍摄状态的图像。另一方面，当标志D[j]被设定为“FALSE”时，表示判定为第j个图像是暗部图像或晕光图像。
下面，使用图12说明用于判定异物图像的处理动作。与诊断无关的代表性异物是大肠中的粪便等的残渣。通常，在下部消化器官检查中，在检查前一天或当天摄取食物纤维量较少的饮食，或服用大量的缓泻剂，进行用于排泄大肠中的粪便等的前处置。但是，有时粪便等没有完全排泄而残留在大肠中，这些成为残渣。也会因年老造成的蠕动运动降低等产生这种残渣。通常的内窥镜检查是在医院进行，所以护士等一面确认被检查者的排泄状态一面进行检查。另一方面，使用胶囊型内窥镜3的消化器官检查与通常的内窥镜检查相比，前处置委托给被检查者的比例较高，所以由于未能进行充分排泄等原因，产生残渣的可能性较大。
在本实施方式中，根据粪便的色调，进行图像中是否存在残渣的判定、即异物图像的判定。首先，在步骤S21中，将表示序号的i初始化为1，该序号用于在作为处理对象的第j个(j为大于等于1的整数)图像的摄像图像信号数据中确定像素。并且，将用于对被判定为拍摄了异物的像素的数量进行计数的计数器Cnt初始化为0。另外，将表示第j个图像是否是异物图像的判定结果的标志A1[j]初始化为“FALSE”。用于确定像素的序号i和计数器Cnt取1以上且ISX×ISY以下的整数值。并且，对标志A1[j]的值设定表示被判定为异物图像的“TRUE”、或表示被判定为不是异物图像的“FALSE”中的任一方。
然后，在步骤S22中，计算表示第i个像素Pi的色调的参数。把R图像、G图像和B图像的各个图像中的第i个像素的值设为ri、gi和bi，表示像素Pi的色调的参数可以利用ri、gi和bi中的任一方或者两方以上的组合表述。此处，利用胶囊型内窥镜3拍摄活体粘膜表面得到的图像中的像素ri、gi和bi的值，一般是ri的值大于gi的值和bi的值。这是因为血色素(hemoglobin)对活体粘膜的色调的影响较大，血色素具有几乎不吸收形成R图像的长波段的光而反射该光，并且吸收形成G图像和B图像的中～短波段的光的特性。另一方面，粪便的残渣由于胆汁等消化液的影响等，一般呈现黄色乃至土黄色。即，作为像素Pi的色调，gi的值和ri的值大于bi的值。即，可以说粪便残渣的色调与活体粘膜表面的色调相比，gi的值相对较大。根据以上可知，可以根据该像素的色调判定像素Pi是拍摄了活体粘膜表面的像素还是拍摄了粪便等异物的像素，具体地讲，可以使用表示像素Pi中基于gi、bi与ri之比的色调的参数。作为表示像素Pi中基于上述比值的色调的参数，可以列举gi/ri、bi/ri、log(gi/ri)、log(bi/ri)、atan(gi/ri)、atan(bi/ri)、…等。其中，atan表示tan-1。在本实施方式中，把atan(gi/ri)和atan(bi/ri)用作表示色调的参数，分别表示为参数x、参数y。
作为步骤S22中的像素Pi的参数x和参数y的计算方法，可以将像素Pi的ri、gi和bi的值直接代入参数x和参数y的算式即atan(gi/ri)和atan(bi/ri)中计算。在本实施方式中，定义取0≤v1≤255的范围内的任意整数值的v1、和取0≤v2≤255的范围内的任意整数值的v2。并且，预先计算相对任意的v1和v2的atan(v1/v2)的值，准备图13所示的二维数组表。在计算参数x时，把像素Pi的gi的值设为v1，把ri的值设为v2，在上述数组表中，检索与其对应的atan(v1/v2)，把表中相应部位记述的数值作为参数x的值。例如，在像素Pi的gi的值为0、ri的值为3时，v1＝0，v2＝3。在图13的数组表中，与其对应的atan(v1/v2)是上面起第四行，其值为0。因此，此时的参数x的值为0。在计算参数y时，把像素Pi中的bi的值设为v1，把ri的值设为v2，在上述数组表中，检索与其对应的atan(v1/v2)，把表中相应部位记述的数值作为参数y的值。另外，atan(v1/v2)取0≤atan(v1/v2)＜90的范围内的实数值。在本实施方式中，为了简化处理，应用将所述范围分割为90部分而进行了离散化的近似值。例如，通过将小数点第1位四舍五入，使atan(v1/v2)的值近似于0～89的整数值。例如，在像素Pi的bi的值是255、ri的值是254时，v1＝255、v2＝254。在图13的数组表中，与其对应的atan(v1/v2)是下面起第二行，其值为45.112。因此，把将45.112的小数点第1位四舍五入得到的45作为参数y的值。步骤S22构成色调提取步骤。
接着，在步骤S23中，使用表示第i个像素Pi的色调的参数，判定像素Pi是否是拍摄了异物的像素。在本实施方式中的异物像素判定中，使用在异物像素判定之前预先准备的定义了异物像素的分布区域的区域图。该区域图是把参数x作为x轴、把参数y作为y轴的二维图，根据描绘了既已拍摄的许多图像中被判定为异物的像素和被判定为活体粘膜表面的像素的位置，定义各个分布区域。粪便等的残渣的黄色调具有较强的色调，gi的值取相对较大的值，所以异物像素被定义为例如分布于图14中的区域(1)所示的区域。此外，正常的活体粘膜表面被定义为例如分布于图14中的区域(2)所示的区域。x轴和y轴使用可以作为参数x和参数y的值的90个离散值，分别分割为90部分，由此区域图被划分为90×90块。另外，各个块被赋予了下面的值。即，区域(1)中包含的块被赋予1，区域(2)中包含的块被赋予2，不包含于任何区域的块被赋予0。此外，赋予给不包含于任何区域的块的值只要不是1即可，例如也可以赋予2。
像素Pi是否是拍摄了异物的像素的判定是这样进行的，在上述区域图中，利用在步骤S22中得到的表示像素Pi的色调的参数x的值和参数y的值所确定的位置坐标是否包含于异物像素的分布区域中，即是否属于其值被赋予了1的块。由此，分布区域的边界构成色调的阈值。在属于其值被赋予了1的块时，判定为像素Pi是拍摄了异物的像素，转入步骤S24。在属于被赋予了其他值的块时，判定为像素Pi不是拍摄了异物的像素，转入步骤S27。步骤S22、S23和S24构成计算基于图像色调的特征量的特征量计算步骤或特征量计算单元。
在步骤S24中，使Cnt的值增加1。接着，在步骤S25中，判定第j个图像是否是异物图像。具体地讲，如果Cnt≥γ，则判定为异物图像。其中，γ表示用于确定相对于总像素数存在多少异物像素时判定为异物图像的阈值，即用于确定图像好坏的拍摄状态的阈值。该γ在本实施方式中，例如设定为γ＝0.5×ISX×ISY，即设定为总像素数的50％的像素数。在Cnt≥γ时，转入步骤S26，在Cnt＜γ时，转入步骤S27。
在步骤S26中，将作为处理对象图像的第j个图像判定为异物图像，设为A1[j]＝“TRUE”，结束处理，转入对接下来的第(j+1)个图像的判定处理。步骤S25和S26构成拍摄状态判定步骤或拍摄状态判定单元。
在步骤S27中，判定是否已对所有像素进行了步骤S23的异物像素判定。具体地讲，在i＜ISX×ISY时，在步骤S28中，对用于指定像素的序号i加1(i＝i+1)，对下一像素执行所述步骤S22～步骤S27，对其余像素进行异物像素判定。在i＝ISX×ISY时，结束处理，转入对接下来的第(j+1)个图像的判定处理。
如以上说明的那样，通过步骤S21～S28的一系列处理，可以根据摄像图像的各个像素的像素值，判定处理对象图像是否是异物图像。
另外，在以上说明中，对分别判定暗部图像、晕光图像和异物图像的处理动作进行了说明，但也可以在一次的处理动作中判定这三种不适当图像。使用图15说明上述用于判定三种不适当图像的处理动作的一例。
首先，在步骤S31中，将表示序号的i初始化为1，该序号用于在作为处理对象的第j个(j为大于等于1的整数)图像的摄像图像信号数据中确定像素。并且，将用于对被判定为暗部的像素的数量进行计数的计数器CntD、用于对被判定为晕光的像素的数量进行计数的计数器CntH、和用于对被判定为拍摄了异物的像素的数量进行计数的计数器CntA初始化为0。另外，将表示第j个图像是否是不适当图像的判定结果的标志N[j]初始化为“FALSE”。用于确定像素的序号i和计数器CntD、CntH和CntA取1以上且ISX×ISY以下的整数值，对标志N[j]的值设定表示被判定为不适当图像的“TRUE”、或表示被判定为不是不适当图像的”FALSE”中的任一方。
然后，在步骤S32中，判定第i个像素是否属于暗部。步骤S32的处理与步骤S2的处理相同，所以省略处理的具体描述。在判定为第i个像素是属于暗部的像素时，转入步骤S33，在判定为第i个像素是不属于暗部的像素时，转入步骤S35，进行晕光像素判定。
在步骤S33中，使CntD的值增加1。接着，在步骤S34中，判定第j个图像是否是暗部图像。步骤S34的处理与步骤S4的处理相同，所以省略处理的具体描述。在判定为第j个图像是暗部图像时，转入步骤S42，在判定为第j个图像不是暗部图像时，转入步骤S35。
在步骤S35中，判定第i个像素是否属于晕光像素。步骤S35的处理与步骤S12的处理相同，所以省略处理的具体描述。在判定为第i个像素是属于晕光像素的像素时，转入步骤S36，在判定为第i个像素是不属于暗部的像素时，转入步骤S38，进行异物像素判定。
在步骤S36中，使CntH的值增加1。然后，在步骤S37中，判定第j个图像是否是晕光图像。步骤S37的处理与步骤S14的处理相同，所以省略处理的具体描述。在判定为第j个图像是晕光图像时，转入步骤S42，在判定为第j个图像不是晕光图像时，转入步骤S38。
在步骤S38中，计算表示第i个像素Pi的色调的参数。步骤S38的处理与步骤S22的处理相同，所以省略处理的具体描述。接着，在步骤S39中，使用表示第i个像素Pi的色调的参数，判定像素Pi是否是拍摄了异物的像素。步骤S39的处理与步骤S23的处理相同，所以省略处理的具体描述。在判定为第i个像素Pi是拍摄了异物的像素时，转入步骤S40，在判定为第i个像素Pi不是拍摄了异物的像素时，转入步骤S43。
在步骤S40中，使CntA的值增加1。接着，在步骤S41中，判定第j个图像是否是异物图像。步骤S41的处理与步骤S25的处理相同，所以省略处理的具体描述。在判定为第j个图像是异物图像时，转入步骤S42，在判定为第j个图像不是异物图像时，转入步骤S43。
在步骤S42中，判定作为处理对象图像的第j个图像是不适当图像，设为N[j]＝“TRUE”，结束处理，转入对接下来的第(j+1)个图像的判定处理。
在步骤S43中，判定是否已对所有像素进行了不适当像素判定。具体地讲，在i＜ISX×ISY时，在步骤S44中，将用于确定像素的序号i加1(i＝i+1)，对其余像素进行不适当像素判定。在i＝ISX×ISY时，结束处理，转入对接下来的第(j+1)个图像的判定处理。
如以上说明的那样，通过步骤S31～S44的一系列处理，可以根据摄像图像的各个像素的像素值，判定处理对象图像是否是被分类为暗部图像、晕光图像、异物图像中的任一方的不适当图像。另外，在上述示例中，对处理对象图像的各个像素，按照暗部像素、晕光像素、异物像素的顺序，判定是否属于这些像素，但是判定的顺序不限于此，例如也可以从异物像素和晕光像素开始判定。此外，还可以在一个步骤中进行暗部像素、晕光像素、异物像素的判定。
下面，使用图16说明用于判定过度接近图像的处理动作。在胶囊型内窥镜3过度接近或接触活体粘膜时，所拍摄的图像整体上呈红色/黄色等。并且，即使不接触，在过度接近活体粘膜时，所拍摄的图像没有对准焦点，成为难以发现病变、难以获得血像管等的观察结果的图像。
在本实施方式中，把图像的整体色调平均值和标准偏差作为特征量，根据这些特征量进行过度接近图像的判定。首先，在步骤S51中，将表示作为处理对象的第j个(j为大于等于1的整数)图像是否是过度接近图像的判定结果的标志A2[j]初始化为“FALSE”。另外，对标志A2[j]的值设定表示被判定为是过度接近图像的“TRUE”、或表示被判定不是过度接近图像的“FALSE”中的任一方。
然后，在步骤S52中，判定作为处理对象的第j个图像的所有像素是否为暗部像素或晕光像素。可以通过对1≤i≤ISX×ISY的范围内的所有像素Pi实施图10的步骤S2的判定处理来进行该步骤中的暗部像素的判定。并且，可以通过对1≤i≤ISX×ISY的范围内的所有像素Pi实施图11的步骤S12的判定处理来进行该步骤中的晕光像素的判定。
然后，在步骤S53中，对除了在步骤S52中被判定为暗部像素或晕光像素的像素之外的所有像素，计算gi/ri和bi/ri的值，计算作为计算对象的像素的平均值和标准偏差。在本实施方式中，把gi/ri的平均值、gi/ri的标准偏差、bi/ri的平均值和bi/ri的标准偏差这4个值作为特征量，进行识别分类，进行过度接近图像的判定。
然后，在步骤S54中，使用公知的线性判别函数，对处理对象图像进行识别分类。所说识别分类指预先定义被称为类的多个分类，使用根据被分类为这些多个类中的某一类的、被称为训练数据的已知数据计算出的特征量来生成线性判别函数，向该线性判别函数输入作为分类对象的数据的特征量，从而把对象数据分类为某一类，即确定图像好坏的拍摄状态阈值。作为识别分类的方法，除线性判别函数外，还可以列举神经网络等识别器。
在本实施方式中，作为类定义了两类，即正常拍摄了活体粘膜表面的图像、和过度接近或接触活体粘膜表面而拍摄的过度接近图像，作为训练数据，例如使用被分类为各个类的一百张图像生成线性判别函数。过度接近图像由于图像整体为红色或黄色，所以为了提高识别分类的精度，对于过度接近图像类，以其平均色调为基础细分为红色调的过度接近图像类和黄色调的过度接近图像类这两类，加上正常图像类一共为三类。另外，在过度接近图像中，在图像整体为红色的情况下，与ri相比，gi和bi的值较小，所以gi/ri的平均值和bi/ri的平均值均取较小的值，在图像整体为黄色的情况下，gi/ri的平均值相比于bi/ri的平均值取较大的值。此外，胶囊型内窥镜3由于过度接近活体粘膜表面使得没有对准焦点，或由于接触活体粘膜表面使得图像整体变模糊，所以gi/ri的标准偏差和bi/ri的标准偏差均取较小的值。线性判别函数根据各个类中的这些特征量的分布差异，将作为处理对象的图像分类为某一类。步骤S52、S53和S54构成特征量计算步骤或特征量计算单元。
然后，在步骤S55中，根据步骤S54的识别分类结果，判定处理对象图像是否是过度接近图像。在步骤S54中，在处理对象图像被分类为过度接近图像类、或将过度接近图像类细分后的红色调过度接近图像类和黄色调过度接近图像类中任一类时，判定为处理对象图像是过度接近图像，转入步骤S56。在步骤S54中，在处理对象图像被分类为正常图像类时，判定处理对象图像不是过度接近图像，结束处理，转入对接下来的第(j+1)个图像的判定处理。在步骤S56中，设为A2[j]＝“TRUE”，结束处理，转入对接下来的第(j+1)个图像的判定处理。步骤S55和S56构成拍摄状态判定步骤或拍摄状态判定单元。
如以上说明的那样，通过步骤S51～S56的一系列处理，根据摄像图像的各个像素的像素值计算特征量而进行识别分类，由此可以判定处理对象图像是否是过度接近图像。
下面，使用图17说明用于判定其他观察不适当图像的处理动作。消化器官内有时存在水分滞留的部位，如果胶囊型内窥镜3浸入这种部位中，有时会拍摄到难以观察活体粘膜表面的图像。并且，在胶囊型内窥镜3在消化器官内快速移动、或由于脉动等某种原因产生急剧蠕动的情况下，有时会拍摄到瞬时视野摇动的图像。这些图像大多是没有对准焦点的图像，难以观察血管像和活体粘膜表面的结构。
在本实施方式中，根据图像中包含的频率成分量，进行其他观察不适当图像的判定。另外，由于反映活体粘膜表面的结构成分最多的图像是G图像，所以在图像判定中只使用G图像。
首先，在步骤S61中，将表示作为处理对象的第j个(j为1以上的整数)图像是否是其他观察不适当图像的判定结果的标志A3[j]初始化为“FALSE”。另外，标志A3[j]的值被设定为表示判定是其他观察不适当图像的“TRUE”、或表示判定为不是其他观察不适当图像的“FALSE”中的任一方。
然后，在步骤S62中，对作为处理对象的第j个图像的所有像素判定是否是暗部像素或晕光像素，存储被判定是暗部像素或晕光像素的像素位置。可以通过对1≤i≤ISX×ISY范围内的所有像素Pi执行图10中的步骤S2的判定处理来进行该步骤的暗部像素判定。此外，可以通过对1≤i≤ISX×ISY范围内的所有像素Pi执行图11中的步骤S12的判定处理来进行该步骤的晕光像素判定。被判定为是暗部像素或晕光像素的像素位置按照下面所述存储。即，预先在存储器中确保ISX×ISY尺寸的二维数组区域，把与被判定为暗部像素的像素的坐标位置对应的数组元素的值设为1，把与被判定为晕光像素的像素的坐标位置对应的数组元素的值设为2，把与除此以外的像素的坐标位置对应的数组元素的值设为0。
接着，在步骤S63中，对图像整体应用带通滤波。作为带通滤波，使用公知的数字滤波器(FIR滤波器)，通过卷积运算处理仅提取血管像等构成活体粘膜表面结构的频带成分。在本实施方式中使用的数字滤波器的频率特性如图18所示，对于图像中的最高频率π，把f＝π/3作为峰值，具有抑制低频成分和高频成分的特性。步骤S63构成滤波步骤。
接着，在步骤S64中，对在步骤S63中得到的带通滤波结果，根据在步骤S62中判定并存储的暗部像素和晕光像素的位置信息进行修整处理，以便去除由于像素极暗或极亮而引起的对带通滤波结果的影响。在暗部像素即极暗像素中，S/N比恶化，所以相比于因活体粘膜表面结构而产生的成分，因噪声产生的成分对带通滤波结果的影响更大。因此，在暗部图像中不能正确提取活体粘膜表面结构的成分。
另外，晕光像素是极亮的像素，晕光区域的边缘边界的像素由于像素值在急剧变化，使得带通滤波结果产生较大变动。例如图19A所示，在图像的中心附近存在大致椭圆形状的晕光区域H1，位于通过晕光区域H1的图像水平方向的轴a-a’上的像素的像素值表现出图19B所示的变动(分布)。在对该图像实施带通滤波时，如图19C所示，在晕光区域的边缘边界产生影响区域H2，其水平方向的分布如图19D所示，在影响区域H2中，在极短距离之间产生急剧的变动。影响区域H2的扩散程度取决于在带通滤波中使用的数字滤波器的滤波器规格，在把滤波器规格设为N×N时为|N/2|。此处，||为高斯记号，表示对小数点以下进行四舍五入。另外，在本实施方式的频带滤波中具有把直流成分的振幅设为0的特性，因此处理结果有可能取负值。
针对带通滤波结果的修整处理按照下面所述进行。首先，在存储暗部像素和晕光像素的位置的二维数组区域中，对晕光像素区域应用公知的膨胀处理，由此把与属于因晕光而产生的影响区域H2的像素的坐标位置对应的数组元素的值替换为表示晕光像素的2。然后，在应用膨胀处理后的二维数组区域中，对于数组元素的值被赋予了1或2的像素，把通过应用带通滤波得到的提取成分的值替换为0。并且，利用计数器Cnt存储提取成分的值被替换为0的像素的数量。通过以上处理，可以根据通过带通滤波得到的结果，排除暗部像素和晕光像素的影响，修整为只提取血管像等构成活体粘膜表面结构的频带成分的图像。
然后，在步骤S65中，根据在截止到步骤S64的处理中得到的结构成分提取结果，计算结构成分特征量。在本实施方式中，把提取出的结构成分的方均值定义为结构成分特征量。方均值μ一般被称为频率功率，从图像中提取出的结构成分越多、换言之频率成分越多，其值越大，利用下式(1)计算。
式(1)μ={Σj=1ISYΣi=1ISXh2(i,j)}/{(ISX×ISY)-Cnt}]]>在式(1)中，h(i、j)是在步骤S64中得到的、将暗部像素、晕光像素、及受到晕光影响的像素排除后的各个像素的结构成分提取结果，Cnt是在步骤S64中提取成分的值被替换为0的像素的数量。步骤S65构成频率功率计算步骤。并且，步骤S63～步骤S65构成频率提取步骤。步骤S62～步骤S65构成特征量计算步骤或特征量计算单元。特别是步骤S64和S65构成计算基于图像的频率成分量或结构成分的特征量的特征量计算步骤或特征量计算单元。
接着，在步骤S66中，根据在步骤S65中得到的结构成分特征量，判定处理对象图像是否是其他观察不适当图像。具体地讲，如果μ≤Tf，则判定为处理对象图像是结构成分少且没有对准焦点的图像、即其他观察不适当图像，转入步骤S67。如果μ＞Tf，则判定为处理对象图像不是其他观察不适当图像，结束处理，转入对接下来的第(j+1)个图像的判定处理。此处，Tf是为了判定其他观察不适当图像而预先确定的阈值，即确定图像好坏的拍摄状态阈值。在步骤S67中，设为A3[j]＝“TRUE”，结束处理，转入对接下来的第(j+1)个图像的判定处理。步骤S66和S67构成拍摄状态判定步骤或拍摄状态判定单元。
如以上说明的那样，通过步骤S61～S67的一系列的处理，可以只提取摄像图像中包含的构成活体粘膜表面结构的频带成分，基于根据提取结果计算出的结构成分特征量，判定处理对象图像是否是其他观察不适当图像。
在本实施方式中，作为用于提取构成活体粘膜表面结构的频带成分的方法，应用了使用数字滤波器的带通滤波，但也可以应用拉普拉斯算子等公知的边缘检测滤波器。并且，作为结构成分特征量使用了提取出的结构成分的方均值，但也可以使用G图像中的像素值的标准偏差和方差等。活体粘膜表面结构越少时，标准偏差和方差的值越小。
并且，以上说明的用于判定其他观察不适当图像的一系列处理，也可以用作前面叙述的判定过度接近图像的处理。在本实施方式中，将过度接近图像和其他观察不适当图像分类为处于不同拍摄状态的图像，但是，双方也可以都定义为由于图像没有对准焦点而使得活体粘膜表面结构较少或不存在的图像，所以能够在上述处理中一次地进行判定。该情况时，可以实现处理的高速化。
下面，使用图20说明胶囊型内窥镜装置1的不适当图像的判定方法。所说不适当图像的判定，指判定处理对象图像是否属于被分类为五种不适当图像的任一方，使用前面叙述的五种不适当图像的判定处理进行判定。换言之，图20所示各个步骤的处理构成根据各个图像的拍摄状态进行分类的分类单元。
首先，在步骤S71中，将表示作为处理对象的第j个(j为大于等于1的整数)图像是否是不适当图像的判定结果的标志C[j]初始化为0。另外，标志C[j]的值被设定为表示判定为是不适当图像的1～4、或者表示判定不是不适当图像的0中任一值。接着，在步骤S72中，判定处理对象图像是否是暗部图像。步骤S72的处理采用使用图10说明的暗部图像判定处理即步骤S1～S7的一系列处理。在暗部图像判定处理的结果为D[j]＝“TRUE”、即判定为处理对象图像是暗部图像时，在后面的步骤S73中，设为C[j]＝1，结束不适当图像的处理，转入对接下来的第(j+1)个图像的判定处理。在暗部图像判定处理的结果为D[j]＝“FALSE”、即判定处理对象图像不是暗部图像时，转入步骤S74。
在步骤S74中，判定处理对象图像是否是晕光图像。步骤S74的处理采用使用图11说明的晕光图像判定处理即步骤S11～S17的一系列处理。在晕光图像判定处理的结果为H[j]＝“TRUE”、即判定为处理对象图像是晕光图像时，在后面的步骤S75中，设为C[j]＝2，结束不适当图像的处理，转入对接下来的第(j+1)个图像的判定处理。在晕光图像判定处理的结果为H[j]＝“FALSE”、即判定为处理对象图像不是晕光图像时，转入步骤S76。
在步骤S76中，判定处理对象图像是否是异物图像。步骤S76的处理采用使用图12说明的异物图像判定处理即步骤S21～S28的一系列处理。在异物图像判定处理的结果为A1[j]＝“TRUE”、即判定处理对象图像是异物图像时，在后面的步骤S77中，设为C[j]＝3，结束不适当图像的处理，转入对接下来的第(j+1)个图像的判定处理。在异物图像的判定处理的结果为A1[j]＝“FALSE”、即判定为处理对象图像不是异物图像时，转入步骤S78。
在步骤S78中，判定处理对象图像是否是过度接近图像。步骤S78的处理采用使用图16说明的过度接近图像判定处理即步骤S51～S56的一系列处理。在过度接近图像判定处理的结果为A2[j]＝“TRUE”、即判定为处理对象图像是过度接近图像时，在接下来的步骤S79中，设为C[j]＝4，结束不适当图像的处理，转入对接下来的第(j+1)个图像的判定处理。在过度接近图像判定处理的结果为A2[j]＝“FALSE”、即判定为处理对象图像不是过度接近图像时，转入步骤S80。
在步骤S80中，判定处理对象图像是否是其他观察不适当图像。步骤S80的处理采用使用图17说明的过度接近图像判定处理即步骤S61～S67的一系列处理。在其他观察不适当图像判定处理的结果为A3[j]＝“TRUE”、即判定为处理对象图像是其他观察不适当图像时，在接下来的步骤S81中，设为C[j]＝5，结束不适当图像的处理，转入对接下来的第(j+1)个图像的判定处理。在其他不适当图像判定处理的结果为A3[j]＝“FALSE”、即判定为处理对象图像不是其他不适当图像时，结束不适当图像的处理，转入对接下来的第(j+1)个图像的判定处理。
以上说明的不适当图像判定处理可以作为软件程序安装，并在本实施方式的终端装置7中执行。终端装置7通过托架6取入由胶囊型内窥镜3拍摄而记录在外部装置5中的一系列图像，在取入该图像时执行步骤S71～S81所示的不适当图像判定处理，将判定结果和所取入的图像相关联地进行保存。使用所保存的判定结果，从取入终端装置7的一系列图像中去除不适当图像，使显示器8c只显示其余的适于观察和诊断的图像，从而可以提高观察效率。
使用图21说明从一系列图像中去除不适当图像，使显示器8c显示其余图像的图像显示方法。另外，在本实施方式中，按照所取入图像的顺序，从取入终端装置7的最初第一张图像开始到最后一张图像，显示为静态图像，或者进行幻灯片连续显示。终端装置7包括未图示的中央处理装置(CPU)和存储器，执行以下说明的处理。因此，终端装置7具有执行该处理的程序，与该程序一起构成控制单元，控制与作为显示单元的显示器8c相关的以下处理。
终端装置7在执行程序时，首先在步骤S91中，将用于识别作为处理对象的图像的序号j初始化为1，该序号j表示该图像被取入终端装置7的顺序，把第一张被取入的图像作为处理对象。然后，在步骤S92中，根据使用图20说明的不适当图像判定结果，参照与第j个图像相关联而记录的C[j]的值。在C[j]＝0，即判定为第j个图像不是不适当图像时，转入步骤S93，使显示器8c显示第j个图像，转入接下来的步骤S94。在C[j]≠0，即判定为第j个图像是不适当图像时，使显示器8c不显示第j个图像，转入步骤S94。
在步骤S94中，把在第j个图像之后取入终端装置7的图像作为处理对象，设j＝j+1。然后，在步骤S95中，对取入终端装置7的所有图像，判定是否已进行上述的图像显示可否判定及图像显示处理。例如，把取入终端装置7的图像总数设为N，在j≤N时返回步骤S92，对其余图像进行同样的处理。在j＞N时，结束处理。以上的步骤S91～S95构成显示控制单元及显示控制步骤。
通过以上处理，在终端装置7中，可以从由胶囊型内窥镜3拍摄并通过外部装置5取入的图像中去除不适当图像，使显示器8c只显示适于观察和诊断的图像。
这样，在本实施方式的胶囊型内窥镜装置1和图像处理方法中，可以判定不适于观察和诊断的图像。并且，通过不显示判定为不适当的图像，可以削减观察和诊断所需要的时间，作业效率提高。
另外，为了防止万一漏看病变部位，有时需要利用显示器8c等确认被判定为不适当图像的图像。为了对应这种情况，可以对在终端装置7中工作的观察用程序，一并或针对所分类的每个类追加一览显示不适当图像的功能。例如，假设观察程序具有窗口和GUI(人机图形界面)，在窗口和GUI上设置暗部图像显示按钮等用于一览显示不适当图像的按钮，在利用鼠标8b点击了该按钮时，可以缩小并一览显示全部不适当图像、或暗部图像等属于特定分类的不适当图像。由此，可以高效地确认不适当图像。
此外，在本实施方式中，对图像中的所有像素同等对待进行了不适当图像的判定，但是，例如也可以对能够获得良好摄像条件的图像中央部区域的像素赋予比除此以外的周边区域像素大的权重来进行判定。具体地讲，在将图像整体分割为九部分时，将位于中央的块设定为图像中央部区域，例如在暗部图像的判定处理的步骤S2中，对属于图像中央部区域的像素，可以将用于判定是否是暗部像素的阈值设定为对属于其他区域像素阈值的1.1倍等较大的值，使暗部像素的判定条件更加严格。或者，在暗部图像的判定处理的步骤S2中，在判定为属于图像中央部区域的像素是暗部像素时，在后面的步骤S3中，在属于周边区域的像素为1时，把用于对暗部像素进行计数的Cnt的增量设为1.5进行加权。并且，也可以利用把图像中央部区域作为峰值的二维正态分布函数等进行加权。
另外，在本实施方式中，对由胶囊型内窥镜3拍摄而取入终端装置7的图像进行不适当图像的判定，但是，例如也可以对通过间疏等生成的缩小图像进行不适当图像的判定。此外，在本实施方式中，使用图像中的所有像素进行不适当图像的判定，但是，也可以使用从图像中适当采样的像素进行不适合图像的判定。该情况时，相比于属于图像周边区域的像素，可以从属于能够获得良好摄像条件的图像中央区域的像素中采样更多的像素，进行不适当图像的判定。另外，在本实施方式中，在终端装置7中进行不适当图像的判定和可否显示在显示器8c上的判定，但是，也可以在外部装置5中进行这些判定。此外，在本实施方式中，分类为适于观察和诊断的图像和不适当图像，但是，例如也可以根据暗部像素的比例连续评价对于观察和诊断的适当性并存储，根据需要进行参照。该情况时，也可以在终端装置7中设定用于判定是否保存该图像的阈值，通过比较评价值和阈值来判定可否保存。
(第二实施方式)下面，使用图22说明本发明的第二实施方式。图22是说明终端装置7的图像保存动作的流程图。本实施方式的图像处理方法从由胶囊型内窥镜4获得的一系列图像中检测不适于观察和诊断的图像，在内置于终端主体9的作为输出单元的大容量存储装置(通常使用硬盘驱动器)中不保存被判定为不适当图像的图像，由此可以削减在记录装置中保存的数据量，降低装置的成本，削减观察所需要的时间。本实施方式的胶囊型内窥镜装置1的整体结构与第一实施方式相同，所以对相同结构赋予相同标号并省略说明。并且，本实施方式中的各种不适当图像的判定处理与使用图10～图20说明的第一实施方式的处理相同，所以对相同结构赋予相同标号并省略说明。此处，只说明作为特征的、使存储装置保存从一系列图像中去除不适当图像后的其余图像的图像保存方法。
另外，在本实施方式中，与第一实施方式相同，一系列不适当图像的判定处理可以作为软件程序安装，在终端装置7中执行。在本实施方式中，终端装置7通过托架6取入由胶囊型内窥镜3拍摄并记录在外部装置5中的一系列图像。在取入该图像时，执行使用图20说明的步骤S71～S81所示的不适当图像判定处理，相关联地保存判定结果和所取入的图像。并且，通过使用所保存的判定结果，从取入终端装置7的一系列图像中去除不适当图像，只有其余的适于观察和诊断的图像被保存在终端主体9的存储装置中。即，可以削减保存在存储装置中的数据量，降低装置成本，而且可以提高观察效率。
使用图22说明从一系列图像中去除不适当图像，使终端装置7保存其余图像的图像保存方法。另外，在本实施方式中，与第一实施方式相同，按照所取入图像的顺序，从取入终端装置7的最初第一张图像开始到最后图像，作为静态图像进行显示，或者进行幻灯片连续显示。终端装置7包括未图示的中央处理装置(CPU)和存储器，执行以下说明的处理。因此，终端装置7具有执行该处理的程序，与该程序一起构成控制单元，控制与作为保存单元的硬盘等存储装置(未图示)相关的以下处理。
终端装置7在执行程序时，首先在步骤S101中，将用于识别作为处理对象的图像的序号j初始化为1，该序号j表示该图像被取入终端装置7的顺序，把第一张被取入的图像作为处理对象。然后，在步骤S102中，根据使用图20说明的不适当图像判定结果，参照与第j个图像对应记录的C[j]的值。在C[j]＝0，即判定为第j个图像不是不适当图像时，转入步骤S103，在内置于终端主体9的大容量存储装置(通常使用硬盘驱动器)中保存第j个图像，转入后面的步骤S104。在C[j]≠0，即判定为第j个图像是不适当图像时，不在内置于终端主体9的大容量存储装置中保存第j个图像，转入步骤S104。
在步骤S104中，把在第j个图像之后取入终端装置7的图像作为处理对象，设为j＝j+1。然后，在步骤S105中，对取入终端装置7的所有图像，判定是否已进行上述的图像显示可否判定及图像保存处理。例如，把取入终端装置7的图像总数设为N，在j≤N时返回步骤S102，对其余图像进行相同处理。在j＞N时，结束处理。以上步骤S101～S105构成保存控制单元及保存控制步骤。
通过以上处理，在终端装置7中，可以从由胶囊型内窥镜3拍摄并通过外部装置5取入的图像中去除不适当图像，在内置于终端主体9的大容量存储装置中只保存适于观察和诊断的图像。
这样，在本实施方式的胶囊型内窥镜装置1和图像处理方法中，可以判定不适于观察和诊断的图像。并且，本实施方式的胶囊型内窥镜装置1和图像处理方法通过不保存判定为不适合的图像，可以削减保存在存储装置中的数据量，可以降低装置成本。并且，本实施方式的胶囊型内窥镜装置1和图像处理方法可以削减观察和诊断所需要的时间，作业效率提高。
另外，在本实施方式中，不在内置于终端主体9的大容量存储装置中保存被判定为不适当图像的图像，但是，也可以对不适当图像实施高压缩率的压缩处理后保存在大容量存储装置中。在该情况下，在本实施方式中，也可以削减保存在存储装置中的数据量，可以降低装置成本。
此外，在本实施方式中，在终端装置7中进行不适当图像的判定、及可否保存在内置于终端主体9的大容量存储装置中的判定，但也可以在外部装置5中进行这些判定。
如以上说明的那样，本发明可以实现能够判定拍摄了被摄体的图像是否是不适于观察和诊断的图像的图像处理装置，以及具有图像处理装置的胶囊型内窥镜装置，该图像处理装置能够判定拍摄了被摄体的图像是否是不适于观察和诊断的图像。
根据以上实施方式，以下附记项目具有下述特征。
(附记项1)一种图像处理方法，该图像处理方法包括图像输入步骤，输入由多种颜色信号构成的图像；特征量计算步骤，计算表示所述输入图像的拍摄状态的特征量；以及分类步骤，根据通过所述特征量计算步骤计算出的特征量，对所述输入图像进行分类。
(附记项2)根据附记项1所述的图像处理方法，其特征在于，所述特征量计算步骤把所述输入图像的像素值作为特征量。
(附记项3)根据附记项1或2所述的图像处理方法，其特征在于，所述特征量计算步骤计算基于所述输入图像的像素值的特征量。
(附记项4)根据附记项1～3中任一项所述的图像处理方法，其特征在于，所述分类步骤进行基于所述输入图像是否是适当拍摄状态的图像的分类。
(附记项5)根据附记项4所述的图像处理方法，其特征在于，所述特征量计算单元计算基于所述输入图像的明亮度的特征量，并且所述分类步骤进行基于所述输入图像的明亮度的分类。
(附记项6)根据附记项4所述的图像处理方法，其特征在于，所述特征量计算单元计算基于所述输入图像的色调的特征量，并且所述分类步骤进行基于所述输入图像的色调的分类。
(附记项7)根据附记项5所述的图像处理方法，其特征在于，所述分类步骤根据计算步骤和所述特征量计算步骤计算出的特征量，把所述输入图像分类为处于不适当拍摄状态的图像，所述计算步骤计算所述输入图像中小于预定值的像素的像素数或在图像中的比例的至少一方。
(附记项8)根据附记项5所述的图像处理方法，其特征在于，所述分类步骤根据计算步骤和所述特征量计算步骤计算出的特征量，把所述输入图像分类为处于不适当拍摄状态的图像，所述计算步骤计算所述输入图像中大于预定值的像素的像素数或在图像中的比例的至少一方。
(附记项9)根据附记项6所述的图像处理方法，其特征在于，所述分类步骤根据计算步骤和所述特征量计算步骤计算出的特征量，把所述输入图像分类为处于不适当拍摄状态的图像，所述计算步骤计算所述输入图像中具有预定色调的像素的像素数或比例的至少一方。
(附记项10)根据附记项6所述的图像处理方法，其特征在于，所述特征量计算步骤计算基于所述输入图像的结构成分的特征量，并且所述分类步骤根据所述特征量计算步骤计算出的特征量，把所述输入图像分类为处于不适当拍摄状态的图像。
(附记项11)根据附记项7所述的图像处理方法，其特征在于，所述分类步骤把亮度不足的图像分类为处于不适当拍摄状态的图像。
(附记项12)根据附记项8所述的图像处理方法，其特征在于，所述分类步骤把晕光较多的图像分类为处于不适当拍摄状态的图像。
(附记项13)根据附记项9所述的图像处理方法，其特征在于，所述分类步骤把视野内异物较多的图像分类为处于不适当拍摄状态的图像。
(附记项14)根据附记项9或10所述的图像处理方法，其特征在于，所述分类步骤把过度接近拍摄对象的图像分类为处于不适当拍摄状态的图像。
(附记项15)根据附记项10所述的图像处理方法，其特征在于，所述特征量计算步骤还包括提取所述输入图像的频率成分的频率成分提取步骤，根据所述频率成分计算基于结构成分的特征量。
(附记项16)根据附记项15所述的图像处理方法，其特征在于，所述频率成分提取步骤还包括滤波步骤，应用提取所述图像中构成活体粘膜表面结构成分的频率成分的带通滤波；频率功率计算步骤，计算所述提取出的频率成分的频率功率，所述特征量计算步骤把所述频率功率计算步骤的计算结果作为特征量。
(附记项17)根据附记项15或16所述的图像处理方法，其特征在于，所述分类步骤把模糊图像分类为处于不适当拍摄状态的图像。
(附记项18)根据附记项1～17中任一项所述的图像处理方法，其特征在于，所述分类步骤通过将所述特征量与预定阈值进行比较，判定所述图像是否处于不适当的拍摄状态。
(附记项19)根据附记项1～17中任一项所述的图像处理方法，其特征在于，所述分类步骤利用使用了所述特征量的识别器，判定所述图像是否处于不适当的拍摄状态。
(附记项20)根据附记项1～19中任一项所述的图像处理方法，其特征在于，所述特征量计算步骤计算基于构成所述输入图像的多种颜色信号中的至少一方的明亮度的特征量。
(附记项21)根据附记项20所述的图像处理方法，其特征在于，所述多种颜色信号是RGB颜色信号。
(附记项22)根据附记项21所述的图像处理方法，其特征在于，所述特征量计算步骤计算基于各个像素的R、G、B像素值之比的特征量。
(附记项23)根据附记项19所述的图像处理方法，其特征在于，所述分类步骤中的识别器是线性判别函数。
(附记项24)根据附记项1～23中任一项所述的图像处理方法，其特征在于，所述所述输入图像是胶囊内窥镜图像。
(附记项25)一种胶囊型内窥镜装置，其特征在于，该胶囊型内窥镜装置具有图像输入单元，其输入通过胶囊内窥镜拍摄的图像；计算单元，其根据所述图像输入单元输入的图像计算特征量；分类单元，其根据所述特征量，基于拍摄状态对所述输入图像进行分类；显示所述图像的显示单元；以及显示控制单元，其根据所述分类单元的分类结果，确定是否显示所述输入图像。
(附记项26)一种胶囊型内窥镜装置，其特征在于，该胶囊型内窥镜装置具有图像输入单元，其输入通过胶囊内窥镜拍摄到的图像；计算单元，其根据所述图像输入单元输入的图像计算特征量；分类单元，其根据所述特征量，基于拍摄状态对所述输入图像进行分类；保存所述图像的保存单元；以及保存控制单元，其根据所述分类单元的分类结果，确定是否保存所述输入图像。
(附记项27)根据附记项25或26所述的胶囊型内窥镜装置，其特征在于，所述分类单元进行基于所述输入图像是否处于不适当拍摄状态的分类。
(附记项28)根据附记项27所述的胶囊型内窥镜装置，其特征在于，所述显示控制单元不显示根据所述分类单元的分类结果被分类为处于不适当拍摄状态的图像。
(附记项29)根据附记项27所述的胶囊型内窥镜装置，其特征在于，所述保存控制单元不显示根据所述分类单元的分类结果被分类为处于不适当拍摄状态的图像。
(附记项30)一种图像处理程序，其特征在于，使计算机发挥以下功能输入由多种颜色信号构成的图像的功能；计算表示所述输入图像的拍摄状态的特征量的特征量计算功能；分类功能，根据通过所述特征量计算功能计算出的特征量，把所述输入图像分类为适于观察的图像和除此以外的图像。
(附记项31)根据附记项30所述的图像处理程序，其特征在于，该程序还发挥根据所述分类功能的分类结果来判定是否显示所述图像的判定功能，根据所述判定结果控制所述图像的显示。
(附记项32)根据附记项30所述的图像处理程序，其特征在于，该程序还发挥根据所述分类功能的分类结果来判定是否保存所述图像的判定功能，根据所述判定结果保存所述图像。
权利要求
1.一种图像处理方法，其特征在于，该图像处理方法包括以下步骤特征量计算步骤，对于拍摄被摄体而得到的包含多种颜色信号的多个图像，计算各个图像的特征量；以及拍摄状态判定步骤，对于所述各个图像，根据计算出的所述特征量判定所述图像的拍摄状态。
2.根据权利要求1所述的图像处理方法，其特征在于，所述特征量计算步骤计算基于所述图像的明亮度和/或色调和/或频率成分的特征量。
3.根据权利要求2所述的图像处理方法，其特征在于，所述特征量计算步骤对于构成所述图像的各个像素，计算基于明亮度和/或色调和/或频率成分的特征量。
4.根据权利要求2所述的图像处理方法，其特征在于，所述特征量计算步骤根据构成所述图像的多种颜色信号中的至少一种所述颜色信号的明亮度，计算所述特征量。
5.根据权利要求2所述的图像处理方法，其特征在于，该图像处理方法还包括提取所述图像的色调的色调提取步骤，所述特征量计算步骤根据在所述色调提取步骤中提取出的所述图像的色调，计算所述特征量。
6.根据权利要求2所述的图像处理方法，其特征在于，该图像处理方法还包括提取所述图像的频率成分的频率成分提取步骤，所述特征量计算步骤根据在所述频率成分提取步骤中提取出的所述图像的频率成分，计算所述特征量。
7.根据权利要求6所述的图像处理方法，其特征在于，所述频率成分提取步骤还包括滤波步骤，应用提取所述图像中构成活体粘膜表面结构成分的频率成分的带通滤波；以及频率功率计算步骤，计算所述提取出的频率成分的频率功率，所述特征量计算步骤把所述频率功率计算步骤的计算结果作为所述特征量。
8.根据权利要求1所述的图像处理方法，其特征在于，所述拍摄状态判定步骤作为拍摄状态，进行所述图像的对于活体粘膜表面的拍摄状态和/或包含活体粘膜表面以外的拍摄对象物的拍摄状态的判定。
9.根据权利要求8所述的图像处理方法，其特征在于，所述拍摄状态判定步骤作为对于活体粘膜表面的拍摄状态，判定暗部和/或晕光和/或由于过度接近、浸水或移动造成的失焦。
10.根据权利要求8所述的图像处理方法，其特征在于，所述拍摄状态判定步骤作为活体粘膜表面以外的拍摄对象物，判定消化器官内的残渣和/或泡和/或液体。
11.根据权利要求9或10所述的图像处理方法，其特征在于，所述拍摄状态判别步骤根据所述图像中小于预定值的像素的像素数和所述图像中小于所述预定值的像素的比例中的至少一方、和所述特征量计算步骤计算出的所述基于明亮度的特征量，将所述图像分类为处于不适当拍摄状态的暗部图像。
12.根据权利要求9或10所述的图像处理方法，其特征在于，所述拍摄状态判别步骤根据所述图像中大于预定值的像素的像素数和所述图像中大于所述预定值的像素的比例中的至少一方、和所述特征量计算步骤计算出的所述基于明亮度的特征量，将所述图像分类为处于不适当拍摄状态的晕光图像。
13.根据权利要求9或10所述的图像处理方法，其特征在于，所述拍摄状态判别步骤根据所述图像中具有预定色调的像素的像素数和所述图像中具有所述预定色调的像素的比例中的至少一方、和所述特征量计算步骤计算出的所述基于色调的特征量，将所述图像分类为处于不适当拍摄状态的图像。
14.根据权利要求9或10所述的图像处理方法，其特征在于，所述拍摄状态判别步骤根据使用了所述基于色调的特征量的线性判别函数，来判定所述图像是否处于不适当的拍摄状态。
15.根据权利要求9或10所述的图像处理方法，其特征在于，所述拍摄状态判定步骤将所述基于频率的特征量与预定的阈值进行比较，由此判定所述图像是否处于不适当的拍摄状态。
16.一种胶囊型内窥镜装置，其特征在于，该胶囊型内窥镜装置具有摄像装置，其拍摄被摄体而生成包含多种颜色信号的多个图像；以及图像处理装置，其对所述图像计算各个图像的特征量，对于所述各个图像，根据计算出的所述特征量来判定所述图像的拍摄状态，根据该判定结果进行处理的控制。
17.根据权利要求16所述的胶囊型内窥镜装置，其特征在于，该胶囊型内窥镜装置还具有保存所述图像的存储装置和显示所述图像的显示装置，所述图像处理装置控制与所述存储装置和/或显示装置相关的处理，并且对于被判定为处于包括活体粘膜表面以外的拍摄状态的图像，控制为不进行保存和/或显示。
18.一种胶囊型内窥镜装置，其特征在于，该胶囊型内窥镜装置具有图像生成单元，其拍摄被摄体而生成包含多种颜色信号的多个图像；特征量计算单元，其对于所述图像计算各个图像的特征量；拍摄状态判定单元，其对于所述各个图像，根据计算出的所述特征量判定所述图像的拍摄状态；以及控制单元，其根据所述拍摄状态判定单元的判定结果进行处理的控制。
19.根据权利要求18所述的胶囊型内窥镜装置，其特征在于，该胶囊型内窥镜装置还具有保存所述图像的保存单元和显示所述图像的显示单元，所述控制单元控制与所述图像的保存单元和/或显示单元相关的处理，并且对于被所述拍摄状态判定单元判定为处于包括活体粘膜表面以外的拍摄状态的图像，控制为不进行保存和/或显示。
全文摘要
本发明提供一种图像处理方法及胶囊型内窥镜装置。其课题在于，提供一种可以判定摄像了被摄体的图像是否是不适于观察和诊断的图像的图像处理方法。本发明的图像处理方法包括以下步骤特征量计算步骤，对于拍摄被摄体而得到的包含多种颜色信号的多个图像，计算各个图像的特征量；以及拍摄状态判定步骤，对于所述各个图像，比较计算出的所述特征量和预先设定的用于确定图像好坏的拍摄状态阈值，从而判定所述各个图像的拍摄状态。
文档编号A61B1/04GK101043841SQ20058003597
公开日2007年9月26日 申请日期2005年10月27日 优先权日2004年10月29日
发明者西村博一, 长谷川润 申请人:奥林巴斯株式会社