专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及图像处理装置以及图像处理方法，特别涉及可以清除未能良好地对生 物体粘膜表面的像进行拍摄的图像的图像处理装置以及图像处理方法。
背景技术：
以往在医疗领域中，广泛地使用X射线、CT、MRI、超声波观测装置和内窥镜装置等 图像摄像设备进行观察。在这样的图像摄像设备中，内窥镜装置例如具有如下作用和结构， 即，具有插入作为生物体的体腔内的细长的插入部，通过固体摄像元件等拍摄由配置在该 插入部前端部上的物镜光学系统形成的体腔内的像，并将其作为摄像信号输出，根据该摄 像信号，在监视器等上显示体腔内的像的图像。然后，用户根据显示在上述监视器等上的体 腔内的像的图像，例如对体腔内的脏器等进行观察。而且，内窥镜装置可以直接拍摄消化道 粘膜的像。因此，用户可以综合观察例如粘膜的色调、病变的形状和粘膜表面细小的结构等 各种情况。而且，近些年来，作为可以期待具有与上述内窥镜装置大致相同的实用性的图像 摄像设备，例如提出有胶囊型内窥镜装置。一般地，胶囊型内窥镜装置构成为具有胶囊型 内窥镜，其通过由被检者从口中吞入而配置在体腔内，将拍摄到的该体腔内的像作为摄像 信号发送到外部；接收器，其在体腔外接收所发送的该摄像信号，之后，蓄积所接收到的该 摄像信号；以及观察装置，其用于观察体腔内的像的图像，其中该体腔内的像的图像是基于 蓄积在接收器中的摄像信号得到的。构成胶囊型内窥镜装置的胶囊型内窥镜伴随消化道的蠕动运动而前进，所以一般 例如从口部进入体腔内之后，需要经过几个小时左右的时间才能从肛门排出。而且，由于胶 囊型内窥镜在进入体腔内之后到被排出为止，几乎始终向接收器持续输出摄像信号，所以 例如几个小时内的动态图像中的、蓄积在接收器中的作为帧图像的静态图像的张数会变得 庞大。因此，从提高用户观察效率的观点出发，例如期待提出如下方案、即，在进行检测所蓄 积的图像中包含有出血部位等病变部位的规定图像的图像处理方法的基础上，进行不显示 或者不保存该规定的图像之外的图像的处理，从而削减图像的数据量。作为上述这种图像处理方法，例如具有PCT WO 02/073507A2号公报所述的方法。 作为专利文献1所述的用于检测生物体内对比色分析异常的方法是采用如下所述方法的 图像处理方法着眼于正常粘膜和出血部位之间的色调差异，根据将色调设定为特征量的 特征空间中距各平均值的距离，对图像的每个分割区域检测出血部位，即，检测包含作为病 变部位的出血部位的规定的图像。但是，PCT WO 02/073507A2号公报所述的图像处理方法具有如下课题。一般在消化道中并非总是仅仅对生物体粘膜表面的像进行拍摄，例如还会在混合
9存在大小便、气泡、粘液或者食物残渣等异物的像和生物体粘膜表面的像的状态下进行拍 摄。因此在并未考虑到上述这种异物的存在情况的PCT WO 02/073507A2号公报所述的图 像处理方法中，可以预见到例如有可能由于该异物而将正常粘膜误检为出血部位、以及有 可能会将该异物的像占据大部分画面的图像检测出来。其结果，在使用PCTWO 02/073507A2 号公报的图像处理方法进行观察的情况下，会产生由于病变部位的检测精度降低而导致观 察效率降低的课题。
发明内容
本发明是鉴于上述问题而完成的，其目的在于提供一种能提高用户的观察效率的 图像处理装置以及图像处理方法。本发明的第1方面的图像处理装置，其特征在于，该图像处理装置具有图像输入 部，其输入由多个颜色信号构成的医用图像；判定部，其判定上述输入的医用图像是否充分 拍摄到了生物体粘膜；以及控制部，其根据上述判定部的判定结果，控制上述医用图像的显 示或者存储中的至少一方。本发明的第2方面的图像处理装置，其特征在于，在上述第1方面的图像处理装 置中，该图像处理装置还具有图像分割部，其将上述医用图像分割为多个区域；特征量计 算部，其分别计算出上述医用图像的上述多个区域的特征量；区域分类部，其根据上述特征 量，识别上述多个区域分别属于多个类别内的哪个类别，并且根据其识别结果，对上述多个 区域分别进行分类；分类判定值计算部，其根据上述区域分类部的分类结果，计算被分类到 上述多个类别内的、规定类别中的区域组在上述多个区域中所占比例；以及图像分类部，其 根据由上述分类判定值计算部计算出的上述比例和与上述比例相关的规定阈值，对具有被 分类到上述规定类别中的上述区域组的上述图像进行分类，上述判定部根据上述图像分类 部的分类结果进行判定，即，当上述比例为规定阈值以下时，将上述医用图像判定为没有充 分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将上述医用图像判定为充分拍 摄到生物体粘膜的图像。本发明的第3方面的图像处理装置，其特征在于，在上述第2方面的图像处理装置 中，上述控制部进行控制，以不显示被上述判定部判定为没有充分拍摄到生物体粘膜的上 述医用图像。本发明的第4方面的图像处理装置，其特征在于，在上述第2方面的图像处理装置 中，上述控制部进行控制，以不存储被上述判定部判定为没有充分拍摄到生物体粘膜的上 述医用图像。本发明的第5方面的图像处理装置，其特征在于，在上述第3方面的图像处理装置 中，上述控制部进行控制，以不存储被上述判定部判定为没有充分拍摄到生物体粘膜的上 述医用图像。本发明的第6方面的图像处理装置，其特征在于，在上述第2方面的图像处理装置 中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分 拍摄到生物体粘膜的上述医用图像。本发明的第7方面的图像处理装置，其特征在于，在上述第3方面的图像处理装置 中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分
10拍摄到生物体粘膜的上述医用图像。本发明的第8方面的图像处理装置，其特征在于，在上述第4方面的图像处理装置 中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分 拍摄到生物体粘膜的上述医用图像。本发明的第9方面的图像处理装置，其特征在于，在上述第5方面的图像处理装置 中，该图像处理装置还具有图像删除部，该图像删除部删除被上述判定部判定为没有充分 拍摄到生物体粘膜的上述医用图像。本发明的第10方面的图像处理装置，其特征在于，在上述第2方面的图像处理装 置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第11方面的图像处理装置，其特征在于，该图像处理装置具有图像输 入部，其输入由多个颜色信号构成的多个医用图像；区域设定部，其对上述输入的医用图像 设定多个区域；检测部，其从上述多个区域中检测出怀疑存在病变的区域；区域判定部，其 判定由上述区域设定部设定的上述多个区域是否为拍摄到生物体粘膜的区域；以及检测结 果判定部，其根据上述区域判定部的判定结果，判定上述检测部的检测结果是否正确。本发明的第12方面的图像处理装置，其特征在于，在上述第11方面的图像处理装 置中，该图像处理装置还具有特征量计算部，其分别计算出上述医用图像的上述多个区域 的特征量；区域分类部，其根据上述特征量，把上述多个区域分别分类到多个类别内的某一 个类别中，其中，上述多个类别包括与生物体粘膜相关的类别和与非生物体粘膜相关的类 别；边缘检测部，其根据上述医用图像的绿色成分的浓度值，在上述多个区域中检测出具有 边缘的区域；出血部位判定部，其根据上述图像的红色成分的浓度值，判定上述具有边缘的 区域是否为包含出血部位的区域；以及分类结果判定部，其根据上述出血部位判定部的判 定结果，判定上述区域分类部的分类结果是否正确，上述检测部检测出包含上述出血部位 的区域作为怀疑存在病变的区域。本发明的第13方面的图像处理装置，其特征在于，在上述第12方面的图像处理装 置中，在根据上述区域分类部的分类结果将一个区域分类到与生物体粘膜相关的类别中的 情况下，上述区域判定部将这一区域判定为拍摄到生物体粘膜的区域。本发明的第14方面的图像处理装置，其特征在于，在上述第13方面的图像处理装 置中，在根据上述检测部的检测结果和上述区域判定部的判定结果，认为上述怀疑存在病 变的区域是上述拍摄到生物体粘膜的区域的情况下，上述检测结果判定部判定上述检测部 的检测结果正确。本发明的第15方面的图像处理装置，其特征在于，在上述第12方面的图像处理装 置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第16方面的图像处理装置，其特征在于，该图像处理装置具有图像输 入部，其输入时间上连续拍摄的多个医用图像；区域设定部，其对上述医用图像设定多个区 域；判定部，其对通过上述区域设定部设定的上述多个区域上的拍摄对象进行判定；确定 部，其根据上述判定部的判定结果，确定被拍摄到上述医用图像中的脏器；以及确定结果显 示部，其显示上述确定部的确定结果。本发明的第17方面的图像处理装置，其特征在于，在上述第16方面的图像处理装 置中，该图像处理装置还具有图像分割部，其将上述医用图像分割为多个区域；特征量计
11算部，其分别计算出上述医用图像的上述多个区域的特征量；区域分类部，其根据上述特征 量，识别上述多个区域分别属于多个类别内的哪个类别，并且根据其识别结果，对上述多个 区域分别进行分类；分类判定值计算部，其根据上述区域分类部的分类结果，计算被分类到 上述多类别内的、规定类别中的区域组在上述多个区域中所占比例；以及图像分类部，其根 据由上述分类判定值计算部计算出的上述比例和与上述比例相关的规定阈值，对具有被分 类到上述规定类别中的上述区域组的上述图像进行分类，上述确定部根据上述图像分类部 的分类结果，确定被拍摄到上述医用图像中的脏器。本发明的第18方面的图像处理装置，其特征在于，在上述第17方面的图像处理装 置中，上述多个类别至少具有胃粘膜类别、肠毛类别、以及大小便类别。本发明的第19方面的图像处理装置，其特征在于，在上述第18方面的图像处理装 置中，当上述规定类别为胃粘膜类别时，上述确定部判定被拍摄到上述医用图像中的脏器是胃。本发明的第20方面的图像处理装置，其特征在于，在上述第18方面的图像处理装 置中，当上述规定类别为肠毛类别时，上述确定部判定被拍摄到上述医用图像中的脏器是 小肠。本发明的第21方面的图像处理装置，其特征在于，在上述第18方面的图像处理装 置中，当上述规定类别为大小便类别时，上述确定部判定被拍摄到上述医用图像中的脏器 是大肠。本发明的第22方面的图像处理装置，其特征在于，在上述第17方面的图像处理装 置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第23方面的图像处理装置，其特征在于，该图像处理装置具有图像信 号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设备拍摄到的 图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设 备拍摄到的图像分割为多个区域；特征量计算部，其分别计算由上述图像分割部分割的多 个区域的特征量；第1区域分类部，其根据在上述特征量计算部中计算出的特征量和规定 的第1分类基准，将上述多个区域分别分类到多个类别内的某一个类别中；分类基准设定 部，其根据上述特征量和上述第ι区域分类部的分类结果，设定第2分类基准；以及第2区 域分类部，其根据上述特征量和上述第2分类基准，将上述多个区域分别分类到上述多个 类别内的某一个类别中。本发明的第24方面的图像处理装置，其特征在于，在上述第23方面的图像处理装 置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第25方面的图像处理装置，其特征在于，在上述第23方面的图像处理装 置中，上述第1区域分类部使用统计识别器将上述多个区域分别分类到上述多个类别内的 某一个类别中，其中上述统计识别器使用了确定上述第1分类基准的总体参数；上述第2区 域分类部使用统计识别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其 中上述统计识别器使用了确定上述第2分类基准的总体参数。本发明的第26方面的图像处理装置，其特征在于，该图像处理装置具有图像信 号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设备拍摄到的 图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设CN 101966071 A 备拍摄到的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的 多个区域的特征量；第1区域分类部，其根据在上述特征量计算部中计算出的特征量和规 定的第1分类基准，分别将上述多个区域分类到多个类别内的某一个类别中；评价值计算 部，其通过计算评价值，对由上述第1区域分类部得到的、上述多个区域中一个区域的分类 结果进行评价，其中，上述评价值是基于由上述第1区域分类部得到的、对位于上述一个区 域附近的区域的分类结果而得到的；以及第2区域分类部，其根据上述评价值计算部的评 价值，将上述一个区域分类到上述多个类别内的某一个类别中。本发明的第27方面的图像处理装置，其特征在于，在上述第26方面的图像处理装 置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第28方面的图像处理装置，其特征在于，该图像处理装置具有图像信 号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设备拍摄到的 图像而得到的；图像分割部，其根据上述图像信号输入部输入的图像信号，把由该医疗设备 拍摄到的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多 个区域的特征量；关注区域设定部，其把上述多个区域中的一个区域设定为关注区域；附 近外周区域检测部，其检测附近外周区域，其中上述附近外周区域是距上述关注区域有规 定距离的区域；大致圆形形状检测部，其根据上述特征量，检测在上述附近外周区域中存在 大致圆形形状的轮廓部的至少一部分的情况；以及区域提取部，其在通过上述大致圆形形 状检测部检测出上述大致圆形形状时，提取上述关注区域。本发明的第29方面的图像处理装置，其特征在于，在上述第28方面的图像处理装 置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第30方面的图像处理装置，其特征在于，在上述第28方面的图像处理装 置中，在判断为上述附近外周区域中的、存在上述大致圆形形状的轮廓部中的至少一部分 的区域的比例为规定阈值以上的情况下，上述大致圆形形状检测部检测大致圆形形状，上 述区域提取部提取出上述关注区域作为存在上述大致圆形形状的中央部的区域。本发明的第31方面的图像处理装置，其特征在于，在上述第29方面的图像处理装 置中，上述大致圆形形状为气泡。本发明的第32方面的图像处理装置，其特征在于，在上述第30方面的图像处理装 置中，上述大致圆形形状为气泡。本发明的第33方面的图像处理装置，其特征在于，该图像处理装置具有图像信 号输入部，其输入图像信号，其中，上述图像信号是基于由具有拍摄功能的医疗设备拍摄到 的图像而得到的；图像分割部，其根据上述图像信号输入部输入的图像信号，把由该医疗设 备拍摄到的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的 多个区域中的特征量；区域分类部，其根据在上述特征量计算部中计算出的特征量和规定 的分类基准，分别把上述多个区域分类到多个类别的某一个类别中；区域检测部，其从上述 多个区域中检测被分类到上述多个类别中、预先设定为具有明显的结构特征的类别的规定 类别中的区域；以及分类基准设定部，其根据在上述区域检测部中检测出的上述区域所具 有的上述特征量，设定上述区域分类部中的上述规定的分类基准。本发明的第34方面的图像处理装置，其特征在于，在上述第33方面的图像处理装 置中，上述规定类别具有气泡类别或者肠毛类别中的至少1个类别。
13
本发明的第35方面的图像处理装置，其特征在于，在上述第33方面的图像处理装 置中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第1方面的图像处理方法，其特征在于，该图像处理方法具有图像输入 步骤，输入由具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为多 个区域；特征量计算步骤，分别从上述多个区域中计算出特征量；以及区域分类步骤，根据 上述特征量，将上述多个区域分别分类为拍摄到生物体粘膜表面的区域或者拍摄到非生物 体粘膜的区域中的某一个。本发明的第2方面的图像处理方法，该图像处理方法具有图像输入步骤，输入由 具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为多个区域；特 征量计算步骤，分别从上述多个区域中计算出特征量；以及区域分类步骤，根据上述特征 量，将上述多个区域分别分类到多个不同类别内的某一类别中，该图像处理方法的特征在 于，在上述区域分类步骤中，把上述多个区域分别分类到拍摄到生物体粘膜表面的区域、拍 摄到非生物体粘膜的区域以及既不对应于上述生物体粘膜表面也不对应于上述非生物体 粘膜的区域中的某一个。本发明的第3方面的图像处理方法，该图像处理方法具有图像输入步骤，输入由 具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为多个区域；特 征量计算步骤，分别从上述多个区域中计算出特征量；区域分类步骤，根据上述特征量，将 上述多个区域分别分类到多个不同类别内的某一类别中；排他类别设定步骤，在上述多个 不同类别中，设定不允许混合存在于上述图像中的排他类别的组合；以及优先类别设定步 骤，设定要使上述排他类别的组合中的哪个类别优先，该图像处理方法的特征在于，在上述 区域分类步骤中，当存在分类到由上述排他类别设定步骤中设定的排他类别的组合中的某 一个类别中的区域时，将上述区域分类到在上述优先类别设定步骤中设定的类别中。本发明的第4方面的图像处理方法，其特征在于，在上述第3方面的图像处理方法 中，该图像处理方法还具有分类判定值计算步骤，在该分类判定值计算步骤中，根据上述区 域分类步骤的分类结果，计算被分类到上述排他类别的组合中所包含的类别的一个类别中 的区域组在上述多个区域中所占比例，在上述优先类别设定步骤中，根据由上述分类判定 值计算步骤计算出的上述比例和与上述比例相关的规定阈值进行比较，从而设定要使上述 排他类别的组合中的哪个类别优先。本发明的第5方面的图像处理方法，其特征在于，在上述第1方面的图像处理方法 中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第6方面的图像处理方法，其特征在于，在上述第2方面的图像处理方法 中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第7方面的图像处理方法，其特征在于，在上述第3方面的图像处理方法 中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第8方面的图像处理方法，其特征在于，在上述第1方面的图像处理方法 中，该图像处理方法还具有判定步骤，在该判定步骤中，根据上述区域分类步骤中的上述多 个区域各自的分类结果，判定上述图像是否拍摄到了生物体粘膜表面。本发明的第9方面的图像处理方法，其特征在于，在上述第2方面的图像处理方法 中，该图像处理方法还具有判定步骤，在该判定步骤中，根据上述区域分类步骤中的上述多
14个区域各自的分类结果，判定上述图像是否拍摄到了生物体粘膜表面。本发明的第10方面的图像处理方法，其特征在于，在上述第4方面的图像处理方 法中，该图像处理方法还具有判定步骤，在该判定步骤中，根据上述区域分类步骤中的上述 多个区域各自的分类结果，判定上述图像是否拍摄到了生物体粘膜表面。本发明的第11方面的图像处理方法，其特征在于，在上述第8方面的图像处理方 法中，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果， 计算被分类到上述多个不同的类别内的规定类别中的区域组在上述多个区域中所占比例； 以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关 的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述 判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规定阈值以下 时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将 上述图像判定为充分拍摄到生物体粘膜的图像。本发明的第12方面的图像处理方法，其特征在于，在上述第9方面的图像处理方 法中，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果， 计算被分类到上述多个不同的类别内的规定类别中的区域组在上述多个区域中所占比例； 以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关 的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述 判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规定阈值以下 时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将 上述图像判定为充分拍摄到生物体粘膜的图像。本发明的第13方面的图像处理方法，其特征在于，在上述第10方面的图像处理方 法中，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果， 计算被分类到上述多个不同的类别内的规定类别中的区域组在上述多个区域中所占比例； 以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关 的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述 判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规定阈值以下 时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规定阈值时，将 上述图像判定为充分拍摄到生物体粘膜的图像。本发明的第14方面的图像处理方法，其特征在于，该图像处理方法具有图像输 入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为 多个区域；特征量计算步骤，分别计算出上述多个区域中的特征量；区域分类步骤，根据上 述特征量，识别上述多个区域分别属于多个类别内的哪个类别，并且根据其识别结果，对上 述多个区域分别进行分类；以及拍摄脏器估计步骤，根据上述区域分类步骤中的分类结果， 估计上述医疗设备拍摄到的脏器。本发明的第15方面的图像处理方法，其特征在于，在上述第14方面的图像处理方 法中，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果， 计算被分类到上述多个类别内的规定类别中的区域组在上述多个区域中所占比例；以及图 像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关的规定 阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述拍摄脏器估计步骤中，根据上述图像分类步骤的分类结果，确定上述图像所拍摄到的脏器。本发明的第16方面的图像处理方法，其特征在于，在上述第15方面的图像处理方 法中，上述多个类别至少具有胃粘膜类别、肠毛类别、以及大小便类别。本发明的第17方面的图像处理方法，其特征在于，在上述第16方面的图像处理方 法中，当上述规定类别为胃粘膜类别时，上述确定部判定上述图像所拍摄到的脏器是胃。本发明的第18方面的图像处理方法，其特征在于，在上述第16方面的图像处理方 法中，当上述规定类别为肠毛类别时，上述确定部判定上述图像所拍摄到的脏器是小肠。本发明的第19方面的图像处理方法，其特征在于，在上述第16方面的图像处理方 法中，当上述规定类别为大小便类别时，上述确定部判定上述图像所拍摄到的脏器是大肠。本发明的第20方面的图像处理方法，其特征在于，在上述第14方面的图像处理方 法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第21方面的图像处理方法，其特征在于，该图像处理方法具有图像分 割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个 区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的所述 图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域的 特征量；第1区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的第1分类 基准，将上述多个区域分别分类到多个类别内的某一个类别中；分类基准设定步骤，根据上 述特征量和上述第1区域分类步骤的分类结果，设定第2分类基准；以及第2区域分类步 骤，根据上述特征量和上述第2分类基准，将上述多个区域分别分类到上述多个类别中的 某一个类别中。本发明的第22方面的图像处理方法，其特征在于，在上述第21方面的图像处理方 法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第23方面的图像处理方法，其特征在于，在上述第21方面的图像处理方 法中，在上述第1区域分类步骤中，使用统计识别器将上述多个区域分别分类到上述多个 类别内的某一个类别中，其中上述统计识别器使用了确定上述第1分类基准的总体参数； 在上述第2区域分类步骤中，使用统计识别器将上述多个区域分别分类到上述多个类别内 的某一个类别中，其中上述统计识别器使用了确定上述第2分类基准的总体参数。本发明的第24方面的图像处理方法，其特征在于，该图像处理方法具有图像分 割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个 区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的所述 图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域的 特征量；第1区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的第1分类 基准，将上述多个区域分别分类到多个类别内的某一个类别中；评价值计算步骤，通过计算 评价值，对由上述第1区域分类步骤得到的、上述多个区域中一个区域的分类结果进行评 价，其中，上述评价值是基于由上述第1区域分类步骤得到的、对位于上述一个区域附近的 区域的分类结果而得到的；以及第2区域分类步骤，根据上述评价值计算步骤的评价值，将 上述一个区域分类到上述多个类别内的某一个类别中。本发明的第25方面的图像处理方法，其特征在于，在上述第24方面的图像处理方 法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。
16
本发明的第26方面的图像处理方法，其特征在于，该图像处理方法具有图像分 割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个 区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的所述 图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域中 的特征量；关注区域设定步骤，将上述多个区域中的一个区域设定为关注区域；附近外周 区域检测步骤，检测附近外周区域，其中上述附近外周区域是距上述关注区域有规定距离 的区域；大致圆形形状检测步骤，根据上述特征量，在上述附近外周区域中，检测存在大致 圆形形状的轮廓部中的至少一部分的情况；以及区域提取步骤，在通过上述大致圆形形状 检测步骤检测出上述大致圆形形状的情况下，提取上述关注区域。本发明的第27方面的图像处理方法，其特征在于，在上述第26方面的图像处理方 法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第28方面的图像处理方法，其特征在于，在上述第26方面的图像处理方 法中，在上述大致圆形形状检测步骤中，在判断为上述附近外周区域中的、存在上述大致圆 形形状的轮廓部中的至少一部分的区域的比例为规定阈值以上的情况下，检测大致圆形形 状；在上述区域提取步骤中，提取出上述关注区域作为存在上述大致圆形形状的中央部的 区域。本发明的第29方面的图像处理方法，其特征在于，在上述第26方面的图像处理方 法中，上述大致圆形形状为气泡。本发明的第30方面的图像处理方法，其特征在于，在上述第28方面的图像处理方 法中，上述大致圆形形状为气泡。本发明的第31方面的图像处理方法，其特征在于，该图像处理方法具有图像分 割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像分割为多个 区域，其中，上述图像信号输入部用于输入与由具有拍摄功能的该医疗设备拍摄到的上述 图像对应的图像信号；特征量计算步骤，分别计算由上述图像分割步骤分割的多个区域中 的特征量；区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的分类基准， 把上述多个区域分别分类到多个类别内的某一个类别中；区域检测步骤，从上述多个区域 中检测出被分类到上述多个类别中、预先设定为具有明显结构特征的类别的规定类别中的 区域；以及分类基准设定步骤，根据由上述区域检测步骤检测到的上述区域所具有的上述 特征量，设定上述区域分类步骤中的上述规定的分类基准。本发明的第32方面的图像处理方法，其特征在于，在上述第31方面的图像处理方 法中，上述特征量具有与色调相关的特征量和与结构相关的特征量中的至少一种特征量。本发明的第33方面的图像处理方法，其特征在于，在上述第31方面的图像处理方 法中，上述规定类别为气泡类别或者肠毛类别中的至少1种类别。
图1是表示作为第1实施方式的进行图像处理动作的图像处理装置和周边设备的 外观的外观主视图。图2是对生成第1实施方式的图像处理装置中要进行处理的规定的图像信息的胶 囊型内窥镜的一部分进行切取来表示的主要部分放大截面图。
17
图3是表示对第1实施方式的图像处理装置提供规定的图像信息的胶囊型内窥镜 装置的概要内部结构的框图。图4是表示对第1实施方式的图像处理装置提供规定的图像信息的胶囊型内窥镜 装置的一个使用例的图。图5是表示从图2所示的胶囊型内窥镜输出的信号的一个例子的时序图。图6是说明图2所示的胶囊型内窥镜的位置检测的说明图。图7是表示使用图3所示的胶囊型内窥镜装置时的天线单元的主要部分放大截面 图。图8是说明使用图3所示的胶囊型内窥镜装置时的屏蔽外套(shieldiacket)的 说明图。图9是说明将胶囊型内窥镜装置的外部装置安装在被检体上的安装状态的说明 图。图10是表示图2所示的胶囊型内窥镜的电结构的框图。图11是表示第1实施方式的图像处理动作的流程图。图12是表示在第1实施方式的图像处理动作中，将所输入的图像分割为(mXn) 个区域时的一个例子的图。图13是表示构成训练数据的多个图像中的胃粘膜的图像的一个例子的图。图14是表示构成训练数据的多个图像中的肠毛的图像的一个例子的图。图15是表示构成训练数据的多个图像中的大小便的图像的一个例子的图。图16是表示构成训练数据的多个图像中的气泡的图像的一个例子的图。图17是表示胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。图18是表示图17所示的图像的分类结果的一个例子的图。图19是表示在第1实施方式的图像处理动作中，与图11不同的图像处理动作的 流程图。图20是表示显示在显示器上的观察器的图像中主菜单画面的一个例子的图。图21是表示第2实施方式的图像处理动作的流程图。图22是表示第3实施方式的图像处理动作的流程图。图23是表示第4实施方式的图像处理动作的流程图。图24是表示第5实施方式的图像处理动作的一部分的流程图。图25是表示作为第5实施方式的图像处理动作的一部分的、执行了图24的流程 图所示处理之后进行的图像的显示控制动作的流程图。图26是表示第6实施方式的图像处理动作的一部分的流程图。图27是表示接着图26的处理进行的第6实施方式的图像处理动作的一部分的流 程图。图28是表示接着图27的处理进行的第6实施方式的图像处理动作的一部分的流 程图。图29A是表示在第6实施方式的图像处理动作中，在确定边缘特征量(边缘特征 矢量)时作为指标的8个方向中一个方向的图。图29B是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标
18的8个方向中与图29A不同的一个方向的图。图29C是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标 的8个方向中与图29A和图29B不同的一个方向的图。图29D是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标 的8个方向中与图29A至图29C不同的一个方向的图。图29E是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标 的8个方向中与图29A至图29D不同的一个方向的图。图29F是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标 的8个方向中与图29A至图29E不同的一个方向的图。图29G是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标 的8个方向中与图29A至图29F不同的一个方向的图。图29H是表示在第6实施方式的图像处理动作中，在确定边缘特征量时作为指标 的8个方向中与图29A至图29G不同的一个方向的图。图30是表示在第6实施方式的图像处理动作中设定的、中心区域与最外周区域之 间的位置关系的图。图31是表示在第6实施方式的图像处理动作中设定的、由边缘特征矢量的方向和 矢量Vl的方向构成的角度的图。图32是表示第7实施方式的图像处理动作的一部分的流程图。图33是表示接着图32的处理进行的第7实施方式的图像处理动作的一部分的流 程图。图34是表示在第7实施方式的图像处理动作中，将所输入的图像分割为(mXn) 个区域时的一个例子的图。图35是表示第8实施方式的图像处理装置的图像处理动作的流程图。图36是表示第8实施方式的图像处理装置的图像处理动作的流程图。图37是表示在第8实施方式的图像处理动作中，确定一个区域的附近区域时的一 个例子的图。图38是表示在第8实施方式的图像处理动作中使用的、胶囊型内窥镜所拍摄的体 腔内的像的图像的一个例子的示意图。图39是表示图38所示的图像的分类结果的一个例子的图。图40是表示根据图39所示的分类结果，进行了第8实施方式的图像处理动作之 后的再分类结果的图。图41是表示第9实施方式的图像处理动作的流程图。图42是表示第9实施方式的图像处理动作的流程图。图43是表示在第9实施方式的图像处理动作中，对分别虚拟分配到具有4X4个 像素数的小矩形区域的序号进行排列的一个例子的图。图44是表示在第9实施方式的图像处理动作中，附近外周区域Ht相对于一个矩 形区域RO的位置关系的图。图45是表示在第9实施方式的图像处理动作中，由近似gradient矢量Ygt和方 向矢量Mt构成的角度θ t的一个例子的图。
图46是表示在第9实施方式中使用的胶囊型内窥镜所拍摄的体腔内的像的图像 的一个例子的示意图。图47是表示图46所示的图像的分类结果的一个例子的图。
具体实施例方式下面参照
本发明的实施方式。(第1实施方式)图1至图20涉及本发明的第1实施方式。图1是表示作为本发明的第1实施方 式的进行图像处理动作的图像处理装置和周边设备的外观的外观主视图。图2是对生成本 实施方式的图像处理装置中生成要进行处理的规定的图像信息的胶囊型内窥镜的一部分 进行切取来表示的主要部分放大截面图。图3是表示对本实施方式的图像处理装置提供规 定的图像信息的胶囊型内窥镜装置的概要内部结构的框图。图4是表示对本实施方式的图 像处理装置提供规定的图像信息的胶囊型内窥镜装置的一个使用例的图。图5是表示从图 2所示的胶囊型内窥镜输出的信号的一个例子的时序图。图6是说明图2所示的胶囊型内 窥镜的位置检测的说明图。图7是表示使用图3所示的胶囊型内窥镜装置时的天线单元的 主要部分放大截面图。图8是说明使用图3所示的胶囊型内窥镜装置时的屏蔽外套的说明 图。图9是说明将图3所示的胶囊型内窥镜装置的外部装置安装在被检体上的安装状态的 说明图。图10是表示图2所示的胶囊型内窥镜的电结构的框图。图11是表示本实施方式 的图像处理动作的流程图。图12是表示在本实施方式的图像处理动作中，将所输入的图像 分割为(mXn)个区域时的一个例子的图。图13是表示构成训练数据的多个图像中的胃粘 膜的图像的一个例子的图。图14是表示构成训练数据的多个图像中的肠毛的图像的一个 例子的图。图15是表示构成训练数据的多个图像中的大小便的图像的一个例子的图。图 16是表示构成训练数据的多个图像中的气泡的图像的一个例子的图。图17是表示胶囊型 内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。图18是表示图17所示的图像的 分类结果的一个例子的图。图19是表示在本实施方式的图像处理动作中，与图11不同的 图像处理动作的流程图。图20是表示显示在显示器上的观察器的图像中主菜单画面的一 个例子的图。如图3所示，向作为本发明的第1实施方式的图像处理装置提供规定的图像信息 的胶囊型内窥镜装置1的主要部分由胶囊型内窥镜3、天线单元4和外部装置5构成。作为医疗设备的胶囊型内窥镜3，其形成为从作为被检体的患者2的口部吞入体 腔内而配置在体腔内之后通过蠕动运动在消化道内行进的形状，并且在其内部具有拍摄体 腔内以生成该拍摄图像信息的拍摄功能和向体外发送该拍摄图像信息的发送功能，对此在 后面将详细叙述。天线单元4具有多个接收天线11，该多个接收天线11设置在患者2的身 体表面上，接收从上述胶囊型内窥镜3发送来的拍摄图像信息，对此在后面将详细叙述。外 部装置5的外形形成为箱型形状，其具有对上述天线单元4接收到的拍摄图像信息进行各 种处理、存储拍摄图像信息和通过拍摄图像信息显示拍摄图像等的功能，对此在后面将详 细叙述。在该外部装置5的外装表面上设置有显示上述拍摄图像的液晶监视器12和进行 各种功能的操作指示的操作部13。而且，该外部装置5的外装表面上设置有用于对驱动电源用的电池余量进行警告
20显示的LED和由电源开关等开关构成的操作部13。并且在胶囊型内窥镜3的内部设有使用 了 CPU和存储器的运算执行部，例如该运算执行部也可以构成为对已接收和存储的拍摄图 像信息执行后述的本发明的图像处理方法。该外部装置5可拆装地安装在患者2的身体上，并且如图1所示，通过安装在底座 6上，可拆装地与作为本发明的第1实施方式的图像处理装置(下面记作终端装置)7连接。 该终端装置7例如使用个人计算机，其具有具备了对各种数据的处理功能和存储功能的终 端主体9、用于输入各种操作处理的键盘8a和鼠标Sb、以及显示各种处理结果的具有作为 显示部的功能的显示器8c。该终端装置7例如具有进行如下图像处理的基本功能、S卩，经 由底座6来取入存储在上述外部装置5的拍摄图像信息，并将其写入存储到内置于终端主 体9内的可改写存储器或者可拆装于终端主体9的可改写的半导体存储器等便携式存储器 中，并在显示器8c上显示该存储的拍摄图像信息。而且存储在上述外部装置5中的拍摄图 像信息也可以不通过上述底座6，而是通过USB电缆等被取入到终端装置7中。而且由终端装置7执行的图像处理包括如下对根据从上述外部装置5取入、并存 储在未图示的具有作为存储部的功能的存储器等中的拍摄图像信息来对应于经过时间显 示的图像进行选择的处理；以及终端主体9所具有的控制部9a中执行的基于后述的本发明 的图像处理方法的处理。控制部9a由CPU等构成，例如在进行上述处理时，可以将处理结 果暂时保持在未图示的寄存器等中。接着使用图2说明上述胶囊型内窥镜3的外形和内部结构。胶囊型内窥镜3由截 面为U字状的外装部件14和大致半球形状的罩部件14a构成，该罩部件14a通过粘结剂以 水密方式安装在该外装部件14的前端侧的开放端上、并由透明部件形成。因此，在外装部 件14和罩部件14a连接的状态下，胶囊型内窥镜3的外装形成为具有水密结构和胶囊形 状。在作为由该外装部件14和罩部件14a构成的胶囊形状的内部中空部、且相当于 上述罩部件14a的半球圆弧的大致中央处的部分上，取入经由罩部件14a而射入的观察部 位像的物镜15以收纳于镜头框16的方式进行了配置。在该物镜15的成像位置上配置有 作为摄像元件的电荷耦合元件(以下称为CCD) 17。而且在收纳了上述物镜15的镜头框16 的周围，在同一平面上配置了发出放射照明光的4个白色色系的LED18(图中仅示出2个 LED)。在上述(XD17的后端侧的上述外装部件14的内部中空部上配置有处理电路19，其 进行拍摄处理和LED驱动处理，该拍摄处理中驱动控制上述CCD17来生成光电转换后的摄 像信号，对该摄像信号进行规定的信号处理来生成拍摄图像信号，该LED驱动处理中控制 上述LED18的点亮/不点亮的动作；通信处理电路20，其将通过该处理电路19的拍摄处理 生成的拍摄图像信号转换为无线信号进行发送；发送天线23，其向外部发送来自该通信处 理电路20的无线信号；以及多个纽扣型电池21，其提供上述处理电路19和通信处理电路 20的驱动用电源。而且，(XD17、LED18、处理电路19、通信处理电路20和发送天线23配置在未图示 的基板上，在这些基板之间通过未图示的挠性基板连接。并且，在上述处理电路19上具有 用于进行后述图像处理的未图示的运算电路。即，如图3所示，上述胶囊型内窥镜3具有 具备上述(XD17、LED18和处理电路19的摄像装置43 ；具备上述通信处理电路20的发送器 37 ；以及发送天线23。
21
下面参照图10说明上述胶囊型内窥镜3的摄像装置43的详细结构。摄像装置43 具有控制LED18的点亮/不点亮动作的LED驱动器18A ；用于控制(XD17的驱动来传送光 电转换之后的电荷的CXD驱动器17A ；处理电路19A，其使用从上述(XD17传送来的电荷生 成摄像信号，而且对该摄像信号进行规定的信号处理而生成拍摄图像信号；向上述LED驱 动器18A、(XD驱动器17A、处理电路19A和发送器37提供来自电池21的驱动电源的开关部； 和向上述开关部以及CXD驱动器17A提供定时信号的定时发生器(timing generator) 19B. 并且上述开关部具有开通/断开从电池21对上述LED驱动器18A进行的电源供给的开 关19C ；开通/断开对上述(XD17、CXD驱动器17A和处理电路19A进行的电源供给的开关 19D ；以及开通/断开对上述发送器37进行的电源供给的开关19E。而且从电池21始终向 上述定时发生器19B提供驱动电源。在具有这种结构的胶囊型内窥镜3的摄像装置43中，当开关19C、开关19D、开关 19E为断开状态时，定时发生器19B之外的各部为非工作状态。而且，如果从定时发生器19B 输出定时信号，则上述开关19D接通，由此使从电池21提供了电源的(XD17、(XD驱动器17A 和处理电路19A处于工作状态。在上述CCD17的驱动初期时，启动CCD17的电子快门，除去了不需要的暗电流之 后，定时发生器19B使开关19C接通而驱动LED驱动器18A，从而点亮LED18来对(XD17进 行曝光。LED18在点亮了 CCD17曝光所需的规定时间之后，为降低消耗功率，在开关19C断 开的定时熄灭。在进行上述(XD17的曝光的上述规定时间内所蓄积的电荷通过CXD驱动器17A的 控制而被传送给处理电路19A。处理电路19A以从(XD17传送来的电荷为基础生成摄像信 号，对该摄像信号进行规定的信号处理来生成内窥镜图像信号。例如在从发送器37发送来 的信号为模拟无线方式时，处理电路19A生成将复合同步信号重叠在CDS输出信号上的模 拟摄像信号，之后将该模拟摄像信号作为内窥镜图像信号输出给发送器37。而且例如在从 发送器37发送来的信号为数字无线方式时，处理电路19A生成数字拍摄图像信号，将该数 字摄像信号作为内窥镜图像信号输出给发送器37，其中，所述数字拍摄图像信号是通过进 一步对由模/数转换器生成的串行数字信号进行加扰(scramble)等编码处理而得到的。该发送器37对作为从上述处理电路19A提供来的内窥镜图像信号的、模拟拍摄图 像信号或者数字拍摄图像信号进行调制处理，从发送天线23将其无线发送到外部。此时， 开关19E通过定时发生器19B而进行接通/断开，以仅在从上述处理电路19A输出了拍摄 图像信号的定时向发送器37提供驱动功率。而且开关19E也可以被控制为，在从处理电路19A输出了拍摄图像信号起经过了 规定时间之后，向发送器37提供驱动功率。并且开关19E也可以具有如下结构、S卩，开关19E 被控制为，根据设置在胶囊型内窥镜3上的、未图示的PH传感器对规定值的pH值的检测； 未图示的湿度传感器对规定值以上的湿度的检测；未图示的压力传感器或者未图示的加速 度传感器对规定值以上的压力或者加速度的检测等的检测结果，通过从定时发生器19B输 出的信号，在插入到作为被检体的患者2的体腔内时，向发送器37提供电源。并且上述胶囊型内窥镜3的摄像装置43 —般每秒拍摄2张图像(每秒2帧= 2fps)，但例如在进行食道检测时，可以每秒拍摄15 30张图像(15fps 30fps)。具体而 言，在胶囊型内窥镜3上设置未图示的定时器电路，通过该定时器电路控制摄像装置43的
22驱动，使得例如定时器计时器在规定时间以内时进行每秒拍摄张数较多的高速拍摄，在经 过了规定时间之后，进行每秒拍摄张数较少的低速拍摄。或者与接通胶囊型内窥镜3的电 源同时地启动定时器电路，可以通过该定时器电路控制摄像装置43的驱动，使得例如在患 者2吞入之后到通过食道为止的时间内进行高速拍摄。还可以分别设置低速拍摄用胶囊型 内窥镜和高速拍摄用胶囊型内窥镜，对应于观察对象部位区分使用。然后说明设置在上述患者2的身体表面上的天线单元4。如图4所示，在吞入胶囊 型内窥镜3进行内窥镜检查时，患者2穿戴上设置了由多个接收天线11构成的天线单元4 的外套10。如图7所示，该天线单元4例如将用于GPS的贴片天线(Patch Antenna)那样 的具有单向指向性的多个接收天线11配置成其指向性朝向患者2的身体内侧。S卩，由于胶 囊型内窥镜3的胶囊主体3D留存于身体内部，所以以包围该体内的胶囊主体3D的方式配 置上述多个天线11。通过使用该指向性较高的天线11，不易受到来自体内的胶囊主体3D 之外的电波引起的干扰妨碍的影响。如图8所示，上述外套10由设置在患者2的身体表面的上述天线单元4和覆盖通 过带子设置在患者2的腰上的外部装置5的主体部5D的、由电磁屏蔽纤维形成的屏蔽外套 72构成。形成该屏蔽外套72的电磁屏蔽纤维可使用金属纤维、金属化学纤维或者含硫化铜 的纤维等。而且该屏蔽外套72不限于外套形状，例如也可以是马甲或者连衣裙形状等。而且作为将上述外部装置5安装在上述屏蔽外套72上的例子，如图9所示，在上 述外部装置5的外部主体5D上设置钥匙孔74，通过将设置在上述屏蔽外套72上的钥匙75 插入上述钥匙孔74，从而可自由拆装地安装到带73上。或者也可以单纯在屏蔽外套72上 设置未图示的口袋，在该口袋内收纳外部主体5D，还可以在外部装置5的外部主体5D和屏 蔽外套72上设置魔术贴(magic tape，注册商标)，通过该魔术贴(注册商标)来安装固定。S卩，通过把屏蔽外套72安装在配置有天线单元4的身体上，对天线单元4屏蔽来 自外部的电波，从而更不易受到外部电波引起的干扰妨碍的影响。然后使用图3说明上述天线单元4和外部装置5的结构。上述天线单元4由接收 从上述胶囊型内窥镜3的发送天线23发送来的无线信号的多个接收天线Ila Ild和切 换该天线Ila Ild的天线切换开关45构成。上述外部装置5由以下部分构成进行将来 自天线切换开关45的无线信号转换为拍摄图像信号以及放大等接收处理的接收电路33 ； 对从该接收电路33提供来的拍摄图像信号实施规定的信号处理，生成拍摄图像的显示用 信号和拍摄图像数据的信号处理电路35 ；根据由该信号处理电路35生成的拍摄图像显示 用信号显示拍摄图像的液晶监视器12 ；存储由上述信号处理电路35所生成的拍摄像图像 数据的存储器47 ；以及根据由上述接收电路33所接收处理的无线信号的大小来控制上述 天线切换开关45的天线选择电路46。在上述天线单元4的图中作为接收天线Ila Ild表示出来的多个接收天线11 接收以恒定电波强度从上述胶囊型内窥镜3的发送天线23发送来的无线信号。该多个接 收天线Ila Ild通过来自上述外部装置5的天线选择电路46的天线选择信号来控制天 线切换开关45，依次对接收上述无线信号的接收天线进行切换。S卩，由通过上述天线切换开 关45依次切换的接收天线Ila d分别接收到的无线信号被输出给上述接收器33。在该 接收器33中，检测出接收天线Ila Ild各自的无线信号的接收强度，计算出各接收天线 1 Ia 1 Id与胶囊型内窥镜3的位置关系，并且对该无线信号进行解调处理而向信号处理电路35输出拍摄图像信号。上述天线选择电路46通过来自上述接收器33的输出来控制。说明由上述天线选择电路46实现的天线切换开关45的动作。如图5所示，上述 胶囊型内窥镜3所发送的无线信号在拍摄图像信号1帧的发送期间内，依次重复作为表示 无线信号的接收强度的接收强度信号的发送期间的强度接收期间以及作为拍摄图像信号 的发送期间的影像信号期间，进行发送。上述天线选择电路46经由上述接收电路33来提供各接收天线Ila Ild接收到 的接收强度信号的接收强度。上述天线选择电路46比较从上述接收器33提供来的各接收 天线Ila Ild的接收强度信号的强度，确定接收影像信号期间的拍摄图像信号的最佳接 收天线、即接收强度信号的强度最高的天线Ili (i = a d)，生成输出将天线切换开关电 路45切换为该天线Ili的控制信号。由此当其他天线的接收强度信号的接收强度高于当 前正接收图像信号的天线时，从下一帧起切换影像信号期间的接收天线。这样，每当接收来自胶囊型内窥镜3的无线信号时，比较拍摄图像信号或者接收 强度信号的接收强度，通过接受到该比较结果的天线选择电路46将接收强度为最大的天 线Ili指定为图像信号接收用的天线。由此即使胶囊型内窥镜3在患者2的体内移动，也可 以通过能够检测该移动位置上接收强度最高的信号的天线11来接收所获得的图像信号。 而且由于胶囊型内窥镜3在体内的移动速度分为非常慢的部分和快的部分，所以不限于在 1次摄像动作中始终进行1次天线切换动作，而可以在高速摄像模式等中对于多次摄像动 作进行1次天线切换动作。而且胶囊型内窥镜3由于在患者2的体内移动，所以也能以适当的时间间隔从外 部装置5发送作为检测到电波强度的结果的检测结果信号，根据该信号更新胶囊型内窥镜 3进行发送时的输出。这样，即使当胶囊型内窥镜3在患者2的体内移动的情况下，也能适 当设定发送输出，可以防止无为地消耗电池21的能量，能使信号的收发状态维持适当的状 态。接着使用图6说明表示上述多个接收天线11和胶囊型内窥镜3的位置关系的信 息的获得方法。并且在图6中，以将胶囊型内窥镜3设定在3维坐标X、Y、Z的原点上的情 况为例进行说明。而且为了简化说明，使用上述多个接收天线Ila Ild中的3个接收天 线lla、llb、llc，设接收天线Ila与接收天线lib之间的距离为Dab、接收天线lib与接收 天线Ilc之间的距离为Dbc、接收天线Ila与接收天线Ilc之间的距离为Dac。进而设该接 收天线Ila Ilc与胶囊型内窥镜3为规定的距离关系。胶囊型内窥镜3所发送的恒定发送强度的无线信号被各接收天线Ilj (j = a、b、 c)接收时的接收强度成为与胶囊型内窥镜3 (胶囊型内窥镜3的发送天线23)的距离Li (i =a、b、c)的函数。具体而言，其取决于伴随着电波衰减量的距离Li。因而根据胶囊型内 窥镜3所发送的无线信号被接收天线Ilj接收的接收强度来计算胶囊型内窥镜3与各接收 天线Ilj之间的距离Li。为了计算该距离Li，事先在上述天线选择电路46中设定上述胶 囊型内窥镜3与接收天线Ilj之间的距离所致的电波的衰减量等关系数据。并且将表示该 计算出的胶囊型内窥镜3与各接收天线Ilj的位置关系的距离数据作为胶囊型内窥镜3的 位置信息存储在上述存储器47中。以存储在该存储器47中的拍摄图像信息和胶囊型内窥 镜3的位置信息为基础，在上述终端装置7进行的后述图像信息处理方法中，对于内窥镜观 察所需的位置设定是有用的。
24
下面说明本实施方式的图像处理装置的图像处理动作。而且在本实施方式中，由胶囊型内窥镜3拍摄的体腔内的像的图像由大小为 ISXX ISY(满足1彡ISXU彡ISY的值、例如ISX = 300、ISY = 300)、RGB的3平面构成， 设各平面上的各像素分别为8bit、即从0到255的值。而且在本实施方式中，将时间上连续 拍摄的N张图像(1 ^ N)的第i个图像设为Ii (1 < i < N)，将该RGB各平面分别表示为 Ri、Gi和Bi。而且在本实施方式中，各平面上的第k个像素(KkSlSXXISY)分别表示 为 rik、gik 禾口 bik。而且本实施方式的图像处理装置的图像处理动作作为上述终端装置7的终端主 体9所具有的控制部9a的处理来进行。首先具有作为图像信号输入部和图像输入部的功能的控制部9a输入基于由胶囊 型内窥镜3所拍摄的体腔内的像的图像的图像信号，作为前处理，对于构成所输入的第i个 图像Ii的Ri、Gi和Bi的各平面，例如进行中值滤波(median filtering)下的噪声去除和 逆Y校正，并且从之后的处理对象中除去光晕像素(halation pixel)和暗部像素，因此通 过基于阈值的处理进行检测(图11的步骤Si)。而且基于上述阈值的处理例如当rik、gik 和bik的浓度值都为10以下的值，则作为暗部像素进行处理，如果rik、gik和bik的浓度 值都为230以上的值，则作为光晕像素进行处理。之后，具有作为图像分割部和区域设定部的功能的控制部9a将Ri、Gi和Bi的各 平面分割为小区域(图11的步骤S2)。而且在本实施方式中，如图12所示，控制部9a将Ri、 Gi和Bi的各平面分割为由χ轴方向的像素数IxXy轴方向的像素数ly(l ( lx、l ( ly) 构成的矩形区域，该区域数为(mXn)个(m= ISX/lx、n = ISY/ly)。而且当m或者η无法 取整数时，控制部9a将大小为小数部分的最端部的区域作为具有小数部分的像素数的区 域进行处理，或是从之后的处理对象中将其除去。具有作为特征量计算部的功能的控制部9a在所分割的各区域中，将反映拍摄对 象的像的图像上的颜色差异的色调信息以及反映拍摄对象的像的图像上的结构差异的结 构信息作为特征量计算出来(图11的步骤S3)。而且在以后的说明中，将在控制部9a所分 割的区域中的一个区域表示为Hst(l彡s彡m、l彡t彡η)。在本实施方式中，控制部9a计算出的色调信息是如下的值、S卩，其由作为基于一 个区域Hst所包含的各像素的RGB的值之比的值的gik/rik的平均值(以下记作μ gst)和 bik/rik的平均值(以下记作μ bst)构成，且作为2个特征量表示。而且，μ gst和μ bst 的各值取0到1的值。另外，μ gst和μ bst的各值例如在胃粘膜这样显现较为红色色调 的区域中取大致同样较小的值。另一方面，μ gst和μ bst的各值例如在小肠这样显现较 为白色色调的区域中取大致同样较大的值。另外，μ gst和μ bst的各值例如在大小便这 样显现较为黄色色调的区域中取μ gst > μ bst这样的值。在本实施方式中，如上所述，控制部9a计算出的结构信息反映拍摄对象的像的图 像上的结构差异。而且拍摄对象的像的图像上的结构例如作为粘膜表面的肠毛等的细微结 构和大小便具有的不定型的外形等而显现出来。具体而言，控制部9a计算出的结构信息是 用一个区域Hst所包含的各像素的RGB值的标准偏差0rst、0gst和σ bst除以一个区域 Hst所包含的各像素的RGB值的平均值mrst、mgst和mbst后的、作为3个特征量而表示的 RGB值的变动系数CVrst、CVgst和CVbst。而且用于计算变动系数CVrst、CVgst和CVbst
25的式表示为下面的式(1)、式(2)和式(3)。CVrst = σ rst/mrst··· (1)CVgst = σ gst/mgst... (2)CVbst = σ bst/mbst... (3)通过上述式(1)、式(2)和式(3)计算出的变动系数CVrst, CVgst和CVbst，可不 受到提供给拍摄对象的照明光量的差异等带来的影响，将结构构造下的像素变动的程度数 值化。CVrst、CVgst和CVbst的各值例如在未进行放大观察的状态、即通常观察下拍摄的 胃粘膜那样的图像上结构较平坦的区域中，没有明确的结构构造，因此取大致相同的较小 的值。另一方面，CVrst、CVgst和CVbst的各值在例如小肠肠毛那样的图像上结构中包含 较多边缘的区域中，取大致相同的较大的值。而且在本实施方式的控制部9a进行的之后的处理中，使用具有色调信息和结构 信息的5个特征量，但构成该特征量的值可以根据用户的用途等适当进行改变或者追加。 例如控制部9a也可以不使用作为色调信息的ygst的值和Pbst的值，而使用作为表示 为色度的值的各区域的各像素中的rik、gik和bik的比率、即rik/(rik+gik+bik)、gik/ (rik+gik+bik)和bik/(rik+gik+bik)的值来进行之后的处理。并且控制部9a根据除去光晕像素和暗部像素之后的各像素的RGB值来分别在 (mXn)个区域Hst中计算出由色调信息和结构信息构成的5个特征量、S卩μ gst、μ bst、 CVrst、CVgst和CVbst的各值。并且在本实施方式中，在一个区域Hst具有的(IxXly)个 像素中，例如当光晕像素的个数与暗部像素的个数之和所占比例超过50 %时，也可以进行 从之后的处理中除去一个区域Hst的控制。之后具有作为区域分类部的功能的控制部9a通过执行基于进行了分割的区域 Hst中分别计算出的5个特征量的识别分类，在识别到每个区域的拍摄对象是什么之后，根 据该识别结果分别对区域Hst进行分类。具体而言，首先控制部9a根据作为构成由胃粘膜、肠毛、大小便和气泡所构成的4 个类别的训练数据的图像而事先准备的例如图13、图14、图15和图16所示的图像，计算出 在该图像的一个区域中每次分别确定的上述5个特征量之后，制作关于该4个类别各自的 线性判别函数。然后控制部9a使用通过上述步骤计算出来的作为识别器的线性判别函数， 识别例如一个区域Hst属于由胃粘膜、肠毛、大小便和气泡所构成的4个类别中的哪个类 别，进行基于该识别结果的分类。控制部9a通过对图像Ii具有的区域Hst整体进行上述 识别和分类，从而例如当输入了图17所示的图像时，得到图18所示的分类有肠毛和气泡的 分类结果(图11的步骤S4)。而且本实施方式的控制部9a使用识别器对图像的一个区域分别进行的识别和分 类不限于线性判别函数，也可以例如根据2次分类规则或者神经网络等的方法。并且在本 实施方式中，作为胃粘膜、肠毛、大小便和气泡这4个类别中的某个，控制部9a对所输入的 图像的一个区域分别进行识别和分类，但也可以根据用户的用途等对所分类的类别的数量 和种类适当进行改变或追加。除了上述4个类别，控制部9a例如还可以进行食道或者大肠 粘膜的分类，还可以作为其他类别来处理十二指肠和肠毛来进行分类。进而，具有作为分类判定值计算部的功能的控制部9a根据上述分类结果，通过下 式(4)来计算分类为生物体粘膜表面、即分类为胃粘膜或者肠毛的区域数的合计数ζ在图像Ii的全部区域数(mXn)中所占比例ρ的值(图11的步骤S5)。P = z/(mXn)…(4)而且具有作为图像分类部的功能的控制部9a为了识别图像Ii是否为充分拍摄了 生物体粘膜表面的图像，而比较式(4)计算出的比例ρ的值和阈值thr。一旦检测到图像 Ii上比例P的值大于阈值thr(图11的步骤S6)，则控制部9a将其识别和分类为充分拍摄 了生物体粘膜表面的图像、即需要观察的图像，将作为参照值的标志值flagi设为1(图11 的步骤S7)。并且在本实施方式中，例如设阈值thr的值为0. 5。另外，当检测到图像Ii上比例ρ的值为阈值thr以下(图11的步骤S6)，则控制 部9a将图像Ii识别和分类为由于大小便和气泡而未能充分拍摄生物体粘膜表面的图像、 即不需要观察的图像，将标志值flagi为0(图11的步骤S8)。之后当控制部9a对所输入的所有图像Ii完成了上述处理时(图11的步骤S9)， 则对图像序号i加1 (图11的步骤S10)，接着对下一个图像进行从图11的步骤Sl到步骤 S9所示的处理。具有作为图像显示控制部的功能的控制部9a通过进行上述处理，从而在用户观 察拍摄对象的像时，根据标志值flagi的值，例如在显示器8c上仅显示标志值flagi为1、 需要观察的图像，而且不在显示器8c上显示标志值flagi为0、不需要观察的图像。而且具 有作为图像删除部的功能的控制部9a也可以通过删除标志值flagi为0、不需要观察的图 像，从而削减所存储的图像数据的尺寸。而且在上述处理中的、在图11的步骤S5所示的处理中，控制部9a根据合计了分 类为胃粘膜或者肠毛的区域数的值ζ来计算比例P。但控制部9a进行的处理不限于此，例 如也可以分别处理下述这样的分类为胃粘膜的区域数zl和分类为肠毛的区域数z2。此时，控制部9a在图11的步骤S5所示的处理中，根据下式(5)计算分类为胃粘膜 或者肠毛的区域数的合计数(zl+z2)在图像Ii的全部区域数(mXn)中所占比例ρ的值。P = (zl+z2)/(mXn)…(5)而且控制部9a还可以根据分类到各类别中的区域数，进行按每个类别分别计算 该区域数在图像Ii的全部区域数(mXn)中所占比例的处理。首先，控制部9a通过进行从图11的步骤Sl到步骤S4的处理，得到对于图像Ii具 有的所有区域Hst的分类结果(图19的步骤Sll)。然后设分类为胃粘膜的区域数为zl、 分类为肠毛的区域数为z2、分类为大小便的区域数为z3，则控制部9a根据上式(4)分别计 算出分类为胃粘膜的区域数zl在图像Ii的全部区域数(mXn)中所占比例pi、分类为肠毛 的区域数z2在图像Ii的全部区域数(mXn)中所占比例p2、分类为大小便的区域数z3在 图像Ii的全部区域数(mXn)中所占比例p3 (图19的步骤S12)。然后控制部9a比较比例pi的值和阈值thrl。具有作为图像分类部的功能的控制 部9a在检测到图像Ii的比例pi的值大于阈值thrl的情况(图19的步骤S13)时，则将 图像Ii识别和分类为作为被摄体拍摄了胃的像的图像(图19的步骤S14)。而且在本实施 方式中，例如设阈值thrl的值为0. 8。而且控制部9a —旦检测到图像Ii的比例pi的值为阈值thrl以下的情况(图11 的步骤S13)，此次比较比例p2的值与阈值thr2。具有作为图像分类部的功能的控制部9a 一旦检测到图像Ii的比例P2的值大于阈值thr2的情况(图19的步骤S15)，则将图像Ii
27识别和分类为作为被摄体拍摄了小肠(的肠毛)的像的图像(图19的步骤S16)。而且在 本实施方式中，设阈值thr2的值为0.8。而当控制部9a —旦检测到图像Ii的比例p2的值为阈值thr2以下的情况(图11 的步骤S15)，则此次比较比例p3的值与阈值thr3。具有作为图像分类部的功能的控制部 9a 一旦检测到图像Ii的比例p3的值大于阈值thr3的情况(图19的步骤S17)，由于图像 Ii中大小便所占比例较大，所以将图像Ii识别和分类为作为被摄体拍摄了大肠的像的图 像(图19的步骤S18)。而且在本实施方式中，例如设阈值thr3的值为0. 8。之后，控制部9a保留对于在此前处理中，没有作为胃粘膜、肠毛和大小便中的某 个图像被识别和分类的图像的识别和分类。然后控制部9a在对所有输入的图像Ii，上述处 理没有完成的情况下(图19的步骤S19)，对其图像序号i加1 (图19的步骤S20)，对下一 个图像接着进行图19的步骤Sll到步骤S 19所示的处理。控制部9a通过进行上述图19的步骤Sll到步骤S19所示的处理，分别确定识别 和分类为拍摄了小肠的图像和拍摄了大肠的图像的图像。换言之，控制部9a通过进行上述 图19的步骤Sll到步骤S19所示的处理，从而可以检测出作为被摄体而拍摄的脏器是胃、 小肠还是大肠中的哪一种。另外用户在观察拍摄对象的像时，如图20所示，具有GUI的观察器显示在终端装 置7的显示器8c上。图20所示的观察器的主画面101具有显示拍摄对象的像的图像的 图像显示部102 ；显示关于患者和检查内容的信息的患者/检查信息显示部103 ；显示图像 的张数等的图像信息显示部104 ；对图像显示部102进行显示控制的图像显示控制部105 ； 以及滑动器106。滑动器106具有通过使用未图示的鼠标光标来进行指示，从而在图像显示部102 显示基于该指示的期望的图像的功能。而且该滑动器106具有用于指示拍摄了小肠的图像 和拍摄了大肠的图像的开始位置的引导显示部107。因此，用户可以容易地对体腔内期望部 位进行观察，例如对于怀疑小肠出血的病症，优先且高效地观察小肠。而且在图20所示的 观察器的主画面101中，也可以例如设置未图示的记载有“小肠”等的按钮。此时，用户通 过使用未图示的鼠标光标来点击上述按钮，从而可以直接显示拍摄了小肠的图像来进行观 察。而且在本实施方式的图像处理方法中，终端装置7的控制部9a将图像Ii分割为 由X轴方向的像素数IxXy轴方向的像素数Iy构成的矩形区域，但也可以进一步例如将由 χ轴方向的像素数lx/2和y轴方向的像素数ly/2的大小构成的区域重叠在该矩形区域上 来进行同样的处理。此时，可以减少当作为分类对象的各类别的界线包含在上述矩形区域 上时可能产生的错误分类。而且如上所述，终端装置7的控制部9a通过使用本实施方式的图像处理方法，将 胃粘膜和肠毛作为独立的类别进行识别和分类，但例如也可以将胃粘膜和肠毛识别和分类 为1个类别即“生物体粘膜表面，，之后，再对分类为“生物体粘膜表面，，的区域Hst再次进 行胃粘膜和肠毛这两个类别的识别和分类。并且胶囊型内窥镜3配置在体腔内之后，从胃依次向小肠前进。因此，终端装置7 的控制部9a还可以根据所得的分类结果，例如在分类为肠毛的区域相对于所有区域数的 比例超过0. 7的时刻，进行停止对胃粘膜类别的分类的处理。
另外，本实施方式的图像处理方法还可以用于例如通过设定食道类别和大肠类 别，来实现基于粘膜表面的色调和外形差异的识别器这一用途。进而，本实施方式的图像处 理方法还可以用作如下用途分类为大小便的区域在所有区域数中所占比例较大，而且分 类为肠毛的区域在所有区域数中所占比例较小的情况下，识别为大肠。如上所述，根据本实施方式的图像处理方法，可以按照每个图像对作为生物体粘 膜表面的像的胃粘膜和肠毛的像、以及与生物体粘膜表面不同的作为异物或者非生物体粘 膜的像的大小便和气泡的像进行识别和分类，在显示器8c上仅显示需要观察的图像。因此 用户可以在除去了未能良好拍摄生物体粘膜表面的像的图像的状态下观察体腔内，其结果 可以实现使用胶囊型内窥镜装置1的观察效率的提高。另外，上述本实施方式的图像处理方法例如通过与检测出血或者红肿等病变部位 的图像处理方法组合起来使用，可以判定病变部位的检测结果是否得自生物体粘膜表面 上，其结果可以提高病变部位的检测精度。具体而言，终端装置7的控制部9a通过使用检 测出血或者红肿等病变部位的图像处理方法，参照作为怀疑为病变的区域而提取出的区域 Hst的分类结果，当该分类结果为大小便、气泡等的非生物体粘膜表面像的情况下，进行将 其作为误检的处理，从而可以提高病变部位的检测精度。而且根据本实施方式，通过使用如下的图像处理方法，可以提高病变部位的检测 精度对于分类为生物体粘膜表面的像的各区域，例如进一步根据上述各区域具有的特征 量，分类为正常的粘膜的像和病变部位的像。(第2实施方式)图21涉及本发明的第2实施方式。而且对于具有与第1实施方式相同结构的部分 省略其详细说明。而且对于与第1实施方式相同的结构要素使用相同符号并省略其说明。 进而，本实施方式的胶囊型内窥镜装置1的结构与第1实施方式相同，并且本实施方式的图 像处理方法也同样实现为在作为终端装置7的例如个人计算机中执行的程序。而且本实施 方式的图像处理方法作为在终端主体9具有的控制部9a中的处理而被执行。图21是表示本实施方式的图像处理动作的流程图。首先控制部9a输入基于胶囊型内窥镜3所拍摄的体腔内的像的图像的图像信号， 作为前处理，对于构成所输入的第i个图像Ii的Ri、Gi和Bi的各平面例如进行中值滤波 下的噪声去除和逆Y校正，并且从之后的处理对象中除去光晕像素和暗部像素，因此通过 基于阈值的处理进行检测(图21的步骤S21)。而且基于上述阈值的处理例如当rik、gik 和bik的浓度值都为10以下的值，则作为暗部像素进行处理，如果rik、gik和bik的浓度 值都为230以上的值，则作为光晕像素进行处理。之后，控制部9a将Ri、Gi和Bi的各平面分割为小区域(图21的步骤S22)。而 且在本实施方式中，与第1实施方式中进行的方法相同，控制部9a将Ri、Gi和Bi的各平面 分割为由χ轴方向的像素数IxXy轴方向的像素数Iy (1 ^ lx、l ^ ly)构成的矩形区域， 该区域数为(mXn)f(m=ISX/lX、n = ISY/ly)。而且当m或者η无法取整数时，控制部 9a将大小为小数部分的最端部的区域作为具有小数部分的像素数的区域进行处理，或是从 之后的处理对象中将其除去。控制部9a在所分割的各区域中，将反映拍摄对象的像的图像上的颜色差异的色 调信息以及反映拍摄对象的像的图像上的结构差异的结构信息作为特征量计算出来(图21的步骤S23)。而且在本实施方式的图像处理方法中，将在控制部9a所分割的区域中的 一个区域表示为Hj (1彡j彡mXn)。在本实施方式中，控制部9a计算出的色调信息是如下的值、S卩，其由作为基于一 个区域Hj所包含的各像素的RGB值之比的值的gik/rik的平均值(以下记作μ gj)和bik/ rik的平均值(以下记作μ bj)构成，且作为2个特征量进行表示。而且，μ gj和μ bj的 各值取O到1的值。另外，μ gj和μ bj的各值例如在胃粘膜这样显现较为红色色调的区 域中取大致同样较小的值。另一方面，μ gj和μ bj的各值例如在小肠这样显现较为白色 色调的区域中取大致同样较大的值。另外，μ gj和μ bj的各值例如在大小便这样显现较 为黄色色调的区域中取μ gj > μ bj这样的值。在本实施方式中，如上所述，控制部9a计算出的结构信息反映拍摄对象的像的图 像上的结构差异。而且拍摄对象的像的图像上的结构例如作为粘膜表面的肠毛等的细微结 构和大小便具有的不定型的外形而显现出来。具体而言，控制部9a计算出的结构信息是用 一个区域Hj所包含的各像素的RGB值的标准偏差σ rj、ο gj和ο bj除以一个区域Hj所 包含的各像素的RGB值的平均值mrj、mgj和mbj后的、作为3个特征量表示的RGB值的变 动系数CVrj、CVgj和CVbj。而且用于计算变动系数CVrj、CVgj和CVbj的式表示为下面的 式(6)、式(7)和式(S)0CVrj = σ rj/mrj··· (6)CVgj = σ gj/mgj…(7)CVbj = σ bj/mbj... (8)通过上述式(6)、式(7)和式(8)计算出的变动系数CVrj、CVgj和CVbj，可不受 到提供给拍摄对象的照明光量的差异等带来的影响，将结构构造下的像素变动的程度数值 化。CVrj、CVgj和CVbj的各值例如在未进行放大观察的状态、即通常观察下拍摄的胃粘膜 那样的图像上结构较平坦的区域中，没有明确的结构构造，因此取大致相同的较小的值。另 一方面，CVrj、CVgj和CVbj的各值在例如小肠肠毛那样的图像上结构中包含较多边缘的区 域中，取大致相同的较大的值。并且控制部9a根据除去光晕像素和暗部像素之后的各像素的RGB值，分别在 (mXn)个区域Hj中计算出由色调信息和结构信息构成的5个特征量、S卩μ gj、μ bj、CVr j、 CVgj和CVbj的各值。并且在本实施方式中，在一个区域Hj具有的(IxXly)个像素中，例 如当光晕像素的个数与暗部像素的个数之和所占比例超过50%时，也可以进行从之后的处 理中除去一个区域Hj的控制。之后控制部9a为了进行之后所说明的处理，设一个区域Hj的区域序号j为j = 1 (图21的步骤S24)。然后控制部9a使用基于贝叶斯定理(Bayes，theorem)的统计识别 器来识别一个区域Hj属于由胃粘膜、肠毛、大小便和气泡构成的4个类别中的哪个类别，根 据该识别结果进行分类。具体而言，设4个类别的识别和分类中，一个类别 a(a= 1、2、…、C ;C表示类别 数)产生的事先概率为P (ω a)、由一个区域Hj中的5个特征量所确定的特征矢量为&基 于来自所有类别的特征矢量1产生概率的概率密度函数为P (x)，基于来自一个类别ω a的 特征矢量1产生概率的状态依赖概率密度(多变量正规概率密度)函数为P (11 a)，则用 于计算所产生的特征矢量1属于一个类别的事后概率P(CoaI1)的式表示为下式(9)。
Ρ(ω&|χ) = ρ(χ| ω a) P ( ω a)/p (χ) — (9)而且状态依赖概率密度函数ρ & I ω a)和概率密度函数ρ (I)表示为下式(10)和 式(11)。ρ (！ I coa) = (1/((2π)"2| Σ a | “2)) exp [ (—1/2) (!_迎)1 Σ a—1 (!-迎)]…(10)
Cp(x)= Yj p(x I coa)P( coa) · ·. (11)而且在上述式(10)和式(11)中，d表示与2L的特征量的个数相同的维数，JL^和 Σ a表示类别中特征矢量χ的平均矢量和一个类别coa中的方差协方差矩阵。而且 (2[-&广表示(I-U)的转置矩阵，I Σ a|表示Σ a的矩阵，Σ a—1表示Σ a的逆矩阵。而 且为了简化说明，假设事先概率P(ωa)在所有类别中为相等值，而且概率密度函数通 过上式(11)而表示为所有类别中共同使用的函数。作为分类基准的平均矢量 和方差协方差矩阵Σ a是构成一个类别中的总 体参数的要素，在将第1个图像11输入到终端装置7之前的阶段中，根据构成了由胃粘膜、 肠毛、大小便和气泡构成的4个类别的训练数据的多个图像、例如图13、图14、图15和图16 所示的图像，根据每次在该图像的一个区域中分别确定的特征矢量1来按照每个类别进行 计算，之后作为初始值分别存储在终端装置7中。而且平均矢量是由特征矢量2L具有的5个特征量各自的平均值构成，而且是 具有与特征矢量1相同维数的矢量。即，使用1= (xl、x2、X3、X4、X5)表示特征矢量ι时， 平均矢量JLS使用特征矢量1具有的5个特征量各自的平均值、S卩μχ 、μχ2、μχ3、μχ4 禾口 μ χ5表示为V_a = (μ xl、μ χ2、μ χ3、μ χ4、μ χ5)。而且方差协方差矩阵Σ a是表示属 于一个类别的特征矢量ι的分布的偏差和扩散程度的矩阵，对于与特征矢量χ的特征 量个数相同数量的维数d，表示为dXd矩阵。控制部9a使用基于贝叶斯定理的上述式(9)到(11)分别计算出产生的特征 矢量2[属于类别ω 的事后概率Ρ(ω |^、产生的特征矢量χ属于类别ω2的事后概率 Ρ(ω2|ι)、产生的特征矢量s属于类别ω3的事后概率Ρ(ω3|ι)、以及产生的特征矢量ι属 于类别ω4的事后概率Ρ(ω4|ι)。然后控制部9a将赋予了这4个事后概率中最大的事后 概率Pl(CoaI1)的类别coa识别为特征矢量ι所属的类别，根据该识别结果将作为产生了 特征矢量1的区域的一个区域Hj分类到类别《a(图21的步骤S25)，并且计算赋予了最大 的事后概率Pl( a|i)的概率密度函数pi kl coa)的值。而且控制部9a为了判定在此前的处理中分类到类别coa的一个区域Hj的分 类结果是否正确，还进行基于与平均值的距离的处理、即进行基于赋予了最大事后概率 Pl(GJaI1)的概率密度函数plk I ω a)的值的阈值的处理。具体而言，首先，控制部9a对于平均矢量M具有的5个特征量各自的平均值中 例如特征量Xl的平均值μ xl确定阈值矢量违1，其中该阈值矢量2M包含加入了特征量 Xl的标准偏差ω xl与作为规定的常数的相乘系数α相乘的积的值。而且该阈值矢量2Μ 例如表示为下式(12)，而且在本实施方式中相乘系数的α值为1.5。2[bl = (μ xl+α X σ χ ，μ χ2, χ3, μ χ4, μ χ5)…(12)当通过上式(12)而确定了阈值矢量2Μ时，控制部9a代入阈值矢量2Μ作为上 式(9)、式(10)和式(11)的2L，计算出作为分类到了一个区域Hj的类别coa的阈值的概率
31密度函数P (迫11 ω a)的值。然后一旦检测到pi & I ω&)的值大于ρ (2MI ω a)的值(图21的步骤S26)，则控 制部9a在图21的步骤S25所示的处理中，将把一个区域Hj分类到类别coa的分类结果判 断为正确(图21的步骤S27)。而且一旦检测到piω a)的值为ρ(2^Ι ω a)的值以下(图21的步骤S26)，则 控制部9a在图21的步骤S25所示的处理中，将把一个区域Hj分类到类别的分类结果 判断为不正确，将一个区域Hj分类为不确定分类(图21的步骤S28)。并且当没有完成对于所分割的所有(mXn)个区域的分类时(图21的步骤S29)， 控制部9a对区域序号j加1 (图21的步骤S30)，对下一区域进行从图21的步骤S25到步 骤S29所示的处理。另外当没有对所输入的所有图像Ii完成上述处理(图21的步骤S31)，控制部9a 对图像序号i加1 (图21的步骤S32)，对下一图像接着进行从图21的步骤S21到步骤S31 所示的处理。而且在以上说明中描述了一次使用了所有基于色调信息和结构信息的5个特征 量来确定特征矢量1这样的规定5维多变量正态概率密度的情况。但在本实施方式的图像 处理方法中，例如可以分别使用关于色调信息和结构信息的各特征量，确定2种特征矢量
和红，对1个类别规定2个多变量正态概率密度，从而能以更高精度进行图像分类。具体而言，首先，控制部9a分别将关于构成色调信息的2个特征量ygj和ybj的 状态依赖概率密度函数计算为PC (巡| oa)，而且将关于构成结构信息的3个特征量CVrj、 CVgj和CVbj的状态依赖概率密度函数计算为pt (iiI a)。而且，巡是表示为巡=(ygj\ μ bj)的2维矢量，xt是表示为ii = (CVrj、CVgj、CVbj)的3维矢量。控制部9a使用这2个状态依赖概率密度函数pc (巡| ω&)和pt(ii| ω&)计算出 基于式(10)的事后概率Pc( a|巡)和Pt(OaIli)之后，通过下式(13)计算最终的事后 概率 P(COaI1)tjP(CoaI1) = Ρο(ω&|χο) X Pt ( ω a | xt) — (13)而且根据色调信息和结构信息的特征量各自的平均矢量μ c和μ t和标准偏差 ο Cl和σ tl，例如设定用于判断对类别《a的分类结果的正确性的阈值为p(2^| coa)和 P (xtb coa)。而且如果 pl(2^| ω a) > ρ (xcb coa)、并且？1(红| ω a) > ρ (xtb oa)，则控 制部9a认为分类结果正确，将具有特征矢量巡和特征矢量红的一个区域Hj分类为胃粘 膜、肠毛、大小便或者气泡的某个类别；反之分类为不确定类别。而且在以上说明中，假定事先概率P(coa)在所有类别中相等，但不限于此。关于 事先概率P( a)也可以例如根据胶囊型内窥镜3拍摄的部位的时间分布，将肠毛类别或者 大小便类别的事先概率P (ω a)设定得较高，或者根据胶囊型内窥镜3拍摄的部位的错误分 类的风险，把胃粘膜类别和肠毛类别的事先概率P( a)设定得高于无需观察的大小便类 别和气泡类别等，可以设定为对应于各种用途的值。如上所述，根据本实施方式的图像处理方法，可以按照每个图像上的小区域，对作 为生物体粘膜表面的像的胃粘膜和肠毛的像、作为异物或者非生物体粘膜的像的大小便和 气泡的像进行识别和分类。因此用户可以容易地将异物的像占据了图像的小区域中较多部 分那样的、未能良好拍摄生物体粘膜表面的像的图像作为不需要观察的图像除去，其结果
32可以实现使用胶囊型内窥 镜装置1的观察效率的提高。而且根据本实施方式的图像处理方法，当例如存在由于特征量相当于分类对象类 别的分布界线或者分布重复范围等的原因而难以可靠地进行分类的图像的情况下，可以将 该图像分类为不确定类别。因此终端装置7的控制部9a通过使用本实施方式的图像处理 方法进行处理，可以获得可靠性较高的图像分类结果。(第3实施方式)图22涉及本发明的第3实施方式。而且对于具有与第1实施方式和第2实施方 式相同结构的部分省略其详细说明。而且对于与第1实施方式和第2实施方式相同的结构 要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构与第1 实施方式和第2实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端 装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体 9具有的控制部9a中的处理而被执行。图22是表示本实施方式的图像处理动作的流程图。在进行本实施方式的图像处理方法之前，控制部9a首先对所输入的第i个图像Ii 进行第2实施方式中说明的图21所示的从步骤S21到步骤S30的处理，获得对于图像Ii 的分类结果(图22的步骤S41)。而且在本实施方式中通过进行图22的步骤S41所示处理 而由控制部9a得到的分类结果是图像内的各区域分类到由胃粘膜类别、肠毛类别、大小便 类别、气泡类别和不确定类别构成的5个类别中的某个类别的分类结果。并且，具有作为分类判定值计算部的功能的控制部9a根据关于图像Ii的分类结 果计算分类为肠毛类别的区域数在图像Ii的全部区域数(mXn)中所占比例J的值(图22 的步骤S42)。而且具体而言，比例J是例如通过把上述式(4)中的ρ置换为J、并将ζ置换 为分类到肠毛类别中的区域数za来计算出的值。之后控制部9a比较比例J的值与阈值thrj。具有作为区域分类部的功能的控制 部9a —旦检测到图像Ii中比例ρ的值大于阈值thrj(图22的步骤S43)，则将图像Ii的 各区域Hj中分类为胃粘膜类别的区域再分类为肠毛类别(图22的步骤S44)。而且本实施 方式中，例如设阈值thrj的值为0. 5。另外，具有作为区域分类部的功能的控制部9a —旦检测到图像Ii中比例ρ的值 为阈值thrj以下(图22的步骤S43)，则将图像Ii的各区域Hj中分类为肠毛类别的区域 再分类为胃粘膜类别(图22的步骤S45)。而且一旦结束了对于图像Ii的上述处理下的再分类，则控制部9a此次对于第 (i+Ι)个图像Ii+Ι进行从图22的步骤S41起的一系列处理(图22的步骤S46)。如上所述，在通过控制部9a使用本实施方式的图像处理方法进行处理的情况下， 用户可以获得与第2实施方式中所述效果相同的效果、即可以实现使用胶囊型内窥镜装置 1的观察下的观察效率的提高。而且在使用本实施方式的图像处理方法的情况下，终端装置7的控制部9a对得到 分类结果的图像进一步进行把分类为胃粘膜和肠毛的各类别中的区域Hj排他性地进行置 换而再分类的处理。因此终端装置7的控制部9a通过进行使用本实施方式的图像处理方 法的处理，可以消除无法在一个图像内混合存在的、对胃粘膜的像的图像和(小肠的)肠毛 的像的图像进行分类时的错误分类，其结果可以获得精度较高的图像分类结果。
(第4实施方式)图23涉及本发明的第4实施方式。而且对于具有与第1实施方式到第3实施方 式相同结构的部分省略其详细说明。而且对于与第1实施方式到第3实施方式相同的结构 要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构与第1 实施方式到第3实施方式相同，并且本实施方式的图像处理方法也同样实现为在作为终端 装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终端主体 9具有的控制部9a中的处理而被执行。图23是表示本实施方式的图像处理动作的流程图。在进行本实施方式的图像处理方法之前，控制部9a首先输入基于胶囊型内窥镜3 所拍摄的体腔内的像的图像的图像信号，对所输入的第i个图像Ii进行第2实施方式中说 明的图21所示的从步骤S21到步骤S30的处理，获得对于图像Ii的分类结果(图23的步 骤S51)。而且在本实施方式中通过进行图23的步骤S51所示处理而由控制部9a得到的分 类结果是图像内的各区域分类到由大小便类别、气泡类别、不确定类别和生物体粘膜类别 构成的4个类别中的某个类别的分类结果。然后，控制部9a为了进行之后所说明的处理，设一个区域Hj的区域序号j为j = 1 (图23的步骤S52)。然后控制部9a根据对于图像Ii的分类结果判定区域Hj是否分类 为生物体粘膜类别(图23的步骤S53)。当检测出将区域Hj分类为生物体粘膜类别时，控制部9a使用代入了根据构成训 练数据的胃粘膜的图像和肠毛的图像各自具有的特征量而计算出的平均矢量和方差 协方差矩阵Σ a的上式(9)到式(11)，分别计算在该区域Hj中产生的特征矢量2L属于胃粘 膜类别(设a = 1)的事后概率Ρ(ω |^、产生的特征矢量2L属于肠毛类别(设a = 2)的 事后概率ρ (ω 2 I》。而且控制部9a将特征矢量Σ识别为属于赋予了这2个事后概率中最 大的事后概率PZ(CoaI1)的类别，根据该识别结果将作为产生了特征矢量ι的区域的一个 区域Hj分类为胃粘膜类别或者肠毛类别中的某个类别(图23的步骤S54)。而且控制部9a在没有完成对所分割的(mXn)个所有区域的分类的情况下(图23 的步骤S55)，对区域序号j加1 (图23的步骤S56)，对下一区域进行从图23的步骤S53到 步骤S55所示的处理。而且当控制部9a完成了对图像Ii的上述处理下的分类时，此次对于第(i+Ι)个 的图像Ii+Ι进行从图23的步骤S51起的一系列处理(图23的步骤S57)。如上所述，在通过控制部9a使用本实施方式的图像处理方法进行处理的情况下， 用户可以获得与第2实施方式中所述效果相同的效果、即可以实现使用胶囊型内窥镜装置 1的观察下的观察效率的提高。而且在使用本实施方式的图像处理方法的情况下，终端装置7的控制部9a对于得 到分类结果的图像还进行把分类到生物体粘膜类别中的区域Hj再分类为胃粘膜类别或者 肠毛类别的处理。因此终端装置7的控制部9a通过进行使用本实施方式的图像处理方法 的处理，可以高精度地对胃粘膜的像的图像和(小肠的)肠毛的像的图像进行分类。而且 终端装置7的控制部9a通过组合使用本实施方式的图像处理方法和第3实施方式的图像 处理方法，可以得到以更高精度对胃粘膜的像的图像和(小肠的)肠毛的像的图像进行分 类的分类结果。
而且本发明的第1实施方式到第4实施方式所说明的图像处理方法不仅用于胶囊 型内窥镜装置1的胶囊型内窥镜3所拍摄的像的图像，例如还可以用于具有在插入部的前 端部具备摄像元件和物镜光学系统那样的内窥镜的内窥镜装置所拍摄的像的图像。(第5实施方式)图24和图25涉及本发明的第5实施方式。而且对于具有与第1实施方式到第4 实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第4实施方式相同 的结构要素使用相同符号并省略其说明。并且，本实施方式的胶囊型内窥镜装置1的结构 与第1实施方式到第4实施方式相同，并且本实施方式的图像处理方法也同样实现为在作 为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终 端主体9具有的控制部9a中的处理而被执行。并且本实施方式中，控制部9a对于预先输 入到终端装置7中的状态下的一系列图像，使用后述的图像处理。图24是表示本实施方式的图像处理动作的一部分的流程图。图25是表示作为本 实施方式的图像处理动作的一部分的、在进行了图24的流程图所示的处理之后进行的、图 像的显示控制动作的流程图。在进行本实施方式的图像处理方法之前，控制部9a首先获得对于全部N张 (I^N)的图像中、所输入的第i张图像Ii (II彡Ii彡IN)的分类结果(图24的步骤S61)。 而且在本实施方式中，控制部9a作为用于获得关于图像Ii的分类结果的处理方法，例如也 可以使用任一的下列处理方法、即，图11所示的步骤Sl到步骤S4的处理或者图21所示的 步骤S21到步骤S30的处理。而且假设，控制部9a通过进行用于获得关于图像Ii的分类 结果的处理而得到的分类结果是图像内的各区域被分类到由胃粘膜类别、肠毛类别、大小 便类别、气泡类别和不确定类别构成的5个类别中的某个类别中的分类结果。进而，控制部 9a在进行用于获得关于图像Ii的分类结果的处理时，如果在一个区域检测出极其明显的 暗部或者光晕等的像素数包含有规定阈值以上的情况，则例如也可以将该一个区域分类为 大小便类别、气泡类别或不确定类别中的某一个类别。而且控制部9a根据由图24的步骤S61的处理而得到的分类结果，例如计算分类 为大小便类别、气泡类别和不确定类别的区域数的合计在图像Ii的全部区域数(mXn)中 所占比例K (图24的步骤S62)。之后控制部9a比较比例K的值与阈值thlx (本实施方式 中例如为0. 7)，从而判定图像Ii是否为不需要观察的图像。而且在用于进行上述判定的处 理中，如果控制部9a获得的分类结果没有包含不确定类别的分类结果时，控制部9a也可以 计算分类为大小便类别和气泡类别的区域数的合计在图像Ii的全部区域数(mXn)中所占 比例K1，之后比较比例Kl的值与阈值thlx。而且在用于进行上述判定的处理中，控制部9a 也可以计算分类为胃粘膜类别和肠毛类别的区域数的合计在图像Ii的全部区域数(mXn) 中所占比例K2，之后比较比例K2的值与阈值thly(例如为0. 3)。而且阈值thlx与阈值 thly不仅限于预先固定的值，还可以例如通过终端装置7的操作来设定用户所期望的值。 由此用户可以选择将对生物体粘膜表面拍摄到何种程度的图像作为观察对象。因此用户可 以使控制部9a执行本实施方式的图像处理方法而作为根据用途区分使用的处理，从而实 现如下功能例如在为了发现病变而进行筛选(screening)检查时重视观察效率，在进行 精密检查时更详细地观察更多的图像。之后控制部9a —旦检测到图像Ii的比例K的值为阈值thlx以上(图24的步骤
35S63)，则将图像Ii作为不需要观察的图像，例如将作为参照值的标志值kflagi的值设为 1 (图24的步骤S64)。并且控制部9a —旦检测到图像Ii的比例K的值小于阈值thlx(图24的步骤 S63)，则不会将图像Ii作为不需要观察的图像，例如将标志值kflagi的值设为0(图24的 步骤S65)。控制部9a将通过上述处理确定的标志值kflagi与图像Ii关联起来进行保持(图 24的步骤S66)。之后，控制部9a对于从图像Il到图像IN的所有图像判定是否进行了上述处理下 的分类(图24的步骤S67)，在没有对所有图像进行分类的情况下，此次对于第(i+Ι)个图 像Ii+Ι进行从图24的步骤S61起的一系列处理(图24的步骤S68)。而且控制部9a在对 从图像Il到图像IN的所有图像进行了上述处理下的分类时，结束对于预先输入到终端装 置7的状态下的一系列的图像的处理。接着，在设想例如用户从图像Il (图像序号i = 1的图像)起依次观察通过上述 处理而被分类的图像Il到图像IN的一系列图像的情况下，控制部9a读取与图像Ii关联 起来保持的标志值kflagi的值(图25的步骤S71)。然后控制部9a根据标志值kflagi的 值判定图像Ii是否为不需要观察的图像。当与图像Ii关联起来保持的标志值kflagi的值为1时(图25的步骤S72)，控制 部9a对终端装置7的各部分进行不在显示器8c上显示图像Ii的显示控制(图25的步骤 S73)。而且当与图像Ii关联起来的标志值kflagi的值不为1时、即标志值kflagi的值 为0时(图25的步骤S72)，控制部9a对终端装置7的各部分进行在显示器8c上显示图像 Ii的显示控制(图25的步骤S74)。之后，控制部9a对从图像Ii到图像IN的所有图像判定是否进行了上述显示控制 处理(图25的步骤S75)，在没有对所有图像进行处理时，对图像序号i加1之后，对下一图 像Ii+Ι进行从图25的步骤S71起的一系列处理(图25的步骤S76)。而且，当控制部9a 对从图像Il到图像IN的所有图像进行了上述显示控制处理时，即认为用户依次结束了对 从图像Il到图像IN的一系列图像的观察，结束显示控制处理。而且，上述图像处理方法不仅用于用户从图像Il起依次观察从图像Il到图像IN 的一系列图像的情况，也可以用于例如用户从图像Il到图像IN的一系列图像中选择期望 图像进行观察的情况。而且，在上述图像处理方法中，控制部9a既可以将终端装置7的各 部分控制为不存储分类为不需要观察的图像的图像，也可以将终端装置7的各部分控制为 将其分类为不需要观察的图像之后，删除存储在未图示的存储部中的图像。如上所述，根据本实施方式的图像处理方法，可以按照每个图像对作为生物体粘 膜表面的像的胃粘膜和肠毛的像、作为异物或者非生物体粘膜的像的大小便和气泡的像进 行识别和分类，在显示器8c上仅显示需要观察的图像。因此用户可以在除去了未能良好拍 摄生物体粘膜表面的像的图像的状态下观察体腔内，其结果可以实现使用胶囊型内窥镜装 置1的观察下的观察效率的提高。(第6实施方式)图26至图31涉及本发明的第6实施方式。而且对于具有与第1实施方式到第5实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第5实施方式相同 的结构要素使用相同符号并省略其说明。并且，本实施方式的胶囊型内窥镜装置1的结构 与第1实施方式到第5实施方式相同，并且本实施方式的图像处理方法也同样实现为在作 为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终 端主体9具有的控制部9a中的处理而被执行。图26是表示本实施方式的图像处理动作的一部分的流程图。图27是表示接着图 26的处理进行的本实施方式的图像处理动作的一部分的流程图。图28是表示接着图27 的处理进行的本实施方式的图像处理动作的一部分的流程图。图29A是表示在本实施方式 的图像处理动作中，在确定边缘特征量(也记作边缘特征矢量)时作为指标的8个方向中 一个方向的图。图29B是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为 指标的8个方向中与图29A不同的一个方向的图。图29C是表示在本实施方式的图像处理 动作中，在确定边缘特征量时作为指标的8个方向中与图29A和图29B不同的一个方向的 图。图29D是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个 方向中与图29A至图29C不同的一个方向的图。图29E是表示在本实施方式的图像处理 动作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29D不同的一个方向的 图。图29F是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个 方向中与图29A至图29E不同的一个方向的图。图29G是表示在本实施方式的图像处理动 作中，在确定边缘特征量时作为指标的8个方向中与图29A至图29F不同的一个方向的图。 图29H是表示在本实施方式的图像处理动作中，在确定边缘特征量时作为指标的8个方向 中与图29A至图29G不同的一个方向的图。图30是表示在本实施方式的图像处理动作中 设定的中心区域与最外周区域的位置关系的图。图31是表示在本实施方式的图像处理动 作中设定的、由边缘特征矢量的方向和矢量Vl的方向构成的角度的图。在进行本实施方式的图像处理方法之前，控制部9a首先输入基于由胶囊型内窥 镜3拍摄的体腔内的像的画像的图像信号，获得对于所输入的第i张图像Ii的分类结果 (图26的步骤S81)。而且在本实施方式中，控制部9a作为用于获得关于图像Ii的分类结 果的处理方法，例如也可以使用任一的下列处理方法、即，图11所示的步骤Sl到步骤S4的 处理或者图21所示的步骤S21到步骤S30的处理。而且假设，控制部9a通过进行用于获 得关于图像Ii的分类结果的处理而得到的分类结果是图像内的各区域被分类到由胃粘膜 类别、肠毛类别、大小便类别、气泡类别和不确定类别构成的5个类别中的某个类别的分类 结果。进而，在本实施方式中，控制部9a在进行图26的步骤S81的处理时，将所输入的第 i张图像Ii分割为MXM个区域Hk(l彡k彡MXM)。换言之，作为图像Ii的分类结果，控 制部9a得到MXM个区域Hk分别被分类到由胃粘膜类别、肠毛类别、大小便类别、气泡类别 和不确定类别构成的5个类别中的某一类别的分类结果。控制部9a得到关于图像Ii的分类结果之后，计算MXM个区域Hk各自上的G (绿 色)像素的浓度值的平均值gak (图26的步骤S82)。然后控制部9a根据区域Hk的G像素 的浓度值的平均值gak和与区域Hk相邻的区域Hkt (t彡8)各自的G像素的浓度值的平均 值gakt，通过下式(14)计算G像素的浓度值的变动量Gbt (图26的步骤S83)。Gbt = log(gakt)_log(gak)…(14)控制部9a将通过上式(14)得到的区域Hkt各自的Gbt的值中最大的值作为最大
37值Gbm、而且将区域Hkt中赋予了最大值Gbm的区域Hktm相对于区域Hk存在的方向作为 dirGbm,之后将这2个值保持为区域Hk的边缘特征量(图26的步骤S84)。而且，假设赋予 了 G像素的浓度值的变动量的最大值Gbm的区域Hktm相对于区域Hk存在的方向被确定为 从图29A到图29H所示的方向1到方向8中的某1个方向。之后，具有作为边缘检测部的功能的控制部9a比较最大值Gbm和阈值threl (图 26的步骤S85)，当最大值Gbm大于阈值threl时，判定为区域Hk上存在图像Ii的边缘(图 26的步骤S86)，而且当最大值Gbm为阈值threl以下时，判定为区域Hk上不存在图像Ii 的边缘(图26的步骤S87)。而且在本实施方式中，阈值threl的值例如为0. 3。而且控制 部9a对区域序号k的值加1，同时对于(MXM)个区域Hk的全部区域Hk重复进行从图26 的步骤S83到步骤S87所示的使用了上式(14)的处理，从而确定图像Ii中存在边缘的区 域(图26的步骤S88和步骤S89)。而且，在进行上述那样的用于检测图像Ii中的边缘的处理之前的阶段中，作 为对于图像Ii的前处理，控制部9a例如也可以进行逆γ校正或者黑点校正(shading Correction)等处理。控制部9a通过对(MXM)个区域Hk的全部区域进行上述处理，确定了图像Ii中 存在边缘的区域之后，获得以区域Hk为中心区域的、由MlXMl (MKM)个区域构成的配置 评价区域(图27的步骤S91)。之后，控制部9a检测构成配置评价区域的区域中位于最外 周的区域的数、即最外周区域数D (图27的步骤S92)。而且，控制部9a计算配置评价区域 中的D个最外周区域Hkl各自中、朝向存在区域Hk的方向的矢量、即矢量Vl (图27的步骤 S93)。而且区域Hk与最外周区域Hkl的位置关系例如图30所示。控制部9a根据确定为最外周区域Hkl的区域分别具有的表示边缘特征矢量的方 向的dirGbm和矢量Vl的方向，计算出图31所示的这2个矢量所构成的角度θ 1 (图27的 步骤S94)。之后，控制部9a判定为其是D个最外周区域Hkl中在从图26的步骤S81到步骤 S89的处理中存在边缘的区域，而且检测θ 1 ( thre2成立的区域数E (图27的步骤S95)。 而且本实施方式中，阈值thre2的值例如为45度。然后控制部9a计算E/D的值，当E/D的值大于阈值thre3时(图27的步骤S96)， 将区域Hk判定为在图像Ii中有可能存在出血部的出血部候选区域(图27的步骤S97)。 而且当E/D的值大于阈值thre3时(图27的步骤S96)，控制部9a将区域Hk判定为在图 26的步骤S81到步骤S89的处理中存在边缘的区域，而且将满足θ 1 ( thre2的E个最外 周区域Hkl判定为可能存在出血部边缘的出血部边缘候选区域(图27的步骤S97)。而且 本实施方式中阈值thre3的值例如为0. 7。而且控制部9a对区域序号k的值加1，同时对(MXM)个区域Hk的全部区域重复 进行从图27的步骤S91到步骤S97所示的使用了上式(14)的处理，从而确定图像Ii中存 在出血部的区域的候选和存在出血部的边缘的区域的候选(图27的步骤S98和步骤S99)。控制部9a通过对(MXM)个区域Hk的全部区域进行上述处理，从而确定图像Ii 中的出血部候选区域和出血部边缘候选区域，之后检测出血部候选区域的区域数H(图28 的步骤S101)。之后，控制部9a检测对应于各出血部候选区域的E个出血部边缘候选区域 (图28的步骤S102)。然后，控制部9a进行如下处理在与作为出血部候选区域的区域Hk对应的、作为
38出血部边缘候选区域的最外周区域Hkl中，根据被确定为区域Hkl的区域具有的G像素的 浓度值的平均值gakl和与区域Hkl相邻的区域Hklt (t彡8)各自的G像素的浓度值的平 均值gaklt，通过下式(15)计算G像素的浓度值的变动量Gblt (图28的步骤S103)。Gblt = log (gaklt)-log (gakl)... (15)而且，控制部9a进行如下的处理在与作为出血部候选区域的区域Hk对应的、作 为出血部边缘候选区域的最外周区域Hkl中，计算被确定为区域Hkl的区域上的R(红色) 像素的浓度值的平均值rakl和与区域Hkl相邻的区域Hklt (t ^ 8)各自的R像素的浓度 值的平均值raklt。然后控制部9a根据平均值rakl和平均值raklt，通过下式(16)计算 R像素的浓度值的变动量Rblt (图28的步骤S104)。Rblt = log (raklt)-log (rakl) — (16)控制部9a根据被确定为区域Hkl的区域具有的最大值Gbm和方向dirGbm上的变 动量Rblt，计算作为彩色边缘特征量的Gbm/Rblt的值。之后控制部9a检测E个区域Hkl 中Gbm/Rblt > thre4成立的区域数F(图28的步骤S105)。而且本实施方式中，阈值thre4 的值例如为1.0。并且在本实施方式中，在控制部9a进行的处理中用作彩色边缘特征量的 值不限于Gbm/Rblt的值。控制部9a也可以在上述处理中例如根据通过与变动量Rblt大 致相同的方法所计算出的B像素的浓度值的变动量Bblt，将Gbm/Bblt的值用作彩色边缘特 征量。然后作为出血部位判定部的控制部9a计算F/E的值，当F/E的值大于阈值thre5 时(图28的步骤S106)，将区域Hk判定为在图像Ii中的出血部，而且将区域Hkl判定为与 区域Hk对应的出血部边缘区域(图28的步骤S107)。而且当F/E的值为阈值thre5以下 时(图28的步骤S106)，控制部9a将区域Hk判定为不是出血部(图28的步骤S108)。而 且本实施方式中，阈值thre5的值例如为0. 7。之后，控制部9a通过对检测作为出血部候选 区域的H个区域Hk的全部区域重复进行从图28的步骤SlOl到步骤S108所示的处理，从 而确定图像Ii中存在出血部的区域和存在出血部边缘的区域(图28的步骤S109和步骤 S110)。进而控制部9a —旦确定了图像Ii中存在出血部的区域，则通过参照图26的步 骤S81的处理中得到的对于图像Ii的分类结果，检测确定为存在出血部的区域的区域Hk 被分类到哪个类别中(图28的步骤S111)。然后，具有作为分类结果判定部的功能的控制 部9a当检测到确定为存在出血部的区域的区域Hk被分类为包含于与生物体粘膜相关的类 别中的胃粘膜类别、包含于与生物体粘膜相关的类别中的肠毛类别或者不确定类别中的某 个类别时(图28的步骤S112)，判定为图像Ii中的区域Hk的分类结果正确(图28的步 骤S113)。而且当检测到确定为存在出血部的区域的区域Hk被分类为包含于与非生物体 粘膜相关的类别中的大小便类别或者包含于与非生物体粘膜相关的类别中的气泡类别时 (图28的步骤Sl 12)，控制部9a判定为图像Ii中的区域Hk的分类结果有误(图28的步 骤S114)。并且控制部9a也可以构成为，当检测到确定为存在出血部的区域的区域Hk被分 类为不确定类别时，不判定区域Hk的分类结果的正确与否，而例如另行判定为“可能拍摄 了病变部位的区域”。之后，控制部9a对所输入的图像Ii的所有图像判定是否进行了上述处理(图28 的步骤S115)，在没有对所有图像进行处理时，对下一图像Ii+Ι进行从图25的步骤S71起的一系列处理(图28的步骤S116)。而且，控制部9a当对所有所输入的图像Ii进行了上 述处理时，结束处理。如上所述，在使用本实施方式的图像处理方法进行处理的情况下，作为与第2实 施方式中所述效果相同的效果，可以实现使用胶囊型内窥镜装置1的观察下的观察效率的 提高的效果。并且在使用本实施方式的图像处理方法时，终端装置7的控制部9a在确定了图像 Ii内存在出血部的区域Hk之后，对于预先得到的图像Ii的区域Hk的分类结果进行正确与 否的判定处理。因此终端装置7的控制部9a通过使用本实施方式的图像处理方法，例如可 以防止对出血部位的误检、即防止在拍摄了大小便等异物或者非生物体粘膜的像的区域上 存在作为病变部位的出血部位这样的检测，其结果是相比于以往，可以得到可靠性更高的 病变部位的检测结果。(第7实施方式)图32至图34涉及本发明的第7实施方式。而且对于具有与第1实施方式到第6 实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第6实施方式相同 的结构要素使用相同符号并省略其说明。并且，本实施方式的胶囊型内窥镜装置1的结构 与第1实施方式到第6实施方式相同，并且本实施方式的图像处理方法也同样实现为在作 为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终 端主体9具有的控制部9a中的处理而被执行。图32是表示本实施方式的图像处理动作的一部分的流程图。图33是表示接着图 32的处理进行的、作为本实施方式的图像处理动作的一部分流程图。图34是表示在本实施 方式的图像处理动作中，将所输入的图像分割为(mXn)个区域时的一个例子的图。首先，控制部9a输入基于由胶囊型内窥镜3所拍摄的体腔内的像的图像的图像信 号，作为前处理，对于构成所输入的第i个图像Ii的Ri、Gi和Bi的各平面例如进行中值滤 波下的噪声去除和逆Y校正，并且从之后的处理对象中除去光晕像素和暗部像素，因此通 过基于阈值的处理进行检测(图32的步骤S201)。而且基于上述阈值的处理，例如当rik、 gik和bik的浓度值都为10以下的值时，作为暗部像素进行处理，如果rik、gik和bik的 浓度值都为230以上的值，则作为光晕像素进行处理。之后，控制部9a将Ri、Gi和Bi的各平面分割为小区域(图32的步骤S202)。而 且在本实施方式中，如图34所示，控制部9a将Ri、Gi和Bi的各平面分割为由χ轴方向的 像素数IxXy轴方向的像素数ly(l ^ lx、l ^ ly)构成的矩形区域，该区域数为(mXn)个 (m = ISX/lx.n = ISY/ly)。而且，当m或者η无法取整数时，控制部9a将大小为小数部分 的最端部的区域作为具有小数部分的像素数的区域进行处理，或是从之后的处理对象中将 其除去。控制部9a在所分割的各区域中，将反映拍摄对象的像的图像上的颜色差异的色 调信息以及反映拍摄对象的像在图像上的结构差异的结构信息作为特征量计算出来(图 32的步骤S203)。而且在以后的说明中，将在控制部9a所分割的区域中的一个区域表示为 Hj (1 彡 j 彡 mXn)。在本实施方式中，控制部9a计算出的色调信息是如下的值、S卩，其由作为基于一 个区域Hj所包含的各像素的RGB的值之比的值的gik/rik的平均值(以下记作μ gj)和
40bik/rik的平均值(以下记作μ bj)构成，且作为2个特征量进行表示。而且，设μ gj和 U bj的各值取0到1的值。另外，μ gj和μ bj的各值例如在胃粘膜这样显现较为红色色 调的区域中取大致同样较小的值。另一方面，μ gj和μ bj的各值例如在小肠这样显现较 为白色色调的区域中取大致同样较大的值。另外，μ gj和μ bj的各值例如在大小便这样 显现较为黄色色调的区域中取μ gj > μ bj这样的值。在本实施方式中，如上所述，控制部9a计算出的结构信息反映拍摄对象的像的图 像上的结构差异。而且拍摄对象的像的图像上的结构例如作为粘膜表面的肠毛等的细微结 构和大小便具有的不定型的外形等而显现出来。具体而言，控制部9a计算出的结构信息是 用一个区域Hj所包含的各像素的RGB值的标准偏差orj、ο gj和。bj除以一个区域Hj 所包含的各像素的RGB值的平均值mrj、mgj和mbj后的、作为3个特征量表示的RGB值的 变动系数CVrj、CVgj和CVbj。而且用于计算变动系数CVrj、CVgj和CVbj的式表示为下面 的式(17)、式(18)和式(19)。CVrj = σ rj/mrj··· (17)CVgj = σ gj/mgj…(18)CVbj = σ bj/mbj— (19)通过上述式(17)、式(18)和式(19)计算出的变动系数CVrj、CVgj和CVbj，可不 受到提供给拍摄对象的照明光量的差异等带来的影响，将结构构造下的像素变动的程度数 值化。CVrj、CVgj和CVbj的各值例如在未进行放大观察的状态、即通常观察下拍摄的胃粘 膜那样的图像上结构较平坦的区域中，没有明显的结构构造，因此取大致相同的较小的值。 另一方面，CVrj、CVgj和CVbj的各值在例如小肠肠毛那样图像上结构中包含较多边缘的区 域，取大致相同的较大的值。并且控制部9a根据除去光晕像素和暗部像素之后的各像素的RGB值，分别在 (mXn)个区域Hj中计算出由色调信息和结构信息构成的5个特征量、S卩μ gj、μ bj、CVrj、 CVgj和CVbj的各值。并且在本实施方式中，在一个区域Hj具有的(IxXly)个像素中，例 如当光晕像素的个数与暗部像素的个数之和所占比例超过50%时，也可以进行从之后的处 理中除去一个区域Hj的控制。之后，控制部9a为了进行之后说明的处理，设一个区域Hj的区域序号j为j = 1 (图32的步骤S204)。然后控制部9a使用基于贝叶斯定理的统计识别器来识别一个区域 Hj属于由胃粘膜、肠毛、大小便和气泡构成的4个类别中的哪个类别，根据该识别结果进行 分类。具体而言，设4个类别的识别和分类中，一个类别 a(a= 1、2、…、C ;C表示类别 数)产生的事先概率为P (ω a)、由一个区域Hj中的5个特征量所确定的特征矢量为&基 于来自所有类别的特征矢量1产生概率的概率密度函数为P (x)，基于来自一个类别ω a的 特征矢量1产生概率的状态依赖概率密度(多变量正态概率密度)函数为P (11 a)，则用 于计算所产生的特征矢量1属于一个类别的事后概率P(CoaI1)的式表示为下式(20)。P(CoaI1) = ρ (χ | ω a) P ( ω a) /p (χ) — (20)而且状态依赖概率密度函数ρ & I ω a)和概率密度函数ρ (力表示为下式(21)和 式(22)。ρ (χ I ω a) = (1/ ((2 π )d/21 Σ a |1/2)) exp [ (-1/2) (χ-JLa)1 Σ a—1 (χ-JLa)]…(21)
41
p(x)=Xp(x Ρ(ωα) ... (22)
a=l而且，在上述式(21)和式(22)中，d表示与ι的特征量的个数相同个数的维数， U和Σ a表示类别中特征矢量ι的平均矢量和一个类别coa中的方差协方差矩阵。 而且(I-U)1表示(I-U)的转置矩阵，I Σ a|表示Σ a的矩阵，Σ a1表示Σ a的逆矩 阵。而且为了简化说明，假设事先概率P( a)在所有类别中为相等值，而且概率密度函数 P (x)通过上式(22)而表示为所有类别中共同使用的函数。与上述基于贝叶斯定理的统计识别器一同作为分类基准使用的平均矢量M和 方差协方差矩阵Σ a是构成一个类别中的总体参数的要素，在将第1个图像Il输入到 终端装置7之前的阶段中，根据构成了由胃粘膜、肠毛、大小便和气泡构成的4个类别的训 练数据的多个图像、例如第1实施方式的说明中所示的、图14、图15、图16和图17那样的 图像，根据每次在该图像的一个区域中分别确定的特征矢量1来按照每个类别预先进行计 算，之后作为初始值分别存储在终端装置7中。而且，此时，控制部9a也可以通过对各类别 的训练数据的特征矢量上相加各类别在图像Ii的特征矢量的方式来估计总体参数。而且平均矢量是由特征矢量2L具有的5个特征量各自的平均值构成，而且是 具有与特征矢量1相同维数的矢量。即，使用1= (xl、x2、X3、X4、X5)表示特征矢量ι时， 平均矢量U使用特征矢量1具有的5个特征量各自的平均值、S卩μχ 、μχ2、μχ3、μχ4 禾口 μ χ5表示为iJ_a = (μ xl、μ χ2、μ χ3、μ χ4、μ χ5)。而且方差协方差矩阵Σ a是表示属 于一个类别的特征矢量ι的分布的偏差和扩散程度的矩阵，对于与特征矢量ι的特征 量个数相同数量的维数d，使用dXd矩阵进行表示。控制部9a使用基于贝叶斯定理的上述式(20)到(22)分别计算出产生的特征 矢量2[属于类别ω 的事后概率Ρ(ω |^、产生的特征矢量χ属于类别ω2的事后概率 Ρ(ω2|ι)、产生的特征矢量s属于类别ω3的事后概率P (ω 3 |ι)、产生的特征矢量s属于 类别ω4的事后概率Ρ(ω4|ι)。然后控制部9a将赋予了这4个事后概率中最大的事后概 率Pl(CoaI1)的类别coa识别为特征矢量ι所属的类别，根据该识别结果将作为产生了特 征矢量1的区域的一个区域Hj分类到类别ω a (图32的步骤S205)，并且计算赋予了最大 的事后概率Pl( a|i)的概率密度函数pi kl ω a)的值。而且控制部9a为了判定在此前的处理中分类到类别coa的一个区域Hj的分 类结果是否正确，还进行基于与平均值的距离的处理、即进行基于赋予了最大事后概率 Pl(GJaI1)的概率密度函数plk I ω a)的值的阈值的处理。具体而言，控制部9a首先对于平均矢量E具有的5个特征量各自的平均值中例 如特征量Xl的平均值μ Xl确定阈值矢量iM，其中该阈值矢量iM包含加入了特征量Xl 的标准偏差ο Xl与作为规定的常数的相乘系数α相乘的积的值。而且这样的阈值矢量 iM例如表示为下式(23)，而且在本实施方式中相乘系数α的值为1.5。xbl = (μ xl+α X σ χ1、μ χ2、χ3、χ4、μ χ5)…(23)当通过上式(23)而确定了阈值矢量2Μ时，控制部9a代入阈值矢量2Μ作为上 式(20)、式(21)和式(22)的2^，计算出作为分类到了一个区域Hj的类别coa的阈值的概 率密度函数P (xbl ω a)的值。然后，一旦检测到pi (d ω a)的值大于ρ(2^Ι ω a)的值(图32的步骤S206)，则
42控制部9a在图32的步骤S205所示的处理中，将把一个区域Hj分类到类别ω a的分类结 果判断为正确(图32的步骤S207)。而且一旦检测到pl&l coa)的值为p(2^l ω a)的值以下(图32的步骤S206)，则 控制部9a在图32的步骤S205所示的处理中，将把一个区域Hj分类到类别的分类结 果判断为不正确，将一个区域Hj分类为不确定分类(图32的步骤S208)。并且，当没有完成对于所分割的所有mXn个区域的分类时(图32的步骤S209)， 控制部9a对区域序号j加1 (图32的步骤S210)，对下一区域进行从图32的步骤S205到 步骤S209所示的处理。另外，控制部9a当完成了对于所分割的所有mXn个区域的分类时 (图32的步骤S209)，根据图像Ii的mXn个分类结果和mXn个区域分别具有的特征量， 再次计算出在4个类别中各自作为分类基准的平均矢量 和方差协方差矩阵Σ a(图33 的步骤S211)。而且再次计算出平均矢量u和方差协方差矩阵Σ a时，也可以不对基于色 调信息和结构信息的所有5个特征量进行计算，例如可以仅对构成色调信息的2个特征量 进行计算。而后控制部9a为了进行之后所说明的处理，设一个区域Hj的区域序号j为j = 1(图33的步骤S212)。控制部9a使用代入了在图33的步骤S211所示的处理中计算出来的平均矢量 和方差协方差矩阵Σ a的上述式(20)到(22)而再次分别计算出产生的特征矢量2L属于类 别ω 的事后概率Ρ(ω |^、产生的特征矢量^属于类别ω2的事后概率Ρ(ω2|2 、产生 的特征矢量1属于类别ω3的事后概率Ρ(ω3|ι)、产生的特征矢量^属于类别ω4的事后 概率Ρ(ω4|^。然后，控制部9a将赋予了这4个事后概率中最大的事后概率PZ(CoaI1) 的类别识别为特征矢量χ所属的类别，根据该识别结果将作为产生了特征矢量χ的区 域的一个区域Hj再分类到类别《a(图33的步骤S213)，并且计算赋予了最大的事后概率 P2( a|x)的概率密度函数ρ2(ζ| coa)的值。而且控制部9a为了判定在之前的处理中再分类到类别coa的一个区域Hj的 再分类结果是否正确，还进行基于对赋予了最大事后概率PZ(CoaI1)的概率密度函数 ρ2(χ ω a)的值的阈值的处理。S卩，如上所述，首先对于在图33的步骤S211所示处理中计算出的平均矢量M具 有的5个特征量各自的平均值中例如特征量Xl的平均值μ xl确定阈值矢量 Μ，其中该阈 值矢量2Μ包含加入了特征量Xl的标准偏差ο Xl与作为规定的常数的相乘系数α相乘 的积的值。而且当确定了阈值矢量IM时，控制部9a代入阈值矢量ιΜ作为上式(20)、式 (21)和式(22)的^计算出作为一个区域Hj被再分类到的类别《a的阈值的概率密度函 数p(lMl ω a)的值。然后，一旦检测到coa)的值大于p(2M|oa)的值(图33的步骤S214)， 则控制部9a将把一个区域Hj再分类到类别《a的再分类结果判断为正确(图33的步骤 S215)。而且一旦检测到P2&I ω a)的值为p(2[Ml ω a)的值以下(图33的步骤S214)，则 控制部9a将把一个区域Hj再分类到类别《a的再分类结果判断为不正确，将一个区域Hj 再分类为不确定分类(图33的步骤S216)。并且，控制部9a当没有完成对于所分割的所有mXn个区域的分类时(图33的步骤S217)，对区域序号j加1 (图33的步骤S218)，对下一区域进行从图33的步骤S213到 步骤S217所示的处理。另外，控制部9a当完成了对于所分割的所有mXn个区域的分类时 (图33的步骤S217)，此次对于第(i+Ι)个图像Ii+Ι进行从图32的步骤S201起的一系列 处理(图33的步骤S219)。而且，在图33的步骤S211所示处理中计算出的平均矢量和方差协方差矩阵 Σ a也可以用于对于第(i+Ι)个图像Ii+1进行的图32的步骤S205所示的处理。此时，通 过在时间上连续的图像之间动态改变用于识别和分类图像的总体参数，从而可以更高精度 地进行图像的分类。而且，一般对于生物体粘膜表面的像而言，基于结构信息的差比基于色调信息的 差显著。因此，在图33的步骤S211所示处理中，控制部9a不限于进行对色调信息和结构 信息双方再次计算出平均矢量 和方差协方差矩阵Σ a的处理，例如也可以进行仅对色 调信息或结构信息中某一方再次计算出 和方差协方差矩阵Σ a的处理。终端装置7的控制部9a通过进一步进行上述这样的图32和图33中从步骤S201 到步骤S218所示的使用了图像Ii的分类结果的处理，从而例如可以判断图像Ii是否为胃 粘膜、肠毛等的像、即生物体粘膜表面的像。具体而言，控制部9a在图32和图33中从步骤S201到步骤S218所示的图像Ii 的分类结果中，计数了分类到各类别中的区域数之后，例如计算出分类到胃粘膜类别或者 肠毛类别中的区域数A在全部区域数(mXn)中所占比例。而且当A/(mXn)为规定阈值以 上(例如0.8)时，控制部9a判断为图像Ii是生物体粘膜表面的像。由此，控制部9a可以 提取出确实是生物体粘膜表面的像的图像。而且，在以上说明中描述了一次使用了所有基于色调信息和结构信息的5个特征 量来确定特征矢量1这样的规定5维多变量正态概率密度的情况。但在本实施方式的图像 处理方法中，例如可以分别使用关于色调信息和结构信息的各特征量，确定2种特征矢量
和红，对1个类别规定2个多变量正态概率密度，从而可以更高精度进行图像分类。具体而言，首先，控制部9a分别将关于构成色调信息的2个特征量ygj和ybj的 状态依赖概率密度函数计算为PC (巡| oa)，而且将关于构成结构信息的3个特征量CVrj、 CVgj和CVbj的状态依赖概率密度函数计算为pt (Μ I ω a)。而且，巡是表示为巡=(μ gj\ μ bj)的2维矢量，xt是表示为红=(CVrj、CVgj、CVbj)的3维矢量。控制部9a使用这2个状态依赖概率密度函数pc (巡| ω&)和pt(ii| ω&)计算出 基于式(21)的事后概率Pc( a|巡)和Pt(OaIli)之后，通过下式(24)计算最终的事后 概率 P(COaI1)tjP(CoaI1) = Pc (ωa|巡)XPt (ωa|红)…(24)而且，根据色调信息和结构信息的特征量各自的平均矢量μ c和μ t、以及标准偏 差ocl和otl，例如设定用于判断对类别《a的分类结果的正确性的阈值为coa) 禾口 ωει)。而且如果ω a) > ρ (xcb coa)、并且？1(红| ω a) > ρ (xtb oa)，则 认为分类结果正确，控制部9a将具有特征矢量和特征矢量红的一个区域Hj分类为胃 粘膜、肠毛、大小便或者气泡的某个类别；反之分类为不确定类别。而且在以上说明中，假定事先概率P(coa)在所有类别中相等，但不限于此。关于 事先概率P( a)也可以例如根据胶囊型内窥镜3拍摄的部位的时间分布将肠毛类别或者
44大小便类别的事先概率P ( ω a)设定得较高，或者根据胶囊型内窥镜3拍摄的部位的错误分 类下的风险而把胃粘膜类别和肠毛类别的事先概率P( a)设定得高于无需观察的大小便 类别和气泡类别等，可以设定为对应于各种用途的值。进而在上述说明中，进行图像分类时控制部9a所使用的统计识别器不限于基于 贝叶斯定理的识别器，也可以例如使用基于线性判别函数等的识别器。如上所述，根据本实施方式，可以按照图像上的每个小区域，对作为生物体粘膜表 面的像的胃粘膜和肠毛的像、作为异物或者非生物体粘膜的像的大小便和气泡的像进行识 别和分类。因此用户可以易于除去作为不需要观察的图像的、异物的像占据了图像的小区 域中较多部分那样的未能良好拍摄生物体粘膜表面的像的图像，其结果可以实现使用了胶 囊型内窥镜装置1的观察效率的提高。而且如上所述，根据本实施方式，可以将统计上的识别器的总体参数计算为与输 入到终端装置7的图像对应的最佳值。因此，用于本实施方式的胶囊型内窥镜装置1即使 在由于生物体粘膜表面的色调和细微结构上的个人差异、构成胶囊型内窥镜3的各部分的 特性偏差等而在特征量上产生变化的情况下，也能高精度地对输入到终端装置7的图像的 各区域进行分类。而且根据本实施方式，还对分类为生物体粘膜表面的像的各个区域，例如还进行 使用了根据上述各区域所具有的特征量分类为正常的粘膜的像和病变部位的像这样的图 像处理方法的处理，从而可以提高病变部位的检测精度。进而，根据本实施方式，可以检测到在图像中拍摄了肠毛的像或者大小便的像的 情况来进行分类。因而，控制部9a根据上述分类结果，例如进行进一步使用了大小便的像 占据图像的较大部分时为拍摄了大肠的图像等的分类基准的处理，从而可以确定上述图像 中所拍摄的脏器。(第8实施方式)图35至图40涉及本发明的第8实施方式。而且对于具有与第1实施方式到第7 实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第7实施方式相同 的结构要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构 与第1实施方式到第7实施方式相同，并且本实施方式的图像处理方法也同样实现为在作 为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终 端主体9具有的控制部9a中的处理而被执行。图35是表示本实施方式的图像处理装置的图像处理动作的流程图。图36是表示 本实施方式的图像处理装置的图像处理动作的流程图。图37是表示在本实施方式的图像 处理动作中，确定一个区域的附近区域时的一个例子的图。图38是表示在本实施方式的图 像处理动作中使用的、胶囊型内窥镜所拍摄的体腔内的像的图像的一个例子的示意图。图 39是表示图38所示的图像的分类结果的一个例子的图。图40是表示根据图39所示的分 类结果，进行了本实施方式的图像处理动作之后的再分类结果的图。在进行本实施方式的图像处理动作之前，控制部9a首先输入基于胶囊型内窥镜3 所拍摄的体腔内的像的图像的图像信号，对于所输入的第i个图像Ii，进行在第7实施方式 中说明的、图32和图33所示的从步骤S201到步骤S218的处理，获得关于图像Ii的分类 结果(图35的步骤S221)。
之后，控制部9a设表示区域综合的重复次数的count的值(Icoimt)为count = 1 (图35的步骤S222)。并且，表示区域综合的最大重复次数的coimtmax的值是由用户设 定的值。而且控制部9a对应于用户设定的coimtmax的值的次数的量来进行后面详细叙述 的区域综合的处理。并且在本实施方式中，在之后的说明中设coimtmax的值为5。而且当控制部9a把一个区域Hj的区域序号设为j = 1之后(图35的步骤S223)， 计算出用于对把一个区域Hj分类为类别c (C = 1、2、3、4或者5)进行评价的评价值。而且 从类别1到类别5的5个类别分别与胃粘膜类别、肠毛类别、大小便类别、泡类别和不明类 别中的某个类别一对一地对应。具体而言，控制部9a首先设作为区域Hj的分类候选的类别c为c = 1 (图36的 步骤S231)。之后，控制部9a将后述的根据基于区域Hj的附近区域的分类结果的成本函 数所导出的值、即评价值Vjc设为Vjc = O (图36的步骤S232)。然后控制部9a将例如图 37所示的表示一个区域Hj的8个附近区域的区域s (s = 1、2、3、4、5、6、7或者8)设为s = 1 (图36的步骤S233)。并且表示为从区域1到区域8的这8个区域的一个区域Hj的8个 附近区域分别与例如图37所示的区域1到区域8的矩形区域中某个区域一对一对应。之 后将一个区域Hj的各个附近区域表示为Hjs。并且由于一个区域Hj是图像边缘部、而且由 于暗部像素或者光晕像素而具有从处理中去除的区域等理由，因而无法将一个区域Hj的 附近区域设定为8个区域的情况下，控制部9a仅对可以设定为一个区域Hj的附近区域的 个数下的区域进行之后的处理。控制部9a根据对于图像Ii的分类结果来判定是否将附近区域Hjs分类为类别 c (图36的步骤S234)。而且具有作为评价值计算部的功能的控制部9a —旦检测到未将附 近区域Hjs分类为类别c，则使用下式(25)所示的成本函数，对评价值Vjc的值加0. 2(图 36的步骤S235)。Vjc = Vjc+0. 2... (25)之后，控制部9a对区域s的值加1，同时对于一个区域Hj的附近区域的全部区域 重复进行图36的步骤S234和步骤S235所示的使用了上式(25)的处理，从而计算出类别 c上的评价值(图36的步骤S236和步骤S237)。然后如果控制部9a确定了类别c上的评价值(图36的步骤S236)，则对类别c的 值加1，同时重复进行图36的步骤S232到步骤S237所示的一系列处理，从而计算出类别1 至类别5的所有类别中的评价值(图36的步骤S238和步骤S239)。具有作为区域分类部的功能的控制部9a比较各Vjc的值、即Vj 1、Vj2、Vj3、Vj4 和Vj5的值，将一个区域Hj再分类到赋予了最小的Vjc的值的类别c中(图35的步骤 S224)。而且当存在多个赋予了最小的Vjc的值的类别c时，控制部9a例如进行选择c为 最小的类别的处理。并且在规定的count的值中没有完成对于所分割的mXη个区域的所有区域的分 类时(图35的步骤S225)，控制部9a对区域序号j加1 (图35的步骤S226)，同时对下一 区域重复进行由图35的步骤S223和步骤S224所示处理和图36的步骤S231至步骤S239 所示的处理构成的一系列的处理。当结束了对于所分割的mXn个区域的所有区域的分类、并且count的值小于 countmax的值时(图35的步骤S227)，控制部9a对count的值加1 (图35的步骤S228)，
46进行由图35的步骤S222到步骤S227所示处理和图36的步骤S231至 步骤S239所示的处理构成的一系列的处理。另外，当结束了对于所分割的mXn个区域的所 有区域的分类、并且count的值为countmax的值以上时(图35的步骤S227)，控制部9a此 次对于第(i+Ι)个图像Ii+Ι进行图35的步骤S221起的一系列处理(图35的步骤S229)。而且图38、图39和图40表示终端装置7的控制部9a使用本实施方式的图像处 理动作进行处理时的一个例子。图38是示意性地表示上述本实施方式的图像处理动作中 相当于图像Ii的图像的图。并且一旦将图38所示的图像Ii输入到终端装置7，则终端装 置7的控制部9a在图35的步骤S221所示处理中获得图39所示的分类结果。之后控制部 9a根据图39所示的分类结果重复进行预先设定为countmax的值的次数(本实施方式中为 5次)下的图35的步骤S222之后所示的区域综合的处理，从而得到图40所示的再分类结^ ο如上所述，在通过控制部9a使用本实施方式的图像处理方法进行处理的情况下， 用户可以获得与第7实施方式中所述效果相同的效果、即，可以实现使用胶囊型内窥镜装 置1的观察下的观察效率的提高。另外在使用本实施方式的图像处理方法的情况下，终端 装置7的控制部9a根据输入到终端装置7的图像的规定区域的附近区域的分类结果来进 行对该规定区域的再分类，所以既能抑制错误分类区域的产生，又能以更高精度进行对该 图像的各区域的分类。(第9实施方式)图41至图47涉及本发明的第9实施方式。而且对于具有与第1实施方式到第8 实施方式相同结构的部分省略其详细说明。而且对于与第1实施方式到第8实施方式相同 的结构要素使用相同符号并省略其说明。进而，本实施方式的胶囊型内窥镜装置1的结构 与第1实施方式到第8实施方式相同，并且本实施方式的图像处理方法也同样实现为在作 为终端装置7的例如个人计算机中执行的程序。而且本实施方式的图像处理方法作为在终 端主体9具有的控制部9a中的处理而被执行。图41是表示本实施方式的图像处理动作的流程图。图42是表示本实施方式的图 像处理动作的流程图。图43是表示在本实施方式的图像处理动作中，对分别虚拟分配到具 有4X4的像素数的小矩形区域的序号进行排列的一个例子的图。图44是表示在本实施方 式的图像处理动作中，附近外周区域Ht相对于一个矩形区域RO的位置关系的图。图45是 表示在本实施方式的图像处理动作中，由近似gradient矢量Ygt和方向矢量Mi构成的角 度θ t的一个例子的图。图46是表示本实施方式中使用的胶囊型内窥镜所拍摄的体腔内 的像的图像的一个例子的示意图。图47是表示图46所示的图像的分类结果的一个例子的 图。首先，终端装置7的控制部9a进行与上述图32的步骤S210到步骤S203所示的 处理大致相同的处理。即，控制部9a输入基于胶囊型内窥镜3拍摄的体腔内的像的图像的 图像信号，对所输入的第i个图像Ii进行前处理(图41的步骤S241)，把图像Ii分割为 mXn个小区域(图41的步骤S242)，之后在所分割的各区域中计算出色调信息和结构信息 来作为特征量(图41的步骤S243)。然后控制部9a进行之后所述的图像处理，检测所分割 的各区域中被分类到预先设定为具有明显的结构特征的类别的类别中、例如气泡类别的区 域(图41的步骤S244)。另外在本实施方式中，控制部9a在将图像Ii分割为mXn个小区
47域时，以使各区域中Ix = Iy = 8、即成为具有8X8的像素数的矩形区域的方式来分割图像 Ii。具体而言，控制部9a通过将图像Ii的各平面中作为绿色平面的平面Gi中具有 8X8像素数的各矩形区域进一步分成4份，从而生成各自具有4X4像素数的小矩形区域 (图42的步骤S251)。控制部9a计算出具有4X4像素数的小矩形区域各自的G(绿色) 像素的浓度值的平均值ga之后，对具有4X4像素数的小矩形区域分别虚拟地赋予例如具 有图43所示的排列的序号。然后控制部9a分别进行如下设定、即，将连接区域1与区域7 或者区域2与区域8的线段构成的方向设为图像上的垂直方向、将连接区域3与区域4或 者区域5与区域6的线段构成的方向设为图像上的水平方向、将连接区域2与区域5或者 区域4与区域7的线段构成的方向设为图像上的左倾斜方向、将连接区域1与区域6或者 区域3与区域8的线段构成的方向设为图像上的右倾斜方向，之后在各区域之间计算出G 像素的浓度值的平均值ga的对数差的值。然后控制部9a判断为存在上述对数差的值为最 大的区域组合的图像上的方向上存在表示大致圆形形状的边缘的像素的排列，暂时保持上 述对数差的最大值和赋予了上述最大值的图像上的方向。另外具有作为关注区域设定部和附近外周区域检测部的功能的控制部9a在将具 有8X8的像素数的矩形区域中如图44那样作为关注区域的一个矩形区域RO作为存在大 致圆形形状的中央部的区域而设定为虚拟坐标(xo，yo)之后，通过下式(26)检测用坐标 (xt，yt)表示的附近外周区域Ht (t = 1、2、3、…、T)，作为从(xo, yo)相隔距离Q(Q= 1、 2、3、…)的区域、即可能存在以RO作为中央部的大致圆形形状的边缘的至少一部分的区 域(图42的步骤S252)。[ ((xo-xt)2+ (yo-yt)2)1/2] = Q…(26)在上式(26)中[]表示高斯符号。具有作为矢量计算部的功能的控制部9a检测出全部的满足上式(26)的坐标(xt， yt)之后，计算检测出的附近外周区域各自的近似gradient矢量Ygt和连接各坐标(xt， yt)和坐标(xo，yo)的方向矢量Mt (图42的步骤S253)。并且，附近外周区域Ht各自的近似gradient矢量Ygt是以保持于控制部9a的G 像素的浓度值的平均值ga的对数差的最大值作为其大小，而且以赋予了上述最大值的图 像上的方向作为方向的矢量。而且控制部9a在计算出附近外周区域Ht各自的近似gradient矢量Ygi和方向 矢量m之后，判定Yst的大小IYstl的值是否为阈值(本实施方式中为0.4)以上。控 制部9a—旦检测到IYgtI的值为阈值以上，则根据内积的公式，对于图45所示的由近似 gradient矢量Ygi和方向矢量Mi构成的角度^t，用下式(27)计算出cos θ t的值(图 42的步骤S254)。cos θ t = Vgt · Vdt/|Vgt| |Vdt| — (27)具有作为边缘判定部的功能的控制部9a根据使用上式(27)的cos θ t的计算结 果检测到Icosetl的值大于0.7(图42的步骤S255)时，判断为以一个矩形区域RO为中 心的放射状的gradient矢量存在于附近外周区域Ht、即存在以一个矩形区域RO为中央部 的大致圆形形状的边缘的至少一部分，并提取该一个矩形区域R0。在T个附近外周区域中的L个区域中存在以一个矩形区域RO为中心的放射状的gradient矢量时，具有作为区域提取部的功能的控制部9a根据L/T的值进行判断，如果L/ T的值例如为0. 7以上(图42的步骤S256)，则判断为所提取的上述一个矩形区域RO中存 在具有大致圆形形状的气泡的中央部。然后控制部9a使距离Q的值变化到用户预先设定 的Qmax值，同时对距离Q的各值进行上述处理(图42的步骤S257和步骤S258)。另外，控 制部9a对于具有8X8的像素数的所有矩形区域逐一设定一个矩形区域R0，同时每次对于 所设定的每个区域RO进行上述处理(图42的步骤S259和步骤S260)。控制部9a通过进 行上述处理，对应于图像Ii上的各种区域中存在的各种气泡的大小来检测分类到气泡类 别中的区域。之后控制部9a在分类到气泡类别中的区域之外的区域中检测分类到肠毛类别中 的区域(图41的步骤S245)，为此进行与图32的步骤S205到步骤S210所示的处理大致相 同的处理。S卩，如上所述，控制部9a使用具有根据训练数据而按照每个类别预先计算出的平 均矢量和方差协方差矩阵Σ a的上述式(20)到(22)，分别计算出产生的特征矢量ι属 于类别ω 1的事后概率P(Colk)、产生的特征矢量^属于类别ω2的事后概率Ρ(ω2|2 、产 生的特征矢量2L属于类别ω 3的事后概率Ρ(ω 3 I2L)、产生的特征矢量1属于类别ω4的事 后概率P (ω 4 Iχ)。然后控制部9a将赋予了这4个事后概率中最大的事后概率Pl (ω 11 χ) 的类别ω a识别为特征矢量五所属的类别，根据该识别结果将作为产生了特征矢量1的区 域的一个区域Hj分类到类别coa。并且如果肠毛类别为类别col(a= 1)，则控制部9a检 测mXn个区域中在之前的处理中分类到类别ω 1的区域，对该各区域计算出赋予了最大的 事后概率Pl (ω Il1)的概率密度函数pi kl ω 1)的值。而且控制部9a为了判定分类到类别ω 1的各区域的分类结果是否正确，还进行基 于对赋予了最大事后概率Ρ1(ω |^的概率密度函数pi (ι I ω 1)的值的阈值的处理。具体而言，如上所述，控制部9a对于根据训练数据而预先计算出来的平均矢量 ill具有的5个特征量各自的平均值中例如特征量xl的平均值μ xl确定阈值矢量2Μ， 其中该阈值矢量2Μ包含加入了特征量Xl的标准偏差Oxl与作为规定的常数的相乘系 数α相乘的积的值。而且为了可靠地对肠毛类别进行分类，相乘系数α的值作为构成对 于pl(l| ω )值的阈值的值，在本处理中被设定为0.8。并且，当确定了阈值矢量2Μ时， 控制部9a代入阈值矢量2Μ作为上式(20)、式(21)和式(22)的2L，计算出概率密度函数 p(xbil 的值。而且，控制部9a对于pi & I ω 1)的值大于ρ (i I ω 1)的值的区域，将分类到肠毛 类别中的分类结果判断为正确，而且对于Pl (ll ω 1)的值为ρ(2^|ω1)的值以下的区域， 将分类到肠毛类别中的分类结果判断为不正确，将相应区域分类为不确定类别。控制部9a通过对mXn个区域进行上述处理，在分类到气泡类别的区域之外的区 域中检测分类到肠毛类别中的区域。之后，控制部9a根据上述处理的检测结果，根据分类 到肠毛类别中的区域分别具有的5个特征量，计算作为构成肠毛类别的总体参数的平均矢 量JU和方差协方差矩阵E1(图41的步骤S246)。并且如果设气泡类别为类别ω 2 (a = 2)，则控制部9a根据上述处理的检测结果，根据分类到气泡类别中的区域分别具有的5个 特征量，计算作为构成气泡类别的总体参数的平均矢量和方差协方差矩阵Σ 2 (图41的 步骤S246)。之后，控制部9a使用作为构成肠毛类别的总体参数的平均矢量iU和方差协
49方差矩阵Σ工、作为构成气泡类别的总体参数的平均矢量和方差协方差矩阵Σ 2，例如对 于图46所示的图像Ii，通过进一步进行本发明的第7实施方式或者第8实施方式所述的图 像处理，得到图47所示的最终的分类结果(图41的步骤S247)。而且本实施方式中对于分类到气泡类别的区域的检测不限于上述检测，例如也可 以以如下所述方式进行。控制部9a例如对边缘形状扭曲而成为椭圆形形状的气泡，根据下式(28)检测由 坐标(xt，yt)所示的附近外周区域Ht。Q-β 彡[((xo-xt)2+ (yo-yt)2)1/2]彡 Q+ β …(28)并且在上式(28)中，β为1以上的整数，而且[]表示高斯符号。控制部9a在检测出全部的满足上式(28)的坐标(xt，yt)之后，计算检测出的附 近外周区域各自的近似gradient矢量Μ和连接各坐标(xt，yt)和坐标(Xo，yo)的方向矢 量Mi。然后，控制部9a判定Μ的大小IYstI的值是否为阈值(本实施方式中为0.4)以 上。控制部9a—旦检测到IYgtI的值为阈值以上，则根据内积的公式，对于由近似gradient 矢量Yst和方向矢量Mt构成的角度9t，用上式(27)计算出cos θ t的值。控制部9a根据使用上式(27)的cos θ t的计算结果检测到| cos θ 11的值大于 0. 7时，判断为以一个矩形区域RO为中心的放射状的gradient矢量存在于附近外周区域 Ht。进而，控制部9a设判断为存在放射状的gradient矢量的附近外周区域为Htl，而且将 之外的附近外周区域设为HtO进行二值化，之后对于检测为Htl的区域进行细线化处理。然 后控制部9a即使在进行了细线化处理之后也计量作为Htl而残留的区域数。当上述区域 数为Ll个时，控制部9a根据区域数Ll和通过使用上式(26)检测出的附近外周区域数T， 计算Ll/Τ的值。然后控制部9a根据上述Ll/Τ的值进行判断，如果上述Ll/Τ的值为阈值 (例如0. 7)以上，则判断为在一个矩形区域RO上存在具有扭曲的边缘形状的大致圆形形状 的气泡的中央部。并且在上述处理中，控制部9a也可以进行如下处理，在以区域RO为中心、从0度 到360度的区间内，按角度Φ来依次改变方向，并且在从距离(Q-β)到距离(Q+β)的范 围内，检测具有放射状的gradient矢量的附近外周区域。此时，控制部9a将判定为存在着 具有放射状的gradient矢量的附近外周区域的方向数设为S，而且设附近外周区域数T为 [360/ Φ ]个，之后计算S/T的值。并且，控制部9a根据上述S/T的值进行判断，如果上述 S/T的值为阈值(例如0.7)以上，则判断为在一个矩形区域RO上存在气泡的中央部。而且在本实施方式中，控制部9a检测分类到气泡类别中的区域时所用的矢量不 限于近似gradient矢量，例如也可以是平均gradient矢量。如上所述，根据本实施方式，除了可以获得第7实施方式所述的能够得到实现使 用胶囊型内窥镜装置1的观察下的观察效率的提高这样的效果，而且即使在难以根据由色 调信息和结构信息所组成的特征量进行分类的情况下，也能精度良好地对输入到终端装置 7的图像上的气泡类别的区域进行分类。另外根据本实施方式，通过对具有明显的结构特征的气泡和肠毛预先进行基于输 入到终端装置7的图像的总体参数的计算，可以进一步高精度地对气泡类别和肠毛类别的 区域进行分类。而且在本发明的第7实施方式到第9实施方式中，使用胶囊型内窥镜3的拍摄图
50像作为图像处理的适用对象，但例如在对于具有不同于胶囊型内窥镜3的结构的内窥镜所 拍摄的像的图像使用该图像处理方法的情况下也能获得相同的处理结果。并且在本发明的第7实施方式到第9实施方式中，使用基于色调信息和结构信息 的5个值作为构成特征量的值，但该构成特征量的值可以根据用户的用途等适当进行变更 或者追加。进而在本发明的第7实施方式到第9实施方式中，通过与进行出血或者红肿等的 病变部位的检测的图像处理组合使用，从而可以判定病变部位的检测结果是否得自生物体 粘膜表面上，其结果可以提高病变部位的检测精度。而且本发明不限于上述实施方式，当然可以在不脱离本发明主旨的范围内进行各 种变更和应用。本申请以2005年4月13日在日本申请的特愿2005-115960号和特愿2005-115961 号作为优先权的基础而提出申请，上述公开内容被引用于本申请说明书、权利要求书和附 图中。
5权利要求
一种图像处理装置，其特征在于，该图像处理装置具有图像输入部，其输入由多个颜色信号构成的多个医用图像；区域设定部，其对上述输入的医用图像设定多个区域；检测部，其从上述多个区域中检测怀疑存在病变的区域；区域判定部，其判定由上述区域设定部设定的上述多个区域是否为拍摄到生物体粘膜的区域；以及检测结果判定部，其根据上述区域判定部的判定结果，判定上述检测部的检测结果是否正确，该图像处理装置还具有特征量计算部，其分别计算出上述医用图像的上述多个区域的特征量；区域分类部，其根据上述特征量，把上述多个区域分别分类到多个类别内的某一个类别中，其中，上述多个类别包括与生物体粘膜相关的类别和与非生物体粘膜相关的类别；边缘检测部，其根据上述医用图像的绿色成分的浓度值，在上述多个区域中检测出具有边缘的区域；出血部位判定部，其根据上述图像的红色成分的浓度值，判定上述具有边缘的区域是否为包含出血部位的区域；以及分类结果判定部，其根据上述出血部位判定部的判定结果，判定上述区域分类部的分类结果是否正确，上述检测部检测出包含上述出血部位的区域作为怀疑存在病变的区域。
2.根据权利要求1所述的图像处理装置，其特征在于，在根据上述区域分类部的分类 结果将一个区域分类到与生物体粘膜相关的类别中的情况下，上述区域判定部将这一区域 判定为拍摄到生物体粘膜的区域。
3.根据权利要求2所述的图像处理装置，其特征在于，在根据上述检测部的检测结果 和上述区域判定部的判定结果，认为上述怀疑存在病变的区域是上述拍摄到生物体粘膜的 区域时，上述检测结果判定部判定为上述检测部的检测结果正确。
4.根据权利要求1所述的图像处理装置，其特征在于，上述特征量具有与色调相关的 特征量和与结构相关的特征量中的至少一种特征量。
5.一种图像处理装置，其特征在于，该图像处理装置具有图像信号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设 备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设备拍摄到 的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多个区域的特征量； 第1区域分类部，其根据在上述特征量计算部中计算出的特征量和规定的第1分类基 准，将上述多个区域分别分类到多个类别内的某一个类别中；分类基准设定部，其根据上述特征量和上述第1区域分类部的分类结果，设定第2分类 基准；以及第2区域分类部，其根据上述特征量和上述第2分类基准，将上述多个区域分别分类到 上述多个类别内的某一个类别中。
6.根据权利要求5所述的图像处理装置，其特征在于，上述特征量具有与色调相关的 特征量和与结构相关的特征量中的至少一种特征量。
7.根据权利要求5所述的图像处理装置，其特征在于，上述第1区域分类部使用统计识 别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其中，上述统计识别器 使用了确定上述第1分类基准的总体参数；上述第2区域分类部使用统计识别器将上述多 个区域分别分类到上述多个类别内的某一个类别中，其中，上述统计识别器使用了确定上 述第2分类基准的总体参数。
8.一种图像处理装置，其特征在于，该图像处理装置具有图像信号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设 备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设备拍摄到 的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多个区域的特征量； 第1区域分类部，其根据在上述特征量计算部中计算出的特征量和规定的第1分类基 准，分别将上述多个区域分类到多个类别内的某一个类别中；评价值计算部，其通过计算评价值，对由上述第1区域分类部得到的、上述多个区域中 一个区域的分类结果进行评价，其中，上述评价值是基于由上述第1区域分类部得到的、对 位于上述一个区域附近的区域的分类结果而得到的；以及第2区域分类部，其根据上述评价值计算部的评价值，将上述一个区域分类到上述多 个类别内的某一个类别中。
9.根据权利要求8所述的图像处理装置，其特征在于，上述特征量具有与色调相关的 特征量和与结构相关的特征量中的至少一种特征量。
10.一种图像处理装置，其特征在于，该图像处理装置具有图像信号输入部，其输入图像信号，其中，该图像信号是基于由具有拍摄功能的医疗设 备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设备拍摄到 的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多个区域的特征量； 关注区域设定部，其把上述多个区域中的一个区域设定为关注区域； 附近外周区域检测部，其检测附近外周区域，其中，上述附近外周区域是距上述关注区 域有规定距离的区域；圆形形状检测部，其根据上述特征量，检测在上述附近外周区域存在圆形形状的轮廓 部的至少一部分的情况；以及区域提取部，其在通过上述圆形形状检测部检测出上述圆形形状时，提取上述关注区域。
11.根据权利要求10所述的图像处理装置，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
12.根据权利要求10所述的图像处理装置，其特征在于，在判断为上述附近外周区域 中的、存在上述圆形形状的轮廓部的至少一部分的区域的比例为规定阈值以上的情况下，上述圆形形状检测部检测圆形形状，上述区域提取部提取出上述关注区域作为存在上述圆 形形状的中央部的区域。
13.根据权利要求11所述的图像处理装置，其特征在于，上述圆形形状为气泡。
14.根据权利要求12所述的图像处理装置，其特征在于，上述圆形形状为气泡。
15.一种图像处理装置，其特征在于，该图像处理装置具有图像信号输入部，其输入图像信号，其中，上述图像信号是基于由具有拍摄功能的医疗 设备拍摄到的图像而得到的；图像分割部，其根据上述图像信号输入部所输入的图像信号，把由该医疗设备拍摄到 的图像分割为多个区域；特征量计算部，其分别计算出由上述图像分割部分割的多个区域中的特征量； 区域分类部，其根据在上述特征量计算部中计算出的特征量和规定的分类基准，分别 把上述多个区域分类到多个类别内的某一个类别中；区域检测部，其从上述多个区域中检测被分类到上述多个类别中、预先设定为具有明 显的结构特征的类别的规定类别中的区域；以及分类基准设定部，其根据在上述区域检测部中检测出的上述区域所具有的上述特征 量，设定上述区域分类部中的上述规定的分类基准。
16.根据权利要求15所述的图像处理装置，其特征在于，上述规定类别具有气泡类别 或者肠毛类别中的至少1个类别。
17.根据权利要求15所述的图像处理装置，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
18.一种图像处理方法，其特征在于，该图像处理方法具有 图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像； 区域分割步骤，将上述图像分割为多个区域；特征量计算步骤，分别从上述多个区域中计算出特征量；以及 区域分类步骤，根据上述特征量，将上述多个区域分别分类到拍摄到生物体粘膜表面 的区域或者拍摄到非生物体粘膜的区域中的某一个。
19.一种图像处理方法，该图像处理方法具有图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像； 区域分割步骤，将上述图像分割为多个区域； 特征量计算步骤，分别从上述多个区域中计算出特征量；以及 区域分类步骤，根据上述特征量，将上述多个区域分别分类到多个不同类别内的某一 类别中，该图像处理方法的特征在于，在上述区域分类步骤中，把上述多个区域分别分类到拍摄到生物体粘膜表面的区域、 拍摄到非生物体粘膜的区域以及既不对应于上述生物体粘膜表面也不对应于上述非生物 体粘膜的区域中的某一个。
20.一种图像处理方法，该图像处理方法具有图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像；区域分割步骤，将上述图像分割为多个区域；特征量计算步骤，分别从上述多个区域中计算出特征量；区域分类步骤，根据上述特征量，将上述多个区域分别分类到多个不同类别内的某一 类别中；排他类别设定步骤，在上述多个不同类别中，设定不允许混合存在于上述图像中的排 他类别的组合；以及优先类别设定步骤，设定要使上述排他类别的组合中的哪个类别优先，该图像处理方 法的特征在于，在上述区域分类步骤中，当存在分类到由上述排他类别设定步骤设定的排他类别的 组合中的某个类别中的区域时，将上述区域分类到在上述优先类别设定步骤中设定的类别 中。
21.根据权利要求20所述的图像处理方法，其特征在于，该图像处理方法还具有分类 判定值计算步骤，在该分类判定值计算步骤中，根据上述区域分类步骤的分类结果，计算被 分类到上述排他类别的组合中所包含的类别的一个类别中的区域组在上述多个区域中所 占比例，在上述优先类别设定步骤中，根据由上述分类判定值计算步骤计算出的上述比例和 与上述比例相关的规定阈值进行比较，从而设定要使上述排他类别的组合中的哪个类别优先。
22.根据权利要求18所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
23.根据权利要求19所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
24.根据权利要求20所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
25.根据权利要求18所述的图像处理方法，其特征在于，该图像处理方法还具有判定 步骤，在该判定步骤中，根据上述区域分类步骤中的上述多个区域各自的分类结果，判定上 述图像是否拍摄到了生物体粘膜表面。
26.根据权利要求19所述的图像处理方法，其特征在于，该图像处理方法还具有判定 步骤，在该判定步骤中，根据上述区域分类步骤中的上述多个区域各自的分类结果，判定上 述图像是否拍摄到了生物体粘膜表面。
27.根据权利要求21所述的图像处理方法，其特征在于，该图像处理方法还具有判定 步骤，在该判定步骤中，根据上述区域分类步骤中的上述多个区域各自的分类结果，判定上 述图像是否拍摄到了生物体粘膜表面。
28.根据权利要求25所述的图像处理方法，其特征在于，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个不 同的类别内的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关 的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规 定阈值以下时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规 定阈值时，将上述图像判定为充分拍摄到生物体粘膜的图像。
29.根据权利要求26所述的图像处理方法，其特征在于，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个不 同的类别内的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关 的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规 定阈值以下时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规 定阈值时，将上述图像判定为充分拍摄到生物体粘膜的图像。
30.根据权利要求27所述的图像处理方法，其特征在于，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个不 同的类别内的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关 的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述判定步骤中，根据上述图像分类步骤的分类结果进行判定，即，当上述比例为规 定阈值以下时，将上述图像判定为没有充分拍摄到生物体粘膜的图像；当上述比例大于规 定阈值时，将上述图像判定为充分拍摄到生物体粘膜的图像。
31.一种图像处理方法，其特征在于，该图像处理方法具有 图像输入步骤，输入由具有拍摄功能的医疗设备拍摄到的图像； 区域分割步骤，将上述图像分割为多个区域；特征量计算步骤，分别计算出上述多个区域中的特征量；区域分类步骤，根据上述特征量，识别上述多个区域分别属于多个类别中的哪个类别， 并且通过其识别结果，对上述多个区域分别进行分类；以及拍摄脏器估计步骤，根据上述区域分类步骤中的分类结果，估计上述医疗设备拍摄到 的脏器。
32.根据权利要求31所述的图像处理方法，其特征在于，该图像处理方法还具有分类判定值计算步骤，根据上述区域分类步骤的分类结果，计算被分类到上述多个类 别内的规定类别中的区域组在上述多个区域中所占比例；以及图像分类步骤，根据由上述分类判定值计算步骤计算出的上述比例和与上述比例相关 的规定阈值，对具有被分类到上述规定类别中的上述区域组的上述图像进行分类，在上述拍摄脏器估计步骤中，根据上述图像分类步骤的分类结果，确定上述图像所拍 摄到的脏器。
33.根据权利要求32所述的图像处理方法，其特征在于，上述多个类别至少具有胃粘 膜类别、肠毛类别、以及大小便类别。
34.根据权利要求33所述的图像处理方法，其特征在于，当上述规定类别为胃粘膜类 别时，上述确定部判定上述图像所拍摄到的脏器是胃。
35.根据权利要求33所述的图像处理方法，其特征在于，当上述规定类别为肠毛类别 时，上述确定部判定上述图像所拍摄到的脏器是小肠。
36.根据权利要求33所述的图像处理方法，其特征在于，当上述规定类别为大小便类 别时，上述确定部判定上述图像所拍摄到的脏器是大肠。
37.根据权利要求31所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
38.一种图像处理方法，其特征在于，该图像处理方法具有图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像 分割为多个区域，其中，上述图像信号输入部输入与由具有拍摄功能的该医疗设备拍摄到 的上述图像对应的图像信号；特征量计算步骤，分别计算出由上述图像分割步骤分割的多个区域中的特征量； 第1区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的第1分类基 准，将上述多个区域分别分类到多个类别内的某一个类别中；分类基准设定步骤，根据上述特征量与上述第1区域分类步骤的分类结果，设定第2分 类基准；以及第2区域分类步骤，根据上述特征量和上述第2分类基准，将上述多个区域分别分类到 上述多个类别内的某一个类别中。
39.根据权利要求38所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
40.根据权利要求38所述的图像处理方法，其特征在于，在上述第1区域分类步骤中， 使用统计识别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其中，上述 统计识别器使用了确定上述第1分类基准的总体参数；在上述第2区域分类步骤中，使用统 计识别器将上述多个区域分别分类到上述多个类别内的某一个类别中，其中，上述统计识 别器使用了确定上述第2分类基准的总体参数。
41.一种图像处理方法，其特征在于，该图像处理方法具有图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像 分割为多个区域，其中，上述图像信号输入部输入与由具有拍摄功能的该医疗设备拍摄到 的上述图像对应的图像信号；特征量计算步骤，分别计算出由上述图像分割步骤分割的多个区域的特征量； 第1区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的第1分类基 准，将上述多个区域分别分类到多个类别内的某一个类别中；评价值计算步骤，通过计算评价值，对由上述第1区域分类步骤得到的、上述多个区域 中一个区域的分类结果进行评价，其中，上述评价值是基于由上述第1区域分类步骤得到 的、对位于上述一个区域附近的区域的分类结果而得到的；以及第2区域分类步骤，根据上述评价值计算步骤的评价值，将上述一个区域分类到上述 多个类别内的某一个类别中。
42.根据权利要求41所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
43.一种图像处理方法，其特征在于，该图像处理方法具有图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像 分割为多个区域，其中，上述图像信号输入部输入与由具有拍摄功能的该医疗设备拍摄到 的上述图像对应的图像信号；特征量计算步骤，分别计算出由上述图像分割步骤分割的多个区域中的特征量；关注区域设定步骤，将上述多个区域中的一个区域设定为关注区域； 附近外周区域检测步骤，检测附近外周区域，其中，上述附近外周区域是距上述关注区 域有规定距离的区域；圆形形状检测步骤，根据上述特征量，在上述附近外周区域中，检测存在圆形形状的轮 廓部中的至少一部分的情况；以及区域提取步骤，在通过上述圆形形状检测步骤检测出上述圆形形状的情况下，提取上 述关注区域。
44.根据权利要求43所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
45.根据权利要求43所述的图像处理方法，其特征在于，在上述圆形形状检测步骤中， 在判断为上述附近外周区域中的、存在上述圆形形状的轮廓部中的至少一部分的区域的比 例为规定阈值以上的情况下，检测圆形形状；在上述区域提取步骤中，提取出上述关注区域 作为存在上述圆形形状的中央部的区域。
46.根据权利要求43所述的图像处理方法，其特征在于，上述圆形形状为气泡。
47.根据权利要求45所述的图像处理方法，其特征在于，上述圆形形状为气泡。
48.一种图像处理方法，其特征在于，该图像处理方法具有图像分割步骤，根据图像信号输入部所输入的图像信号，将由医疗设备拍摄到的图像 分割为多个区域，其中，上述图像信号输入部输入与由具有拍摄功能的该医疗设备拍摄到 的上述图像对应的图像信号；特征量计算步骤，分别计算出由上述图像分割步骤分割的多个区域中的特征量； 区域分类步骤，根据由上述特征量计算步骤计算出的特征量和规定的分类基准，把上 述多个区域分别分类到多个类别内的某一个类别中；区域检测步骤，从上述多个区域中检测出被分类到上述多个类别中、预先设定为具有 明显的结构特征的类别的规定类别中的区域；以及分类基准设定步骤，根据由上述区域检测步骤检测到的上述区域所具有的上述特征 量，设定上述区域分类步骤中的上述规定分类基准。
49.根据权利要求48所述的图像处理方法，其特征在于，上述特征量具有与色调相关 的特征量和与结构相关的特征量中的至少一种特征量。
50.根据权利要求48所述的图像处理方法，其特征在于，上述规定类别为气泡类别或 者肠毛类别中的至少1个类别。
全文摘要
本发明提供一种可以提高用户的观察效率的图像处理装置以及图像处理方法。本发明的图像处理装置具有图像输入部，其输入由多个颜色信号构成的医用图像；判定部，其判定上述输入的医用图像是否充分拍摄到了生物体粘膜；以及控制部，其根据上述判定部的判定结果，控制上述医用图像的显示或者存储之中的至少一方。
文档编号A61B1/04GK101966071SQ20101051604
公开日2011年2月9日 申请日期2006年3月14日 优先权日2005年4月13日
发明者西村博一, 野波徹绪 申请人:奥林巴斯医疗株式会社