图像处理装置和该图像处理装置中的图像处理方法

专利名称：图像处理装置和该图像处理装置中的图像处理方法
技术领域：
本发明涉及图像处理装置和该图像处理装置中的图像处理方法，特 别是涉及可将未良好拍摄生物体粘膜表面的像的图像去除的图像处理装 置和该图像处理装置中的图像处理方法。
背景技术：
以往，在医疗领域中，广泛进行使用X射线、CT、 MRI、超声波观 测装置以及内窥镜装置等的图像摄像设备的观察。在这种图像摄像设备
中，内窥镜装置例如具有这样的作用和结构，即具有插入作为生物体
的体腔内的细长的插入部，使用固体摄像元件等摄像单元拍摄由配置在 该插入部的前端部的物镜光学系统所成像的体腔内的像并将其作为摄像 信号来输出，根据该摄像信号在监视器等显示单元上显示体腔内的像的 图像。然后，用户根据显示在监视器等显示单元上的体腔内的像的图像， 进行例如体腔内的脏器等的观察。并且，内窥镜装置可直接拍摄消化道 粘膜的像。因此，用户可综合观察例如粘膜色调、病变形状以及粘膜表 面的细微结构等的各种情况。
而且，近年来，作为可期待具有与所述的内窥镜装置大致相同的实 用性的图像摄像设备，例如提出了胶囊型内窥镜装置。 一般情况下，胶
囊型内窥镜装置包括胶囊型内窥镜，其通过由被检者从口腔吞入而配 置在体腔内，并将所拍摄的该体腔内的像作为摄像信号发送到外部；接 收器，其在体腔外接收所发送的该摄像信号之后，蓄积所接收的该摄像 信号；以及观察装置，其用于观察基于蓄积在接收器内的摄像信号的体 腔内的像的图像。
构成胶囊型内窥镜装置的胶囊型内窥镜伴随消化道的蠕动运动而前 进，因而例如从口腔进入体腔内之后到从肛门排出一般需要数小时左右
的时间。而且，由于胶囊型内窥镜在进入体腔内之后到被排出期间，大 致总是向接收器持续输出摄像信号，因而例如数小时的动态图像中的蓄 积在接收器内的作为帧图像的静态图像的张数变得庞大。因此，在用户 观察的高效化方面，例如期望提出这样的方案，S卩在执行了检测所蓄 积的图像中包含有出血部位等病变部位的规定图像的图像处理方法之 后，进行不显示或不存储该规定图像以外的图像的处理，从而削减图像 的数据量。
作为所述的图像处理方法，例如有PCT国际公开编号WO02/073507 号公报所记载的方法。PCT国际公开编号WO02/073507号公报所记载的 用于检测生物体内的比色分析异常的方法是具有如下的方法的图像处理 方法，S卩着眼于正常粘膜和出血部位之间的色调差异，根据将色调设 定为特征量的特征空间上的与各平均值的距离，对图像的每个分割区域 进行出血部位检测的方法，S卩，用于检测包含有作为病变部位的出血部 位的规定图像的方法。
然而，在PCT国际公开编号WO02/073507号公报所记载的图像处 理方法中，具有以下所述的课题。
一般情况下，在消化道中，并不总是仅对生物体粘膜表面的像进行 摄像，例如还会在大小便、气泡、粘液或食物残渣等异物的像和生物体 粘膜表面的像混合存在的状态下进行摄像。因此，在未考虑到所述的异 物存在的PCT国际公开编号WO02/073507号公报所记载的图像处理方法 中，例如认为有由于该异物而将正常粘膜误检为出血部位的可能性、以 及检测该异物的像占大部分的这种图像的可能性。其结果，产生不能实 现用户观察的高效化的课题。

发明内容
本发明是鉴于所述的情况而作成的，本发明的目的是提供如下的图 像处理装置和该图像处理装置中的图像处理方法，即例如，通过将作 为生物体粘膜表面的像的胃粘膜和绒毛的像、以及作为异物的像的大小 便和气泡的像按图像的每个小区域进行识别并分类，可容易将异物的像
占图像的小区域的大部分的这种未良好拍摄生物体粘膜表面的像的图像 作为不需要观察的图像去除，而且可根据所述分类结果确定所拍摄的脏 器，其结果，可实现用户观察的高效化。
并且，本发明的目的是提供如下的图像处理装置和该图像处理装置 中的图像处理方法，即通过使用针对被分类为生物体粘膜表面的像的 各个区域，进一步根据例如所述各个区域具有的特征量来将正常粘膜的 像和病变部位的像分类的图像处理方法，可提高病变部位的检测精度。
本发明的第1图像处理装置的特征在于，该图像处理装置具有图 像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的多个 图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所 输入的图像信号，将所述多个图像分别分割为多个区域；特征量计算单
元，其计算由所述图像分割单元所分割的所述多个区域各方中的特征量;
簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征空间
上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；子集生 成单元，其使用所述多个图像来生成基于分别拍摄所述多个图像的定时 的多个子集；以及分类基准计算单元，其根据由所述子集生成单元所生 成的一个子集内包含的各个图像的在所述特征空间上的所述特征量的分 布状态，计算将所述一个子集内包含的图像分别分类为所述多个类别中 的任一方时的分类基准。
本发明的第2图像处理装置的特征在于，在所述第1图像处理装置 中，所述分类基准计算单元进一步针对所述多个类别中的在一个子集内 未产生所述特征量的类别，不计算所述分类基准。
本发明的第3图像处理装置的特征在于，在所述第1图像处理装置 中，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜 相关的类别。
本发明的第4图像处理装置的特征在于，在所述第2图像处理装置 中，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体粘膜 相关的类别。
本发明的第5图像处理装置的特征在于，在所述第3图像处理装置
中，该图像处理装置还具有分类单元，其根据所述分类基准，进行所 述一个子集内包含的一个图像中的各区域的分类；以及病变检测单元， 其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述 生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病 变部位的处理。
本发明的第6图像处理装置的特征在于，在所述第4图像处理装置
中，该图像处理装置还具有分类单元，其根据所述分类基准，进行所
述一个子集内包含的一个图像中的各区域的分类；以及病变检测单元，
其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述 生物体粘膜相关的类别的区域的情况下，对该各个区域进行用于检测病 变部位的处理。
本发明的第7图像处理装置的特征在于，该图像处理装置具有图
像信号输入单元，其输入基于由具有摄像功能的医疗设备按时序拍摄的
多个图像的图像信号；图像分割单元，其根据在所述图像信号输入单元 中所输入的图像信号，将所述多个图像分别分割为多个区域；特征量计 算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的特 征量；图像区域分类单元，其根据所述特征量将所述多个区域各方分别 分割为多个类别中的任一方；代表值计算单元，其在所述多个图像各方 中计算至少一个类别的特征量的代表值；以及变动检测单元，其检测所 述代表值的变动为极大的图像或时间的任一方。
本发明的第8图像处理装置的特征在于，在所述第7图像处理装置 中，该图像处理装置还具有平滑化单元，该平滑化单元对所述各个代表 值应用时序方向的平滑化，所述变动检测单元根据由所述平滑化单元平 滑化后的所述代表值，检测所述代表值的变动为极大的图像或时间的任 一方。
本发明的第9图像处理装置的特征在于，在所述第7图像处理装置 中，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
本发明的第10图像处理装置的特征在于，在所述第8图像处理装置 中，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
本发明的第11图像处理装置的特征在于，在所述第7图像处理装置 中，所述代表值的变动是根据生物体内的大小便的存在而产生的。
本发明的第12图像处理装置的特征在于，在所述第8图像处理装置 中，所述代表值的变动是根据生物体内的大小便的存在而产生的。
本发明的第13图像处理装置的特征在于，在所述第7图像处理装置 中，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
本发明的第14图像处理装置的特征在于，在所述第8图像处理装置 中，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
本发明的第15图像处理装置的特征在于，在所述第7图像处理装置 中，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
本发明的第16图像处理装置的特征在于，在所述第8图像处理装置 中，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
本发明的第17图像处理装置的特征在于，在所述第7图像处理装置 中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第18图像处理装置的特征在于，在所述第8图像处理装置 中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第19图像处理装置的特征在于，在所述第9图像处理装置 中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第20图像处理装置的特征在于，在所述第10图像处理装 置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第21图像处理装置的特征在于，在所述第11图像处理装 置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第22图像处理装置的特征在于，在所述第12图像处理装 置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第23图像处理装置的特征在于，在所述第13图像处理装 置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第24图像处理装置的特征在于，在所述第14图像处理装 置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第25图像处理装置的特征在于，在所述第15图像处理装
置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第26图像处理装置的特征在于，在所述第16图像处理装 置中，所述代表值是所述多个类别各方中的特征量的平均值。
本发明的第27图像处理装置的特征在于，该图像处理装置具有图 像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像 的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入 的图像信号，将所述图像分别分割为多个区域；特征量计算单元，其计 算由所述图像分割单元所分割的所述多个区域各方中的特征量；簇分类 单元，其根据所述特征量和所述特征量的产生频度，在特征空间上生成 多个簇，并将该多个簇分别分类为多个类别中的任一方；以及图像区域 分类单元，其根据所述簇分类单元的分类结果，将所述多个区域分别分
类为所述多个类别中的任一方。
本发明的第28图像处理装置的特征在于，该图像处理装置具有图 像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像 的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入 的图像信号，将所述图像分别分割为多个区域；特征量计算单元，其计 算由所述图像分割单元所分割的所述多个区域各方中的特征量；簇分类 单元，其根据所述特征量和所述特征量的产生频度，在特征空间上生成 多个簇，并将该多个簇分别分类为多个类别中的任一方；特征量分布信 息取得单元，其取得与所述特征空间上的所述特征量的分布状态相关的 信息，即特征量分布信息；以及图像区域分类单元，其根据所述特征量 分布信息取得单元所取得的所述特征量分布信息，将所述多个区域分别 分类为所述多个类别中的任一方。
本发明的第29图像处理装置的特征在于，在所述第27图像处理装 置中，所述图像是按时序连续拍摄的多个图像。
本发明的第30图像处理装置的特征在于，在所述第28图像处理装 置中，所述图像是按时序连续拍摄的多个图像。
本发明的第31图像处理装置的特征在于，该图像处理装置具有图 像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像
的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入 的图像信号，将所述图像分别分割为多个区域；特征量计算单元，其计 算由所述图像分割单元所分割的所述多个区域各方中的多种特征量；第1 簇分类单元，其根据所述多种特征量中的一种特征量和该一种特征量的 产生频度，在一个特征空间上生成多个簇，并将该多个簇分别分类为多 个类别中的任一方；第2簇分类单元，其根据所述多种特征量中的另一 种特征量和该另一种特征量的产生频度，在另一个特征空间上生成多个 簇，并将该多个簇分别分类为多个类别中的任一方；以及簇分割单元， 其根据所述一个特征空间和所述另一个特征空间上的特征量的分布状 态，进行对在所述一个特征空间上所生成的多个簇的分割处理。
本发明的第32图像处理装置的特征在于，在所述第5图像处理装置 中，所述病变检测单元设置在所述医疗设备内。
本发明的第33图像处理装置的特征在于，在所述第6图像处理装置 中，所述病变检测单元设置在所述医疗设备内。
本发明的第34图像处理装置的特征在于，在所述第7图像处理装置 中，所述变动检测单元进行检测所述按时序检测的代表值的变动为极大 的图像或时间的任一方的处理。
本发明的第35图像处理装置的特征在于，在所述第27图像处理装 置中，该图像处理装置还具有摄像部位判定单元，该摄像部位判定单元 在由所述图像区域分类单元所分类的区域中的特定区域在所述图像上占 规定比例以上的情况下，将该图像判定为是拍摄了特定脏器的图像。
本发明的第36图像处理装置的特征在于，在所述第28图像处理装 置中，该图像处理装置还具有摄像部位判定单元，该摄像部位判定单元 在由所述图像区域分类单元所分类的区域中的特定区域在所述图像上占 规定比例以上的情况下，将该图像判定为是拍摄了特定脏器的图像。
本发明的第1图像处理装置中的图像处理方法的特征在于，该图像 处理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备 所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特 征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方
中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度，
在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一
方；子集生成步骤，其使用所述多个图像来生成基于分别拍摄所述多个 图像的定时的多个子集；以及分类基准计算步骤，其根据由所述子集生 成步骤所生成的一个子集内包含的各个图像的在所述特征空间上的所述 特征量的分布状态，计算将所述一个子集内包含的图像分别分类时的分 类基准。
本发明的第2图像处理装置中的图像处理方法的特征在于，在所述 第1图像处理装置中的图像处理方法中，所述分类基准计算步骤进一步 针对所述多个簇中的在一个子集内未产生所述特征量的簇，不计算所述 分类基准。
本发明的第3图像处理装置中的图像处理方法的特征在于，在所述 第1图像处理装置中的图像处理方法中，所述多个类别至少具有与生物 体粘膜相关的类别和与非生物体粘膜相关的类别。
本发明的第4图像处理装置中的图像处理方法的特征在于，在所述 第2图像处理装置中的图像处理方法中，所述多个类别至少具有与生物 体粘膜相关的类别和与非生物体粘膜相关的类别。
本发明的第5图像处理装置中的图像处理方法的特征在于，在所述 第3图像处理装置中的图像处理方法中，该图像处理方法还具有分类 步骤，其根据所述分类基准进行所述一个子集内包含的一个图像中的各 区域的分类；以及病变检测步骤，其根据所述一个图像的分类结果，在 所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况 下，对该各个区域进行用于检测病变部位的处理。
本发明的第6图像处理装置中的图像处理方法的特征在于，在所述 第4图像处理装置中的图像处理方法中，该图像处理方法还具有分类 步骤，其根据所述分类基准进行所述一个子集内包含的一个图像中的各
区域的分类；以及病变检测步骤，其根据所述一个图像的分类结果，在 所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况 下，对该各个区域进行用于检测病变部位的处理。 本发明的第7图像处理装置中的图像处理方法的特征在于，该图像 处理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备
所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特
征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方
中的特征量；图像区域分类步骤，其根据所述特征量将所述多个区域各 方分别分割为多个类别中的任一方；代表值计算步骤，其在所述多个图 像各方中计算至少一个类别的特征量的代表值；以及变动检测步骤，其 检测所述代表值的变动为极大的图像或时间的任一方。
本发明的第8图像处理装置中的图像处理方法的特征在于，在所述 第7图像处理装置中的图像处理方法中，该图像处理方法还具有平滑化 步骤，该平滑化步骤对所述各个代表值应用时序方向的平滑化，在所述 变动检测步骤中进行这样的处理，即根据由所述平滑化步骤平滑化后 的所述代表值，检测所述代表值的变动为极大的图像或时间的任一方。
本发明的第9图像处理装置中的图像处理方法的特征在于，在所述 第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的观察部位的变化而产生的。
本发明的第10图像处理装置中的图像处理方法的特征在于，在所述 第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的观察部位的变化而产生的。
本发明的第11图像处理装置中的图像处理方法的特征在于，在所述 第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的大小便的存在而产生的。
本发明的第12图像处理装置中的图像处理方法的特征在于，在所述 第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的大小便的存在而产生的。
本发明的第13图像处理装置中的图像处理方法的特征在于，在所述 第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的胆汁的存在而产生的。
本发明的第14图像处理装置中的图像处理方法的特征在于，在所述
第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的胆汁的存在而产生的。
本发明的第15图像处理装置中的图像处理方法的特征在于，在所述 第7图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的病变部位的存在而产生的。
本发明的第16图像处理装置中的图像处理方法的特征在于，在所述 第8图像处理装置中的图像处理方法中，所述代表值的变动是根据生物 体内的病变部位的存在而产生的。
本发明的第17图像处理装置中的图像处理方法的特征在于，在所述 第7图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第18图像处理装置中的图像处理方法的特征在于，在所述 第8图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第19图像处理装置中的图像处理方法的特征在于，在所述 第9图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第20图像处理装置中的图像处理方法的特征在于，在所述 第10图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第21图像处理装置中的图像处理方法的特征在于，在所述 第11图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第22图像处理装置中的图像处理方法的特征在于，在所述 第12图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第23图像处理装置中的图像处理方法的特征在于，在所述 第13图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第24图像处理装置中的图像处理方法的特征在于，在所述 第14图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第25图像处理装置中的图像处理方法的特征在于，在所述 第15图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第26图像处理装置中的图像处理方法的特征在于，在所述 第16图像处理装置中的图像处理方法中，所述代表值是所述多个类别各 方中的特征量的平均值。
本发明的第27图像处理装置中的图像处理方法的特征在于，该图像 处理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备 所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特 征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方 中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度， 在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一 方；以及图像区域分类步骤，其根据所述簇分类步骤的分类结果，将所 述多个区域分别分类为所述多个类别中的任一方。
本发明的第28图像处理装置中的图像处理方法的特征在于，该图像 处理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备 所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特 征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方 中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度， 在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一 方；特征量分布信息取得步骤，其取得与所述特征空间上的所述特征量 的分布状态相关的信息，即特征量分布信息；以及图像区域分类步骤， 其根据由所述特征量分布信息取得步骤所取得的所述特征量分布信息， 将所述多个区域分别分类为所述多个类别中的任一方。
本发明的第29图像处理装置中的图像处理方法的特征在于，在所述 第27图像处理装置中的图像处理方法中，所述图像是按时序连续拍摄的
多个图像。
本发明的第30图像处理装置中的图像处理方法的特征在于，在所述
第28图像处理装置中的图像处理方法中，所述图像是按时序连续拍摄的
多个图像。
本发明的第31图像处理装置中的图像处理方法的特征在于，该图像
处理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备
所拍摄的图像而输入的图像信号，将所述图像分别分割为多个区域；特 征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区域各方
中的多种特征量；第1簇分类步骤，其根据所述多种特征量中的一种特 征量和该一种特征量的产生频度，在一个特征空间上生成多个簇，并将 该多个簇分别分类为多个类别中的任一方；第2簇分类步骤，其根据所 述多种特征量中的另一种特征量和该另一种特征量的产生频度，在另一 个特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一 方；以及簇分割步骤，其根据所述一个特征空间和所述另一个特征空间 上的特征量的分布状态，进行对在所述一个特征空间上所生成的多个簇 的分割处理。
本发明的第32图像处理装置中的图像处理方法的特征在于，在所述 第5图像处理装置中的图像处理方法中，所述病变检测步骤是在所述医 疗设备内进行的。
本发明的第33图像处理装置中的图像处理方法的特征在于，在所述 第6图像处理装置中的图像处理方法中，所述病变检测步骤是在所述医 疗设备内进行的。
本发明的第34图像处理装置中的图像处理方法的特征在于，在所述 第7图像处理装置中的图像处理方法中，所述变动检测步骤进行检测所 述按时序检测的代表值的变动为极大的图像或时间的任一方的处理。
本发明的第35图像处理装置中的图像处理方法的特征在于，在所述 第27图像处理装置中的图像处理方法中，该图像处理方法还具有摄像部 位判定步骤，该摄像部位判定步骤在由所述图像区域分类步骤所分类的 区域中的特定区域在所述图像上占规定比例以上的情况下，将该图像判
定为是拍摄了特定脏器的图像。
本发明的第36图像处理装置中的图像处理方法的特征在于，在所述 第28图像处理装置中的图像处理方法中，该图像处理方法还具有摄像部 位判定步骤，该摄像部位判定步骤在由所述图像区域分类步骤所分类的 区域中的特定区域在所述图像上占规定比例以上的情况下，将该图像判 定为是拍摄了特定脏器的图像。


图1是示出作为本发明的第1实施方式的进行图像处理动作的图像 处理装置和周边设备的外观的外观正面图。
图2是将生成在第1实施方式的图像处理装置中处理的规定的图像 信息的胶囊型内窥镜的一部分切取来示出的要部放大截面图。
图3是示出将规定的图像信息提供给第1实施方式的图像处理装置 的胶囊型内窥镜装置的概要内部结构的框图。
图4是示出将规定的图像信息提供给第1实施方式的图像处理装置 的胶囊型内窥镜装置的一个使用例的图。
图5是示出从图2所示的胶囊型内窥镜输出的信号的一例的时序图。
图6是说明图2所示的胶囊型内窥镜的位置检测的说明图。
图7是示出在使用图3所示的胶囊型内窥镜装置时的天线单元的要 部放大截面图。
图8是说明在使用图3所示的胶囊型内窥镜装置时的屏蔽夹克的说 明图。
图9是说明图3所示的胶囊型内窥镜装置的外部装置安装在被检体
上的状态的说明图。
图10是示出图2所示的胶囊型内窥镜的电气结构的框图。
图11是示出第1实施方式所涉及的图像处理动作的流程图。
图12是示出通过由控制部进行的处理而生成的在特征空间上的直
方图的一例的图。
图13是示出通过由控制部进行的处理而生成的在特征空间上的簇(cluster)的一例的图。
图14是示出图13所示的簇中的在特征空间上的面积或体积小于规 定阈值的簇被删除的状况的图。
图15是示出由控制部进行的处理，即边界相接的2个以上的簇的合
并或分离判定处理的一例的流程图。
图16是示出被分类为胃粘膜类别和绒毛类别的区域具有的特征量 pgp的每个子集的在时间方向的变化的曲线图。
图17是在图16的曲线图所示的特征量pgp时进行朝时间方向的平 滑化处理的情况的曲线图。
图18是示出由控制部进行的处理，即病变检测处理的一例的流程图。
图19是示出第2实施方式所涉及的图像处理动作的流程图。
图20是示出在第2实施方式中通过由控制部进行的处理而生成的在
特征空间上的直方图的一例的图。
图21是示出在第2实施方式中通过由控制部进行的处理而生成的在
特征空间上的簇的一例的图。
图22是示出图21所示的簇中的在特征空间上的面积或体积小于规
定阈值的簇被删除的状况的图。
图23是示出由控制部进行的处理，即边界相接的2个以上的簇的合
并或分离判定处理的一例的流程图。
图24是示出图19所示的图像处理动作的变形例的流程图。
图25是示出第3实施方式所涉及的图像处理动作的流程图。
图26是示出接在图25所示的处理后进行的图像处理动作的流程图。
图27是示出在第3实施方式中通过由控制部进行的处理而生成的在
特征空间上的直方图的一例的图。
图28是示出在第3实施方式中通过由控制部进行的第2无教师聚簇
处理而生成的在特征空间上的簇的一例的图。
图29是示出在第3实施方式中通过由控制部进行的第1无教师聚簇
处理而生成的在特征空间上的簇的一例的图。
图30是示出在第3实施方式中通过由控制部进行的簇分割处理而将 图29所示的簇C分割为簇C1和簇C2的状态的图。
具体实施例方式
以下参照

本发明的实施方式。 (第1实施方式)
图1至图18涉及本发明的第1实施方式。
图1是示出作为本发明的第1实施方式的进行图像处理动作的图像 处理装置和周边设备的外观的外观正面图。图2是将生成在第1实施方 式的图像处理装置中处理的规定的图像信息的胶囊型内窥镜的一部分切 取来示出的要部放大截面图。图3是示出将规定的图像信息提供给第1 实施方式的图像处理装置的胶囊型内窥镜装置的概要内部结构的框图。 图4是示出将规定的图像信息提供给第1实施方式的图像处理装置的胶 囊型内窥镜装置的一个使用例的图。图5是示出从图2所示的胶囊型内 窥镜输出的信号的一例的时序图。图6是说明图2所示的胶囊型内窥镜 的位置检测的说明图。图7是示出在使用图3所示的胶囊型内窥镜装置 时的天线单元的要部放大截面图。图8是说明在使用图3所示的胶囊型 内窥镜装置时的屏蔽夹克的说明图。图9是说明图3所示的胶囊型内窥 镜装置的外部装置安装在被检体上的状态的说明图。图10是示出图2所 示的胶囊型内窥镜的电气结构的框图。图11是示出第1实施方式所涉及 的图像处理动作的流程图。图12是示出通过由控制部进行的处理而生成 的在特征空间上的直方图的一例的图。图13是示出通过由控制部进行的 处理而生成的在特征空间上的簇的一例的图。图14是示出图13所示的 簇中的在特征空间上的面积或体积小于规定阈值的簇被删除的状况的 图。图15是示出由控制部进行的处理，即边界相接的2个以上的簇的合 并或分离判定处理的一例的流程图。图16是示出被分类为胃粘膜类别和 绒毛类别的区域具有的特征量pgp的每个子集的在时间方向的变化的曲 线图。图17是在图16的曲线图所示的特征量pgp时进行朝时间方向的平 滑化处理的情况的曲线图。图18是示出由控制部进行的处理，即病变检测处理的一例的流程图。
如图3所示，向作为本发明的第1实施方式的图像处理装置提供规 定的图像信息的胶囊型内窥镜装置1的要部构成为具有胶囊型内窥镜3、 天线单元4以及外部装置5。
作为医疗设备的胶囊型内窥镜3形成为如下的形状，即在从作为 被检体的患者2的口腔被吞入体腔内而配置在体腔内之后，通过蠕动运 动在消化道内前进，而且胶囊型内窥镜3在内部具有对体腔内进行摄 像并生成该摄像图像信息的摄像功能，以及将该摄像图像信息发送到体
外的发送功能，详情在后面描述。天线单元4具有多个接收天线11，这 些多个接收天线11设置在患者2的身体表面上，并接收从所述胶囊型内 窥镜3发送的摄像图像信息，详情在后面描述。外部装置5的外形形成 为箱形形状，外部装置5具有对所述天线单元4接收到的摄像图像信息 进行各种处理、记录摄像图像信息以及利用摄像图像信息显示摄像图像 等的功能，详情在后面描述。在该外部装置5的封装表面上设置有显 示所述摄像图像的液晶监视器12，以及进行各种功能的操作指示的操作 部13。
并且，在该外部装置5的封装表面上设置有用于进行与驱动电源
用的电池剩余量相关的警告显示的LED，以及由电源开关等的开关构成 的操作部13。并且，在胶囊型内窥镜3的内部设置有使用了 CPU和存储 器的运算执行部，例如在该运算执行部中可以构成为对所接收和记录的 摄像图像信息执行后述的图像处理。
该外部装置5可自由拆装地安装在患者2的身体上，并且如图1所 示，通过安装在支座6上，可自由拆装地与作为本发明的第1实施方式 的图像处理装置(以下记为终端装置)7连接。该终端装置7例如使用个 人计算机，其具有具有各种数据的处理功能和存储功能的终端主体9， 各种操作处理输入用的键盘8a和鼠标8b,以及显示各种处理结果的显示 器8c。该终端装置7例如具有进行如下的图像处理的功能来作为基本功 能，即通过支座6取入记录在所述外部装置5内的摄像图像信息，将 其写入并记录在内置于终端主体9内的可改写存储器或者可在终端主体9 上自由拆装的可改写半导体存储器等便携式存储器内，并将该记录的摄
像图像信息显示在显示器8c上。另外，存储在所述外部装置5内的摄像 图像信息也可以不通过所述支座6，而通过USB电缆等被取入到终端装 置7。
另外，终端装置7进行的图像处理，例如，作为根据从所述外部装 置5取入并记录的摄像图像信息选择对应于经过时间而显示的图像的处 理、以及后述的图像处理，在终端主体9具有的控制部9a中执行。控制 部9a具有CPU (中央处理装置)等，例如在进行所述的处理的情况下， 可将处理结果暂时保持在未作图示的寄存器等内。
下面使用图2说明所述胶囊型内窥镜3的外形和内部结构。胶囊型 内窥镜3具有截面为U字状的封装构件14和大致半球形状的罩构件14a， 该罩构件14a借助粘接剂以水密方式安装在该封装构件14的前端侧的开 放端上并由透明构件形成。因此，胶囊型内窥镜3的封装形成为，在封 装构件14和罩构件14a连接的状态下具有水密结构和胶囊形状。
在具有该封装构件14和罩构件14a的胶囊形状的内部中空部、而且 是相当于所述罩构件14a的半球的圆弧的大致中央的部分上配置有取入 经由罩构件14a所射入的观察部位像的物镜15，该物镜15被收纳在镜头 框16内。在该物镜15的成像位置配置有作为摄像元件的电荷耦合元件
(以下记为CCD) 17。并且，在收纳所述物镜15的镜头框16的周围， 在同一平面上配置有发出并放射照明光的4个白色系的LED 18 (图中仅 示出2个LED)。在所述CCD 17的后端侧的所述封装构件14的内部中 空部配置有处理电路19，其进行驱动控制所述CCD 17来生成光电转 换后的摄像信号，并对该摄像信号实施规定的信号处理来生成摄像图像 信号的摄像处理，以及控制所述LED 18的点亮/不点亮的动作的LED驱 动处理；通信处理电路20，其将通过该处理电路19的摄像处理所生成的 摄像图像信号转换为无线信号来发送；发送天线23，其将来自该通信处 理电路20的无线信号发送到外部；以及多个纽扣型电池21，其提供所述 处理电路19和通信处理电路20的驱动用电源。
另外，CCD 17、 LED 18、处理电路19、通信处理电路20以及发送
天线23配置在未作图示的基板上，这些基板之间通过未作图示的挠性基 板连接。并且，在所述处理电路19上具有用于进行后述的图像处理的未
作图示的运算电路。即，如图3所示，所述胶囊型内窥镜3具有具有
所述CCD 17、 LED 18和处理电路19的摄像装置43，具有所述通信处理 电路20的发送器37，以及发送天线23。
下面使用图10说明所述胶囊型内窥镜3的摄像装置43的详细结构。 摄像装置43包括LED驱动器18A，其控制LED 18的点亮/不点亮动作； CCD驱动器17A，其用于控制CCD 17的驱动来传送光电转换后的电荷； 处理电路19A，其使用从所述CCD17所传送的电荷来生成摄像信号，并
对该摄像信号实施规定的信号处理来生成摄像图像信号；开关部，其将 来自电池21的驱动电源提供给所述LED驱动器18A、 CCD驱动器17A、 处理电路19A和发送器37;以及定时发生器19B，其将定时信号提供给 所述开关部和CCD驱动器17A。另外，所述开关部包括开关19C，其 接通/断开从电池21向所述LED驱动器18A的电源供给；开关19D，其 接通/断开向所述CCD 17、CCD驱动器17A和处理电路19A的电源供给； 以及开关19E，其接通/断开向所述发送器37的电源供给。并且，从电池 21总是向所述定时发生器19B提供驱动电源。
在具有这种结构的胶囊型内窥镜3的摄像装置43中，在开关19C、 开关19D、开关19E处于断开状态的情况下，定时发生器19B以外的各 部处于非动作状态。然后，当从定时发生器19B输出了定时信号时，所 述开关19D接通，由此，由电池21提供了电源的CCD17、 CCD驱动器 17A和处理电路19A处于动作状态。
在所述CCD 17的驱动初始时，使CCD 17的电子快门动作，去除不 需要的暗电流，之后，定时发生器19B接通开关19C，驱动LED驱动器 18A，点亮LED18，使CCD17曝光。LED 18在点亮了 CCD 17的曝光 所需要的规定时间之后，为了降低消耗功率，在开关19C断开的定时熄 灭。
在进行了所述CCD 17的曝光的所述规定时间内所蓄积的电荷通过 CCD驱动器17A的控制被传送到处理电路19A。处理电路19A根据从
CCD 17所传送的电荷生成摄像信号，对该摄像信号实施规定的信号处理 来生成内窥镜图像信号。例如在从发送器37发送的信号是模拟无线方式 的情况下，处理电路19A生成将复合同步信号重叠在CDS输出信号上的 模拟摄像信号，之后将该模拟摄像信号作为内窥镜图像信号输出到发送 器37。并且，例如在从发送器37发送的信号是数字无线方式的情况下， 处理电路19A生成数字摄像图像信号，并将该数字摄像信号作为内窥镜 图像信号输出到发送器37，该数字摄像图像信号是对由模拟/数字转换器 所生成的串行数字信号进一步实施扰码等编码处理而得到的。
该发送器37对从所述处理电路19A所提供的内窥镜图像信号，即模 拟摄像图像信号或数字摄像图像信号实施调制处理，并从发送天线23无 线发送到外部。此时，开关19E通过定时发生器19B进行接通/断开，以 便仅在从所述处理电路19A输出了摄像图像信号的定时向发送器37提供 驱动电力。
另夕卜，开关19E也可以被控制成，在从处理电路19A输出摄像图像 信号起经过规定时间后，向发送器37提供驱动电力。并且，开关l犯也 可以具有如下的结构，S口开关19E被控制成，根据由设置在胶囊型内 窥镜3上的未作图示的pH传感器进行的规定值的pH值检测、由未作图 示的湿度传感器进行的规定值以上的湿度检测、由未作图示的压力传感 器或未作图示的加速度传感器进行的规定值以上的压力或加速度检测等 的检测结果，利用从定时发生器19B输出的信号，在插入到作为被检体 的患者2的体腔内时，向发送器37提供电源。
另外，所述胶囊型内窥镜3的摄像装置43通常每秒拍摄2张图像(每 秒2帧二2fps)，然而例如在食道检查的情况下，可每秒拍摄15 30张图 像(15fps 30f^)。具体地说，在胶囊型内窥镜3上设置未作图示的定 时器电路，利用该定时器电路控制摄像装置43的驱动，以便例如定时器 计时在规定时间以内进行每秒摄像张数较多的高速摄像，并在经过了规 定时间后，进行每秒摄像张数较少的低速摄像。或者，还可以在胶囊型 内窥镜3的电源接通的同时使定时器电路动作，利用该定时器电路控制 摄像装置43的驱动，以便例如在患者2刚刚吞入之后直到通过食道的时间内进行高速摄像。还可以分别设置低速摄像用胶囊型内窥镜和高速摄 像用胶囊型内窥镜，根据观察对象部位分开使用。
下面说明设置在所述患者2的身体表面上的天线单元4。如图4所 示，在吞入胶囊型内窥镜3进行内窥镜检査的情况下，患者2穿上设置 有由多个接收天线11构成的天线单元4的夹克10。如图7所示，该天线 单元4例如将用于GPS的片状天线(Patch Antenna)那样的具有单向指 向性的多个接收天线11配置成使其指向性朝向患者2的身体内方向。即， 由于胶囊型内窥镜3的胶囊主体3D留置在身体内，因而所述多个天线 11配置成包围该身体内的胶囊主体3D。通过使用该指向性高的天线11， 不容易受到由来自身体内的胶囊主体3D以外的电波引起的干扰妨碍的 影响。
如图8所示，所述夹克10包括设置在患者2的身体表面上的所述 天线单元4，以及由电磁屏蔽纤维形成以覆盖通过皮带设置在患者2的腰 上的外部装置5的主体部5D的屏蔽夹克72。形成该屏蔽夹克72的电磁 屏蔽纤维可使用金属纤维、金属化学纤维、含硫化铜的纤维等。另外， 该屏蔽夹克72不限于夹克形状，例如也可以是马甲、连衣裙形状等。
并且，作为将所述外部装置5安装在所述屏蔽夹克72上的例子，如 图9所示，在所述外部装置5的外部主体5D上设置钥匙孔74，通过将 设置在所述屏蔽夹克72上的钥匙75插入所述钥匙孔74，可自由拆装地 安装在皮带73上。或者，也可以只在屏蔽夹克72上设置未作图示的口 袋，将外部主体5D收纳在该口袋内，或者在外部装置5的外部主体5D 和屏蔽夹克72上设置魔术贴(magic tape，注册商标)，利用该魔术贴(注 册商标)来安装固定。
艮P，通过将屏蔽夹克72安装在配置有天线单元4的身体上，对天线 单元4屏蔽来自外部的电波，从而更不容易受到由外部电波引起的干扰 妨碍的影响。
下面使用图3说明所述天线单元4和外部装置5的结构。所述天线 单元4包括接收从所述胶囊型内窥镜3的发送天线23所发送的无线信 号的多个接收天线11a lld,以及切换该天线11a lld的天线切换开关45。所述外部装置5包括接收电路33，其进行将来自天线切换开关45
的无线信号转换为摄像图像信号并将其放大等接收处理；信号处理电路 35，其对从该接收电路33所提供的摄像图像信号实施规定的信号处理， 生成摄像图像的显示用信号和摄像图像数据；液晶监视器12，其根据由 该信号处理电路35所生成的摄像图像显示用信号显示摄像图像；存储器 47，其存储由所述信号处理电路35所生成的摄像图像数据；以及天线选 择电路46，其根据由所述接收电路33进行了接收处理后的无线信号的大 小控制所述天线切换开关45。
在所述天线单元4的图中作为接收天线lla lld所示的多个接收天 线11接收从所述胶囊型内窥镜3的发送天线23以一定的电波强度所发 送的无线信号。该多个接收天线11a lld利用来自所述外部装置5的天 线选择电路46的天线选择信号来控制天线切换开关45，依次切换接收所 述无线信号的接收天线。即，由通过所述天线切换开关45依次切换的各 接收天线11a d所接收的无线信号被输出到所述接收器33。在该接收器 33中，检测各接收天线lla lld的无线信号的接收强度，计算各接收天 线11a lld与胶囊型内窥镜3的位置关系，并对该无线信号进行解调处 理来将摄像图像信号输出到信号处理电路35。所述天线选择电路46由来 自所述接收器33的输出来控制。
对由所述天线选择电路46实现的天线切换开关45的动作进行说明。 假定如图5所示，从所述胶囊型内窥镜3发送的无线信号在摄像图像信 号的1帧发送期间内，依次重复作为表示无线信号的接收强度的接收强 度信号的发送期间的强度接收期间和作为摄像图像信号的发送期间的影 像信号期间来发送。
所述天线选择电路46经由所述接收电路33被提供由各接收天线 11 a 11 d所接收的接收强度信号的接收强度。所述天线选择电路46将从 所述接收器33所提供的各天线11a lld的接收强度信号的强度进行比 较，决定接收影像信号期间的摄像图像信号的最佳接收天线，即接收强 度信号的强度最高的天线lli (i=a d)，生成并输出用于将天线切换电 路45切换为该天线lli的控制信号。由此，在其他天线的接收强度信号的接收强度比当前接收图像信号的天线高的情况下，从下一帧切换影像 信号期间的接收天线。
这样，每当接收来自胶囊型内窥镜3的无线信号时，将摄像图像信 号或接收强度信号的接收强度进行比较，利用接收到该比较结果的天线
选择电路46来将接收强度为最大的天线lli指定为图像信号接收用的天 线。由此，即使胶囊型内窥镜3在患者2的体内移动，也能接收利用可 检测在该移动位置接收强度最高的信号的天线11所取得的图像信号。并 且，由于体内的胶囊型内窥镜3的移动速度分为非常慢的部分和快的部 分，因而不一定对于1次摄像动作总是进行1次天线切换动作，可以在 高速摄像模式等中对于多次摄像动作进行1次天线切换动作。
另外，胶囊型内窥镜3由于在患者2的体内移动，因而可以按适当 的时间间隔从外部装置5发送作为检测到电波强度的结果的检测结果信 号，并根据该信号更新在胶囊型内窥镜3进行发送时的其输出。这样， 即使在胶囊型内窥镜3在患者2的体内移动的情况下，也能设定为适当 的发送输出，可防止无为地消耗电池21的能量，从而可将信号的收发状 态维持在适当的状态。
下面使用图6说明表示所述多个接收天线11和胶囊型内窥镜3的位 置关系的信息的取得方法。另外，在图6中，以将胶囊型内窥镜3设定 在3维坐标X、 Y、 Z的原点的情况为例进行说明。并且，为了简化说明， 使用所述多个接收天线11a lld中的3个接收天线lla、 llb、 llc，设 接收天线lla与接收天线lib之间的距离为Dab，设接收天线lib与接收 天线lie之间的距离为Dbc，设接收天线lla与接收天线llc之间的距离 为Dac。而且，设该接收天线Ha llc与胶囊型内窥镜3之间具有规定 的距离关系。
由胶囊型内窥镜3所发送的一定发送强度的无线信号由各接收天线 llj (j = a、 b、 c)接收到的情况下的接收强度为距胶囊型内窥镜3 (胶囊 型内窥镜3的发送天线23)的距离Li (i=a、 b、 c)的函数。具体来说， 依赖于伴随电波衰减量的距离Li。因此，根据从胶囊型内窥镜3所发送 的无线信号由接收天线1 lj接收的接收强度来计算胶囊型内窥镜3与各接
收天线llj之间的距离Li。为了计算该距离Li，将基于所述胶囊型内窥 镜3与接收天线llj之间的距离的电波衰减量等的关系数据事先设定在所 述天线选择电路46内。并且，将表示该计算出的胶囊型内窥镜3与各接 收天线llj的位置关系的距离数据作为胶囊型内窥镜3的位置信息存储在 所述存储器47内。根据存储在该存储器47内的摄像图像信息和胶囊型 内窥镜3的位置信息，在所述终端装置7的后述图像信息处理方法中， 对内窥镜观察结果的位置设定是有用的。
下面对第1实施方式的图像处理装置中的图像处理动作进行说明。
另外，在第1实施方式中，假定由胶囊型内窥镜3所拍摄的体腔内 的像的图像由x轴方向的点数ISXXy轴方向的点数ISY(是满足l^ISX， 1SISY的值，例如，ISX=300， ISY=300)、 R (红)G (绿)B (蓝) 的3个平面构成，并且各平面中的各像素作为浓度值即RGB值分别取 8bit，即0至255的值。并且，在本发明的第l实施方式中，假定将按时 序连续拍摄的N张图像(1SN)中的第i个图像表示为Ii (1SiSN)。 而且，在第l实施方式中，假定将图像Ii的各平面中的第v个像素(l^ v^ISXXISY)分别表示为riv、 giv和biv。
并且，第1实施方式的图像处理装置中的图像处理动作作为所述的 终端装置7的终端主体9具有的控制部9a中的处理来进行。
首先，控制部9a根据预先设定在终端装置7中的抽样值k (k=l， 2，…)，在由胶囊型内窥镜3按时序连续拍摄的N张图像中，进行每第 k个图像Ik、 12k、…、Ink (假定nk是满足1 ^nk芸N的整数)的抽样(图 11的步骤Sl)。例如，在胶囊型内窥镜3每秒拍摄2张图像且抽样值k 被设定为20的情况下，控制部9a在由胶囊型内窥镜3所拍摄的N张图 像中，对从摄像开始时间起每经过IO秒的图像一张一张地进行抽样。
然后，控制部9a将所抽样的(N/k)张(假定N/k是舍去小数部分 的整数)图像Ink设定为抽样图像组，之后对该抽样图像组的图像Ink各 方进行以下所述的处理。另外，所述抽样图像组除了 (N/k)张图像Ink 以外，还可以由包含第1个图像I1的(n+l)张图像构成。
控制部9a对构成所输入的图像Ink的Rnk、 Gnk和Bnk的各平面进 行预处理，例如中值滤波的除噪和逆Y校正，并且为了将光晕像素和暗部 像素从以后的处理对象中除去，通过基于阈值的处理进行检测(图11的 步骤S2)。然后，基于所述阈值的处理例如作为这样的处理来进行，艮P:
当rnkv、 gnkv和bnkv的浓度值全部是小于等于10的值时，视为暗部像 素，并且当mkv、 gnkv和bnkv的浓度值全部是大于等于230的值时，视
为光晕像素。
控制部9a将所输入的图像Ink例如分割为8X8的多个矩形区域(图 11的步骤S3)。另外，在以下说明中，假定将在控制部9a中所分割的矩 形区域中的一个区域表示为Hp (p是大于等于l的整数)。
之后，控制部9a计算由基于图像Ink的各个区域Hp中的各像素的 RGB值的比的值、即gnkv/rnkv的平均值(以下表示为吗p)和bnkv/gnkv 的平均值(以下表示为pbp)构成的表示图像色度的2个特征量(图11 的步骤S4)。
然后，控制部9a将在各区域Hp中所得到的特征量吗p和iiibp分别 离散化，并生成基于离散化后的特征量)Ligp和iLibp的产生频度的在特征空 间上的直方图(图11的步骤S5)。具体地说，控制部9a是通过如下方式 进行离散化和直方图的生成的，即将特征量pgp和iubp的值例如用作使 大于等于1的值全部为1、同时分别取0至1的值的值，并且将作为0至 1的值的特征量吗p和pbp乘以80倍的值化整成整数值。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特 征量pgp和pbp各方，来将直方图平滑化(图11的步骤S6)。另外，由 控制部9a通过进行以上的处理而生成的直方图例如如图12所示。
然后，控制部9a在通过对作为抽样图像组的(N/k)张图像全部进 行所述的处理而生成的直方图中，检测产生频度极大的(pgp， pbp)的 要素，即峰值点(图11的步骤S7)。具体地说，控制部9a在所生成的直 方图中提取由一个要素和该一个要素的8个近邻要素构成的9个要素， 之后将所提取的该9个要素中的产生频度为最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度(gradient) 矢量的分析方法的例如寻谷(Valley—Seeking)法来确定(吗p， pbp)
=(0， 0)以外的各要素是朝向所检测的各峰值点中的哪个峰值点的要 素(图11的步骤S8)。然后，控制部9a进行将朝向同一峰值点的具有梯 度矢量的要素作为属于同一簇的要素的处理，即针对直方图内的各要素 的无教师聚簇处理(图11的步骤S9)。另外，控制部9a通过进行无教师 聚簇处理而生成的各簇例如如图13所示。
另外，控制部9a在所述的无教师聚簇处理中检测出2个以上的簇的 边界相接的情况下，可以进一步进行以下所述的该2个以上的簇的合并 或分离判定处理。
在该情况下，控制部9a通过在所生成的各簇中的包含8个近邻要素 的9个要素中提取包含2个以上的簇的要素，g卩，通过提取属于2个以 上的簇的边界的要素，来判定为该2个以上的簇相接(图15的步骤S21 )。 然后，控制部9a提取属于成为处理对象的所述2个以上的簇的边界的所 述各要素中的产生频度为最小的一个要素，将该一个要素中的产生频度 设定为Hminl (图15的步骤S22)。并且，控制部9a提取成为处理对象的 所述2个以上的簇中的各峰值点中产生频度为最大的一个峰值点，将该 一个峰值点中的产生频度设定为pmaxl (图15的步骤S23)。
控制部9a在提取了iuminl和iimaxl之后，进行pminl/iamaxl的值与 阈值)athr的比较。然后，控制部9a在检测出^iminl尔maxl的值大于阈值 pthr的情况下(图15的步骤S24)，将成为处理对象的所述2个以上的簇 分别判定为不同的簇，使该2个以上的簇处于分离状态(图15的步骤 S25)。并且，控制部9a在检测出iiminl/^imaxl的值小于等于阈值pthr的 情况下(图15的步骤S24)，判定为成为处理对象的所述2个以上的簇属 于同一簇，并将该2个以上的簇合并，生成将产生频度pmaxl的峰值点 用作新的峰值点的合并后的簇(图15的步骤S26)。另外，假定所述的阈 值pthr在第1实施方式中例如是O.l。
控制部9a在进行了所述的无教师聚簇处理(图11的步骤S9所示的 处理)之后，针对所生成的各簇，取得该各簇的簇信息(图11的步骤SIO)。 另外，控制部9a取得的簇信息例如是簇编号、该各簇的成为峰值点的要 素、该各簇分别在特征空间上的面积和体积、以及该各簇中的特征量^igp
和^bp的平均值矢量之簇的信息。
之后，控制部9a根据所取得的簇信息，例如如图14所示，删除特 征空间上的面积或体积小于规定阈值的簇(图11的步骤Sll)。
然后，控制部9a通过使用根据特征空间上剩余的各簇中的特征量 pgp和pbp的平均值矢量和教师数据集所生成的例如线性判别函数或基 于贝叶斯定理的函数等的识别器，来判定特征空间上剩余的各簇属于哪 个类别(图11的步骤S12)。另外，在第1实施方式中，假定所述类别是 由胃粘膜、绒毛、大小便和气泡构成的4个类别。并且，在第1实施方 式中，假定所述教师数据集是构成所述4个类别的教师数据的多个图像。
然后，控制部9a将特征空间上剩余的各簇分类为胃粘膜、绒毛、大 小便和气泡这4个类别，并将不能分类为该4个类别的簇分类为不明类 别(图11的步骤S13)。
这里，以下详述图11的步骤S12和步骤S13所示的处理的具体例。 另外，假定控制部9a对特征空间上剩余的所有簇分别进行以下所述的处 理。
在所述4个类别的识别和分类中，设一个类别(oa (a=l、 2、…、C， C表示类别数)产生的先验概率为P (coa)，设根据特征空间上剩余的各 簇中的特征量iugp和pbp所决定的特征矢量为x，设基于来自所有类别的 特征矢量2i的产生概率的概率密度函数为P (2i)，设基于来自一个类别 ①a的特征矢量s的产生概率的状态依赖概率密度(多变量正规概率密度) 函数为p & I coa)，则用于计算所产生的特征矢量^属于一个类别coa的
后验概率P (coal 2)的计算式表示为下述算式<formula>formula see original document page 38</formula> (1)
另外，状态依赖概率密度函数p (sl①a)和概率密度函数p (s)
表示为下述算式(2)和算式(3)。
<formula>formula see original document page 38</formula>…(2)
<formula>formula see original document page 38</formula>3)
另外，假定在上述算式(2)和算式(3)中，d表示与^的特征量个 数相同的维数，^和Za表示类别(oa中的特征矢量s的平均矢量和一个类别coa中的方差协方差矩阵。并且，假定(2i-^)t表示(2i-^)的转置矩阵， l&l表示2:a的行列式，2^—'表示Sa的逆矩阵。而且，为了简化说明，假 定先验概率P (coa)在所有类别中取相等值，并且，假定概率密度函数
p (2)由上述算式(3)表示为所有类别公共的函数。
被用作分类基准的平均矢量^和方差协方差矩阵2a与所述的基于
贝叶斯定理的统计识别器一起是构成一个类别coa中的总体参数(母数)
的要素，在第1个图像I1被输入到终端装置7以前的阶段中，基于构成
由胃粘膜、绒毛、大小便和气泡组成的4个类别的教师数据的多个图像，
根据在该图像的各个区域中每次都决定的特征矢量^来按每个类别预先
计算，之后作为初始值分别记录在终端装置7内。另外，此时，控制部
9a可以将图像Ii中的每个类别的特征矢量加上每个类别的教师数据中的
特征矢量来估计总体参数。
另外，平均矢量^是由特征矢量^具有的2个特征量各自的平均值
构成且具有与特征矢量2^相同维数的矢量。即，假定在特征矢量2i表示为 2￡= (pgp， pbp)的情况下，平均矢量^使用特征矢量s具有的2个特
征量各自的平均值即p (吗p)和p (nbp)来表示为^= (p (吗p)， p
(Hbp))。并且，假定方差协方差矩阵Sa是表示属于一个类别coa的特征 矢量2i的分布偏差和扩展程度的矩阵，对于与特征矢量^的特征量个数相 同的维数d，表示为dXd矩阵。
控制部9a使用基于贝叶斯定理的上述算式(1)至算式(3)分别计 算所产生的特征矢量2i属于类别o)1的后验概率P (col I s)，所产生的 特征矢量2属于类别co2的后验概率P (co2 I 2i)，所产生的特征矢量2属 于类别①3的后验概率P (co3 I 2￡)，以及所产生的特征矢量2^属于类别o4 的后验概率P (co4 I 2i)。然后，控制部9a假定特征矢量2属于提供该4 个后验概率中的最大后验概率P1 (coa I 2i)的类别coa来进行识别，根据 该识别结果将作为产生特征矢量2i的区域的一个簇分类为类别coa，并计 算提供最大后验概率P1 (oal 的概率密度函数pl (s I oa)的值。
然后，为了判定在以上的处理中被分类为类别coa的一个簇的分类结 果是否准确，控制部9a进一步进行基于与平均值的距离的处理、即基于
相对于提供最大后验概率P1 (coal 2i)的概率密度函数pl (2i I coa)的
值的阈值的处理。
具体来说，首先，控制部9a决定阈值矢量幽，该阈值矢量幽包含 平均矢量^具有的2个特征量各自的平均值中例如特征量)igp的平均值M
(Hgp)加上特征量iugp的标准偏差cr (pgp)与作为规定常数的乘法系数 cc的积所得的值。另外，该阈值矢量幽例如表示为下述算式(4)，并且
在第1实施方式中，假定乘法系数a的值是1.5。 幽,(,)+ axa(卿)，nbp)…(4)
当使用上述算式(4)决定了阈值矢量幽时，控制部9a代入阈值矢 量2^1作为上述算式(1)、算式(2)和算式(3)的2￡，计算一个簇被分 类的类别coa的阈值、即概率密度函数p (幽I①a)的值。
然后，控制部9a在检测出pl (2￡ I①a)的值大于p (幽I①a)的 值时，判定为在所述的处理中把一个簇分类为类别coa的分类结果是准确 的。
并且，控制部9a在检测出pl (2i I coa)的值小于等于p (幽I①a) 的值时，判定为在所述的处理中把一个簇分类为类别coa的分类结果是不 准确的，并将一个簇分类为不明类别。
然后，控制部9a在进行了所述的类别分类之后，根据作为抽样图像 组的(N/k)张图像Ink生成基于拍摄定时的每规定间隔t的子集(图ll 的步骤S14)。例如，在对从摄像开始时间起每经过IO秒的图像一张一张 地进行抽样(k被设定为20)、且间隔t被设定为180的情况下，控制部 9a将作为抽样图像组的(N/k)张图像Ink中从摄像开始时间到每经过1800 秒所包含的图像作为l组子集。
之后，控制部9a在每个子集内所包含的各图像Ink中取得表示在特 征空间上所产生的类别种簇分布的类别分布信息、以及表示在该特征空 间上所产生的簇内包含的特征量Hgp和pbp的每个类别的分布状态的特 征量分布信息(图11的步骤S15)。然后，控制部9a根据所述特征量分 布信息，计算作为在将图像分类时的分类基准的平均值矢量和方差协方 差矩阵，之后构成使用该平均值矢量和该方差协方差矩阵的每个子集的
识别器(图11的步骤S16)。然后，控制部9a在通过所述的处理，使用 按每个子集所构成的识别器的同时，对N张图像分别进行分类(图11的 步骤S17)。通过进行这种处理，控制部9a可在所述的统计识别器中，将 用于规定每个类别的分布的多变量正规概率密度函数的总体参数按每个 子集设定为最佳。
控制部9a通过进行以上所述的从图11的步骤S1到图11的步骤S17 所示的处理，可高精度且高速地进行由胶囊型内窥镜3所拍摄的图像的 分类。
另外，控制部9a根据所取得的特征量分布信息，针对在一个子集中 未产生的类别，可以不计算平均值矢量和方差协方差矩阵。
并且，以上所述的由控制部9a进行的处理不限于在拍摄了 N张图像 后进行，例如可以在每次根据间隔t拍摄了一个子集的图像后随时进行。
然后，为了获得更高精度的处理结果，控制部9a可以对在图11的 步骤S15所示的处理中所取得的特征量分布信息，进行例如使用在一维 中进行了均等加权后的规定尺寸的平滑化滤波器的处理，即平滑化处理。 然后，控制部9a通过进行这种平滑化处理，可根据特征量分布信息中的 特征量Hgp或pbp的变动显著的部分、或者特征量吗p或pbp的变动极大 的部分来确定摄像部位和病变部位。
以下记载用于由控制部9a根据所述的平滑化处理的处理结果确定摄 像部位和病变部位的方法的一例。
例如，在根据控制部9a在图11的步骤S15所示的处理中所取得的 特征量分布信息，表示被分类为胃粘膜类别和绒毛类别的区域具有的特 征量吗p的每个子集在时间方向的变化的情况下，该变化表示为图16的 曲线图。
本来，生物体粘膜等的色调在持续拍摄同一摄像部位的情况下，不 伴有在时间方向的频繁变动。因此，从在时间上接近的图像获得的特征 量吗p (或特征量pbp)的值可被认为取类似的值。
然后，控制部9a进行使用根据所述观点而预先设定的规定尺寸的滤 波器、例如尺寸20的一维均等加权滤波器的图16的曲线图所示的针对
特征量吗P的朝时间方向的平滑化处理，从而特征量吗p的每个子集在时 间方向的变化如图17的曲线图所示。另外，图16和图17所示的曲线图
表示特征量pgp的每个子集在时间方向的变化，然而对于特征量pbp，也
能描绘表示每个子集在时间方向的变化的大致相同的曲线图。
并且，控制部9a在进行了平滑化处理后仍检测出存在特征量pgp或 特征量ILibp的值显著变动的时间段的情况下，判定为在该时间段中确认了 例如摄像部位的变化。或者，控制部9a在进行了平滑化处理后仍检测出 存在特征量liigp或特征量pbp的值显著变动的时间段的情况下，判定为在 该时间段中确认了存在例如大小便、胆汁的气泡或病变部位等。
例如，胶囊型内窥镜3在从胃向小肠(十二指肠)移动时，随着胆 汁等消化液被分泌，拍摄带黄色的被摄体的像。因此，控制部9a在检测 出胃粘膜类别和绒毛类别中的特征量iLibp的值呈现显著减少的时间段的 存在的情况下，可确定为在该时间段中胶囊型内窥镜3的摄像部位从胃 变化到小肠。
并且，例如在胶囊型内窥镜3通过作为病变部位之一的出血部位时， 由于在该出血部位的血液存在而拍摄带红色的被摄体的像。因此，控制 部9a在检测出在同一类别中特征量pgp的值呈现显著减少的时间段的存 在的情况下，可确定为在该时间段中胶囊型内窥镜3拍摄了病变部位。
然后，控制部9a除了以上所述的从图11的步骤Sl到图11的步骤 S17所示的一系列处理以外，还可以进行以下所述的处理。另外，假定在 以下所述的处理中，控制部9a取得的类别分布信息包含有胃粘膜、绒毛、 大小便、气泡和不明物体这5个类别的信息。并且，所述的类别分布信 息不限于包含所述的5种类别信息，还可以包含例如将胃粘膜和绒毛类 别用作生物体粘膜类别且是同一类别、并将大小便、气泡和不明类别用 作非生物体粘膜类别且是同一类别的这种信息，也可以包含将白色调的 生物体粘膜和黄色调的生物体粘膜用作同 一类别的信息。
控制部9a在进行了所述的图11的步骤S17的处理后，将所输入的 第i个图像Ii分割为例如8X8的多个矩形区域(图18的步骤S31)。
这里，将在所述的图11的步骤S17之前的处理中所生成的第s个(假定s是整数)子集具有的最初的图像的最后的图像分别设为Isl和Is2(假 定sl和s2是满足l^sKs2^N的整数)的情况下，控制部9a取得在所 述的处理中所生成的每个子集中的满足si ^i<s2或者i = s2的规定子集 中的类别分布信息和特征量分布信息(图18的步骤S32)。
之后，控制部9a根据满足sl ^i〈s2或者i=s2的规定子集中的类别 分布信息和特征量分布信息，识别图像Ii具有的各矩形区域属于由胃粘 膜、绒毛、大小便、气泡和不明物体构成的5个类别中的哪个类别，并 进行基于该识别结果的分类(图18的步骤S33)。另外，控制部9a可以 针对在所述的图11的步骤S17之前的处理中未产生的类别，进行使用根 据教师数据预先估计的特征量分布信息的识别和分类。
然后，控制部9a根据图18的步骤S33中的分类结果，判定是否存 在图像Ii的各矩形区域中的被分类为胃粘膜或绒毛的区域，即拍摄了生 物体粘膜的区域。然后，在存在图像Ii的各矩形区域中的拍摄了生物体 粘膜的区域的情况下(图18的步骤S34)，控制部9a通过基于在图像Ii 中被判定为拍摄了生物体粘膜的所有区域中的所有特征量的值与在图像 Ii中被判定为拍摄了生物体粘膜的一个区域具有的特征量^igp和iLibp的值 的比较，进行用于检测病变部位的处理，即病变检测处理，例如检测出 血或发红的处理(图18的步骤S35)。
具体地说，控制部9a例如根据在图像Ii中被判定为拍摄了生物体粘 膜的一个区域具有的特征量^gp和pbp的值、以及作为基于在图像Ii中被 判定为拍摄了生物体粘膜的所有区域内包含的各像素的RGB值的比的值 的giv/riv的平均值(以下记为ngi)和biv/giv的平均值(以下记为nbi)， 进行吗p与吗i的比较以及pbp与iibi的比较，从而检测在图像Ii中拍摄 了生物体粘膜的区域中拍摄了出血或发红的区域。通过进行这种处理， 控制部9a可针对在伴有类别分类的区域分割结果中被判定为拍摄了生物 体粘膜的所有区域的平均色度，将具有被认为呈现出血或发红变化的色 度的一个区域准确地检测为出血区域或发红区域。另外，控制部9a可以 通过进一步进行基于在图像Ii中被分类为不明类别的一个区域具有的特 征量与吗i和沖i的比较结果的处理，除了在图像Ii中拍摄了生物体粘膜 的区域以外，还能针对在图像Ii中被分类为不明类别的区域检测拍摄了 出血或发红的区域。
在针对所输入的所有N张图像未完成所述处理的情况下(图18的步 骤S36)，控制部9a给图像编号i加上1 (图18的步骤S37)，并针对下 一个图像继续进行图18的步骤S31至步骤S36所示的处理。
另外，控制部9a除了被分类为胃粘膜或绒毛的区域以外，还可以判 定为是拍摄了由于胆汁等而变为黄色调的絨毛也是生物体粘膜的区域。
并且，以上所述的图像处理方法不限于仅应用于由胶囊型内窥镜所 拍摄的图像，例如可以应用于由构成为具有可插入生物体内并具有摄像 功能的插入部的内窥镜所拍摄的图像。
如以上所述，根据第1实施方式中的图像处理方法，可将图像按每 个摄像对象高精度且高速地分类，而且可根据所述分类结果确定所拍摄 的脏器，结果可实现用户观察的高效化。
并且，根据第1实施方式，通过对被分类为拍摄了生物体粘膜的区 域的各个区域进一步使用所述的病变检测处理，可提高病变部位的检测 精度。
并且，在第l实施方式中，对控制部9a将一个图像Ii分割为大小8 X8的多个矩形区域来进行一系列处理作了说明，然而不限于此，例如可 以分割成1X1即每个像素来进行处理，并且也可以分割为其他大小的矩 形区域来进行处理。
而且，在第l实施方式中，对控制部9a将一个图像Ii分割为大小8 X8的多个矩形区域来进行一系列处理作了说明，然而不限于此，例如可 以分割为基于与边缘信息等对应的一个图像Ii中的分类结果的区域来进 行处理，并且也可以分割为具有其他形状的区域来进行处理。 (第2实施方式)
图19至图24涉及本发明的第2实施方式。另外，关于具有与第1 实施方式相同结构的部分，省略详细说明。并且，关于与第1实施方式 相同的构成要素，使用相同标号并省略说明。而且，第2实施方式中使 用的胶囊型内窥镜装置1的结构与第1实施方式相同。并且，假定第2
实施方式中的图像处理动作作为终端主体9具有的控制部9a中的处理来 进行。
图19是示出第2实施方式所涉及的图像处理动作的流程图。图20 是示出在第2实施方式中通过由控制部进行的处理而生成的在特征空间 上的直方图的一例的图。图21是示出在第2实施方式中通过由控制部进 行的处理而生成的在特征空间上的簇的一例的图。图22是示出图21所 示的簇中的在特征空间上的面积或体积小于规定阈值的簇被删除的状况 的图。图23是示出由控制部进行的处理，即边界相接的2个以上的簇的 合并或分离判定处理的一例的流程图。图24是示出图19所示的图像处 理动作的变形例的流程图。
对第2实施方式的图像处理装置中的图像处理动作进行说明。 另外，在第2实施方式中，与第l实施方式一样，假定由胶囊型内 窥镜3所拍摄的体腔内的像的图像由x轴方向的点数ISXXy轴方向的点 数ISY (是满足1SISX， 1^ISY的值，例如，ISX=300， ISY=300)、 R (红)G (绿)B (蓝)的3个平面构成，并且各平面中的各像素作为 浓度值即RGB值分别取8bit，即0至255的值。并且，在本发明的第2 实施方式中，与第l实施方式一样，假定将按时序连续拍摄的N张图像 (1 ^N)中的第i个图像表示为Ii (1 SgN)。而且，在第2实施方式中， 假定将图像Ii的各平面中的第w个像素(lSw^ISXXISY)分别表示为 riw、 giw禾口 biw。
并且，本实施方式的图像处理装置中的图像处理动作，与第1实施 方式一样，作为所述的终端装置7的终端主体9具有的控制部9a中的处 理来进行。
首先，控制部9a对构成所输入的第i个图像Ii的Ri、 Gi和Bi的各 平面进行预处理，例如使用中值滤波的除噪和逆Y校正，并且为了将光晕 像素和暗部像素从以后的处理对象中除去，通过基于阈值的处理进行检 测(图19的步骤S101)。然后，基于所述阈值的处理例如作为如下的处 理来进行，即当riw、 giw和biw的浓度值全部是小于等于IO的值时视 为暗部像素，并且当riw、 giw和biw的浓度值全部是大于等于230的值
时视为光晕像素。
之后，控制部9a将所输入的图像Ii分割为例如8X8的多个矩形区 域(图19的步骤S102)。另外，在以下说明中，假定将在控制部9a中所 分割的矩形区域中的一个区域表示为Ho (o是大于等于1的整数)。
之后，控制部9a计算由基于图像Ii的各个区域Ho中的各像素的RGB 值的比的值，即giw/riw的平均值(以下表示为吗o)和biw/giw的平均 值(以下表示为pbo)构成的表示图像色度的2个特征量(图19的步骤 S103)。
然后，控制部9a将在各区域Ho中得到的特征量吗o和^ibo分别离 散化，并生成基于离散化后的特征量^igo和iiibo的产生频度的在特征空间 上的直方图(图19的步骤S104)。具体地说，控制部9a是通过如下方式 进行离散化和直方图的生成的，SP:将特征量pgo和^ibo的值例如用作使 大于等于1的值全部为1、同时分别取0至1的值的值，并且将作为0至 1的值的特征量昭o和^ibo乘以80倍后的值化整成整数值。另外，控制 部9a在图像Ii内包含的一个区域Ho中检测出超过规定数量的光晕像素 和暗部像素的情况下，可以将该一个区域Ho从以后的处理应用中除去。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特 征量吗o和^ibo各方，来将直方图平滑化(图19的步骤S105)。另外， 控制部9a通过进行以上的处理而生成的直方图例如如图20所示。
然后，控制部9a在通过对所输入的图像Ii进行所述的处理而生成的 直方图中，检测产生频度为极大的(吗o， pbo)的要素，即峰值点(图 19的步骤S106)。具体地说，控制部9a在所生成的直方图中提取由一个 要素和该一个要素的8个近邻要素构成的9个要素，之后将所提取的该9 个要素中的产生频度最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度矢量的分析 方法的例如寻谷法来确定(pgo， |ibo) 二 (0， 0)以外的各要素是朝向 所检测的各峰值点中的哪个峰值点的要素(图19的步骤S107)。然后， 控制部9a进行将朝向同一峰值点的具有梯度矢量的要素作为属于同一簇 的要素的处理，即针对直方图内的各要素的无教师聚簇处理(图19的步
骤S108)。另外，控制部9a通过进行无教师聚簇处理而生成的各簇例如 如图21所示。
另外，控制部9a在所述的无教师聚簇处理中检测出2个以上的簇的 边界相接的情况下，可以进一步进行以下所述的该2个以上的簇的合并 或分离判定处理。
在该情况下，控制部9a通过在所生成的各簇中的包含8个近邻要素 的9个要素中提取包含2个以上的簇的要素，即，通过提取属于2个以 上的簇的边界的要素，来判定为该2个以上的簇相接(图23的步骤S121)。 然后，控制部9a提取属于成为处理对象的所述2个以上的簇的边界的所 述各要素中的产生频度最小的一个要素，将该一个要素中的产生频度设 定为pmin2 (图23的步骤S122)。并且，控制部9a提取成为处理对象的 所述2个以上的簇中的各峰值点中的产生频度最大的一个峰值点，将该 一个峰值点中的产生频度设定为pmax2 (图23的步骤S123)。
控制部9a在提取了nmin2和nmax2之后，进行nmin2/nmax2的值与 阈值pthq的比较。然后，控制部9a在检测出nmin2/iiimax2的值大于阈值 pthq的情况下(图23的步骤S124),将成为处理对象的所述2个以上的 簇分别判定为不同的簇，使该2个以上的簇处于分离状态(图15的步骤 S25)。并且，控制部9a在检测出nmin2/nmax2的值小于等于阈值^ithq的 情况下(图15的步骤S24),判定为成为处理对象的所述2个以上的簇属 于同一簇，并将该2个以上的簇合并，生成将产生频度pmax2的峰值点 用作新的峰值点的合并后的簇(图15的步骤S26)。另外，假定所述的阈 值)^thq在第2实施方式中例如是0.1。
控制部9a在进行了所述的无教师聚簇处理(图19的步骤S108所示 的处理)之后，针对所生成的各簇，取得该各簇的簇信息(图19的步骤 S109)。另外，控制部9a取得的簇信息例如是簇编号、该各簇的成为峰 值点的要素、该各簇分别在特征空间上的面积和体积、以及该各簇中的 特征量Hgo和iibo的平均值矢量之簇的信息。
之后，控制部9a根据所取得的簇信息，例如如图22所示，删除特 征空间上的面积或体积小于规定阈值的簇(图19的步骤S110)。
然后，控制部9a通过使用根据特征空间上剩余的各簇中的特征量
pgo和^ibo的平均值矢量和教师数据集所生成的例如线性判别函数或基
于贝叶斯定理的函数等的识别器等识别器，来判定特征空间上剩余的各
簇属于哪个类别(图19的步骤S111)。另外，在第2实施方式中，假定 所述类别是由胃粘膜、绒毛、大小便和气泡构成的4个类别。并且，在 本实施方式中，假定所述教师数据集是构成所述4个类别的教师数据的 多个图像。
然后，控制部9a将特征空间上剩余的各簇分类为胃粘膜、绒毛、大 小便和气泡这4个类别，并将不能分类为该4个类别的簇分类为不明类 别(图19的步骤S112)。
这里，以下详述图19的步骤S111和步骤S112所示的处理的具体例。 另外，假定控制部9a对特征空间上剩余的所有簇分别进行以下所述的处 理。
在所述4个类别的识别和分类中，设一个类别coa (a=l、 2、…、C， C表示类别数)产生的先验概率为P ((oa)，设根据特征空间上剩余的各 簇中的特征量pgo和nbo所决定的特征矢量为x，设基于来自所有类别的 特征矢量2的产生概率的概率密度函数为p (2￡)，设基于来自一个类别 coa的特征矢量^的产生概率的状态依赖概率密度(多变量正规概率密度) 函数为p (2￡ I①a)，则用于计算所产生的特征矢量2i属于一个类别coa的
后验概率P (coa I 2￡)的计算式表示为下述算式(5)。 尸(&wf I工)=I ow)尸(6;a)/ ; Q0 '. (5)
另外，状态依赖概率密度函数p (2￡ I①a)和概率密度函数p (s)
表示为下述算式(6)和算式(7)。
P(芏lwa)^(l/((2;r)^2l2^l"2))exp[(-l/2Xx-^)'Sfl—'(x-^)] ... (6)
c
P(2^Z^咖)P(—…(7)
另外，假定在上述算式(6)和算式(7)中，d表示与s的特征量个 数相同的维数，和Sa表示类别coa中的特征矢量$的平均^量和一个类
别coa中的方差协方差矩阵。并且，假定& - 表示(2￡ - 的转置矩阵， ISal表示Sa的行列式，Sa-'表示i:a的逆矩阵。而且，为了简化说明，假定先验概率P (03a)在所有类别中取相等值，并且，假定概率密度函数
p (21)由上述算式(7)表示为所有类别公共的函数。
用作分类基准的平均矢量^和方差协方差矩阵2a与所述的基于贝
叶斯定理的统计识别器一起是构成一个类别coa中的总体参数的要素，在 第1个图像Il被输入到终端装置7以前的阶段中，基于构成由胃粘膜、 绒毛、大小便和气泡组成的4个类别的教师数据的多个图像，根据在该 图像的各个区域中每次都决定的特征矢量2^来按每个类别预先计算，之后 作为初始值分别记录在终端装置7内。另外，此时，控制部9a可以将图
像Ii中的每个类别的特征矢量加上每个类别的教师数据中的特征矢量来 估计总体参数。
另外，平均矢量^是由特征矢量2i具有的2个特征量各自的平均值
构成且具有与特征矢量2i相同维数的矢量。即，假定在特征矢量2i表示为 21=(吗o， |ibo)的情况下，平均矢量^使用特征矢量2i具有的2个特
征量各自的平均值即P (吗O)和p (^b0)来表示为^二 (|Ll (吗O)， |Ll
(pbo))。并且，假定方差协方差矩阵i:a是表示属于一个类别coa的特征 矢量2i的分布偏差和扩展程度的矩阵，并且对于与特征矢量^的特征量个 数相同的维数d表示为dX d矩阵。
控制部9a使用基于贝叶斯定理的上述算式(5)至算式(7)分别计 算所产生的特征矢量2属于类别co1的后验概率P (Q)l I 2i)，所产生的 特征矢量S属于类别o)2的后验概率P (co2 I 2i)，所产生的特征矢量5属 于类别(D3的后验概率P(co3 I 2￡)，以及所产生的特征矢量2￡属于类别0)4 的后验概率P (co4 1 s)。然后，控制部9a假定特征矢量^属于提供该4 个后验概率中的最大后验概率P1 (coa I 2i)的类别coa来进行识别，根据 该识别结果将作为产生特征矢量2i的区域的一个簇分类为类别coa，并计 算提供最大后验概率P1 (coa I 2i)的概率密度函数pl (2i I coa)的值。
然后，为了判定在以上的处理中被分类为类别coa的一个簇的分类结 果是否准确，控制部9a进一步进行基于与平均值的距离的处理、即基于 相对于提供最大后验概率P1 (①a I 2)的概率密度函数pl (2i I coa)的 值的阈值的处理。
具体来说，首先，控制部9a决定阈值矢量幽，该阈值矢量幽包含 平均矢量^具有的2个特征量各自的平均值中的例如特征量l^igo的平均
值fl (吗O)加上特征量吗O的标准偏差C7 ()LlgO)与作为规定常数的乘法
系数oc的积所得的值。另外，该阈值矢量幽例如表示为下述算式(8)，
并且在本实施方式中，假定乘法系数a的值是1.5。 xbl = (ia(Ugo) + a x cr(iago), nbo)…(8)
当使用上述算式(8)决定了阈值矢量幽时，控制部9a代入阈值矢 量幽作为上述算式(5)、算式(6)和算式(7)的^，计算一个簇被分 类的类别oa的阈值、即概率密度函数p (幽I①a)的值。
然后，控制部9a在检测出pl I coa)的值大于p (幽I coa)的 值时，判定为在所述的处理中把一个簇分类为类别①a的分类结果是准确 的。
并且，控制部9a在检测出pl I①a)的值小于等于p (幽I coa) 的值时，判定为在所述的处理中把一个簇分类为类别coa的分类结果是不 准确的，并将一个簇分类为不明类别。
控制部9a根据通过进行以上的处理所得到的在特征空间上的各簇具 有的要素和各簇的类别分类结果、以及在图像Ii具有的各区域中计算出 的特征量pgo和nbo，将该各区域分类为所述4个类别和不明类别中的任 一方(图19的步骤S113)。具体地说，例如，控制部9a将该各区域Ho 分类为与在各区域Ho中计算出且离散化后的特征量pgo和^c)的值所属 的簇被分类的类别相同的类别。
另外，假定在特征空间上存在不属于任何簇的要素的情况下，控制 部9a将图像Ii具有的各区域中的与该要素对应的特征量被计算的区域分
类为不明类别。
然后，在针对所输入的所有N张图像未完成图19的步骤S101至步 骤S113所示的处理的情况下(图19的步骤S114)，控制部9a给图像编 号i加上l (图19的步骤S115)，并针对下一个图像继续进行图19的步 骤S101至步骤S114所示的处理。并且，在针对所输入的所有N张图像 完成了图19的步骤S101至步骤S113所示的处理的情况下(图19的步
骤S114)，控制部9a结束一系列处理。
控制部9a通过进行以上所述的图19的步骤S101至步骤S115所示 的处理，可高精度且高速地进行由胶囊型内窥镜3所拍摄的图像的分类。
另外，以上所述的处理中的图19的步骤S104所示的处理，即特征 空间上的直方图生成的处理不限于针对每一张图像进行，例如可以针对N 张图像进行。
在该情况下，首先，控制部9a进行与所述的图19的步骤S101、步 骤S102和步骤S103所示的处理相同的处理(图24的步骤S131、图24 的步骤S132和图24的步骤S133)。即，控制部9a进行针对所输入的图 像Ii的预处理和区域分割，并计算将图像Ii分割后的各区域Ho中的特 征量吗o禾口(ibo。
之后，作为与图19的步骤S104所示的处理大致相同的处理，控制 部9a将在各区域Ho中所获得的特征量pgc)和pbo分别离散化，并生成基 于离散化后的特征量pgo和ILlb0的产生频度的在特征空间上的直方图(图 24的步骤S134)。
在针对所输入的所有N张图像未完成图24的步骤S131至步骤S134 所示的处理的情况下(图24的步骤S135)，控制部9a给图像编号i加上 1 (图24的步骤S136),并针对下一个图像继续进行图24的步骤S131 至步骤S135所示的处理。
然后，在针对所输入的所有N张图像完成了图24的步骤S131至步 骤S134所示的处理的情况下(图24的步骤S135)，控制部9a进行与所 述的图19的步骤S105至步骤S112所示的处理相同的处理(图24的步 骤S137至步骤S144)。 g卩，控制部9a根据所生成的直方图进行无教师聚 簇处理，并将所得到的各簇分类为胃粘膜、絨毛、大小便和气泡这4个 类别，并将不能分类为该4个类别的簇分类为不明类别。另外，假定控 制部9a在图24的步骤S144所示的处理，即，将特征空间上剩余的各簇 分类为胃粘膜、绒毛、大小便和气泡这4个类别、并将不能分类为该4 个类别的簇分类为不明类别的处理中，获得表示在该特征空间上产生的 簇内包含的特征量pgo和nbo的每个类别的分布状态的特征量分布信息。
之后，控制部9a针对第一张图像I1，进行将图像Il具有的各区域 分类为胃粘膜、绒毛、大小便和气泡这4个类别和不明类别中的任一方 的处理(图24的步骤S145和步骤S146)。
然后，在未完成针对所输入的所有N张图像的所述的图24的步骤 S146所示的处理的情况下(图24的步骤S147)，控制部9a给图像编号i 加上l(图24的步骤S148)，并针对下一个图像继续进行图24的步骤S146 和步骤S147所示的处理。并且，在完成了针对所输入的所有N张图像的 所述的图24的步骤S146所示的处理的情况下(图24的步骤S147)，控 制部9a结束图24的步骤S131至步骤S148所示的一系列处理。
另外，控制部9a可以除了通过进行图24的步骤S144所示的处理而 获得的特征量分布信息以外，还一并使用例如将图像II至IN中的被分 类为规定类别的区域Ho占图像Ii内的规定比例以上的图像判定为拍摄了 规定脏器的图像的判定基准，从而进行每个图像的摄像部位的判定。具 体地说，例如，控制部9a可以将图像Il至IN中的被分类为大小便类别 的区域Ho占图像Ii内的10%以上的图像判定为是拍摄了大肠的图像。 另外，由控制部9a进行的以上所述的摄像部位判定处理可以与所述的图 19的步骤S122中的处理一并进行。
控制部9a通过进行以上所述的图24的步骤S131至步骤S148所示 的处理，与进行图19的步骤S101至步骤S115所示的处理的情况相比， 可更高精度地进行由胶囊型内窥镜3所拍摄的图像的分类。
并且，作为用于将图像Ii具有的各区域更高精度地分类的处理，控 制部9a可以进行例如使用根据在进行图24的步骤S144所示的处理中得 到的特征量分布信息而构成的统计识别器等的以下所述的处理。
在该情况下，控制部9a在进行了图24的步骤S144所示的处理之后， 根据在图24的步骤S144所示的处理中得到的特征量分布信息计算作为 将图像分类时的分类基准的平均值矢量和方差协方差矩阵，构成使用该 平均值矢量和该方差协方差矩阵的统计识别器。
然后，控制部9a根据通过所述的处理而构成的统计识别器、以及在 图像Ii具有的各区域中计算出的特征量pgo和pbo，将该各区域分类为所
述4个类别和不明类别中的任一方。
以上所述的图像处理方法不限于仅应用于由胶囊型内窥镜所拍摄的 图像，例如可以应用于由构成为具有可插入生物体内并具有摄像功能的 插入部的内窥镜所拍摄的图像。
如以上所述，根据本实施方式，可将图像按每个摄像对象高精度且 高速地分类，而且可根据所述分类结果确定所拍摄的脏器，其结果可实 现用户观察的高效化。 (第3实施方式)
图25至图30涉及本发明的第3实施方式。另外，关于具有与第1 实施方式和第2实施方式相同结构的部分，省略详细说明。并且，关于 与第1实施方式和第2实施方式相同的构成要素，使用相同标号并省略 说明。而且，第3实施方式中使用的胶囊型内窥镜装置1的结构与第1 实施方式和第2实施方式相同。并且，假定第3实施方式中的图像处理 动作作为终端主体9具有的控制部9a中的处理来进行。
图25是示出第3实施方式所涉及的图像处理动作的流程图。图26 是示出接在图25所示的处理后进行的图像处理动作的流程图。图27是 示出在第3实施方式中通过由控制部进行的处理而生成的在特征空间上 的直方图的一例的图。图28是示出在第3实施方式中通过由控制部进行 的第2无教师聚簇处理而生成的在特征空间上的簇的一例的图。图29是 示出在第3实施方式中通过由控制部进行的第1无教师聚簇处理而生成 的在特征空间上的簇的一例的图。图30是示出在第3实施方式中通过由 控制部进行的簇分割处理而将图29所示的簇C分割为簇Cl和簇C2的 状态的图。
对第3实施方式的图像处理装置中的图像处理动作进行说明。 首先，控制部9a对构成所输入的第i个图像Ii的Ri、 Gi和Bi的各 平面进行预处理，例如使用中值滤波的除噪和逆Y校正，并且为了将光晕 像素和暗部像素从以后的处理对象中除去，通过基于阈值的处理进行检 测(图25的步骤S151)。然后，基于所述阈值的处理例如作为如下的处 理来进行，即当riw、 giw和biw的浓度值全部是小于等于IO的值时视
为暗部像素，并且当riw、 giw和biw的浓度值全部是大于等于230的值 时视为光晕像素。
之后，控制部9a将所输入的图像Ii分割为例如8X8的多个矩形区 域(图25的步骤S152)。
之后，控制部9a计算由基于图像Ii的各个区域Ho中的各像素的RGB 值的比的值，即吗o和pbo构成的表示图像色度的2个特征量、以及由 giw/riw的方差(以下表示为(j2go)禾nbiw/giw的方差(以下表示为(721)0) 构成的表示图像色度偏差的2个特征量(图25的步骤S153)。另外，作 为表示图像色度偏差的特征量，控制部9a不限于计算一go和a2130，例如 可以计算giw/riw的标准偏差cjgo以及biw/giw的标准偏差abo。
控制部9a将在各区域Ho中得到的特征量pgo和nbo分别离散化， 并生成基于离散化后的特征量pgo和pbo的产生频度的在特征空间上的 直方图(图25的步骤S154)。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特 征量iago和pbo各方，来将直方图平滑化(图25的步骤S155)。另外， 控制部9a通过进行以上的处理而生成的直方图例如与所述的图20所示 大致相同。
然后，控制部9a在通过对所输入的图像Ii进行所述的处理而生成的 直方图中，检测产生频度极大的(吗o， nbo)的要素，即峰值点(图25 的步骤S156)。具体地说，控制部9a在所生成的直方图中提取由一个要 素和该一个要素的8个近邻要素构成的9个要素，之后将所提取的该9 个要素中的产生频度最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度矢量的分析 方法的例如寻谷法来确定(iugo, nbo) = (0， 0)以外的各要素是朝向 所检测的各峰值点中的哪个峰值点的要素(图25的步骤S157)。然后， 控制部9a进行将朝向同一峰值点的具有梯度矢量的要素作为属于同一簇 的要素的处理，即针对直方图内的各要素(昭o， )Llb0)的第1无教师聚 簇处理(图25的步骤S158)。另外，控制部9a通过进行第1无教师聚簇 处理而生成的各簇例如与所述的图21所示大致相同。
控制部9a在进行了第1无教师聚簇处理之后，针对所生成的各簇， 取得该各簇的簇信息(图25的步骤S159)。另外，在图25的步骤S159 所示的处理中由控制部9a取得的簇信息例如是簇编号、该各簇的成为峰 值点的要素、该各簇分别在特征空间上的面积和体积、以及该各簇中的 特征量pgo和pb()的平均值矢量之簇的信息。
之后，控制部9a根据所取得的簇信息，删除特征空间上的面积或体 积小于规定阈值的簇(图25的步骤S160)。
然后，控制部9a通过使用根据特征空间上剩余的各簇中的特征量 吗o和pb()的平均值矢量和教师数据集所生成的例如线性判别函数或基 于贝叶斯定理的函数等的识别器等识别器，来判定特征空间上剩余的各 簇属于哪个类别(图25的步骤S161)。另外，在本实施方式中，假定所 述类别是由胃粘膜、绒毛、大小便和气泡构成的4个类别。并且，在本 实施方式中，假定所述教师数据集是构成所述4个类别的教师数据的多 个图像。
然后，控制部9a将特征空间上剩余的各簇分类为胃粘膜、绒毛、大 小便和气泡这4个类别，并将不能分类为该4个类别的簇分类为不明类 别(图25的步骤S162)。
另外，假定本实施方式中的图25的步骤S161和步骤S162中的处理 应用与在第2实施方式中所说明的图19的步骤Slll和步骤S112所示的 处理大致相同的处理。
并且，控制部9a将在各区域Ho中得到的特征量一go和a2130分别离 散化，并生成基于离散化后的特征量c^go和^bo的产生频度的在特征空 间上的直方图(图26的步骤S163)。
控制部9a通过将例如规定尺寸的平均值滤波器应用于离散化后的特 征量一go和c^bo各方，来将直方图平滑化(图26的步骤S164)。另夕卜， 控制部9a通过进行以上的处理而生成的直方图例如如图27所示。
然后，控制部9a在通过对所输入的图像Ii进行所述的处理而生成的 直方图中，检测产生频度极大的(一go和一bo)的要素，即峰值点(图 26的步骤S165)。具体地说，控制部9a在所生成的直方图中提取由一个 要素和该一个要素的8个近邻要素构成的9个要素，之后将所提取的该9 个要素中的产生频度最大的要素检测为峰值点。
控制部9a在所生成的直方图中，通过使用作为基于梯度矢量的分析 方法的例如寻谷法来确定(一go， cj2bo) = (0， 0)以外的各要素是朝向 所检测的各峰值点中的哪个峰值点的要素(图26的步骤S166)。然后， 控制部9a进行将朝向同一峰值点的具有梯度矢量的要素作为属于同一簇 的要素的处理，即针对直方图内的各要素(ci2g0， cj2bo)的第2无教师聚 簇处理(图26的步骤S167)。另外，控制部9a通过进行第2无教师聚簇 处理而生成的各簇例如如图28所示。
然后，控制部9a根据通过进行第1无教师聚簇处理而生成的各簇中 的各要素(吗o， pbo)的分布状态、以及通过进行第2无教师聚簇处理 而生成的各簇中的各要素(a2go， c72bo)的分布状态，进行以下所述的通 过进行第1无教师聚簇处理而生成的各簇的分割处理(图26的步骤 S168)。
另外，在以下中，例如考虑了这样的情况，即通过进行第2无教
师聚簇处理，在表示图像色度偏差的特征空间上生成图28所示的簇A和 簇B，并且通过进行第1无教师聚簇处理，在表示图像色度的特征空间 上生成图29所示的簇C。
控制部9a在检测出作为一个区域Hol的特征量计算出的c^go1和 ci2bol属于簇A、作为该一个区域Hol的特征量计算出的ngol和pbol属 于簇C、作为另一个区域Ho2的特征量计算出的c^go2和cj21)02属于簇B、 以及作为该另一个区域Ho2的特征量计算出的)^go2和pbo2属于簇C时， 判断为簇C是2个类别的要素混合存在的簇。然后，控制部9a根据所述 检测结果，进行将原来的簇C分割为例如图30所示的吗ol和pbol所属 的一个簇Cl、以及吗o2和pbo2所属的另一个簇C2的处理。
之后，控制部9a使用根据特征量吗ol和iibol的平均值矢量和教师 数据集所生成的识别器，进行作为从原来的簇分割出的一个簇的簇C1的 类别分类，并使用根据特征量!Ligo2和nbo2的平均值矢量和教师数据集所 生成的识别器，进行作为从原来的簇分割出的另一个簇的簇C2的类别分
类(图26的步骤S169)。
另外，所述的图26的步骤S163至步骤S169的处理可以是在图25 的步骤S161的处理中，仅对被分类为例如胃粘膜类别和绒毛类别的特定 类别的簇进行的处理。
并且，在所述的处理中，控制部9a可以在省略图25的步骤S161和 步骤S162的处理的同时，进行图26的步骤S163至步骤S169的处理。 具体地说，控制部9a根据通过进行第2无教师聚簇处理而生成的各簇的 类别分类结果，进行通过进行第1无教师聚簇处理而生成的各簇的类别 分类。
以上所述的图像处理方法不限于仅应用于由胶囊型内窥镜所拍摄的 图像，例如可以应用于由构成为具有可插入生物体内并具有摄像功能的 插入部的内窥镜所拍摄的图像。
如以上所述，根据第3实施方式，可将图像按每个摄像对象高精度 且高速地分类，其结果可实现用户观察的高效化。
并且，根据第3实施方式，除了基于色调的簇生成和类别分类以外， 还通过一并进行基于色调偏差的簇生成和类别分类，可高精度地进行在 结构上具有明确特征的拍摄了气泡和绒毛的图像的分类。
并且，在本发明的第2实施方式和第3实施方式中，对控制部9a将 一个图像Ii分割为大小8X8的多个矩形区域来进行一系列处理作了说 明，然而不限于此，例如可以分割成1X1即每个像素来进行处理，并且 也可以分割为其他大小的矩形区域来进行处理。
而且，在本发明的第2实施方式和第3实施方式中，对控制部9a将 一个图像Ii分割为大小8X8的多个矩形区域来进行一系列处理作了说 明，然而不限于此，例如可以分割为基于与边缘信息等对应的一个图像 Ii中的分类结果的区域来进行处理，并且也可以分割为具有其他形状的区 域来进行处理。
另外，本发明不限于上述各实施方式，当然可以在不背离本发明主 旨的范围内进行各种变更和应用。
本申请把在2005年12月28日于日本申请的日本特願2005 — 3 80210
号和在2005年12月28日于日本申请的日本特願2005 — 380212号作为 优先权主张的基础来提出申请，将上述公开内容引用在本申请说明书、 权利要求书和附图中。
权利要求
1.一种图像处理装置，其特征在于，该图像处理装置具有图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的多个图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信号，将所述多个图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；子集生成单元，其使用所述多个图像来生成基于分别拍摄所述多个图像的定时的多个子集；以及分类基准计算单元，其根据由所述子集生成单元所生成的一个子集内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算将所述一个子集内包含的图像分别分类为所述多个类别中的任一方时的分类基准。
2. 根据权利要求l所述的图像处理装置，其特征在于，而且，所述 分类基准计算单元针对所述多个类别中的在一个子集内未产生所述特征 量的类别，不计算所述分类基准。
3. 根据权利要求l所述的图像处理装置，其特征在于，所述多个类 别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
4. 根据权利要求2所述的图像处理装置，其特征在于，所述多个类 别至少具有与生物体粘膜相关的类别和与非生物体粘膜相关的类别。
5. 根据权利要求3所述的图像处理装置，其特征在于，该图像处理 装置还具有-分类单元，其根据所述分类基准进行所述一个子集内包含的一个图 像中的各区域的分类；以及病变检测单元，其根据所述一个图像的分类结果，在所述一个图像具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个 区域进行用于检测病变部位的处理。
6. 根据权利要求4所述的图像处理装置，其特征在于，该图像处理装置还具有分类单元，其根据所述分类基准进行所述一个子集内包含的一个图 像中的各区域的分类；以及病变检测单元，其根据所述一个图像的分类结果，在所述一个图像 具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个 区域进行用于检测病变部位的处理。
7. —种图像处理装置，其特征在于，该图像处理装置具有 图像信号输入单元，其输入基于由具有摄像功能的医疗设备按时序拍摄的多个图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信 号，将所述多个图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区 域各方中的特征量；图像区域分类单元，其根据所述特征量将所述多个区域各方分别分 割为多个类别中的任一方；代表值计算单元，其在所述多个图像各方中计算至少一个类别的特 征量的代表值；以及变动检测单元，其按时序检测所述代表值的变动。
8. 根据权利要求7所述的图像处理装置，其特征在于，该图像处理 装置还具有平滑化单元，该平滑化单元对所述各个代表值应用时序方向 的平滑化，所述变动检测单元根据由所述平滑化单元平滑化后的所述代表值， 检测所述代表值的变动为极大的图像或时间的任一方。
9. 根据权利要求7所述的图像处理装置，其特征在于，所述代表值 的变动是根据生物体内的观察部位的变化而产生的。
10. 根据权利要求8所述的图像处理装置，其特征在于，所述代表 值的变动是根据生物体内的观察部位的变化而产生的。
11. 根据权利要求7所述的图像处理装置，其特征在于，所述代表 值的变动是根据生物体内的大小便的存在而产生的。
12. 根据权利要求8所述的图像处理装置，其特征在于，所述代表 值的变动是根据生物体内的大小便的存在而产生的。
13. 根据权利要求7所述的图像处理装置，其特征在于，所述代表 值的变动是根据生物体内的胆汁的存在而产生的。
14. 根据权利要求8所述的图像处理装置，其特征在于，所述代表 值的变动是根据生物体内的胆汁的存在而产生的。
15. 根据权利要求7所述的图像处理装置，其特征在于，所述代表 值的变动是根据生物体内的病变部位的存在而产生的。
16. 根据权利要求8所述的图像处理装置，其特征在于，所述代表 值的变动是根据生物体内的病变部位的存在而产生的。
17. 根据权利要求7所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
18. 根据权利要求8所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
19. 根据权利要求9所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
20. 根据权利要求10所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
21. 根据权利要求ll所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
22. 根据权利要求12所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
23. 根据权利要求13所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
24. 根据权利要求14所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
25. 根据权利要求15所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
26. 根据权利要求16所述的图像处理装置，其特征在于，所述代表 值是所述多个类别各方中的特征量的平均值。
27. —种图像处理装置，其特征在于，该图像处理装置具有 图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信 号，将所述图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区 域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征 空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；以 及图像区域分类单元，其根据所述簇分类单元的分类结果，将所述多 个区域分别分类为所述多个类别中的任一方。
28. —种图像处理装置，其特征在于，该图像处理装置具有 图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信 号，将所述图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区 域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，在特征 空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；特征量分布信息取得单元，其取得与所述特征空间上的所述特征量 的分布状态相关的信息，即特征量分布信息；以及图像区域分类单元，其根据由所述特征量分布信息取得单元所取得 的所述特征量分布信息，将所述多个区域分别分类为所述多个类别中的 任一方。
29. 根据权利要求27所述的图像处理装置，其特征在于，所述图像 是按时序连续拍摄的多个图像。
30. 根据权利要求28所述的图像处理装置，其特征在于，所述图像 是按时序连续拍摄的多个图像。
31. —种图像处理装置，其特征在于，该图像处理装置具有-图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的图像的图像信号；图像分割单元，其根据在所述图像信号输入单元中所输入的图像信 号，将所述图像分别分割为多个区域；特征量计算单元，其计算由所述图像分割单元所分割的所述多个区 域各方中的多种特征量；第1簇分类单元，其根据所述多种特征量中的一种特征量和该一种 特征量的产生频度，在一个特征空间上生成多个簇，并将该多个簇分别 分类为多个类别中的任一方；第2簇分类单元，其根据所述多种特征量中的另一种特征量和该另 一种特征量的产生频度，在另一个特征空间上生成多个簇，并将该多个 簇分别分类为多个类别中的任一方；以及簇分割单元，其根据所述一个特征空间和所述另一个特征空间上的 特征量的分布状态，进行对在所述一个特征空间上所生成的多个簇的分 割处理。
32. 根据权利要求5所述的图像处理装置，其特征在于，所述病变 检测单元设置在所述医疗设备内。
33. 根据权利要求6所述的图像处理装置，其特征在于，所述病变 检测单元设置在所述医疗设备内。
34. 根据权利要求7所述的图像处理装置，其特征在于，所述变动 检测单元进行检测所述按时序检测的代表值的变动为极大的图像或时间 的任一方的处理。
35. 根据权利要求27所述的图像处理装置，其特征在于，该图像处 理装置还具有摄像部位判定单元，该摄像部位判定单元在由所述图像区 域分类单元所分类的区域中的特定区域在所述图像上占规定比例以上的 情况下，将该图像判定为是拍摄了特定脏器的图像。
36. 根据权利要求28所述的图像处理装置，其特征在于，该图像处 理装置还具有摄像部位判定单元，该摄像部位判定单元在由所述图像区 域分类单元所分类的区域中的特定区域在所述图像上占规定比例以上的 情况下，将该图像判定为是拍摄了特定脏器的图像。
37. —种图像处理装置中的图像处理方法，其特征在于，该图像处 理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图 像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区 域各方中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度，在特征 空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；子集生成步骤，其使用所述多个图像来生成基于分别拍摄所述多个 图像的定时的多个子集；以及分类基准计算步骤，其根据由所述子集生成步骤所生成的一个子集 内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算 将所述一个子集内包含的图像分别分类时的分类基准。
38. 根据权利要求37所述的图像处理装置中的图像处理方法，其特 征在于，而且，所述分类基准计算步骤针对所述多个类别中的在一个子 集内未产生所述特征量的类别，不计算所述分类基准。
39. 根据权利要求37所述的图像处理装置中的图像处理方法，其特 征在于，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体 粘膜相关的类别。
40. 根据权利要求38所述的图像处理装置中的图像处理方法，其特 征在于，所述多个类别至少具有与生物体粘膜相关的类别和与非生物体 粘膜相关的类别。
41. 根据权利要求39所述的图像处理装置中的图像处理方法，其特征在于，该图像处理方法还具有分类步骤，其根据所述分类基准进行所述一个子集内包含的一个图像中的各区域的分类；以及病变检测步骤，其根据所述一个图像的分类结果，在所述一个图像 具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个 区域进行用于检测病变部位的处理。
42. 根据权利要求40所述的图像处理装置中的图像处理方法，其特 征在于，该图像处理方法还具有分类步骤，其根据所述分类基准进行所述一个子集内包含的一个图 像中的各区域的分类；以及病变检测步骤，其根据所述一个图像的分类结果，在所述一个图像 具有被分类为与所述生物体粘膜相关的类别的区域的情况下，对该各个 区域进行用于检测病变部位的处理。
43. —种图像处理装置中的图像处理方法，其特征在于，该图像处 理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图 像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区 域各方中的特征量；图像区域分类步骤，其根据所述特征量将所述多个区域各方分别分 割为多个类别中的任一方；代表值计算步骤，其在所述多个图像各方中计算至少一个类别的特 征量的代表值；以及变动检测步骤，其按时序检测所述代表值的变动。
44. 根据权利要求43所述的图像处理装置中的图像处理方法，其特 征在于，该图像处理方法还具有平滑化步骤，该平滑化步骤对所述各个 代表值应用时序方向的平滑化，在所述变动检测步骤中进行这样的处理，即根据由所述平滑化步 骤平滑化后的所述代表值，检测所述代表值的变动为极大的图像或时间的任一方。
45. 根据权利要求43所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
46. 根据权利要求44所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的观察部位的变化而产生的。
47. 根据权利要求43所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的大小便的存在而产生的。
48. 根据权利要求44所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的大小便的存在而产生的。
49. 根据权利要求43所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
50. 根据权利要求44所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的胆汁的存在而产生的。
51. 根据权利要求43所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
52. 根据权利要求44所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值的变动是根据生物体内的病变部位的存在而产生的。
53. 根据权利要求43所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
54. 根据权利要求44所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
55. 根据权利要求45所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
56. 根据权利要求46所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
57. 根据权利要求47所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
58. 根据权利要求48所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
59. 根据权利要求49所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
60. 根据权利要求50所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
61. 根据权利要求51所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
62. 根据权利要求52所述的图像处理装置中的图像处理方法，其特 征在于，所述代表值是所述多个类别各方中的特征量的平均值。
63. —种图像处理装置中的图像处理方法，其特征在于，该图像处 理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图 像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区 域各方中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度，在特征 空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；以 及图像区域分类步骤，其根据所述簇分类步骤的分类结果，将所述多 个区域分别分类为所述多个类别中的任一方。
64. —种图像处理装置中的图像处理方法，其特征在于，该图像处 理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图 像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区 域各方中的特征量；簇分类步骤，其根据所述特征量和所述特征量的产生频度，在特征 空间上生成多个簇，并将该多个簇分别分类为多个类别中的任一方；特征量分布信息取得步骤，其取得与所述特征空间上的所述特征量的分布状态相关的信息，即特征量分布信息；以及图像区域分类步骤，其根据由所述特征量分布信息取得步骤所取得 的所述特征量分布信息，将所述多个区域分别分类为所述多个类别中的任一方。
65. 根据权利要求63所述的图像处理装置中的图像处理方法，其特 征在于，所述图像是按时序连续拍摄的多个图像。
66. 根据权利要求64所述的图像处理装置中的图像处理方法，其特 征在于，所述图像是按时序连续拍摄的多个图像。
67. —种图像处理装置中的图像处理方法，其特征在于，该图像处 理方法具有图像分割步骤，其根据基于由具有摄像功能的医疗设备所拍摄的图 像而输入的图像信号，将所述图像分别分割为多个区域；特征量计算步骤，其计算由所述图像分割步骤所分割的所述多个区 域各方中的多种特征量；第1簇分类步骤，其根据所述多种特征量中的一种特征量和该一种 特征量的产生频度，在一个特征空间上生成多个簇，并将该多个簇分别 分类为多个类别中的任一方；第2簇分类步骤，其根据所述多种特征量中的另一种特征量和该另 一种特征量的产生频度，在另一个特征空间上生成多个簇，并将该多个 簇分别分类为多个类别中的任一方；以及簇分割步骤，其根据所述一个特征空间和所述另一个特征空间上的 特征量的分布状态，进行对在所述一个特征空间上所生成的多个簇的分 割处理。
68. 根据权利要求41所述的图像处理方法，其特征在于，所述病变 检测步骤是在所述医疗设备内进行的。
69. 根据权利要求42所述的图像处理方法，其特征在于，所述病变 检测步骤是在所述医疗设备内进行的。
70. 根据权利要求43所述的图像处理方法，其特征在于，所述变动 检测步骤进行检测所述按时序检测的代表值的变动为极大的图像或时间的任一方的处理。
71. 根据权利要求63所述的图像处理方法，其特征在于，该图像处理方法还具有摄像部位判定步骤，该摄像部位判定步骤在由所述图像区 域分类步骤所分类的区域中的特定区域在所述图像上占规定比例以上的 情况下，将该图像判定为是拍摄了特定脏器的图像。
72. 根据权利要求64所述的图像处理方法，其特征在于，该图像处 理方法还具有摄像部位判定步骤，该摄像部位判定步骤在由所述图像区 域分类步骤所分类的区域中的特定区域在所述图像上占规定比例以上的 情况下，将该图像判定为是拍摄了特定脏器的图像。
全文摘要
本发明提供可实现用户观察的高效化的图像处理装置和该图像处理装置中的图像处理方法。本发明的图像处理装置具有图像信号输入单元，其输入基于由具有摄像功能的医疗设备所拍摄的多个图像的图像信号；图像分割单元，其将所述多个图像分别分割为多个区域；特征量计算单元，其计算所述多个区域各方中的特征量；簇分类单元，其根据所述特征量和所述特征量的产生频度，将在特征空间上所生成的多个簇分别分类为多个类别中的任一方；子集生成单元，其使用所述多个图像来生成多个子集；以及分类基准计算单元，其根据一个子集内包含的各个图像的在所述特征空间上的所述特征量的分布状态，计算将所述一个子集内包含的图像分类时的分类基准。
文档编号A61B1/04GK101351149SQ20068004958
公开日2009年1月21日 申请日期2006年11月9日 优先权日2005年12月28日
发明者西村博一, 野波徹绪 申请人:奥林巴斯医疗株式会社