关联信息。由此，能够在各分类中收集与被摄体的相关 性较高的第2分类基准数据。
[0254] 另外，关于上述第2分类基准数据，不排除基于摄像部200的光轴方向与被摄体面 所成的角度以及从摄像部200到被摄体面的距离的变形的影响。由此，第2分类基准数据 生成部3856也可以在进行了抵消这些影响的处理后，生成第2分类基准数据。具体而言， 针对上述灰色标度图像，以使得与对在给定基准方向上位于给定距离的部分进行摄像的情 况相当的方式进行变形处理（投影转换处理和变倍处理），将进行变形处理结果作为第2分 类基准数据即可。
[0255] 在生成第2分类基准数据后，将该第2分类基准数据作为对象，在投影转换部 3852、探索区域尺寸设定部3853、相似度计算部3854中再次进行处理即可。具体而言，对第 2分类基准数据进行投影转换处理，生成第2修正图案，将所生成的第2修正图案作为分类 基准，进行与第5实施方式相同的处理。
[0256] 另外，绝大多数情况下，本实施方式中使用的异常腺管的基本腺管开口不是点对 象。由此，在相似度计算部3854中的相似度计算（使用修正图案的情况和使用第2修正图 案的情况双方）中，实施旋转不变的P〇C(Phase Only Correction)来计算相似度即可。
[0257] 在区域设定部3855中，生成图26(A)~图26⑶所示的分类映射图。图26(A)是 在分类为正常腺管的修正腺管开口中得到相关性的区域，图26(B)和图26(C)是在分类为 分别不同的异常腺管的修正腺管开口中得到相关性的区域。而且，图26 (D)对3个分类映 射图（多值图像）进行合成。各个分类中得到相关性的区域的重叠区域可以作为分类未确 定区域，也可以置换为恶性级别较高的分类。从区域设定部3855向强调处理部330输出图 26(D)的合成后的分类映射图。
[0258] 然后，在强调处理部330中，根据多值图像的分类映射图进行亮度或颜色的强调 处理等。
[0259] 除此之外，本实施方式中省略说明的处理与第5实施方式相同。如上所述，根据第 6实施方式，不仅是正常腺管，还包含多种异常腺管的图案在内进行分类判定，并且，不是平 均的基准而是从摄像图像中取得分类基准本身，所以，能够提高分类判定的精度。
[0260] 在以上的本实施方式中，已知特性信息取得部350也可以取得与异常状态下的被 摄体的构造物对应的基准图案作为已知特性信息。
[0261] 由此，例如如图25所示，能够取得多个基准图案，使用这些基准图案生成分类基 准，进行分类处理。考虑各种分类处理的具体手法，但是，例如根据第1~第N(N为2以上 (包含该值）的整数）基准图案生成第1~第N分类基准，针对各个分类基准将摄像图像 分为与分类基准一致的区域和不一致的区域，对其结果进行统合即可。使用各个分类基准 的处理结果的例子为图26(A)~图26(C)，对它们进行统合的结果（分类处理的结果输出） 的例子为图26(D)。
[0262] 并且，已知特性信息取得部350也可以取得与给定状态下的被摄体的构造物对应 的基准图案作为已知特性信息，分类处理部385通过对基准图案进行基于表面形状信息的 变形处理，取得修正图案，在摄像图像的各图像内位置处求出摄像图像中被摄像的被摄体 的构造物与修正图案的相似度，根据所求出的相似度取得第2基准图案候选。然后，分类处 理部385也可以根据所取得的第2基准图案候选和表面形状信息生成新的基准图案即第2 基准图案，生成通过对第2基准图案进行基于表面形状信息的变形处理而取得的第2修正 图案作为分类基准，使用所生成的分类基准进行分类处理。
[0263] 由此，能够根据摄像图像生成第2基准图案，使用该第2基准图案进行分类处理。 由此，能够根据实际在摄像图像中被摄像的被摄体生成分类基准，所以，该分类基准良好地 反映出作为处理对象的被摄体的特性，与直接使用作为已知特性信息而取得的基准图案的 情况相比，能够进一步提高分类处理的精度等。
[0264] 以上对应用了本发明的6个实施方式1~6及其变形例进行了说明，但是，本发明 不限于各实施方式1~6及其变形例，能够在实施阶段在不脱离发明主旨的范围内对结构 要素进行变形而具体化。并且，通过对上述各实施方式1~6和变形例所公开的多个结构 要素进行适当组合，能够形成各种发明。例如，可以从各实施方式1~6和变形例所记载的 全部结构要素中删除若干个结构要素。进而，也可以对不同实施方式和变形例中说明的结 构要素进行适当组合。这样，能够在不脱离发明主旨的范围内进行各种变更和应用。
[0265] 标号说明
[0266] 10、20、30 :病变部；40 :正常腺管；50 :异常腺管；60 :腺管消失区域；100 :光源部； 101 :白色光源；102 :旋转滤色片；103 :旋转驱动部；104 :会聚透镜；105 :蓝色激光器光源； 106 :红外激光器光源；200 :摄像部；201 :光导纤维；203 :照明透镜；204 :物镜；206、215、 216 :摄像元件；209 :A/D转换部；210 :存储器；212 :连接器；213 :摄像元件；214 :测距传感 器；217 :二色棱镜；300 :处理器部；301 :图像处理部；302 :控制部；303 :距离映射图记录 部；310 :凹凸确定部；320 :图像构成部；330 :强调处理部；340 :距离信息取得部；341 :立 体匹配部；342 :视差/距离转换部；350 :已知特性信息取得部；360 :凹凸信息提取部；361 : 局部平均距离计算部；362 :形态学特性设定部；363-1 :闭处理部；363-2 :开处理部；364 : 凹部提取部；365 :凸部提取部；366 :低通特性设定部；367 :低通处理部；368 :高通特性设 定部；369 :高通处理部；370 :确定处理部；380 :表面形状计算部；381 :形态学特性设定部； 382 :闭处理部；383 :法线向量计算部；385 :分类处理部；390 :图像取得部；3851 :分类基准 数据存储部；3852 :投影转换部；3853 :探索区域尺寸设定部；3854 :相似度计算部；3855 : 区域设定部；3856 :分类基准数据生成部；400 :显示部；500 :外部接口部；601 :距离信息取 得部；700 :胶囊内窥镜装置；701 :白色LED ;702 :红外线激光器；703 :摄像元件；704 :照明 用透镜；706 :物镜；707 :控制部；708 :无线发送部；710 :再现装置；711 :无线接收部；720 : 图像处理部；721 :距离信息取得部；722 :凹凸确定部；726 :已知特性信息存储部；727 :病 变识别处理部；729 :已知特性信息取得部；730 :图像存储部；740 :显示部；750 :无线发送 部；7222 :凹凸信息提取部；7223 :确定处理部。
【主权项】
1. 一种图像处理装置，其特征在于，该图像处理装置包括： 图像取得部，其通过摄像部的摄像而取得包含被摄体像的摄像图像； 距离信息取得部，其取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离 信息； 已知特性信息取得部，其取得表示与所述被摄体的构造有关的已知特性的信息即已知 特性信息；以及 凹凸确定部，其根据所述距离信息和所述已知特性信息，进行从被摄像的所述被摄体 中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。2. 根据权利要求1所述的图像处理装置，其特征在于， 所述凹凸确定部包括凹凸信息提取部，该凹凸信息提取部根据所述距离信息和所述已 知特性信息，从所述距离信息中提取表示与由所述已知特性信息确定的所述特性一致的所 述被摄体的所述凹凸部的信息，作为提取凹凸信息， 所述凹凸确定部根据所述提取凹凸信息进行所述凹凸确定处理。3. 根据权利要求2所述的图像处理装置，其特征在于， 所述凹凸信息提取部根据所述已知特性信息决定提取处理参数，根据所决定的所述提 取处理参数，提取所述被摄体的所述凹凸部作为所述提取凹凸信息。4. 根据权利要求3所述的图像处理装置，其特征在于， 所述已知特性信息取得部取得表示所述被摄体的种类的种类信息、以及与所述种类信 息相关联的与所述被摄体的所述凹凸部有关的信息即凹凸特性信息作为所述已知特性信 息， 所述凹凸信息提取部根据所述种类信息和所述凹凸特性信息决定所述提取处理参数， 根据所决定的所述提取处理参数提取所述被摄体的所述凹凸部作为所述提取凹凸信息。5. 根据权利要求3所述的图像处理装置，其特征在于， 所述摄像图像是对活体的内部进行摄像而得到的活体内图像， 所述已知特性信息取得部取得表示所述被摄体与所述活体的哪个部位对应的部位信 息、以及与所述活体的所述凹凸部有关的信息即凹凸特性信息作为所述已知特性信息， 所述凹凸信息提取部根据所述部位信息和所述凹凸特性信息决定所述提取处理参数， 根据所决定的所述提取处理参数提取所述被摄体的所述凹凸部作为所述提取凹凸信息。6. 根据权利要求3所述的图像处理装置，其特征在于， 所述凹凸信息提取部根据所述已知特性信息，决定开处理和闭处理中使用的构造要素 的尺寸作为所述提取处理参数， 使用所决定的尺寸的所述构造要素进行所述开处理和所述闭处理，提取所述被摄体的 所述凹凸部作为所述提取凹凸信息。7. 根据权利要求6所述的图像处理装置，其特征在于， 所述凹凸信息提取部设定为，与所述开处理和所述闭处理的处理对象像素对应的所述 距离信息的值越大，则所述提取处理参数即所述构造要素的所述尺寸越小。8. 根据权利要求3所述的图像处理装置，其特征在于， 所述凹凸信息提取部根据所述已知特性信息，决定针对所述距离信息的滤波处理中使 用的滤波器的频率特性作为所述提取处理参数， 使用具有所决定的所述频率特性的所述滤波器进行所述滤波处理，提取所述被摄体的 所述凹凸部作为所述提取凹凸信息。9. 根据权利要求2所述的图像处理装置，其特征在于， 所述被摄体具有全局的三维构造和与所述全局的三维构造相比成为局部的凹凸构造， 所述凹凸信息提取部提取所述被摄体所具有的所述全局的三维构造和所述局部的凹 凸构造中的、与由所述已知特性信息确定的特性一致的所述被摄体的所述凹凸部作为所述 提取凹凸彳目息。10. 根据权利要求2所述的图像处理装置，其特征在于， 所述摄像图像是对活体的内部进行摄像而得到的活体内图像， 所述被摄体具有作为所述活体内部的管腔构造的全局的三维构造、以及所述管腔构造 中形成的与所述全局的三维构造相比成为局部的凹凸构造， 所述凹凸信息提取部提取所述被摄体所具有的所述全局的三维构造和所述局部的凹 凸构造中的、与由所述已知特性信息确定的特性一致的所述被摄体的所述凹凸部作为所述 提取凹凸彳目息。11. 根据权利要求1所述的图像处理装置，其特征在于， 所述距离信息取得部取得距离映射图作为所述距离信息，该距离映射图是在所取得的 所述摄像图像的各像素中，将与从所述摄像部到所述各像素中拍摄的所述被摄体的所述距 离有关的信息对应起来得到的。12. 根据权利要求1所述的图像处理装置，其特征在于， 所述摄像部具有多个视点， 所述图像取得部借助于所述摄像部取得与所述多个视点分别对应的多个所述摄像图 像， 所述距离信息取得部根据从所取得的多个所述摄像图像得到的视差信息取得所述距 离信息。13. 根据权利要求12所述的图像处理装置，其特征在于， 所述距离信息取得部取得表示从所述摄像部到所述被摄体的距离的低精度的暂定距 离信息， 将通过所取得的所述暂定距离信息缩小范围后的探索范围作为对象，根据从多个所述 摄像图像得到的所述视差信息，取得与所述暂定距离信息相比精度较高的所述距离信息。14. 根据权利要求13所述的图像处理装置，其特征在于， 所述摄像部包括射出红外光的光源部、以及接收由所述被摄体产生的所述红外光的反 射光的测距元件， 所述距离信息取得部根据从所述光源部射出所述红外光的时刻到所述测距元件接收 到所述反射光的时刻的时间信息，取得所述暂定距离信息。15. 根据权利要求14所述的图像处理装置，其特征在于， 所述摄像部具有在单板元件的下层层叠了所述测距元件的摄像元件，其中，该单板元 件配置有用于构成所述摄像图像的RGB像素。16. 根据权利要求1所述的图像处理装置，其特征在于， 所述摄像部包括射出蓝色光的光源部、以及接收由所述被摄体产生的所述蓝色光的反 射光的测距元件， 所述距离信息取得部根据从所述光源部射出所述蓝色光的时刻到所述测距元件接收 到所述反射光的时刻的时间信息，取得所述距离信息。17. 根据权利要求1所述的图像处理装置，其特征在于， 所述凹凸确定部包括： 表面形状计算部，其根据所述距离信息和所述已知特性信息求出所述被摄体的表面形 状信息；以及 分类处理部，其根据所述表面形状信息生成分类基准，使用所生成的所述分类基准进 行分类处理， 所述凹凸确定部进行使用了所述分类基准的所述分类处理作为所述凹凸确定处理。18. 根据权利要求17所述的图像处理装置，其特征在于， 所述已知特性信息取得部取得与给定状态下的所述被摄体的构造物对应的基准图案 作为所述已知特性信息， 所述分类处理部生成修正图案作为所述分类基准，使用所生成的所述分类基准进行所 述分类处理，其中，该修正图案是通过对所述基准图案进行基于所述表面形状信息的变形 处理而取得的。19. 根据权利要求18所述的图像处理装置，其特征在于， 所述分类处理部在所述摄像图像的各图像内位置处求出所述摄像图像中拍摄的所述 被摄体的所述构造物与作为所述修正图案的所述分类基准之间的相似度，根据所求出的所 述相似度进行所述分类处理。20. 根据权利要求18所述的图像处理装置，其特征在于， 所述已知特性信息取得部取得与正常状态下的所述被摄体的所述构造物对应的所述 基准图案作为所述已知特性信息。21. 根据权利要求20所述的图像处理装置，其特征在于， 所述已知特性信息取得部取得与异常状态下的所述被摄体的所述构造物对应的所述 基准图案作为所述已知特性信息。22. 根据权利要求17所述的图像处理装置，其特征在于， 所述已知特性信息取得部取得与给定状态下的所述被摄体的构造物对应的基准图案 作为所述已知特性信息， 所述分类处理部通过对所述基准图案进行基于所述表面形状信息的变形处理，取得修 正图案， 在所述摄像图像的各图像内位置处求出所述摄像图像中拍摄的所述被摄体的所述构 造物与所述修正图案之间的相似度，根据所求出的所述相似度取得第2基准图案候选， 根据所取得的所述第2基准图案候选和所述表面形状信息，生成作为新的基准图案的 第2基准图案， 生成通过对所述第2基准图案进行基于所述表面形状信息的变形处理而取得的第2修 正图案作为所述分类基准，使用所生成的所述分类基准进行所述分类处理。23. 根据权利要求17所述的图像处理装置，其特征在于， 所述被摄体具有全局的三维构造和与所述全局的三维构造相比成为局部的凹凸构造， 所述表面形状计算部通过从所述距离信息中提取所述被摄体所具有的所述全局的三 维构造和所述局部的凹凸构造中的所述全局的三维构造，求出所述表面形状信息。24. 根据权利要求23所述的图像处理装置，其特征在于， 所述表面形状计算部求出由所述全局的三维构造表示的所述被摄体的表面的法线向 量作为所述表面形状信息。25. 根据权利要求24所述的图像处理装置，其特征在于， 所述已知特性信息取得部取得与给定状态下的所述被摄体的构造物对应的基准图案 作为所述已知特性信息， 所述分类处理部生成修正图案作为所述分类基准，使用所生成的所述分类基准进行所 述分类处理，其中，该修正图案是通过对所述基准图案进行基于所述法线向量相对于给定 基准方向的朝向角度的变形处理而取得的。26. -种电子设备，其特征在于，该电子设备包括权利要求1~25中的任意一项所述的 图像处理装置。27. -种内窥镜装置，其特征在于，该内窥镜装置包括权利要求1~25中的任意一项所 述的图像处理装置。28. -种程序，其特征在于，该程序使计算机执行以下步骤： 进行通过摄像部的摄像而取得包含被摄体像的摄像图像的处理； 进行取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息的处理； 进行取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息的处理；以 及 进行凹凸确定处理，即，根据所述距离信息和所述已知特性信息，从被摄像的所述被摄 体中确定与由所述已知特性信息确定的特性一致的所述被摄体的凹凸部。29. -种图像处理方法，其特征在于， 进行通过摄像部的摄像而取得包含被摄体像的摄像图像的处理； 进行取得基于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息的处理； 进行取得表示与所述被摄体的构造有关的已知特性的信息即已知特性信息的处理；以 及 根据所述距离信息和所述已知特性信息，进行从被摄像的所述被摄体中确定与由所述 已知特性信息确定的特性一致的所述被摄体的凹凸部的凹凸确定处理。
【专利摘要】图像处理装置包括：图像取得部(390)，其通过摄像部(200)的摄像而取得包含被摄体像的摄像图像；距离信息取得部(340)，其取得基于摄像时的从摄像部(200)到被摄体的距离的距离信息；已知特性信息取得部(350)，其取得表示与被摄体的构造有关的已知特性的信息即已知特性信息；以及凹凸确定部(310)，其根据距离信息和已知特性信息，进行从被摄像的所述被摄体中确定与由已知特性信息确定的特性一致的被摄体的凹凸部的凹凸确定处理。
【IPC分类】A61B1/00, G02B23/24, H04N7/18, G06T1/00
【公开号】CN104883946
【申请号】CN201380066931
【发明人】佐佐木宽
【申请人】奥林巴斯株式会社
【公开日】2015年9月2日
【申请日】2013年9月25日
【公告号】EP2937033A1, US20150287192, WO2014097702A1