像模糊而分类为“异常部”。根据对焦判定映射图对该分类映射图进行修正，区域AA2重新分类为“不明”。帧F2也同样，“对焦”的区域ABl分类为“正常”，“非对焦”的区域AB2的分类从“异常”修正为“不明”。然后，对帧F1、F2的修正后的分类映射图进行比较，针对其中任意一个为“正常”的像素，将其分类为“正常”，针对均为“不明”的像素，将其分类为“不明”。这样，在帧Fl、F2中合并了 “正常”的区域AA1、ABl后的区域ACl分类为“正常”，作为最终的分类映射图进行输出。
[0120]根据以上的实施方式，AF控制部383对摄像部200的自动对焦动作进行控制。然后，对焦判定部370判定在进行自动对焦动作的多个帧(例如帧F1、F2)的各帧中被摄体是否处于对焦状态。分类部310针对判定为在多个帧中的任意一个帧中被摄体处于对焦状态的像素或区域，将该帧中的分类处理的结果(图13的区域AAUABl的“正常部”)作为最终的分类结果(区域ACl的“正常部”)进行输出。
[0121]这样，能够复合地使用在多个对焦镜头位置处取得的信息(对焦判定映射图、分类映射图)来输出最终的分类结果。由此，例如如接近放大观察那样在景深较浅的情况下，利用通过AF动作而使对焦范围按照每帧进行变动的情况，由此，能够缩窄最终分类为“不明”的区域。由此，能够在更宽的区域内显示对焦区域中进行的可靠性高的分类结果。
[0122]4.第I分类处理手法
[0123]4.1.分类部
[0124]对上述第I?第2实施方式的分类部310进行的分类处理进行详细说明。图14示出分类部310的详细结构例。分类部310包括已知特性信息取得部345、表面形状计算部350、分类处理部360。
[0125]下面，以设观察对象为大肠的情况为例对分类部310的动作进行说明。如图15㈧所示，作为观察对象的大肠的活体表面I具有隆起病变的息肉2，息肉2的粘膜表层具有正常腺管40和异常腺管50。并且，在息肉2的根部存在有腺管构造消失的凹陷型病变60。在从上方观察该息肉2的上部的情况下，例如如图1(B)所示，正常腺管40示出大致圆形的形状，异常腺管50呈现与正常腺管40不同的形状。
[0126]表面形状计算部350通过对从距离信息取得部340输入的距离信息(例如距离映射图)实施闭合处理或自适应低通滤波处理，提取具有规定构造要素的尺寸以上的尺寸的构造。这里，规定构造要素是在观察部位的活体表面I上形成的希望进行分类判定的腺管构造(麻点图案)。
[0127]具体而言，已知特性信息取得部345取得构造要素信息作为已知特性信息之一，将该构造要素信息输出到表面形状计算部350。构造要素信息是根据摄像部200的光学倍率、和希望基于活体表面I的表面构造来分类的腺管构造的尺寸(宽度的信息)而决定的大小信息。即，根据与被摄体之间的距离来决定光学倍率，通过利用该光学倍率进行尺寸调整，取得以该距离进行摄像而得到的腺管构造的图像上的尺寸作为构造要素信息。
[0128]例如，处理器部300的控制部302存储腺管构造的标准尺寸，已知特性信息取得部345从控制部302取得该尺寸，进行基于光学倍率的尺寸调整。具体而言，控制部302根据从摄像部200的存储器212输入的镜体ID信息来决定观察部位。例如在摄像部200是上部消化器官用镜体的情况下，判定为观察部位是食道、胃、十二指肠，在摄像部200是下部消化器官用镜体的情况下，判定为观察部位是大肠。在控制部302中预先记录与这些观察部位对应的标准的腺管尺寸。另外，作为利用镜体ID以外的信息来决定观察部位的手法，存在如下手法:例如外部I/F部500具有用户能够操作的开关，用户通过该开关来选择观察部位。
[0129]表面形状计算部350根据所输入的距离信息，自适应地生成表面形状计算信息，使用该表面形状计算信息计算被摄体的表面形状信息。表面形状信息例如是图15(B)所示的法线向量NV。表面形状计算信息的详细情况在后面进行说明，但是，例如是与距离映射图的关注位置处的距离信息适应的形态的核心尺寸(构造要素的尺寸)，或者与该距离信息适应的滤波器的低通特性。即，表面形状计算信息是根据距离信息而自适应地变更非线性或线性的低通滤波器的特性的信息。
[0130]所生成的表面形状信息与距离映射图一起输入到分类处理部360。如图16(A)、图16(B)所示，分类处理部360使基本腺管开口与摄像图像的活体表面的三维形状适应而生成修正腺管开口(分类基准)。基本腺管开口是将用于对腺管构造进行分类的一个正常腺管构造模型化而得到的，例如是2值图像。另外，这里，这里假设了麻点图案，所以使用基本麻点、修正麻点这样的用语，但是，作为更加广义的用语，可以置换为基准图案、修正图案。
[0131]分类处理部360进行基于所生成的分类基准(修正麻点)的分类处理。具体而言，还对分类处理部360输入来自图像构成部320的图像。分类处理部360通过公知的图案匹配处理来判定修正麻点是否存在于摄像图像上，将对分类区域进行分组而得到的分类映射图输出到强调处理部330。分类映射图是将摄像图像分类为存在有修正麻点的区域和除此以外的区域的映射图。例如，是对存在有修正麻点的区域的像素分配“I”、对除此以外的区域的像素分配“O”而得到的2值图像。另外，在根据对焦判定而设定“不明”的分类的情况下，例如也可以对“不明”的区域的像素分配“2”而成为3值图像。
[0132]还对强调处理部330输入来自图像构成部320的图像(与分类图像相同尺寸)。然后，强调处理部330使用表示分类结果的信息，对从图像构成部320输出的图像进行强调处理。
[0133]4.2.表面形状计算部
[0134]使用图15(A)、图15(B)对表面形状计算部350进行的处理进行详细说明。
[0135]图15(A)是沿着摄像部200的光轴的截面中的、被摄体的活体表面I和摄像部200的剖视图，示意地示出通过形态处理(闭合处理)来计算表面形状的状态。设闭合处理中利用的球SP (构造要素)的半径为希望分类的腺管构造的尺寸(表面形状计算信息)的例如2倍以上(包含该值)。如上所述，根据各像素中的与被摄体之间的距离，将腺管构造的尺寸调整为图像上的尺寸。
[0136]通过使用这种尺寸的球SP，不拾取正常腺管40、异常腺管50、腺管消失区域60的微小凹凸，而能够提取比这些微小凹凸更平滑的活体表面I的三维表面形状。因此，与使用残留有微小凹凸的表面形状而将基本麻点修正为修正麻点的情况相比，能够减少修正误差。
[0137]图15(B)是闭合处理后的活体表面的剖视图，示意地示出针对活体表面计算法线向量NV的结果。表面形状信息是该法线向量NV。另外，表面形状信息不限于法线向量NV，也可以是图15(B)所示的闭合处理后的曲面本身，除此之外，还可以是能够表现表面形状的其他ig息。
[0138]具体而言，已知特性信息取得部345取得活体固有的腺管的尺寸(长度方向的宽度等)作为已知特性信息，使用该信息，针对实际的活体表面决定在闭合处理中描绘的球SP的半径(与图像上的腺管的尺寸对应的半径)。此时，将球SP的半径设定为比图像上的腺管的尺寸大的半径。表面形状计算部350通过使用该球SP进行闭合处理，能够仅提取期望的表面形状。
[0139]图17示出表面形状计算部350的详细结构例。表面形状计算部350包括形态特性设定部351、闭合处理部352、法线向量计算部353。
[0140]从已知特性信息取得部345对形态特性设定部351输入作为已知特性信息的活体固有的腺管的尺寸(长度方向的宽度等)。形态特性设定部351根据该腺管的尺寸和距离映射图来决定表面形状计算信息(闭合处理中使用的球SP的半径等)。
[0141]所决定的球SP的半径信息例如作为具有与距离映射图相同的像素数的半径映射图而输入到闭合处理部352。半径映射图是将各像素与该像素中的球SP的半径的信息对应起来而得到的映射图。闭合处理部352通过该半径映射图，以像素为单位变更半径来进行闭合处理，将其处理结果输出到法线向量计算部353。
[0142]对法线向量计算部353输入闭合处理后的距离映射图。法线向量计算部353通过该距离映射图上的关注样本位置处的三维信息(例如像素的坐标和该坐标处的距离信息)和与关注样本位置相邻的2个样本位置处的三维信息来定义平面，计算该定义的平面的法线向量。法线向量计算部353将计算出的法线向量作为与距离映射图相同采样数的法线向量映射图而输出到分类处理部360。
[0143]4.3.分类处理部
[0144]图18示出分类处理部360的详细结构例。分类处理部360包括分类基准数据存储部361、投影转换部362、搜索区域尺寸设定部363、相似度计算部364、区域设定部365。
[0145]在分类基准数据存储部361中存储有将图16(A)所示的在活体表面露出的正常腺管模型化而得到的基本麻点。该基本麻点是2值图像，是与对处于规定距离的正常腺管进行摄像的情况相当的大小的图像。分类基准数据存储部361将该基本麻点输出到投影转换部 362。
[0146]对投影转换部362输入来自距离信息取得部340的距离映射图、来自表面形状计算部350的法线向量映射图、来自控制部302 (图示省略)的光学倍率。投影转换部362从距离映射图中提取关注样本位置的距离信息，从法线向量映射图中提取与其对应的样本位置的法线向量。然后，如图16(B)所示，使用该法线向量对基本麻点进行投影转换，进而，结合光学倍率进行倍率校正，生成修正麻点。投影转换部362将该修正麻点作为分类基准输出到相似度计算部364，将修正麻点的尺寸输出到搜索区域尺寸设定部363。
[0147]搜索区域尺寸设定部363设定修正麻点的尺寸的纵横2倍的区域作为相似度计算处理的搜索区域，将该搜索区域的信息输出到相似度计算部364。
[0148]从投影转换部362对相似度计算部364输入关注样本位置处的修正麻点，从搜索区域尺寸设定部363对相似度计算部364输入与该修正麻点对应的搜索区域。相似度计算部364从由图像构成部320输入的图像中提取该搜索区域的图像。
[0149]相似度计算部364对该提取出的搜索区域的图像实施高通滤波处理或带通滤波处理，截止低频成分，对该滤波处理后的图像进行2值化处理，生成搜索区域的2值图像。然后，在该搜索区域的2值图像内，利用修正麻点进行图案匹配处理并计算相关值，将该相关值的峰值位置和最大相关值的映射图输出到区域设定部365。例如，相关值是差分绝对值和，最大相关值是差分绝对值和的最小值。
[0150]另外，作为相关值的计算方法，也可以使用P0C(Phase Only Correlat1n，相位限定相关)等其他手法。在使用POC的情况下，对于旋转和倍率变化是不变的，所以，能够提尚相关计算的精度。
[0151]区域设定部365根据从相似度计算部364输入的最大相关值映射图，提取差分绝对值和为规定阈值T以下(包含该值)的区域，进而，计算该区域内的最大相关值的位置与相邻搜索范围的最大相关值的位置之间的三维距离。然