e2(S53)。这 里，在设η为（p-2)、m为p时，RXn*下式⑵表示。
[0127] [式 2]
[0128]
[0129] 在式⑵中，γη、Ym分别是三维坐标系（X2Y 2Z2)中的前端部2d的绕轴角度。
[0130] 另外，在磁传感器12为5轴传感器的情况下，省略S53的判定处理。
[0131] 即，判定前端部2d是否以绕轴角速度为规定角速度以上的角速度转动，如果内窥 镜图像Img(p-l)是前端部2d未以规定角速度以上的角速度转动时的图像（即，如果内窥 镜图像Img(p-l)是前端部2d的绕轴角速度RXn小于规定阈值Thre2时进行摄像而得到的 图像），则S53的判定为"是"，如果内窥镜图像Img(p-1)是前端部2d以小于规定角速度的 角速度转动时的图像（即，如果内窥镜图像Img(p-l)是前端部2d的绕轴角速度!《^为规 定阈值Thre2以上时进行摄像而得到的图像），则S53的判定为"否"。
[0132] 由此，S22的判定处理包含如下的判定处理：根据基于位置信息计算出的物镜光 学窗Ila的角度信息，判定是否进行粘贴。
[0133] 在S53为"是"的情况下（即，在前端部2d的移动速度小于规定速度且前端部2d 的绕轴角速度小于规定角速度的情况下），CPU21设判定信息check3为打开（S54)。然后， 在前端部2d的移动速度为规定速度以上的情况下（S52 :否）、或前端部2d的绕轴角速度为 规定角速度以上的情况下（S53 :否），CPU21将判定信息check3设为关闭（S55)。
[0134] 图13是示出S35的基于与膀胱壁之间的距离和视线方向的判定处理的流程的 例子的流程图。首先，CPU21读出之前的内窥镜图像和最新的前端部2d的位置方向信息 (S61)〇
[0135] S61中读出的之前的内窥镜图像是在从取得最新的内窥镜图像Img(p)的位置分 开规定距离的位置处取得的内窥镜图像Img(p-k)，根据最新的内窥镜图像Img(p)和之前 的内窥镜图像Img(p-k)这2张图像，使用立体计测功能来计测内窥镜图像中的各部或各点 的距离。这里，k为1以上的整数。
[0136] 接着，CPU21估计膀胱壁面的各部或各点的三维位置（S62)。CPU21使用立体计测 功能计算从前端部2d到2张内窥镜图像的各部分或各点的距离，估计膀胱壁面的各部分或 各点的三维位置。
[0137] 然后，CPU21计算S62中进行估计而得到的与膀胱壁面之间的距离Dp、以及内窥镜 图像的中心的膀胱壁面的点中的法线方向与摄像元件1的视线方向所成的角度Θ P(S63)。
[0138] CPU21判定距离Dp是否位于规定阈值Thre3和Thre4内（S64)。当前端部2d相 对于膀胱壁面过近或以某种程度以上过远时，通过摄像元件11进行摄像而得到的内窥镜 图像未对焦或明亮度不当。因此，作为能够对焦点和明亮度适当的图像进行摄像的范围，预 先设定距离Dp大于规定阈值Thre3且小于规定阈值Thre4的范围作为与被摄体之间的适 当距离。
[0139] 图14是用于说明膀胱壁面与前端部2d之间的距离Dp、阈值Thre3和Thre4的关 系的图。如图14中实线所示的前端部2d那样，在前端部2d与膀胱壁面w之间的距离Dp 位于规定阈值Thre3和Thre4之间时，得到适当的内窥镜图像，但是，如双点划线所示的前 端部2d那样，在前端部2d与膀胱壁面w之间的距离Dp为规定阈值Thre3以下或规定阈值 Thre4以上时，未得到适当的内窥镜图像。在图14中，在前端部2d位于双点划线wl与《2 之间时，得到适当的内窥镜图像。
[0140] 由此，S22的判定处理包含如下的判定处理：根据基于位置信息和被检体内图像 计算出的从物镜光学窗Ila到被检体的距离信息，判定是否进行粘贴。
[0141] 在前端部2d与膀胱壁面w之间的距离Dp位于规定阈值Thre3和Thre4之间时 (S64 :是），CPU21判定内窥镜图像的中心的膀胱壁面的点中的法线方向与摄像元件1的视 线方向所成的角度Θ P是否小于规定阈值Thre5 (S65)。
[0142] 当粘贴膀胱壁面w的法线方向与摄像元件1的视线方向所成的角度Θ p小于规定 阈值Thre5时进行摄像而得到的内窥镜图像时，粘贴角度Θ p为大致恒定的角度的图像。
[0143] 图15是用于说明膀胱壁面的法线方向与物镜光学窗Ila的视线方向所成的角度 的关系的图。如图15所示，如果前端部2d的视线方向VS与内窥镜图像中的中心位置处的 膀胱壁面w的法线方向NL所成的角度Θ p小于规定阈值Thre5,则在2D膀胱模型M2的图 像上仅粘贴角度Θ p小于规定阈值Thre5的内窥镜图像。能够根据基于通过立体计测而得 到的膀胱壁面w的各部或各点的距离求出的膀胱壁面w的距离来求出膀胱壁面w的法线方 向NL0
[0144] 由此，S22的判定处理包含如下的判定处理：根据位置信息和被检体内图像对被 检体的面进行近似，根据该面的法线矢量与摄像元件11的视线方向矢量所成的角度，判定 是否进行粘贴。
[0145] 在膀胱壁面w的法线方向NL与摄像元件1的视线方向VS所成的角度Θ p小于规 定阈值Thre5时（S65 :是），CPU21设判定信息check4为打开（S66)。
[0146] 并且，在前端部2d与膀胱壁面w之间的距离Dp不位于规定阈值Thre3和Thre4 之间时（S64 :否）、或膀胱壁面w的法线方向NL与摄像元件11的视线方向VS所成的角度 Θ P为规定阈值Thre5以上时（S65 :否），CPU21将判定信息check4设为关闭（S67)。
[0147] 如上所述执行图像粘贴处理。
[0148] 另外，在上述例子中，在S7中将内窥镜图像与位置和方向的信息关联起来记录在 存储器22中之后执行S8的图像粘贴处理，但是，也可以不记录在存储器22中而执行S8的 图像粘贴处理。即，由摄像元件1取得的被检体图像不记录在存储器22中，在S8的图像粘 贴处理中，将由摄像元件11取得的被检体图像直接粘贴在规定脏器的模型图像上。
[0149] 返回图3,接着，CPU 21执行最前面粘贴处理（S9)。最前面粘贴处理是如下的处 理：在存在多个粘贴在2D模型图像上的内窥镜图像、且以整体或一部分相互重合的方式进 行粘贴的情况下，存在释放信号的内窥镜图像配置在最前面，不会由于其他内窥镜图像而 不进行显示。即，按压了内窥镜2的释放按钮13时的被检体内图像优先于其他被检体内图 像而粘贴在规定的脏器的模型图像上的最前面。
[0150] 另外，在S9中，在存在释放信号的多个内窥镜图像的全部或一部分重合的情况 下，将后取得的图像重叠粘贴在先取得并粘贴的内窥镜图像上。
[0151] 由此，仅对在S8中粘贴的内窥镜图像的像素位置存在已经粘贴的其他内窥镜图 像的像素的像素区域进行S9的处理。
[0152] CPU 21将进行了最前面粘贴处理的2D模型图像经由显示接口 23显示在监视器6 中（SlO)。此时，CPU 21还生成3D模型图像，与2D模型图像一起显示。CPU 21根据前端 部2d的位置方向信息生成插入部2b的图像，通过将其重叠在3D模型图像上，生成3D模型 图像。
[0153] 在SlO中，CPU 21根据S6中取得的前端部2d的位置和方向的信息来估计插入部 的形状，生成该估计出的形状的插入部2b的图像。由此，在SlO的处理中，具有根据S6中 取得的前端部2d的位置信息和方向信息以及尿道口 RP的位置信息和朝向信息进行插入部 2b的形状估计的形状估计部，在SlO中，执行在与规定的脏器有关的3D模型图像上重叠由 形状估计部估计出的形状信息即插入部图像的处理。
[0154] CPU 21判定是否从膀胱B中拔出了插入部21的前端部2d(Sll)。通过判定前端 部2d的位置坐标是否从膀胱B的颈部移动到尿道内，能够进行Sll的判定。
[0155] 在未从膀胱B内拔出前端部2d的情况下（S11:否），处理返回S4, CPU 21反复进 行S4~Sll的处理，直到从膀胱B内拔出前端部2d为止。
[0156] 图16是示出监视器6的画面上显示的内窥镜检查时的显示画面的例子的图。如 图16所示，画面Gl是由CPU 21生成的画面，包括2D模型图像显示部31、3D模型图像显示 部32、显示实时内窥镜图像（以下称为实时图像）的实时图像显示部33。
[0157] 2D模型图像显示部31是显示与图7的2D模型对应的2D模型图像的区域。在2D 模型图像显示部31中显示2D的膀胱展开图即2D模型图像31a、以及通过S7和S9的处理 粘贴在2D模型图像31a上的被检体内图像即内窥镜图像31b。
[0158] 3D模型图像显示部32是显示与图6的3D模型对应的3D模型图像的区域。在3D 模型图像显示部32中显示3D模型图像32a、以及表示3D模型中的插入部2b的前端部2d 的位置和方向的插入部图像32b。如上所述，CPU 21根据前端部2d的当前位置方向信息生 成插入部图像32b。
[0159] 图16的2D模型图像显示部31显示前端部2d进入膀胱B内并朝向顶部方向时最 初进行摄像而得到的内窥镜图像粘贴在2D模型图像31a上时的图像。
[0160] 如上所述，与模型图像一起显示由摄像元件11取得的实时被检体内图像，进而， 还与模型图像一起显示具有对实时被检体内图像进行摄像的摄像元件11的插入部2b的插 入形状。
[0161] 实时图像显示部33是直接显示监视器6从处理器5取得的内窥镜图像的区域。实 时图像显示部33例如通过监视器6的PinP功能而包含在画面Gl内。
[0162] 另外，这里，利用监视器6的PinP功能将实时内窥镜显示在监视器6上，但是，也 可以通过记录装置3的CPU 21在画面Gl中合成实时图像并将其输出到监视器6。
[0163] 图17是示出多个内窥镜图像粘贴在2D模型图像31a上的监视器6的画面上显示 的显示画面的例子的图。图17的2D模型图像显示部31显示前端部2d移动并朝向各种方 向进行摄像而得到的多个内窥镜图像31b粘贴在2D模型图像31a上时的图像。粘贴在2D 模型图像31a上的绝大部分图像在图像粘贴处理中是不存在模糊等的清楚的图像。
[0164] 通过以规定的周期（这里为三十分之一秒的周期）反复进行S4~Sll的处理，通 过S8的粘贴处理，S5中取得的多个内窥镜图像重叠不存在模糊等的清楚的图像，如图17所 示，在2D模型图像显示部31中包含有多个内窥镜图像31b。粘贴有多个内窥镜图像的区域 成为检查者观察的区域。由此，检查者仅看一下图