内窥镜装置和内窥镜装置的对焦控制方法与流程

本发明涉及内窥镜装置和内窥镜装置的对焦控制方法等。

背景技术：

在内窥镜装置(内窥镜系统)中，要求不会对用户的诊断/处置造成障碍的尽可能深的景深。但是，近年来，提出了如下的内窥镜装置：在内窥镜装置中也使用高像素的摄像元件，因此使景深变浅，所以，为了对其进行补偿而进行自动对焦(以下简称为af)。

在af控制的现有方法中，例如存在以下这种方法。第1方法是如下方法：在摄像机等中使用的动态图像拍摄的af中，将图像中的对比度变化作为触发来执行对焦动作。第2方法是专利文献1所公开的方法。在该方法中，利用运动传感器检测被摄体与照相机的相对位置变化，将该运动传感器的输出(例如角加速度、加速度等)成为规定量以上作为触发来执行对焦动作。

现有技术文献

专利文献

专利文献1：日本特开2010-191080号公报

技术实现要素：

发明要解决的课题

在将上述这种af控制的现有方法应用于内窥镜装置的情况下，存在如下课题：在内窥镜手术下想到的各种场景中，没有根据需要进行适当的对焦控制。例如，在内窥镜手术中应用第1方法的情况下，由于处置器具的操作而使对比度变化，所以，可能执行不必要的对焦动作。或者，在内窥镜手术中应用第2方法的情况下，在使照相机向相同方向缓慢移动时，虽然拍摄对象变化，但是，不执行对焦动作。并且，在产生手抖等暂时性较大运动的情况下，可能执行不必要的对焦动作。

根据本发明的几个方式，能够提供能够在内窥镜手术下想到的各种场景中进行适当的对焦控制的内窥镜装置和内窥镜装置的对焦控制方法等。

用于解决课题的手段

本发明的一个方式涉及一种内窥镜装置，所述内窥镜装置包括：运动量计算部，其计算摄像部与被摄体之间的相对的运动量即相对运动量；以及对焦控制部，其进行所述摄像部的对焦控制，所述对焦控制部求出累积了n帧(n为3以上(包含该值)的自然数)的所述相对运动量而得到的累积运动量，进行判定所述累积运动量是否大于第1阈值的对焦必要性判定处理，在判定为所述累积运动量大于所述第1阈值的情况下，执行所述摄像部的对焦动作。

根据本发明的一个方式，累积n帧的摄像部与被摄体之间的相对运动量，判定该累积运动量是否大于第1阈值，在该判定中判定为累积运动量大于第1阈值的情况下，执行摄像部的对焦动作。由此，能够在内窥镜手术下想到的各种场景中进行适当的对焦控制。

并且，本发明的另一个方式涉及一种内窥镜装置的对焦控制方法，计算摄像部与被摄体之间的相对的运动量即相对运动量，求出累积了n帧(n为3以上(包含该值)的自然数)的所述相对运动量而得到的累积运动量，进行判定所述累积运动量是否大于第1阈值的对焦必要性判定处理，在判定为所述累积运动量大于所述第1阈值的情况下，执行所述摄像部的对焦动作。

附图说明

图1是内窥镜手术的说明图。

图2是第1实施方式中的内窥镜装置的结构例。

图3是第2实施方式中的内窥镜装置的结构例。

图4是摄像元件的详细结构例。

图5是光轴垂直运动的说明图。

图6是光轴平行运动的说明图。

图7是运动量计算部的详细结构例。

图8是局部的运动矢量的例子。

图9是二维直方图的例子。

图10是局部的运动矢量的例子。

图11是计算光轴平行运动量的处理的流程图。

图12是判定光轴平行运动的方向的处理的说明图。

图13是判定光轴平行运动的方向的处理的说明图。

图14是对焦控制处理的流程图。

图15是与合焦物体位置对应的阈值的设定例。

图16是判定是否能够进行对焦动作的处理的流程图。

图17是第3实施方式中的内窥镜装置的结构例。

具体实施方式

下面，对本实施方式进行说明。另外，以下说明的本实施方式并不是不当限定权利要求书所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必须结构要件。

1.第1实施方式

如上所述，作为af控制的现有方法，例如存在将对比度变化用于触发的第1方法、以及将运动传感器的输出成为规定量以上用于触发的第2方法。考虑将这些现有方法应用于内窥镜手术的情况。

如图1所示，在使用内窥镜装置2的手术下，使用处置器具4(例如电刀或钳子等)对被摄体6(活体)进行处置(例如病变的切除或缝合等)。在该内窥镜手术中应用第1方法的情况下，图像中不仅包含被摄体6，还包含处置器具4，该处置器具4由于用户的操作而运动，所以，即使拍摄范围或焦点没有变化，也产生对比度变化。可能由于该处置器具4导致的对比度变化而执行不必要的对焦动作，在处置器具4的操作中很难进行稳定的af控制。

并且，在应用第2方法的情况下，在运动传感器的输出小于规定量的运动中，不执行对焦动作，所以，即使成为未合焦，也可能不执行对焦动作。其结果是，例如在相同方向上连续产生运动传感器的输出小于规定量的运动的情况下，虽然拍摄范围大幅移动(或从景深偏离)，但是不执行对焦动作。并且，在由于手抖等原因而产生运动传感器的输出瞬间成为规定量以上的运动的情况下，虽然拍摄范围实质上没有变化(或未从景深偏离)，但是执行对焦动作。当执行这种非用户想要的对焦动作时，可能损害使用感。

如上所述，在现有的af控制方法中，存在在内窥镜手术下想到的各种场景中执行不必要的对焦动作这样的课题或不执行必要的对焦动作这样的课题。

图2中示出能够解决上述课题的本实施方式的内窥镜装置的结构例。内窥镜装置包括摄像部200、计算摄像部200与被摄体之间的相对的运动量即相对运动量的运动量计算部340、进行摄像部200的对焦控制的对焦控制部350(af控制部)。另外，也可以将摄像部200构成为能够相对于内窥镜装置进行拆装，内窥镜装置构成为不包含摄像部200。

对焦控制部350求出累积了n帧(n为3以上(包含该值)的自然数)的相对运动量而得到的累积运动量，进行判定该累积运动量是否大于第1阈值的对焦必要性判定处理，在判定为累积运动量大于第1阈值的情况下，执行摄像部200的对焦动作。

这样，通过使用累积运动量，能够在内窥镜手术下想到的各种场景中根据需要进行适当的对焦控制。即，作为内窥镜装置的被摄体，例如能够想到活体和处置器具，但是，需要对焦动作的情况是活体的拍摄范围移动的情况、或者活体或处置器具从景深偏离的情况等。相反，当未处于这些状况时执行对焦动作的情况下，焦点暂时变化，视觉辨认性降低。例如，在进行处置的期间内对处置器具进行操作而不移动拍摄范围，但是，此时若焦点变化，则对处置造成障碍。根据本实施方式，能够在活体的拍摄范围移动的情况下、或者活体或处置器具从景深偏离的情况下等需要对焦动作时，执行对焦动作。相反，在仅处置器具运动的情况下等不需要对焦动作时，不执行对焦动作。

具体而言，在由于处置器具的操作而使图像的对比度变化的情况下，通过将运动量用于触发，也能够实现不受处置器具的操作影响的对焦控制。并且，在相同方向的较小移动持续的情况下，通过对运动量进行累积，作为较大运动量进行检测(即检测拍摄范围的移动或焦点模糊)，也能够执行对焦动作。并且，在存在瞬间的较大运动的情况下，如果除此以外的运动较小，则累积运动量较小(即，能够判断为不会引起拍摄范围的移动或焦点模糊)，所以，也能够抑制非用户想要的对焦动作。并且，通过对运动量进行累积，能够期待随机运动的平均化。例如，想到在处置器具的运动中，与一定方向的运动持续的情况相比，随机运动较多。因此，处置器具的运动量由于累积而减小，在活体的拍摄范围内存在一定方向的运动(摄像部与活体之间的在一定方向上的相对运动)的情况下，活体的累积运动量增大。

并且，在检测拍摄范围的移动或朝向景深外的移动这种较大移动的情况下，很难根据其前后的帧的(即n帧间隔的)图像进行匹配。在本实施方式中，以较小间隔(例如帧间)检测相对运动量，通过对其进行累积，能够检测较大移动。

这里，运动量是根据摄像部200与被摄体之间的相对位置的变化(例如不改变照相机的光轴方向的移动)或相对朝向的变化(例如照相机的光轴方向变化的旋转(摇摄、倾斜))而变化的量。例如，在根据图像检测运动矢量的情况下，根据摄像部200的移动或旋转，运动矢量的大小或朝向变化。或者，在使用运动传感器的情况下，得到与摄像部200的移动或旋转对应的加速度、角加速度、角速度等。运动量是表示运动的大小的信息和朝向的信息的量，或者，也可以是表示运动的大小的信息和朝向的信息中的一方的量。例如，在后述光轴平行运动量中，对接近、离开、不存在运动分配“+1”、“-1”、“0”，成为表示沿着光轴方向的运动的朝向的量。在本实施方式中，优选运动量至少包含运动的朝向的信息。运动量包含朝向的信息，由此，朝向一定方向的运动被累积，能够检测摄像部200与被摄体之间的相对移动(即拍摄范围的移动以及朝向景深外的移动)。

并且，第1阈值是用于检测累积运动量所表示的摄像部200与被摄体之间的相对移动的阈值。即，相对运动量是比n帧短的间隔的运动量(例如帧间的运动量)，对其进行累积(例如相加、积分)而得到的值是累积运动量。因此，累积运动量表示比相对运动量长的间隔的运动(即n帧之间的移动量)。例如，相对运动量对应于运动的速度，对其进行积分而得到的移动量(距离或方向)对应于累积运动量。通过对该累积运动量进行阈值判定，能够判定移动量。例如，作为第1阈值，能够采用与图像尺寸的1/3或1/2相当的值。该情况下，在被摄体在图像上移动了图像尺寸的1/3或1/2的情况下(即拍摄范围移动的情况下)执行对焦动作。或者，作为第1阈值，能够采用与景深相当的值。该情况下，在被摄体从景深偏离的情况下执行对焦动作。另外，累积运动量不限于准确表示移动大小的情况下的量，也可以是作为移动大小的基准的量。例如，也可以对运动的朝向的信息(例如，对接近、离开、不存在运动分配“+1”、“-1”、“0”而得到的运动量)进行累积。

并且，n帧是对相对运动量进行累积的帧数，n不限于固定的数，也可以是变化的数。例如，如第2实施方式中在后面叙述的那样，也可以对某个基准帧以后的相对运动量进行累积。该情况下，从基准帧起，第3帧成为n＝3，第10帧成为n＝10。或者，也可以设n为规定数，对从当前帧到n帧前的相对运动量进行累积。该情况下，即使当前帧变化，也是n＝规定数。

并且，对焦控制包含对焦点进行调整的对焦动作、不移动焦点的待机状态、它们之间的转变控制等，对焦控制是指对摄像部的对焦进行控制的处理的整体。对焦动作是合焦于被摄体的一连串动作，例如能够使用对比度法(登山法)、根据颤动来判定合焦方向的方法等。

2.第2实施方式

2.1.内窥镜装置

图3中示出第2实施方式的内窥镜装置(内窥镜系统)的结构例。内窥镜装置具有向体内插入的插入部即硬性镜100、与硬性镜100连接的摄像部200、处理部300、显示部400、外部i/f部500、光源部600。

使用硬性镜100的内窥镜装置例如是腹腔镜手术等外科手术中使用的内窥镜装置。即，在活体的腹部等开设小孔，从该小孔插入硬性镜100，从同一小孔或其他小孔插入处置器具，在硬性镜100的视野内进行利用处置器具的外科处置。作为处置器具，例如想到手术刀、钳子、缝合用的针/线、清洗用的注水/吸水器具等各种器具。另外，本实施方式的对焦控制的方法不限于应用于使用硬性镜100的内窥镜装置，也可以应用于使用软性镜的内窥镜装置。

光源部600具有产生白色光的白色光源610、以及将来自白色光源610的出射光引导至硬性镜100的光导缆线620。硬性镜100具有构成为包含成像透镜、中继透镜、目镜等的透镜系统110；以及将来自光导缆线620的出射光引导到硬性镜100的前端的导光部120。摄像部200具有使来自透镜系统110的光(来自被摄体的反射光)成像的物镜系统230。物镜系统230构成为包含对合焦物体位置进行调整的对焦透镜210。并且，摄像部200具有对由物镜系统230成像的反射光进行光电转换而生成图像的摄像元件240、以及对对焦透镜210进行驱动的对焦透镜驱动部220。对焦透镜驱动部220例如是音圈马达(vcm)。

另外，合焦物体位置是摄像部200所对焦的物体(被摄体)的位置。具体而言，在物镜系统230中对应于像面(或像侧焦点)来决定合焦物体面(或物体侧焦点)，但是，该像面与摄像元件240的摄像面一致的情况下的合焦物体面的位置是合焦物体位置。合焦物体位置是摄像部200与合焦物体面之间的相对位置，例如利用从摄像部200的基准点(例如物镜系统230的前端、硬性镜100的前端等)到合焦物体面(在光学系统的物体侧对焦的面)的距离表示。例如，能够根据对焦透镜210的控制信息(位置)和物镜系统230的光学特性(设计值)得知合焦物体位置。

使用图4对本实施方式中的摄像元件240进行详细说明。图4是放大了摄像元件240的一部分的图。摄像元件240在呈二维排列状配置多个像素的构造中，以拜耳排列在各像素中配置rgb中的任意一方的滤色器。关于摄像元件240，除了具有由图4所示的拜耳排列构成的滤色器的摄像元件以外，例如还可以是使用补色滤色器的摄像元件、不使用滤色器而能够利用一个像素接收不同波长的光的层叠型摄像元件、不使用滤色器的单色摄像元件等，只要是对被摄体进行摄像而得到图像的元件即可，能够使用任意的摄像元件。

处理部300具有ad转换部310、预处理部320、图像处理部330、运动量计算部340、对焦控制部350、控制部360。ad转换部310将从摄像元件240依次输出的模拟信号转换为数字图像，依次输出到预处理部320。预处理部320对从ad转换部310输出的图像实施白平衡处理、插值处理(去马赛克处理、根据拜耳图像生成rgb图像的处理)等图像处理，将该图像依次输出到图像处理部330、运动量计算部340、对焦控制部350。图像处理部330对从预处理部320输出的图像实施颜色转换处理、灰度转换处理、边缘强调处理、放大缩小处理、噪声降低处理等图像处理，将该图像依次输出到显示部400。运动量计算部340根据从预处理部320输出的图像计算帧间的运动量，将该运动量输出到对焦控制部350。运动量计算部340在后面详细叙述。对焦控制部350根据从运动量计算部340输出的运动量对对焦动作的开始/结束进行控制，使对焦透镜驱动部220进行驱动，以在对焦动作中合焦于被摄体。对焦控制部350在后面详细叙述。显示部400例如是液晶监视器，显示从图像处理部330依次输出的图像。

控制部360与外部i/f部500、图像处理部330、对焦控制部350、摄像元件240等相互连接，进行控制信号的输入输出。外部i/f部500是用于由用户对内窥镜装置进行输入等的接口，例如构成为包含用于设定af区域的位置和尺寸的设定按钮、用于调整图像处理的参数的调整按钮等。

2.2.运动量计算部

接着，对运动量计算部340进行详细说明。运动量计算部340根据从预处理部320输出的图像，计算被摄体上的关注部位的移动(图5)作为光轴垂直运动量，计算被摄体与摄像部200之间的距离变化(图6)作为光轴平行运动量。光轴垂直运动量是表示图像中的朝向上下左右方向的关注部位(视野、拍摄范围)的位置变化的量。光轴平行运动量是表示进深方向(沿着光轴的方向)上的摄像部200与被摄体之间的相对位置变化的量。下面，运动量是指光轴垂直运动量和光轴平行运动量双方，但是，也可以使用任意一方作为运动量。并且，下面，为了便于说明，运动量计算部340仅将从预处理部320输出的图像的g信号作为处理对象，但是，也可以适当进行将根据rgb信号计算出的亮度信号作为处理对象等的变形。

图7中示出运动量计算部340的详细结构例。运动量计算部340具有帧存储器341、运动矢量计算部342、光轴垂直运动量计算部343、光轴平行运动量计算部344。

帧存储器341是暂时存储从预处理部320输出的图像的存储器。帧存储器341对从预处理部320输出的图像进行帧延迟，将其输出到运动矢量计算部342。运动矢量计算部342计算从预处理部320输出的图像(当前帧的图像)与从帧存储器341输出的帧延迟后的图像(过去帧的图像)之间的运动矢量。运动矢量的基准是当前帧的图像。具体而言，如图8所示，在图像im中的多个点求出局部的运动矢量ve。例如利用作为公知技术的块匹配法或梯度法来进行运动矢量的计算。另外，在图8中，计算图像im上等间隔设定的点的运动矢量ve，但是，运动矢量的计算方法不限于此。例如，也可以适当进行在图像的全部像素中计算运动矢量等的变形。

光轴垂直运动量计算部343根据从运动矢量计算部342输出的运动矢量vi(i＝0～m-1)计算光轴垂直运动量mv(光轴垂直运动矢量)。具体而言，利用下式(1)进行计算。

m是局部的运动矢量的总数(在图8的例子中为m＝15)。通过对全部(m个)运动矢量进行平均化，计算图像整体的全局运动量作为光轴垂直运动量mv。

另外，作为光轴垂直运动量mv的计算方法，也可以使用以下的变形例。在第1变形例中，也可以针对各运动矢量判定与位于周边的运动矢量之间有无相关度，仅根据判定为存在相关度的运动矢量计算光轴垂直运动量mv。具体而言，利用下式(2)、(3)进行计算。

与周边的运动矢量之间的相关度例如是矢量间的差分的大小。如果该差分的大小小于规定阈值，则判定为存在相关度，如果不是这样，则判定为不存在相关度。例如，在设周边的运动矢量为上下左右4个运动矢量的情况下，对该上下左右的各运动矢量进行阈值判定。例如，可以是如果4个中的一个差分的大小为规定阈值以上，则判定为不存在相关度，也可以是如果4个中的2个或3个以上(包含该值)的差分的大小为规定阈值以上，则判定为不存在相关度。在m个运动矢量中不存在判定为存在相关度的运动矢量的情况下，判定为不存在光轴垂直运动，设光轴垂直运动量mv为零矢量进行以后的处理。

在运动矢量vi中，除了被摄体上的关注部位的移动所引起的运动矢量以外，例如还包含手术中的钳子操作这样的外界干扰所引起的运动矢量。外界干扰所引起的运动矢量与周边的运动矢量之间不存在相关度。如上式(2)、(3)所示，根据与周边的运动矢量之间有无相关度来排除外界干扰所引起的运动矢量，由此，能够高精度地计算(即去除了处置器具引起的外界干扰后的活体与摄像部之间的)光轴垂直运动量mv。

在第2变形例中，也可以根据m个运动矢量生成图9所示的朝向和大小的二维直方图，根据该二维直方图计算光轴垂直运动量mv。在图9中，将运动矢量的朝向量化为9个(大小零和8个方向)，将运动矢量的大小量化为11个(利用像素数表示大小，每8个像素)。将该二维直方图中与度数最大的条(ビン)对应的运动矢量设为光轴垂直运动量mv。在图9中，在朝右中，大小8～15的度数11最大，所以采用该运动矢量。大小例如设为8～15的中央(例如12)即可。

图9使图8的15个运动矢量成为二维直方图。根据图8可知，在图像im的大部分中映出活体，但是，关于移动被摄体上的关注部位的运动，活体的运动矢量(朝右的运动矢量)大致相同。因此，在移动了被摄体上的关注部位的情况下，其运动矢量的大部分(15个中的11个)的朝向/大小均相似。该活体的运动矢量在图9的直方图中对应于度数11的条。另一方面，由于处置器具等的外界干扰而引起的运动矢量(朝向右上、朝向左下的运动矢量)在m个运动矢量中占据的个数较少(15个中的4个)。并且，由外界干扰而引起的运动矢量的朝向和大小与活体的运动矢量不同。该外界干扰的运动矢量在图9的直方图中对应于度数2的2个条。由此，通过使用二维直方图中成为最大度数的条，能够排除外界干扰的影响来计算光轴垂直运动量mv。

光轴平行运动量计算部344根据从运动矢量计算部342输出的运动矢量计算光轴平行运动量mh。图10中示出存在光轴平行运动的情况下的局部的运动矢量ve的例子。这是摄像部从被摄体离开的情况下的例子。在存在光轴平行运动时，在理想情况下延长了运动矢量而成的直线收敛于1点(消失点vp)。在图10中，存在处置器具导致的外界干扰，所以未收敛于1点，但是，如果将其去除，则在理想情况下收敛于1点。如果在延长了运动矢量的始点的一侧存在消失点，则是从被摄体离开(离开的方向)的运动。该情况下，运动矢量从消失点朝向外侧。另一方面，如果在延长了运动矢量的终点的一侧存在消失点，则是接近被摄体(接近的方向)的运动。该情况下，运动矢量针对消失点朝向内侧。如上所述，以当前帧为基准而求出相对于过去帧的运动矢量，所以，对应于离开/接近，运动矢量朝外/朝内。另外，也可以以过去帧为基准而求出相对于当前帧的运动矢量，对应于离开/接近，运动矢量朝内/朝外。

图11中示出计算光轴平行运动量mh的处理的流程图。开始进行该处理后，首先决定消失点(s1)。在存在光轴平行运动时，在理想情况下延长了运动矢量而成的直线与消失点之间的距离为零。实际上，由于运动矢量的量化精度有限、或者存在处置器具等的外界干扰，所以，延长了运动矢量而成的直线与消失点之间的距离不为零。因此，设从延长了m个运动矢量vi(i＝0～m-1)而成的直线起的距离的总和最小的点为消失点。

接着，判定是否存在光轴平行运动，在判定为存在光轴平行运动的情况下，判定是离开/接近的哪个运动(s2)。根据消失点的可靠性来判定是否存在光轴平行运动。关于消失点的可靠性，如果上述距离总和是较小的值，则能够判定为可靠性较高，所以，在距离总和为规定阈值以下的情况下，判定为消失点的可靠性较高，判定为存在光轴平行运动。在距离总和大于规定阈值的情况下，判定为消失点的可靠性较低，判定为不存在光轴平行运动。在判定为存在光轴平行运动的情况下，根据各运动矢量的方向是消失点侧还是相反侧，判定光轴平行运动的朝向(离开/接近)。在该光轴平行运动的朝向的判定中离开/接近均无法判定的情况下，判定为不存在光轴平行运动。

接着，根据步骤s2的判定结果，输出如下式(4)那样设定的光轴平行运动量mh(s3)。

作为步骤s2中的离开/接近的判定方法，例如使用以下方法。即，如图12所示，根据运动矢量vi(i＝0～m-1)与对应矢量li所成的角度(arg(vi)-arg(li))来判定离开/接近。li是将运动矢量vi的始点sp作为始点、将消失点vp作为终点的矢量。arg(x)是返回矢量x的偏角的函数。

具体而言，通过下式(5)对m个运动矢量进行分类。图13示出下式(5)的示意图。将m个运动矢量的分类结果中的分类数最多的结果设为光轴平行运动的判定结果。在存在多个分类数最多的分类的情况下，判定为不存在光轴平行运动。例如，在图10中，11个活体的运动矢量被分类为离开，4个处置器具的运动矢量被分类为接近或不存在运动，所以，判定结果为离开。

这里，t_arg_f是与离开的运动对应的阈值。t_arg_f是与接近的运动对应的阈值。如果是离开的运动，则运动矢量朝向与消失点相反的方向，所以，arg(vi)-arg(li)接近±π。如果是接近的运动，则运动矢量朝向消失点的方向，所以，arg(vi)-arg(li)接近0。因此，能够通过上式(5)判定光轴平行运动的有无和方向。

另外，作为离开/接近的判定方法，也可以使用以下的变形例。即，也可以如下式(6)、(7)那样通过运动矢量vi与矢量li的内积来判定离开/接近。

-1≤t_pro_f＜0＜t_pro_n≤+1(7)

这里，vi·li是运动矢量vi与矢量li的内积。|x|是矢量x的大小。t_pro_f是与离开的运动对应的内积的阈值。t_pro_n是与接近的运动对应的内积的阈值。如果是离开的运动，则运动矢量的方向成为与消失点相反的方向，所以，(vi·li)/|vi||li|接近-1。如果是接近的运动，则运动矢量的方向成为消失点侧，所以，vi·li/|vi||li|接近+1。因此，能够通过上式(6)、(7)判定光轴平行运动的有无和方向。

并且，作为计算光轴平行运动量的方法，也可以使用以下的变形例。即，与上式(2)、(3)中说明的方法同样，也可以判定与周边的运动矢量之间的相关度，根据判定为存在相关度的运动矢量计算光轴平行运动量mh。根据图10可知，在存在光轴平行运动的情况下，在活体的部分(相关度较高的部分)中，周边的运动矢量的朝向也稍微不同。因此，可以使光轴平行运动的相关度判定用的阈值大于光轴垂直运动的相关度判定用的阈值。

并且，至此说明了根据运动矢量计算光轴平行运动量的方法，但是，计算光轴平行运动量的方法不限于此。例如，也可以使用旋转不变相位限定相关度法(ripoc)，根据图像计算光轴平行运动量。该情况下，以当前时刻取得的图像为基准，如果帧存储器中存储的图像被放大，则判定为离开的运动，如果缩小，则判定为接近的运动，如果倍率没有变化，则判定为不存在光轴平行运动。

2.3.对焦控制部

接着，详细说明对焦控制部350进行的对焦控制(af控制)。

图14中示出对焦控制的流程图。在该流程中，上述对焦动作相当于步骤s11～s13。

对焦控制部350首先判别合焦方向(s11)。具体而言，与从ad转换部310依次输出的图像的取得时刻同步地，开始进行对焦透镜210的颤动动作。颤动动作是使对焦透镜210前后移动(摆动)、使合焦物体位置前后(无限远侧/至近侧)移动(摆动)的动作。通过该颤动动作对合焦物体位置不同的多个图像进行拍摄。例如，使对焦透镜210在颤动中心及其前后这3个点移动。该情况下，依次拍摄这3个点的图像。然后，对焦控制部350根据颤动动作中取得的图像，例如使用公知的方法来判别合焦方向。例如，求出颤动动作中得到的多个图像的对比度值，根据该对比度值判定合焦方向。例如，在使合焦物体位置向无限远侧移动时对比度值较高的情况下，使合焦物体位置向无限远侧移动的方向是合焦方向。

接着，对焦控制部350根据s11中决定的合焦方向，对颤动的中心位置进行变更(s12)。具体而言，s11中决定的合焦方向是合焦物体位置成为接近摄像元件240的至近(近点)侧的方向、或合焦物体位置成为远离摄像元件240的无限远(远点)侧的方向中的任意一方。在合焦方向是至近侧的方向的情况下使颤动中心向至近侧移动，在合焦方向是无限远侧的方向的情况下使颤动中心向无限远侧移动。

接着，对焦控制部350判断对焦是否完成(s13)。这里，对焦控制部350通过进行公知的合焦判定处理等来进行合焦判断即可。例如，可以根据图像的对比度值的高/低来判断合焦/未合焦，或者，也可以根据颤动中心的停止/移动来判断合焦/未合焦。对焦控制部350在判断为对焦未完成的情况下，反复进行步骤s11～s13的动作，使颤动的中心位置逐渐接近被摄体(逐渐合焦于被摄体)。并且，在判断为对焦完成的情况下，结束对焦透镜210的颤动动作，完成对焦动作。对焦动作完成后转移到待机动作。在待机动作中，不进行对焦动作(不移动对焦透镜210)。例如，在步骤s13中判断为对焦完成时的对焦透镜210的位置停止。

在开始进行待机动作后，首先，对焦控制部350对sum_mv、sum_mh进行初始化(s14)。sum_mv、sum_mh是后述步骤s15中判定对焦动作是否必要所使用的值。

接着，对焦控制部350根据光轴垂直运动量mv和光轴平行运动量mh，判定是否需要对焦动作(s15)。在判定为不需要对焦动作的情况下，对计数值进行初始化后(s16)，与下一个图像取得时刻同步地执行步骤s15。如后所述，计数值是判定是否能够进行对焦动作所使用的值。另一方面，在判定为需要对焦动作的情况下，判定是否能够进行对焦动作(s17)。在判定为不能进行对焦动作的情况下，与下一个图像取得时刻同步地执行步骤s15。在判定为能够进行对焦动作的情况下，结束待机动作，转移到对焦动作，执行步骤s11。对焦动作的需要/不需要(s15)和能/不能(s17)的判定在后面详细叙述。

对是否需要对焦动作的判定(s15)进行说明。需要对焦动作的情况是针对被摄体的合焦状态从合焦变为未合焦的情况。合焦状态从合焦变为未合焦的情况是用户操作内窥镜而在被摄体上移动了关注部位的情况、用户操作内窥镜而使从摄像部到被摄体的距离变化的情况。在本判定中，根据光轴垂直运动量mv和光轴平行运动量mh，在检测到这2个情况中的任意一方的情况下，判定为需要对焦动作。在无法检测到任意情况时，执行步骤s16，然后转移到下一个图像取得时刻的判定(s15)。

首先，在用户在被摄体上移动了关注部位的情况下，在移动前后的帧间存在光轴垂直运动量mvj。如果累积了n帧(n为3以上(包含该值)的自然数)的光轴垂直运动量mvj而得到的值sum_mv的绝对值超过规定阈值t_mv，则认为可能由于被摄体上的关注部位移动而成为未合焦，判定为需要对焦动作。具体而言，使用下式(8)、(9)进行判定。这里，j是帧编号，j＝0对应于转移到待机动作后的最初帧(或者转移到待机动作后的基准帧)。j＝n-1对应于当前帧。

sum_mv是对光轴垂直运动量mvj进行累积而得到的具有上下方向/左右方向的成分(例如图像上的x成分和y成分、或者水平扫描方向成分和垂直扫描方向成分)的二维矢量。

另外，在基于sum_mv的是否需要对焦动作的判定中，也可以使用以下的变形例。即，在内窥镜手术中，脏器等活体在上下方向上重叠。因此，即使矢量的大小相同，与左右方向相比，上下方向不同的脏器中移动了关注部位的可能性更高，成为未合焦的可能性更高。因此，相对于左右方向的光轴垂直运动，也可以使上下方向的光轴垂直运动更容易判定为需要对焦动作。具体而言，利用下式(10)、(11)进行判定。

t_mv_v＜t_mv_h(11)

这里，sum_mv_v是sum_mv的上下方向成分、sum_mv_h是sum_mv的左右方向成分。t_mv_v是上下方向成分sum_mv_v的阈值、t_mv_h是左右方向成分sum_mv_h的阈值。这样，通过利用不同的阈值来判定上下方向和左右方向，能够更高精度地判定需要对焦动作的情况。

接着，在用户使内窥镜与被摄体之间的距离变化的情况下，在变化前后的帧间存在光轴平行运动量mhj。在从转移到待机动作的最初时刻到当前时刻累积了n帧(n为3以上(包含该值))的光轴平行运动量mhj而得到的值sum_mh的绝对值超过规定阈值t_mh的情况下，认为可能由于与被摄体之间的距离变化而成为未合焦，判定为需要对焦动作。具体而言，使用下式(12)、(13)进行判定。这里，j是帧编号，j＝0对应于转移到待机动作的最初帧(或者转移到待机动作后的基准帧)。j＝n-1对应于当前帧。

另外，在基于sum_mh的是否需要对焦动作的判定中，也可以使用以下的变形例。即，也可以根据光轴平行运动是接近的方向还是离开的方向来变更阈值t_mh。需要对焦动作的情况是内窥镜与被摄体的距离成为景深外的情况。关于景深，以合焦物体位置为基准，与无限远侧相比，至近侧较窄，所以，即使光轴平行运动的绝对值是相同的值，与离开的光轴平行运动相比，接近的光轴平行运动成为未合焦的可能性较高。因此，与离开的光轴平行运动相比，也可以使接近的光轴平行运动更容易判定为需要对焦动作。具体而言，利用下式(14)～(16)进行判定。

t_mh_f＜0＜t_mh_n(15)

|t_mh_n|＜|t_mh_f|(16)

这里，t_mh_n是接近的方向上的sum_mh的阈值，t_mh_f是离开的方向上的sum_mh的阈值。这样，通过利用不同的阈值来判定接近和离开，能够更高精度地判定需要对焦动作的情况。

并且，至此说明了根据光轴垂直运动量和光轴平行运动量来判定是否需要对焦动作的情况，但是，该判定的方法不限于此。例如，也可以进一步根据合焦物体位置进行该判定。具体而言，在合焦物体位置位于接近摄像部200侧的至近侧的情况下，与位于无限远侧的情况相比，景深相对较窄，所以，即使光轴垂直运动量和光轴平行运动量是相同的值，也容易成为未合焦。因此，当以合焦物体位置相对位于至近侧的情况为基准来设定上述阈值时，在合焦物体位置相对位于无限远侧的情况下，可能执行不必要的对焦动作。另一方面，当以合焦物体位置相对位于无限远侧的情况为基准来设定上述阈值时，在合焦物体位置相对位于至近侧的情况下，可能产生虽然未合焦、但是不执行对焦动作的不良情况。因此，例如如图15所示，也可以根据合焦物体位置来设定阈值，使得在合焦物体位置相对位于至近侧的情况下，与相对位于无限远侧的情况相比，更容易判定为需要对焦动作。在图15中，在合焦物体位置pa1、pa2处是阈值ta1、ta2，pa1>pa2(即pa1是无限远侧)、ta1>ta2。但是，阈值的设定不限于图15，如果在合焦物体位置相对位于至近侧的情况下，与相对位于无限远侧的情况相比，更容易判定为需要对焦动作，则可以任意设定阈值。

并且，至此说明了对以转移到待机状态的最初时刻为起点到当前时刻为止的n帧的运动量进行累积(即，当前帧前进1帧，则n增加1)的情况，但是，运动量的累积方法不限于此。即，运动矢量的精度有限，所以包含误差，当长时间累积时，有时由于误差的累积而判定为需要对焦动作。因此，也可以以当前帧为基准对过去n帧(n＝k、k为3以上(包含该值)的自然数)的运动量进行累积。该情况下，n＝k是规定数(例如固定)。即，即使当前帧前进1帧，n＝k基本上也没有变化。

接着，对是否能够进行对焦动作的判定(s17)进行说明。例如，在内窥镜的操作(例如关注部位的移动)的中途判定为需要对焦动作的情况下，当立即执行对焦动作时，有时在内窥镜的操作的完成前暂时完成对焦动作，在操作完成后成为未合焦。该情况下，由于在用户的操作中进行对焦动作，所以可能损害使用感。因此，在步骤s15中判定为需要对焦动作后，在判定为不会产生关注部位的移动和与被摄体之间的距离变化后，执行对焦动作。

图16中示出判定是否能够进行对焦动作的处理的详细流程图。首先，判定各帧的光轴垂直运动量mv和光轴平行运动量mh是否为规定值以下。即，判定是否几乎不存在帧间的运动(s32)。具体而言，利用下式(17)进行判定。

这里，t_mv_p是光轴垂直运动量mv的阈值。

在步骤s32中判定为不存在运动的情况下，增加判定中利用的值即计数值(s33)。在步骤s32中判定为存在运动的情况下，不进行任何处理而转移到步骤s34的处理。

接着，判定计数值是否大于l帧(l为3以上(包含该值)的自然数)(s34)。在计数值大于l帧的情况下，判定为能够进行对焦动作(s36)，转移到对焦动作(图14的s11～s13)。在计数值为l帧以下的情况下，判定为不能进行对焦动作(s35)，转移到下一帧的是否需要对焦动作的判定(图14的s15)。

如上所述，通过判定是否能够进行对焦动作，能够在一定帧以上不存在光轴垂直运动和光轴平行运动的情况下执行对焦动作，能够抑制不必要的对焦动作。

根据以上的第2实施方式，通过能够执行对焦动作的摄像部，将来自被摄体的反射光作为图像进行摄像。根据图像计算摄像部与被摄体之间的相对运动量。在累积了多帧的运动量而得到的实质的运动量超过规定阈值的情况下，判定为需要对焦动作，执行摄像部的对焦动作。通过在累积了多帧而得到的运动量超过规定量的情况下执行对焦动作，能够实现如下的af控制：即使是缓慢的运动，如果成为未合焦，则执行对焦动作，针对非用户想要的瞬间运动不执行对焦动作。

并且，在本实施方式中，对焦控制部350在对焦必要性判定处理(s15)中判定为累积运动量sum_mv、sum_mh大于第1阈值t_mv(上式(9))的情况下，进行判定相对运动量mv、mh小于第2阈值t_mv_p、0的帧是否存在l帧(l为3以上(包含该值)的自然数)(上式(17))的能否对焦判定处理(s17)，在判定为相对运动量mv、mh小于第2阈值t_mv_p、0的帧存在l帧的情况下，执行摄像部200的对焦动作。

这样，在内窥镜装置大幅移动而判断为需要对焦动作时，能够在能够判断为基于该移动的运动减小(即移动结束)的情况下执行对焦动作。由此，能够抑制在内窥镜装置的移动结束前焦点移动(例如产生颤动)。或者，能够抑制在内窥镜装置的移动中途进行对焦动作、在移动结束时再次未对焦的状况的产生。由此，能够对用户提供没有违和感的影像或视觉辨认性良好的影像。

这里，l帧的l是规定数，是用于判断摄像部200与被摄体之间相对静止(运动较小)的帧数。即，设定如果该帧数之间运动较小(如果几乎不存在)、则能够判断为用户未移动摄像部200的帧数作为l即可。例如，l可以是固定的，或者，也可以是用户能够设定l。

并且，在本实施方式中，运动量计算部340求出多个局部运动量vi(图8、图10的ve)，针对多个局部运动量vi的各局部运动量求出与周围的局部运动量之间的相关度，根据多个局部运动量中的相关度高于规定相关度的局部运动量，求出相对运动量mv、mh(上式(2)、(3))。

这样，能够根据相关度去除外界干扰引起的局部的运动紊乱，所以，能够提取全局(例如图像整体的)运动，根据该全局运动求出累积运动量。外界干扰是指与作为背景的活体不同的运动，例如能够想到处置器具的操作引起的运动、噪声等。全局运动是指活体的运动，具体而言，是利用内窥镜装置观察(关注)的活体区域与摄像部200之间的相对运动。例如，在光轴垂直运动中，成为活体作为整体向相同方向移动的运动，在光轴平行运动中，成为活体向消失点集中的运动或从消失点扩散的运动。处置器具等的外界干扰是与它们不同的局部运动。在本实施方式中，能够提取全局运动，由此，能够将摄像部200相对于活体的运动作为触发来进行对焦动作。即，在内窥镜手术中由于处置器具的操作而在图像内产生运动，但是，能够从对焦动作的触发中排除该动作。

并且，在本实施方式中，相对运动量具有1个以上(包含该值)的成分。例如，在第2实施方式中，是光轴垂直运动量mv和光轴平行运动量mh这2个成分。或者，光轴垂直运动量mv是二维矢量，所以也可以认为是2个成分，合计设为3个成分。并且，在后述第3实施方式中，6轴运动传感器输出6个轴的检测信号，所以是6个成分。或者，在将该6个成分转换为光轴垂直运动量mv和光轴平行运动量mh的情况下，也可以是2个成分或3个成分。

对焦控制部350针对上述1个以上(包含该值)的成分中的各成分求出累积运动量，将与该各成分的累积运动量分别对应的阈值作为第1阈值进行对焦必要性判定处理(s15)，在判定为各成分的累积运动量中的至少一方大于与该累积运动量对应的阈值的情况下，执行对焦动作。例如如上式(9)那样利用阈值t_mv判定光轴垂直运动量mv的累积运动量sum_mv，如上式(13)那样利用阈值t_mh判定光轴平行运动量mh的累积运动量sum_mh。

这样，针对运动的各成分求出累积运动量，能够利用与该各成分对应的阈值判断是否需要对焦动作。产生哪种程度的移动则需要进行对焦动作(未对焦)根据运动的成分是不同的。因此，通过设置与各成分对应的阈值，能够进行准确的判断。并且，在至少一个成分的累积运动量大于阈值的情况下进行对焦动作，由此，如果存在任意一个移动量较大的成分，则能够进行对焦动作。

并且，在本实施方式中，运动量计算部340求出与摄像部200的光轴垂直的方向上的运动量即光轴垂直运动量mv作为相对运动量。对焦控制部350将针对光轴垂直运动量mv的累积运动量sum_mv的光轴垂直运动用阈值t_mv作为第1阈值来进行对焦必要性判定处理(上式(9))。

如图5所示，光轴垂直运动量是与被摄体6(例如活体)的拍摄区域ra2(拍摄范围)移动到拍摄区域ra1相伴的运动量。区域ra1、ra2是中心(光轴和被摄体6交叉的位置)不同的区域。区域ra1、ra2也可以一部分重合。这种运动是由于图5所示的内窥镜装置2的旋转ma(以不与光轴平行的方向为轴的旋转)、或内窥镜装置2的平行移动(朝向不与光轴平行的方向的平行移动)而产生的。

这样，通过使用光轴垂直运动量mv，能够检测到被摄体的拍摄范围(关注部位)移动，能够在拍摄范围变化(大幅变化)的情况下执行对焦动作。例如，在拍摄范围移动1个画面而对完全不同的被摄体进行观察的情况下、或者移动1/2画面而使拍摄范围偏移的情况下等，再次进行对焦，能够对用户提供鲜明的图像。

并且，在本实施方式中，运动量计算部340根据由摄像部200进行摄像而得到的摄像图像求出多个局部运动量vi，在各帧中求出多个局部运动量vi的平均，求出该平均作为光轴垂直运动量mv(上式(1))。

这样，能够根据图像内的多个位置的局部运动量，求出被摄体的全局运动量。如上所述，在内窥镜手术中，与处置器具相比，活体占据的比例较大，所以，通过对局部运动量进行平均，能够求出活体的全局运动量。并且，通过帧内的平均，在图像内对外界干扰引起的随机运动进行平均，通过在多帧内对其进行累积，在时间上对外界干扰引起的随机运动进行平均。由此，能够提取活体的全局运动。

并且，在本实施方式中，运动量计算部340求出多个局部运动量vi，在各帧中根据多个局部运动量vi生成大小和方向的直方图(图9)，求出该直方图的最大的条作为光轴垂直运动量mv。

这样，能够从图像内的多个位置的局部运动量中选择被摄体的全局运动量，作为光轴垂直运动量mv进行提取。即，在内窥镜手术中，与处置器具相比，活体占据的比例较大，所以，能够想到活体的全局运动量在直方图中成为最大的条。因此，通过在直方图中选择最大的条，能够提取去除了处置器具等引起的外界干扰的运动量后的全局运动量。

并且，在本实施方式中，运动量计算部340求出与摄像部200的光轴垂直的方向上的运动量即光轴垂直运动量mv作为相对运动量。对焦控制部350对光轴垂直运动量mv进行能否对焦判定处理(s17)。

这样，在能够判断为拍摄范围停止(用户不使拍摄范围移动)的情况下，能够触发对焦动作。例如，在用户使摄像部200移动以改变观察对象(例如改变要观察的脏器、改变要观察的区域)的情况下，首先，在移动达到一定以上的距离时判断为需要对焦动作，在移动持续的期间内等待触发，在判断为移动结束时向摄像部200发送触发。

并且，在本实施方式中，运动量计算部340求出与摄像部200的光轴平行的方向上的运动量即光轴平行运动量mh作为相对运动量。对焦控制部350将针对光轴平行运动量mh的累积运动量sum_mh的光轴平行运动用阈值t_mh作为第1阈值来进行(上式(13))对焦必要性判定处理(s15)。

如图6所示，光轴平行运动量是与被摄体6(例如活体)的拍摄区域rb1(拍摄范围)放大或缩小成拍摄区域rb2相伴的运动量。区域rb1、rb2是中心(光轴和被摄体6交叉的位置)相同的区域。另外，通常认为光轴平行运动和光轴垂直运动混合存在，而该情况下，区域rb1、rb2的中心也可以不一致。即，与中心的一致/不一致无关，如果存在光轴平行运动，则对拍摄区域进行放大或缩小。如图6所示，这种与光轴平行的运动是在内窥镜装置2进行了朝向与光轴平行的方向的移动mb的情况下产生的。

这样，通过使用光轴平行运动量mh，能够估计被摄体是否偏离了景深，能够在能够估计为被摄体偏离了景深(被摄体从合焦物体位置大幅偏移)的情况下执行对焦动作。由此，能够再次合焦于从焦点偏离(或焦点要偏离)的被摄体，能够对用户提供鲜明的图像。

并且，在本实施方式中，运动量计算部340求出多个局部运动矢量vi(图10的ve)，在各帧中求出多个局部运动矢量vi的消失点vp，求出基于延长了多个局部运动矢量vi的各局部运动矢量而成的直线与消失点vp之间的距离的消失点的评价值(距离的总和)，在该评价值大于规定值的帧中求出光轴平行运动量mh。

这样，能够根据消失点vp的评价值判断是否存在光轴平行运动，能够在判断为存在光轴平行运动的帧中求出光轴平行运动量mh。即，在消失点vp不明确(消失点vp的可靠性较低)的情况下，不存在光轴平行运动(或者由于外界干扰等而无法明确地求出光轴平行运动)。因此，通过去除消失点vp的评价值较低的帧，能够根据确实存在光轴平行运动的帧求出累积运动量。

并且，在本实施方式中，运动量计算部340对应于摄像部200与被摄体的接近/离开，求出正负符号不同的光轴平行运动量mh(上式(4))。

被摄体从景深偏离的情况是持续发生接近或离开的情况。对应于接近/离开而使用正负符号不同的光轴平行运动量mh，由此，在持续发生接近或离开的情况下，累积运动量增大，能够触发对焦动作。即，在随机反复进行接近和离开的情况下，通过累积而使正负抵消，累积运动量不会增大，所以，不会触发对焦动作，不会产生不必要的焦点变化。

并且，在本实施方式中，运动量计算部340求出多个局部运动矢量vi，在各帧中求出多个局部运动矢量vi的消失点vp，求出根据将多个局部运动矢量vi的各局部运动矢量的始点sp和消失点vp连接起来的矢量li与各局部运动矢量所成的角度(arg(vi)-arg(li))而变化的信息(图12)，根据该信息判定接近/离开(上式(5)～(7))。

根据运动矢量vi与矢量li所成的角度而变化的信息可以是该角度(arg(vi)-arg(li))本身(上式(5))，也可以是作为该角度的函数的某个值(例如对运动矢量vi与矢量li的内积进行归一化而得到的值(上式(6)、(7)))。

这样，通过使用根据运动矢量vi与矢量li所成的角度而变化的信息，能够判断光轴平行运动的方向(接近、离开)。即，在接近的情况下，局部的运动矢量成为向消失点vp集中的方向，所以，运动矢量vi和矢量li大致朝向相同方向(所成的角度接近0)。另一方面，在离开的情况下，局部的运动矢量成为从消失点vp扩散的方向，所以，运动矢量vi和矢量li大致朝向相反方向(所成的角度接近+π、-π)。利用该性质，能够根据所成的角度来判断光轴平行运动的方向。

并且，在本实施方式中，运动量计算部340求出与摄像部200的光轴平行的方向上的运动量即光轴平行运动量mh作为相对运动量。对焦控制部350针对光轴平行运动量mh进行能否对焦判定处理(s17)。

这样，在能够判断为光轴方向上的运动停止(用户不使摄像部200在光轴方向上移动)的情况下，能够触发对焦动作。例如，在用户使摄像部200移动以改变观察对象(例如要观察比现在更靠近前或里侧的脏器)、或扩大/缩窄观察范围的情况下，首先，在朝向光轴方向的移动达到一定以上的距离时判断为需要对焦动作，在移动持续的期间内等待触发，在判断为移动结束时向摄像部200发送触发。

并且，在本实施方式中，与摄像部200的合焦物体位置是第1位置(图15的pa1)的情况下的第1阈值(ta1)相比，对焦控制部350将合焦物体位置是比第1位置(pa1)近的第2位置(pa2)的情况下的第1阈值(ta2)设定为较小的值(ta1>ta2)。

例如，也可以在未图示的存储部中存储将合焦物体位置(例如对焦透镜210的位置信息)和第1阈值对应起来的表，通过参照该表来设定第1阈值。或者，也可以将与某个规定的合焦物体位置(基准的合焦物体位置)对应的第1阈值作为基准值，根据实际的合焦物体位置对该基准值进行校正处理，由此设定第1阈值。

这样，根据合焦物体位置(根据合焦于至近侧还是合焦于无限远侧)来改变阈值，由此，能够应对合焦物体位置的变化引起的景深的变化。即，在通常的光学系统中，焦点越是至近侧，景深越窄，被摄体偏离景深的可能性越高，但是，通过在至近侧减小阈值，能够维持合焦状态。另一方面，在无限远侧，景深较宽，被摄体偏离景深的可能性较低，所以，通过在无限远侧增大阈值，能够抑制不必要的对焦动作。

并且，在本实施方式中，运动量计算部340求出与摄像部200的光轴垂直的方向上的运动量即光轴垂直运动量mv作为相对运动量。对焦控制部350将针对累积运动量sum_mv的第1方向(垂直扫描方向、y方向)成分sum_mv_v的第1方向用阈值t_mv_v和针对累积运动量sum_mv的第2方向(水平扫描方向、x方向)成分sum_mv_h的第2方向用阈值t_mv_h作为第1阈值，进行对焦必要性判定处理(s15)，将第1方向用阈值t_mv_v和第2方向用阈值t_mv_h设定为不同的值(上式(10)、(11))。

这样，在图像向上下方向移动的情况下和向左右方向移动的情况下改变阈值，能够使触发对焦动作的移动量不同。例如，在图像的上下尺寸和左右尺寸不同的情况下，也可以根据该尺寸而使阈值变化。或者，根据人体的构造或重力的关系等，在上下方向和左右方向中使脏器的进深的变化不同的情况下，也可以根据该变化而使阈值变化。

并且，在本实施方式中，运动量计算部340求出与摄像部200的光轴平行的方向上的运动量即光轴平行运动量mh作为相对运动量。对焦控制部350将累积运动量sum_mh对应于摄像部200与被摄体接近的情况下的接近用阈值t_mh_n和累积运动量sum_mh对应于摄像部200与被摄体离开的情况下的离开用阈值t_mh_f，作为第1阈值来进行对焦必要性判定处理(上式(14))，与离开用阈值t_mh_f的绝对值相比，将接近用阈值t_mh_n的绝对值设定为较小的值(上式(15)、(16))。

这样，根据光轴平行运动的方向(接近/离开)来改变阈值，由此，能够应对至近侧和无限远侧的景深的差异。即，在通常的光学系统中，在合焦物体位置恒定的情况下，与无限远侧相比，其景深的至近侧较窄。因此，在摄像部200和被摄体接近的情况下，与摄像部200和被摄体离开的情况相比，被摄体偏离景深的可能性较高。在本实施方式中，与离开用阈值相比，减小接近用阈值，由此，针对景深较窄的方向的接近，容易维持合焦状态，针对景深较宽的方向的离开，能够抑制不必要的对焦动作。

并且，在本实施方式中，运动量计算部340将从对焦动作转移到待机状态后的基准帧(例如最初帧)到当前帧作为n帧，求出累积运动量sum_mv、sum_mh。

这样，对合焦于被摄体后(对焦动作完成后)的运动量进行累积，所以，能够得知暂时合焦后产生的移动的总量。即，判断从该暂时合焦的被摄体起的移动是否成为接着再次需要对焦的移动量，能够触发对焦动作。并且，即使运动较小(较平缓)，通过在转移到待机状态后持续进行累积，在该移动的总量增大时，也能够触发对焦动作。

另外，运动量计算部340也可以将从对相对运动量mv、mh的累积帧数(n)进行复位后的基准帧(例如复位后的最初帧)到当前帧作为n帧，求出累积运动量sum_mv、sum_mh。

在转移到待机状态后持续累积运动量的情况下，误差(例如噪声或偏置等)也被累积，所以，累积运动量与实际移动量的误差增大。因此，通过暂时对累积运动量进行复位并再次重新累积，能够抑制该误差增大。

3.第3实施方式

图17中示出第3实施方式的内窥镜装置的结构例。内窥镜装置具有向体内插入的插入部即硬性镜100、与硬性镜100连接的摄像部200、处理部300、显示部400、外部i/f部500、光源部600。除了硬性镜100和处理部300以外的部分与第2实施方式相同，所以省略说明。

硬性镜100具有检测3个轴的旋转运动和3个轴的平移运动的6轴运动传感器130，将来自运动传感器130的检测信号(运动信号)输出到处理部300。例如，运动传感器130包含检测绕3个轴(相互正交的x、y、z轴)的角加速度的角加速度传感器(陀螺仪传感器)、以及检测3个轴(x、y、z轴)方向的加速度的加速度传感器。运动传感器130以远远高于摄像元件240的动作频率(帧频率)的高速频率进行动作，通过未图示的积分器对检测到的角加速度/加速度进行积分，作为角度变化/位置变化进行输出。积分的开始/结束时刻与摄像元件240的动作时刻(图像的拍摄时刻)同步，运动信号是摄像元件240的动作时刻之间(帧间)产生的硬性镜100的角度变化/位置变化。

处理部300具有ad转换部310、预处理部320、图像处理部330、运动量计算部340、对焦控制部350、控制部360。除了运动量计算部340以外的部分与第2实施方式相同，所以省略说明。

运动量计算部340根据从上述运动传感器130输出的检测信号和合焦物体位置计算运动量。计算出的运动量被输出到对焦控制部350。与第2实施方式同样，在运动量中具有光轴垂直运动量和光轴平行运动量。光轴平行运动量直接使用实际空间上的运动即位置变化的光轴平行成分。因此，第3实施方式中的光轴平行运动量是在正负符号的基础上具有大小的值、例如-3mm或+10mm这样的值。对焦控制部350将该值作为上述光轴平行运动量mh，进行累积，进行与第2实施方式相同的判定(对焦必要性判定、能否对焦判定)。作为光轴垂直运动量，根据实际空间上的运动即位置变化的光轴垂直成分(角度变化的偏航成分和俯仰成分)，计算图像上的运动量。具体而言，根据摄像倍率将实际空间上的位置变化换算为图像上的运动量的项与根据相对于最大视场角的比例将实际空间上的角度变化换算为图像上的运动量的项之和是光轴垂直运动量(下式(18)、(19))。

mv_ud＝heave×zoom(p)+pitch÷max_angle_ud×max_pixel_ud

(18)

mv_lr＝sway×zoom(p)+yaw÷max_angle_lr×max_plxcel_lr

(19)

这里，heave是位置变化的上下方向成分、sway是位置变化的左右方向成分。zoom(p)是物体合焦位置p处的摄像倍率。pitch是角度变化的俯仰成分、yaw是角度变化的偏航成分。max_angle_ud是硬性镜100的上下方向最大视场角、max_angle_lr是硬性镜100的左右方向最大视场角。max_pixel_ud是摄像元件240的上下方向的最大像素数、max_pixel_lr是摄像元件240的左右方向的最大像素数。

对焦控制部350将设mv_ud为上下方向成分、mv_lr为左右方向成分的二维矢量作为上述光轴垂直运动量mv，进行累积，进行与第2实施方式相同的判定(对焦必要性判定、能否对焦判定)。

另外，以上说明中，硬性镜100具有运动传感器130，运动量计算部340根据从运动传感器130输出的运动信号计算运动量，但是，作为变形例，也可以是，硬性镜100具有位置传感器(例如磁式位置传感器等)，运动量计算部340根据从位置传感器输出的位置信息的经时变化来计算运动量。

根据以上实施方式，能够执行对焦动作，通过具有检测角加速度/加速度的运动传感器130的摄像部200，将来自被摄体的反射光作为图像进行摄像。根据运动传感器130的输出来计算摄像部200与被摄体的相对运动量mv、mh。在累积了多帧的运动量mv、mh而得到的实质的运动量超过规定阈值的情况下，判定为需要对焦动作，执行摄像部200的对焦动作。通过在累积了多帧而得到的运动量超过规定量的情况下执行对焦动作，能够实现如下的af控制：即使是缓慢的运动，如果成为未合焦，则执行对焦动作，针对非用户想要的瞬间运动不执行对焦动作。

另外，第1～第3实施方式的处理部300等可以包含处理器和存储器。这里的处理器例如可以是cpu(centralprocessingunit：中央处理单元)。但是，处理器不限于cpu，可以使用gpu(graphicsprocessingunit：图形处理单元)或dsp(digitalsignalprocessor：数字信号处理器)等各种处理器。并且，处理器也可以是基于asic的硬件电路。并且，存储器存储计算机可读取的命令，由处理器执行该命令，由此实现本实施方式的处理部300等各部(例如预处理部320、图像处理部330、运动量计算部340、对焦控制部350、控制部360等)。这里的存储器可以是sram、dram等半导体存储器，也可以是寄存器或硬盘等。并且，这里的命令可以是构成程序的命令设置的命令，也可以是对处理器的硬件电路指示动作的命令。

以上对应用本发明的实施方式及其变形例进行了说明，但是，本发明不限于各实施方式及其变形例，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，也可以从各实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，还可以适当组合不同实施方式和变形例中说明的结构要素。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。

标号说明

2：内窥镜装置；4：处置器具；6：被摄体(活体)；100：硬性镜；110：透镜系统；120：导光部；130：运动传感器；200：摄像部；210：对焦透镜；220：对焦透镜驱动部；230：物镜系统；240：摄像元件；300：处理部；310：ad转换部；320：预处理部；330：图像处理部；340：运动量计算部；341：帧存储器；342：运动矢量计算部；343：光轴垂直运动量计算部；344：光轴平行运动量计算部；350：对焦控制部；360：控制部；400：显示部；500：外部i/f部；600：光源部；610：白色光源；620：光导缆线。

权利要求书(按照条约第19条的修改)

1.(修改后)一种内窥镜装置，其特征在于，所述内窥镜装置包括：

运动量计算部，其计算摄像部与被摄体之间的相对的运动量即相对运动量；以及

对焦控制部，其进行所述摄像部的对焦控制，

所述相对运动量包含运动的大小的信息和朝向的信息，

所述运动量计算部求出多个局部运动量，针对所述多个局部运动量中的各局部运动量求出与周围的局部运动量之间的相关度，根据所述多个局部运动量中的所述相关度高于规定相关度的局部运动量，求出所述相对运动量

所述对焦控制部求出累积了n帧(n为3以上(包含该值)的自然数)的所述相对运动量而得到的累积运动量，进行判定所述累积运动量是否大于第1阈值的对焦必要性判定处理，在判定为所述累积运动量大于所述第1阈值的情况下，执行所述摄像部的对焦动作。

2.根据权利要求1所述的内窥镜装置，其特征在于，

所述对焦控制部在所述对焦必要性判定处理中判定为所述累积运动量大于所述第1阈值的情况下，进行判定所述相对运动量小于第2阈值的帧是否存在l帧(l为3以上(包含该值)的自然数)的能否对焦判定处理，在判定为所述相对运动量小于所述第2阈值的帧存在所述l帧的情况下，执行所述摄像部的对焦动作。

3.(删除)

4.根据权利要求1所述的内窥镜装置，其特征在于，

所述相对运动量具有1个以上(包含该值)的成分，

所述对焦控制部针对所述1个以上(包含该值)的成分中的各成分求出所述累积运动量，将与所述各成分的所述累积运动量分别对应的阈值作为所述第1阈值进行所述对焦必要性判定处理，在判定为所述各成分的所述累积运动量中的至少一个大于与该累积运动量对应的阈值的情况下，执行所述对焦动作。

5.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴垂直的方向上的运动量即光轴垂直运动量作为所述相对运动量，

所述对焦控制部将针对所述光轴垂直运动量的所述累积运动量的光轴垂直运动用阈值作为所述第1阈值进行所述对焦必要性判定处理。

6.根据权利要求5所述的内窥镜装置，其特征在于，

所述运动量计算部根据由所述摄像部进行摄像而得到的摄像图像求出多个局部运动量，在各帧中求出所述多个局部运动量的平均，将所述平均作为所述光轴垂直运动量而求出。

7.根据权利要求5所述的内窥镜装置，其特征在于，

所述运动量计算部求出多个局部运动量，在各帧中根据所述多个局部运动量生成大小和方向的直方图，求出所述直方图中的最大的条作为所述光轴垂直运动量。

8.根据权利要求2所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴垂直的方向上的运动量即光轴垂直运动量作为所述相对运动量，

所述对焦控制部对所述光轴垂直运动量进行所述能否对焦判定处理。

9.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴平行的方向上的运动量即光轴平行运动量作为所述相对运动量，

所述对焦控制部将针对所述光轴平行运动量的所述累积运动量的光轴平行运动用阈值作为所述第1阈值进行所述对焦必要性判定处理。

10.根据权利要求9所述的内窥镜装置，其特征在于，

所述运动量计算部求出多个局部运动矢量，在各帧中求出所述多个局部运动矢量的消失点，求出基于延长了所述多个局部运动矢量中的各局部运动矢量而成的直线与所述消失点之间的距离的所述消失点的评价值，在所述评价值大于规定值的帧中求出所述光轴平行运动量。

11.根据权利要求9所述的内窥镜装置，其特征在于，

所述运动量计算部对应于所述摄像部与所述被摄体的接近/离开，求出正负符号不同的所述光轴平行运动量。

12.根据权利要求11所述的内窥镜装置，其特征在于，

所述运动量计算部求出多个局部运动矢量，在各帧中求出所述多个局部运动矢量的消失点，求出根据将所述多个局部运动矢量中的各局部运动矢量的始点和所述消失点连接起来的矢量与所述各局部运动矢量所成的角度而变化的信息，根据所述信息判定所述接近/离开。

13.根据权利要求2所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴平行的方向上的运动量即光轴平行运动量作为所述相对运动量，

所述对焦控制部对所述光轴平行运动量进行所述能否对焦判定处理。

14.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴垂直的方向上的运动量即光轴垂直运动量和与所述摄像部的光轴平行的方向上的运动量即光轴平行运动量作为所述相对运动量，

所述对焦控制部针对所述光轴垂直运动量的所述累积运动量，将光轴垂直运动用阈值作为所述第1阈值进行所述对焦必要性判定处理，针对所述光轴平行运动量的所述累积运动量，将光轴平行运动用阈值作为所述第1阈值进行所述对焦必要性判定处理，

在判定为所述光轴垂直运动量的所述累积运动量大于所述光轴垂直运动用阈值的情况下、或判定为所述光轴平行运动量的所述累积运动量大于所述光轴平行运动用阈值的情况下，执行所述摄像部的对焦动作。

15.根据权利要求2所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴垂直的方向上的运动量即光轴垂直运动量和与所述摄像部的光轴平行的方向上的运动量即光轴平行运动量作为所述相对运动量，

所述对焦控制部在判定为所述光轴垂直运动量的所述累积运动量和所述光轴平行运动量的所述累积运动量小于所述第2阈值的帧存在所述l帧的情况下，执行所述摄像部的对焦动作。

16.根据权利要求1所述的内窥镜装置，其特征在于，

与所述摄像部的合焦物体位置是第1位置的情况下的所述第1阈值相比，所述对焦控制部将所述合焦物体位置是比所述第1位置近的第2位置的情况下的所述第1阈值设定为较小的值。

17.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴垂直的方向上的运动量即光轴垂直运动量作为所述相对运动量，

所述对焦控制部将针对所述累积运动量的第1方向成分的第1方向用阈值和针对所述累积运动量的第2方向成分的第2方向用阈值作为所述第1阈值进行所述对焦必要性判定处理，将所述第1方向用阈值和所述第2方向用阈值设定为不同的值。

18.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部求出与所述摄像部的光轴平行的方向上的运动量即光轴平行运动量作为所述相对运动量，

所述对焦控制部将所述累积运动量对应于所述摄像部与所述被摄体接近的情况下的接近用阈值和所述累积运动量对应于所述摄像部与所述被摄体离开的情况下的离开用阈值，作为所述第1阈值进行所述对焦必要性判定处理，与所述离开用阈值的绝对值相比，将所述接近用阈值的绝对值设定为较小的值。

19.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部将从所述对焦动作转移到待机状态后的基准帧到当前帧作为所述n帧，求出所述累积运动量。

20.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部将从对所述相对运动量的累积帧数进行复位后的基准帧到当前帧作为所述n帧，求出所述累积运动量。

21.根据权利要求1所述的内窥镜装置，其特征在于，

所述运动量计算部根据由所述摄像部进行摄像而得到的摄像图像，计算运动矢量作为所述相对运动量。

22.根据权利要求1所述的内窥镜装置，其特征在于，

所述摄像部具有运动传感器和位置传感器中的至少一方，

所述运动量计算部根据来自所述运动传感器和所述位置传感器中的至少一方的信号，计算所述相对运动量。

23.(修改后)一种内窥镜装置的对焦控制方法，其特征在于，

求出多个局部运动量，

针对所述多个局部运动量中的各局部运动量求出与周围的局部运动量之间的相关度，

根据所述多个局部运动量中的所述相关度高于规定相关度的局部运动量，计算摄像部与被摄体之间的相对的运动量即相对运动量，求出累积了n帧(n为3以上(包含该值)的自然数)的所述相对运动量而得到的累积运动量，所述相对运动量包含运动的大小的信息和朝向的信息，

进行判定所述累积运动量是否大于第1阈值的对焦必要性判定处理，

在判定为所述累积运动量大于所述第1阈值的情况下，执行所述摄像部的对焦动作。