内窥镜装置和内窥镜系统的制作方法

本发明涉及内窥镜装置和内窥镜系统。

背景技术：

以往，内窥镜在医疗领域或工业用领域中被广泛利用。例如，在医疗领域中，手术医生能够观察显示在显示装置上的被检体内的内窥镜图像而发现和识别病变部，并针对病变部使用处置器具进行处理。

为了抑制手术医生在观察内窥镜图像时看漏病变部，通常广泛公知有对从内窥镜图像检测出的病变部赋予框等标记来进行强调显示的图像处理装置。

然而，在内窥镜观察中，由内窥镜拍摄的体腔内的被摄体与插入到该体腔内的该内窥镜的插入部之间的相对位置可能始终变化，因此难以在全部帧中正确地检测暂时检测出的病变部，因而容易产生病变部候选区域的漏看。因此，在日本特开2006-255021号公报中，为了防止看漏病变候选区域，提出了根据显示期间使显示强度随时间变化的技术。另外，在日本特开2017-039364中，公开了如下技术：分析用户的困倦状态，以降低困倦(疲劳)的方式变更显示方法，由此抑制用户的驾驶操作失误。

然而，在日本特开2006-255021号的提案中，由于与用户的技能或状态无关地强调显示，因此存在如下缺点：根据用户的不同，有可能被过度强调，疲劳度增加而看漏病变部候选区域的可能性增大，检查品质有可能降低。

另外，在日本特开2017-039364的提案中，通过色调的变更来降低困倦状态，由于内窥镜观察图像的颜色的变化，检查品质反而有可能降低。

本发明的目的在于提供内窥镜装置和内窥镜系统，无需变更观察图像本身，而根据用户的状态来变更显示方法，由此能够防止看漏病变部候选区域。

技术实现要素：

用于解决课题的手段

本发明的一个方式的内窥镜装置具有：输入部，其输入被检体的观察图像，或者输入所述观察图像和系统信息；检测部，其根据所述观察图像来检测病变部候选；风险估计部，其根据所述观察图像或系统信息来估计检查品质的降低风险；通知控制部，其根据所述风险估计部的风险估计结果来控制病变部候选的通知方式；以及通知输出部，其按照所述通知控制部的控制而通知所述病变部候选。

本发明的另一方式的内窥镜系统具有：内窥镜，其对被检体进行拍摄并输出摄像信号；视频处理器，其生成基于所述内窥镜的摄像信号的观察图像；输入部，其从所述视频处理器输入所述观察图像，或者输入所述观察图像和系统信息；检测部，其根据所述观察图像来检测病变部候选；风险估计部，其根据所述观察图像或者系统信息来估计检查品质的降低风险；通知控制部，其根据所述风险估计部的风险估计结果来控制病变部候选的通知方式；以及通知输出部，其按照所述通知控制部的控制而通知所述病变部候选。

附图说明

图1是示出包含第1实施方式的内窥镜装置的内窥镜系统的主要部分的结构的图。

图2是示出图1中的图像处理装置40的具体结构的一例的框图。

图3是用于说明第1实施方式的流程图。

图4是示出本发明的第2实施方式的框图。

图5是示出检测标记信息生成部82的具体结构的一例的框图。

图6是用于说明第2实施方式的动作的流程图。

图7是用于说明第2实施方式的动作的流程图。

图8是用于说明第2实施方式的动作的流程图。

图9是用于说明第2实施方式的动作的流程图。

图10是用于说明显示例的说明图。

图11是示出本发明的第3实施方式的框图。

图12是用于说明第3实施方式的动作的流程图。

图13是示出本发明的第4实施方式的框图。

图14是用于说明第4实施方式的动作的流程图。

图15是示出本发明的第5实施方式的框图。

图16是用于说明第5实施方式的动作的流程图。

图17是用于说明第5实施方式的动作的流程图。

图18是示出本发明的第6实施方式的框图。

图19是用于说明第6实施方式的动作的流程图。

图20是示出本发明的第7实施方式的框图。

图21是用于说明第7实施方式的动作的流程图。

具体实施方式

以下，参照附图对本发明的实施方式进行详细地说明。

(第1实施方式)

图1是示出包含第1实施方式的内窥镜装置的内窥镜系统的主要部分的结构的图。本实施方式例如通过分析用户的经历、检查状况等来判断检查品质将要降低的状况(风险)，按照该判断进行显示方法的变更，以抑制检查品质的降低。由此，在本实施方式中，例如具有如下效果：能够防止用户看漏病变部候选，从而提高检查品质。

如图1所示，内窥镜系统1构成为具有光源驱动装置11、内窥镜21、视频处理器31、图像处理装置40以及显示装置95。

光源驱动装置11例如构成为具有驱动电路。另外，光源驱动装置11与内窥镜21和视频处理器31连接。另外，光源驱动装置11构成为，根据来自视频处理器31的光源控制信号，生成用于驱动内窥镜21的光源部23的光源驱动信号，并将该生成的光源驱动信号向内窥镜21输出。

内窥镜21与光源驱动装置11和视频处理器31连接。另外，内窥镜21构成为具有能够插入到被检者的体腔内的细长形状的插入部22。另外，在插入部22的前端部设置有光源部23和摄像部24。

光源部23例如构成为具有白色led等发光元件。另外，光源部23构成为，通过根据从光源驱动装置11输出的光源驱动信号进行发光而产生照明光，并将该产生的照明光向活体组织等被摄体射出。

摄像部24例如构成为具有彩色ccd或彩色cmos等图像传感器。另外，摄像部24构成为进行与从视频处理器31输出的摄像控制信号相对应的动作。另外，摄像部24构成为接收来自被摄体的反射光，拍摄该接收到的反射光而生成摄像信号，并将该生成的摄像信号向视频处理器31输出，该被摄体被来自光源部23的照明光照明。

视频处理器31与光源驱动装置11和内窥镜21连接。另外，视频处理器31构成为生成用于控制光源部23的发光状态的光源控制信号并向光源驱动装置11输出。另外，视频处理器31构成为生成并输出用于控制摄像部24的摄像动作的摄像控制信号。另外，视频处理器31通过对从内窥镜21输出的摄像信号实施规定的处理而生成被摄体的观察图像。而且构成为，在对该生成的观察图像实施了强调处理、白平衡校正处理之后，向图像处理装置40一帧一帧地依次输出。

图像处理装置40构成为具有图像处理电路等电子电路。另外，图像处理装置40构成为，根据从视频处理器31输出的观察图像而生成显示用图像，并进行用于使该生成的显示用图像显示在显示装置95上的动作。

显示装置95具有监视器等，构成为能够显示从图像处理装置40输出的显示用图像。

图2是示出图1中的图像处理装置40的具体结构的一例的框图。

如图2所示，图像处理装置40构成为具有输入部50、诊断辅助部60、风险估计部70、通知控制部80以及通知输出部90。另外，诊断辅助部60、风险估计部70以及通知控制部80可以由使用了cpu、fpga等的处理器构成，也可以按照存储于未图示的存储器的程序进行动作来控制各部，还可以通过硬件的电子电路来实现功能的一部分或者全部。

输入部50取入从视频处理器31输入的观察图像，并输出到诊断辅助部60。另外，输入部50也可以从视频处理器31取入系统信息。另外，系统信息有时包含在观察图像的标头信息中而被输入，另外，有时作为与观察图像不同的数据而被输入。在本实施方式中，系统信息包含表示用户的履历、检查状况的信息。输入部50将所输入的观察图像输出到诊断辅助部60和风险估计部70。另外，输入部50在与观察图像分开地输入了系统信息的情况下，将所输入的系统信息输出到风险估计部70。

诊断辅助部60构成为通过公知的方法，根据所输入的观察图像来检测病变部候选。诊断辅助部60将检测出的病变部候选的信息输出到通知控制部80。

通知控制部80被从输入部50提供观察图像，被从诊断辅助部60提供病变部候选的信息，生成用于在观察图像中通知由诊断辅助部60检测出的病变部候选的检测结果的信息。通知控制部80将生成的信息输出到通知输出部90。通知输出部90根据来自通知控制部80的信息，向用户通知病变部候选的检测结果。例如，通知输出部90通过基于图像的通知、基于声音的通知等，将病变部候选的检测结果通知给用户。

例如，在通知输出部90进行基于图像的通知的情况下，通知控制部80生成用于将表示病变部候选的位置的图像(以下称为检测标记)与观察图像叠加显示的信息并输出到通知输出部90。通知输出部90生成将基于来自通知控制部80的信息的检测标记的图像与来自输入部50的观察图像合成而得的显示用图像。通知输出部90将生成的显示用图像提供给显示装置95并显示在显示画面95a上。

在该情况下，医生等根据在显示装置95的显示画面95a上显示的观察图像和检测标记，参考由诊断辅助部60检测出的病变部候选，进行最终的判断。在该情况下，根据对观察图像进行观察的医生等的经验、疲劳度等，有可能看漏检测标记、或者注意力减弱。另外，在通过声音进行通知的情况下也存在同样的问题。例如，根据音量的大小或通知期间的不同，存在产生听取错误、或者注意力因声音而减弱等问题。

因此，在本实施方式中，为了根据用户使通知控制部80的通知的通知方式最佳化而设置有风险估计部70。风险估计部70根据观察图像来估计检查品质降低的风险，并将风险的估计结果输出到通知控制部80。另外，风险估计部70也可以使用系统信息来估计检查品质降低的风险。即，风险估计部70根据观察图像和系统信息中的至少一方来估计风险。

例如，风险估计部70也可以根据观察图像、系统信息，将用户的疲劳度、经验等级的分析结果用作检查品质降低的风险的估计结果。风险估计部70产生用于变更通知方式的风险估计结果，以防止漏看。

例如，在通过图像进行通知的情况下，风险估计部70为了进行检测标记的显示方式的变更控制，而要估计检查品质降低的风险。通知控制部80根据风险估计结果，根据用户对检测标记的显示方式进行优化。另外，在以下的说明中，对使用图像进行通知的例子进行说明，但在通过声音进行通知的情况下也能够进行同样的控制。

通知控制部80被提供风险估计部70的风险估计结果，变更检测标记的显示方式。通知控制部80能够通过检测标记的显示、非显示来使用户认知有无检测到病变部候选，并根据观察图像中的显示位置来使用户认知病变部在体内的位置。这样，检测标记以与风险估计结果对应的显示方式进行显示，能够防止漏看，从而提高检查品质，该风险估计结果是例如用户的疲劳度、经验等级的分析结果。

接着，参照图3对这样构成的实施方式的动作进行说明。图3是用于说明第1实施方式的流程图。

内窥镜21例如在光源驱动装置11和视频处理器31的电源接通时，向被摄体射出照明光，接收来自该被摄体的反射光，拍摄该接收到的反射光而生成摄像信号，并将该生成的摄像信号向视频处理器31输出。

视频处理器31通过对从内窥镜21输出的摄像信号实施规定的处理而生成被摄体的观察图像，并将该生成的观察图像向图像处理装置40一帧一帧地依次输出。即，输入部50从视频处理器31获取作为活体内管腔图像的内窥镜图像(观察图像)(s1)。在该观察图像的标头信息中也可以包含系统信息。另外，在观察图像的标头信息中不包含系统信息的情况下，输入部50也可以与观察图像分开地取入系统信息。另外，输入部50也可以仅取入不包含系统信息的观察图像。

接着，在步骤s2中，诊断辅助部60被从输入部50提供观察图像，根据观察图像来检测病变部候选，并将检测结果输出到通知控制部80。

另外，在步骤s3中，风险估计部70被从输入部50提供观察图像和系统信息中的至少一方而估计检查品质降低的风险。风险估计部70将风险的估计结果输出到通知控制部80。另外，步骤s2、s3可以按照步骤s3、s2的顺序执行，也可以同时执行。

通知控制部80生成用于在从输入部50提供的观察图像上显示检测标记的信息，该检测标记用于确定由诊断辅助部60检测出的病变部候选。在本实施方式中，通知控制部80生成用于显示与风险估计部70对风险的估计结果对应的显示方式的检测标记的信息(s4)。

通知输出部90根据来自通知控制部80的信息，将检测标记显示在显示装置的显示画面95a上(s5)。

这样，在本实施方式中，估计检查品质降低的风险，按照该估计结果进行显示方法的变更，以抑制检查品质的降低。由此，能够提高检查品质。

(第2实施方式)

图4是示出本发明的第2实施方式的框图。本实施方式的内窥镜系统与图1的不同点在于，采用图像处理装置41来代替图像处理装置40。图4示出了图像处理装置41的具体结构的一例。本实施方式是通过用户的疲劳度的分析来估计检查品质降低的风险的例子。

图4中的输入部50的结构与图2相同。在本实施方式中，对采用显示控制部81作为通知控制部80的具体例、采用显示输出部91作为通知输出部90的具体例的例子进行说明。

输入部50将观察图像输出到诊断辅助部60和显示控制部81。另外，输入部50将观察图像和系统信息中的至少一方输出到风险估计部70。另外，显示输出部91使来自显示控制部81的显示用图像显示在显示装置95的显示画面95a上。

在本实施方式中，诊断辅助部60具有病变部候选检测部61。病变部候选检测部61构成为检测从输入部50依次输出的观察图像中包含的病变部候选。病变部候选检测部61通过进行对观察图像应用图像鉴别器的处理，从该观察图像中检测病变部候选，该图像鉴别器例如利用深度学习等学习方法预先获取了能够鉴别病变部候选的功能。另外，病变部候选的检测不限于上述所示的学习方法，也可以使用其他方法。例如，也可以使用日本特开2007-244518号公报所公开的息肉候选检测处理等。

病变部候选检测部61判定所检测出的病变部候选在观察图像上的区域(以下称为病变部候选区域)，并将表示该病变部候选区域的信息作为病变部候选的检测结果而输出到显示控制部81。

显示控制部81具有检测标记信息生成部82。检测标记信息生成部82被提供了表示病变部候选区域的信息，为了使用户认知在诊断辅助部60中检测出的病变部候选的存在，例如生成用于生成包围观察图像中的病变部候选的区域的图像(检测标记)的信息并输出到显示输出部91。

显示输出部91具有图像合成部92。图像合成部92根据来自显示控制部81的信息，生成在来自输入部50的观察图像中叠加了检测标记的显示用图像并输出到显示装置95。

根据检测标记信息生成部82的信息生成的检测标记具有使用户在视觉上认知病变部候选的存在所需的方式。例如，作为检测标记的形状，有时可以为四边形、三角形、圆形、星形等，也可以为其他任意的形状。另外，检测标记只要能够表示病变部候选的存在和位置，则也可以是不包围病变部候选的图像。并且，检测标记信息生成部82也可以生成表示病变部的消息作为辅助信息，通过在病变部的附近以弹出消息等形式进行显示来表示其存在。

在本实施方式中，检测标记信息生成部82根据来自风险估计部70的风险估计结果，变更检测标记的显示方式。即，检测标记信息生成部82变更显示方式，以使得容易认知病变部候选的存在，并且尽量不妨碍观察图像的确认。在该情况下，在本实施方式中，风险估计部70按照基于用户的疲劳度的分析的风险估计结果，控制检测标记信息生成部82进行的显示方式的变更。

风险估计部70具有疲劳度分析部71。疲劳度分析部71对用户的疲劳度进行分析而得到分析结果。风险估计部70也可以将疲劳度分析部71的分析结果用作风险估计结果。在本实施方式中，疲劳度分析部71由操作日志分析部73构成。操作日志分析部73通过分析内窥镜21的操作日志来分析用户的疲劳度。在本实施方式中，作为一例，操作日志分析部73由换手握持次数分析部73a和扭转次数分析部73b构成。

换手握持次数分析部73a根据内窥镜21的操作日志来分析内窥镜21的换手握持次数。例如，换手握持次数分析部73a求出在通过规定的方法获取的任意期间内用户换手握持了内窥镜21的插入部22的次数。换手握持插入部22的用户的行为由于用户的手离开插入部22，因此例如表现为观察图像晃动等变化。例如，换手握持次数分析部73a也可以通过针对观察图像的图像分析，检测这样的观察图像的变化，由此分析用户换手握持了插入部22的情况，并获取其次数。另外，例如，通过在插入部22上安装未图示的加速度传感器等，也能够通过该加速度传感器的输出的分析来分析换手握持次数。风险估计部70也可以通过获取这样的加速度传感器的输出作为系统信息，来分析换手握持次数。

另外，包含上述任意期间在内的期间的信息能够通过各种方法来获取。图像处理装置40和后述的各图像处理装置可以从未图示的计时器、传感器等器件获取设定的期间，也可以从图像信息中包含的摄影时间的信息获取设定的期间，另外，也可以从基于用户设定的系统信息中获取设定的期间。

另外，扭转次数分析部73b根据内窥镜21的操作日志来分析内窥镜21的扭转次数。例如，扭转次数分析部73b具有未图示的计时器，求出用户在任意期间内扭转内窥镜21的插入部22的次数。由于插入部22旋转，因此扭转插入部22的用户的行为表现为观察图像旋转的变化。例如，扭转次数分析部73b也可以通过针对观察图像的图像分析来检测这样的观察图像的变化，由此分析用户扭转了插入部22的情况，并获取其次数。另外，例如，通过在插入部22上安装未图示的陀螺仪传感器等，也能够通过该陀螺仪传感器的输出的分析来分析扭转次数。风险估计部70也可以通过获取这样的陀螺仪传感器的输出作为系统信息来分析扭转次数。

疲劳度分析部71也可以根据由换手握持次数分析部73a求出的换手握持次数和由扭转次数分析部73b求出的扭转次数中的至少一方来分析用户的疲劳度，并将分析结果作为风险估计结果。例如，疲劳度分析部71也可以判定为用户对内窥镜21的换手握持次数或扭转次数越多则疲劳度越高，并估计为检查品质的降低的风险变高。反之，风险估计部70也可以判定为用户对内窥镜21的换手握持次数或扭转次数越少则疲劳度越低，并估计为检查品质降低的风险较低。来自风险估计部70的基于用户的疲劳度的风险估计结果被提供给显示控制部81。

另外，在本实施方式中，对操作日志分析部73由换手握持次数分析部73a和扭转次数分析部73b构成的例子进行了说明，但也可以由换手握持次数分析部73a或者扭转次数分析部73b中的任意一方构成。

图5是示出检测标记信息生成部82的具体结构的一例的框图。

在图5中，示出了检测标记信息生成部82由显示时间控制部83和显示内容控制部84构成的例子。显示时间控制部83根据输入的风险估计结果，变更检测标记的显示时间。例如，显示时间控制部83也可以设定与由风险估计结果表示的用户的疲劳度对应的显示时间。例如，用户的疲劳度越高，则能够使显示时间越长，用户的疲劳度越短，则能够使显示时间越短。

显示内容控制部84根据所输入的风险估计结果，变更检测标记的显示的内容(质量)。在图5的例子中，显示内容控制部84由色调变更部84a和显示判定等级变更部84b构成。色调变更部84a根据所输入的风险估计结果，变更检测标记的色调。例如，色调变更部84a也可以设定与由风险估计结果表示的用户的疲劳度对应的色调。例如也可以是，用户的疲劳度越高，色调变更部84a将检测标记设定为越显眼的色调。例如也可以是，用户的疲劳度越高，色调变更部84a将检测标记的明亮度和彩度设定得越高。在该情况下，用户的疲劳度越高，在感觉上检测标记显示得越显眼。反之，用户的疲劳度越低，在感觉上检测标记也能够设为自然的色调。

显示判定等级变更部84b根据所输入的风险估计结果，变更检测标记的显示/非显示的判定等级(以下称为显示判定等级)。另外，设为显示判定等级越低则越难以显示，显示判定等级越高则越容易显示的情况来进行说明。例如，即使是同一病变部候选，如果显示判定等级较低，则有时也不显示检测标记，如果显示判定等级较高，则有时也显示检测标记。

显示判定等级变更部84b也可以仅根据风险估计结果来决定显示判定等级，但在图5的例子中，为了决定显示判定等级而具有病变分析部85。病变分析部85对由病变部候选检测部61检测出的病变部候选的特性进行分析。病变分析部85分析病变部候选是否容易看漏。例如，病变分析部85被从病变部候选检测部61提供病变部候选的形状、尺寸、颜色等信息，判定漏看容易度的程度。

显示判定等级变更部84b根据由风险估计结果表示的用户的疲劳度和漏看容易度的程度来决定显示判定等级。漏看容易度的程度越高，显示判定等级被设定为越高的值，用户的疲劳度越高，显示判定等级变更部84b将该显示判定等级设定为越高的值。因此，根据显示判定等级变更部84b的控制，越容易看漏，疲劳度越高，则检测标记变得越容易显示；越不容易看漏，疲劳度越低，则检测标记变得越难以显示。

接着，参照图6至图10对这样构成的实施方式的动作进行说明。图6至图9是用于说明第2实施方式的动作的流程图。另外，图10是用于说明显示例的说明图。

本实施方式中的动作与图3相同。本实施方式针对图3的步骤s3、s4示出了具体的流程的一例。

当接通光源驱动装置11和视频处理器31的电源时，内窥镜21向被摄体射出照明光，并接收来自该被摄体的反射光，拍摄接收到的反射光而生成摄像信号，将生成的摄像信号向视频处理器31输出。

视频处理器31通过对从内窥镜21输出的摄像信号实施规定的处理而生成被摄体的观察图像，并将生成的观察图像一帧一帧地向图像处理装置41依次输出。输入部50从视频处理器31获取作为活体内管腔图像的内窥镜图像(观察图像)(图3的s1)。另外，在观察图像中有时也包含系统信息。输入部50将获取到的图像输出到诊断辅助部60和风险估计部70。另外，输入部50在系统信息与观察图像分开地输入的情况下，将获取到的系统信息输出到风险估计部70。

病变部候选检测部61例如利用深度学习等学习方法从观察图像中检测病变部候选(图3的s2)。病变部候选检测部61判定表示检测出的病变部候选在图像中的范围的病变部候选区域，并将表示病变部候选区域的信息作为病变部候选的检测结果输出到显示控制部81。

另一方面，在图6的步骤s31中，风险估计部70的疲劳度分析部71分析用户的疲劳度。例如，疲劳度分析部71通过操作日志分析部73对内窥镜21的操作日志进行分析。图7示出了操作日志分析部73的具体流程。操作日志分析部73通过换手握持次数分析部73a来分析内窥镜21的换手握持次数(s311)。另外，操作日志分析部73通过扭转次数分析部73b来分析内窥镜21的扭转次数(s312)。

另外，步骤s311、s312的换手握持次数的分析和扭转次数的分析可以按相反顺序进行，另外，也可以仅进行任意一方的分析。疲劳度分析部71根据分析出的换手握持次数和扭转次数中的至少一方的分析结果，计算疲劳度(s313)。疲劳度分析部71将计算出的疲劳度作为风险估计结果而输出到显示控制部81。另外，疲劳度分析部71也可以将分析出的次数作为疲劳度的分析结果，将疲劳度的分析结果直接作为风险估计结果而输出。在该情况下，估计为分析的次数越多，则疲劳度越高，品质降低的风险越高。

显示控制部81的检测标记信息生成部82根据所输入的风险估计结果，设定检测标记的方式，生成用于显示与设定对应的检测标记的信息。例如，检测标记信息生成部82通过显示时间控制部83来设定基于风险估计结果的显示时间(图8的s41)。另外，检测标记信息生成部82通过显示内容控制部84来设定基于风险估计结果的显示内容(图8的s42)。另外，步骤s41、s42的设定可以按相反顺序进行，另外，也可以仅进行任意一方的设定。

图9示出了图8中的步骤s42的具体流程的一例。例如，显示内容控制部84通过色调变更部84a，按照风险估计结果来变更色调(图9的s421)。例如，在根据风险估计结果而示出检查品质降低的风险比较高的情况下，色调变更部84a将检测标记设定为显眼的色调。

另外，显示内容控制部84通过显示判定等级变更部84b来决定显示判定等级。例如，显示判定等级变更部84b在步骤s422中分析病变部候选的特性。显示判定等级变更部84b根据风险估计结果和病变部候选的特性来决定显示判定等级(s423)。例如，显示判定等级变更部84b针对尺寸小容易看漏的特性的病变部候选，提高显示判定等级而使其容易显示。然后，显示判定等级变更部84b按照风险估计结果，进一步变更显示判定等级。例如，显示判定等级变更部84b在用户的疲劳度比较高的情况下，进一步提高显示判定等级，使其容易显示。

另外，步骤s421和步骤s423、s423的设定可以按相反顺序进行，另外，也可以仅进行步骤s421的设定。另外，显示判定等级变更部84b也可以仅根据风险估计结果来变更规定的显示判定等级，由此决定显示判定等级。

检测标记信息生成部82在步骤s43中，根据所设定的显示时间、所设定的色调、所设定的显示判定等级中的至少1个设定，生成用于显示检测标记的信息并输出到显示输出部91。显示输出部91的图像合成部92根据来自检测标记信息生成部82的信息，生成在观察图像上叠加了检测标记的显示用图像并提供给显示装置95。由此，显示装置95显示在显示画面95a上叠加了检测标记的观察图像。

图10示出了在显示装置95的显示画面95a上显示的图像的例子。图10的图像101a～101c表示针对同一观察图像101，风险估计结果不同的情况下的检测标记的3个显示例。在观察图像101中，存在由诊断辅助部60检测出的病变部候选101a。以包围该病变部候选101a的方式显示出检测标记102～104。

例如，检测标记102是中等程度的疲劳度的情况下的显示例，检测标记103是疲劳度大的情况下的显示例，检测标记104是疲劳度极小的情况下的显示例。在附图上，检测标记103与检测标记102相比用粗线显示，由此例如以比较长的显示时间、比较显眼的色调表示是与比较高的显示判定等级对应的显示。

另外，作为显示内容的变更的例子，对色调和显示判定等级进行了说明，但也可以如图10那样改变检测标记的框的线的粗细、框的种类等。例如也可以是，疲劳度越高，越使框的线的粗细变粗。或者，可以根据风险估计结果使检测标记点亮、闪烁，也可以根据风险估计结果使闪烁周期变化。另外，例如可以如检测标记104所示那样，在疲劳度比较低的情况下，通过虚线来显示检测标记。

这样，在本实施方式中，通过用户的疲劳度的分析来估计检查品质降低的风险，并根据风险估计结果来变更检测标记的显示方式。由此，在用户的疲劳度比较高的情况下，通过例如容易观察地显示检测标记来防止检测标记的漏看，从而提高检查品质，在用户的疲劳度比较低的情况下，通过以观察图像的视觉辨认性不会恶化的方式显示检测标记，能够提高检查品质。

(第3实施方式)

图11是示出本发明的第3实施方式的框图。本实施方式的内窥镜系统与图1的不同点在于，采用图像处理装置42而代替图像处理装置40。图11的图像处理装置42在由检查状况分析部74构成疲劳度分析部71这一点上与图4不同。其他结构与第2实施方式相同，因而省略说明。本实施方式是通过检查状况的分析来估计用户的疲劳度的例子。

检查状况分析部74通过分析内窥镜检查的状况来分析用户的疲劳度。在本实施方式中，作为一例，检查状况分析部74由检查经过时间分析部74a和连续检查次数分析部74b构成。

检查经过时间分析部74a对检查经过时间进行分析。例如，检查经过时间分析部74a在通过上述各种方法获取的任意期间内，求出用户进行了内窥镜检查的时间。在进行内窥镜检查时，输入检查者的姓名等确定检查者的信息，检查经过时间分析部74a能够根据系统信息来分析检查经过时间。另外，有时在观察图像中也与系统信息分开地包含确定检查者的信息，检查经过时间分析部74a也能够根据观察图像来分析各用户的检查经过时间。

例如，作为任意期间，例如能够设定1天、1周、1个月等。例如，对于各用户，在1天的检查经过时间比较长的情况下，认为随着经过时间变长，疲劳度变高。检查经过时间分析部74a求出的检查经过时间越长，则疲劳度分析部71能够分析为疲劳度越高，风险估计部70能够估计为检查品质降低的风险增大。

另外，连续检查次数分析部74b针对各用户分析内窥镜检查的连续检查次数。连续检查次数分析部74b能够根据系统信息按每个用户分析连续检查次数。另外，连续检查次数分析部74b也能够根据观察图像来分析各用户的连续检查次数。

例如，作为在1天进行多次内窥镜检查的情况，认为在同一用户连续进行检查的情况和由多个用户交替进行检查的情况下疲劳度不同，同一用户连续进行检查的次数越多，疲劳度越增大。连续检查次数分析部74b求出的连续检查次数越多，则疲劳度分析部71能够分析为疲劳度越高，风险估计部70能够估计为检查品质降低的风险增大。

另外，在本实施方式中，对检查状况分析部74由检查经过时间分析部74a和连续检查次数分析部74b构成的例子进行了说明，但也可以由检查经过时间分析部74a或者连续检查次数分析部74b中的任意一方构成。

接着，参照图12对这样构成的实施方式的动作进行说明。图12是用于说明第3实施方式的动作的流程图。

本实施方式中的动作与图3和图6相同。图12针对图6的步骤s31示出与图7不同的具体流程的一例。

风险估计部70的疲劳度分析部71在图6的步骤s31中分析用户的疲劳度。例如，疲劳度分析部71通过检查状况分析部74对各用户的内窥镜检查状况进行分析。图12示出了检查状况分析部74的具体处理的一例。检查状况分析部74通过检查经过时间分析部74a来分析内窥镜检查的检查经过时间(s314)。另外，检查状况分析部74通过连续检查次数分析部74b来分析内窥镜检查的连续检查次数(s315)。

另外，步骤s314、s315的分析可以按相反顺序进行，另外，也可以仅进行任意一方的分析。疲劳度分析部71根据分析出的检查经过时间和连续检查次数中的至少一方的分析结果，计算疲劳度(s316)。疲劳度分析部71将计算出的疲劳度作为风险估计结果而输出到显示控制部81。另外，检查经过时间越长或连续检查次数越多，则疲劳度分析部71估计为疲劳度越高，品质降低的风险越高。

在显示控制部81的检测标记信息生成部82中，生成用于显示与风险估计结果相对应的方式的检测标记的信息，这与第2实施方式相同。其结果为，在显示装置95的显示画面95a上显示与用户的疲劳度相对应的方式的检测标记。

其他作用与第2实施方式相同。这样，在本实施方式中，也能够得到与第2实施方式相同的效果。

(第4实施方式)

图13是示出本发明的第4实施方式的框图。本实施方式的内窥镜系统与图1的不同点在于，采用图像处理装置43而代替图像处理装置40。图13的图像处理装置43在由活体信息分析部75构成疲劳度分析部71这一点上与图4不同。其他结构与第2实施方式相同，因而省略说明。本实施方式是通过活体信息的分析来估计用户的疲劳度的例子。

活体信息分析部75通过分析活体信息来分析用户的疲劳度。在本实施方式中，作为一例，活体信息分析部75由眨眼次数分析部75a和脉搏等分析部75b构成。

眨眼次数分析部75a分析用户的眨眼次数。在检查室等中设置有手术视野照相机等，能够进行用户的脸部的拍摄。这些来自照相机的图像也被输入到视频处理器31，视频处理器31能够通过用户的摄像图像的图像分析来求出用户眨眼的次数。视频处理器31能够将用户的眨眼次数作为系统信息输出到图像处理装置43。眨眼次数分析部75a根据所输入的系统信息来分析用户的眨眼次数。

另外，对从图像获取眨眼次数的信息的例子进行了说明，但也可以从图像以外的各种传感器等器件获取，也可以从系统信息获取。

另外，在风险估计部70中，也可以取入手术视野照相机等对用户的摄像图像。在该情况下，眨眼次数分析部75a能够通过对取入的用户的摄像图像进行图像分析来求出用户的眨眼次数。

眨眼次数越多，则认为用户的疲劳度越大。眨眼次数分析部75a求出的眨眼次数越多，则疲劳度分析部71能够分析为疲劳度越高，风险估计部70能够估计为检查品质降低的风险增大。

另外，脉搏等分析部75b对各用户分析脉搏、体温、饱和氧量等。脉搏等分析部75b能够根据系统信息按每个用户进行这些分析。疲劳度分析部71根据脉搏、体温、饱和氧量等的分析结果，分析用户的疲劳度。

另外，在本实施方式中，对活体信息分析部75由眨眼次数分析部75a和脉搏等分析部75b构成的例子进行了说明，但也可以由眨眼次数分析部75a或者脉搏等分析部75b中的任意一方构成。

接着，参照图14对这样构成的实施方式的动作进行说明。图14是用于说明第4实施方式的动作的流程图。

本实施方式中的动作与图3和图6相同。图14针对图6的步骤s31示出与图7不同的具体流程的一例。

风险估计部70的疲劳度分析部71在图6的步骤s31中分析用户的疲劳度。例如，疲劳度分析部71通过活体信息分析部75对各用户的活体信息进行分析。图14示出了活体信息分析部75的具体处理的一例。活体信息分析部75通过眨眼次数分析部75a来分析眨眼次数(s317)。另外，检查状况分析部74通过脉搏等分析部75b来分析用户的脉搏、体温、饱和氧量等(s318)。

另外，步骤s317、s318的分析可以按相反顺序进行，另外，也可以仅进行任意一方的分析。疲劳度分析部71根据分析出的眨眼次数和脉搏等的至少一方的分析结果，计算疲劳度(s319)。疲劳度分析部71将计算出的疲劳度作为风险估计结果而输出到显示控制部81。另外，眨眼次数越多，疲劳度分析部71估计为疲劳度越高，检查品质降低的风险越高。疲劳度分析部71针对脉搏、体温、饱和氧量，可以根据用户的检查中的变化来计算疲劳度，或者也可以存储每个用户的平常时的信息，通过与存储的信息的比较来计算疲劳度。

在显示控制部81的检测标记信息生成部82中，生成用于显示与风险估计结果相对应的方式的检测标记的信息，这与第2实施方式相同。其结果为，在显示装置95的显示画面95a上显示与用户的疲劳度相对应的方式的检测标记。

其他作用与第2实施方式相同。这样，在本实施方式中，也能够得到与第2实施方式相同的效果。

另外，作为风险估计部70，也可以采用具有上述第2至第4实施方式中的换手握持次数分析部73a、扭转次数分析部73b、检查经过时间分析部74a、连续检查次数分析部74b、眨眼次数分析部75a以及脉搏等分析部75b中的至少1方的疲劳度分析部71来分析用户的疲劳度。

(第5实施方式)

图15是示出本发明的第5实施方式的框图。本实施方式的内窥镜系统与图1的不同点在于，采用图像处理装置44而代替图像处理装置40。图15示出了图像处理装置44的具体结构的一例。图15的图像处理装置44与图4的不同点在于，风险估计部70采用经验等级分析部72而代替疲劳度分析部71。其他结构与第2实施方式相同，因而省略说明。本实施方式是通过用户的经验等级的分析来估计检查品质降低的风险的例子。

风险估计部70具有经验等级分析部72。经验等级分析部72分析用户的经验等级以得到分析结果。风险估计部70也可以将经验等级分析部72的分析结果用作风险估计结果。在本实施方式中，经验等级分析部72由操作日志分析部76构成。操作日志分析部76通过分析内窥镜21的操作日志来分析用户的经验等级。在本实施方式中，作为一例，操作日志分析部76由插拔次数分析部76a和到达时间分析部76b构成。

插拔次数分析部76a根据内窥镜21的操作日志来分析内窥镜21的插拔次数。例如，插拔次数分析部76a求出从插入部22开始插入体内至到达检查对象部位为止的期间的插入部22的插拔次数。通过插拔插入部22的用户的行为，设置于插入部22的摄像部24也移动，观察图像变化。例如，插拔次数分析部76a也可以通过针对观察图像的图像分析来检测这样的观察图像的变化，由此分析用户插拔了插入部22的情况，并获取其次数。另外，例如，通过在插入部22上安装未图示的加速度传感器等，也能够通过该加速度传感器的输出的分析来分析插拔次数。风险估计部70也可以通过获取这样的加速度传感器的输出作为系统信息来分析插拔次数。

另外，到达时间分析部76b根据内窥镜21的操作日志，对插入部22到达检查对象部位为止所需的时间(到达时间)进行分析。即，到达时间分析部76b求出从插入部22开始插入体内至到达检查对象部位为止的时间。插入部22的插入开始时和到达检查对象部位的情况能够通过观察图像的图像分析和计时器等的计时来检测。到达时间分析部76b也可以通过观察图像的图像分析来分析到达时间。另外，例如，也能够通过用户的内窥镜开关的操作，将插入开始时和检查对象部位到达时传递给视频处理器31，风险估计部70也可以通过获取这些时刻作为系统信息来分析到达时间。

经验等级分析部72也可以根据由插拔次数分析部76a求出的插拔次数和由到达时间分析部76b求出的到达时间中的至少一方来分析用户的经验等级，并将分析结果作为风险估计结果。例如也可以是，用户对插入部22的插拔次数越少，或者到达时间越短，经验等级分析部72判定为熟练度越高，即经验等级越高，估计为检查品质降低的风险越低。反之，也可以是，用户对插入部22的插拔次数越多，或者到达时间越长，风险估计部70判定为熟练度越低，即经验等级越低，估计为检查品质降低的风险越高。基于来自风险估计部70的用户的经验等级的风险估计结果被提供给显示控制部81。

另外，在本实施方式中，对操作日志分析部76由插拔次数分析部76a和到达时间分析部76b构成的例子进行了说明，但也可以由插拔次数分析部76a或者到达时间分析部76b中的任意一方构成。

接着，参照图16和图17对这样构成的实施方式的动作进行说明。图16和图17是用于说明第5实施方式的动作的流程图。

本实施方式中的动作与图3相同。图16针对图3的步骤s3示出了具体流程的一例，图17示出了图16的步骤s51的具体流程的一例。

观察图像的获取、病变部候选的检测以及显示控制与第2实施方式相同。本实施方式的风险估计的方法与第2实施方式不同。

风险估计部70的经验等级分析部72在图16的步骤s51中分析用户的经验等级。例如，经验等级分析部72通过操作日志分析部76来分析内窥镜21的操作日志。图17示出了操作日志分析部76的具体处理的一例。操作日志分析部76通过插拔次数分析部76a来分析插入部22的插拔次数(s511)。另外，操作日志分析部76通过到达时间分析部76b来分析插入部22到达检查对象部位为止的到达时间(s512)。

另外，步骤s511、s512的插拔次数的分析和到达时间分析可以按相反顺序进行，另外，也可以仅进行任意一方的分析。经验等级分析部72根据分析出的插拔次数和到达时间中的至少一方的分析结果，计算用户的经验等级(s513)。经验等级分析部72将计算出的经验等级作为风险估计结果输出到显示控制部81。另外，经验等级分析部72也可以将插拔次数和到达时间的数值作为经验等级的分析结果，将经验等级的分析结果直接作为风险估计结果而输出。在该情况下，插拔次数越多，到达时间越长，则估计为熟练度越低(经验等级越低)，品质降低的风险越高。

显示控制部81的检测标记信息生成部82根据所输入的风险估计结果来设定检测标记的方式，并根据设定而生成用于显示检测标记的信息。例如，检测标记信息生成部82通过显示时间控制部83设定基于风险估计结果的显示时间(图8的s41)，通过显示内容控制部84设定基于风险估计结果的显示内容(图8的s42)。

这样，以与风险估计结果对应的显示方式显示检测标记。

例如，在插拔次数多的情况、到达时间长的情况下，根据风险估计结果，以比较长的时间、更显眼的色调显示检测标记。由此，对于经验等级低的用户，也能够防止看漏检测标记，其结果为能够实现检查品质的提高。

反之，在插拔次数少的情况、到达时间短的情况下，根据风险估计结果，以比较短的时间、更自然的色调显示检测标记。由此，对于经验等级高的用户，能够抑制观察图像的视觉辨认性因检测标记而恶化，其结果为能够实现检查品质的提高。

这样，在本实施方式中，通过用户的经验等级的分析来估计检查品质降低的风险，并根据风险估计结果来变更检测标记的显示方式。由此，在用户的经验等级比较低的情况下，例如容易观察地显示检测标记，由此防止了检测标记的漏看而提高检查品质，在用户的经验等级比较高的情况下，以观察图像的视觉辨认性不会恶化的方式显示检测标记，由此能够提高检查品质。

(第6实施方式)

图18是示出本发明的第6实施方式的框图。本实施方式的内窥镜系统与图1的不同点在于，采用图像处理装置45而代替图像处理装置40。图18的图像处理装置44与图15的不同点在于，经验等级分析部72由检查经历分析部77构成。其他结构与第5实施方式相同，因而省略说明。本实施方式是通过检查经历的分析来估计用户的经验等级的例子。

检查经历分析部77通过分析内窥镜检查的经历来分析用户的经验等级。在本实施方式中，作为一例，检查经历分析部77由总检查数分析部77a和总检查时间分析部77b构成。

总检查数分析部77a分析总检查数。例如，总检查数分析部77a求出在通过上述各种方法获取的任意期间内用户进行了内窥镜检查的数量。在进行内窥镜检查时，输入检查者的姓名等确定检查者的信息，总检查数分析部77a能够根据系统信息来分析总检查数。另外，有时在观察图像中与系统信息分开地包含确定检查者的信息，总检查数分析部77a也能够根据观察图像来分析各用户的检查数。

总检查时间分析部77b分析总检查时间。例如，总检查时间分析部77b求出在通过上述的各种方法获取的任意期间内用户进行了内窥镜检查的时间。总检查时间分析部77b能够根据系统信息来分析总检查时间。另外，总检查时间分析部77b也能够根据观察图像来分析各用户的总检查时间。

例如，作为任意期间，例如能够设定1天、1周、1个月等。例如，对于各用户，在1年间的总检查数比较多、总检查时间比较长的情况下，认为熟练度(经验等级)高。总检查数分析部77a求出的总检查数越多、总检查时间分析部77b求出的总检查时间越长，则经验等级分析部72能够分析为经验等级越高，风险估计部70能够估计为检查品质降低的风险小。

另外，在本实施方式中，对检查经历分析部77由总检查数分析部77a和总检查时间分析部77b构成的例子进行了说明，但也可以由总检查数分析部77a或者总检查时间分析部77b中的任意一方构成。

接着，参照图19对这样构成的实施方式的动作进行说明。图19是用于说明第6实施方式的动作的流程图。

本实施方式中的动作与图3和图16相同。图19针对图16的步骤s51，示出与图17不同的具体流程的一例。

风险估计部70的经验等级分析部72在图16的步骤s51中分析用户的经验等级。例如，经验等级分析部72通过检查经历分析部77来分析各用户的内窥镜检查经历。图19示出了检查经历分析部77的具体处理的一例。检查经历分析部77通过总检查数分析部77a来分析内窥镜检查的总检查数(s514)。另外，检查经历分析部77通过总检查时间分析部77b来分析内窥镜检查的总检查时间(s515)。

另外，步骤s514、s515的分析可以按相反顺序进行，另外，也可以仅进行任意一方的分析。经验等级分析部72根据分析出的总检查数和总检查时间中的至少一方的分析结果，计算经验等级(s516)。经验等级分析部72将计算出的经验等级作为风险估计结果而输出到显示控制部81。另外，总检查数越多或者总检查时间越长，则经验等级分析部72估计为经验等级越高，检查品质降低的风险越低，总检查数越少或者总检查时间越短，则经验等级分析部72估计为经验等级越低，品质降低的风险越高。

在显示控制部81的检测标记信息生成部82中，生成用于显示与风险估计结果相对应的方式的检测标记的信息，这与第5实施方式相同。其结果为，在显示装置95的显示画面95a上显示与用户的经验等级相对应的方式的检测标记。

其他作用与第5实施方式相同。这样，在本实施方式中，也可以得到与第5实施方式相同的效果。

(第7实施方式)

图20是示出本发明的第7实施方式的框图。本实施方式的内窥镜系统与图1的不同点在于，采用图像处理装置46而代替图像处理装置40。图20的图像处理装置46与图15的不同点在于，由比较分析部78构成经验等级分析部72。其他结构与第5实施方式相同，因而省略说明。本实施方式是通过基于与计算机诊断辅助装置(computeraideddiagnosis：cad)的比较的分析来估计用户的经验等级的例子。

比较分析部78将用户针对病变部候选的诊断结果与基于cad的诊断结果进行比较，对比较结果的推移进行分析。在本实施方式中，作为一例，比较分析部78由从过去起的推移分析部78a和病例内的推移分析部78b构成。

从过去起的推移分析部78a将用户针对病变部候选的诊断结果与基于cad的诊断结果进行比较，以cad的诊断结果为基准来分析用户的诊断结果会如何变化的推移。通常，针对病变部候选的诊断的正确性的程度被认为是熟练度极高的专家的医生≥cad＞不熟练的医生。因此，认为不成熟的医生的诊断结果与cad的诊断结果之差比较大，随着该医生积累经验，其差逐渐变小。

因此，能够进行用户的诊断结果与基于cad的诊断结果的比较，将比较结果存储于未图示的存储器中，根据比较结果的推移来判断用户的经验等级。从过去起的推移分析部78a进行这样的诊断结果的记录和读出从而分析比较结果的推移，经验等级分析部72根据分析结果来判定用户的经验等级。另外，风险估计部70能够根据系统信息来获取用户的诊断结果和cad的诊断结果。

另外，病例内的推移分析部78b在1个病例内对用户针对病变部候选的诊断结果与基于cad的诊断结果进行比较，并以cad的诊断结果为基准来分析用户的诊断结果会如何变化的推移。即使在1个病例内的诊断时，有时用户也会积累经验，用户的诊断结果与基于cad的诊断结果之差变小。病例内的推移分析部78b在各病例内进行诊断结果的记录和读出从而分析比较结果的推移，经验等级分析部72根据分析结果来判定用户的经验等级。

另外，在本实施方式中，对比较分析部78由从过去起的推移分析部78a和病例内的推移分析部78b构成的例子进行了说明，但也可以由从过去起的推移分析部78a或病例内的推移分析部78b中的任意一方构成。

接着，参照图21对这样构成的实施方式的动作进行说明。图21是用于说明第7实施方式的动作的流程图。

本实施方式中的动作与图3和图16相同。图21针对图16的步骤s51示出与图17不同的具体流程的一例。

风险估计部70的经验等级分析部72在图16的步骤s51中分析用户的经验等级。经验等级分析部72通过比较分析部78来分析经验等级。图21示出了比较分析部78的具体处理的一例。比较分析部78获取各用户的诊断结果和cad的诊断结果(图21的s517)，通过从过去起的推移分析部78a分析用户的诊断结果与cad的诊断结果之差的推移(s518)。经验等级分析部72通过病例内的推移分析部78b，针对1个病例内分析用户的诊断结果与cad的诊断结果之差的推移(s519)。

另外，步骤s518、s519的分析可以按相反顺序进行，另外，也可以仅进行任意一方的分析。经验等级分析部72根据分析出的从过去起的推移的分析结果和1个病例内的推移的分析结果中的至少一方的分析结果，计算经验等级(s520)。例如，经验等级分析部72根据用户的诊断结果与cad的诊断结果之差的推移，判断用户的诊断结果的正确性的程度而求出用户的经验等级。例如，当用户的诊断结果与cad的诊断结果之差变小时，能够判定为用户的经验等级变高。

风险估计部70将计算出的经验等级作为风险估计结果而输出到显示控制部81。在显示控制部81的检测标记信息生成部82中，生成用于显示与风险估计结果相对应的方式的检测标记的信息，这与第5实施方式相同。其结果为，在显示装置95的显示画面95a上显示与用户的经验等级相对应的方式的检测标记。

其他作用与第5实施方式相同。这样，在本实施方式中，也可以得到与第5实施方式相同的效果。

另外，作为风险估计部70，也可以采用具有上述第5至第7实施方式中的插拔次数分析部76a、到达时间分析部76b、总检查数分析部77a、总检查时间分析部77b、从过去起的推移分析部78a以及病例内的推移分析部78b中的至少1方的经验等级分析部72来分析用户的经验等级。

并且，风险估计部70也可以具有上述第2～第7实施方式中的疲劳度分析部71和经验等级分析部72中的至少1方。

另外，在上述各实施方式中，在通过声音等进行通知的情况下，也能够设定与风险估计结果相对应的通知方式。

另外，关于在说明书中进行了说明的技术中的主要以流程图进行说明的控制，大多能够利用程序进行设定，有时也收纳在记录介质或记录部中。关于向该记录介质、记录部记录的方法，既可以在产品出厂时进行记录，也可以使用所分发的记录介质，经由因特网进行下载。

另外，流程图中的各步骤只要不违反其性质，则也可以变更执行顺序，同时执行多个，或者每次执行时以不同的顺序来执行。

另外，在实施方式中，记载为“部”的部分既可以将专用的电路、多个通用的电路组合而构成，也可以根据需要，将按照预先程序化的软件进行动作的微型计算机、cpu等处理器、或者fpga等定序器组合而构成。

本发明不直接限于上述各实施方式，能够在实施阶段中在不脱离其主旨的范围内对构成要素进行变形来具体化。另外，通过适当组合上述各实施方式中公开的多个构成要素，能够形成各种发明。例如，也可以从实施方式中示出的所有构成要素中删除几个构成要素。并且，也可以将不同的实施方式中的构成要素适当组合。