内窥镜装置和内窥镜装置的工作方法与流程

[0001]
本发明涉及内窥镜装置和内窥镜装置的工作方法等。


背景技术：

[0002]
已知搭载了诊断辅助功能的内窥镜装置。作为诊断辅助的一例，提出了由ai(artificial intelligence：人工智能)从图像提取病变部，并提示该病变部的功能。例如专利文献1提出了计算基于观察对象物的血管信息的诊断辅助参数的内窥镜用图像处理装置。在专利文献1中，从特殊光图像提取血管信息，并向观察者提示该特殊光图像，由此对诊断进行辅助。而且，专利文献2中公开了使从特殊光图像获取的血管图案与预先存储的血管图案进行匹配，并根据该结果进行诊断辅助的方法。在专利文献2中，在匹配的结果一致的情况下，进行督促摄像或观察的模式变更的显示。
[0003]
另外，作为内窥镜装置的照明光控制的一例，已知调光控制。在调光控制中，根据显示图像的明亮度控制照明光的明亮度，由此将显示图像调整为适当的明亮度。例如专利文献3公开了针对摄像图像设定关注区域，并根据该关注区域的图像对照明光的光量进行调光控制的方法。在专利文献3中，摄像图像显示于显示部。即，对显示图像的明亮度进行调光控制。
[0004]
现有技术文献
[0005]
专利文献
[0006]
专利文献1：日本特开2016-144626号公报
[0007]
专利文献2：日本特开2012-152279号公报
[0008]
专利文献3：日本特开2012-245161号公报


技术实现要素：

[0009]
发明要解决的问题
[0010]
在进行使用ai等的诊断辅助的情况下，存在适于该诊断辅助的图像与适于显示图像的图像不一定一致的课题。例如，适于诊断辅助的照明光控制与适于显示图像的照明光控制不一定一致。例如，在以往的调光控制中，为了将显示图像调整为适当的明亮度而进行调光控制。因此，在将通过该照明控制而得到的图像用于诊断辅助时，该图像的明亮度不一定适于诊断辅助。
[0011]
用于解决问题的手段
[0012]
本发明的一个方式涉及内窥镜装置，该内窥镜装置包含：摄像部，其对被摄体进行拍摄；光源部，其射出显示用照明光和辅助用照明光作为针对所述被摄体的照明光；照明光控制电路，其控制所述照明光；以及第一处理电路，其根据基于所述显示用照明光得到的图像信号而生成显示图像，并根据基于所述辅助用照明光得到的图像信号而生成辅助用图像，所述第一处理电路向显示部输出所述显示图像，并且向第二处理电路输出所述辅助用图像，所述照明光控制电路根据所述第二处理电路从所述辅助用图像提取的诊断辅助信
息，控制所述辅助用照明光。
[0013]
另外，本发明的其他方式涉及内窥镜装置，该内窥镜装置包含：摄像部，其对被摄体进行拍摄；第一处理电路，其根据来自所述摄像部的图像信号获取显示图像和辅助用图像；以及第二处理电路，所述第一处理电路向显示部输出所述显示图像，并且向所述第二处理电路输出所述辅助用图像，所述第二处理电路从所述辅助用图像提取诊断辅助信息，并根据所述诊断辅助信息对所述辅助用图像进行增益调整。
[0014]
另外，本发明的另一个方式涉及内窥镜装置，该内窥镜装置包含：摄像部，其对被摄体进行拍摄；光源部，其对所述被摄体射出彼此光量不同的第一照明光～第k照明光，其中，k为2以上的整数；第一处理电路，其根据来自所述摄像部的图像信号，获取与所述第一照明光～第k照明光对应的第一候选图像～第k候选图像；以及第二处理电路，所述第一处理电路根据所述第一候选图像～第k候选图像生成显示图像，并且向所述第二处理电路输出所述第一候选图像～第k候选图像，所述第二处理电路根据从所述第一候选图像～第k候选图像中选择的图像提取诊断辅助信息，并根据所述诊断辅助信息从所述第一候选图像～第k候选图像中再次选择图像。
[0015]
另外，本发明的另一个方式涉及内窥镜装置，该内窥镜装置包含：摄像部，其对被摄体进行拍摄；光源部，其射出针对所述被摄体的照明光；照明光控制电路，其控制所述照明光；以及第一处理电路，所述照明光控制电路在第一期间使第一照明光从所述光源部射出，所述第一处理电路根据基于所述第一照明光得到的图像信号而生成第一图像，所述照明光控制电路根据第二处理电路从所述第一图像提取的诊断辅助信息，在第二期间使第二照明光从所述光源部射出，所述第一处理电路根据基于所述第二照明光得到的图像信号而生成第二图像，并获得所述第二处理电路根据所述第二图像再提取的所述诊断辅助信息，针对显示图像进行基于再提取的所述诊断辅助信息的图像处理。
[0016]
另外，本发明的另一个方式涉及内窥镜装置的工作方法，该工作方法对被摄体进行拍摄，对所述被摄体射出显示用照明光和辅助用照明光，根据基于所述显示用照明光得到的图像信号而生成显示图像，根据基于所述辅助用照明光得到的图像信号而生成辅助用图像，向显示部输出所述显示图像，根据从所述辅助用图像提取的诊断辅助信息，控制所述辅助用照明光。
附图说明
[0017]
图1是内窥镜装置的结构例。
[0018]
图2是光源射出的激光的例子。
[0019]
图3是说明第一实施方式中的照明光控制的图。
[0020]
图4是第一实施方式中的发光顺序的例子。
[0021]
图5是示出第二实施方式中的内窥镜装置的动作的流程图。
[0022]
图6是第二实施方式中的发光顺序的例子。
[0023]
图7是示出第三实施方式中的内窥镜装置的动作的流程图。
[0024]
图8是第三实施方式中的发光顺序的例子。
[0025]
图9是第五实施方式中的发光顺序的第一例。
[0026]
图10是第五实施方式中的发光顺序的第二例
[0027]
图11是内窥镜系统的结构例。
具体实施方式
[0028]
以下，对本实施方式进行说明。另外，以下说明的本实施方式并非对权利要求书所记载的本发明内容进行不当限定。而且，本实施方式所说明的所有结构并非都是本发明所必需的构成要件。
[0029]
1.内窥镜装置
[0030]
图1是内窥镜装置10的结构例。以下以消化器官用的医疗用内窥镜为例进行说明，但本发明的适用对象并不限定于此。即，在本说明书所说的内窥镜一般是指具备用于观察各种观察对象物的凹部内表面的插入部的设备。例如，内窥镜是用于活体的诊察的医疗用内窥镜或工业用内窥镜。
[0031]
图1的内窥镜装置10包含控制装置100、镜体部200、显示部300以及输入部600。另外，控制装置100也称为主体部。而且，镜体部200也称为镜体、摄像部、摄像装置。而且，显示部300也称为显示器、显示装置。而且，输入部600也称为输入装置、操作装置。
[0032]
首先，对内窥镜装置10的结构进行说明。
[0033]
镜体部200由插入部210、操作部220、连接缆线230以及连接器240构成。插入部210具有挠性，能够插入到活体的体腔内。活体的体腔是本实施方式中的被摄体。被摄体也称为观察对象或观察对象物。另外，在图1中省略了被摄体的图示。医生等作业者把持操作部220，并且使用操作部220操作内窥镜装置10。连接缆线230是连接控制装置100与镜体部200的缆线，具有挠性。连接器240设置于连接缆线230的一端，使控制装置100与镜体部200能够装卸。
[0034]
插入部210的前端配置有两个照明透镜211、212和摄像单元213，该两个照明透镜211、212朝向被摄体射出照明光，该摄像单元213接收从被摄体的表面反射或散射的照明光，由此对图像进行拍摄。
[0035]
镜体部200设置有导光路214。控制装置100设置有光源部140，导光路214将从光源部140射出的照明光引导至照明透镜211、212。导光路214是光纤束，该光纤束从连接器240经由连接缆线230、操作部220内而延伸至照明透镜211、212。导光路214在连接器240侧捆束为一根，并在插入部210内分支为两股，从而与两个照明透镜211、212光学连接。
[0036]
照明透镜211、212以使被光纤束引导的照明光成为希望的放射角的方式扩展该照明光。照明透镜211、212分别是由单个或多个透镜构成的照明光学系统。
[0037]
摄像单元213具有摄像光学系统和摄像元件。在本实施方式中，摄像元件是cmos型成像器，该成像器搭载有排列成拜耳型的rgb滤色器。即，摄像元件是具有r像素、g像素、b像素的原色滤镜型的摄像元件。
[0038]
另外，镜体部200设置有图像信号线215，从而摄像单元213所拍摄的图像的图像信号传送至控制装置100。图像信号线215配置于插入部210、操作部220以及连接缆线230内，并经由连接器240与控制装置100电连接。另外，图像信号线215也可以是光通信用的光纤等。
[0039]
控制装置100包含：光源部140，其射出照明光；照明光控制电路150，其控制照明光的光量以及发光时机等；第一处理电路110，其针对来自摄像单元213的图像信号进行图像
处理；以及第二处理电路120，其根据第一处理电路110输出的图像生成诊断辅助信息。另外，光源部140也称为光源装置。而且，第一处理电路110也称为图像处理电路。
[0040]
例如，第一处理电路110、第二处理电路120以及照明光控制电路150的各个电路通过单独的集成电路装置实现。例如，各电路是处理器或asic(application specific integrated circuit：专用集成电路)等。在电路通过处理器实现的情况下，处理器执行记述该电路的动作的程序，由此该电路的动作被实现。程序例如存储于未图示的存储器。另外，也可以是第一处理电路110、第二处理电路120以及照明光控制电路150中的任意两个电路或三个电路全部集成于一个集成电路装置。
[0041]
光源部140包含多个光源lda～lde、驱动光源lda～lde的驱动电路dra～dre以及对光源lda～lde射出的光进行合波的光合波光学系统141。
[0042]
光源lda～lde分别是半导体激光元件。在该情况下，照明光使激光。或者，光源lda～lde分别也可以是led(light emitting diode：发光二极管)。例如，能够采用射出波段为数10nm左右的窄带光的led。但是，照明光不限定于窄带光，例如根据显示图像的可视性、或辅助信息的提取方法采用适当频带的照明光即可。另外，以下以光源lda～lde分别是半导体激光元件的情况为例进行说明。
[0043]
图2是光源lda～lde射出的激光的例子。如图2所示，光源lda射出波长λa＝405nm的蓝紫激光。光源ldb射出波长λb＝445nm的蓝色激光。光源ldc射出波长λc＝532nm的绿色激光。光源ldd射出波长λd＝600nm的橙色激光。光源lde射出波长λe＝635nm的红色激光。在图2中，各光源射出的光量为相同程度，但各光源射出的光量被照明光控制电路150控制。
[0044]
如图1所示，分别是驱动电路dra与光源lda电连接，驱动电路drb与光源ldb电连接，驱动电路drc与光源ldc电连接，驱动电路drd与光源ldd电连接，驱动电路dre与光源lde电连接。光源lda～lde利用从驱动电路dra～dre提供的电力振荡激光。
[0045]
驱动电路dra～dre与照明光控制电路150电连接。照明光控制电路150分别向驱动电路dra～dre发送激光的光量和发光时机等控制信号，由此控制光源lda～lde。由此，光源lda～lde能够以彼此独立的激光量或发光时机射出激光。即，光源lda～lde能够各自独立地振荡和熄灭。
[0046]
从光源lda～lde射出的激光入射到光合波光学系统141。通常使用的合波光学技术能够应用于光合波光学系统141。例如，光合波光学系统141是组合多个分色镜等而得到的空间光学系统，或者，以多个光纤的端面与一根光纤的端面对置的方式连接而得到的光学合束器等。
[0047]
从光源lda～lde射出的激光在光合波光学系统141被合波。该被合波的激光从一个射出端朝向设置于连接器240的导光路214的入射端射出。入射到光导波路的入射端的激光被导光路214引导至插入部210前端的照明透镜211、212，并通过照明透镜211、212以希望的放射角扩展，从而朝向被摄体照射。
[0048]
照明光控制电路150经由驱动电路dra～dre与光源lda～lde独立地控制光量，或使光源lda～lde联动地控制光量。本实施方式中的各激光的发光时机在后面叙述。
[0049]
第一处理电路110根据从摄像单元213经由图像信号线215而传送的图像信号进行各种图像处理。具体而言，第一处理电路110根据图像信号生成显示图像，并向显示部300输出该显示图像。而且，第一处理电路110根据图像信号生成辅助用图像，并向第二处理电路
120输出该辅助用图像。而且，第一处理电路110从第二处理电路120接收诊断辅助信息，向显示图像附加与该诊断辅助信息对应的显示信息，并向显示部300发送该显示图像。以下，将附加于该显示图像的显示信息称为辅助显示信息。例如，辅助显示信息是示出关注部位的位置或边界的信息，例如是附加于关注部位的框线或高亮或箭头等。或者，辅助显示信息是示出关注部位的种类或状态的信息，例如是表示该种类或状态的文字等。
[0050]
第二处理电路120包含诊断辅助部121。诊断辅助部121例如是ai。即，诊断辅助部121通过ai处理从输入的辅助用图像提取诊断辅助信息，并向第一处理电路110发送该诊断辅助信息。作为ai处理，能够采用各种图像识别方法或机器学习方法。机器学习是根据学习结果进行各种推论的处理。作为代表性的ai有神经网络，但并不限定于此，作为本实施方式中的ai能够采用已知的各种机器学习的方法。
[0051]
连接器240使图像信号线215、导光路214以及向摄像单元213提供电力的未图示的电线能够相对于控制装置100电或光学地装卸。此外，连接器240上搭载有在能够对控制装置100与镜体部200进行装卸的内窥镜装置的连接器上搭载的一般的功能。例如，连接器240也可以包含用于送气的管或用于送水的管等。而且，连接器240也可以包含用于使镜体部200的信息在镜体部200与控制装置100之间进行通信的信号线。镜体部200的信息例如是摄像元件的种类或光量的上限值等。而且，连接器240也可以包含用于向镜体部200所搭载的电路进行供电的电线。而且，连接器240也可以包含用于在镜体部200所搭载的电路与控制装置100之间进行信号的输入/输出的信号线。
[0052]
显示部300显示被第一处理电路110进行图像处理的被摄体的图像。显示部300是通常使用的各种显示装置，例如是液晶显示器等。显示部300与控制装置100通过电布线而电连接。第一处理电路110输出的图像信号通过该电布线传送到显示部300。
[0053]
接着，对内窥镜装置10的基本动作进行说明。另外，对与通常的内窥镜相同的动作省略说明，以与本发明相关的特征部分为中心进行说明。
[0054]
诊断辅助部121分析图像中是否存在关注部位。在诊断辅助部121检测到关注部位的情况下，从图像提取与该关注部位相关的信息，并将该信息作为诊断辅助信息向第一处理电路110和照明光控制电路150输出。输出到照明光控制电路150的诊断辅助信息是为了使照明光成为最佳的明亮度或波长、光量比所需的信息。例如，诊断辅助信息是示出图像中的关注部位的位置以及该位置的图像的明亮度的信息。照明光控制电路150根据该关注部位的位置的图像的明亮度调整照明光的光量，由此将关注部位的位置的图像的明亮度调整为适当的明亮度。图像的明亮度例如是图像的亮度。适当的明亮度是指在诊断辅助部121提取与关注部位相关的信息的目的下适当的明亮度。即，不一定是进行对人类来说容易观察的调光。
[0055]
根据诊断辅助信息而控制的照明光对被摄体进行照明，并且摄像单元213对该被摄体进行拍摄。诊断辅助部121根据从该图像信号得到的辅助用图像再提取诊断辅助信息。即，在照明光被控制之前的提取处理中，关注部位被提取，但诊断辅助部121从照明光被控制之后的辅助用图像再提取与该关注部位相关的诊断辅助信息。在照明光被控制之后的辅助用图像中，与关注部位的辅助信息相关联的信息增加。例如，血管的对比度提高，或图像的分辨率提高。由此，能够再提取精度更高的信息作为与关注部位相关的诊断辅助信息。
[0056]
用于提取诊断辅助信息的辅助用图像与用于显示于显示部300的显示图像是不同
的图像。在该情况下，对显示图像的照明光控制与对辅助用图像的照明光控制不同。例如，进行对显示图像的调光控制，以使显示图像的整体成为适当的明亮度，并且进行对辅助用图像的调光控制，以使辅助用图像中的关注部位的明亮度成为适当的明亮度。
[0057]
在这里，辅助用图像是不显示于显示部300的图像。即，辅助用图像是与显示图像分开地为了诊断辅助而获取的图像即可，从而不限于辅助用图像与显示图像是不同的种类或不同的组合的情况，辅助用图像与显示图像也可以是相同种类或相同组合的图像。例如，在图4中在后面叙述的例子中，根据b图像、g图像、a图像以及r图像生成显示图像，v图像和g图像作为辅助用图像而使用。在该情况下，显示图像与辅助用图像为不同的组合。或者，作为另一例，显示图像与辅助用图像也可以都是白色光图像。在该情况下，显示图像与辅助用图像是相同种类的图像，但分别准备显示用的白色光图像和辅助用的白色光图像。而且，对显示用的白色光图像的照明光控制与对辅助用的白色光图像的照明光控制独立地进行。
[0058]
另外，以上对照明光控制电路150根据诊断辅助信息控制照明光的情况进行了说明，但本发明的适用对象并不限定于此。例如，也可以是第一处理电路110根据诊断辅助信息决定将在哪个波长拍摄的图像作为辅助用图像向第二处理电路120输出。或者，也可以是第一处理电路110根据诊断辅助信息对辅助用图像进行增益处理，由此将关注部位的位置的图像的明亮度调整为适当的明亮度。而且，也可以向第二处理电路120输出该调整后的辅助用图像。或者，也可以是将照明光控制电路150根据诊断辅助信息进行的照明光控制与第一处理电路110根据诊断辅助信息进行的图像控制组合。
[0059]
根据以上的实施方式，内窥镜装置10包含摄像部、照明光控制电路150以及第一处理电路110。摄像部对被摄体进行拍摄。光源部140射出显示用照明光和辅助用照明光作为针对被摄体的照明光。照明光控制电路150控制照明光。第一处理电路110根据通过显示用照明光得到的图像信号获取显示图像，并根据通过辅助用照明光得到的图像信号获取辅助用图像。第一处理电路110向显示部300输出显示图像，并且向第二处理电路120输出辅助用图像。照明光控制电路150获取诊断辅助信息。诊断辅助信息是第二处理电路120从辅助用图像提取的信息。照明光控制电路150根据诊断辅助信息控制辅助用照明光。
[0060]
在图1中，摄像部对应于摄像单元213。另外，在图1中，以内窥镜装置10包含第二处理电路120的情况为例进行了说明，但也可以是如在图11中在后面叙述的，在内窥镜装置10的外部设置第二处理电路120。即，在内窥镜装置10不内置第二处理电路120的情况下也能够应用本发明。
[0061]
根据本实施方式，照明光控制根据诊断辅助信息而被反馈控制。由此，为了提取诊断辅助信息，能够通过适当的照明光对图像进行拍摄。而且，通过根据该图像再提取诊断辅助信息，能够提取精度更高的诊断辅助信息。而且，根据本实施方式，根据诊断辅助信息控制辅助用照明光，从而通过该辅助用照明光对辅助用图像进行拍摄。即，能够区分对显示图像的照明光控制与对辅助用图像的照明光控制。由此，能够实现对辅助用图像的适当的照明光控制，而不影响显示的品质。
[0062]
例如，在以往技术的内窥镜装置中，通常，考虑画面整体的明亮度而设定照明光的明亮度。具体而言，有观察区域的当前的照明光的图像的明亮度平均测光、中央重点测光等各种测光模式，与其对应地设定照明光的明亮度。在通过ai等提取辅助信息的情况下，根据这样的图像提取关注部位，因此有时根据关注部位的位置，调光不一定适当。因此，关注部
位的提取精度、关注部位的分类的精度可能较低。根据本实施方式，为了提取诊断辅助信息而得到适当的明亮度的图像，因此能够高精度地对关注部位进行分类。另外，照明光控制不仅是调光控制，也可以是照明光的波长或光量比的控制。
[0063]
另外，在本实施方式中，第一处理电路110对显示图像进行基于诊断辅助信息的图像处理，并向显示部300输出该图像处理后的显示图像。
[0064]
这样，能够根据从辅助用图像提取的诊断辅助信息，向作业者提供与该诊断辅助信息对应的辅助显示信息。这时，对显示图像进行最适于观察的照明光控制，并对与该显示图像分开获取的辅助用图像进行最适于ai处理的照明光控制。即，根据本实施方式，能够对作业者容易观察的明亮度的图像附加精度较高的辅助显示信息。
[0065]
另外，在本实施方式中，照明光控制电路150根据显示图像控制显示用照明光的光量。
[0066]
根据本实施方式，对显示图像的照明光控制与对辅助用图像的照明光控制独立地进行。如上所述，能够实现对辅助用图像的适当的照明光控制，而不影响显示的品质。
[0067]
2.第一实施方式
[0068]
图3是对第一实施方式中的照明光控制进行说明的图。
[0069]
在第一实施方式中，内窥镜装置10通过调整照明光的光量，使关注部位的图像的明亮度成为适当的明亮度。由此，不需要进行特殊的图像处理，因此不需要对系统追加特別的部件。
[0070]
图3示出大肠作为观察对象的一例。如图3的左图所示，设肠管的里侧有关注部位。这样，在体腔的里侧发现关注部位时，在图像中关注部位为较暗的图像。在这种情况下，可能无法充分得到与该关注部位相关的诊断辅助信息。即，ai等对图像进行分析时，ai等能够检测到关注部位，但由于该关注部位的图像较暗，ai等无法判断关注部位的详细情况。例如，在关注部位是病变部的情况下，ai等无法判断该病变部的详细的分类、或病变部的详细的状态等。如图3的右图所示，本实施方式的内窥镜装置10提高照明光的光量，以使关注部位成为最佳的明亮度，并通过该照明光再次对被摄体进行拍摄。而且，内窥镜装置10通过ai等根据光量提高后的图像再提取关注部位，能够判断关注部位是否是病变部，或能够判断作为病变部的详细的分类。另外，在图3的右图中，图像的周边部变亮。但是，在上次的分析中，该区域没有检测到关注部位，因此在提取诊断辅助信息的目的中不会成为较大的问题。
[0071]
另外，在本实施方式中，根据图像的明亮度进行逆运算而设定光量，以使关注部位的图像的明亮度为最佳，但本发明的适用对象并不限定于此。例如，也可以通过病变部的露出成为最佳的病变部重点测光模式而使光量最佳，从而在该光量下再获取图像。
[0072]
图4是第一实施方式中的发光顺序的例子。在图4中，横轴为时间。在纵向上从上起依次以光源lda、ldb、ldc、ldd、lde的顺序记载有发光和熄灭的时机。t1、t2等表示时机。以下，省略“时机”而记载为t1、t2等。
[0073]
如图4所示，从t1到t1’作为1周期使光源lda～lde发光。这时，摄像元件进行两次拍摄动作。即，1周期包含两帧摄像帧。
[0074]
在从t1到t2中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源ldb、ldc、lde发光。摄像元件是具有原色型滤镜的rgb摄像元件。因此，来自光源ldb的蓝色光被b像素检测到，其结果，作为b图像被输出。同样地，来自光源ldc的绿色光被g像素
检测到，并作为g图像被输出。来自光源lde的红色光被r像素检测到，并作为r图像被输出。这些图像信息在所有光源lda～lde熄灭的读出期间从摄像元件输出。
[0075]
接着，在从t1到t2中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda、ldc、ldd发光。来自光源lda的紫色光被b像素检测到，其结果，作为v图像被输出。同样地，来自光源ldc的绿色光被g像素检测到，并作为g图像被输出。来自光源ldd的橙色光被r像素检测到，其结果，作为a图像被输出。这些图像信息在读出期间从摄像元件输出。
[0076]
第一处理电路110根据从t1到t2的期间被拍摄的b图像、g图像以及r图像和从t2到t1’的期间被拍摄的a图像生成显示图像。具体而言，第一处理电路110将合成r图像与a图像而得到的图像作为显示图像的r通道，将b图像作为显示图像的b通道，将g图像作为显示图像的g通道。而且，第一处理电路110将从t2到t1’的期间被拍摄的v图像和g图像作为辅助用图像向诊断辅助部121输出。或者，也可以将对该v图像和g图像进行合成而得到的图像作为辅助用图像向诊断辅助部121输出。
[0077]
本实施方式的内窥镜装置10连续地反复进行上述1周期的动作。关于调光控制，反复进行如下动作。
[0078]
照明光控制电路150根据从t1到t1’的期间获取的显示图像的明亮度，对在从t1’到t2’的期间发光的光源ldb、ldc、lde以及在从t2’到t1”的期间发光的光源ldd进行调光控制。即，根据1帧前的显示图像进行当前帧的调光控制。该调光控制也称为显示用调光控制或第一调光控制。
[0079]
另外，照明光控制电路150根据在从t2到t1’的期间获取的辅助用图像以及从该辅助用图像提取的诊断辅助信息，对在从t2’到t1”的期间发光的光源lda、ldc进行调光控制。即，根据1帧前的辅助用图像和诊断辅助信息进行当前帧的调光控制。该调光控制也称为辅助用调光控制或第二调光控制。
[0080]
显示用调光控制与辅助用调光控制是独立的控制。例如，图4所示，在从t2’到t1”的期间发光的光源lda、ldc的光量比在从t2到t1’的期间发光的光源lda、ldc的光量小。这是辅助用调光控制的结果。另一方面，在从t1’到t2’的期间发光的光源ldb、ldc、lde的光量与在从t1到t2的期间发光的光源ldb、ldc、lde的光量相同。而且，在从t2’到t1”的期间发光的光源ldd的光量与在从t2到t1’的期间发光的光源ldd的光量相同。这是在显示用调光控制中进行维持光量的判断的结果。
[0081]
根据以上的实施方式，照明光控制电路150在第一期间，使第一辅助用照明光从光源部140射出。第一处理电路110根据通过第一辅助用照明光得到的图像信号获取第一辅助用图像。照明光控制电路150获取第二处理电路120根据第一辅助用图像提取的诊断辅助信息。照明光控制电路150在第二期间，根据诊断辅助信息使第二辅助用照明光从光源部140射出。第一处理电路110根据通过第二辅助用照明光得到的图像信号获取第二辅助用图像。第一处理电路110获取第二处理电路120根据第二辅助用图像再提取的诊断辅助信息。
[0082]
在图4的例子中，第一期间是从t2到t1’的期间ps。第二期间是从t2’到t1”的期间ps’。第一辅助用照明光是光源lda、ldc在期间ps中射出的光。第二辅助用照明光是光源lda、ldc在期间ps’中射出的光。
[0083]
根据本实施方式，根据通过第一辅助用照明光拍摄的第一辅助用图像提取诊断辅
助信息，根据该诊断辅助信息控制第二辅助用照明光。而且，根据通过该第二辅助用照明光拍摄的第二辅助用图像再提取诊断辅助信息。由此，能够在与对显示图像的照明光控制不同的反馈控制中，根据诊断辅助信息对辅助用照明光进行反馈控制。
[0084]
另外，在本实施方式中，内窥镜装置10包含第二处理电路120。第二处理电路120根据第一辅助用图像提取关注部位的信息作为诊断辅助信息，并根据该关注部位的信息和第二辅助用图像，再提取与关注部位相关的诊断辅助信息。
[0085]
根据本实施方式，在检测到关注部位的情况下，再提取与该关注部位相关的、更详细的诊断辅助信息。这时，根据诊断辅助信息，通过反馈控制的照明光对辅助用图像进行拍摄，并根据该辅助用图像进行再提取。即，关于在调整照明光之前检测到的关注区域，在调整为最佳的照明光之后再次进行分析，由此能够提高与该关注区域相关的诊断辅助信息的精度。
[0086]
另外，在本实施方式中，诊断辅助信息包含被摄体所包含的关注部位的信息。照明光控制电路150根据辅助用图像中的关注部位的图像的明亮度，控制辅助用照明光的光量。具体而言，诊断辅助信息包含关注部位的位置信息以及关注部位的图像的明亮度信息作为关注部位的信息。照明光控制电路150根据诊断辅助信息控制辅助用照明光的光量。另外，不限定于将关注部位的位置信息以及关注部位的图像的明亮度信息输入到照明光控制电路150的情况。例如，也可以不将关注部位的图像的明亮度信息输入到照明光控制电路150。在该情况下，照明光控制电路150也可以根据关注部位的位置信息获取辅助用图像中的关注部位的图像，并根据该关注部位的图像的明亮度信息控制辅助用照明光的光量。
[0087]
根据本实施方式，根据诊断辅助信息对图像的关注部位的明亮度进行反馈控制。即，能够将检测到的关注部位中的图像的明亮度控制为适当的明亮度。而且，能够根据成为该适当的明亮度的关注部位的图像，再提取与该关注部位相关的诊断辅助信息。
[0088]
另外，在本实施方式中，照明光控制电路150通过控制照明光的光量，进行使图像中的规定区域的亮度值接近目标值的控制。规定区域是包含关注部位的区域。
[0089]
另外，在本实施方式中，照明光控制电路150对规定区域的亮度值和除此以外的区域的亮度值进行加权，并根据该加权后的亮度值设定照明光的光量目标。
[0090]
另外，在本实施方式中，根据规定区域的亮度值或加权后的亮度值与目标值的差分设定照明光的光量目标。
[0091]
另外，在本实施方式中，内窥镜装置10也可以具有多个观察模式。多个观察模式例如是通常光观察模式、nbi(narrow band imaging：窄带成像)观察模式以及rbi(red band imaging：红带成像)观察模式。第一处理电路110获取各观察模式的图像。通常光观察模式的图像例如是合成b图像、g图像、a图像以及r图像而得到的白色光图像。nbi观察模式的图像是合成v图像和g图像而得到的nbi图像。rbi观察模式的图像是合成g图像、a图像以及r图像而得到的rbi图像。第一处理电路110从白色光图像、nbi图像以及rbi图像中选择显示图像和辅助用图像。例如，第一处理电路110选择与作业者设定的观察模式对应的图像作为显示图像，并选择除此以外的图像作为辅助用图像。
[0092]
3.第二实施方式
[0093]
在第二实施方式中，对拍摄的图像进行增益处理，并从该增益处理后的图像提取诊断辅助信息。增益处理是增益提高或增益降低。增益提高也称为增感显影。而且，增益降
低也称为减感显影。由此，能够构建关注部位的明亮度最佳的图像，而无需再次重新获取图像。
[0094]
图5是示出第二实施方式中的内窥镜装置10的动作的流程图。
[0095]
如步骤s21所示，首先摄像单元213获取图像。接着，如步骤s22所示，第一处理电路110通过标准图像处理使图像显影，并向诊断辅助部121输出该图像。标准图像处理是一般的显影处理，例如是用于生成显示图像的显影处理。第一处理电路110向显示部300输出显影后的图像，显示部300显示该图像。
[0096]
接着，如步骤s23所示，诊断辅助部121从图像提取关注部位。即，诊断辅助部121判断图像内是否有关注部位，并在有关注部位的情况下，提取与该关注部位相关的诊断辅助信息。
[0097]
接着，如步骤s24所示，第二处理电路120获取诊断辅助部121是否检测到关注区域的信息。在图像内没有关注部位的情况下，返回步骤s21。在图像内有关注部位的情况下，如步骤s25所示，第二处理电路120判断图像中的关注部位的明亮度是否适当。
[0098]
在步骤s25中，在关注部位的明亮度适当的情况下，如步骤s26所示，诊断辅助部121从图像再提取关注部位，并且对关注部位进行详细分类。执行步骤s26之后，返回步骤s12。
[0099]
在步骤s25中，在关注部位的明亮度不适当的情况下，如步骤s27所示，第二处理电路120对图像进行增益处理。第二处理电路120在判断为关注部位的明亮度比适当的明亮度暗的情况下，对图像进行增益提高。另一方面，第二处理电路120在判断关注部位的明亮度比适当的明亮度亮的情况下，对图像进行增益降低。例如，以步骤s22中的标准图像处理的增益为基准，增益提高是使增益比该基准高，增益降低是使增益比该基准低。增益处理后的图像输入到诊断辅助部121。
[0100]
接着，如步骤s28所示，诊断辅助部121从增益处理后的图像再提取关注部位，并且对关注部位进行详细分类。执行步骤s28之后，返回步骤s12。
[0101]
图6是第二实施方式中的发光顺序的例子。
[0102]
在从t1到t2中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源ldb、ldc、lde发光。接着，在从t2到t1’中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda、ldd发光。与图4同样地，得到v图像、b图像、g图像、a图像以及r图像。第一处理电路110从这五个图像中选择任意的图像，并根据该图像生成显示图像。生成怎样的显示图像例如由观察模式设定。内窥镜装置10连续地反复进行上述1周期的动作。
[0103]
在第二实施方式中，增益处理后的图像被输入到诊断辅助部121，因此不进行辅助用的调光控制。即，照明光控制电路150针对光源lda～lde进行显示用的调光控制。即，通过显示用的调光控制来控制v图像、b图像、g图像、a图像以及r图像的明亮度。第一处理电路110对这些图像进行增益处理，并向诊断辅助部121输出该增益处理后的图像。第一处理电路110选择上述五个图像中的任意一个或多个图像作为辅助用图像。这时，第一处理电路110对作为辅助用图像而选择的图像进行增益处理，并向诊断辅助部121输出该增益处理后的图像。
[0104]
另外，在图6中，使光源lda～lde分为两个摄像帧而发光，但并不限定于此，也可以
使光源lda～lde在一个摄像帧发光。在该情况下，发光顺序的1周期为一个摄像帧。而且，光源lda、ldb射出的光被b像素检测，光源ldc射出的光被g像素检测，光源ldd、lde射出的光被r像素检测。由此得到白色光图像。
[0105]
根据以上的实施方式，第一处理电路110向显示部输出显示图像，并且向第二处理电路120输出辅助用图像。第二处理电路120从辅助用图像提取诊断辅助信息，并根据该诊断辅助信息对辅助用图像进行增益调整。
[0106]
另外，在本实施方式中，第二处理电路120根据增益调整后的辅助用图像再提取诊断辅助信息。第一处理电路110对显示图像进行基于由第二处理电路120再提取的诊断辅助信息的图像处理。
[0107]
根据本实施方式，根据诊断辅助信息对辅助用图像进行增益处理，由此对辅助用图像的明亮度进行反馈控制。由此，能够为了提取诊断辅助信息而获取适当的明亮度的图像。而且，通过根据该图像再提取诊断辅助信息，能够提取精度更高的诊断辅助信息。而且，该反馈控制是独立于针对显示图像的调光控制的控制。由此，能够对作业者容易观察的明亮度的图像附加精度较高的辅助显示信息。而且，第二处理电路120进行反馈控制，因此不需要改变以往的调光系统等。
[0108]
4.第三实施方式
[0109]
在第三实施方式中，内窥镜装置10在提取关注部位时，在显示的图像与显示的图像的间歇，获取关注部位的明亮度成为最佳的图像。由此，能够根据关注部位的明亮度为最佳的图像进行关注部位的再提取，并且能够不受其影响地向作业者提供自然的明亮度的显示图像。
[0110]
图7是示出第三实施方式中的内窥镜装置10的动作的流程图。步骤s1～s6与图5的步骤s21～s26相同，因此省略其说明。
[0111]
在步骤s5中关注部位的明亮度不适当的情况下，如步骤s7所示，照明光控制电路150使照明光发光，从而第一处理电路110获取辅助用图像。第一处理电路110向诊断辅助部121输出获取的辅助用图像。这里的照明光是与用于获取显示图像的照明光分开射出的照明光。即，辅助用图像是不被显示的图像。在第二处理电路120判断为关注部位的明亮度比适当的明亮度暗的情况下，照明光控制电路150使照明光的光量增加。另一方面，在第二处理电路120判断为关注部位的明亮度比适当的明亮度亮的情况下，照明光控制电路150使照明光的光量减少。例如，以在步骤s1中获取图像时的光量为基准，照明光控制电路150使光量相对于该基准增加或减少。
[0112]
接着，如步骤s8所示，诊断辅助部121从辅助用图像再提取关注部位，并且对关注部位进行详细分类。接着，如步骤s9所示，照明光控制电路150使照明光发光，从而第一处理电路110获取显示图像。第一处理电路110向显示部300输出获取的显示图像。这里的照明光是用于获取显示图像的照明光。而且，第一处理电路110与步骤s2同样地通过标准图像处理使图像显影。
[0113]
接着，如步骤s10所示，第一处理电路110判断是否继续观察。例如，第一处理电路110根据作业者从操作部220或输入部600输入的信息，判断是否继续观察。不继续观察的情况下，处理结束。观察继续的情况下，返回步骤s7。
[0114]
如上所述，在图像中的关注部位的明亮度不适当的情况下，内窥镜装置10交替获
取显示图像与辅助用图像。
[0115]
图8是第三实施方式中的发光顺序的例子。
[0116]
在从t1到t2中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda～lde发光。光源lda、ldb射出的光被b像素检测，光源ldc射出的光被g像素检测，光源ldd、lde射出的光被r像素检测。由此得到白色光图像，并在显示部300显示该白色光图像。在图7的步骤s5中，在判断为白色光图像中的关注部位的明亮度适当的情况下，从t2到t1’，照明光控制电路150使光源lda～lde熄灭。
[0117]
在从t1’到t2’中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda～lde发光。由此得到白色光图像，并在显示部300显示该白色光图像。在图7的步骤s5中，在判断为白色光图像中的关注部位的明亮度不适当的情况下，从t2’到t1”，照明光控制电路150使光源lda～lde发光。这时的光量是用于获取辅助用图像的光量。第一处理电路110向诊断辅助部121输出所获取的辅助用图像。之后，反复进行与从t1’到t1”之间的动作相同的动作，直至在图7的步骤s10中判断为不继续观察为止。
[0118]
另外，在图8中，在执行步骤s7～s10时，动态图像的显示速率不改变，而使拍摄的帧速率加倍。动态图像的显示速率是动态图像的更新速率，即对显示图像进行拍摄的速率。在该例中，能够使动态图像的动作更加顺畅。但是，在执行步骤s7～s10时，也可以不改变拍摄的帧速率，而使图像的显示速率减半。在该例中，能够简化拍摄和照明光控制的系统。
[0119]
根据以上的实施方式，内窥镜装置10包含对被摄体进行拍摄的摄像部、射出针对被摄体的照明光的光源部140、控制照明光的照明光控制电路150以及第一处理电路110。照明光控制电路150在第一期间，使第一照明光从光源部140射出。第一处理电路110根据基于第一照明光得到的图像信号生成第一图像。照明光控制电路150根据第二处理电路从第一图像提取的诊断辅助信息，在第二期间使第二照明光从光源部140射出。第一处理电路110根据基于第二照明光得到的图像信号生成第二图像。第一处理电路110获取第二处理电路120根据第二图像再提取的诊断辅助信息。第一处理电路110对显示图像进行基于该再提取的诊断辅助信息的图像处理。
[0120]
在图8中，第一期间是从t1’到t2’的期间。第二期间是从t2’到t1”的期间。第一照明光是光源lda～lde在从t1’到t2’的期间射出的光。第二照明光是光源lda～lde在从t2’到t1”的期间射出的光。
[0121]
根据本实施方式，根据诊断辅助信息对照明光控制进行反馈控制。由此，能够为了提取诊断辅助信息而通过适当的照明光对图像进行拍摄。而且，根据该图像再提取诊断辅助信息，由此能够提取精度更高的诊断辅助信息。
[0122]
另外，在本实施方式中，第一处理电路110向显示部300输出第一图像作为显示图像。
[0123]
即，第二图像是与显示图像分别获取的图像，第二图像是不显示的图像。由此，对辅助用图像的照明光控制独立于对显示图像的照明光控制。对辅助用图像的照明光控制是独立的，由此能够实现针对辅助用图像的适当的照明光控制，而不影响显示的质量。另外，在本实施方式中，示出了由第一处理电路110判断是否继续观察的例子，但并不限于此。也可以由照明光控制电路150判断是否继续观察，另外，也可以另外设置判断是否继续观察的是否继续观察判断部等。
[0124]
5.第四实施方式
[0125]
在第四实施方式中，内窥镜装置10在拍摄时依次获取不同明亮度的图像。内窥镜装置10在提取关注部位时，提取关注部位的明亮度最佳或接近最佳的图像，并根据该图像进行关注部位的再提取或详细分类等。由此，提取关注部位时诊断辅助部121改变动作即可，而无需改变系统的基本动作，因此动作简单并且迅速。
[0126]
具体而言，照明光控制电路150使光源lda～lde以第一～第k的光量发光，摄像单元213在各光量对被摄体进行拍摄。k为2以上的整数。第一处理电路110获取与第一～第k的光量对应的第一候选图像～第k候选图像。以在通常的观察模式设定的图像的明亮度为中心值时，第一候选图像～第k候选图像包含中心值的图像、比中心值的图像暗的一个或多个图像以及比中心值的图像亮的一个或多个图像。另外，也可以根据在通常的观察模式设定的图像的明部或暗部的明亮度设定比中心值亮的图像的明亮度以及比中心值暗的图像的明亮度。或者，也可以根据规定值设定比中心值亮的图像的明亮度以及比中心值暗的图像的明亮度。规定值例如可以根据内脏器官的观察部位而改变。
[0127]
第一处理电路110向显示部300输出中心值的图像作为显示图像。而且，第一处理电路110向诊断辅助部121输出第一候选图像～第k候选图像。诊断辅助部121从中心值的图像提取诊断辅助信息。在从中心值的图像检测到关注部位的情况下，诊断辅助部121从第一候选图像～第k候选图像中选择该关注部位的明亮度适当的图像。诊断辅助部121根据选择的图像再提取与关注部位相关的诊断辅助信息。
[0128]
根据以上的实施方式，光源部140向被摄体射出彼此光量不同的第一照明光～第k照明光。第一处理电路110根据来自摄像部的图像信号，获取与第一照明光～第k照明光对应的第一候选图像～第k候选图像。第一处理电路110根据第一候选图像～第k候选图像生成显示图像，并且向第二处理电路120输出第一候选图像～第k候选图像。第二处理电路120根据从第一候选图像～第k候选图像中选择的图像提取诊断辅助信息。而且，第二处理电路120根据诊断辅助信息从第一候选图像～第k候选图像中再次选择图像。
[0129]
另外，在本实施方式中，第二处理电路120根据再次选择的图像再提取诊断辅助信息。第一处理电路110对显示图像进行基于由第二处理电路120再提取的诊断辅助信息的图像处理。
[0130]
根据本实施方式，根据诊断辅助信息对从多个候选图像中选择哪个图像进行反馈控制。由此，能够为了提取诊断辅助信息而获取适当的明亮度的图像。而且，通过根据该图像再提取诊断辅助信息，能够提取精度更高的诊断辅助信息。而且，该反馈控制是独立于对显示图像的调光控制的控制。由此，能够对作业者容易观察的明亮度的图像附加精度较高的辅助显示信息。而且，第二处理电路120进行反馈控制，因此不需要改变以往的调光系统等。
[0131]
另外，在本实施方式中，光源部140射出彼此颜色不同的第一光～第m光。这时，光源部140可以使第一光～第m光中的全部光的光量不同而射出第一照明光～第k照明光，也可以使第一光～第m光中的一部分光的光量不同而射出第一照明光～第k照明光。例如，在诊断辅助部121从v图像和g图像提取诊断辅助信息的情况下，照明光控制电路150也可以使光源lda、ldc的光量不同。
[0132]
6.第五实施方式
[0133]
在第五实施方式中，内窥镜装置10根据提取的病变部切换照明光的波长或光量比。由此，可期待诊断辅助信息的准确度提高。
[0134]
在被摄体为活体的情况下，已知关注部位的种类与适于其观察的照明光的波长或光量比的关系。在本实施方式中，内窥镜装置10根据关注部位的种类自动切换照明光的波长或光量比。
[0135]
例如，在诊断辅助部121从图像检测到癌的可能性的情况下，照明光控制电路150使波长与血红蛋白的吸收特性相符从而使紫色光和绿色光从光源部140射出。照明光控制电路150将紫色光的光量：绿色光的光量改变为10：1～2：1左右。即，照明光控制电路150改变为紫色光的光量为较高的光量比。由此，得到血管的对比度提高的图像，从而提高由ai提取的癌的种类或分期、浸润度等的信息的准确度。
[0136]
例如，在静脈注射了icg(吲哚菁绿)的情况下，照明光控制电路150使近红外光从光源部140射出。在该情况下，光源部140还包含产生近红外光的光源。近红外光具有800nm
±
20nm左右的波长。摄像元件获取比照明光稍靠长波长侧的红外光的图像。由此，能够得到被照明光激励而从icg发出的荧光的图像，从而由ai提取的病变部的区域或边界等的准确度提高。
[0137]
另外，例如，照明光控制电路150也可以根据存在于关注部位的特征物质来控制照明光的波长或光量比。例如特征物质为血红蛋白或胡萝卜素、icg等。
[0138]
另外，例如，在有癌的可能性的情况下，将照明光切换为nbi等特殊光模式。由此，能够得到特殊光图像，从而能够提高病变部的分类的准确度，并且能够使用基于nbi图像等的机器学习的结果程序。
[0139]
也优选以调整前的照明光与调整后的照明光交替的方式使照明光进行照明。这时，显示图像也可以替换为调整后的图像，显示图像也可以维持是调整前的图像。前者能够显示关注部位的可视性提高的图像。后者则观察中途图像没有变化从而容易观察。
[0140]
图9是第五实施方式中的发光顺序的第一例。在从t1到t2中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda～lde发光。由此得到白色光图像，并在显示部300显示该白色光图像。在从t2到t1’中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda、ldc发光。例如lda的光量：ldc的光量为1：1。由此得到辅助用图像，从而诊断辅助部121从该辅助用图像提取诊断辅助信息，并向照明光控制电路150输出该诊断辅助信息。这时，得到表示有癌的可能性的诊断辅助信息。
[0141]
在从t1’到t2’中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda～lde发光。由此得到白色光图像，并在显示部300显示该白色光图像。在从t2’到t1”中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda、ldc发光。lda的光量：ldc的光量为10：1～2：1。由此得到辅助用图像，从而诊断辅助部121从该辅助用图像再提取与关注部位相关的诊断辅助信息。
[0142]
图10是第五实施方式中的发光顺序的第二例。在从t1到t2中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda～lde发光。由此得到白色光图像，并在显示部300显示该白色光图像。在从t2到t1’中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda、ldc发光。由此得到辅助用图像，从而诊断辅助部121从该辅助用图像提取诊断辅助信息，并向照明光控制电路150输出该诊断辅助信息。这时，
得到表示关注部位是病变部的诊断辅助信息。而且，为了分析该病变部，适当的光例如为橙色光。
[0143]
在从t1’到t2’中的、除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源lda～lde发光。由此得到白色光图像，并在显示部300显示该白色光图像。在从t2’到t1”中的除了摄像元件的读出期间以外的期间中，照明光控制电路150使光源ldd发光。由此得到辅助用图像，从而诊断辅助部121从该辅助用图像再提取与关注部位相关的诊断辅助信息。
[0144]
根据以上的实施方式，照明光控制电路150根据诊断辅助信息控制辅助用照明光的光量、波长以及光量比中的至少一个。另外，第一实施方式记载了控制光量的例子。照明光控制电路150可以仅控制光量、波长以及光量比中的任意一个，也可以控制光量、波长以及光量比中的任意两个，也可以控制光量、波长以及光量比全部。
[0145]
根据本实施方式，根据诊断辅助信息对照明光的光量、波长以及光量比中的至少一个进行反馈控制，由此能够为了再提取诊断辅助信息而得到最佳的照明光。
[0146]
另外，在本实施方式中，光源部140射出彼此颜色不同的第一光～第m光作为照明光。m为2以上的整数。在控制光量的情况下，照明光控制电路150根据诊断辅助信息控制第一光～第m光中作为辅助用照明光的光的光量。在控制波长的情况下，照明光控制电路150根据诊断辅助信息从第一光～第m光中选择一个或多个光作为辅助用照明光。在控制光量比的情况下，照明光控制电路150根据诊断辅助信息控制第一光～第m光中作为辅助用照明光的多个光之间的光量比。
[0147]
在图1的结构例中，m＝5，第一光～第m光是光源lda～lde射出的五个光。例如在图4中，辅助用照明光是在从t2到t1’的期间光源lda、ldc射出的光。照明光控制电路150根据诊断辅助信息控制这些光的光量。或者，在图10中，从t2’到t1”的期间的辅助用照明光是光源ldd射出的光。照明光控制电路150根据诊断辅助信息选择该光。或者，在图9中，从t2’到t1”的期间的辅助用照明光是光源lda、ldc射出的光。照明光控制电路150根据诊断辅助信息控制这些光的光量比。
[0148]
根据本实施方式，将彼此颜色不同的第一光～第m光作为照明光，由此能够独立地控制各光。通过独立地控制各光，能够控制照明光的光量、波长以及光量比的至少一个。
[0149]
另外，在本实施方式中，诊断辅助信息包含被摄体所包含的关注部位的种类信息。照明光控制电路150根据该种类信息，控制辅助用照明光的波长、光量或光量比。关注部位的种类例如是病变或出血、炎症等。或者，在关注部位是病变的情况下，关注部位的种类是病变的种类，例如息肉或癌等。
[0150]
如上所述，已知关注部位的种类与适于其观察的照明光的波长或光量比的关系。根据本实施方式，能够根据关注部位的种类选择适当的照明光的波长或光量比。或者，能够根据关注部位的种类选择适当的照明光的光量。而且，根据以该适当的照明光的波长、光量或光量比而拍摄的图像，能够再提取与关注部位相关的诊断辅助信息。
[0151]
7.诊断辅助部和诊断辅助方法的细节
[0152]
以下，对诊断辅助部121所进行的处理进行说明。另外，以下以辅助用图像是v图像和g图像的情况为例进行说明，但辅助用图像并不限定于此。
[0153]
诊断辅助部121根据能够对比度良好地显示血管的v图像和g图像，通过ai处理生
成诊断辅助信息。在本实施方式中，选定波长能够对比度良好地检测血红蛋白、即血管的图像，因此根据血管的图案或分布等生成诊断辅助信息。例如，可假定癌作为关注部位。
[0154]
在ai处理中，v图像和g图像作为单独的图像被输入。即，诊断辅助部121分别从v图像和g图像提取关注部位，并在存在关注部位的情况下，生成关于该关注部位的诊断辅助信息。在提取到关注部位的情况下，诊断辅助部121将该位置和轮廓等存储于未图示的存储器。诊断辅助部121分别针对v图像和g图像将该信息存储于存储器。诊断辅助部121估计提取的关注部位是否是癌，并在关注部位是癌的情况下，估计该癌的分期或阶段等。诊断辅助部121输出这些估计结果作为诊断辅助信息。作为诊断辅助信息的生成方法，能够使用通常利用的或能够利用的ai技术。关于使用机器学习的情况下的示教数据的准备或选定等，能够利用公知的各种技术。另外，v图像和g图像的合成图像也可以输入到ai处理。
[0155]
作为诊断辅助信息，例如能够假定以下的信息。能够采用以下说明的信息中的一个信息或多个信息的组合作为诊断辅助信息。
[0156]
(1)与场所相关的信息：关注部位的位置、形状以及轮廓。轮廓是区分癌与正常细胞的分界线等。
[0157]
(2)与形态相关的信息：关注部位是凸型的、是平坦的、还是凹型的。或者，关注部位是否是有蒂型的等。
[0158]
(3)与状态相关的信息：关注部位是分散的，还是一处的。在关注部位分散的情况下，关注部位的密集度或者每个关注部位所具有的尺寸等。
[0159]
(4)其他信息：出血的有无、或治疗的疤痕、手术的疤痕、幽门螺旋杆菌去除的有无等。
[0160]
可以将以上(1)～(4)的信息本身作为诊断辅助信息，也可以将对它们进行综合评价而判断出的信息作为诊断辅助信息。例如也可以将(5)、(6)作为诊断辅助信息。
[0161]
(5)与医学的特征相关的信息：关注部位是否是癌。在关注部位是癌的情况下，癌是良性还是恶性，或癌属于i阶段～iv阶段的哪一阶段。
[0162]
(6)与处置相关的信息：与适于关注部位的处置方法、或适于关注部位的手术方法、适于关注部位的施药相关的信息等。
[0163]
例如，使用将上述(1)～(6)的信息与图像信息对应起来而得到的数据作为示教数据，由此能够得到上述(1)～(6)的信息作为ai处理的输出。
[0164]
或者，也可以是诊断辅助部121进行ai处理作为第一处理，并在后面进一步进行第二处理。在该情况下，ai处理中使用将上述(1)～(4)的信息与图像信息对应起来而得到的数据作为示教数据。ai处理输出上述(1)～(4)的信息作为输出。第二处理根据ai处理输出的上述(1)～(4)的信息，生成上述(5)、(6)的信息。第二处理例如通过根据(1)～(4)的信息模仿医生实施的方法而作成的程序来实现。
[0165]
如在第一～第五实施方式中所说明的，诊断辅助部121根据通过调光等再获取的图像再提取诊断辅助信息。例如，诊断辅助部121在第一阶段的分析中，判断图像内是否存在关注部位，并提取该关注部位的位置信息作为诊断辅助信息。诊断辅助部121根据基于该诊断辅助信息再获取的图像，进行第二阶段的分析。诊断辅助部121在第二阶段的分析中，提取上述(1)～(6)的信息，并向第一处理电路110输出该诊断辅助信息。
[0166]
接着，对向作业者提示诊断辅助信息的方法进行说明。
[0167]
第一处理电路110根据诊断辅助信息对显示图像进行图像处理，由此显示与诊断辅助信息对应的辅助显示信息。
[0168]
例如，第一处理电路110根据与位置或轮廓相关的诊断辅助信息，在显示图像叠加表示该位置或轮廓的辅助显示信息。例如在第一实施方式中，大致同时获取六张图像。各图像为大致相同位置和角度的图像。因此，从某个图像提取的关注部位的位置和轮廓的信息在除此以外的图像中也示出大致相同的位置和轮廓。因此，能够省去计算各图像的位置关系并进行运算以使关注部位的位置相同等方法。当然，也可以通过通常已知的技术来运算图像之间的位置信息，由此以位置和轮廓示出相同部位的方式来进行定位。
[0169]
位置和轮廓以外的信息也可以在显示部300的画面中显示于显示有被摄体图像的区域的区域。或者，该信息也可以叠加于被摄体图像。此外，也可以采用通常已知的各种示意方式。
[0170]
8.内窥镜系统
[0171]
在图1中，内窥镜装置10包含第二处理电路120，但第二处理电路120也可以设置于内窥镜装置10的外部。以下，对这种情况下的系统结构例进行说明。
[0172]
图11是内窥镜系统的结构例。内窥镜系统包含内窥镜装置10和处理装置400。在图11中，与内窥镜装置10分开设置的处理装置400包含第二处理电路120。处理装置400例如是pc或服务器等的信息处理装置。而且，处理装置400不限定于一个信息处理装置，例如也可以是与网络连接的云处理系统。
[0173]
内窥镜装置10的控制装置100具有用于对图像和诊断辅助信息进行通信的未图示的接口。能够采用各种装置间接口作为该接口。例如，接口可以是usb或lan等有线通信接口，也可以是无线lan等无线通信接口。
[0174]
以上，对应用了本发明的实施方式以及其变形例进行了说明，但本发明并不限定于各实施方式以及其变形例原样，能够在实施阶段在不脱离发明的主旨的范围内对构成要素进行变形并将其具体化。而且，通过适当组合上述各实施方式或变形例公开的多个构成要素，能够形成各种发明。例如，可以从各实施方式或变形例记载的所有构成要素中删除几个构成要素。进而，也可以适当组合不同的实施方式或变形例中所说明的构成要素。这样，能够在不脱离发明的主旨的范围内进行各种变形或应用。而且，在说明书或附图中，对于至少一次地与更广义或同义的不同用语一起记载的用语，在说明书或附图的任何位置处，都可以将其置换为该不同的用语。
[0175]
标号说明
[0176]
10：内窥镜装置；100：控制装置；110：第一处理电路；120：第二处理电路；121：诊断辅助部；140：光源部；141：光合波光学系统；150：照明光控制电路；200：镜体部；210：插入部；211：照明透镜；212：照明透镜；213：摄像单元；214：导光路；215：图像信号线；220：操作部；230：连接缆线；240：连接器；300：显示部；400：处理装置；600：输入部；dra～dre：驱动电路；lda～lde：光源；ps：第一期间；ps'：第二期间。