医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序与流程

1.本发明涉及一种医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及程序，特别是涉及画面显示。


背景技术：

2.一般的内窥镜系统从内窥镜的插入部的顶端照射照明光，使用摄像元件对观察对象进行摄像，获取观察对象的图像信息。所拍摄的图像显示在监视器上。医生等用户观察显示在监视器上的图像，并进行检查。
3.近年来，能够进行应用了深度学习的高度的自动识别。非专利文献1记载了与应用了深度学习的图像识别相关的技术。在内窥镜系统中，也考虑使用应用深度学习而制作的识别器，自动地进行病变等的检测以及病变等的分类。其中，已知有非专利文献2中记载的被称为ssd(single shot multi box detector)的方法，能够汇总进行检测和分类等。此外，病变等的分类有时可被称为鉴别。
4.专利文献1记载了一种图像处理装置，该图像处理装置根据使用内窥镜系统获取的内窥镜图像来特定应强调的被摄体即生物体粘膜，并对所特定的生物体粘膜进行强调处理。
5.专利文献2记载了基于使用内窥镜系统获取的内窥镜图像来自动地判别及分类病变的种类的内窥镜诊断辅助装置。该文献中记载的装置在内窥镜图像中设定roi(region of interest)，对每个roi计算特征量，并实施使用了特征量的判别分类处理。在该文献中，作为判别分类处理的例子记载有神经网络。
6.专利文献3记载了构成为能够切换普通光观察和特殊光观察的内窥镜系统。该文献中记载的装置根据特殊光图像特定病变部的位置，并根据所特定的位置信息对普通光图像进行加工来提高病变部的可见性。在该文献中，作为普通光图像的加工例，记载有目标色的重叠处理、使用目标色包围病变部的周缘的处理、以及对病变部的普通光图像和特殊光图像进行合成的处理。
7.以往技术文献
8.专利文献
9.专利文献1：日本专利第6176979号公报
10.专利文献2：日本专利第4451460号公报
11.专利文献3：日本专利第5658873号公报
12.非专利文献
13.非专利文献1：a.krizhevsky，i.sutskever，and g.hinton著、《imagenet classification with deep convolutional neural networks.》、nips(neural information processing systems conference)，2012
14.非专利文献2：pierre sermanet，david eigen，xiang zhang，michael mathieu，
rob fergus，yann lecun著《overfeat：integrated recognition，localization and detectionusing convolutional networks》、iclr(international conference on learning representations)，2014


技术实现要素：

15.发明要解决的技术课题
16.但是，在内窥镜图像等医用图像中，在检测关注区域，将关注区域显示在画面上，对关注区域进行分类，并将分类显示在画面上的情况下，关注区域及分类的报知有可能妨碍医生等实施的观察对象的观察。
17.专利文献1中记载的装置具备用户进行强调处理的接通关闭指示的开关。该装置通过用户操作开关，实施对从摄像图像特定的生物体粘膜区域的强调处理的关闭。
18.在强调处理妨碍生物体粘膜区域的观察的情况下，用户能够关闭强调处理，但如果关闭强调处理，则难以利用应用了强调处理的诊断辅助。
19.在专利文献2记载的装置中，打开报告显示窗来显示包含判断分类结果的诊断辅助信息，因此在打开报告显示窗的情况下，无法观察内窥镜图像中的roi。
20.在专利文献3记载的装置中，提高了病变部的可见性的结果是，可抑制漏看病变部，但在显示方式不合适的情况下，提高病变部的可见性的显示可能会妨碍病变部的观察。
21.本发明是鉴于这样的情况而完成的，其目的在于提供一种可抑制当在医用图像中报知关注区域的强调显示和分类等时妨碍用户等对观察对象的观察，并利用诊断辅助的医用图像处理装置、处理器装置、医用图像处理方法、及程序。
22.用于解决技术课题的手段
23.为了达成上述目的，提供以下的发明方式。
24.第一方式所涉及的医用图像处理装置是如下的一种医用图像处理装置，具备：识别部，其从获取的医用图像中检测关注区域，并对关注区域进行分类；显示控制部，其使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面；以及变更判定部，其判定在显示有强调显示的情况下是否变更强调显示的显示方式、和在显示有分类的情况下是否变更分类的显示方式中的至少任一个，显示控制部在由变更判定部判定为变更强调显示的显示方式的情况下，实施减弱强调显示的强调程度的变更，在由变更判定部判定为变更分类的显示方式的情况下，实施减弱分类的可见性的变更。
25.根据第一方式，在用户观察观察对象时，可抑制强调显示和分类中的至少任一个妨碍观察。另外，用户在观察观察对象时，可利用强调显示和分类中的至少任一个。
26.关注区域的强调可应用在视觉上强调关注区域的方式。
27.第二方式可以构成为，在第一方式的医用图像处理装置中，具备指令信号获取部，其获取操作部被操作时所发送的指令信号，变更判定部在指令信号获取部获取了表示变更强调显示的显示方式的指令信号的情况下，判定为变更强调显示的显示方式，在指令信号获取部获取了表示变更分类的显示方式的指令信号的情况下，判定为变更分类的显示方式。
28.根据第二方式，在操作部被操作时，可实施关注区域的显示方式的变更以及关注
区域的分类的显示方式的变更。
29.第三方式可以构成为，在第一方式或第二方式的医用图像处理装置中，具备分类实施信号获取部，其获取表示是否实施了关注区域的分类的分类实施信号，变更判定部在分类实施信号获取部获取了表示正在实施关注区域的分类的分类实施信号的情况下，判定为变更强调显示的显示方式。
30.根据第三方式，在实施了关注区域的分类时，可实施关注区域的显示方式的变更以及分类的显示方式的变更。
31.第四方式可以构成为，在第一方式至第三方式中的任一方式中，具备处置器具动作判定部，其判定处置器具是否正在动作，变更判定部在处置器具动作判定部判定为处置器具正在动作的情况下，判定为变更强调显示的显示方式，或者判定为变更分类的显示方式，或者判定为变更强调显示及分类的显示方式。
32.根据第四方式，在处置器具正在动作时，可实施关注区域的显示方式的变更以及分类的显示方式的变更。
33.第五方式可以构成为，在第一方式至第四方式中的任一方式的医用图像处理装置中，识别部具备：多个小型化(downsizing)处理部，其实施使输入图像的尺寸阶段性地缩小的处理；以及特征图生成部，其根据多个小型化处理部的各自的输出图像生成特征图。
34.第六方式可以构成为，在第五方式的医用图像处理装置中，小型化处理部具备对输入图像实施池化处理的池化处理部、和对输入图像实施卷积处理的卷积处理部的至少任一个。
35.根据第六方式，在关注区域的检测及关注区域的分类中，可应用卷积神经网络。
36.第七方式可以构成为，在第五方式或第六方式的医用图像处理装置中，识别部具备关注区域识别部，该关注区域识别部根据使用特征图生成部生成的多个特征图，实施关注区域的特定和关注区域的分类中的至少任一个。
37.根据第七方式，可对关注区域的检测和关注区域的分类中的至少任一个应用表示输入图像的特征的特征图。
38.第八方式可以构成为，在第七方式的医用图像处理装置中，关注区域识别部基于多个特征图的重叠程度，实施关注区域的检测及关注区域的分类。
39.根据第八方式，可提高关注区域的检测精度及关注区域的分类精度。
40.第九方式可以构成为，在第一方式至第八方式中的任一方式的医用图像处理装置中，识别部具备参数存储部，该参数存储部存储对至少一个图像汇总地学习了关注区域的检测及关注区域的分类而得到的参数。
41.根据第九方式，可使关注区域的检测处理的一部分和关注区域的分类处理的一部分共通化。
42.第十方式可以构成为，在第一方式至第九方式中的任一方式的医用图像处理装置中，显示控制部在强调显示中应用包围关注区域的闭合曲线，在变更强调显示的显示方式时，变更闭合曲线的色彩、浓度以及线的种类中的至少任一个。
43.根据第十方式，在强调显示中应用闭合曲线的情况下，能够有效地减弱强调显示。
44.第十一方式可以构成为，在第一方式至第十方式中的任一方式的医用图像处理装置中，显示控制部在变更强调显示的显示方式时，使强调显示移动到减弱强调显示的可见
性的位置。
45.根据第十一方式，可抑制强调显示妨碍观察。
46.第十二方式可以构成为，在第一方式至第十一方式中的任一方式的医用图像处理装置中，显示控制部应用表示分类内容的文字信息作为表示关注区域的分类的分类信息，在变更关注区域的分类的显示方式时，使文字信息移动到减弱文字信息的可见性的位置。
47.根据第十二方式，可抑制表示关注区域的分类内容的文字信息妨碍观察。
48.第十三方式可以构成为，在第十二方式的医用图像处理装置中，显示控制部在变更关注区域的分类的显示方式时，使文字信息的位置移动到表示观察对象的图像的显示区域之外。
49.根据第十三方式，文字信息与表示观察对象的图像不重叠。由此，可抑制文字信息妨碍观察。
50.第十四方式可以构成为，在第十三方式的医用图像处理装置中，显示控制部在检测到多个关注区域的情况下，维持多个关注区域的位置关系，使表示多个关注区域各自的分类的多个文字信息移动到表示观察对象的图像的显示区域之外。
51.根据第十四方式，可使用多个分类的位置关系来掌握表示观察对象的图像中的多个关注区域的位置关系。
52.第十五方式可以构成为，在第十二方式至第十四方式中的任一方式的医用图像处理装置中，显示控制部在变更关注区域的分类的显示方式时，作为文字信息仅显示表示分类之意的字符串的首字符。
53.根据第十五方式，可减弱分类的可见性，并且掌握分类的内容。
54.第十六方式所涉及的处理器装置是如下的一种处理器装置，具备：内窥镜控制部，其控制内窥镜；识别部，其从使用内窥镜获取的医用图像中检测关注区域，对关注区域进行分类；显示控制部，其使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面；以及变更判定部，其判定在显示有强调显示的情况下是否变更强调显示的显示方式、和在显示有分类的情况下是否变更分类的显示方式中的至少任一个，显示控制部在由变更判定部判定为变更强调显示的显示方式的情况下，实施减弱强调显示的强调程度的变更，在由变更判定部判定为变更分类的显示方式的情况下，实施减弱分类的可见性的变更。
55.根据第十六方式，能够得到与第一方式同样的效果。
56.在第十六方式中，可适当组合与在第二方式至第十五方式中特定的事项同样的事项。在该情况下，可将在医用图像处理装置中所特定的承担处理或功能的构成要素作为承担与其对应的处理或功能的处理器装置的构成要素来掌握。
57.第十七方式所涉及的内窥镜系统是如下的一种内窥镜系统，具备：内窥镜；处理器装置，其控制内窥镜；以及图像处理装置，其对使用内窥镜获取的内窥镜图像实施处理，其中，在所述内窥镜系统中，图像处理装置具备：识别部，其从获取的医用图像中检测关注区域，对关注区域进行分类；显示控制部，其使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面上；以及变更判定部，其判定在显示有强调显示的情况下是否变更强调显示的显示方式、以及在显示有分类的情况下是否变更分类的显示方式中的至少任一个，显示控制部在由变更判定部判定为变更强
调显示的显示方式的情况下，实施减弱强调显示的强调程度的变更，在由变更判定部判定为变更分类的显示方式的情况下，实施减弱分类的可见性的变更。
58.根据第十七方式，能够得到与第一方式同样的效果。
59.在第十七方式中，可适当组合与在第二方式至第十五方式中特定的事项同样的事项。在该情况下，可将在图像处理装置中所特定的承担处理或功能的构成要素作为承担与其对应的处理或功能的内窥镜系统的构成要素来掌握。
60.第十八方式所涉及的医用图像处理方法是如下的一种医用图像处理方法，包括：识别工序，其从获取的医用图像检测关注区域，并对关注区域进行分类；显示工序，使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面；以及变更判定工序，判定在显示有强调显示的情况下是否变更强调显示的显示方式、以及在显示有分类的情况下是否变更分类的显示方式中的至少任一个，显示工序在由变更判定工序判定为变更强调显示的显示方式的情况下，实施减弱强调显示的强调程度的变更，在由变更判定工序判定为变更分类的显示方式的情况下，实施减弱分类的可见性的变更。
61.根据第十八方式，能够得到与第一方式同样的效果。
62.在第十八方式中，可适当组合与在第二方式至第十五方式中特定的事项同样的事项。在该情况下，可将在医用图像处理装置中所特定的承担处理或功能的构成要素作为承担与其对应的处理或功能的医用图像处理方法的构成要素来掌握。
63.第十九方式所涉及的程序是如下的一种程序，其使计算机实现：识别功能，其从获取的医用图像中检测关注区域，并对关注区域进行分类；显示功能，使对关注区域进行强调的强调显示及关注区域的分类显示在与显示医用图像中所包含的观察对象的画面相同的画面上；以及变更判定功能，判定在显示有强调显示的情况下是否变更强调显示的显示方式、以及在显示有分类的情况下是否变更分类的显示方式中的至少任一个，其中，在所述程序中，显示功能在使用变更判定功能判定为变更强调显示的显示方式的情况下，实施减弱强调显示的强调程度的变更，在使用变更判定功能判定为变更分类的显示方式的情况下，实施减弱分类的可见性的变更。
64.根据第十九方式，能够得到与第一方式同样的效果。
65.在第十九方式中，可适当组合与在第二方式至第十五方式中特定的事项同样的事项。在该情况下，可将在医用图像处理装置中所特定的承担处理或功能的构成要素作为承担与其对应的处理或功能的程序的构成要素来掌握。
66.发明效果
67.根据本发明，在用户观察观察对象时，可抑制强调显示和分类中的至少任一个妨碍观察。另外，用户在观察观察对象时，可利用强调显示和分类中的至少任一个。
附图说明
68.图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。
69.图2是表示医用图像处理装置的硬件结构的框图。
70.图3是实施方式所涉及的医用图像处理装置的功能框图。
71.图4是表示实施方式所涉及的医用图像处理方法的步骤的流程图。
72.图5是内窥镜图像的说明图。
73.图6是关注区域的强调显示及关注区域的分类显示的说明图。
74.图7是强调显示的显示方式的变更的说明图。
75.图8是强调显示的显示方式的变更的另一方式的说明图。
76.图9是使强调显示的位置移动的显示方式的说明图。
77.图10是分类的显示方式的变更的说明图。
78.图11是分类的显示方式的变更的另一方式的说明图。
79.图12是卷积神经网络的说明图。
具体实施方式
80.以下，根据附图详细说明本发明的优选实施方式。在本说明书中，对相同的构成要素标注相同的参照符号，适当省略重复的说明。
81.[内窥镜系统的整体结构]
[0082]
图1是包括实施方式所涉及的医用图像处理装置的内窥镜系统的整体结构图。图1所示的内窥镜系统9具备内窥镜10、光源装置11、处理器装置12、显示装置13、医用图像处理装置14、输入装置15、以及监视器装置16。
[0083]
图1所示的内窥镜10是电子内窥镜，并且是软性内窥镜。内窥镜10具备插入部20、操作部21、以及通用塞绳22。插入部20被插入受检体内。插入部20整体形成为细径且长条状。
[0084]
插入部20具备软性部25、弯曲部26及顶端部27。插入部20通过连续设置软性部25、弯曲部26及顶端部27而构成。软性部25从插入部20的基端侧朝向顶端侧依次具有挠性。弯曲部26具有在操作部21被操作的情况下能够弯曲的结构。顶端部27内置有未图示的摄像光学系统和摄像元件28等。
[0085]
摄像元件28应用cmos型摄像元件或ccd型摄像元件。此外，cmos是complementary metal oxide semiconductor的缩写。ccd是charge coupled device的缩写。
[0086]
顶端部27的顶端面27a配置未图示的观察窗。观察窗是形成在顶端部27的顶端面27a上的开口。观察窗安装有未图示的盖。
[0087]
在观察窗的后方配置未图示的摄像光学系统。被观察部位的像光经由观察窗和摄像光学系统等入射到摄像元件28的摄像面上。摄像元件28对入射到摄像元件28的摄像面的被观察部位的像光进行摄像，并输出摄像信号。在此所说的摄像包含将来自被观察部位的反射光转换为电信号这样的意思。
[0088]
操作部21连接设置在插入部20的基端侧。操作部21具备施术者进行操作的各种操作部件。具体而言，操作部21具有两种弯曲操作旋钮29。弯曲操作旋钮29在对弯曲部26进行弯曲操作时使用。此外，施术者可包括医生、操作者、观察者、以及用户等。
[0089]
操作部21具有供气供水按钮30和吸引按钮31。供气供水按钮30在施术者进行供气供水操作时使用。吸引按钮31在施术者进行吸引操作时使用。
[0090]
操作部21具备静止图像拍摄指示部32和处置器具导入口33。静止图像拍摄指示部32具备在拍摄被观察部位的静止图像时由施术者操作的按钮。
[0091]
处置器具导入口33是将处置器具插入插通了插入部20内部的处置器具插通通路
内部的开口。此外，省略处置器具插通通路和处置器具的图示。
[0092]
通用塞绳22是将内窥镜10与光源装置11连接的连接塞绳。通用塞绳22内置有插通了插入部20内部的光导35、信号电缆36以及未图示的流体管。
[0093]
另外，通用塞绳22的顶端部具备与光源装置11连接的连接器37a、以及从连接器37a分支且与处理器装置12连接的连接器37b。
[0094]
在连接器37a与光源装置11连接时，光导35及未图示的流体管被插入光源装置11。由此，经由光导35以及未图示的流体管，从光源装置11对内窥镜10供给必要的照明光、水等液体、以及空气等气体。
[0095]
其结果是，从顶端部27的顶端面27a的未图示的照明窗朝向被观察部位照射照明光。另外，根据供气供水按钮30的按下操作，从顶端部27的顶端面27a的未图示的供气供水喷嘴向顶端面27a的未图示的观察窗喷射气体或水。此外，被观察部位有时可被称为观察对象、检查对象等。
[0096]
在连接器37b与处理器装置12连接时，信号电缆36与处理器装置12电连接。由此，经由信号电缆36从内窥镜10的摄像元件28向处理器装置12输出被观察部位的摄像信号，并且从处理器装置12向内窥镜10输出控制信号。
[0097]
在本实施方式中，作为内窥镜10列举软性内窥镜进行了说明，但作为内窥镜10也可以使用硬性内窥镜等可对被观察部位进行动态图像拍摄的各种电子内窥镜。
[0098]
光源装置11经由连接器37a向内窥镜10的光导35供给照明光。照明光可应用白色光或特定波长频带的光。照明光可以将白色光及特定波长频带的光的组合。光源装置11构成为能够适当选择与观察目的对应的波长频带的光作为照明光。
[0099]
白色光可以是白色波长频带的光或多个波长频带的光中的任一种。特定波长频带是比白色波长频带窄的频带。特定波长频带的光可以应用一种波长频带的光，也可以应用多个波长频带的光。特定波长频带有时被称为特殊光。
[0100]
处理器装置12经由连接器37b和信号电缆36向内窥镜10发送指令信号，控制内窥镜10的动作。另外，处理器装置12经由连接器37b和信号电缆36从内窥镜10的摄像元件28获取摄像信号。即，处理器装置12应用规定的帧率来获取从内窥镜10输出的摄像信号。
[0101]
处理器装置12基于从内窥镜10获取的摄像信号，生成作为被观察部位的观察图像的内窥镜图像38。在此所说的内窥镜图像38中包含运动图像。内窥镜图像38也可以包含静止图像39。此外，运动图像附加符号38a而图示在图3中。实施方式中所示的内窥镜图像38是医用图像的一例。
[0102]
当操作部21的静止图像拍摄指示部32被操作时，处理器装置12与运动图像的生成并行地基于从摄像元件28获取的摄像信号生成被观察部位的静止图像39。也可以针对运动图像的分辨率以高分辨率生成静止图像39。
[0103]
在生成内窥镜图像38时，处理器装置12进行应用了白平衡调整以及阴影校正等数字信号处理的画质校正。处理器装置12也可以将由dicom标准规定的附带信息附加于内窥镜图像38。此外，dicom是digital imaging and communications in medicine的缩写。实施方式中所示的处理器装置是具备控制内窥镜的内窥镜控制部的处理器装置的一例。
[0104]
处理器装置12将内窥镜图像38分别输出到显示装置13和医用图像处理装置14。处理器装置12也可以按照依据dicom标准的通信协议，经由未图示的通信网络向未图示的存
储装置输出内窥镜图像38。此外，通信网络可应用图2所示的通信网络140。
[0105]
显示装置13连接到处理器装置12。显示装置13显示从处理器装置12发送来的内窥镜图像38。施术者可一边确认显示装置13所显示的内窥镜图像38，一边进行插入部20的插拔操作等。当在被观察部位检测到病变等时，施术者可操作静止图像拍摄指示部32来拍摄被观察部位的静止图像。
[0106]
医用图像处理装置14可应用计算机。输入装置15使用可与计算机连接的键盘及鼠标等。输入装置15与计算机之间的连接可以是有线连接或无线连接中的任一种。监视器装置16使用可与计算机连接的各种监视器。
[0107]
作为医用图像处理装置14，可以应用工作站及服务器装置等诊断辅助装置。在该情况下，输入装置15和监视器装置16分别设置在与工作站等连接的多个终端的每一个上。而且，作为医用图像处理装置14，也可以使用进行医疗报告等的制作辅助的诊疗业务辅助装置。
[0108]
医用图像处理装置14进行内窥镜图像38的获取以及内窥镜图像38的存储。医用图像处理装置14进行监视器装置16的再现控制。此外，本说明书中的所谓图像这一用语包含表示图像的电信号以及表示图像的信息等图像数据这样的意思。本说明书中的所谓图像这一用语是指图像本身和/或图像数据中的至少任一个。
[0109]
另外，图像的存储这一用语可以换称为图像的保存以及图像的存储等。在此所说的图像的存储是指图像的非暂时性存储。医用图像处理装置14也可以具备暂时存储图像的暂时存储用的存储器。
[0110]
输入装置15用于输入针对医用图像处理装置14的操作指示。监视器装置16在医用图像处理装置14的控制下进行内窥镜图像38的显示。监视器装置16也可以作为医用图像处理装置14中的各种信息的显示部发挥功能。
[0111]
医用图像处理装置14可经由图1中未图示的通信网络与未图示的存储装置连接。图像的存储形式、以及经由通信网络的各装置间的通信可应用dicom标准、以及依据dicom标准的协议等。
[0112]
未图示的存储装置可应用非暂时性存储数据的存储器等。也可以使用未图示的服务器装置来管理存储装置。服务器装置可应用存储并管理各种数据的计算机。
[0113]
[医用图像处理装置的硬件结构]
[0114]
图2是表示医用图像处理装置的硬件结构的框图。图2所示的医用图像处理装置14具备处理器120、存储器122、存储装置124、网络控制器126、电源装置128、显示控制器130、输入输出接口132、以及输入控制器134。此外，图2所示的i/o表示输入输出接口。
[0115]
处理器120、存储器122、存储装置124、网络控制器126、显示控制器130和输入输出接口132经由总线136可数据通信地连接。
[0116]
〔处理器〕
[0117]
处理器120作为医用图像处理装置14的整体控制部、各种运算部以及存储控制部发挥功能。处理器120执行存储在存储器122所具备的rom(read only memory)中的程序。
[0118]
处理器120也可以经由网络控制器126从未图示的外部存储装置下载程序，并执行下载的程序。外部存储装置也可以经由通信网络140与医用图像处理装置14可通信地连接。
[0119]
处理器120将存储器122所具备的ram(random access memory)作为运算区域，与
各种程序协作来执行各种处理。由此，实现医用图像处理装置14的各种功能。
[0120]
处理器120控制从存储装置124读出数据以及向存储装置124写入数据。处理器120可以经由网络控制器126从外部存储装置获取各种数据。处理器120可使用所获取的各种数据执行运算等各种处理。
[0121]
处理器120可以包括一个或两个以上的器件。作为器件的一例，可举出fpga(field programmable gate array)以及pld(programmable logic device)等。fpga和pld是可在制造后变更电路结构的器件。
[0122]
作为器件的另一示例，可举出asic(application specific integrated circuit)。asic具备专门用于执行特定处理而设计的电路结构。
[0123]
处理器120可应用相同种类的两个以上的器件。例如，处理器120可以使用两个以上的fpga，也可以使用两个pld。处理器120可应用不同种类的两种以上的器件。例如，处理器120可应用一个以上的fpga和一个以上的asic。
[0124]
在具备多个处理器120的情况下，多个处理器120也可以使用一个器件构成。作为使用一个器件构成多个处理器120的一例，有使用一个以上的cpu(centralprocessing unit)与软件的组合构成一个器件，并将该器件作为多个处理器120发挥功能的形态。此外，本说明书中的软件与程序同义。
[0125]
作为由一个器件构成多个处理器120的另一例，可举出使用由一个ic芯片实现包括多个处理器120的系统整体的功能的器件的形态。作为由一个ic芯片实现包括多个处理器120的系统整体的功能的器件的代表例，可举出soc(system on chip)。此外，ic是integrated circuit的缩写。像这样，可使用一个以上的各种器件作为硬件结构来构成处理器120。
[0126]
〔存储器〕
[0127]
存储器122包括未图示的rom和未图示的ram。rom存储在医用图像处理装置14中执行的各种程序。rom存储用于执行各种程序的参数和文件等。ram作为数据的临时存储区域和处理器120的工作区域等发挥功能。
[0128]
〔存储装置〕
[0129]
存储装置124临时存储各种数据。存储装置124也可以外置于医用图像处理装置14的外部。也可以代替存储装置124、或与其并用地应用大容量半导体存储器装置。
[0130]
〔网络控制器〕
[0131]
网络控制器126控制与外部装置之间的数据通信。数据通信的控制可以包括对数据通信的业务(traffic)的管理。经由网络控制器126连接的通信网络140可应用lan等公知的通信网络。
[0132]
〔电源装置〕
[0133]
电源装置128应用ups(uninterruptible power supply)等大容量型电源装置。电源装置128在由于停电等而切断商用电源时，向医用图像处理装置14的各部供给电源。
[0134]
〔显示控制器〕
[0135]
显示控制器130作为基于从处理器120发送的指令信号来控制监视器装置16的显示驱动器发挥功能。
[0136]
〔输入输出接口〕
[0137]
输入输出接口132可通信地连接医用图像处理装置14和外部设备。输入输出接口132可应用usb(universal serial bus)等通信标准。
[0138]
〔输入控制器〕
[0139]
输入控制器134将使用输入装置15输入的信号的形式转换为适于医用图像处理装置14的处理的形式。经由输入控制器134从输入装置15输入的信息经由处理器120向各部发送。
[0140]
此外，图2所示的医用图像处理装置14的硬件结构只是一例，可以适当地进行追加、删除以及变更。另外，图2所示的硬件结构也可应用于图1所示的处理器装置12。
[0141]
[医用图像处理装置的功能块]
[0142]
图3是实施方式所涉及的医用图像处理装置的功能框图。医用图像处理装置14具备图像获取部40、识别部42、显示控制部44、存储部46以及变更判定部48。此外，在本实施方式中，图2所示的医用图像处理装置14的处理器120执行图像获取部40、识别部42、显示控制部44、变更判定部48的功能。另外，图2所示的存储装置124执行存储部46的功能。此外，图像获取部40、识别部42、显示控制部44、变更判定部48的功能也可以通过一个或多个通用目的处理器(例如，微处理器)、以及一个或多个特殊目的处理器(例如，asic、fpga)等的组合来实现。
[0143]
〔图像获取部〕
[0144]
图像获取部40从处理器装置12获取使用内窥镜10拍摄到的内窥镜图像38。图像获取部40将内窥镜图像38存储到内窥镜图像存储部46a中。
[0145]
图像获取部40也可以经由存储卡等信息存储介质从处理器装置12获取内窥镜图像38。图像获取部40也可以经由图2所示的通信网络140获取内窥镜图像38。
[0146]
图像获取部40可获取由时间序列的帧图像38b构成的运动图像38a。图像获取部40在运动图像38a的拍摄途中实施了静止图像拍摄的情况下，可获取静止图像39。
[0147]
〔识别部〕
[0148]
识别部42具备关注区域检测部42a、强调显示设定部42b、以及分类部42c、分类显示设定部42d。识别部42应用cnn(convolutional neural network)等学习器，从内窥镜图像38中检测关注区域。识别部42设定对关注区域进行强调的强调显示。识别部42应用学习，对关注区域进行分类。
[0149]
关注区域检测部42a从使用图像获取部40获取的内窥镜图像38中检测关注区域。关注区域检测部42a将内窥镜图像38与内窥镜图像38中的关注区域的对(pair)作为正解数据，应用实施了学习的已学习的学习器。关注区域检测部42a将从内窥镜图像38检测到的关注区域存储到关注区域存储部46b。
[0150]
强调显示设定部42b设定对从内窥镜图像38检测到的关注区域进行强调的强调显示。强调显示设定部42b特定关注区域的位置和关注区域的尺寸，根据关注区域的位置和关注区域的尺寸，特定强调显示的位置和强调显示的尺寸。强调显示设定部42b将包含强调显示的位置和强调显示的尺寸的强调显示的信息与关注区域相关联地进行存储。
[0151]
强调显示设定部42b可将包围关注区域的闭合曲线应用于强调显示。包围关注区域的闭合曲线可应用包围关注区域的四边形等多边形、圆、以及任意形状的闭合曲线。包围关注区域的闭合曲线是关注区域内接的多边形和圆、与关注区域重叠的多边形和圆、以及
内部包含关注区域的多边形和圆，可应用与关注区域非接触的多边形和圆等。
[0152]
分类部42c对关注区域进行分类。例如，分类部42c对关注区域是病变还是非病变进行分类。分类部42c也可以特定作为病变的关注区域的疾病名。分类部42c可应用uicc(union for international cancer control)以及tnm分类等标准化的分类。分类部42c将每个关注区域的分类与关注区域的信息相对应地存储到分类存储部46c中。分类显示设定部42d设定由分类部42c分类的关注区域的显示方式。例如，设定是用字符串显示由分类部42c特定的关注区域的疾病名，还是用图画和图标显示。在用字符串显示的情况下，特定文字的浓度或文字的色彩、文字的尺寸。另外，特定针对关注区域的分类的显示位置。
[0153]
此外，tnm中的t是tumor的首字母。tnm中的n是nodes的首字母。tnm中的m是metastasis的首字母。
[0154]
〔显示控制部〕
[0155]
显示控制部44向监视器装置16发送表示使内窥镜图像38显示于监视器装置16的图像等的显示信号。显示控制部44向监视器装置16发送表示关注区域和关注区域的分类的显示信号。显示控制部44向监视器装置16发送监视器装置16的控制信号。
[0156]
监视器装置16显示内窥镜图像38、关注区域、以及关注区域的分类。监视器装置16可将关注区域和关注区域的分类重叠显示在内窥镜图像38上。监视器装置16可在显示内窥镜图像38的区域和所划分的区域中显示关注区域和关注区域的分类。显示控制部44应用规定的更新间隔来更新内窥镜图像38的显示、关注区域的显示、以及关注区域的分类的显示。
[0157]
〔存储部〕
[0158]
存储部46具备内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部48c。内窥镜图像存储部46a存储使用图像获取部40获取的内窥镜图像38。
[0159]
关注区域存储部46b存储关注区域的信息。关注区域存储部46b可存储与检测到关注区域的内窥镜图像38相关联的关注区域的信息。关注区域的信息可应用内窥镜图像38中的关注区域的坐标值和关注区域的形状。
[0160]
关注区域的坐标值可应用于设定强调显示时所应用的强调显示的坐标值。关注区域的形状可包括关注区域的形态和关注区域的面积。
[0161]
分类存储部46c将每个关注区域的分类与关注区域的信息相关联地进行存储。关注区域的信息应用可特定关注区域的编号和符号等。
[0162]
存储部46可应用一个以上的存储元件。即，存储部46可具备与内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部46c分别对应的三个存储元件。另外，内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部46c可分别应用多个存储元件。而且，可使用一个存储元件构成内窥镜图像存储部46a、关注区域存储部46b、以及分类存储部46c中的两个或全部。
[0163]
〔变更判定部〕
[0164]
变更判定部48判定是否变更强调显示的显示方式和关注区域的分类的显示方式中的至少任一个。变更判定部48在获取了表示变更强调区域的显示方式的指令信号的情况下，可判定为变更强调显示的显示方式。
[0165]
变更判定部48向显示控制部44发送表示变更强调显示的显示方式的指令信号。显示控制部44根据接收到的指令信号来变更强调显示的显示方式。
[0166]
此外，实施方式中记载的变更判定部48可包含指令信号获取部作为构成要素，该指令信号获取部获取操作部被操作时所发送的指令信号。
[0167]
例如，在施术者操作施术者所持的把持部的操作按钮49，从内窥镜10向医用图像处理装置14发送表示变更强调显示的显示方式的信号，医用图像处理装置14接收到从内窥镜10发送来的信号的情况下，医用图像处理装置14可变更强调显示的显示方式。作为施术者所持的把持部的例子，可举出图1所示的操作部21。
[0168]
作为强调显示的显示方式的变更的例子，可举出降低强调显示的浓度而使其变淡、将强调显示的色彩变更为较淡的色彩、在应用实线的闭合曲线的情况下将实线变更为虚线等、以及使强调显示移动等不关闭强调显示而是减弱强度的例子。在不关闭强调显示而是减弱强度时，优选减弱至能够视觉辨认强调显示。
[0169]
另外，在识别为施术者实施了关注区域的分类的情况下，医用图像处理装置14可变更强调显示的显示方式。作为施术者实施了关注区域的分类的情况的例子，可举出实施了从普通光向特殊光的变更的情况。
[0170]
此外，实施方式所记载的变更判定部48可包含分类实施信号获取部作为构成要素，该分类实施信号获取部获取表示是否实施了关注区域的分类的分类实施信号。
[0171]
而且，在识别为实施了处置动作的情况下，医用图像处理装置14可变更强调显示的显示方式。作为识别为实施了处置动作的情况的例子，可举出在内窥镜图像38中拍摄到处置器具的情况。
[0172]
此外，实施方式所记载的变更判定部48可包括判定处置器具是否正在动作的处置器具动作判定部作为构成要素。
[0173]
变更判定部48在获取了表示变更关注区域的分类的显示方式的指令信号的情况下，可判定为变更关注区域的分类的显示方式。变更判定部48向显示控制部44发送表示变更关注区域的分类的显示方式的指令信号。显示控制部44根据接收到的指令信号来变更关注区域的分类的显示方式。
[0174]
例如，在施术者操作施术者所持有的把持部的操作按钮49，从内窥镜10向医用图像处理装置14发送表示变更关注区域的分类的显示方式的信号，医用图像处理装置14接收到从内窥镜10发送来的信号的情况下，医用图像处理装置14可变更关注区域的分类的显示方式。
[0175]
作为关注区域的分类的显示方式的变更例，可举出降低表示分类的文字的浓度、将表示分类的文字的色彩变更为较淡的色彩、减小表示分类的文字的尺寸、以及使表示分类的文字移动的例子。作为关注区域的分类的显示方式的变更的其他例子，可举出省略表示分类的字符串的一部分、将字符串变更为图画和图标等的例子。作为省略字符串的一部分的例子，可举出应用表示字符串的缩写以及应用字符串的首字母的例子。
[0176]
[医用图像处理方法的步骤]
[0177]
图4是表示实施方式所涉及的医用图像处理方法的步骤的流程图。以下说明的医用图像处理方法可以应用于在使用了内窥镜10的检查时获取的内窥镜图像38，也可以应用于从医用图像服务器等获取的内窥镜图像38。
[0178]
在内窥镜图像获取工序s10中，图3所示的图像获取部40从图1所示的处理器装置12获取内窥镜图像38。在内窥镜图像获取工序s10中，图像获取部40向内窥镜图像存储部
46a存储内窥镜图像38。在内窥镜图像获取工序s10之后前进到关注区域检测工序s12。
[0179]
在关注区域检测工序s12中，关注区域检测部42a从构成内窥镜图像38的运动图像38a的任意帧图像38b中检测关注区域。关注区域检测部42a也可以从一幅帧图像38b中检测多个关注区域。
[0180]
在关注区域检测工序s12中，关注区域检测部42a可以从运动图像38a的所有帧图像38b中检测关注区域，也可以从每隔规定期间的帧图像38b中检测关注区域。
[0181]
在关注区域检测工序s12中，关注区域检测部42a将关注区域与帧图像38b的信息相关联地存储到关注区域存储部46b中。在关注区域检测工序s12之后前进到分类工序s14。此外，关注区域检测工序s12相当于检测关注区域的识别工序的一例。
[0182]
在分类工序s14中，分类部42c对每个关注区域实施分类。在分类工序s14中，分类部42c将每个关注区域的分类与关注区域相关联地存储到分类存储部46c中。在分类工序s14之后前进到显示工序s16。此外，分类工序s14相当于对关注区域进行分类的识别工序的一例。
[0183]
在显示工序s16中，强调显示设定部42b对每个关注区域设定强调显示，并向显示控制部44发送强调显示的信息。显示控制部44在显示内窥镜图像38的画面上显示强调显示。
[0184]
在显示工序s16中，分类部42c将每个关注区域的分类的信息发送给分类显示设定部42d，分类显示设定部42d对每个关注区域设定分类的显示方式，并向显示控制部44发送分类的显示方式的信息。显示控制部44在显示内窥镜图像38的画面上显示每个关注区域的分类。在显示工序s16之后前进到强调显示变更判定工序s18。
[0185]
在强调显示变更判定工序s18中，变更判定部48判定是否变更强调显示的显示方式。在强调显示变更判定工序s18中，在变更判定部48判定为不变更强调显示的显示方式的情况下，判定为no，前进到分类显示变更判定工序s20。另一方面，在强调显示变更判定工序s18中，在变更判定部48判定为变更强调显示的显示方式的情况下，判定为yes，前进到强调显示变更工序s22。
[0186]
在分类显示变更判定工序s20中，变更判定部48判定是否变更分类的显示方式。在分类显示变更判定工序s20中，在变更判定部48判定为不变更分类的显示方式的情况下，判定为no，前进到最终帧图像判定工序s26。
[0187]
另一方面，在分类显示变更判定工序s20中，在变更判定部48判定为变更分类的显示方式的情况下，判定为yes，前进到分类显示变更工序s24。此外，强调显示变更判定工序s18和分类显示变更判定工序s20也可以调换顺序。
[0188]
在强调显示变更工序s22中，强调显示设定部42b向显示控制部44发送表示变更了显示方式的强调显示的信息的指令信号。显示控制部44基于接收到的指令信号，变更强调显示的显示方式。在强调显示变更工序s22之后前进到最终帧图像判定工序s26。
[0189]
在分类显示变更工序s24中，分类部显示设定部42d向显示控制部44发送表示变更了显示方式的关注区域的分类的显示方式的信息的指令信号。显示控制部44基于接收到的指令信号，变更关注区域的分类的显示方式。在分类显示变更工序s24之后前进到最终帧图像判定工序s26。
[0190]
在最终帧图像判定工序s26中，医用图像处理装置14判定所显示的内窥镜图像38
是否是最终帧图像。在最终帧图像判定工序s26中，在医用图像处理装置14判定为所显示的内窥镜图像38不是最终帧图像的情况下，判定为no，前进到内窥镜图像获取工序s10。以后，实施从内窥镜图像获取工序s10到最终帧图像判定工序s26的各工序，直到在最终帧图像判定工序s26中判定为yes为止。
[0191]
另一方面，在最终帧图像判定工序s26中，在医用图像处理装置14判定为所显示的内窥镜图像38是最终帧图像的情况下，判定为yes，医用图像处理装置14结束医用图像处理方法。
[0192]
[强调显示的显示方式的变更以及分类的显示方式的变更的具体例]
[0193]
接着，对强调显示的显示方式的变更以及分类的显示方式的变更的具体例进行说明。在以下的说明中，例示使用图1所示的内窥镜10观察大肠而得到的运动图像38a中的任意帧图像38b。此外，观察对象不限于大肠，也可以将食道、胃、以及小肠等作为观察对象。
[0194]
图5是内窥镜图像的说明图。在图5所示的内窥镜图像38中，可见第一病变200、第二病变202、以及第三病变204。在图5中省略了图示，但显示内窥镜图像38的画面可包括显示患者信息的区域、显示操作按钮的区域等。
[0195]
图3所示的关注区域检测部42a将第一病变200检测为第一关注区域201。同样地，关注区域检测部42a将第二病变202检测为第二关注区域203，将第三病变204检测为第三关注区域205。
[0196]
图6是关注区域的强调显示及关注区域的分类显示的说明图。该图所示的内窥镜图像38在与显示内窥镜图像38的画面相同的画面上显示关注区域的强调显示和关注区域的分类。由此，施术者可在不移动视线的情况下视觉辨认内窥镜图像38、关注区域的强调显示、及关注区域的分类。
[0197]
对内窥镜图像38应用边界框作为关注区域的强调显示。边界框应用包围关注区域的四边形。即，与第一病变200对应的第一关注区域201重叠显示第一边界框210。
[0198]
同样地，与第二病变202对应的第二关注区域203重叠显示第二边界框212，与第三病变204对应的第三关注区域205重叠显示第三边界框214。
[0199]
另外，内窥镜图像38作为关注区域的分类重叠显示表示病变的种类的英语单词。即，与第一病变200对应的第一关注区域201在第一边界框210的上侧的位置显示表示非肿瘤性息肉的英语单词即hyperplastic作为第一分类220。
[0200]
同样地，与第二病变202对应的第二关注区域203在第二边界框212的上侧的位置显示表示肿瘤的英语单词即adenoma作为第二分类222。另外，与第三病变204对应的第三关注区域205在第三边界框214的上侧的位置显示表示非肿瘤性息肉的英语单词即hyperplastic作为第三分类224。
[0201]
〔强调显示的显示方式的变更的具体例〕
[0202]
图7是强调显示的显示方式的变更的说明图。该图所示的内窥镜图像38减弱了关注区域的强调显示的强调程度。即，第四边界框210a与图6所示的第一边界框210相比，浓度降低而变淡。
[0203]
同样地，第五边界框212a与第二边界框212相比浓度降低而变淡，第六边界框214a与第三边界框214相比浓度降低而变淡。
[0204]
减弱强调显示的强调程度的显示方式的变更也可以变更强调显示的色彩。作为强
调显示的色彩变更例，可举出从红色向黄色的变更、以及从黑色向灰色的变更等。
[0205]
图8是强调显示的显示方式的变更的另一方式的说明图。该图所示的内窥镜图像38变更了应用于强调显示的闭合曲线的种类。即，第七边界框210b、第八边界框212b、以及第九边界框214b作为线的种类应用了虚线。
[0206]
也可以代替线的种类的变更，或与线的种类的变更并用地变更线的粗细。在使线的粗细变细的情况下，可减弱强调的程度。
[0207]
图9是使强调显示的位置移动的显示方式的说明图。该图所示的内窥镜图像38使边界框的位置移动到不包围关注区域整体的位置。即，第十边界框210c从包围第一关注区域201的位置移动到不包围第一关注区域201的位置。
[0208]
同样地，第十一边界框212c从包围第二关注区域203的位置移动到不包围第二关注区域203的位置，第十二边界框214c从包围第三关注区域205的位置移动到不包围第三关注区域205的位置。
[0209]
虽然省略了图示，但也可以使第十边界框210c、第十一边界框212c、以及第十二边界框214c移动到与内窥镜图像38不重叠的位置。实施方式中记载的与内窥镜图像38不重叠的位置相当于表示观察对象的图像的显示区域之外的一例。
[0210]
〔分类的显示方式的变更的具体例〕
[0211]
图10是分类的显示方式的变更的说明图。该图所示的第四分类220a从与内窥镜图像38重叠的位置移动到与内窥镜图像38不重叠的位置。同样地，第五分类222a和第六分类224a从与内窥镜图像38重叠的位置移动到与内窥镜图像38不重叠的位置。
[0212]
另外，第四分类220a、第五分类222a及第六分类224a的相互的位置关系维持了图5等所示的第一分类220、第二分类222及第三分类224的相互的位置关系。
[0213]
而且，第四分类220a应用省略了应用于第一分类220的字符串的一部分的缩略语。同样地，第五分类222a应用省略了应用于第二分类222的字符串的一部分的缩略语，第六分类224a应用省略了应用于第三分类224的字符串的一部分的缩略语。
[0214]
图11是分类的显示方式的变更的另一方式的说明图。该图所示的第七分类220b应用在第一分类220中应用的字符串hyperplastic的首字母h。第八分类222b应用在第二分类222中应用的字符串adenoma的首字母a。第九分类224b应用在第三分类224中应用的字符串hyperplastic的首字母h。
[0215]
[卷积神经网络的具体例]
[0216]
图12是卷积神经网络的说明图。网络300具有多个层结构，并保持多个权重参数。通过将权重参数从初始值更新为最佳值，未学习模型成为已学习模型。
[0217]
网络300具备输入层310、中间层312和输出层314。中间层312具备第一卷积层320a、第一池化层322a、第二卷积层320b、第二池化层322b、第三卷积层320c和全连接层324。各层具有在边缘连接多个节点的结构。
[0218]
输入层310被输入学习对象的内窥镜图像38。中间层312从内窥镜图像38中提取特征。第一卷积层320a、第二卷积层320b和第三卷积层320c对前一层的节点实施滤波处理以获得特征图。即，第一卷积层320a、第二卷积层320b和第三卷积层320c对节点实施使用了滤波器的卷积运算。
[0219]
第一卷积层320a使用20个滤波器，从32
×
32尺寸的内窥镜图像38中生成20个28
×
28尺寸的特征图。第二卷积层320b从20个14
×
14尺寸的特征图中生成20个10
×
10尺寸的特征图。第三卷积层320c从20个10
×
10尺寸的特征图生成20个5
×
5尺寸的特征图。
[0220]
第一池化层322a通过缩小从第一卷积层320a输出的特征图来生成新的特征图。第二池化层322b通过缩小从第二卷积层320b输出的特征图来生成新的特征图。
[0221]
第一池化层322a从20个28
×
28尺寸的特征图中生成20个14
×
14尺寸的特征图。第二池化层322b从20个10
×
10尺寸的特征图中生成20个5
×
5尺寸的特征图。
[0222]
第一池化层322a和第二池化层322b担负赋予鲁棒性的功能，使得所提取的特征不受平行移动等的影响。此外，中间层312不限于将卷积层和池化层设为一组的情况，也可是卷积层连续的情况、以及包含未图示的标准化层的结构。
[0223]
全连接层324将前一层的所有输出耦合到下一层的所有节点。即，全连接层324将第三卷积层320c的输出耦合到输出层314的所有节点。
[0224]
输出层314输出应用中间层312而从内窥镜图像38中提取的特征。图3所示的识别部42具备从内窥镜图像38中提取关注区域的网络、以及实施关注区域的分类的网络。
[0225]
应用于学习前的网络300中的第一卷积层320a等中的滤波器系数、偏置值以及与全连接层324中的下一层的连接权重被设定为任意初始值。
[0226]
网络300获取从输出层314输出的输出结果、针对输出结果的正解数据，并计算两者间的误差。作为误差的计算方法，可列举出软最大熵(softmax entropy)和s型(sigmoid)等。
[0227]
网络300基于计算出的误差，应用误差传播法来调整网络300的参数。网络300反复实施参数的调整，实施学习直到输出结果与正解数据的误差变小。
[0228]
学习后的网络300输出针对输入图像的关注区域和关注区域的分类中的至少任一个。也可以将输出结果作为正解数据，使用输入图像和输出结果的对来再学习网络300。
[0229]
在中间层312的一部分中对从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络实施共同的处理。因此，可使从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络共用中间层312的一部分的参数。
[0230]
虽然省略了图示，但识别部42具备参数存储部，该参数存储部存储应用于从内窥镜图像38中检测关注区域的网络的参数、以及应用于对关注区域进行分类的网络的参数。
[0231]
从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络可基于特征图的重叠程度，实施关注区域的位置的特定以及关注区域的分类。
[0232]
从内窥镜图像38中检测关注区域的网络和对关注区域进行分类的网络可针对一个内窥镜图像38汇总学习关注区域的检测和关注区域的分类。
[0233]
实施方式中记载的多个卷积层相当于实施使输入图像的尺寸阶段性地缩小的处理的多个小型化部的一例。实施方式中记载的多个卷积层与多个池化层的组合相当于实施使输入图像的尺寸阶段性地缩小的处理的多个小型化部的一例。
[0234]
实施方式中记载的卷积层相当于根据小型化处理部的各自的输出图像生成特征图的特征图生成部的一例。
[0235]
实施方式中记载的网络300相当于根据特征图实施特征区域的特定和特征区域的分类中的至少任一个的关注区域识别部的一例。
[0236]
实施方式中记载的池化层相当于对输入图像实施池化处理的池化处理部的一例。
实施方式中记载的卷积层相当于卷积处理部的一例。
[0237]
[作用效果]
[0238]
根据本实施方式中所示的医用图像处理装置以及医用图像处理方法，可得到以下的作用效果。
[0239]
〔1〕
[0240]
从内窥镜图像38中检测关注区域，并设定对关注区域进行强调的强调显示。对关注区域进行分类。使强调显示和分类重叠显示在内窥镜图像38上。判定是否实施强调显示的显示方式的变更，并在判定为实施强调显示的显示方式的变更的情况下，实施减弱强调显示的显示方式的变更。判定是否实施分类的显示方式的变更，并在判定为实施分类的显示方式的变更的情况下，实施减弱分类的可见性的显示方式的变更。由此，在施术者观察观察对象时，可抑制强调显示和分类妨碍施术者的观察。
[0241]
实施不关闭强调显示的显示而是将强调减弱至能够视觉辨认强调显示的程度的显示方式的变更。由此，能够利用使用了强调显示的诊断辅助。实施不关闭分类的显示而是将分类的可见性减弱至能够视觉辨认分类的程度的显示方式的变更。由此，可利用使用了分类的诊断辅助。
[0242]
〔2〕
[0243]
在施术者操作了操作部的情况下，实施强调显示和分类中的至少任一个的显示方式的变更。由此，可变更基于施术者的操作的强调显示和分类中的至少任一个的显示方式。
[0244]
〔3〕
[0245]
在实施了关注区域的分类的情况下，实施强调显示和分类中的至少任一个的显示方式的变更。由此，在实施关注区域的分类的情况下，可变更强调显示和分类中的至少任一个的显示方式。
[0246]
〔4〕
[0247]
在处置器具被操作的情况下，实施强调显示和分类中的至少任一个的显示方式的变更。由此，在处置器具被操作的情况下，可变更强调显示和分类中的至少任一个的显示方式。
[0248]
〔5〕
[0249]
识别部应用cnn等深度学习器。由此，可提高关注区域的检测精度和关注区域的分类精度。实施使用了关注区域的检测结果和关注区域的分类结果的再学习。由此，可进一步提高关注区域的检测精度和关注区域的分类精度。
[0250]
〔6〕
[0251]
强调显示的显示方式的变更实施减弱强调显示的变更。由此，可降低强调显示的可见性。
[0252]
〔7〕
[0253]
强调显示应用包围关注区域的闭合曲线。强调显示的显示方式的变更应用线的浓度变更、色彩变更、线的种类变更中的至少任一个。由此，可在不大幅变更强调显示本身的情况下降低强调显示的可见性。
[0254]
〔8〕
[0255]
强调显示的显示方式的变更应用将强调显示向与内窥镜图像38不重叠的位置的
移动。由此，可在显示了强调显示的状态下降低强调显示的可见性。
[0256]
〔9〕
[0257]
应用文字信息作为表示分类内容的分类信息。分类的显示方式的变更应用将文字信息向与内窥镜图像38不重叠的位置的移动。由此，可在显示了表示分类内容的文字信息的状态下降低表示分类内容的文字信息的可见性。
[0258]
〔10〕
[0259]
在检测到多个关注区域的情况下，维持多个关注区域的位置关系，使与多个关注区域对应的多个分类移动。由此，可使用多个分类的位置关系来掌握多个关注区域的位置关系。
[0260]
〔11〕
[0261]
应用文字信息作为表示分类内容的分类信息。分类的显示方式的变更应用文字信息的一部分的省略。由此，可在显示了表示分类内容的文字信息的状态下降低表示分类内容的文字信息的可见性。
[0262]
〔12〕
[0263]
应用文字信息作为表示分类内容的分类信息。分类的显示方式的变更应用仅文字信息的首字母的显示。由此，可在显示了表示分类内容的文字信息的状态下降低表示分类内容的文字信息的可见性。
[0264]
[医用图像处理装置的变形例]
[0265]
〔第一变形例〕
[0266]
也可以选择性地实施关注区域的显示方式的变更和分类的显示方式的变更。例如，在操作部21中具备切换关注区域的显示方式的变更和分类的显示方式的变更的开关，根据开关的操作切换关注区域的显示方式的变更和分类的显示方式的变更。
[0267]
〔第二变形例〕
[0268]
在关注区域的显示方式的变更中，设为可关闭关注区域的显示。在分类的显示方式的变更中，设为可关闭分类的显示。可使用周期性动作的开关来切换标准的显示方式、持续减弱显示的显示方式、以及关闭显示的显示方式。
[0269]
〔第三变形例〕
[0270]
可以在从实施关注区域的显示方式的变更起经过了规定的期间之后，使关注区域的显示方式返回到标准的显示方式。也可以在从实施分类的显示方式的变更起经过规定的期间后，使分类区域的显示方式返回到标准的显示方式。规定的期间可设定为任意的期间。
[0271]
〔第四变形例〕
[0272]
也可以检测内窥镜10的观察状态，自动地实施关注区域的显示方式的变更和分类的显示方式的变更中的至少任一个。例如，也可以在标准光观察的情况下，显示关注区域的强调显示和关注区域的分类，在特殊光观察的情况下，无需关注区域的强调显示，而是进行减弱关注区域的强调显示的变更。
[0273]
〔第五变形例〕
[0274]
在放大观察内窥镜图像38时，变更关注区域的强调显示的显示方式。
[0275]
根据内窥镜图像38的放大来放大关注区域的强调显示的处理可能会使关注区域的强调显示不自然。因此，在放大观察内窥镜图像38时，变更关注区域的强调显示的显示方
式，降低关注区域的强调显示的可见性，减轻施术者的负担。
[0276]
[内窥镜系统的变形例]
[0277]
〔处理器装置的变形例〕
[0278]
处理器装置12也可以具有医用图像处理装置14的功能。即，处理器装置12也可以与医用图像处理装置14一体构成。在该方式中，显示装置13可兼用作监视器装置16。处理器装置12可具备连接输入装置15的连接端子。
[0279]
〔照明光的变形例〕
[0280]
作为可使用本实施方式中所示的内窥镜系统9获取的医用图像的一例，可举出照射白色频带的光、或作为白色频带的光照射多个波长频带的光而得到的普通光图像。
[0281]
作为可使用本实施方式中所示的内窥镜系统9获取的医用图像的另一例，可举出照射特定波长频带的光而得到的图像。特定波长频带可应用比白色频带窄的频带。可应用以下的变形例。
[0282]
<第一变形例>
[0283]
特定波长频带的第一例是可见区域的蓝色频带或绿色频带。第一例的波长频带包括390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带，并且第一例的光在390纳米以上450纳米以下、或530纳米以上550纳米以下的波长频带内具有峰波长。
[0284]
<第二变形例>
[0285]
特定波长频带的第二例是可见区域的红色频带。第二例的波长频带包括585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带，并且第二例的光在585纳米以上615纳米以下、或610纳米以上730纳米以下的波长频带内具有峰波长。
[0286]
<第三变形例>
[0287]
特定波长频带的第三例包括在氧合血红蛋白和还原血红蛋白中的吸光系数不同的波长频带，并且第三例的光在氧合血红蛋白和还原血红蛋白中的吸光系数不同的波长频带具有峰波长。该第三例的波长频带包括400
±
10纳米、440
±
10纳米、470
±
10纳米、或600纳米以上750纳米以下的波长频带，并且第三例的光在400
±
10纳米、440
±
10纳米、470
±
10纳米、或600纳米以上750纳米以下的波长频带具有峰波长。
[0288]
<第四变形例>
[0289]
特定波长频带的第四例是用于观察生物体内的荧光物质发出的荧光且激励该荧光物质的激励光的波长频带。例如，是390纳米以上470纳米以下的波长频带。此外，有时将荧光的观察称为荧光观察。
[0290]
<第五变形例>
[0291]
特定波长频带的第五例是红外光的波长频带。该第五例的波长频带包括790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带，并且第五例的光在790纳米以上820纳米以下、或905纳米以上970纳米以下的波长频带具有峰波长。
[0292]
〔特殊光图像的生成例〕
[0293]
处理器装置12也可以基于使用白色光拍摄而得到的普通光图像，生成具有特定波长频带的信息的特殊光图像。此外，在此所说的生成包括获取。在该情况下，处理器装置12作为特殊光图像获取部发挥功能。并且，处理器装置12通过进行基于普通光图像中所包含的红色、绿色和蓝色、或者青色、品红色和黄色的颜色信息的运算来获得特定波长频带的信
号。
[0294]
此外，红色、绿色和蓝色有时表示为rgb(red，green，blue)。另外，青色、品红色和黄色有时表示为cmy(cyan，magenta，yellow)。
[0295]
〔特征量图像的生成例〕
[0296]
作为医用图像，可使用基于照射白色频带的光、或作为白色频带的光照射多个波长频带的光而得到的普通图像、以及照射特定波长频带的光而得到的特殊光图像中的至少任一个的运算，生成特征量图像。
[0297]
在上述实施方式以及变形例中，作为医用图像的一例例示了内窥镜图像，但医用图像也可以应用ct图像等。
[0298]
[对使计算机作为图像处理装置发挥功能的程序的应用例]
[0299]
上述医用图像处理方法可构成为使用计算机来实现与医用图像处理方法中的各工序对应的功能的程序。例如，可构成如下的一种程序，其使计算机实现：识别功能，从获取的内窥镜图像38中检测关注区域，并对关注区域进行分类；显示功能，使对关注区域进行强调的强调显示及关注区域的分类显示在与内窥镜图像38相同的画面上；以及变更判定功能，判定是否变更强调显示的显示方式、以及是否变更关注区域的分类的显示方式，其中，在所述程序中，显示功能在判定为变更强调显示的显示方式的情况下，实施减弱强调显示的强调程度的变更，在判定为变更分类的显示方式的情况下，实施减弱分类的可见性的变更。
[0300]
可将使计算机实现上述图像处理功能的程序存储在作为有形物的非暂时性信息存储介质的、计算机可读取的信息存储介质中，并通过信息存储介质提供程序。
[0301]
另外，也可以是代替在非暂时性信息存储介质中存储并提供程序的方式，经由通信网络提供程序信号的方式。
[0302]
[关于实施方式及变形例等的组合]
[0303]
在上述实施方式中说明的构成要素以及在变形例中说明的构成要素可适当组合使用，另外，也可置换一部分构成要素。
[0304]
以上说明的本发明的实施方式在不脱离本发明的宗旨的范围内，可适当变更、追加、删除构成要件。本发明不限于以上说明的实施方式，具有本领域普通知识的人员可在本发明的技术思想内进行多种变形。
[0305]
符号说明
[0306]
9 内窥镜系统
[0307]
10 内窥镜
[0308]
11 光源装置
[0309]
12 处理器装置
[0310]
13 显示装置
[0311]
14 医用图像处理装置
[0312]
15 输入装置
[0313]
16 监视器装置
[0314]
20 插入部
[0315]
21 操作部
[0316]
22 通用塞绳
[0317]
25 软性部
[0318]
26 弯曲部
[0319]
27 顶端部
[0320]
27a 顶端面
[0321]
28 摄像元件
[0322]
29 弯曲操作旋钮
[0323]
30 供气供水按钮
[0324]
31 吸引按钮
[0325]
32 静止图像拍摄指示部
[0326]
33 处置器具导入口
[0327]
35 光导
[0328]
36 信号电缆
[0329]
37a 连接器
[0330]
37b 连接器
[0331]
38 内窥镜图像
[0332]
38a 运动图像
[0333]
38b 帧图像
[0334]
39 静止图像
[0335]
40 图像获取部
[0336]
42 识别部
[0337]
42a 关注区域检测部
[0338]
42b 强调显示设定部
[0339]
42c 分类部
[0340]
42d 分类显示设定部
[0341]
44 显示控制部
[0342]
46 存储部
[0343]
46a 内窥镜图像存储部
[0344]
46b 关注区域存储部
[0345]
46c 分类存储部
[0346]
48 变更判定部
[0347]
49 操作按钮
[0348]
120 处理器
[0349]
122 存储器
[0350]
124 存储装置
[0351]
126 网络控制器
[0352]
128 电源装置
[0353]
130 显示控制器
[0354]
132 输入输出接口
[0355]
134 输入控制器
[0356]
136 总线
[0357]
140 通信网络
[0358]
200 第一病变
[0359]
201 第一关注区域
[0360]
202 第二病变
[0361]
203 第二关注区域
[0362]
204 第三病变
[0363]
205 第三关注区域
[0364]
210 第一边界框
[0365]
210a 第四边界框
[0366]
210b 第七边界框
[0367]
210c 第十边界框
[0368]
212 第二边界框
[0369]
212a 第五边界框
[0370]
212b 第八边界框
[0371]
212c 第十一边界框
[0372]
214 第三边界框
[0373]
214a 第六边界框
[0374]
214b 第九边界框
[0375]
214c 第十二边界框
[0376]
220 第一分类
[0377]
220a 第四分类
[0378]
220b 第七分类
[0379]
222 第二分类
[0380]
222a 第五分类
[0381]
222b 第八分类
[0382]
224 第三分类
[0383]
224a 第六分类
[0384]
224b 第九分类
[0385]
300 网络
[0386]
310 输入层
[0387]
312 中间层
[0388]
314 输出层
[0389]
320a 第一卷积层
[0390]
320b 第二卷积层
[0391]
320c 第三卷积层
[0392]
322a 第一池化层
[0393]
322b 第二池化层
[0394]
324 全连接层
[0395]
s10至s26 医用图像处理方法的各工序。