程序、信息处理方法、学习模型的生成方法、学习模型的再学习方法及信息处理系统与流程

1.本发明涉及程序、信息处理方法、学习模型的生成方法、学习模型的再学习方法及信息处理系统。


背景技术：

2.使用将图像诊断用导管插入至血管等管腔器官而拍摄断层像的导管系统(专利文献1)。
3.现有技术文献
4.专利文献
5.专利文献1：国际公开第2017/164071号


技术实现要素：

6.在使用图像诊断用导管拍摄到的断层像的影像诊断方面需要熟练。因此，为了使用导管系统，需要长期的训练。
7.在一个方面，以提供使得能够容易地使用导管系统的程序等为目的。
8.程序使计算机执行如下处理：获取使用插入到管腔器官中的图像诊断用导管而生成的断层像，将所获取的所述断层像输入至第1模型、并输出从所述第1模型输出的客体的种类和范围，该第1模型在输入了断层像的情况下将该断层像所包含的多个客体的种类与各所述客体的范围相关联地输出。
9.发明效果
10.在一个方面，能够提供使得能够容易地使用导管系统的程序等。
附图说明
11.图1是说明导管系统的概要的说明图。
12.图2是说明图像诊断用导管的概要的说明图。
13.图3是说明导管系统的构成的说明图。
14.图4是说明第1模型的说明图。
15.图5是导管系统所显示的画面的例子。
16.图6是导管系统所显示的画面的例子。
17.图7是导管系统所显示的画面的例子。
18.图8是说明程序的处理的流程的流程图。
19.图9是说明实施方式2的导管系统的构成的说明图。
20.图10是实施方式3的导管系统所显示的画面的例子。
21.图11是实施方式3的导管系统所显示的画面的例子。
22.图12是说明实施方式3的程序的处理的流程的流程图。
23.图13是说明第2模型的构成的说明图。
24.图14是实施方式4的导管系统所显示的画面的例子。
25.图15是说明实施方式4的程序的处理的流程的流程图。
26.图16是实施方式5的导管系统所显示的画面的例子。
27.图17是说明实施方式5的程序的处理的流程的流程图。
28.图18是说明训练数据db的记录布局(record layout)的说明图。
29.图19是说明实施方式6的程序的处理的流程的流程图。
30.图20是说明实施方式6的程序的处理的流程的流程图。
31.图21是说明第1修正db的记录布局的说明图。
32.图22是实施方式7的导管系统所显示的画面的例子。
33.图23是说明第2修正db的记录布局的说明图。
34.图24是实施方式7的导管系统所显示的画面的例子。
35.图25是实施方式8的导管系统的功能框图。
36.图26是说明实施方式9的导管系统的构成的说明图。
具体实施方式
37.[实施方式1]
[0038]
图1是说明导管系统10的概要的说明图。导管系统10具备图像诊断用导管40、mdu(马达驱动单元：motor driving unit)33、以及信息处理装置20。图像诊断用导管40借助mdu33与信息处理装置20连接。在信息处理装置20连接有显示装置31和输入装置32。输入装置32是例如键盘、鼠标、跟踪球或麦克风等。显示装置31与输入装置32也可以一体地层叠而构成触摸面板。输入装置32与信息处理装置20也可以一体地构成。
[0039]
图2是说明图像诊断用导管40的概要的说明图。图像诊断用导管40具有探头部41和配置在探头部41的端部的连接器部45。探头部41借助连接器部45与mdu33连接。在以下的说明中将图像诊断用导管40的远离连接器部45那一侧记载为前端侧。
[0040]
在探头部41的内部穿插有轴43。在轴43的前端侧连接有传感器42。在探头部41的前端部附近固定有环状的前端标识44。
[0041]
通过mdu33的功能，传感器42和轴43能够在探头部41的内部一边旋转一边进退。通过将传感器42一边以恒定速度朝向mdu33侧拉拽一边使传感器42旋转的拉回操作，以探头部41为中心，以规定间隔连续地拍摄与探头部41大致垂直的多张横断层像485(参照图4)。
[0042]
传感器42是进行例如超声波的收发的超声波换能器、或进行近红外光的照射和反射光的接收的oct(光学相干断层扫描：optical coherence tomography)用的收发部。供图像诊断用导管40插入而使用的管腔器官是例如血管、胰管、胆管或支气管等。
[0043]
图2表示从血管的内侧拍摄超声波断层像之际所使用的ivus(血管内超声：intravascular ultrasound)用的图像诊断用导管40的例子。在以下的说明中，以图像诊断用导管40是ivus用导管的情况为例而说明。
[0044]
此外，图像诊断用导管40并不限定于机械性地进行旋转和进退的机械扫描方式。也可以是使用了将多个超声波换能器配置成环状的传感器42的、电子径向扫描型的图像诊断用导管40。
[0045]
图像诊断用导管40也可以具有沿着长度方向将多个超声波换能器配置成一列的、所谓的线性扫描型的传感器42。图像诊断用导管40也可以具有将多个超声波换能器配置成矩阵状的、所谓的二维阵列型的传感器42。
[0046]
图像诊断用导管40能够拍摄除了血管壁等管腔壁之外还包括例如红血球等存在于管腔器官的管腔内部的反射体、和例如心包、心脏等存在于管腔器官外侧的脏器的断层像。
[0047]
图3是说明导管系统10的构成的说明图。如前所述，导管系统10具有信息处理装置20、mdu33以及图像诊断用导管40。信息处理装置20具备控制部21、主存储装置22、辅助存储装置23、通信部24、显示部25、输入部26、导管控制部271以及总线。
[0048]
控制部21是执行本实施方式的程序的运算控制装置。在控制部21中使用一个或多个cpu(中央处理单元：central processing unit)、gpu(图形处理单元：graphics processing unit)、tpu(张量处理单元：tensor processing unit)或多核cpu等。控制部21借助总线与构成信息处理装置20的硬件各部连接。
[0049]
主存储装置22是sram(静态随机存取存储器：static random access memory)、dram(动态随机存取存储器：dynamic random access memory)、闪存等存储装置。在主存储装置22中暂时保存在控制部21进行的处理的中途所需要的信息和由控制部21执行中的程序。
[0050]
辅助存储装置23是sram、闪存、硬盘或磁带等存储装置。在辅助存储装置23中保存使控制部21执行的程序、第1模型61以及程序的执行所需要的各种数据。通信部24是进行信息处理装置20与网络之间的通信的接口。
[0051]
显示部25是连接显示装置31和总线的接口。输入部26是连接输入装置32和总线的接口。导管控制部271进行mdu33的控制、传感器42的控制、以及基于从传感器42接收到的信号进行的横断层像485和纵断层像的生成等。导管控制部271的功能和构成与一直以来所使用的超声波诊断装置相同，因此省略说明。此外，控制部21也可以实现导管控制部271的功能。
[0052]
信息处理装置20借助his(医院信息系统：hospital information system)等与x射线血管拍摄装置、x射线ct(计算机断层扫描：computed tomography)装置、mri(核磁共振成像：magnetic resonance imaging)装置、pet(正电子发射断层扫描：positron emission tomography)装置、或超声波诊断装置等各种图像诊断装置37连接。
[0053]
本实施方式的信息处理装置20是专用的超声波诊断装置、或具有超声波诊断装置的功能的个人计算机、平板电脑或智能手机等。
[0054]
图4是说明第1模型61的说明图。第1模型61是受理横断层像485并输出将横断层像485所包含的多个客体的种类与各客体的范围相关联地建立映射而成的客体配置像482的模型。第1模型61通过机器学习生成。
[0055]
在图4所示的客体配置像482中，纵线的阴影线表示“图像诊断用导管40的截面”，横线的阴影线表示“管腔器官壁”，向右下倾斜的阴影线表示“管腔器官的内侧”，向左下倾斜的阴影线表示“导丝”，细格子状的阴影线表示“钙化”。
[0056]“导丝”包括导丝自身、由导丝产生的多重回波以及由导丝产生的声影。同样地，“钙化”包括已钙化的部分自身、由已钙化的部分产生的多重回波、以及由已钙化的部分产
生的声影。
[0057]
图4中的阴影线示意性地表示以不同颜色对各壳体上色而进行区分。客体的上色区分是对各客体进行区分而显示的方法的一个例子。也可以利用包围各客体的外缘等任意的形态而能够与其他客体进行识别地显示。
[0058]
在此，“图像诊断用导管40的截面”、“管腔器官壁”、“管腔器官的内侧”、“导丝”以及“钙化”是横断层像485所包含的客体(object)的例示。例如“导丝自身”、“由导丝产生的多重回波”、以及“由导丝产生的声影”也可以分别分类成不同的客体。同样地，在管腔器官壁产生的“斑块”、“解离”等病变部也可以分别分类成不同的客体。
[0059]
在以后的说明中，将能够生成纵断层像的多个横断层像485的组记载为一套横断层像485。同样地，将使用图像诊断用导管40获取能够生成纵断层像的一套横断层像485记载为一次图像获取。以下说明受理一套横断层像485的输入并输出与各横断层像485相对应的客体配置像482的第1模型61的例子。
[0060]
一套横断层像485通过例如基于mdu33的一次拉回操作而获取。一套横断层像485也可以在使用者以手动进行图像诊断用导管40的推拉操作的期间内获取。在此，在图像诊断用导管40的推拉操作中包括推拉探头部41的操作和在探头部41的内部推拉传感器42的操作这两者。
[0061]
例如，使用者进行以大致恒定的速度拉回传感器42的操作或推入传感器42的操作。从使用者利用声音输入等指示获取开始到指示获取结束的期间内所获取的横断层像485构成一套横断层像485。
[0062]
也可以设置用于检测使用者推拉传感器42的量的传感器等。在使用者在整个规定范围内拉回传感器42的期间内或推入传感器42的期间内所获取的图像构成一套横断层像485。
[0063]
在能够检测传感器42的位置的情况下，使用者也可以以任意的速度和朝向进行传感器42的推拉操作。沿着探头部41的长度方向的依次重排的横断层像485构成一套横断层像485。在横断层像485间的间隔并非恒定的情况下，沿着探头部41的长度方向的位置信息与各横断层像485相关联地被记录。此外，在以下的说明中，以横断层像485的间隔恒定的情况为例进行说明。
[0064]
如前所述，第1模型61既可以是受理通过基于mdu33的拉回操作获得的一套横断层像485的模型，也可以是受理利用手动操作使传感器42进退而获得的一套横断层像485的输入的模型。第1模型61也可以是受理1张横断层像485的输入的模型。第1模型61也可以是受理通过一次拉回操作获得的横断层像485中的一半或1/3等的输入的模型。
[0065]
第1模型61是例如语义分割模型，具备输入层、神经网络以及输出层。神经网络具有例如实现语义分割的u-net构造。u-net构造由多层的编码器层和连接在该多层的编码器层之后的多层的解码器层构成。利用语义分割对构成所输入的图像的各像素赋予表示客体的种类的标签。
[0066]
控制部21通过按照标签确定各像素的显示方法，如图4的客体配置像482所示，能够生成按客体的种类以不同的颜色或底纹等形态对客体进行映射而成的输出图像。
[0067]
第1模型61也可以是mask r-cnn(区域卷积神经网络：regions with convolutional neural networks)模型、其他任意的基于机器学习算法生成的实现图像的
分割的模型。
[0068]
第1模型61也可以是r-cnn等实现物体检测的模型。在使用不进行分割地进行物体检测的模型的情况下，控制部21以边框包围检测到对象的部分，并且将“钙化”等文字显示在边框的附近。
[0069]
此外，通过使一套横断层像485整体成为输入数据，相邻的横断层像485的信息反映于客体配置像482。因而，难以受到各个横断层像485中的噪声等的影响，能够实现准确地输出客体的范围的第1模型61。
[0070]
图5是导管系统10所显示的画面的例子。图5所示的画面具有横断层像栏51、横客体配置像栏515以及纵客体配置像栏525。在横断层像栏51中显示有前述的横断层像485。在横客体配置像栏515中显示有与显示于横断层像栏51的横断层像485相对应的客体配置像482。
[0071]
在纵客体配置像栏525中显示有与纵断层像相对应的客体配置像482。与纵断层像相对应的客体配置像482与纵断层像同样地，基于与一套横断层像485分别相对应的客体配置像482而形成。
[0072]
具体而言，从各客体配置像482提取与纵断层像相对应的位置的像素，进行插补处理等并进行重建，由此形成与纵断层像相对应的客体配置像。该处理与从一套横断层像485形成纵断层像的方法是同样的，因此对于详情省略说明。
[0073]
也可以进行如下三维语义分割：基于一套横断层像485而生成三维数据，对各体素(voxel)赋予表示客体的种类的标签。能够从根据三维语义分割结果生成的三维的客体配置像，生成与纵断层像相对应的客体配置像482。
[0074]
在纵客体配置像栏525的缘显示有横断层位置标识551，该横断层位置标识551表示显示于横断层像栏51和横客体配置像栏515的横断层像485的位置。在横断层像栏51和横客体配置像栏515的缘附近显示有表示显示于纵断层像栏52的纵断层像的位置的纵断层位置标识552。
[0075]
使用者也可以通过操作输入装置32变更横断层位置标识551和纵断层位置标识552的位置，从而能够适当变更所显示的截面。此外，控制部21也可以受理来自使用者的语音输入。
[0076]
使用者能够根据图5的画面确认病变部的长轴方向的状态。此外，图5是画面显示的一个例子，并不限定于此。例如，也可以进行作为横截面的集合体的三维显示。
[0077]
图6是导管系统10所显示的画面的例子。在使用者以针对构成表示“钙化”的客体的各像素显示“钙化”这一判定正确的概率的方式进行了指示的情况下，控制部21显示图6所示的画面。在图6的上部示出表示“钙化”的部分的放大图。
[0078]
此外，各像素的判定正确的概率从使用图4进行了说明的第1模型61输出。控制部21基于各像素被分类成“钙化”的客体的概率而对像素的颜色进行上色区分。
[0079]
例如，控制部21通过使表示“钙化”的色相保持共通(共同)、并对亮度或彩度赋予渐变，从而能够表现“钙化”这一判定正确的概率。控制部21也可以基于判定概率对横客体配置像栏515整体进行上色区分而显示，其中该判定概率以概率表示对各像素进行的客体的判定的正确度。
[0080]
使用者能够根据图6所示的画面识别“钙化”这一判定是能够信赖到何种程度的判
定。期望的是，在假设以比较低的概率输出是“钙化”这一判定的情况下，使用者基于专业的立场充分地观察显示于横断层像栏51的横断层像485。
[0081]
图7是导管系统10所显示的画面的例子。在使用者以示出与表示“钙化”的部分有关的根据的方式进行了指示的情况下，控制部21显示图7所示的画面。在横断层像栏51显示有使表示成为“钙化”这一判定的根据的根据区域的根据标识561重叠而成的横断层像485。根据标识561是与显示于横客体配置像栏515的客体的根据有关的根据信息的一个例子。
[0082]
控制部21利用例如grad-cam(梯度加权类激活映射：gradient-weighted class activation mapping)或grad-cam++等模型可视化方法提取根据区域。根据区域是输入到学习模型65中的多个横断层像485中的、强力地影响被判定为“钙化”的像素的输出的区域。关于根据标识561，对输出的影响度越高的部位，使用越细的阴影线显示。
[0083]
使用者能够根据图7所示的画面并基于专业的立场判断由控制部21进行的判定的根据是否妥当。
[0084]
图8是说明程序的处理的流程的流程图。控制部21从导管控制部271获取一套量的横断层像485(步骤s701)。控制部21将所获取的横断层像485输入至第1模型61，并获取将横断层像485所包含的多个客体的种类与各客体的范围建立关联而得到的客体配置像482、以及对各像素进行的客体的判定正确的概率(步骤s702)。
[0085]
控制部21基于一套量的客体配置像482而生成客体配置像482的纵断层像(步骤s703)。在以下的说明中将客体配置像482的纵断层像记载为纵客体配置像。控制部21以能够与使用者对纵断层位置标识552的操作相对应地，迅速地显示基于所指定的截面的纵客体配置像的方式，将所生成的纵客体配置像记录于辅助存储装置23。
[0086]
控制部21将使用图5进行了说明的画面显示于显示装置31(步骤s704)。控制部21判定是否从使用者受理了显示客体的判定概率的指示(步骤s705)。使用者能够通过例如对横客体配置像栏515内的客体进行双击等操作来输入用于显示概率的指示。控制部21也可以受理来自使用者的语音输入。
[0087]
在判定为受理了显示概率的指示的情况下(在步骤s705中，是)，控制部21基于在步骤s702中所获取的对各像素进行的客体的判定正确的概率，显示使用图6进行了说明的图像(步骤s706)。
[0088]
在判定为未受理显示概率的指示的情况下(在步骤s705中，否)，或者在步骤s706结束后，控制部21判定是否从使用者受理了显示根据的指示(步骤s707)。使用者能够通过例如滑动横客体配置像栏515内的客体等操作来输入用于显示根据的指示。控制部21也可以受理来自使用者的语音输入。
[0089]
在判定为受理了显示根据的指示的情况下(在步骤s707中，是)，控制部21获取用于显示根据的项目(步骤s708)。控制部21利用例如grad-cam或grad-cam++等模型可视化方法，提取与在步骤s708中所获取的项目相关联的根据区域(步骤s709)。
[0090]
控制部21使用利用图7进行了说明的画面，将重叠有根据标识561的横断层像485显示于横断层像栏51(步骤s710)。在判定为未受理用于显示根据的指示的情况下(在步骤s707中，否)，或在步骤s710结束后，控制部21结束处理。
[0091]
根据本实施方式，能够提供即使是对断层像的影像诊断并不十分熟练的使用者、也能够容易地使用的导管系统10。
的位置的、合计4根纵线。“参照血管”是指没有病变的部分。
[0108]
在各纵线的端部显示有相对应的值标签538。在值标签538中显示有各位置处的“管腔器官的内侧”的直径的最小值和最大值、以及斑块负荷。在表示两个“病变端部”的两根纵线之间显示有“病变长”。
[0109]
在例如使用者点击操作了表示“最小径部”的位置的纵线附近的情况下，横断层位置标识551移动到“最小径部”的位置。“最小径部”的横断层像485和横客体配置像栏515显示于横断层像栏51和横客体配置像栏515。使用者能够确认“最小径部”的状态。
[0110]
同样地，在使用者点击操作了表示“参照血管”或“病变端部”的位置的纵线附近的情况下，横断层位置标识551移动到相对应的位置。使用者能够容易地确认作为进行判断之际的点的部分的状态。
[0111]
使用者能够基于显示于值标签538的组织性状和数值、以及由学会等确定的判定基准而进行诊断和治疗。例如，使用者基于血管径、狭窄的程度、病变长、或钙化的分布状态而判断血管扩张术的需要与否和术式等。控制部21也可以与值标签538一起显示与相关联的判定基准有关的信息。
[0112]
图11表示使用者使横断层位置标识551向纵客体配置像栏525的右侧移动后的状态。在横断层像栏51中显示有与图10不同的横断层像485。在横客体配置像栏515中显示有与横断层像栏51相对应的客体配置像482。
[0113]
在图11的横客体配置像栏515中分别显示有以纵线的阴影线表示的“图像诊断用导管40的截面”、以向右下倾斜的阴影线表示的“管腔器官的内侧”以及以格子状的阴影线表示的“钙化”的客体。在未显示客体的部分显示有横断层像485。使用者能够确认存在于“钙化”的客体周围的管腔器官的状态。
[0114]
表示“钙化”的客体显示成圆弧状。控制部21以“管腔器官壁”的中心为基准计算“钙化”的角度，并显示于值标签538。
[0115]
说明计算角度的方法的具体例。控制部21计算“管腔器官的内侧”的外周、即与管腔器官壁的内表面近似的形状的圆。控制部21提取从所计算出的圆的中心向表示“钙化”的客体的两端分别延伸的矢量。控制部21计算所提取出的两根矢量之间的角度。此外，计算角度的方法是任意的，并不限定于此。
[0116]
控制部21对于如“管腔器官壁”或“管腔器官的内侧”这样为圆筒形状的客体，分别计算内径、外径、最小内径以及最大内径并显示于值标签538。控制部21对于如图11所示的“钙化”这样为圆弧形状的客体，计算角度并显示于值标签538。此外，控制部21也可以针对图11所示的“钙化”的客体显示厚度和体积等。
[0117]
使用者也可以每次都指定将哪个项目显示于值标签538。也可以根据客体的种类、形状等确定默认显示于值标签538的项目。
[0118]
图12是说明实施方式3的程序的处理的流程的流程图。在使用图8进行了说明的程序的步骤s704中控制部21显示了使用图5进行了说明的画面之后，在使用者指示了值标签538的显示的情况下，执行图12的程序。
[0119]
使用者能够通过例如对显示于横客体配置像栏515中的客体的点击操作来指示值标签538的显示。此外，控制部21也可以受理来自使用者的语音输入。
[0120]
控制部21基于使用者的指示而获取显示值标签538的作为对象的客体的指定(步
骤s721)。控制部21基于所指定的客体的形状等判定要计算的项目(步骤s722)。
[0121]
控制部21计算在步骤s722中所判定的项目(步骤s723)。控制部21如使用图10和图11进行了说明这样显示值标签538(步骤s724)。之后，控制部21结束处理。
[0122]
[实施方式4]
[0123]
本实施方式涉及使用第2模型62的导管系统10，该第2模型62在输入了断层像的情况下输出与管腔器官或管腔器官周边的状态有关的信息。对于与实施方式1共同的部分，省略说明。
[0124]
图13是说明第2模型62的构成的说明图。第2模型62是受理一套横断层像485并输出治疗的需要与否、血流瘀滞的有无、或分支的有无等与管腔器官的状态或该管腔器官周边的状态有关的医学发现(日语：所見)的模型。此外，“治疗的需要与否”既可以是在管腔器官的内部进行处置的ivr(介入放射学：interventional radiology)的需要与否，也可以是包括服药和食疗法等在内的一般治疗的需要与否。
[0125]
第2模型62所输出的医学发现是与针对多个项目的每一个的、“有”、“无”等规定的选项有关的概率。在表1至表5中示出第2模型62输出概率的项目的例子。表1至表5的一行表示一个项目。第2模型62针对各项目输出选项的概率。在表1至表5中示出第2模型62所输出的医学发现所包含的项目的例子。
[0126]
表1示出与治疗的需要与否有关的信息。
[0127]
[表1]
[0128]
项目选项治疗的必要性有〃无
[0129]
表2示出与血流信息有关的项目。
[0130]
[表2]
[0131]
项目选项血流瘀滞有〃无
[0132]
表3示出与管腔器官和管腔器官周围的定性的形状信息有关的项目。
[0133]
[表3]
[0134]
项目选项分支有〃无斑块的破裂有〃无内腔的不规则有〃无皮瓣有〃无解离有〃无多支血管有〃无
[0135]
表4示出与表示管腔器官和管腔器官周围的性状的性状信息有关的项目。
[0136]
[表4]
[0137]
项目选项钙化的程度强〃中〃弱〃无钙化的深度表在〃内在〃无
衰减性斑块有〃无斑块内出血有〃无支架内狭窄有〃无血肿有〃无官腔的类别假腔〃真腔瘤有〃无痉挛有〃无
[0138]
表4所示的“支架内狭窄”表示在例如几个月前～几年前留置到管腔器官内的支架的有无狭窄。在刚刚进行了支架留置的处置之后拍摄了横断层像485的情况下，表示所留置的支架有无狭窄。即，横断层像485既可以是未处置管腔器官的断层像，也可以是处置后的经时观察中的管腔器官的断层像，还可以是一系列的管腔器官内处置的刚刚结束之后所拍摄的管腔器官的断层像。
[0139]
表5表示与设备信息有关的项目，该设备信息表示配置到管腔器官内的支架等留置设备的状态。
[0140]
[表5]
[0141][0142]
表1至表5所示的各项目是例示。第2模型62也可以输出针对表1至表5所示的项目的一部分的概率。第2模型62也可以输出针对除了表1至表5所示的项目以外的项目的概率。
[0143]
表1至表5所示的各项目的选项是例示。对于在例如各表中以“有”、“无”这两个选项显示的项目，也可以使用“大”、“小”、“无”等三选以上的选项。
[0144]
在以后的说明中，以受理通过一次图像获取而获得的一套横断层像485的输入并输出与管腔器官的状态或该管腔器官周边的状态有关的医学发现的第2模型62为例进行说明。此外，第2模型62也可以是受理1张横断层像485的输入并输出与管腔器官或该管腔器官周边的状态有关的医学发现的模型。
[0145]
如前所述，也可以通过基于mdu33的一次拉回操作进行一次图像获取。第2模型62也可以是受理通过一次拉回操作而获得的横断层像485中的一半或1/3等一部分的横断层像485的输入、并输出与管腔器官的状态或该管腔器官周边的状态有关的医学发现的模型。
[0146]
第2模型62具备输入层、神经网络629、多个softmax层625、以及输出层。神经网络
629是具有例如多个卷积层和池化层的组、以及全连接层的cnn(卷积神经网络：convolutional neural network)。针对表1至表5所示一行，设置有1个softmax层625。
[0147]
向输入层输入使一套横断层像485按照扫描顺序结合而成为1张的图像。借助神经网络629和softmax层625向输出层输出针对表1至表5所示的各项目的概率。
[0148]
例如在图13中，对于“治疗的需要性”，“无”的概率是95％；对于“血流瘀滞”，“无”的概率是90％；对于“分支”，“有”的概率是90％。此外，第2模型62也可以针对表1至表5分别分开。第2模型62也可以按所输出的项目分别分开。
[0149]
也可以在softmax层625的后段设置有选择概率最高的选项并输出的选择层。
[0150]
也可以向第2模型62输入导管控制部271从传感器42获取到的声线数据等、形成横断层像485的前阶段的数据。
[0151]
图14是实施方式4的导管系统10所显示的画面的例子。图14所示的画面包括横断层像栏51、横客体配置像栏515以及医学发现栏53。对于横断层像栏51和横客体配置像栏515，与使用图5进行了说明的实施方式1的导管系统10所显示的画面相同，因此省略说明。
[0152]
在医学发现栏53中显示有医学发现。控制部21选择从第2模型62所输出的医学发现中的、概率比规定阈值高的医学发现并显示于医学发现栏53。
[0153]
控制部21也可以选择与在横断层像栏51显示中的横断层像485相关联的医学发现并显示于医学发现栏53。虽然在图14中省略图示，但控制部21也可以与图5同样地显示纵客体配置像栏525。
[0154]
图15是说明实施方式4的程序的处理的流程的流程图。直到步骤s703为止，与使用图8进行了说明的实施方式1的程序相同，因此省略说明。
[0155]
控制部21将在步骤s701中获取到的横断层像485输入至第2模型62并获取医学发现(步骤s731)。控制部21将使用图14进行了说明的画面显示于显示装置31(步骤s732)。控制部21判定是否从使用者受理了显示客体的判定概率的指示(步骤s705)。以后的处理与使用图8进行了说明的实施方式1的程序相同，因此省略说明。
[0156]
根据本实施方式，能够提供除了显示客体配置像482之外、还显示医学发现的导管系统10。
[0157]
此外，控制部21也可以显示根据标识561，该根据标识561表示显示于医学发现栏53的医学发现的根据。控制部21能够利用例如grad-cam或grad-cam++等模型可视化方法提取与从第2模型62输出的医学发现有关的根据区域。
[0158]
也可以是，向第1模型61和第2模型62除了输入横断层像485之外，还输入使用图像诊断装置37所拍摄的图像、血压、心率或氧饱和度等实时获取的医疗信息。也可以是，向第1模型61和第2模型62除了输入横断层像485之外，还输入既往症、身高、体重、过去使用图像诊断装置37所拍摄的图像等从电子病历所获取的医疗信息。
[0159]
在这样的情况下，第1模型61受理横断层像485和医疗信息，并输出将横断层像485所包含的多个客体的种类与各客体的范围相关联并建立映射而得到的客体配置像482。同样地，第2模型62受理横断层像485和医疗信息，并输出与管腔器官的状态或该管腔器官周边的状态有关的医学发现。
[0160]
通过使横断层像485以外的医疗信息包含于第1模型61的输入数据，能够提供精度良好地进行客体的分类的导管系统10。通过使除了横断层像485以外的医疗信息包含于第2
模型62的输入数据，能够提供输出高精度的医学发现的导管系统10。
[0161]
[实施方式5]
[0162]
本实施方式涉及将使用图像诊断用导管40所拍摄的断层像的位置重叠显示于从图像诊断装置37获取到的图像的导管系统10。对于与实施方式1共同的部分，省略说明。
[0163]
图16是实施方式5的导管系统10所显示的画面的例子。图16所示的画面包括其他装置图像栏59。在其他装置图像栏59中显示有由图像诊断装置37所拍摄的医用图像。
[0164]
表示图像诊断用导管40所拍摄的断层像的位置的扫描区域(scan area)591以表示纵断层像的外形的长方形重叠显示于其他装置图像栏59。控制部21也可以在扫描区域591的内侧实时显示纵断层像或纵客体配置像。控制部21也可以从使用者受理与扫描区域591的显示形态有关的选择。
[0165]
以图像诊断装置37是x射线血管拍摄装置的情况为例，说明显示扫描区域591的方法的概要。传感器42搭载于不使x射线透过的传感器标识。前端标识44和传感器标识不使x射线透过，因此，清晰地显示在由x射线血管拍摄装置所拍摄的医用图像中。
[0166]
控制部21从医用图像检测前端标识44和传感器标识。所检测到的传感器标识表示传感器42的位置。在例如使用基于mdu33的拉回操作而生成一套横断层像485的情况下，图像获取时的传感器42的动作范围的两端与扫描区域591的短边的位置相对应。
[0167]
控制部21基于横断层像485的显示范围和其他装置图像的比例尺，决定扫描区域591的短边的长度。控制部21使由短边的位置和短边的长度确定的长方形的扫描区域591重叠显示于显示有医用图像的其他装置图像栏59。
[0168]
通过以上的处理，即使是在图像诊断用导管40的前端部分不与图像诊断装置37的投影面平行的情况下，控制部21也能够将扫描区域591显示于其他装置图像栏59的正确的位置。
[0169]
返回图16继续说明。在扫描区域591内显示有多个横断层位置标识551。显示与各横断层位置标识551相对应的客体配置像482的横客体配置像栏515显示于其他装置图像栏59的周边。使用者通过借助输入装置32使横断层位置标识551移动，从而能够适当变更客体配置像482的断层位置。此外，控制部21也可以受理来自使用者的语音输入。
[0170]
控制部21也可以基于使用者的指示切换客体配置像482和横断层像485而显示。控制部21也可以并列显示客体配置像482和横断层像485。控制部21也可以显示纵断层像或纵客体配置像。
[0171]
也可以在其他装置图像栏59中显示示意性地表示管腔器官的图解(schema)来替代由图像诊断装置37所拍摄的医用图像。能够提供使用者能够更容易地把握断层像的位置的导管系统10。
[0172]
图17是说明实施方式5的程序的处理的流程的流程图。控制部21在一次图像获取之际从导管控制部271和图像诊断装置37分别获取横断层像485和医用图像(步骤s751)。
[0173]
控制部21从医用图像检测前端标识44和传感器标识(步骤s752)。在例如利用基于mdu33的拉回操作而生成一套横断层像485的情况下，控制部21基于在拉回操作的两端检测出的传感器标识的位置而决定扫描区域591的位置和尺寸。控制部21基于扫描区域591而决定横断层位置标识551的位置(步骤s753)。
[0174]
此外，期望的是，控制部21使与扫描区域5相对应的位置实时追踪地显示于之后所
拍摄的医用图像上。
[0175]
控制部21将在步骤s751中所获取的横断层像485输入至第1模型61，并获取将横断层像485所包含的多个客体的种类和各客体的范围建立了关联的客体配置像482、以及针对各像素进行的客体的判定正确的概率(步骤s754)。
[0176]
控制部21基于一套量的客体配置像482而生成纵客体配置像(步骤s755)。控制部21以能够与使用者对纵断层位置标识552的操作相对应地，迅速地显示基于所指定的截面的纵客体配置像的方式，将所生成的纵客体配置像记录于辅助存储装置23。
[0177]
控制部21将使用图16进行了说明的画面显示于显示装置31(步骤s756)。之后，控制部21结束处理。
[0178]
根据本实施方式，能够提供如下导管系统10：将使用图像诊断用导管40所拍摄的断层像或基于断层像所生成的客体配置像482的位置重叠显示于由图像诊断装置37所拍摄的医用图像。使用者能够通过操作横断层位置标识551而容易地变更要显示的横断层像485的位置。根据以上内容，能够提供使用者能够容易地把握断层像与其周围的脏器之间的位置关系的导管系统10。
[0179]
此外，图像诊断装置37并不限定于x射线血管拍摄装置。例如，即使是与体外式探头或tee(经食道心脏超声：transesophageal echocardiography)探头组合而成的超声波诊断装置，也能够实时拍摄与图像诊断用导管40不同的断层像。
[0180]
在图像诊断用导管40搭载有超声波用的传感器42和oct用的传感器42这两者的情况下，能够在大致相同截面中拍摄基于超声波的横断层像485和基于oct的横断层像485。
[0181]
控制部21也可以将从基于分辨率优异的oct的横断层像485获得的客体配置像482重叠显示于基于超声波(该超声波与oct相比深达度优异)的横断层像485。此外，控制部21也可以将基于oct的横断层像485、客体配置像482、基于超声波的横断层像485以及客体配置像482适当组合而显示。能够提供显示发挥了两者的优点的信息的导管系统10。
[0182]
医用图像并不限定于实时拍摄的医用图像。也可以是，控制部21使扫描区域591重叠显示于由例如ct、mri、pet、x射线血管拍摄装置或超声波诊断装置等任意的图像诊断装置拍摄并记录于电子病历等的医用图像。控制部21基于各图像中所包含的血管的分支、心脏的位置等而判定扫描区域591的位置。
[0183]
本实施方式的处理也可以在图像诊断装置37侧执行，并显示于与图像诊断装置37连接的显示装置。
[0184]
[实施方式6]
[0185]
本实施方式涉及分别生成第1模型61和第2模型62的程序。对于与实施方式4共同的部分，省略说明。
[0186]
图18是说明训练数据db(数据库：database)的记录布局的说明图。训练数据db是相关联地记录有输入和正解标签的数据库，在基于机器学习的模型的训练中使用。训练数据db具有断层像数据字段、上色区分数据字段以及医学发现字段。医学发现字段具有治疗的必要性字段、血流瘀滞字段、分支字段等与第2模型62所输出的医学发现相对应的字段。
[0187]
在断层像数据字段中记录有能够生成纵断层像的横断层像485的套组。在上色区分数据字段中记录有专家按各客体以不同的颜色或底纹对横断层像485进行上色区分而成的图像的套组。即，在上色区分数据字段中记录有构成横断层像485的各像素所对应的客
体。
[0188]
在治疗的必要性字段中显示有专家基于记录在断层像数据字段中的横断层像485对治疗的必要性进行判断的结果。同样地，在血流瘀滞字段中记录有血流瘀滞的有无，在分支字段中记录有分支的有无。
[0189]
在训练数据db中大量地记录有使用图像诊断用导管40所拍摄的横断层像485的套组、与专业医生等已进行了判断的上色区分的图像的套组和治疗的必要性的组合。此外，在以下的说明中，以构成套组的横断层像485彼此的间隔恒定的情况为例进行说明。
[0190]
在生成第1模型61的情况下，记录于断层像数据字段的横断层像485的套组使用于输入数据，记录于上色区分数据字段的图像的套组使用于正解数据。在生成第2模型62的情况下，记录于断层像数据字段的横断层像485的套组使用于输入数据，在医学发现字段各自中记录的数据使用于正解标签。
[0191]
训练数据db也可以分成例如第1模型61生成用的数据库和第2模型62生成用的数据库而创建。
[0192]
图19是说明实施方式5的程序的处理的流程的流程图。以使用信息处理装置20进行第1模型61的机器学习的情况为例进行说明。
[0193]
也可以是，图19的程序由信息处理装置20之外的硬件执行，机器学习完成后的第1模型61借助网络复制到辅助存储装置23。能够将由一个硬件学习后的第1模型61在多个信息处理装置20中使用。
[0194]
在图19的程序执行之前，准备例如实现语义分割的u-net构造等的未学习的模型。如前所述，u-net构造由多层的编码器层和连接在其之后的多层解码器层构成。能够利用图19的程序调整所准备的模型的各参数而进行机器学习。
[0195]
控制部21从训练数据db获取在一个epoch的训练中使用的训练记录(步骤s761)。在一个epoch的训练中使用的训练记录的数量是所谓的超参数，可适当确定。
[0196]
控制部21根据所获取的各训练记录中包含的输入数据而生成输入图像(步骤s762)。具体而言，控制部21生成使断层像字段所包含的横断层像485按照扫描顺序结合而成为1张的图像。此外，也可以在断层像数据字段中记录有结合完毕的横断层像。
[0197]
控制部21根据所获取的各训练记录中包含的上色区分数据而生成正解图像(步骤s763)。具体而言，控制部21生成使上色区分数据字段所包含的上色区分图像按照扫描顺序结合而成为1张的图像。此外，也可以在上色区分数据字段中记录有结合完毕的上色区分图像。
[0198]
控制部21在向模型的输入层输入了图像的情况下，调整模型的参数以从输出层输出正解图像标签(步骤s764)。
[0199]
控制部21判定是否结束处理(步骤s765)。例如，在控制部21结束了规定的epoch数的学习的情况下，判定为结束处理。也可以是，控制部21从训练数据db获取测试数据并输入至机器学习中的模型，在获得了规定精度的输出的情况下，判定为结束处理。
[0200]
在判定为不结束处理的情况下(在步骤s765中，否)，控制部21返回步骤s761。在判定为结束处理的情况下(在步骤s765中，是)，控制部21将学习完毕的模型的参数记录到辅助存储装置23(步骤s767)。之后，控制部21结束处理。通过以上的处理，生成学习完毕的模型。
[0201]
图20是说明实施方式6的程序的处理的流程的流程图。与图19同样地，以使用信息处理装置20进行第2模型62的机器学习的情况为例进行说明。
[0202]
在图20的程序的执行之前，准备例如具有包括卷积层、池化层、全连接层的神经网络629和softmax层625的cnn等的未学习的模型。未学习的模型并不限定于cnn。能够使用例如决策树或随机森林等任意类型的模型。利用图20的程序调整所准备的模型的各参数而进行机器学习。
[0203]
控制部21从训练数据db获取在一个epoch的训练中使用的训练记录(步骤s771)。控制部21根据所获取的各训练记录中包含的输入数据而生成输入图像(步骤s772)。
[0204]
控制部21在向模型的输入层输入了输入数据矢量的情况下，调整模型的参数以从输出层输出记录于医学发现字段的正解标签(步骤s773)。
[0205]
控制部21判定是否结束处理(步骤s774)。在判定为不结束处理的情况下(在步骤s774中，否)，控制部21返回步骤s771。在判定为结束处理的情况下(在步骤s774中，是)，控制部21将学习完毕的模型的参数记录到辅助存储装置23(步骤s775)。之后，控制部21结束处理。通过以上的处理，生成学习完毕的模型。
[0206]
根据本实施方式，能够利用机器学习生成第1学习模型651和第2学习模型652。
[0207]
[实施方式7]
[0208]
本实施方式涉及使用者能够对由学习模型65输出的医学发现进行修正的导管系统10。对于与实施方式1共同的部分，省略说明。
[0209]
图21是说明第1修正db的记录布局的说明图。第1修正db是记录有将导管系统10所输出的客体配置像482与由使用者进行的修正建立了关联的修正信息的数据库。
[0210]
第1修正db具有断层像数据字段、输出数据字段以及修正数据字段。在断层像数据字段中记录有能够生成纵断层像的横断层像485的套组。在输出数据字段中记录有控制部21输出到显示装置31的客体配置像482。在修正数据字段中记录有使用者修正后的客体配置像482。第1修正db针对使用者对横断层像485的套组进行的每个修正而具有1个记录。
[0211]
图22是实施方式7的导管系统10所显示的画面的例子。图22是在使用例如图6进行了说明的画面的显示过程中、在使用者指示了客体配置像482的修正的情况下控制部21显示于显示装置31的画面。
[0212]
图22所示的画面包括横客体配置像栏515、候选标签栏571、正解标签栏572以及形状修正按钮574。在候选标签栏571中显示有表示客体的种类的标签的候选。在正解标签栏572中显示有使用者判断为是正解的标签。
[0213]
使用者使用指针575来指定要变更种类的客体。之后，使用者通过将显示于候选标签栏571的标签向正解标签栏572进行拖放操作，从而输入正确的标签。
[0214]
控制部21将显示于正解标签栏572的标签更换成由使用者指定的标签。控制部21将由指针575指定的客体重新上色成与由使用者所选择的标签相对应的颜色或底纹。
[0215]
此外，控制部21也可以受理基于语音输入的输入。例如在使用者发出“将钙化变更成血肿”的声音的情况下，控制部21将以“钙化”的颜色或底纹显示的客体重新上色成“血肿”的颜色或底纹。
[0216]
在使用者选择了形状修正按钮574的情况下，控制部21利用绘图软件这样的用户界面受理客体配置像482的上色区分形状的修正。绘图软件是一直以来所使用的，因此省略
详细的说明。
[0217]
通过以上步骤，使用者能够适当修正客体配置像482。控制部21将由使用者修正后的客体配置像482与修正前的客体配置像482和横断层像485的套组一起记录到第1修正db。
[0218]
图23是说明第2修正db的记录布局的说明图。第2修正db是记录有将导管系统10所输出的医学发现与由使用者进行的修正建立了关联的修正信息的数据库。修正db针对使用者对横断层像485的套组的每个修正而具有1个记录。
[0219]
修正db具有断层像数据字段、输出字段以及修正字段。在断层像数据字段中记录有能够生成纵断层像的横断层像485的套组。在输出字段中记录有控制部21输出到显示装置31的医学发现。在修正字段中记录有使用者修正后的医学发现。
[0220]
图24是实施方式7的导管系统10所显示的画面的例子。图24是在例如使用图14进行了说明的画面的显示过程中、在使用者指示了医学发现栏53的修正的情况下控制部21在显示装置31中显示的画面。
[0221]
图24所示的画面包括横断层像栏51、候选标签栏571、正解标签栏572以及自由记述栏573。在候选标签栏571中显示有表示定性的医学发现的标签的候选。在正解标签栏572中显示有使用者判断为是正解的标签。
[0222]
使用者通过在候选标签栏571与正解标签栏572之间对标签进行拖放操作，能够输入正确的医学发现。此外，控制部21也可以受理基于语音输入的输入。在例如使用者发出“正解、血肿”的声音的情况下，控制部21使候选标签栏571的第1行的“血肿”标签移动到正解标签栏572。
[0223]
于在候选标签栏571中未看到表示恰当的医学发现的标签的情况下，使用者能够使用自由记述栏573输入任意的医学发现。虽然省略图示，但对于定量的医学发现，使用者也能够同样地适当变更。
[0224]
控制部21将使用者使用图24的画面输入的修正内容记录到使用图23进行了说明的修正db。
[0225]
使用者使用图22和图24的画面进行修正后的内容也可以附加到记录患者的诊疗结果的电子病历。记录到第1修正db和第2修正db的数据可灵活运用于第1模型61和第2模型62的再学习、以及在由机器学习的工程师进行的机器学习时使用的超参数的修正等。
[0226]
[实施方式8]
[0227]
图25是实施方式8的导管系统10的功能框图。导管系统10具备获取部86和输出部87。获取部86获取使用插入到管腔器官中的图像诊断用导管而生成的断层像。输出部87将所获取的断层像输入至模型65，并输出从模型65输出的客体的种类和范围，该模型65在输入了获取部86所获取的断层像的情况下将该断层像所包含的多个客体的种类与各客体的范围相关联地输出。
[0228]
[实施方式9]
[0229]
图26是说明实施方式9的导管系统的构成的说明图。本实施方式涉及通过使通用的计算机90和程序97组合动作来实现本实施方式的信息处理装置20的形态。图26是表示实施方式9的信息处理装置20的构成的说明图。对于与实施方式2共同的部分，省略说明。
[0230]
本实施方式的导管系统10包括计算机90。计算机90具备控制部21、主存储装置22、辅助存储装置23、通信部24、显示部25、输入部26、读取部29以及总线。计算机90是通用的个
人计算机、平板电脑、智能手机或服务器计算机等信息设备。
[0231]
程序97记录于移动型记录介质96。控制部21借助读取部29读入程序97，并保存于辅助存储装置23。另外，控制部21也可以读出存储在安装到计算机90内的闪存等半导体存储器98中的程序97。而且，控制部21也可以从借助通信部24和未图示的网络而连接的未图示的其他服务器计算机下载程序97并保存于辅助存储装置23。
[0232]
程序97作为计算机90的控制程序而安装，加载到主存储装置22而执行。由此，计算机90作为上述的信息处理装置20发挥功能。
[0233]
在各实施例中记载的技术特征(构成要件)能够彼此组合，通过进行组合，能够形成新的技术特征。
[0234]
此次所公开的实施方式在所有方面都是例示，应该认为并非限制性的。本发明的范围不是由上述的意思示出、而是由权利要求书示出，意图包括与权利要求书等同的意思和范围内的所有变更。
[0235]
附图标记说明
[0236]
10
ꢀꢀꢀ
导管系统
[0237]
20
ꢀꢀꢀ
信息处理装置
[0238]
21
ꢀꢀꢀ
控制部
[0239]
22
ꢀꢀꢀ
主存储装置
[0240]
23
ꢀꢀꢀ
辅助存储装置
[0241]
24
ꢀꢀꢀ
通信部
[0242]
25
ꢀꢀꢀ
显示部
[0243]
26
ꢀꢀꢀ
输入部
[0244]
27
ꢀꢀꢀ
导管控制装置
[0245]
271
ꢀꢀ
导管控制部
[0246]
29
ꢀꢀꢀ
读取部
[0247]
31
ꢀꢀꢀ
显示装置
[0248]
32
ꢀꢀꢀ
输入装置
[0249]
33
ꢀꢀꢀ
mdu
[0250]
37
ꢀꢀꢀ
图像诊断装置
[0251]
40
ꢀꢀꢀ
图像诊断用导管
[0252]
41
ꢀꢀꢀ
探头部
[0253]
42
ꢀꢀꢀ
传感器
[0254]
43
ꢀꢀꢀ
轴
[0255]
44
ꢀꢀꢀ
前端标识
[0256]
45
ꢀꢀꢀ
连接器部
[0257]
482
ꢀꢀ
客体配置像
[0258]
485
ꢀꢀ
横断层像(断层像)
[0259]
51
ꢀꢀꢀ
横断层像栏
[0260]
515
ꢀꢀ
横客体配置像栏
[0261]
52
ꢀꢀꢀ
纵断层像栏
[0262]
525
ꢀꢀ
纵客体配置像栏
[0263]
53
ꢀꢀꢀ
医学发现栏
[0264]
538
ꢀꢀ
值标签
[0265]
551
ꢀꢀ
横断层位置标识
[0266]
552
ꢀꢀ
纵断层位置标识
[0267]
561
ꢀꢀ
根据标识
[0268]
571
ꢀꢀ
候选标签栏
[0269]
572
ꢀꢀ
正解标签栏
[0270]
573
ꢀꢀ
自由记述栏
[0271]
574
ꢀꢀ
形状修正按钮
[0272]
575
ꢀꢀ
指针
[0273]
591
ꢀꢀ
扫描区域
[0274]
61
ꢀꢀꢀ
第1模型
[0275]
62
ꢀꢀꢀ
第2模型
[0276]
625
ꢀꢀ
softmax层
[0277]
629
ꢀꢀ
神经网络
[0278]
65
ꢀꢀꢀ
学习模型(模型)
[0279]
651
ꢀꢀ
第1学习模型
[0280]
652
ꢀꢀ
第2学习模型
[0281]
86
ꢀꢀꢀ
获取部
[0282]
87
ꢀꢀꢀ
输出部
[0283]
90
ꢀꢀꢀ
计算机
[0284]
96
ꢀꢀꢀ
移动型记录介质
[0285]
97
ꢀꢀꢀ
程序
[0286]
98
ꢀꢀꢀ
半导体存储器