医用图像处理装置、诊断装置以及计算机可读存储介质的制作方法

文档序号:31701734发布日期:2022-10-01 08:37阅读:59来源:国知局
医用图像处理装置、诊断装置以及计算机可读存储介质的制作方法
医用图像处理装置、诊断装置以及计算机可读存储介质
1.相关申请的参考
2.本技术享受2021年3月26日申请的日本专利申请号2021-053318的优先权的利益,该日本专利申请的全部内容在本技术中被引用。
技术领域
3.本说明书中公开的实施方式涉及医用图像处理装置、医用图像诊断装置、医用图像处理方法以及非暂时性的计算机可读存储介质。


背景技术:

4.在对医用图像进行图像处理时,希望确保对该图像处理自身的可靠性进行验证的手段。例如,在对医用图像进行图像滤波处理的情况下,希望验证该图像滤波处理自身的特性是否不会对诊断能力产生影响。
5.从该观点出发,例如在将神经网络应用于医用图像的情况下,有时采用如下方法:在以足够数量的学习数据进行学习而生成了学习完毕模型之后,将该学习完毕模型应用于其他的试验数据,并对结果的妥当性、通用性、精度进行验证。
6.但是,在这样的方法中,对于在学习完毕模型的生成时使用的学习数据以及在学习完毕模型的验证时使用的试验数据以外的数据,有时不能定量地评价神经网络的应用后的结果的妥当性。


技术实现要素:

7.本发明要解决的技术问题在于,提供能够提高画质的医用图像处理装置、医用图像诊断装置以及非暂时性的计算机可读存储介质。
8.效果
9.根据实施方式的医用图像处理装置、医用图像诊断装置、医用图像处理方法以及非暂时性的计算机可读存储介质,能够提高画质。
附图说明
10.图1是表示实施方式的医用图像处理装置的一例的图。
11.图2是表示实施方式的医用图像诊断装置的一例的图。
12.图3是表示实施方式的神经网络的一例的图。
13.图4是表示实施方式的神经网络的一例的图。
14.图5是表示实施方式的神经网络的一例的图。
15.图6是表示实施方式的医用图像处理装置进行的处理的流程的流程图。
16.图7是表示实施方式的医用图像处理装置进行的处理的流程的流程图。
17.图8是说明实施方式的医用图像处理装置进行的处理的图。
18.图9是表示实施方式的医用图像处理装置输出的图像的例子的图。
19.图10是说明实施方式的医用图像处理装置输出的图像的例子的图。
具体实施方式
20.以下,参照附图,对医用图像处理装置、医用图像诊断装置、医用图像处理方法以及非暂时性的计算机可读存储介质的实施方式进行详细说明。
21.(第一实施方式)
22.首先,使用图1及图2对实施方式的医用图像处理装置及医用图像诊断装置的结构例进行说明。图1是表示实施方式的医用图像处理装置100的图。另外,图2是表示组装了实施方式的医用图像处理装置100的医用图像诊断装置的一例的图。另外,在图2中,对组装了医用图像处理装置100的医用图像诊断装置是pet装置200的情况进行说明。但是,实施方式不限于医用图像诊断装置是pet装置200的情况,医用图像诊断装置也可以是例如超声波诊断装置、磁共振成像装置、x射线ct装置等其他医用图像诊断装置。另外,实施方式的医用图像处理装置也可以不组装于医用图像诊断装置,也可以作为医用图像处理装置单独发挥功能。
23.在图1中,医用图像处理装置100具备存储器132、输入装置134、显示器135、处理电路150。处理电路150具备取得功能150a、显示控制功能150b、学习功能150c、处理功能150d、生成功能150e、受理功能150f。
24.在实施方式中,由取得功能150a、显示控制功能150b、学习功能150c、处理功能150d、生成功能150e、受理功能150f进行的各处理功能,以能够由计算机执行的程序的形式存储在存储器132中。处理电路150是通过从存储器132读出并执行程序来实现与各程序对应的功能的处理器。换言之,读出了各程序的状态的处理电路150具有处理电路150内所示的各功能。
25.另外,在图1中,说明了由单一的处理电路150实现由取得功能150a、显示控制功能150b、学习功能150c、处理功能150d、生成功能150e、受理功能150f进行的处理功能的情况,但也可以将多个独立的处理器组合来构成处理电路150,并通过各处理器执行程序来实现功能。换言之,也可以是上述各个功能构成为程序并由一个处理电路150执行各程序的情况。作为另一例子,也可以是特定的功能安装在专用的独立的程序执行电路中的情况。另外,在图1中,取得功能150a、显示控制功能150b、学习功能150c、处理功能150d、生成功能150e、受理功能150f分别是取得部、显示控制部、学习部、处理部、生成部、受理部的一例。另外,显示器135是显示部的一例。
26.在上述说明中使用的“处理器”这样的语句例如意味着cpu(central processing unit:中央处理单元)、gpu(graphics processing unit:图形处理单元)、或者面向特定用途的集成电路(application specific integrated circuit:asic)、可编程逻辑器件(例如,简单可编程逻辑器件(simple programmable logic device:spld)、复合可编程逻辑器件(complex programmable logic device:cpld)、以及现场可编程门阵列(field programmable gate array:fpga))等电路。处理器通过读出并执行在存储器132中保存的程序来实现功能。
27.另外,也可以构成为代替在存储器132中保存程序而在处理器的电路内直接组装程序。在此情况下,处理器通过读出并执行被组装到电路内的程序来实现功能。
28.处理电路150通过取得功能150a从医用图像诊断装置取得各种信息。处理电路150通过显示控制功能150b来控制图像的生成、显示等。作为一例,处理电路150通过显示控制功能150b使显示器135显示所生成的各种图像。此外,处理电路150也可以通过显示控制功能150b进行显示控制装置130取得数据的医用图像诊断装置的整体控制。
29.处理电路150通过学习功能150c进行机器学习,生成学习完毕模型。此外,处理电路150通过处理功能150d及生成功能150e生成与学习完毕模型的应用以及学习完毕模型的输出的可靠性有关的信息。关于学习功能150c、处理功能150d以及生成功能150c的详细情况,在后面叙述。
30.另外,除此之外,处理电路150也可以通过生成功能150c,基于从医用图像诊断装置得到的数据来生成图像。
31.处理电路150通过受理功能150f,例如通过输入装置134受理来自用户的各种处理。
32.存储器132存储从医用图像诊断装置取得的数据、由具有生成功能150c的处理电路150生成的图像数据等。例如,存储器132是ram(random access memory)或闪存等半导体存储元件、硬盘、光盘等。
33.输入装置134受理来自操作者的各种指示、信息输入。输入装置134例如是鼠标、轨迹球等指示设备、模式切换开关等选择设备、或者键盘等输入设备。显示器135在具有显示控制功能150b的处理电路150的控制下,显示用于受理摄像条件的输入的gui(graphical user interface:图形用户界面)、由具有生成功能150c的处理电路150生成的图像等。显示器135例如是液晶显示器等显示设备。
34.在图2中,示出了pet装置200,作为组装了医用图像处理装置100的医用图像诊断装置的一例。pet装置200具备架台装置50和医用图像处理装置100。
35.架台装置50具备检测器51、定时信息取得电路102、顶板103、诊视床104和诊视床驱动部105。
36.检测器51是通过检测闪烁光(荧光)来检测放射线的检测器,该闪烁光是由于从被检体p内的正电子放出的湮灭伽马射线与发光体(闪烁体)相互作用而成为激励状态的物质再次转变为基态时再次放出的光。检测器51检测从被检体p内的正电子放出的湮灭伽马射线的放射线的能量信息。检测器51以环状将被检体p的周围包围的方式配置有多个,例如由多个检测器模块构成。
37.作为检测器51的具体结构的一例,是光子计数方式、安格(anger)型的检测器,例如具有闪烁体、光检测元件及光导(light guide)。即,包含在检测器51中的像素分别具有闪烁体和检测所产生的闪烁光的光检测元件。
38.闪烁体将从被检体p内的正电子放出而入射的湮灭伽马射线变换为闪烁光(scintillation photons、optical photons,闪烁光子、光学光子)并输出。闪烁体例如由labr3(lanthanum bromide:溴化镧)、lyso(lutetium yttrium oxyorthosilicate:硅酸钇镥)、lso(lutetium oxyorthosilicate:硅酸镥)、lgso(lutetium gadolinium oxyorthosilicate:硅酸钆镥)等或bgo等的适于tof计测及能量计测的闪烁体晶体形成,例如排列成二维。
39.作为光检测元件,例如使用sipm(silicon photomultiplier:硅光电倍增管)、光
电倍增管。光电倍增管具有接收闪烁光并产生光电子的光电阴极、提供对所产生的光电子进行加速的电场的多级倍增极、以及作为电子的流出口的阳极,将从闪烁体输出的闪烁光倍增并转换为电信号。
40.另外,架台装置50通过定时信息取得电路102,根据检测器51的输出信号来生成计数信息,将生成的计数信息保存在医用图像处理装置100的存储部中。另外,检测器51被划分为多个块,具备定时信息取得电路102。
41.定时信息取得电路102将检测器51的输出信号变换为数字数据,生成计数信息。该计数信息中包含湮灭伽马射线的检测位置,能量值以及检测时间。例如,定时信息取得电路102确定将闪烁光以相同的定时变换成电信号的多个光检测元件。并且,定时信息取得电路102确定闪烁体编号(p),该闪烁体编号(p)表示入射了湮灭伽马射线的闪烁体的位置。
42.另外,定时信息取得电路102通过对从各光检测元件输出的电信号的强度进行积分计算,确定入射到检测器1的湮灭伽马射线的能量值(e)。另外,定时信息取得电路102确定由检测器1检测到由湮灭伽马射线引起的闪烁光的检测时间(t)。另外,检测时间(t)可以是绝对时刻,也可以是从摄影开始时刻起的经过时间。这样,定时信息取得电路102生成包含闪烁体编号(p)、能量值(e)以及检测时间(t)的计数信息。
43.另外,定时信息取得电路102例如由cpu(central processing unit:中央处理单元)、gpu(graphics processing unit:图形处理单元)、或者面向特定用途的集成电路(application specific integrated circuit:asic)、可编程逻辑器件(例如,简单可编程逻辑器件(simple programmable logic device:spld)、复合可编程逻辑器件(complex programmable logic device:cpld)、以及现场可编程门阵列(field programmable gate array:fpga))等电路来实现。
44.顶板103是载置被检体p的床,配置在诊视床104上。诊视床驱动部105在处理电路150的诊视床控制功能的控制下,使顶板103移动。例如,诊视床驱动部105通过使顶板103移动,使被检体p移动到架台装置50的摄影口内。
45.另外,医用图像处理装置100除了图1中说明的功能以外,作为pet装置200也可以具有各种功能。例如,医用图像处理装置100中包含的处理电路150也可以通过未图示的同时计数信息生成功能,根据由定时信息取得电路102取得的与检测器51有关的计数信息,生成同时计数信息。另外,处理电路150也可以通过生成功能105e重构pet图像。具体地说,处理电路150也可以通过生成功能105e读出存储在存储器132中的同时计数信息的时序列表,使用读出的时序列表来重构pet图像。
46.另外,处理电路150也可以通过未图示的系统控制功能,控制架台装置50及医用图像处理装置100,由此进行pet装置200的整体控制。
47.接着,对实施方式的背景进行说明。
48.在对医用图像进行图像处理时,希望确保对该图像处理自身的可靠性进行验证的手段。例如,在对医用图像进行图像滤波处理的情况下,希望验证该图像滤波处理自身的特性是否不会对诊断能力产生影响。
49.从该观点出发,例如在将神经网络应用于医用图像的情况下,有时采用如下方法:在以足够数量的学习数据进行学习而生成学习完毕模型之后,将该学习完毕模型应用于其他的试验数据,并对结果的妥当性、通用性、精度进行验证。
50.但是,在这样的方法中,对于在学习完毕模型的生成时使用的学习数据以及在学习完毕模型的验证时使用的试验数据以外的数据,不能定量地评价神经网络的应用后的结果的妥当性。因此,对于将在临床现场实际输入的医用图像应用神经网络后的医用图像的可靠度,有时无法向用户表示定量的评价值。
51.因此,希望在医用图像诊断装置中执行向用户定量地表示神经网络对医用图像的应用结果的可靠度的功能。
52.鉴于这样的背景,实施方式的医用图像处理装置是进行使用了学习完毕模型的处理的医用图像处理装置,该学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像,该医用图像处理装置具备处理部,该处理部通过将该学习完毕模型中包含的多个神经元的结合随机地进行接通/断开(on/off),从而对第二输入医用图像生成多个第二输出医用图像。另外,实施方式的医用图像诊断装置具备该医用图像处理装置。由此,能够向用户定量地表示对医用图像应用神经网络时的结果的可靠度。作为一例,在对pet图像应用神经网络进行滤波处理的情况下,对于在图像上确认的累积是否为假阳性,能够辅助用户的判断。
53.以下,使用图3~8对该结构进行说明。
54.首先,参照图3及图4对实施方式的学习完毕模型的例子进行说明。
55.在图3中,dnn(deep neural network)2作为实施方式的神经网络的一例而表示。dnn2是由多个层构成的神经网络,由输入层10、作为输出数据的层的输出层11、其间的中间层12、13、14、15构成。
56.输入层10表示被输入数据的层。输入到输入层10的数据例如是从医用图像诊断装置取得的医用图像或医用图像数据。在医用图像诊断装置是pet装置200的情况下,输入到输入层10的数据例如是pet图像。另外,在医用图像诊断装置是x射线ct装置、磁共振成像装置、超声波诊断装置的情况下,输入到输入层10的数据例如分别是x射线ct图像、磁共振图像、超声波图像。输入层10具有神经元10a、10b、10c等多个神经元。
57.另外,输入到输入层10的输入数据可以是医用图像,也可以是生成医用图像的前阶段的各种图像数据、投影数据、中间数据或原始数据。例如,在医用图像诊断装置是pet装置200的情况下,输入到输入层10的输入数据可以是pet图像,也可以是pet图像的重构前的各种数据例如是同时系数信息的时序数据。
58.输出层11表示数据被输出的层。在输出层11被输出的数据例如是医用图像或医用图像数据。另外,输出层11也与输入层10同样,具有神经元11a、11b、11c等多个神经元。
59.这里,例如在进行学习的目的是进行去噪处理的情况下,在输出层11被输出的数据例如是进行去噪处理后、与输入到输入层10的数据相比画质提高了的医用图像或医用图像数据。例如,在输入到输入层10的输入数据是pet图像的情况下,在输出层11被输出的数据是进行去噪处理后、与输入到输入层10的数据相比画质提高了的pet图像或pet图像数据。另外,例如,在输入到输入层10的输入数据是x射线ct图像/x射线ct数据、磁共振图像/磁共振数据、超声波图像/超声波数据的情况下,从输出层11输出的数据例如分别是进行去噪处理后、与输入到输入层10的数据相比画质提高了的x射线ct图像/x射线ct数据、磁共振图像/磁共振数据、超声波图像/超声波数据。
60.另外,与输入到输入层10的输入数据的情况相同,在输出层11被输出的数据可以
是医用图像,也可以是生成医用图像的前阶段的各种投影数据、中间数据或原始数据。
61.另外,dnn2是卷积神经网络(cnn:convolutional neural network)的情况下,输入到输入层10的数据例如是由尺寸为32
×
32等的二维排列表示的数据,从输出层11输出的数据例如是由尺寸为32
×
32等的二维排列表示的数据。输入到输入层10的数据的大小及从输出层11输出的数据的大小,可以相同,也可以不同。
62.dnn2在输入层10和输出层11之间具有保持中间计算结果的中间层12、13、14、15。中间层12、13、14、15也被称为隐藏层。每个中间层具有多个神经元。例如,中间层12具有神经元12a,12b,12c,中间层14具有神经元14a、14b、14c。在此,中间层与前后的层连接,前级的层的输出结果被输入到后级的层。例如,输入层10的输出结果被输出到中间层12,中间层12的输出结果被输入到中间层13,中间层13的输出结果被输出到中间层14,中间层15的输出结果被输出到输出层11。在dnn2为cnn的情况下,中间层12、13、14、15分别由例如池化层、卷积层、全结合层等分别具有固有功能的层构成,通过执行各层所固有的规定的运算,基于前级的层的输出结果进行运算,将该运算的结果输入到下一层。
63.接着,对实施方式的学习完毕模型的生成即学习步骤进行说明。处理电路150通过学习功能150c对dnn2进行例如机器学习,从而生成学习完毕模型。在此,进行机器学习是指,决定由例如输入层10、中间层12、13、14、15以及输出层11构成的神经网络即dnn2中的加权,具体而言,是指决定对输入层10和中间层12之间的结合赋予特征的系数的组、对中间层12和中间层13之间的结合赋予特征的系数的组、

、对中间层15和输出层11之间的结合赋予特征的系数的组。处理电路150通过学习功能130c,利用例如反向误差传播法,决定这些系数的组。
64.处理电路150通过学习功能130c,基于由输入到输入层10的数据和在输出层11被输出的数据构成的教师数据即训练数据,进行机器学习,决定各层间的加权,生成被决定了加权的学习完毕模型。
65.另外,在深层学习中,可以使用自编码(自动编码器)。在此情况下,机器学习所需的数据不需要是有教师的数据。
66.另外,处理电路150也可以通过学习功能130c,通过例如随机地使学习完毕模型中包含的多个神经元的结合成为接通/断开的丢弃(dropout)学习,进行dnn2的学习,生成学习完毕模型。例如,如图4所示,处理电路150通过学习功能130c,按照随机数,在某个时刻将神经元12b及14b设为断开(off)来进行学习,并且如图5所示,在其他时刻将神经元12c及14a设为断开(off)来进行学习,生成学习完毕模型。
67.接着,使用图6~图8对将实施方式的学习完毕模型应用于医用图像的情况下的处理进行说明。图6表示将实施方式的学习完毕模型单纯地应用于医用图像的情况下的处理,图7及图8表示将实施方式的学习完毕模型应用于医用图像时的进行可靠度的计算的情况下的处理。
68.首先,对将实施方式的学习完毕模型单纯地应用于医用图像的情况进行说明,首先,在步骤s100中,处理电路150通过处理功能150d将例如作为临床图像的第一输入医用图像输入到学习完毕模型中。例如,处理电路150通过处理功能150d将作为临床图像的第一输入医用图像输入到作为学习完毕模型的dnn2的输入层10。接着,在步骤s110中,处理电路150通过处理功能150d取得从作为学习完毕模型的dnn2的输出层11输出的数据作为第一输
出医用图像。第一输出医用图像例如是进行了噪声去除等规定处理的医用图像。这样,处理电路150通过处理功能150d,生成进行了例如噪声去除等规定处理的第一输出医用图像。另外,实施方式的学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像。根据需要,处理电路150也可以通过显示控制功能150b使显示器135显示所得到的第一输出医用图像。
69.接着,使用图7及图8来说明对将学习完毕模型应用于医用图像的情况下的可靠度进行计算的处理。
70.首先,如图7所示,在步骤s200中,处理电路150通过处理功能150d将图8所示的第二输入医用图像1输入到学习完毕模型即dnn2中。另外,在图7的步骤s200中,使用第二输入医用图像这样的表现,与图6的第一输入医用图像进行了区别,但这是基于为了明示出图7所示的计算神经网络应用的可靠度的处理是与图6所示的应用神经网络的处理独立的处理这样的意图。不妨碍第二输入医用图像为与第一输入医用图像相同的医用图像。
71.在此,如步骤s210所示,处理电路150通过处理功能150d,在将学习完毕模型应用于第二输入医用图像1时,使学习完毕模型中包含的多个神经元的结合随机地接通/断开。由此,如步骤s220所示,处理电路150通过处理功能150d对第二输入医用图像1生成多个第二输出医用图像3a、3b、3c。
72.这里的丢弃处理是与以前说明的学习时的丢弃处理独立的处理,若再次利用图4及图5说明本处理,则例如,如图4所示,处理电路150通过处理功能150d,按照随机数将dnn2中的神经元12b及14b等设为断开(off)后,将输入医用图像1输入到输入层10,生成在输出层11得到的输出结果作为第二输出医用图像3a。
73.另外,例如,如图5所示,处理电路150通过处理功能150d,按照随机数将dnn2中的神经元12c以及14a等设为断开(off)后,将输入医用图像1输入到输入层10,生成在输出层11得到的输出结果作为第二输出医用图像3b。同样地,处理电路150通过处理功能150d,按照随机数将dnn2中的几个神经元设为断开(off)后,将输入医用图像1输入到输入层10,生成在输出层11得到的输出结果作为第二输出医用图像3c。
74.另外,这些第二输出医用图像3a、3b、3c,虽然输入到输入层10的输入医用图像1是共同的,但由于通过随机数而随机地被设为接通/断开的神经元不同,所以成为相互不同的输出医用图像。这样,实施方式的医用图像处理装置能够使用丢弃处理,从一个输入医用图像1取得多个推断结果。
75.接着,在步骤s230中,处理电路150通过生成功能150c,基于在步骤s220中生成的多个第二输出医用图像,生成与学习完毕模型的输出的可靠度有关的信息。
76.首先,处理电路150通过生成功能150c将在步骤s220中生成的多个第二输出医用图像合成,而生成第三输出图像。例如,如图8及图9所示,处理电路150对在步骤s220中生成的多个第二输出医用图像3a、3b、3c按每个像素进行平均操作,生成进行平均操作后得到的图像即代表图像作为第三输出医用图像4。
77.另外,处理电路150通过生成功能150c,生成对在步骤s220中生成的多个第二输出医用图像的偏差的大小进行表示的图像即第四输出医用图像。例如,如图8及图10所示,处理电路150对在步骤s220中生成的多个第二输出医用图像3a、3b、3c计算例如标准偏差,生成对计算出的标准偏差进行表示的图像,作为对多个第二输出医用图像的偏差大小进行表
示的图像即第四输出医用图像5。在此,对多个第二输出医用图像的偏差大小进行表示的图像即第四输出医用图像5,是表示输出结果相对于dnn2的较小的变动以何种程度稳定,换言之,成为对作为学习完毕模型的dnn2的输出的可靠度进行表示的信息的一例。
78.接着,在步骤s240中,处理电路150通过显示控制功能150b使显示器135显示第三输出医用图像4和与学习完毕模型的输出的可靠度有关的信息。作为一例,处理电路150通过显示控制功能150b,使显示器135显示多个第二输出医用图像的平均图像即第三输出医用图像4作为代表图像,并且使显示器135显示对多个第二输出医用图像的标准偏差进行表示的图像即第四输出医用图像5作为对学习完毕模型即dnn2的输出的可靠度进行表示的信息。由此,用户能够直观地理解学习完毕模型即dnn2的输出的可靠度。
79.(第二实施方式)
80.在第一实施方式中,对以下情况进行了说明:在计算将学习完毕模型应用于医用图像的情况下的可靠度的处理过程中,进行丢弃处理而生成多个第二输出医用图像,将作为其平均图像的第三输出医用图像4作为代表图像,与对学习完毕模型的输出的可靠度进行表示的信息即可靠度图像一起,显示在显示器135上。但是,实施方式不限于此,作为在显示器135上显示的代表图像,处理电路150也可以不使用将进行了丢弃处理的多个第二输出医用图像平均后的图像,而是使用不进行丢弃处理的通常的输出医用图像。
81.即,在第二实施方式中,处理电路150通过处理功能150d,如图6所示,按照不进行丢弃处理的通常的处理,将第二输入医用图像作为图6的步骤s100的第一输入医用图像输入到学习完毕模型中,并将在步骤s110中生成的第一输出医用图像作为代表图像即第三输出医用图像。另一方面,在计算对学习完毕模型的输出的可靠度进行表示的信息时,与第一实施方式同样地使用丢弃处理进行图7中说明的处理,在步骤s230中生成对多个第二输出图像的标准偏差进行表示的图像即第四输出医用图像5。接着,处理电路150通过显示控制功能150b,将在步骤s110中生成的第一输出医用图像作为代表图像,将在步骤s230中生成的表示标准偏差的图像即第四输出医用图像5作为对学习完毕模型的输出的可靠度进行表示的信息,分别显示在显示器135上。
82.第一实施方式和第二实施方式在显示对学习完毕模型的输出的可靠度进行表示的信息这一点上是共同的,但在第二实施方式中,所显示的代表图像是不受到基于丢弃处理的随机数的影响的图像。
83.(第三实施方式)
84.在第一实施方式中,对向用户显示表示标准偏差的图像来作为对学习完毕模型的输出的可靠性进行表示的信息的情况进行了说明。但是,实施方式不限于此,例如也可以从用户受理关注区域的输入,关于所受理的关注区域,计算对学习完毕模型的输出的可靠度进行表示的信息。
85.在第三实施方式中,首先,处理电路150通过显示控制功能150b,将第一输入医用图像、或者将第一输入医用图像输入到学习完毕模型而得到的输出结果即第一输出医用图像,显示在显示器135上。接着,处理电路150通过受理功能150f经由输入装置134而从用户受理关注区域(roi:region of interest)的输入。接着,处理电路150通过生成功能150e,基于该关注区域,生成与学习完毕模型的输出的可靠度有关的信息。
86.例如,处理电路150通过生成功能150e对该关注区域进行与在第一实施方式中说
明的处理相同的处理,生成例如对多个第二输出医用图像的标准偏差进行表示的图像即第四输出医用图像。接着,处理电路150通过生成功能150e,例如在关注区域内对第四输出医用图像的值进行平均,由此计算由用户指定的关注区域内的学习完毕模型的输出的可靠度的值。处理电路150通过显示控制功能150b使显示器135显示计算出的可靠度的值。由此,能够针对由用户指定的关注区域,计算学习完毕模型的输出的可靠度。
87.(第四实施方式)
88.在第四实施方式中,对如下情况进行说明:基于在第一实施方式中计算出的对学习完毕模型的输出的可靠性进行表示的信息,计算用于叠加的权重,并基于计算出的权重来生成合成图像。
89.作为一例,处理电路150基于对学习完毕模型的输出的可靠度进行表示的信息、即在第一实施方式中生成的第四输出医用图像,对每个像素计算通过生成功能150e生成合成图像时的叠加的权重。例如,在对学习完毕模型的输出的可靠度进行表示的信息是标准偏差图像的情况下,认为标准偏差越大,则学习完毕模型的输出医用图像的可靠性越低,因此优选将生成合成图像时的叠加的权重减小,相反,认为标准偏差越小,则可靠性越高,因此优选将生成合成图像时的叠加的权重增大。因此,处理电路150计算通过生成功能150e以如下方式生成合成图像时的输出医用图像的叠加的权重,所述方式为:在第一实施方式中生成的第四输出医用图像的值大的像素的叠加的权重与第四输出医用图像的值小的像素的叠加的权重相比变小。
90.接着,处理电路150通过生成功能150e,基于计算出的叠加的权重,生成合成图像。作为一例,处理电路150通过生成功能150e,基于计算出的叠加的权重,使第一输入医用图像和第一输出医用图像叠加而生成合成医用图像。例如,处理电路150通过生成功能150e,对作为原图像的第一输入医用图像,加上计算出的输出医用图像的叠加的权重的第一输出医用图像,而生成合成医用图像。由此,能够适当地将原始图像和学习完毕模型的输出结果的图像合成,画质提高。
91.另外,实施方式不限于此,例如处理电路150也可以通过生成功能150e,基于计算出的叠加的权重,使多个第二输出医用图像彼此叠加而生成合成图像。
92.(其他实施方式)
93.在此前的实施方式中,对以下情况进行了说明了:处理电路150通过处理功能150d,使用丢弃处理,生成多个第二输出医用图像,通过生成功能150e,基于所生成的多个第二输出医用图像,生成与学习完毕模型的输出的可靠度有关的信息。但是,实施方式不限于此,在实施方式中,也可以代替丢弃处理,而进行使用了多种神经网络等的集合推论。即,通过使用多个种类的神经网络等进行集合推论,计算基于各方法的偏差,由此能够得到与学习完毕模型的输出的可靠性有关的信息。
94.换言之,实施方式的医用图像处理装置是进行使用了多个学习完毕模型的处理的医用图像处理装置,该多个学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像,处理电路150通过处理功能150d,基于多个学习完毕模型,对第二输入医用图像生成多个第二输出医用图像。即,处理电路150通过处理功能150d对作为一个输入医用图像的第二输入医用图像生成多个第二输出医用图像。另外,例如,处理电路150通过生成功能150e对所生成的多个第二输出医用图像进行平均,从而生成代表图像。由此,与单
一的神经网络相比,能够提高可靠性。另外,处理电路150能够通过生成功能150e,基于所生成的多个第二输出医用图像,同样地生成对多个第二输出医用图像的偏差的大小进行表示的图像即第四输出医用图像。由此,能够生成与学习完毕模型的输出的可靠度相关的信息。
95.另外,在上述实施方式中,对学习完毕模型所涉及的神经网络所执行的处理是进行去噪处理时的情况进行了说明。即,对如下情况进行了说明:处理电路150对dnn2的输入层10输入的输入数据是包含噪声的医用图像数据/医用图像,处理电路150在dnn2的输出层11输出的输出数据是被去除了噪声的医用图像数据/医用图像的情况。但是,实施方式不限于此。例如,作为学习完毕模型的神经网络执行的处理,也可以是其它处理例如分割处理、病变提取处理等。
96.另外,在实施方式中,对在生成学习完毕模型时进行丢弃学习的情况进行了说明。但是,实施方式不限于此,在生成学习完毕模型时,也可以不进行丢弃学习。
97.另外,在实施方式中,对使用标准偏差图像作为对第二输出医用图像的偏差大小进行表示的图像的情况进行了说明,但作为表示偏差大小的量,不限于标准偏差,例如也可以是方差、最大值与最小值之差等其他量。
98.根据以上说明的至少一个实施方式,能够提高画质。
99.关于以上的实施方式,作为发明的一个侧面以及选择性的特征,公开以下的附记。
100.(附记1)
101.在本发明的一个方式中提供的医用图像处理装置具备处理电路。
102.所述处理电路进行使用了学习完毕模型的处理,该学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像,在该医用图像处理装置中,
103.通过使所述学习完毕模型中包含的多个神经元的结合随机地接通/断开,从而对第二输入医用图像生成多个第二输出医用图像。
104.(附记2)
105.所述处理电路也可以基于所述多个第二输出医用图像,生成与所述学习完毕模型的输出的可靠度有关的信息。
106.(附记3)
107.所述处理电路也可以将所述多个第二输出医用图像合成,来生成第三输出医用图像。
108.(附记4)
109.所述处理电路也可以生成第四输出医用图像,该第四输出医用图像是表示所述多个第二输出医用图像的偏差的大小的图像。
110.(附记5)
111.所述处理电路也可以使显示器显示所述第三输出医用图像和所述信息。
112.(附记6)
113.所述处理电路也可以从用户受理关注区域的指定,并基于所述关注区域,来生成所述信息。
114.(附记7)
115.所述处理电路也可以基于所述信息,按每个像素计算叠加的权重,并基于所述权重,将所述第一输入医用图像和所述第一输出医用图像叠加而生成合成医用图像。
116.(附记8)
117.在本发明的一个方式中提供的医用图像处理装置,进行使用了多个学习完毕模型的处理,该多个学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像,该医用图像处理装置具备处理电路,该处理电路基于所述多个学习完毕模型,对第二输入医用图像生成多个第二输出医用图像。
118.(附记9)
119.在本发明的一个方式中提供的医用图像诊断装置具备医用图像处理装置,该医用图像处理装置进行使用了学习完毕模型的处理,该学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像,
120.所述医用图像处理装置通过使所述学习完毕模型中包含的多个神经元的结合随机地接通/断开,从而对第二输入医用图像生成多个第二输出医用图像。
121.(附记10)
122.在本发明的一个方式中提供的医用图像处理方法,是由医用图像处理装置进行的医用图像处理方法,该医用图像处理装置进行使用了学习完毕模型的处理,该学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像,
123.在该医用图像处理方法中,通过使所述学习完毕模型中包含的多个神经元的结合随机地接通/断开,从而对第二输入医用图像生成多个第二输出医用图像。
124.(附记11)
125.在本发明的一个方式中提供的非暂时性的计算机可读存储介质,存储使计算机执行处理的程序,该计算机进行使用了学习完毕模型的处理,该学习完毕模型通过对第一输入医用图像进行规定的处理来生成第一输出医用图像,所述程序使计算机执行的处理是通过使所述学习完毕模型中包含的多个神经元的结合随机地接通/断开来对第二输入医用图像生成多个第二输出医用图像的处理。
126.说明了几个实施方式,但这些实施方式是作为例子而提示的,并不意图限定发明的范围。这些实施方式能够以其他各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更、实施方式彼此的组合。这些实施方式及其变形包含在发明的范围或主旨内,同样包含在权利要求书所记载的发明及其均等的范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1