图像处理装置、图像处理方法以及磁共振成像装置与流程

1.本发明涉及用于对在磁共振成像(以下称作mri)装置等医用摄像装置中得到的图像进行高画质化的图像处理技术。


背景技术：

2.一般，在mri检查中，执行多个摄像序列来取得多个图像种类。摄像序列记述了高频磁场(rf)、各轴方向的倾斜磁场(gs、gp、gr)的施加定时，对应于希望获取的图像的种类来使用各种摄像序列。在mri检查中，基于通过执行多个序列而得到的多种图像来进行诊断。
3.决定摄像序列的参数(重复时间tr、回波时间te、反转时间ti、翻转角fa等)被称作摄像参数，进行摄像而得到的图像的强调程度根据序列的种类(自旋回波、梯度回波、epi等)和摄像参数来决定。摄像参数根据对象部位、疾患等来进行各种调整。
4.如上述那样，取得多种图像的检查需要很长时间，不管对患者还是对检查者来说，负担都很大。因此，在mri检查中，为了缩短检查时间，有时会降低分辨率来进行摄像。在该情况下，会产生因回波信号的高频分量发生截止而引起的振铃伪影(ringing artifact)(也称作截断伪影(truncation artifact)、截止伪影)。振铃伪影是在图像的周边以细条纹状呈现的伪影，作为抑制其的一般方法，有对图像施加低通滤波器的方法。但在对图像施加低通滤波器的情况下，存在发生模糊这样的课题。
5.另一方面，近年来，开发了通过机器学习对画质低的图像进行高画质化的技术，也正广泛地应用于mr图像等医用图像中。例如在专利文献1中公开了一种使用模型的高画质化技术，该模型以如下方式进行了学习，即，通过输入低频分量图像，来输出减少了高频磁场的不均匀性的影响的补正图像。此外，在专利文献2中，公开了如下手法：使用2阶段的神经网络(nn)，从低解析度的第1解析度图像经过解析度比该第1解析度图像高的第2解析度图像进一步得到高解析度的第3解析度图像。通过使用这样的机器学习从低分辨率图像推定高分辨率图像，从而可期待减少上述的振铃并且还减少模糊。
6.现有技术文献
7.专利文献
8.专利文献1：jp特开2020-121032号公报
9.专利文献2：jp特开2018-151747号公报
10.但在基于利用了现有的学习模型、nn的机器学习的高画质化中，存在如下这样的课题，即，虽然在与学习时的图像相同的摄像条件(对比度/分辨率)的图像中能得到高精度的结果，但在摄像条件不同的图像中，精度会降低。此外，从时间/数据数量方面来看，很难事先对全部摄像条件的图像进行学习。


技术实现要素：

11.本发明鉴于上述事情而提出，目的在于，不依赖于所输入的图像的种类地进行高
精度的高画质化处理。
12.本发明对一个图像进行高画质化处理，使用其结果对其他图像进行第二高画质化处理，由此解决上述课题。
13.即，本发明的图像处理装置具备：图像接受部，接受关于相同对象的第一图像以及种类与所述第一图像不同的第二图像；第一高画质化处理部，使用以对第一图像进行高画质化的方式进行了学习的高画质化函数，来对所述图像接受部所接受的第一图像进行高画质化；和第二高画质化处理部，使用所述第一高画质化处理部所生成的第一高画质图像和所述第二图像，来对所述第二图像进行高画质化。
14.这里，所谓“种类不同的图像”，意思是摄像中所用的装置的种类(模式：modality)、摄像时的条件(生物体组织、物理量的强调程度(对比度)、摄像参数、摄像序列等)、摄像时刻(摄像日期时间、造影剂给投后经过时间、呼吸相位、心跳相位等)当中至少1者不同的图像。
15.此外，本发明的图像处理方法包括：学习步骤，生成以对第一图像进行高画质化的方式进行了学习的第一高画质化函数；图像接受步骤，接受关于相同对象的第一图像以及第二图像；第一高画质化步骤，对通过所述图像接受步骤接受到的第一图像使用所述第一高画质化函数来进行高画质化；和第二高画质化步骤，将通过所述第一高画质化步骤得到的第一高画质图像以及通过所述图像接受步骤接受到的第二图像作为输入，来对所述第二图像进行高画质化。
16.此外，本发明的mri装置具备：摄像部，使检查对象产生核磁共振信号，并且收集从检查对象产生的核磁共振信号；和计算机，对核磁共振信号进行处理来生成图像，计算机具备上述的本发明的图像处理装置的功能。
17.发明效果
18.根据本发明，不用对图像的每个种类准备高画质化函数，就能对各种图像实现高画质化。此外，根据本发明，在一次性取得多个图像的mr检查中，能实现时间的缩短和高图像化。
附图说明
19.图1是表示图像处理装置以及医用摄像装置的一实施方式的框图。
20.图2是表示图1的图像处理装置的动作的流程的图。
21.图3是表示实施方式1的图像处理装置的处理的概要的图。
22.图4是表示实施方式1的第二高画质化处理的一例的图。
23.图5是表示实施方式1的第二高画质化处理的其他示例的图。
24.图6是表示实施方式1的第二高画质化处理的再其他示例的图。
25.图7是表示实施方式2的图像处理装置的整体结构的框图。
26.图8是表示实施方式2的图像处理装置的处理的概要的图。
27.图9是表示实施方式2的第二高画质化处理的一例的图。
28.图10是表示实施方式2的第二高画质化处理的其他示例的图。
29.附图标记说明
30.100：医用摄像装置、110：摄像部、120：计算机、200：图像处理装置、210：图像接受
部、220：学习部、230：第一高画质化处理部、240：第二高画质化处理部、250：图(map)算出部、500：数据库
具体实施方式
31.以下参考附图来说明本发明的实施方式。
32.首先参考图1来说明图像处理装置的整体结构。图像处理装置200是接受医用摄像装置100所摄像到的图像并进行高画质化处理的装置，其具备：接受图像的图像接受部210；对图像接受部210所接受的图像进行高画质化处理的高画质化处理部(第一高画质化处理部230、第二高画质化处理部240)；以及生成高画质化处理部230、240所使用的高画质化函数(例如学习模型)的学习部220。
33.图像接受部210接受种类不同的至少2种图像。这2种图像可以是从医用摄像装置100直接发送的图像，也可以是存放于pacs等医用图像数据库500等的图像。医用摄像装置100在图1中示出1个装置，但也可以是mri装置、ct装置等模式不同的多个摄像装置、设置于不同场所的多个摄像装置。2种图像除了如这样包含进行图像取得的医用摄像装置所不同的图像以外，也可以是由相同的医用摄像装置取得的图像，还包含对比度、摄像参数、摄像时刻等不同的图像。在医用摄像装置100是mri装置的情况下，例如能得到t1w图像、t2w图像、flair图像等通过使摄像序列以及摄像参数不同从而对比度不同的各种图像。此外，这些图像有时会在一个检查内同时取得，也有时会不同时取得。在本实施方式中，将这些图像设为“种类不同的图像”(第一图像、第二图像)，来作为处理对象。
34.高画质化处理部具备：以图像接受部210所接受的第一图像作为输入来进行处理的第一高画质化处理部230；以第一高画质化处理部230的输出即高画质图像和图像接受部210所接受的第二图像双方作为输入来进行处理的第二高画质化处理部240。作为高画质化处理的高画质化函数(算法)，第一高画质化处理部230能采用卷积神经网络(cnn)、公知的机器学习算法、或者仅使用高画质图像来作成辞典的手法(稀疏建模、稀疏编码)。
35.第二高画质化处理部240将第一图像的高画质图像(第一高画质图像)作为引导图像，来对种类与第一图像不同的图像(第二图像)进行高画质化，作为其算法，能使用联合双边滤波器(joint bilateral filter)、导向滤波器(guided filter)等将边缘保存不变地进行平滑化的滤波器。此外，也可以使用gan(generative adversarial networks，生成对抗网络)等无监督学习模型。处理的详细情况之后叙述。
36.学习部220生成高画质化处理部230中所用的高画质化函数(学习模型)。具体地，以如下方式进行未学习模型的学习，即，将大量第一图像与其高画质图像的集合用作学习用图像，以第一图像作为输入，输出进行了高画质化的图像。第一图像的高画质图像例如是种类与第一图像相同且解析度比其高的图像或者除去了振铃伪影等伪影、噪声等的图像，使用在高解析度的摄像条件下取得的图像、在不产生伪影的摄像条件下取得的图像。将第一图像及其高画质图像作为大量集合例如蓄积于数据库500中，由图像接受部210接受并交给学习部220。学习部220在将一个种类的图像(第一图像)输入到学习模型(cnn等)时，决定使得学习模型输出该图像的高画质图像的权重、系数。另外，作为学习模型的学习手法，说明了使用低画质图像与高画质图像的集合的情况，但根据高画质化处理的内容不同，也有时仅使用低画质图像。
37.参考图2来说明以上结构中的本实施方式的图像处理装置的动作。在此，第一高画质化处理部230所用的学习模型是通过学习部220学习完毕的模型。
38.首先，图像接受部210接受作为处理对象的多种图像(第一图像以及第二图像)(s1)。第一高画质化处理部230读入由学习部220进行了学习的结果(例如cnn的权重系数等)(s2)，对第一图像进行高画质化处理(s3)。接着，第二高画质化处理部240将第一高画质化处理部230的处理结果即第一高画质图像用作引导图像，进行第二图像的高画质化处理(s4)。通过以上的处理，能对所输入的多种图像分别得到高画质图像。
39.通过以上的处理，不用对种类不同的每个图像构建使用了大量示教数据的学习模型，就能对各个图像高精度地进行高画质化。另外，这里说明了种类不同的图像是2个的情况，但通过设置多个第二高画质化处理部240，或多级地进行第二高画质化处理部240的处理，在输入了3种以上的图像的情况下也能同样地进行处理。在设置多个第二高画质化处理部240的情况下，也可以适当地对应于图像的种类而使所采用的算法不同。
40.《实施方式1》
41.接下来说明医用摄像装置100是mri装置且对由mri装置取得的多个图像进行处理的实施方式。
42.如图1所示那样，大致来分，医用摄像装置100包含摄像部110和计算机120。摄像部110的结构、计算机120的功能根据医用摄像装置100的种类而不同，在mri装置的情况下，摄像部110具备：产生静磁场的静磁场磁铁；使静磁场空间产生倾斜磁场的倾斜磁场线圈；对配置于静磁场空间的被检体施加脉冲状的高频磁场的rf发送线圈；以及检测通过高频磁场的施加而从构成被检体的组织的原子核(质子等)产生的核磁共振信号(回波信号)的rf接收线圈。进而，摄像部110具备驱动倾斜磁场线圈以及rf发送线圈的电源或高频磁场产生器、对rf接收线圈所接收的信号进行处理的信号处理部、按照给定的脉冲序列来控制高频磁场脉冲、倾斜磁场脉冲的施加以及回波信号的测量的序列发生器等。
43.计算机120能由具备cpu、gpu以及存储器的通用的计算机、工作站构成，包含控制装置整体的动作的控制部和执行使用由信号处理部进行了处理的信号的图像重构等运算的运算部，进而具备用于显示处理结果或进行来自用户的数据输入、指令输入的用户界面部(包含显示装置、输入装置)。
44.图1所示的图像处理装置200可以在这样的计算机120内构建，也可以是与mri装置独立的装置。此外，还能用pld(programmable logic device，可编程逻辑器件)等硬件来实现由计算机120、图像处理装置200执行的功能的一部分(例如运算的一部分)。
45.在本实施方式中，以图像处理装置200(包含构建于mri装置内的情况)将多数mri检查中必须的t2强调图像(t2w图像)作为第一图像进行学习的情况为例来进行说明。在本实施方式中，也由于图1所示的图像处理装置的结构以及图2所示的处理的流程是共同的，因此在以下的说明中，也参考这些附图。此外，在图3中示出本实施方式的处理的概要。
46.[学习步骤]
[0047]
如图3所示那样，首先，学习部220使用学习用的t2w图像数据的集合400来进行第一高画质化处理部230中所用的高画质化函数的学习。在本实施方式中，使用cnn来作为高画质化函数。在学习用的t2w图像数据的集合400中，一个是低画质t2w图像，另一个是高画质t2w图像。学习部220使用大量学习用图像数据来决定cnn的权重、激活函数等，以使得针
对低画质t2w图像的输入，cnn的输出成为高画质t2w图像。
[0048]
cnn如广为人知的那样，具有多个卷积层，通过将卷积层的权重系数、偏置等参数最佳化，来得到所期望的输出(与示教数据同样的输出)。对cnn的层结构提出有各种结构，还能是除了卷积层以外还包含池化层等不同性质的层的结构。cnn的层结构、激活函数能使用预先决定的层结构、激活函数，但还能对应于成为对象的图像、高画质化的处理内容来适当选择。此外，也可以准备多个cnn，并对应于处理内容进行选择。
[0049]
例如在第一高画质化处理部230的高画质化是高分辨率化处理的情况下，学习部220也可以在cnn(层结构、激活函数)的结构、学习中，对应于第一图像的重构矩阵数(图像尺寸)r与测量矩阵数m(相位编码数、频率编码数中的任一者)的比，来准备r/m不同的几个型式(pattern)。因填零而产生的振铃的间隔已知大致与重构矩阵数r/测量矩阵数m成正比，且认为即使检查中得到的图像(成为处理对象的图像)的矩阵数r、m多种多样，只要r/m相同，就能高精度地进行振铃除去。因此，通过选择与处理对象的r/m相匹配的cnn来使用，即使处理对象图像的重构矩阵数r、测量矩阵数多种多样，也能进行高精度的高分辨率化处理。此外，由于只要用r/m不同的几个型式进行学习即可，因此学习数据少也没有问题。
[0050]
[第一高画质化处理]
[0051]
图像处理装置200以上述的学习部220的cnn的学习作为前提，来进行作为处理对象的多个图像的高画质化。图像接受部210接受多种图像401、402(s1)。多种图像之一是t2w图像401，其余的402是pdw(质子密度强调)图像、flair图像等任意图像，均是低画质图像，例如是进行高速摄像而得到的低分辨率图像。
[0052]
第一高画质化处理部230在所接受的多个图像当中首先对t2w图像401进行处理，输出t2w的高画质图像(例如高分辨率图像)403。这时，在第一高画质化处理部230具备与图像的重构矩阵/测量矩阵(r/m)相应的多个cnn的情况下，选择与所输入的t2w图像的r/m相应的cnn来进行处理(s2、s3)。
[0053]
以上以cnn为例说明了第一高画质化处理部230的处理，但作为高画质化函数，除了cnn以外，还能使用这以外的机器学习的手法、稀疏建模等。
[0054]
[第二高画质化处理]
[0055]
第二高画质化处理部240输入作为第一高画质化处理部230的输出的t2w的高画质图像403和图像接受部210所接受的t2w图像以外的图像(例如pdw图像)402，来进行高画质化处理(s4)。第二高画质化处理是将t2w的高画质图像作为引导图像或参考图像来对处理对象图像进行高画质化的处理，作为高画质化函数，能使用导向滤波器、联合双边滤波器、gan等。
[0056]
以下参考图4来说明使用导向滤波器的情况的高画质化处理。
[0057]
图4的(a)表示处理对象的图像(例如pdw图像)402，(b)表示t2w的高画质图像403，(c)表示第二高画质化处理部240的输出图像404。在使用了导向滤波器的处理中，首先提取图像402以及图像403这2个图像的给定块(patch)内的像素。在将图像402的像素值设为y且将图像403的像素值设为x时，通过下式(1)
[0058]
y＝ax+b (1)
[0059]
来进行近似，并算出系数a和截距b，将使用这些系数a以及截距b由下式(2)
[0060]
z＝ax+b
ꢀꢀ
(2)
[0061]
算出的值z作为该块中的输出像素值。
[0062]
在使块的位置移动的同时对全部块进行该处理。这时，以使相邻的块彼此重复的方式来移动块。关于块的重复的部分的像素，将对每个块求得的像素值的平均值作为最终的输出图像404的相应像素的像素值。通过进行以上的处理，能得到去除了对象图像402中所含的噪声(振铃伪影)且保持对象图像402的边缘的输出图像404。即，能得到与对象图像402同种的进行了高画质化的图像。
[0063]
作为第二高画质化处理部240中所用的滤波器的其他示例，再次参考图4来说明使用联合双边滤波器的情况的处理。联合双边滤波器也与导向滤波器同样，是将边缘保存不变地进行平滑化的滤波器，使用近旁的像素的像素值，通过下式(3)来算出输出图像404的像素值。
[0064]
【数学式3】
[0065][0066]
式中，p是像素的坐标，p
‘
是p的近旁(ω)所含的像素的坐标，x是引导图像403的像素值，y是处理对象图像402的像素值，下标分别表征像素的坐标。此外，在上式中，g(gd，gr)是高斯函数，gd(p-p
‘
)表征空间上的权重，若距离近则权重大。此外，gr(xp-xp’)是基于像素值的权重，若像素值接近则权重大。
[0067]“l/k(p)”是使权重的总和为1的系数，k(p)用下式表征。
[0068]
【数学式4】
[0069]
k(p)＝∑
p
′
∈ω
gd(p
′‑
p)gr(x
p
′-x
p
′
)
ꢀꢀꢀꢀ
(4)
[0070]
如此地，联合双边滤波器由于除了空间上的权重以外，引导图像403的亮度值相接近的像素的权重也变大，因此能得到反映了引导图像的边缘的输出图像。
[0071]
作为第二高画质化处理部240的高画质化函数，还能不是使用上述那样的滤波器，而是使用nn(神经网络)。参考图5来说明使用nn的处理。图5的(a)是第一高画质图像(这里是指源图像)402，(b)是第二图像(这里是指目标图像)403，(c)是nn的输出图像404，在该处理中，进行如下处理，即，维持源图像402的构造不变地变换成目标图像403的目视显现(对比度等外观的特性)。在图示的示例中，使用多种图像来作为目标图像，且指定各自的目视显现的特征，得到构造是源图像且目视显现成为各目标图像的多个图像。
[0072]
因此，在学习时，将第一图像(t2w图像)和与其不同的各种图像(pdw图像、flair图像等)的对作为输入来进行学习，构建将源图像变换成由目标图像指定的目视显现(对比度等)的nn。即，对变换处理进行学习。在使用时，将第一高画质化处理部230的输出即第一高画质图像作为源图像403且将图像接受部210所接受的第二图像作为目标图像402来进行输入，由此能得到将第一高画质图像变换成第二图像的目视显现的图像、即第二高画质图像404。
[0073]
在该高画质化处理中，由于对变换处理本身进行了学习，因此，作为第二图像402，即使将与学习时不同的摄像条件的图像作为目标图像来输入，也能输出高画质图像。
[0074]
如以上说明的那样，根据本实施方式，能不依赖于第二图像的摄像条件等地进行高精度的高画质化处理。
[0075]
《实施方式1的变形例》
[0076]
在实施方式1中，说明了将第一图像和第二图像作为输入来进行高画质化处理的示例，但还能进一步使用第三图像、第三高画质图像来提高第二图像的高画质化处理(第二高画质化处理)的精度。在mr检查中，很多情况下也会取得3种以上的图像，因此能利用这一点。
[0077]
以使用导向滤波器的情况为例来说明使用了第三图像的高画质化处理的示例。
[0078]
在本变形例中，如图6所示那样，对第二高画质化处理部240例如输入3个图像，作为处理对象的第二图像(处理对象图像)402、由第一高画质化处理部230对第一图像进行了高画质化而得的第一高画质图像403以及第三高画质图像405。第三高画质图像405是种类与第一图像以及第二图像不同的图像，与前述的示例同样，若设为第一图像是t2w图像且第二图像是pdw图像，则第三图像是flair图像等。在第三图像是在高解析度的摄像条件下取得的情况下，第三图像的高画质图像405可以原样不变地被使用，也可以是通过公知的滤波器处理等高画质化处理进行了高画质化而得的图像。
[0079]
第二高画质化处理部240与使用2种图像时同样，分别使用对应部位的块的像素值(图像402的像素值y、图像403的像素值x1、图像405的像素值x2)，来求取式(5)的系数a、b和截距c。
[0080]
y＝ax1+bx2+c
ꢀꢀ
(5)
[0081]
使用这些系数a、b以及截距b来算出该块中的输出像素值z。
[0082]
z＝ax1+bx2+c (6)
[0083]
将其在全部块中算出，对重复的像素位置的像素值z进行平均，来设为第二高画质图像404的像素值。
[0084]
如此地，通过不仅使用第一高画质图像403，还使用第三图像、第三高画质图像405，能提高第二高画质图像404的精度。
[0085]
此外，以使用导向滤波器的情况为例来说明了本变形例，但作为高画质化函数，在使用联合双边滤波器、nn的情况下，也能使用第三图像、第三高画质图像。
[0086]
《其他变形例》
[0087]
在以上的说明中，主要说明了高画质化处理是低分辨率图像的高分辨率化的情况，但在输入图像(第一图像以及第二图像)是噪声多的图像且进行其噪声降低的情况下、在输入图像是对k空间进行了下采样而得的图像且进行由此导致的伪影/噪声除去的情况下，高画质化处理还包含身体运动、呼吸等的伪影减少化处理、进一步将这些处理和高分辨率化处理适当组合的处理。不管在哪种情况下，都能通过对一种图像使用处理前和处理后的学习用数据，进行第一高图像化处理部230中所用的高画质化函数(例如cnn)的设计以及学习，从而来实现。
[0088]
《实施方式2》
[0089]
在实施方式1及其变形例中，利用第一高画质图像来进行第二图像的高画质化，但本实施方式的特征在于，考虑有可能存在于第一图像的噪声、第一图像与第二图像的局部的构造的不匹配等，来进行局部的处理。
[0090]
实施方式1的第二高画质化处理部的处理以能在图像间看到相同构造为前提，但根据摄像条件，有时会看到局部不同的构造。例如，在t2*w图像中，血液、血管被描绘成黑色，与此相对，在dwi图像中，脑梗塞部位被描绘成白色，因此，若有出血等，则该部位的构造
在两图像中就能看到是不同的构造。在这样的部位中，在高画质化后更模糊的可能性高。另外，在成为引导的图像(第一高画质图像)中有噪声的情况下，高画质化的精度也会降低。本实施方式通过进行局部的处理来防止高画质化处理的劣化。
[0091]
本实施方式的图像处理装置200如图7所示那样，在图1所示的结构上追加用于作成对高画质化处理进行调整用的调整用图的图算出部250。此外，关于图像处理的内容，如图8所示那样，在第二高画质化处理中使用图算出部250所算出的调整用图(调整用图算出处理s3-1的追加)，这一点不同。以下以与实施方式1不同的点为中心来说明本实施方式。
[0092]
在本实施方式中，第一高画质化处理部230对第一图像进行高画质化处理，这一点与实施方式1同样，第一高画质化处理部230所用的高画质化函数(例如，通过学习部220进行了学习的cnn等)也同样。图算出部250使用图像接受部210所接受的第一图像401、第二图像402或第一高画质图像403中的任一者来算出调整用图400。此外，关于相同被检体，在除了第一图像、第二图像以外还取得第三图像的情况下，也可以使用第三图像。
[0093]
调整用图400是在使用第一高画质图像403和第二图像402进行高画质化时将用于对每个像素值或每个块进行加权的权重作为像素值的图像，权重基于图的作成中所用的图像的各像素的可靠度、图像间的相关等来算出。具体地，例如在单独使用第一图像401或第一高画质图像403来算出调整用图400的情况下，算出图像的局部的方差、熵，并基于其算出权重w(0≤w≤1)，来作为图的像素值。局部的方差、熵均表示像素值的偏差，被认为是偏差越大则包含噪声的可能性就越高(可靠度越低)，作为权重的值，设为其变小这样的像素值。在使用第三图像的情况下也同样。
[0094]
此外，在使用第一图像401或其高画质图像403和第二图像402的情况下，算出图像间的局部的相关系数、相互信息量等来作为像素值。可以说两者的相关越高则构造的类似性越高，因此，作为权重w的值，设为其变大这样的像素值。进而，也可以将合成多个不同的图而成的图作为调整用图。
[0095]
调整用图400不一定非要是图像的整体区域的图。例如，若有预想出血的区域、易于混入噪声的区域等的想法，则也可以作成表示提取了特定区域的分割图像、边缘提取图像等的关注区域的图像，并作成仅关注区域的图。
[0096]
接下来，说明利用上述的调整用图的第二高画质化处理部240的处理的一例。高画质化处理中所用的函数与实施方式1同样，能使用导向滤波器、联合双边滤波器、gan等。
[0097]
第二高画质化处理s4如图9所示那样包含图像间变换处理s41、单体高画质化处理s42以及图像合成处理s43。图像间变换处理s41是与图3所示的第二高画质化处理s4相同的处理，将第一高画质图像403作为引导图像来进行第二图像的高画质化。在图示的示例中，是以t2w图像作为引导的pdw图像的变换处理。将该处理的输出设为y1。
[0098]
单体高画质化处理s42将第二图像402作为输入，执行利用了双边滤波器、稀疏化约束的逐次重构、用多种图像进行了学习的cnn等一般的高画质化处理。该处理是仅使用第二图像的一般的处理，与图3的第二高画质化处理s4不同。将该处理的输出设为y2。
[0099]
在图像合成处理s43中，使用调制用图400来将2个高画质图像y1以及y2合成。调整用图400例如是第一图像与第二图像的相关系数的绝对值。合成后的图像的像素值z将调整用图400的像素值作为权重w，用下式(7)来表征。
[0100]
z＝wy1+(1-w)y2
ꢀꢀ
(7)
[0101]
在基于2个图像的相关算出权重w的情况下，认为在相关高的情况下，通过图像间变换处理s41得到的结果的精度高，因此加大该输出y1的权重。由此，关于相关高的区域，进行利用了引导图像(这里是t2w图像)的高精度的高画质化，关于相关低的区域，成为较多地反映了一般的高画质化的图像。此外，在基于例如第一图像的方差算出w的情况下，认为在方差大且像素值的偏差大的情况下，通过图像间变换处理s41得到的结果的精度低，因此进行减小y1的权重的合成。
[0102]
如此地，根据本实施方式，能防止由于引导图像与处理对象图像的局部的构造的差异、引导图像中所含的噪声等的影响而使得高画质化处理的精度降低，能确保高画质化处理(第二高画质化)的精度。
[0103]
在以上的说明中，在图像间变换处理s41以及单体高画质化处理s42的各输出y1、y2的合成时运用调整用图400，但还能如图10所示那样，在图像间变换处理s41中，对作为其输入的第一高画质图像403和第二图像402运用调整用图400(权重)。在该情况下，取代图像间变换处理s41(例如导向滤波器)的式子(前述的式(2))，而成为利用下式(8)的处理。
[0104]
z＝wy+(1-w)(ax+b)
ꢀꢀꢀꢀ
(8)
[0105]
进而，第二高画质化处理部240还能用cnn来构成高画质化函数，将第一高画质图像、第二图像以及调整用图作为cnn的输入，输出进行了局部的高画质化处理的第二高画质化图像。该cnn如实施方式1的变形例(图5)中说明的那样，虽然进行使处理对象图像的目视显现的特性与源图像402相匹配的处理，但这时，按照调整用图局部地进行处理，来进行高画质化。
[0106]
以上说明了实施方式2的具体的处理和其变形例，但实施方式1中说明的各种变形例、代替手段只要在技术上没有矛盾，就也能单独或组合地运用于本实施方式中，这样的变形例包含在本发明中。