超声波诊断装置以及图像处理方法与流程

1.本公开涉及超声波诊断装置以及图像处理方法，特别涉及改善超声波图像的画质的技术。


背景技术：

2.超声波诊断装置是基于通过向生物体收发超声波而得到的数据来形成以及显示超声波图像的装置。作为超声波图像，已知断层图像、血流图像等。
3.在超声波图像中包含作为固有噪声的散斑噪声。为了改善超声波图像的画质，需要减少散斑噪声。若为了减少散斑噪声而对超声波图像运用一般的平滑化滤波器，则超声波图像中的边缘就会模糊。
4.作为在保存边缘的同时减少散斑噪声的技术，已知多分辨率处理(multi-resolution processing)(例如参考jp特开2009-153918号公报、jp特开2014-64736号公报)。在该处理中，将输入图像的分辨率分阶段地降低，由此生成与多个阶层(多个级别)对应的多个阶层输入图像。对各阶层输入图像运用滤波器处理。经过滤波器处理后的多个图像的分辨率的提高，来生成输出图像。现有的多分辨率处理并非是利用图案比较的处理。


技术实现要素：

5.本公开的目的在于，在超声波图像处理中，在保存表示组织的形态或构造的边缘的同时减少散斑噪声。或者，本公开的目的在于，实现利用了图案比较的多分辨率处理。
6.本公开所涉及的超声波诊断装置的特征在于，包含：变换部，通过将输入图像的分辨率分阶段地降低，来生成提供给多个阶层的多个阶层输入图像；多个滤波器，在所述多个阶层中发挥功能；和逆变换部，为了生成与所述输入图像对应的输出图像，将在所述多个阶层中生成的多个阶层输出图像的分辨率提高，所述多个滤波器当中的至少1者包含：算出器，在与输入到该滤波器的对象图像对应的、属于该滤波器所属的阶层的上1个阶层的对应图像上，设定与所述对象图像中的关注像素对应的对应关注区域以及与所述对象图像中的多个参考像素对应的多个对应参考区域，通过比较所述对应关注区域内的像素值图案和所述各对应参考区域内的像素值图案来算出多个权重；和修正器，通过使所述多个权重对所述多个参考像素所具有的多个参考像素值进行作用，来修正所述关注像素所具有的关注像素值。
7.本公开所涉及的图像处理方法包含如下工序：通过将通过超声波的收发而生成的输入图像的分辨率分阶段地降低，来生成提供给多个阶层的多个阶层输入图像；和将在所述多个阶层中生成的多个阶层输出图像的分辨率提高，在所述多个阶层中的至少1个阶层中执行滤波器处理，在所述滤波器处理中，在与输入到该滤波器处理的对象图像对应的、属于该滤波器处理所属的阶层的上1个阶层的对应图像上，设定与所述对象图像中的关注像素对应的对应关注区域以及与所述对象图像中的多个参考像素对应的多个对应参考区域，通过所述对应关注区域内的像素值图案与所述各对应参考区域内的像素值图案的比较来
算出多个权重，基于所述多个权重将所述多个参考像素所具有的多个参考像素值加权相加，由此修正所述关注像素所具有的关注像素值。
附图说明
8.图1是表示实施方式所涉及的超声波诊断装置的结构的框图。
9.图2是表示图像处理部的第1结构例的图。
10.图3是表示加权相加处理的图。
11.图4是表示加权相加处理的变形例的图。
12.图5是表示图像处理部的第2结构例的图。
13.图6是表示图像处理部的第3结构例的图。
具体实施方式
14.以下基于附图来说明实施方式。
15.(1)实施方式的概要
16.实施方式所涉及的超声波诊断装置具有变换部、多个滤波器以及逆变换部。变换部通过将输入图像的分辨率分阶段地降低，来生成提供给多个阶层的多个阶层输入图像。多个滤波器在多个阶层中发挥功能。逆变换部为了生成与输入图像对应的输出图像而将在多个阶层中生成的多个阶层输出图像的分辨率提高。多个滤波器当中的至少1者具有算出器以及修正器。算出器在与输入到该滤波器的对象图像对应的、属于该滤波器所属的阶层的上1个阶层的对应图像上，设定与对象图像中的关注像素对应的对应关注区域以及与对象图像中的多个参考像素对应的多个对应参考区域，通过比较对应关注区域内的像素值图案和各对应参考区域内的像素值图案来算出多个权重。修正器通过使多个权重对多个参考像素所具有的多个参考像素值进行作用，来修正关注像素所具有的关注像素值。变换部相当于变换器。逆变换部相当于逆变换器。
17.一般，超声波图像内的构造物(生物体组织)具有其固有的像素值图案(像素值分布)，相同构造物内的2个部位的像素值图案类似。与此相对，在散斑噪声的像素值图案中能看到随机性。上述结构以这样的性质差异为前提，通过像素值图案比较来修正关注像素值。根据上述结构，能在保存边缘的同时有效地减少散斑噪声。此外，在上述结构中，在算出由滤波器使用的多个权重时，不是参考输入到滤波器的对象图像，而是参考属于滤波器所属的阶层的上1个阶层的对应图像。由于对应图像的分辨率比对象图像的分辨率高，因此能更精细地进行图案比较，由此，能算出更合适的权重集。在对象图像上确定图案比较用的区域的情况下，通过对象图像的分辨率来限制该区域的最小尺寸。在对应图像上确定图案比较用的区域的情况下，能确定更小的区域。
18.作为上述滤波器，可以使用非局部均值滤波器(non-local means filter)。在对象图像上包含关注像素的局部区域内设定参考像素群，此外，若在对应图像上对应关注区域的附近设定各对应参考区域，就能防止远离关注像素的信息反映到关注像素。
19.作为变换部，可以设置多个下采样器，也可以设置多个其他变换器。作为逆变换部，可以设置多个上采样器，也可以设置多个其他变换器。在实施方式中，在参考像素群中包含关注像素。即，参考像素群由关注像素和多个近旁像素构成。
20.在实施方式中，在对象图像上，多个参考像素所存在的区域具有第1尺寸。对应关注区域以及多个对应参考区域分别具有第2尺寸。第2尺寸在滤波器所属的阶层中相当于第3尺寸。第3尺寸比第1尺寸小。该结构以像素值图案的比较是在高分辨率的对应图像上进行的这一点为前提，来减小像素值图案的比较中使用的各区域的尺寸。可以进行通过对应关注区域以及多个对应参考区域的比较而生成的多个权重的插值，从而算出对多个参考像素值进行作用的多个权重。
21.在实施方式中，多个参考像素是p
×
p个像素。对应关注区域以及多个对应参考区域分别由q
×
q个像素构成。p以及q是3以上的相同整数。根据该结构，能简化运算。在实施方式中，从关注像素来看按每个方位来计算权重，将各权重运用于存在于各方位的近旁像素值。
22.在实施方式中，在多个阶层中包含作为最下位层的第n阶层(其中n是2以上的整数)。在多个滤波器中包含在第n阶层中发挥功能的第n阶层滤波器。对第n阶层滤波器输入第n阶层输入图像，来作为对象图像。
23.在实施方式中，在多个阶层中还包含第n-1阶层。在多个滤波器中还包含在第n-1阶层中发挥功能的第n-1阶层滤波器。对第n-1阶层滤波器输入在第n-1阶层中生成的第n-1阶层中间图像，来作为对象图像。
24.在实施方式中，第n-1阶层中间图像是通过将第n-1阶层输入图像中所含的第n-1阶层高频分量图像和根据第n阶层输出图像生成的第n-1阶层低频分量图像相加而生成的图像。
25.在实施方式中，对第n-1阶层滤波器输入在第n-2阶层中生成的第n-2阶层中间图像，来作为对应图像。第n-2阶层中间图像是通过将第n-2阶层输入图像中所含的第n-2阶层高频分量图像和根据第n-1阶层中间图像生成的第n-2阶层低频分量图像相加而生成的图像。
26.在实施方式中，对第n-1阶层滤波器输入根据第n-1阶层中间图像生成的第n-2阶层低频分量图像，来作为对应图像。根据该结构，能简单地生成对应图像。
27.实施方式所涉及的图像处理方法包含变换工序以及逆变换工序。在变换工序中，通过将通过超声波的收发而生成的输入图像的分辨率分阶段地降低，来生成提供给多个阶层的多个阶层输入图像。在逆变换工序中，将在多个阶层中生成的多个阶层输出图像的分辨率提高。在多个阶层中的至少1个阶层中执行滤波器处理。在滤波器处理中，在与输入到该滤波器处理的对象图像对应的、属于该滤波器处理所属的阶层的上1个阶层的对应图像上，设定与对象图像中的关注像素对应的对应关注区域以及与对象图像中的多个参考像素对应的多个对应参考区域，通过对应关注区域内的像素值图案与各对应参考区域内的像素值图案的比较来算出多个权重，基于多个权重将多个参考像素所具有的多个参考像素值加权相加，由此修正关注像素所具有的关注像素值。
28.上述的图像处理方法能通过软件的功能来实现。在该情况下，执行上述图像处理方法的程序经由网络或经由可移动存储介质向信息处理装置安装。信息处理装置的概念包含超声波诊断装置、超声波诊断系统、计算机等。上述程序存放于信息处理装置内的非临时性的存储介质。
29.(2)实施方式的详细内容
30.图1中示出实施方式所涉及的超声波诊断装置的结构。超声波诊断装置设置于医疗机构等，是基于通过向被检体(生物体)收发超声波而得到的数据来生成以及显示超声波图像的医用装置。
31.在图1中，探头10是与被检体的表面抵接的可移动的波收发器。在探头10内设有由多个振动元件(transducers)构成的振动元件阵列。通过振动元件阵列来形成超声波波束12，将超声波波束12电子扫描。由此，在被检体的内部形成波束扫描面14。重复进行超声波波束12的电子扫描，由此重复形成波束扫描面14。波束扫描面14是二维数据取入区域。作为电子扫描方式，已知电子线性扫描方式、电子扇形扫描方式等。也可以在探头10内设置二维振动元件阵列，从生物体内的三维空间取得体数据。
32.发送部16是作为发送波束形成器发挥功能的发送电路。接收部18是作为接收波束形成器发挥功能的接收电路。在发送时，发送部16对振动元件阵列并列地输出多个发送信号。由此形成发送波束。在接收时，若由振动元件阵列接收到来自生物体内的反射波，就从振动元件阵列对接收部18并列地输出多个接收信号。
33.接收部18对多个接收信号运用调相加法运算(phase-alignment and summing(延迟加法运算delay and summing))，由此生成波束数据。接收部18伴随超声波波束12的电子扫描的重复而输出接收帧数据串。超声波波束12的每1次电子扫描就输出1个接收帧数据。1个接收帧数据由在电子扫描方向上排列的多个波束数据构成。1个接收波束数据由在深度方向上排列的多个回波数据构成。在接收部18的后级设有对各波束数据进行处理的波束数据处理部，省略其图示。波束数据处理部具有包络线检波器(envelope detector)、对数变换器等。
34.图像形成部20根据接收帧数据串来生成显示帧数据串。图像形成部20具有dsc(数字扫描变换器)。dsc作为坐标变换部发挥功能。即，在dsc中，将遵循波收发坐标系的数据变换为遵循显示坐标系的数据。构成显示帧数据串的各显示帧数据例如是b模式断层图像数据。也可以在图像形成部20中生成其他超声波图像数据。
35.图像处理部24对构成显示帧数据串的各显示帧数据运用用于散斑噪声减少的多分辨率处理。关于其详细情况，参考图2以后的各图之后详述。从图像处理部24输出处理完毕的显示帧数据串，将其输入到显示处理部26。也可以对接收帧数据串运用用于散斑噪声减少的多分辨率处理。
36.显示处理部26具有图像合成功能、彩色运算功能等。在显示处理部26中生成显示于显示器28的图像。在该图像中，在实施方式中，包含作为动态图像的断层图像。根据实施方式，由于在图像处理部24中减少了散斑噪声，因此能在显示器28显示高品质的断层图像。显示器28由lcd、有机el设备等构成。
37.控制部30由执行程序的cpu构成。由控制部30控制图1所示的各结构的动作。在控制部30连接操作面板32。操作面板32是具备多个按钮、多个旋钮、轨迹球、键盘等的输入设备。
38.图像形成部20、图像处理部24以及显示处理部26分别由执行程序的处理器构成。它们所发挥的功能可以通过上述cpu实现。
39.图2中示出图像处理部24的第1结构例。在第1结构例中，示出从第1阶层到第n阶层。在此，n通常是2以上的整数，在图示的示例中，n＝2。第n阶层是最下阶层。图2所示的各
结构能通过软件的功能来实现。
40.附图标记34表示输入图像40所属的第0阶层(第0级别)。附图标记36表示比第0阶层34降低1阶段的第1阶层(第1级别)。附图标记38表示比第1阶层36降低1阶段的第2阶层(第2级别)。通过将输入图像40的分辨率分阶段地降低，来生成提供给多个阶层36、38的多个低分辨率图像。
41.各断层图像(各接收帧数据)构成输入图像40。对各断层图像的每一者运用用于散斑噪声减少的图像处理。也可以在图像处理部24中处理断层图像以外的超声波图像。变换部200将输入图像40的分辨率分阶段地降低，其由多个下采样器(ds)42、46构成。
42.逆变换部202将在多个阶层36、38中生成的输出图像68、86的分辨率提高，其由多个上采样器(us)70、88构成。除了这些us70、88以外，还设有多个us48、54、78。
43.在ds42中，对输入图像进行下采样来生成第1阶层输入图像44。在下采样时，将x方向(水平方向)上排列的多个像素(像素值)每隔1个地进行间除，将y方向(垂直方向)上排列的多个像素(像素值)每隔1个地进行间除。x方向的间除率以及y方向的间除率分别是1/2。第1阶层输入图像44相当于相对于输入图像40缩小成1/4的图像。
44.ds46发挥与ds42相同的作用，在ds46中，对第1阶层输入图像44进行下采样来生成第2阶层输入图像45。第2阶层输入图像45相当于相对于输入图像40缩小成1/16的图像。
45.ds42、46实际上在下采样前对成为处理对象的图像执行高斯处理(高斯权重系数矩阵的卷积)。另一方面，us48、54、70、78、88在上采样后对成为处理对象的图像执行高斯处理。
46.滤波器60对第2阶层输入图像45运用滤波器处理。具体地，将构成第2阶层输入图像45的各像素设为关注像素，以关注像素为中心来确定参考像素群。在实施方式中，在参考像素群中还包含关注像素。通过构成参考像素群的多个参考像素的像素值的加权相加，来决定针对关注像素的修正后的关注像素值。滤波器60具有算出权重集的算出器62以及使用权重集来执行加权相加的修正器64。
47.在实施方式中，算出器62不是基于属于第2阶层38的第2阶层输入图像45，而是基于属于作为第2阶层的上1个阶层的第1阶层36的第1阶层输入图像44来算出权重集(参考附图标记66)。
48.从滤波器60来看，第2阶层输入图像45是对象图像，第1阶层输入图像44是与对象图像对应的对应图像。在将构成对象图像的各像素设为关注像素的同时，对对象图像以关注像素为中心设定参考像素群。另一方面，在对应图像中设定以与关注像素对应的对应关注像素为中心的对应关注区域，此外，设定以与多个参考像素对应的多个对应参考像素为中心的多个对应参考区域。在对应关注区域与多个对应参考区域之间实施像素值图案比较，基于由此求得的多个类似度来决定多个权重。从滤波器60输出第2阶层输出图像68，来作为处理完毕的图像。
49.us54通过针对第2阶层输入图像45的上采样来生成第1阶层低频分量图像。减法运算器56通过从第1阶层输入图像44中减去第1阶层低频分量图像来生成第1阶层高频分量图像58。另一方面，us70通过针对第2阶层输出图像68的上采样来生成处理完毕的第1阶层低频分量图像72。加法运算器74通过将第1阶层高频分量图像58和处理完毕的第1阶层低频分量图像72相加来生成第1阶层中间图像76。
50.属于第1阶层36的滤波器80具有与上述滤波器60同样的结构，此外，发挥与上述滤波器60同样的作用。滤波器80具有算出器82以及修正器84。成为滤波器80的处理对象的对象图像是第1阶层中间图像76。算出器82生成权重集，在这时，参考与对象图像对应的对应图像。
51.对应图像是属于第0阶层的高分辨率图像(参考附图标记85)。修正器84通过使用由算出器82算出的权重集进行加权相加，来运算针对关注像素的进行了修正的关注像素值。
52.us48通过针对第1阶层输入图像44的上采样来生成第0阶层低频分量图像。减法运算器50通过从输入图像(第0阶层输入图像)40中减去第0阶层低频分量图像，来生成第0阶层高频分量图像52。另一方面，us78通过针对第1阶层中间图像76的上采样来生成处理完毕的第0阶层低频分量图像。加法运算器79通过对第0阶层高频分量图像52加上处理完毕的第0阶层低频分量图像，来生成第0阶层中间图像。将该第0阶层中间图像用作对应图像(参考附图标记85)。
53.如已经说明的那样，对对应图像设定对应关注区域以及多个对应参考区域，通过它们之间的像素值图案比较来运算权重集。在第1结构例中，提供给滤波器80的对应图像是在上1个阶层中生成的图像，在这一点上，与提供给滤波器60的对象图像相同。
54.从滤波器80输出第1阶层输出图像86，来作为处理完毕图像。us88对第1阶层输出图像86运用上采样。加法运算器92将输入图像40和上采样后的图像90相加，由此生成输出图像94。在加法运算器92中进行加权相加。对2个图像给出的2个权重可以固定地设定，或自适应地设定。
55.图3示意示出由滤波器60实施的处理。在第2阶层38中，将对象图像102的各像素设为关注像素104。以关注像素104为中心来设定由p
×
p个参考像素构成的参考像素群106。在图示的示例中，p＝3。可以将p设为4以上的整数(通常是奇数)。参考像素群106由关注像素104和存在于其近旁的8个近旁像素构成。通过将对多个参考像素乘以多个权重而得到的多个乗算值相加，来求取针对关注像素104的修正后的像素值。
56.在算出多个权重时，利用属于作为第2阶层38的上1个阶层的第1阶层36的对应图像100。具体地，在对应图像100中，将与关注像素对应的对应关注像素112设为基点，以其为中心来确定图案比较用的对应关注区域116。另一方面，在对应图像100中，确定与多个参考像素对应的多个对应参考像素118a，以它们为中心来确定多个对应参考区域118。多个对应参考区域118被设定在以对应关注像素112为中心的一定的区域114内。也将区域114、116、118分别称作核。
57.在实施方式中，对应关注区域116以及多个对应参考区域118分别由q
×
q个像素构成。在实施方式中，q＝3，即q＝p。
58.在将参考像素群106所存在的区域的尺寸表现为第1尺寸且将对应关注区域116以及多个对应参考区域118分别所具有的尺寸表现为第2尺寸的情况下，第2尺寸在第2阶层38中相当于第3尺寸，第3尺寸比第1尺寸小。在实施方式中，通过参考属于上1个阶层的图像，能设定在对象图像102上不能设定的小的核。
59.在对应关注区域116与9个对应参考区域之间实施像素值图案比较，由此求取9个类似度。可以将9个类似度原样不变地作为9个权重来利用，也可以根据9个类似度来计算9
个权重。权重算出在图3中以附图标记122表示。例如，在参考像素106a和对应参考像素118a处于对应关系的情况下，对参考像素106a所具有的像素值(通常是亮度值)乘以在以对应关注像素112为中心的对应关注区域116与以对应参考像素118a为中心的对应参考区域118之间运算出的权重108。将加权后的像素值反映到针对关注像素104的进行了修正的关注像素值(参考附图标记110)。对全部参考像素运用该处理，求取进行了修正的关注像素值，来作为加权相加结果。对构成对象图像102的各像素运用以上的处理。由此，生成第2阶层输出图像。
60.一般在超声波图像上，生物体内的构造物分别具有固有的像素值图案。另一方面，散斑噪声所具有的像素值图案缺乏一致性。根据上述处理，能在保存边缘的同时有效地减少散斑噪声。并且，由于在算出权重集时，参考属于上1个阶层的图像，因此能更精细地进行像素值图案的比较。
61.在真实空间内，关注像素104的位置基本与对应关注像素112的位置一致，或者两者处于近似关系。虽然各个参考像素的位置与各个对应参考像素的位置不一致，但从关注像素来看各个参考像素所存在的方位与从对应关注像素来看各个对应关注像素所存在的方位一致。实施方式所涉及的手法可以说相当于每个方位的权重算出。
62.在滤波器处理时，例如按照以下的(1-1)式以及(1-2)式算出权重w(i，j)。
[0063][0064][0065]
在此，i是关注像素的坐标，j是参考像素的坐标。x(i)是关注像素的亮度值，w(i，j)是与x(j)相乘的权重。z(i)是标准化系数。n表示算出权重时参考的区域其整体的尺寸(其中n是奇数)，m表示对应关注区域以及各对应参考区域的尺寸(其中m是奇数)。h是平滑化参数。使用以上那样计算的权重(i，j)，按照以下的(2)式来计算滤波器处理后的关注像素的亮度值y(i)。
[0066][0067]
也可以取代上述的(1-1)式以及(1-2)式，使用以下的(3-1)式以及(3-2)式来算出权重w(i，j)。
[0068][0069][0070]
上述所示的计算式只是例示，也可以使用其他计算式来运算权重、修正后的亮度值。
[0071]
图4示出由滤波器60实施的处理的变形例。另外，在图4中，对与图3所示的要素同样的要素标注相同的附图标记，省略其说明。
[0072]
如已经说明的那样，对对象图像102设定关注像素104以及参考像素群106。参考像素群106由p
×
p个参考像素构成，在此p是3。
[0073]
另一方面，对对应图像100以对应关注像素112为中心设定由q
×
q个像素构成的对应关注区域，在此，p＜q＜2
×
p，例如q＝5。确定为多个对应参考区域132的总和的区域128
由9
×
9个像素构成，但其也可以由7
×
7个像素构成。
[0074]
在对应关注区域130与各对应参考区域132之间算出权重(参考附图标记134)。通过基于在对应关注区域130与多个对应参考区域132之间算出的多个权重(权重集)的插值处理，按每个参考像素算出插值值108a来作为权重(参考附图标记136)。将该插值值108a与参考像素值相乘。另外，在对应关注区域130与多个对应参考区域132之间运算权重集时，可以针对插值处理中未被参考的权重省略其运算。可以对应于输入图像的性状、处理目的，由用户设定或自动设定包括p的值、q的值等在内的滤波器处理条件。
[0075]
图5示出图像处理部的第2结构例。另外，在图5中，对与图2所示的结构同样的结构标注相同的附图标记，省略其说明。这一点关于图6所示的第3结构例也同样。
[0076]
在图5所示的第2结构例中，滤波器80a的输入图像是第1阶层中间图像76，在这一点上与第1结构例没有差异。另一方面，在第2结构例中，对属于第1阶层36的滤波器80a原样不变地输入从us78输出的上采样后的图像(参考附图标记85a)。该图像从分辨率的点来看是属于第0阶层的图像，在这一点上与第1结构例是共同的。根据第2结构例，能简单地生成滤波器80a所参考的对应图像。这部分的结构能简化。另外，在采用图2所示的第1结构例的情况下，能以更加良好的精度进行像素值图案比较，即，得到能提高能运算更合适的权重集的可能性的优点。
[0077]
图6示出图像处理部的第3结构例。对属于第1阶层的滤波器80b输入第1阶层中间图像76来作为对象图像，在这一点上，与第1结构例以及第2结构例没有差异。另一方面，在第3结构例中，滤波器80b所参考的对应图像也被设为第1阶层中间图像76(参考附图标记85b)。在第3结构例中，能更加简化第1阶层36的结构。在属于第2阶层38的滤波器60中，与第1结构例以及第2结构例同样，作为对应图像而参考属于上1个阶层的第1阶层输入图像，关于第2阶层38中的滤波器处理，能得到上述中说明的各优点。在希望在简化结构的同时与高频分量相比更提高低频分量的滤波器处理的精度的情况下，能采用第3结构例。
[0078]
一般，由于散斑噪声具有多样的频率分量，因此针对散斑噪声的多分辨率处理是有效的。这时，在属于各阶层的滤波器处理时通过像素值图案比较来进行加权相加的情况下，若参考属于上1个阶层的图像，就能运算更合适的权重集。此外，由于能将参考范围限定在局部的范围，因此能避免或减少存在于远离关注像素的场所的信息反映到关注像素值。
[0079]
也可以对分辨率的变换使用下采样以及上采样以外的技术。例如可以使用小波变换等。也可以在各阶层中对对象图像运用多次滤波器处理。