光声成像环形稀疏阵列信号预测方法与装置与流程

1.本发明属于人工智能与生物医学工程领域，具体涉及一种光声成像环形稀疏阵列信号预测方法与装置。


背景技术：

2.光声成像是在融合光学和声学技术各自的优点的基础上，形成的一种新兴的生物医学成像方式，通常采用激光器发射光源，采用多阵元的超声换能器来接收声波信号。光声成像设备需要精密的制造工艺，高密度的阵元器件，将大幅增加成像系统的成本与复杂度。受限于加工工艺，高密度阵列超声换能器有待进一步开发。与此同时，稀疏阵列是一种简化方案，在不改变超声换能器的总孔径的情况下，可以减少换能器的数量，便于工业实现。但是，稀疏阵列采集的声波信号是不完备的，采用传统的重建算法得到的图像将产生严重的伪影，严重降低成像质量。因此，急需解决在稀疏阵列下的高质量光声图像重建问题。已有研究的基于卷积神经网络的深度学习技术可以通过模糊的图像恢复高质量的成像结果，此方法受限于有限的图像数据集。基于循环神经网络的深度学习技术可以在有限的超声换能器声波信号上预测其他位置缺失阵元的声波信号，组成完整的环形阵列信号，再利用重建算法恢复高质量的成像结果。


技术实现要素：

3.本发明针对现有光声成像环形稀疏阵列采集的有限信号重建图像存在伪影，影响成像质量的情况，提供了一种光声成像环形稀疏阵列信号预测方法，来填补稀疏阵列的有限信号。
4.本发明的目的是通过以下技术方案实现的：本发明实施例的第一方面提供了一种光声成像环形稀疏阵列信号预测方法，所述方法具体包括以下步骤：s1，将输入信号进行标准化，并且截去预设的起始阶段长度的信号；s2，将处理后的输入信号划分为训练数据集，训练数据集的标签集，测试数据集和测试数据集的标签集；s3，将训练数据集和训练数据集的标签集输入卷积门控循环神经网络进行训练，得到训练后的卷积门控循环神经网络；s4，在稠密阵列上，将测试数据集和测试数据集的标签集输入训练得到的卷积门控循环神经网络进行验证，并更新卷积门控循环神经网络；s5，在稀疏阵列中采集信号，将该在稀疏阵列中采集的信号输入更新的卷积门控循环神经网络进行预测，得到稀疏阵列其他位置的超声换能器阵元的信号数据。
5.进一步地，超声换能器探测被测物体组织反射的声压信号，并将该声压信号转化为电信号，读取该电信号，将该电信号作为输入信号；所述输入信号为n
×
m形矩阵，m是超声换能器阵元个数，n是单个超声换能器阵元采集到的信号长度。
6.进一步地，预设的起始阶段长度为400~600，以删除与目标物体无关的超声换能自
身反射的回波信号。
7.进一步地，将包含s个超声换能器阵元的环形超声换能器阵列作为稠密阵列，并将每个超声换能器按序编号为1,2,3
…
,512
…
s；以每间隔4个超声换能器阵元保留一个的形式组成一个s/4超声换能器阵元的环形超声换能器阵列，将该包含s/4个超声换能器阵元的环形超声换能器阵列作为稀疏阵列，并将每个超声换能器编号按序为1,5,9
…
s-3。
8.进一步地，所述步骤s2具体为：从编号为1的超声换能器阵元采集的信号开始，按顺序取出编号为1+4k的超声换能器阵元的信号，作为训练数据集；从编号为2的超声换能器采集的信号开始，按顺序取出编号为2+4k的超声换能器信号，作为训练数据集的标签集；从编号为3的超声换能器采集的信号开始，按顺序取出编号为3+4k的超声换能器信号，作为测试数据集；从编号为4的超声换能器采集的信号开始，按顺序取出编号为4+4k的超声换能器信号，作为测试数据集的标签集；其中，k为0,1,2
…
127
…
s/4-1。
9.进一步地，所述卷积门控循环神经网络由两层门控单元网络和一层全连接层组成；其中，门控单元网络每层的单元数量等于128，每层的丢弃率等于0.1，最后一层全连接层的单元数量为1。
10.进一步地，所述步骤s3训练卷积门控循环神经网络的过程中，自定义设置训练的迭代次数和每批次取数据量，使用了均方根反向传播算法优化器，采用sigmoid函数作为激活函数，采用平均绝对误差为损失函数。
11.进一步地，所述步骤s5具体为：在稀疏阵列中采集信号，并对信号进行标准化，并且截去预设的起始阶段长度的信号；将该信号输入更新的卷积门控循环神经网络进行预测；预测将分三次进行，第一次使用稀疏阵列中有限的s/4组阵元数据，预测编号为2+4k的阵元信号；第二次使用预测得到的编号为2+4k的阵元信号，输入卷积门控循环神经网络，预测编号为3+4k的阵元信号；第三次使用预测得到的编号为3+4k的阵元信号，输入卷积门控循环神经网络，预测编号为4+4k的阵元信号；其中，k为0,1,2
…
127
…
s/4-1；得到稀疏阵列其他位置的超声换能器阵元的信号数据。
12.本发明实施例的第二方面提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于深度学习的光声成像环形稀疏阵列信号预测方法。
13.本发明实施例的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序所述程序被处理器执行时实现上述的基于深度学习的光声成像环形稀疏阵列信号预测方法。
14.本发明的有益效果为：本发明是从超声换能器信号端到信号端的深度学习信号预测方法，不需要使用光声图像数据，为稀疏阵列的信号填补及后续图像重建提供了便捷途径。通过wwcg-net训练预测，解决光声成像环形稀疏阵列采集的有限信号重建图像存在伪影的问题，提高成像质量。
附图说明
15.图1是本发明提及的稠密阵列装置示意图；图2是本发明提及的稀疏阵列装置示意图；图3是本发明方法的流程图；图4是本发明提出的从超声换能器的声波信号到声波信号的卷积门控循环神经网络结构示意图；图5是模型训练损失值收敛过程示意图；图6是本发明实例中编号为401的超声换能器信号真实值和预测值对比结果图；图7是本发明实例中稀疏阵列信号强度图；图8是本发明实例中使用稀疏阵列信号，通过wwcg-net预测出的稠密阵列信号强度图；图9是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
16.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
17.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
18.下面结合具体实例和附图，进一步阐述本发明提出的基于深度学习的光声成像环形稀疏阵列信号预测方法。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
19.光声成像实验装置对超声换能器阵列元件质量要求高，建设成本较大。稀疏阵列可以减少超声换能器阵元数量，并且有效的覆盖目标视野。通过稀疏阵列采集的数据成本低，响应快。然而，较小的阵元数量导致光声成像重建结果存在伪影，影响成像质量。通过本发明提出的从超声换能器的声波信号到声波信号的卷积门控循环神经网络（wave to wave convolution gate recurrent-net，wwcg-net），从输入的稀疏阵列光声信号数据，可以预测环形超声换能器相邻阵元与其他位置阵元的信号数据，形成完备的光声信号后得到高质量的光声成像重建结果。
20.将包含s个超声换能器阵元的环形超声换能器阵列作为稠密阵列，并将每个超声换能器按序编号为1,2,3
…
,512
…
s；以每间隔4个阵元保留一个的形式组成一个s/4阵元的环形超声换能器阵列，将该包含s/4个超声换能器阵元的环形超声换能器阵列作为稀疏阵列，并将每个超声换能器编号按序为1,5,9
…
s-3。
21.本发明实施例中将一个环形超声换能器阵列中放置有512个超声换能器阵元称为“稠密阵列”，每个超声换能器编号为1,2,3
…
,512，系统建设的成本大，数据采集慢。因此，保留四分之一的超声换能器阵元，即128个超声换能器，并且以每间隔4个阵元保留一个的
形式组成一个128阵元的稀疏阵列，以下简称“稀疏阵列”，每个超声换能器编号为1,5,9
…
509。图1是稠密阵列示意图，图2是稀疏阵列示意图。
22.将稠密阵列采集到的换能器信号记为，将稀疏阵列采集到的超声换能器信号记为，如图3所示，本发明提出的基于wwcg-net的光声成像稀疏阵列信号预测方法包括以下步骤：s1，将输入信号进行标准化，并且截去预设的起始阶段长度的信号。
23.首先进行数据预处理。超声换能器探测被测物体组织反射的声压信号，并将该声压信号转化为电信号，读取该电信号，将该电信号作为输入信号。输入信号是一个n
×
m形矩阵，m是阵列中超声换能器阵元个数，n是单个超声换能器阵元采集到的信号长度。如果超声换能器阵元个数为一个，则输入信号为向量的形式；如果超声换能器阵元个数为多个，则输入信号为矩阵的形式。将输入信号进行标准化处理，标准化处理的公式为：。
24.其中，是标准化处理后的信号，是均值，是标准差。其次，截去信号起始阶段长度为h信号,h等于400至600之间的任意正整数，此部分信号反映超声换能器机器自身反射的声波信号，与目标物体反射的声波信号无关。经过步骤s1处理后的信号依旧记为，信号长度变为l，l=n-h。
25.s2，将处理后的输入信号划分为训练数据集，训练数据集的标签集，测试数据集和测试数据集的标签集。
26.将步骤s1输出的信号分为四部分，训练数据集，训练数据集的标签集，测试数据集和测试数据集的标签集。训练数据集由如下方法构成：从编号为1的超声换能器采集的信号开始，按顺序取出编号为1+4k（k=0,1,2
…
127）的超声换能器信号，依次排列成形状为（128，l）的矩阵。训练数据集的标签集由如下方法构成：从编号为2的超声换能器采集的信号开始，按顺序取出编号为2+4k（k=0,1,2
…
127）的超声换能器信号，依次排列成形状为（128，l）的矩阵。测试数据集由如下方法构成：从编号为3的超声换能器采集的信号开始，按顺序取出编号为3+4k（k=0,1,2
…
127）的超声换能器信号，依次排列成形状为（128，l）的矩阵。测试数据集的标签集由如下方法构成：从编号为4的超声换能器采集的信号开始，按顺序取出编号为4+4k（k=0,1,2
…
127）的超声换能器信号，依次排列成形状为（128，l）的矩阵。将两个形状为（128，l）的训练数据集、测试数据集分别展开成一维向量，向量形状为（m，1），m=128
×
l，下同。继续地，将训练数据集和测试数据集两个形状为（m，1）的向量数据不变，增加一个维度，将其形状变为（m，1，1）构成新的训练数据集和测试数据集。将两个形状为（128，l）的训练数据标签集、测试数据标签集分别展开成一维向量，向量形状为（m，1），构成新的训练数据标签集和测试数据标签集。
27.s3，将训练数据集和训练数据集的标签集输入卷积门控循环神经网络进行训练，得到训练后的卷积门控循环神经网络。
28.如图4所示，将训练数据集中的训练数据和训练数据标签集输入wwcg-net进行训练，在本实施例中，迭代次数epoch=130次，每批次取数据量等于512，使用了均方根反向传播算法（root mean sqaure prop，rmsprop）优化器，激活函数为sigmoid函数，损失函数为平均绝对误差（mean absolute error，mae）。 wwcg-net使用了两层门控单元网络和一层全连接层。门控单元网络每层的单元数量等于128，每层的丢弃率等于0.1，最后一层全连接层的单元数量为1。通常训练损失值loss在60个轮次以上保持稳定且逐渐减小收敛，如图5所示，则模型训练完毕，保存训练完毕的模型。
29.s4，在稠密阵列上，将测试数据集和测试数据集的标签集输入训练得到的卷积门控循环神经网络进行验证，并更新卷积门控循环神经网络。
30.在已知的稠密阵列上测试数据，以一组点光源实验数据为例，l等于1249，使用测试数据在训练完毕的模型上进行测试，输出测试数据的wwcg-net预测结果，预测结果是一个形状为（m，1）的一维向量，将其恢复成形状为（128，l）的矩阵。模型的预测结果显示拟合优度r2值在0.9以上，说明预测结果较好。如图6所示，是编号为401的超声换能器预测数据与相应的真实数据对比结果。虚线代表测试数据标签集中的真实值，实线代表wwcg-net的预测值，图中真实值与预测值对应的曲线几乎重合，从图中的对比结果表明本发明对阵列中其他位置的超声换能器信号预测结果准确。
31.s5，在稀疏阵列中采集信号，将该信号输入更新的卷积门控循环神经网络进行预测，得到稀疏阵列其他位置的超声换能器阵元的信号数据。
32.本发明实施例中，在一个稀疏阵列中，采集有限的128组阵元的数据，利用在稀疏阵列中预测其他位置的超声换能器阵元未知的数据。
33.按超声换能器编号顺序读取信号，依次排列成形状为（128，l）的矩阵，进行标准化处理，并截去信号起始阶段长度为500的信号。将标准化处理完毕后的信号展开成形状为（m，1，1）的向量，输入wwcg-net进行预测，最后将预测结果恢复成形状为（128，l）的矩阵。预测将分3次进行，第一次使用稀疏阵列中有限的128组阵元数据，预测编号为2+4k（k=0,1,2
…
127）的阵元信号。第二次使用本发明预测得到的编号为2+4k的阵元信号，输入wwcg-net，预测编号为3+4k的阵元信号。第三次使用本发明预测得到的编号为3+4k的阵元信号，输入wwcg-net，预测编号为4+4k的阵元信号。预测的次数和填补的阵元数量可以根据实际情况变化。在一个稀疏阵列中，通过本发明可以得到一组稠密的512超声换能器阵元信号。以一组模拟的稀疏阵列点光源数据为例，如图7所示，使用本发明的稀疏阵列信号预测方法恢复的信号更加密集，有效填补了稀疏阵列信号的空白区域，预测后的结果如图8所示。
34.本发明实例所验证的环形阵列最大可放置512个超声换能器阵元，稀疏阵列的条件是等间隔放置不超过128个超声换能器阵元。本发明是从超声换能器信号端到信号端的信号预测方法，为稀疏阵列的信号填补及后续图像重建提供了便捷途径。
35.综上所述，本发明是从超声换能器信号端到信号端的深度学习信号预测方法，使用时序列信号进行预测，而不需要使用光声图像数据，为稀疏阵列的信号填补及后续图像重建提供了便捷途径。通过wwcg-net训练预测，解决光声成像环形稀疏阵列采集的有限信号重建图像存在伪影的问题，提高成像质量。
36.与前述基于深度学习的光声成像环形稀疏阵列信号预测方法的实施例相对应，本
发明还提供了基于深度学习的光声成像环形稀疏阵列信号预测装置的实施例。
37.参见图9，本发明实施例提供的一种光声成像环形稀疏阵列信号预测装置，包括一个或多个处理器，用于实现上述实施例中的光声成像环形稀疏阵列信号预测方法。
38.本发明光声成像环形稀疏阵列信号预测装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本发明光声成像环形稀疏阵列信号预测装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图9所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
39.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
40.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
41.本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的光声成像环形稀疏阵列信号预测方法。
42.所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（smart media card，smc）、sd卡、闪存卡（flash card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
43.以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。