一种高速成像方法、装置及电子设备与流程

1.本技术涉及高速成像技术领域，具体而言，涉及一种高速成像方法、装置及电子设备。


背景技术：

2.压缩型高速成像技术是在近年来在压缩感知理论的基础上发展而来的一类新型高速成像技术。在以此为基础形成的压缩成像系统中，摄像机将以较低捕获率进行工作，而在每一次相机曝光周期内，目标图像将通过一类频率更高的调制装置进行压缩，由此捕获一个测量帧，之后我们可以利用基于压缩感知理论的重建方法将每个测量帧恢复成多个高速帧。例如，在图1提出的压缩成像系统中，ccd摄像机以每秒30帧的速率工作，而dmd(digital micromirror device，数字微镜阵列)调制装置以每周期128fps的速率工作那么我们最终可以重建出高达每秒3840fps的视频速率。
3.同时，压缩感知相关理论研究表明，当编码方案满足特定条件时，上述高速成像系统极大概率能够重建原信号，这从理论工作方面验证了这一新型成像技术的可行性。在实际工程方面，高速成像系统的重建效果自然取决于所设计的成像方法。常见的高速成像方法为desci(decompress snapshot compressive imaging，快照压缩成像的解压缩方法)，desci在admm(alternating direction method of multipliers，交替方向乘子法)优化方法框架下结合非局部自相似性和秩最小化先验信息来重建信息。具体而言，admm优化方法为求解过程提供了一系列可收敛的迭代公式；其次，图像将被分割为多个图块以利用非局部自相似性；最后，加权核范数最小化图块为欠定问题提供先验信息。
4.然而desci方法的运算耗时长，不能够满足实时成像的需求。


技术实现要素：

5.为了解决，desci方法的运算耗时长，不能够满足实时成像的需求的问题，本技术提供了一种高速成像方法：
6.根据本技术实施例的一个方面，提供了一种高速成像方法，所述方法包括：
7.根据已知信息，确定初始信息，所述已知信息包括预先设定的掩膜矩阵和采集的压缩信号，所述初始信息基于所述掩模矩阵和采集到的压缩信号之间的关系获得，有利于在后续的步骤中进行信号重建；
8.将所述初始信息输入至包括特征提取模块、及特征融合模块的端到端神经网络，得到用于信号重建的逆映射；所述逆映射为在大量所述已知信息的监督训练下，由所述端到端神经网络学习得到，所述端到端神经网络包括依次堆栈的多个所述特征提取模块、及特征融合模块，所述特征提取模块用于提取特征，所述特征融合模块用于融合特征，所述逆映射根据所述特征提取模块及特征融合模块进行多次循环获取；
9.基于所述逆映射，输出重建信息；所述逆映射为压缩感知中的映射关系，所述重建信息由所述逆映射根据所述初始信息获取，所述重建信息即为最终输出的重建图像。
10.在一些实施例中，在所述将所述初始信息输入至包括所述特征提取模块、及特征融合模块的端到端神经网络，得到用于信号重建的逆映射步骤中，所述方法还包括：
11.将所述初始信息输入至所述特征提取模块，得到潜在特征，所述潜在特征由所述特征提取模块对所述初始信息进行提取获得；
12.基于所述特征融合模块，得到二维特征图，所述二维特征图由所述特征融合模块，根据所述潜在特征构建得到；
13.基于所述二维特征图，得到重建信息，以获取所述逆映射，所述逆映射是指将所述初始信息转化为所述重建信息的过程，基于大量所述已知信息，对多数端对端神经网络进行监督训练，获取所述逆映射。
14.在一些实施例中，在所述基于特征融合模块，得到二维特征图步骤中，所述方法还包括：
15.将所述潜在特征输入所述特征融合模块中，得到第一图块，根据所述潜在特征，划分出n个大小相同且相互重叠的所述第一图块；
16.根据所述第一图块，得到所述第一图块的图信息，所述图信息是指构建图结构所形成的信息，所述图结构并非图像，是一种数据结构，其由一系列节点信息和边信息构成，用于表征多对象之间的数据关系；
17.基于所述第一图块的所述图信息进行特征融合，得到所述第一图块的二维特征图，所述特征融合是指进行矩阵相乘。
18.在一些实施例中，在所述根据所述第一图块，得到每个所述第一图块的图信息步骤中，所述方法还包括：
19.依次对每个所述第一图块进行搜索，得到最为相似的k个其它图块，由于有n个第一图块，需要对n个第一图块中的每个均进行搜索，以得到与其最为相似的k个其它图块；
20.将所述第一图块及与其最为相似的k个所述其它图块作为节点，得到节点信息，所述节点信息是指由目标节点与相似节点构成的矩阵，所述目标节点是指所述第一图块，所述相似节点是指与其最为相似的k个所述其他图块；
21.根据所述节点信息，获取边信息，所述边信息即为所述节点与节点之间的关系；
22.根据所述图信息中的节点信息及边信息，构建图结构，得到图信息，在构建所述图结构时，由于具有n个所述第一图块，需要视n个不同的所述第一图块为所述目标节点，得到n个不同的图信息，所述图信息为矩阵形式。
23.在一些实施例中，在所述依次对每个所述第一图块进行搜索，得到最为相似的k个其它图块步骤中，所述方法还包括：
24.以目标图块为中心，得到搜索区域，所述目标图块为将要进行搜索的图块，由于具有n个所述第一图块，需要对每个所述第一图块均进行搜索，所述搜索区域的大小与所述第一图块的大小有关；
25.在所述搜索区域中，根据最小欧氏距离，得到与搜索的所述第一图块最为相似的k个其它图块，欧式距离是指两个图块之间的距离，代表两个图块的差异性，距离越小差异性越小，反之距离越大差异性越大，根据所述最小欧式距离能够得到与所述第一图块的差异性最小的，即最为相似的图块。
26.在一些实施例中，在所述根据所述节点信息，获取边信息步骤中，所述方法还包
括：
27.基于所述节点信息，得到二维节点信息，所述二维节点信息是指所述节点信息的二维矩阵，由所述目标节点与相似节点构成的节点信息铺平得到；
28.根据所述二维节点信息，得到两个频域信息，两个所述频域信息是指由所述二维节点信息，通过两个全连接层变换到两个不同频域上，得到的两个矩阵；
29.基于所述频域信息，获取边信息，所述边信息由两个频域信息转置相乘获取，两个频域信息转置相乘能够得到特征矩阵，所述特征矩阵中包括边信息。
30.在一些实施例中，在基于所述二维特征图，得到重建信息步骤中，所述方法还包括：
31.根据所述二维特征图，得到与之对应的相似图块，所述二维特征图根据所述潜在特征，进行特征融合后得到，再根据二维特征图重新转换为对应的相似图块，能够得到更完整的信息，有利于对信息进行补全重建，所述相似图块为具有所述相似特征的图块；
32.基于所述相似图块，获取重建信息，将n个大小相同且相互重叠的相似图块放置于原图像位置，得到了重建的原图像，即重建信息。
33.在一些实施例中，在所述根据已知信息，确定初始信息步骤中，所述方法还包括：
34.对所述已知信息中的采集的压缩信号进行归一化；
35.对所述已知信息中的采集的压缩信号的归一化结果进行粗糙估计。
36.根据本技术实施例的另一个方面，提供了一种高速成像装置，所述装置包括：
37.输入模块：用于根据已知信息，确定初始信息，所述已知信息包括预先设定的掩膜矩阵和采集的压缩信号，所述初始信息基于所述掩模矩阵和采集到的压缩信号之间的关系获得，有利于在后续的步骤中进行信号重建；
38.处理模块：将所述初始信息输入至包括特征提取模块、及特征融合模块的端到端神经网络，得到用于信号重建的逆映射，所述逆映射为在大量所述已知信息的监督训练下，由所述端到端神经网络学习得到，所述端到端神经网络包括依次堆栈的多个所述特征提取模块、及特征融合模块，所述特征提取模块用于提取特征，所述特征融合模块用于融合特征，所述逆映射根据所述特征提取模块及特征融合模块进行多次循环获取；
39.输出模块：用于基于所述逆映射，输出重建信息，所述逆映射为压缩感知中的映射关系，所述重建信息由所述逆映射根据所述初始信息获取，所述重建信息即为最终输出的重建图像。
40.根据本技术实施例的另一个方面，提供了一种电子设备，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种所述高速成像方法。
41.本技术的有益效果；通过确定初始信息，可实现有效利用掩膜矩阵和采集的压缩信号之间的关系，有利于在后续步骤中进行信号重建；进一步通过将所述初始信息输入至包括特征提取模块、及特征融合模块的端到端神经网络，可获取用于信号重建的逆映射；进一步通过获取的逆映射，确定需要输出的重建信息，从而缩短运算耗时，满足压缩型高速成像的需求。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1示出了本技术一实施例中高速成像方法的流程示意图；
44.图2示出了本技术另一实施例中对已知信息进行初始化的流程示意图；
45.图3示出了本技术另一实施例中训练逆映射的流程示意图；
46.图4示出了本技术另一实施例中进行特征融合的流程示意图；
47.图5示出了本技术另一实施例中构建图结构的流程示意图；
48.图6示出了本技术另一实施例中搜索相似图块的流程示意图；
49.图7示出了本技术另一实施例中获取边信息的流程示意图；
50.图8示出了本技术另一实施例中获取重建信息的流程示意图；
51.图9示出了本技术一实施例提供的高速成像装置的结构示意图；
52.图10示出了本技术一实施例提供的一种电子设备的实体结构示意图；
53.图11示出了现有技术中基于孔径编码的压缩型高速成像系统示意图；
54.图12示出了本技术另一实施例中端到端神经网络的结构示意图；
55.图13示出了本技术另一实施例中特征提取模块的结构示意图；
56.图14示出了本技术另一实施例中残差块的结构示意图；
57.图15示出了本技术另一实施例中特征融合模块的结构示意图；
58.图16示出了本技术另一实施例中特征融合模块的系统流程示意图。
具体实施方式
59.为使本技术的目的、实施方式和优点更加清楚，下面将结合本技术示例性实施例中的附图，对本技术示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本技术一部分实施例，而不是全部的实施例。
60.需要说明的是，本技术中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本技术的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
61.本技术中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
62.术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
63.人类对捕捉和记录快速现象的渴望可以追溯到19世纪胶片摄影技术的发明，它通过严格控制胶片曝光时间以实现快速成像。随着基于ccd(charge coupled device，电荷耦合器件)与cmos(complementary metal-oxide-semiconductor，互补金属氧化物半导体)，技术的固态电子成像传感器领域的不断进步，高速摄像机已成为工业智能制造、汽车碰撞
试验、基础科研、生物医学观测等领域进行快速图像记录的常用工具。
64.然而由于受传统相机成像机理的限制——从传感器阵列读出数据需要消耗大量时间，高速相机捕获快速动态过程的时间分辨率被限制在10-7量级。如何提升成像系统的时间分辨率，实现快速甚至超快成像以观测人眼无法捕获的快速瞬间内所发生的事件信息，一直是计算光学成像一个重要的研究方向。
65.压缩型高速成像技术是在近年来提出的压缩感知理论的基础上发展而来的一类新型高速成像技术。在这些压缩成像系统中，摄像机将以较低捕获率进行工作，而在每一次相机曝光周期内，目标图像将通过一类频率更高的调制装置进行压缩，由此捕获一个测量帧，从而我们可以利用基于压缩感知理论的重建算法将每个测量帧恢复成多个高速帧。
66.例如，图11示出了现有技术中基于孔径编码的压缩型高速成像系统示意图，如图11所示，在提出的压缩成像系统中，ccd摄像机以每秒30帧的速率工作，而dmd(digital micromirror device，数字微镜阵列)调制装置以每周期128fps的速率工作那么我们最终可以重建出高达每秒3840fps的视频速率。
67.压缩感知相关理论研究表明，当编码方案满足特定条件时，上述高速成像系统极大概率能够重建原信号，这从理论工作方面验证了这一新型成像技术的可行性。
68.而在实际工程方面，高速成像系统的重建效果自然取决于所设计的成像算法。常见的压缩型高速成像算法为desci(decompresssnapshotcompressiveimaging，快照压缩成像的解压缩算法)，desci在admm(alternating direction method of multipliers，交替方向乘子法)优化方法框架下结合非局部自相似性和秩最小化先验信息来重建信号。具体而言，admm优化方法为求解过程提供了一系列可收敛的迭代公式；其次，图像将被分割为多个图块以利用非局部自相似性；最后，加权核范数最小化相似图块为欠定问题提供先验信息。
69.但是，desci的算法运算耗时长，不能够满足实时成像需求；加权核范数最小化是一种非盲去噪的方法，易产生过平滑问题；算法计算效率低，主流算力设备不足以执行大规模(高分辨率)高速视频成像任务；均极大地限制了高速成像系统的实际应用场景。
70.如图11所示的压缩感知系统可以概括为一个简洁的方程：
[0071][0072]
其中，x为原信号，也即被拍摄场景；c为掩膜矩阵，也即预先设定的随机矩阵；
⊙
表示逐元素乘法；e为系统噪声；b为压缩率；y为压缩后的信号，也即最终采集的测量。
[0073]
由此，硬件端的相机基于掩膜c将原信号x压缩成信号y，而软件端的重建算法旨在通过已知的掩膜c以及采集的信号y来恢复原始信号x，从而实现高速视频成像。
[0074]
事实上，采集的信号y是低维的，而原始信号x是高维的，因此重建信号构成了一个欠定问题，如何解决该欠定问题是压缩型高速成像技术的关键难点所在。
[0075]
基于上述介绍，需要一种新颖的重建算法，能够更好地利用先验(稀疏性、冗余性、周期性、低秩性)来解决欠定问题。
[0076]
因此，针对上述问题，本技术提出了一种高速成像方法与装置，能够有效地利用相似图块固有的低秩先验信息，为重建信号提供必要的正则先验，并提高算法整体计算效率。
[0077]
下面结合图1-图16描述本技术提供的高速成像方法。
[0078]
图1示出了本技术一实施例中高速成像方法的流程示意图，该方法可由高速成像
方法划分装置/电子设备执行。
[0079]
如图1所示，该方法包括以下步骤：
[0080]
步骤110：根据已知信息，确定初始信息。
[0081]
其中，已知信息包括预先设定的掩膜矩阵和采集的压缩信号，初始信息基于掩模矩阵和采集到的压缩信号之间的关系获得，有利于在后续的步骤中进行信号重建。
[0082]
步骤120：将初始信息输入至包括特征提取模块、及特征融合模块的端到端神经网络，得到用于信号重建的逆映射。
[0083]
其中，逆映射为在大量已知信息的监督训练下，由端到端神经网络学习得到，端到端神经网络包括依次堆栈的多个特征提取模块、及特征融合模块，特征提取模块用于提取特征，特征融合模块用于融合特征，逆映射根据特征提取模块及特征融合模块进行多次循环获取。
[0084]
步骤130：基于逆映射，输出重建信息。
[0085]
其中，逆映射为压缩感知中的映射关系，重建信息由逆映射根据初始信息获取，重建信息即为最终输出的重建图像。
[0086]
可以看出，本技术的一些实施例中，图12示出了本技术另一实施例中端到端神经网络的结构示意图，如图12所示，设计了一种端到端的神经网络框架，该框架在主流算力的硬件条件下，仍然能够处理更高分辨率的视频压缩输入，并且快速且高精度的输出重建结果，满足压缩型高速成像系统的现实需求。
[0087]
根据上述压缩感知问题的定义，测量的信号y可视为原信号x的加权(c)和，而其中编码矩阵c上的值只取0或1。那么通常上是一个非能量归一化的图像，也即y上可能存在部分像素仅取自x上的一个像素值，但也可能存在部分像素取自x上的b个像素值。基于此，我们有必要对y值进行初始化处理。
[0088]
在一些实施例中，为了根据已知信息，给端到端神经网络提供一个具有丰富先验信息的初值，图2示出了本技术另一实施例中对已知信息进行初始化的流程示意图，如图2所示，在根据已知信息，确定初始信息步骤中，还包括以下步骤：
[0089]
步骤210：对已知信息中的采集的压缩信号进行归一化。
[0090]
归一化公式为：
[0091][0092]
步骤220：对已知信息中的采集的压缩信号的归一化结果进行粗糙估计。
[0093]
粗糙估计公式为：
[0094][0095]
其中，y为采集的压缩信号，c为掩膜矩阵，
⊙
表示逐元素乘法，表示逐元素除法。
[0096]
可以看出，将一种新颖的基于图结构的注意力机制引入视觉任务中，该方法可以有效地利用相似图块固有的低秩先验信息，为重建信号提供必要的正则先验。
[0097]
在一些实施例中，为了提升整体网络的灵活映射能力，得到更为准确的逆映射，图3示出了本技术另一实施例中训练逆映射的流程示意图，如图3所示，在将初始信息输入至包括特征提取模块、及特征融合模块的端到端神经网络，得到用于信号重建的逆映射中，还包括以下步骤：
[0098]
步骤310：将初始信息输入至特征提取模块，得到潜在特征。
[0099]
其中，潜在特征由特征提取模块对初始信息进行提取获得，图13示出了本技术另一实施例中特征提取模块的结构示意图，图14示出了本技术另一实施例中残差块的结构示意图，结合图13、及图14所示，特征提取模块通过卷积操作能够将局部的空间特征映射到更高维度的通道特征上，以表征更加复杂的图像潜在特征，从而下游的gam模块能够进一步地开发和利用此类潜在特征，此外，随着“特征提取模块+特征融合模块”模式的堆栈运算，神经网络将逐渐变深，特征提取模块在后继阶段能够提供更深层次的特征提取，这种策略能够极大地提升整体网络的灵活映射能力。
[0100]
并且，特征提取模块由多个残差块(res,residual connection block)所构成，这些残差块顺序叠加共同构成一个非线性映射函数，是深度学习中常用的网络构造，残差块包括两个卷积层(conv,convolution)、非线性激活函数及残差连接机制，残差块结构能够有效地减少深度神经网络的训练难度，并且提升整体网络的拟合能力。
[0101]
残差块运算公式为：
[0102]
x＝conv(relu(conv(x)))+x(4)。
[0103]
步骤320：基于特征融合模块，得到二维特征图。
[0104]
其中，二维特征图由特征融合模块，根据潜在特征构建得到，图15示出了本技术另一实施例中特征融合模块的结构示意图，图16示出了本技术另一实施例中特征融合模块的系统流程示意图，结合图15、及图16所示，特征融合模块是基于图注意力机制的，与现有技术desci的设计思想相同，特征融合模块图块之间的相似信息来正则化图像，但不同的是，特征融合模块采用了完全不同的设计结构与处理方法，特征融合模块根据图块之间的关系建立图结构，并将近年火热的图学习方法引入到视觉任务中，这里需要补充的是，图并非图像，图是一种数据结构，其由一系列节点和边构成，这种数据结构能够更好地表征多对象之间的数据关系。
[0105]
步骤330：基于二维特征图，得到重建信息，以获取逆映射。
[0106]
其中，逆映射是指将初始信息转化为重建信息的过程，基于大量已知信息，对多数端对端神经网络进行监督训练，获取逆映射。
[0107]
可以看出，通过“特征提取加特征融合”相互叠加的数据处理流程，该流程无需引入已知噪声，能够灵活地对不同场景内容做出适应及调整。
[0108]
在一些实施例中，为了引入了一种更为先进的数据结构，实现了一种更为高效的相似图块融合机制，图4示出了本技术另一实施例中进行特征融合的流程示意图，如图4所示，在基于特征融合模块，得到二维特征图步骤中，还包括以下步骤：
[0109]
步骤410：将潜在特征输入特征融合模块中，得到第一图块。
[0110]
其中，根据潜在特征，划分出n个大小为pw×
ph，且相互重叠的第一图块，即unfold过程。
[0111]
步骤420：根据第一图块，得到第一图块的图信息。
[0112]
其中，图信息是指构建图结构所形成的信息，图结构并非图像，是一种数据结构，其由一系列节点信息和边信息构成，用于表征多对象之间的数据关系。
[0113]
步骤430：基于第一图块的图信息进行特征融合，得到第一图块的二维特征图。
[0114]
其中，在图上的所有节点和边的信息后，需要其进行特征融合操作，特征融合是指
进行矩阵相乘。
[0115]
可以看出，通过设计一种基于图注意力机制的特征融合策略，该策略可以高效地进行并行运算，提升整体算法运行效率。
[0116]
在一些实施例中，为了更好的表征多对象之间的数据关系，从而利用图块之间的相似信息来正则化图像，图5示出了本技术另一实施例中构建图结构的流程示意图，如图5所示，在根据第一图块，得到每个第一图块的图信息步骤中，还包括以下步骤：
[0117]
步骤510：依次对每个第一图块进行搜索，得到最为相似的k个其它图块。
[0118]
其中，由于有n个第一图块，需要对n个第一图块中的每个均进行搜索，以得到与其最为相似的k个其它图块。
[0119]
步骤520：将第一图块及与其最为相似的k个其它图块作为节点，得到节点信息。
[0120]
其中，节点信息是指由目标节点与相似节点构成的矩阵，写作目标节点是指第一图块，相似节点是指与其最为相似的k个其他图块。
[0121]
步骤530：根据节点信息，获取边信息。
[0122]
其中，边信息即为节点与节点之间的关系。
[0123]
步骤540：根据图信息中的节点信息及边信息，构建图结构，得到图信息。
[0124]
其中，在构建图结构时，由于具有n个第一图块，需要视n个不同的第一图块为目标节点，得到n个不同的图信息，图信息为矩阵形式，写作
[0125]
可以看出，通过利用图块之间的相似信息来正则化图像，能够更好的表征多对象之间的数据关系。
[0126]
在一些实施例中，图6示出了本技术另一实施例中搜索相似图块的流程示意图，如图6所示，在依次对每个第一图块进行搜索，得到最为相似的k个其它图块步骤中，还包括以下步骤：
[0127]
步骤610：以目标图块为中心，得到搜索区域。
[0128]
其中，目标图块为将要进行搜索的图块，由于具有n个第一图块，需要对每个第一图块均进行搜索，搜索区域的大小与第一图块的大小有关，搜索区域的尺寸大小为rw×
rh×rt
。
[0129]
步骤620：在搜索区域中，根据最小欧氏距离，得到与搜索的第一图块最为相似的k个其它图块。
[0130]
其中，欧式距离是指两个图块之间的距离，代表两个图块的差异性，距离越小差异性越小，反之距离越大差异性越大，根据最小欧式距离能够得到与第一图块的差异性最小的即最为相似的图块。
[0131]
可以看出，以目标图块为中心通过最小欧式距离能够便捷的获取到与目标图块最为相似的k个其它图块。
[0132]
在一些实施例中，为了获取节点与节点之间的关系，也即边的信息，我们通过一种注意力机制学习求得，图7示出了本技术另一实施例中获取边信息的流程示意图，如图7所示，在根据节点信息，获取边信息步骤中，还包括以下步骤：
[0133]
步骤710：基于节点信息，得到二维节点信息。
[0134]
其中，二维节点信息是指节点信息的二维矩阵，写作由目标节
点与相似节点构成的节点信息铺平得到。
[0135]
步骤720：根据二维节点信息，得到两个频域信息。
[0136]
其中，两个频域信息是指由二维节点信息，通过两个全连接层变换到两个不同频域上，得到的两个矩阵，分别为以及
[0137]
变换公式为：
[0138]
q＝w
qv* k＝w
kv*
ꢀꢀꢀ
(5)
[0139]
步骤730：基于频域信息，获取边信息。
[0140]
其中，边信息由两个频域信息转置相乘获取，两个频域信息转置相乘能够得到特征矩阵，写作
[0141]
转置相乘公式为：
[0142][0143]
特征矩阵中包括所有节点之间的边信息，其计算公式为：
[0144]v′
＝av
*
ꢀꢀꢀ
(7)。
[0145]
可以看出，通过一种注意力机制学习能够便捷的获取节点与节点之间的关系，也即边的信息。
[0146]
在一些实施例中，为了使重建信号更加完整、准确，图8示出了本技术另一实施例中获取重建信息的流程示意图，如图8所示，在基于二维特征图，得到重建信息步骤中，还包括以下步骤：
[0147]
步骤810：根据二维特征图，得到与之对应的相似图块。
[0148]
其中，二维特征图根据潜在特征，进行特征融合后得到，再根据二维特征图重新转换为对应的相似图块，能够得到更完整的信息，有利于对信息进行补全重建，相似图块为具有相似特征的图块。
[0149]
步骤820：基于相似图块，获取重建信息。
[0150]
其中，将转换得到的n个大小相同且相互重叠的相似图块放置于原图像位置，即图中的fold过程，其中重叠部分采用加权平均值进行计算，获取重建的原图像，即重建信息。
[0151]
可以看出，首先根据已知信息，其中包括预先设定的掩膜和采集的压缩信号，构造合适的初始信息，随后将初始信息输入至端到端神经网络，该网络由多个特征提取模块和特征融合模块依次堆栈而成。
[0152]
其中，特征提取模块可提取图像中大量的潜在特征，以供下游模块进一步融合利用；特征融合模块可以灵活地组合时空维度上的相似特征，以实现丢失信号的补全重建，并且随着网络层的增加，根据特征提取模块与特征融合模块不断循环，整体算法能够搜索得到更深层次且更具价值的特征，并加以融合重建。
[0153]
从而，在大量已标注数据的监督训练下，端到端神经网络能够学习并拟合压缩感知中的逆映射，最终基于逆映射输出重建信号。
[0154]
下面结合图9对本技术提供的高速成像装置进行描述，下文描述的高速成像装置与上文描述的高速成像方法可相互对应参照。
[0155]
图9示出了本技术提供的高速成像装置的结构示意图，如图9所示，该高速成像装
置900包括：
[0156]
输入模块901：用于根据已知信息，确定初始信息，已知信息包括预先设定的掩膜矩阵和采集的压缩信号；初始信息基于掩模矩阵和采集到的压缩信号之间的关系获得，有利于在后续的步骤中进行信号重建；
[0157]
处理模块902：将初始信息输入至包括特征提取模块、及特征融合模块的端到端神经网络，得到用于信号重建的逆映射，端到端神经网络包括依次堆栈的多个特征提取模块、及特征融合模块，特征提取模块用于提取特征，特征融合模块用于融合特征，逆映射基于端到端神经网络获取，逆映射为压缩感知中的映射关系，根据特征提取模块及特征融合模块进行多次循环获取；
[0158]
输出模块903：基于逆映射，输出重建信息，逆映射为在大量已知信息的监督训练下，由端到端神经网络学习得到，重建信息由逆映射根据初始信息获取。
[0159]
图10示出了一种电子设备的实体结构示意图，如图10所示，该电子设备1000可以包括：处理器1001(processor)、通信接口1002(communication interface)、存储器1003(memory)和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令，以执行高速成像方法。
[0160]
可以看出，通过确定初始信息，可实现有效利用掩膜矩阵和采集的压缩信号之间的关系，有利于在后续步骤中进行信号重建；进一步通过将初始信息输入至包括特征提取模块、及特征融合模块的端到端神经网络，可获取用于信号重建的逆映射；进一步通过获取的逆映射，确定需要输出的重建信息，从而缩短运算耗时，满足压缩型高速成像的需求。
[0161]
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。