面向超高速运动场景的双目脉冲深度数据采集方法及装置

1.本发明涉及计算机视觉技术领域，更为具体来说，本发明涉及一种面向超高速运动场景的双目脉冲深度数据采集方法及装置。


背景技术：

2.深度估计是一个长期存在且具有挑战性的问题，例如在自动驾驶、机器人和医疗诊断等多种应用中都需要使用到深度估计。实际上，传统的基于帧的相机在快速运动场景中存在深度估计的局限性，导致了使用模糊图像时性能急剧下降的问题。


技术实现要素：

3.本技术实施例提供了一种面向超高速运动场景的双目脉冲深度数据采集方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
4.第一方面，本技术实施例提供了一种面向超高速运动场景的双目脉冲深度数据采集方法，该方法包括：
5.采集运动场景下的双目脉冲信号；
6.对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；
7.根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；
8.对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。
9.可选的，所述采集运动场景下的双目脉冲信号，包括：
10.通过神经形态视觉传感器采集所述运动场景下的双目脉冲信号。
11.可选的，所述对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征，包括：
12.通过脉冲编码器将所述双目脉冲信号累积为积分帧；
13.将所述积分帧输入沙漏模型，输出所述运动场景下的脉冲信号降维特征。
14.可选的，所述注意力机制模型包括自注意力机制与交叉注意力机制；其中，
15.所述自注意力机制在同一脉冲信号上，计算自特征注意力矩阵，通过所述自特征注意力矩阵捕捉所述脉冲信号和所述脉冲信号降维特征的内部相关性；
16.所述交叉注意力机制在所述双目脉冲信号上，计算交叉特征注意力矩阵，通过所述交叉特征注意力矩阵捕捉所述双目脉冲信号之间的像素坐标点的特征相关性。
17.将所述自注意力机制与所述交叉注意力机制交替连接，组成所述注意力机制模型。
18.可选的，所述根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景
下的双目脉冲特征点匹配关系，包括：
19.将所述脉冲信号降维特征输入所述注意力机制模型；
20.将所述注意力机制模型输出的最后一轮所述交叉特征注意力矩阵作为所述双目脉冲特征点匹配关系。
21.可选的，所述对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图，包括：
22.对所述双目脉冲特征点匹配关系进行所述视差回归计算，得到所述运动场景下的视差；
23.根据所述视差，推出所述运动场景下的预估深度图。
24.可选的，所述方法还包括：
25.在采集所述双目脉冲信号的同时，通过时钟同步技术采集所述运动场景下的真实深度图；
26.将所述真实深度图与所述预估深度图进行比较，确定所述预估深度图的准确性。
27.第二方面，本技术实施例提供了一种面向超高速运动场景的双目脉冲深度数据采集装置，该装置包括：
28.采集模块，用于采集运动场景下的双目脉冲信号；
29.特征提取模块，用于对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；
30.匹配关系确定模块，用于根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；
31.深度确定模块，用于对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。
32.第三方面，本技术实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
33.第四方面，本技术实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
34.本技术实施例提供的技术方案可以包括以下有益效果：
35.在本技术实施例中，所述面向超高速运动场景的双目脉冲深度数据采集方法及装置。通过神经形态视觉传感器采集运动场景下的双目脉冲信号，对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。本技术可有效地解决传统相机在高速运动模糊、过曝光或低光照等运动场景下无法进行深度估计的问题；能够使用神经形态视觉传感器解决动态物体和静态物体的深度估计问题。
36.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
37.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施
例，并与说明书一起用于解释本发明的原理。
38.图1是本技术实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集方法的流程示意图；
39.图2是本技术实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集方法的框架图；
40.图3是本技术实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集方法的注意力机制模型的框架图；
41.图4是本技术实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集装置的装置示意图；
42.图5是本技术实施例提供的一种终端示意图。
具体实施方式
43.以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
44.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
45.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
46.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
47.请参见图1-3，为本技术实施例提供了一种面向超高速运动场景的双目脉冲深度数据采集方法的流程示意图。如图1-3所示，本技术实施例的方法可以包括以下步骤：
48.s100,采集运动场景下的双目脉冲信号。所述运动场景为超高速运动场景，所述双目脉冲信号即为双目脉冲阵列。
49.所述s100包括：通过神经形态视觉传感器采集所述运动场景下的双目脉冲信号。
50.在本技术实施例中，神经形态视觉传感器采集的双目脉冲信号是受运动场景光强刺激发放并记录的双目脉冲信号。脉冲信号是时空域上稀疏的离散点集，以脉冲信号的形式记录并表征运动场景中的光强信息。脉冲信号是一个三维脉冲阵列d(x,y,t)，d(x,y,t)表示在时间t坐标(x,y)处的脉冲是否被触发。如果刚刚触发了一个脉冲信号，则输出数字信号p＝1(p表示脉冲信号)，否则p＝0。神经形态视觉传感器所包括的脉冲相机指的是每秒输出一个大小为20000
×
400
×
250(t,x,y)的脉冲阵列。具体的脉冲信号如图2中的脉冲数据部分所示。
51.在本技术实施例中，神经形态视觉传感器是模仿视网膜神经节细胞发放脉冲和视网膜感光细胞对亮度变化敏感机理的视觉传感器，发放的时空脉冲信号是时空稀疏的脉冲信号。模拟中央凹，将光强度编码为稀疏和离散的时空峰值；神经形态视觉传感器包括的超高速全时视觉传感器与事件相机(dvs)不同，当每个像素的光子积累达到阈值时，神经形态视觉传感器产生一个脉冲；由于神经形态视觉传感器感知的是绝对亮度，而不是超高采样频率(即20,000hz)下的亮度变化，这种无帧成像范式带来了重建高速视觉纹理的能力；相对传统固定帧率的相机具有高时间分辨率、高动态范围和低功耗等优势。神经形态视觉传感器适用于处理高速视觉任务，在自动驾驶、机器人视觉导航定位等领域有着巨大的应用潜力。
52.本技术实施例，神经形态视觉传感器包括超高速全时视觉传感器和动态视觉传感器。在实际应用时，主要使用前者，后者多用于对比。
53.动态视觉传感器，采用差分采样机制感知运动场景中光强的变化，生成异步的脉冲信号，具有高时间分辨率、高动态范围和低功耗的优势；动态视觉传感器可克服传统相机在高速运动场景中的运动模糊、光照敏感场景的过曝光场景和弱曝光场景的成像不清晰等问题，动态视觉传感器包括dvs(dynamic vision sensor)、davis、atis、celex等。动态视觉传感器可以选用分辨率为346
×
260，采样频率为12meps的davis346。
54.超高速全时视觉传感器，以积分采样机制感知运动场景中的绝对光强，定时发放同步的脉冲信号，具有高时间分辨率、清晰纹理和高动态范围的特点；超高速全时视觉传感器可克服传统相机的高速运动模糊的问题，且具有高动态成像的功能。更具体地，神经形态视觉传感器可以选用分辨率为400
×
250，采样频率为20000hz脉冲平面的仿视网膜传感器。
55.在本技术实施例中，神经形态视觉传感器相较于动态视觉传感器，更具优势。在高速运动模糊、过曝光或低光照等运动场景下，使用动态视觉传感器只能解决动态物体的深度估计问题；使用超高速全时视觉传感器不仅能够解决动态物体的深度估计问题，而且能够解决静止物体的深度估计问题。比如，在高速公路上，动态视觉传感器可以拍摄到动态的车，无法拍摄到静态的道路；神经形态视觉传感器不仅可以拍摄到动态的车，而且能够拍摄到静态的道路。动态视觉传感器和神经形态视觉传感器拍摄到的物体都足够清晰，不会出现模糊问题。
56.s200,对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征。通过基于脉冲信号的特性设计的特征提取算法，对原始的脉冲信号进行表征。具体包括：
57.通过脉冲编码器将所述双目脉冲信号累积为积分帧。双目脉冲信号的表征形式包括帧的形式：将脉冲信号在固定时间内累积为积分帧。
58.图2中的神经形态编码部分，l表示左脉冲信号，r表示右脉冲信号，n表示双目脉冲信号的个数，c表示层数或者通道数，h表示脉冲信号的高，w表示脉冲信号的宽；累积不同时间长度的脉冲个数可以表示不同的时间信息。为了覆盖脉冲信号一段时间内的变化，本技术对一个三维脉冲信号的每个通道以不同的间隔累积时间，每个通道范围内的累积时间步长可以是任意的。
59.将所述积分帧输入沙漏模型，输出所述运动场景下的脉冲信号降维特征。在本技术实施例中，通过沙漏结构特征提取器形成所述沙漏模型，骨干网络采取沙漏模型对积分
帧进行特征提取降维，得到脉冲信号降维特征，实现了对脉冲信号的多层级时空特征提取。
60.如图2的神经形态编码部分所示，在对脉冲信号进行卷积和降维操作时，双目脉冲信号的个数变成了2n，层数或者通道数依次变为c0、c1和c2，脉冲信号的高依次变为h/4、h/8和h/16，脉冲信号的宽依次变为w/4、w/8和w/16。
61.s300,根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系。
62.所述注意力机制模型包括自注意力机制与交叉注意力机制；其中，所述自注意力机制在同一脉冲信号上，计算自特征注意力矩阵，通过所述自特征注意力矩阵捕捉所述脉冲信号和所述脉冲信号降维特征的内部相关性。所述交叉注意力机制在所述双目脉冲信号上，计算交叉特征注意力矩阵，通过所述交叉特征注意力矩阵捕捉所述双目脉冲信号之间的像素坐标点的特征相关性。
63.所述自注意力机制和交叉注意力机制均采用查询量、键量、值量三个线性变换矩阵进行求解，其中自注意力机制模型中的查询量、键量、值量均来自同一脉冲信号，交叉注意力机制的查询量来自目标脉冲信号，键量、值量来自源脉冲信号。
64.将所述自注意力机制与所述交叉注意力机制交替连接，组成所述注意力机制模型。在本技术实施例中，注意力机制模型使用了多头注意力，能够使得注意力机制模型注意到脉冲信号的不同方面，即将脉冲信号降维特征分为8组，分别输入8个注意头。
65.在本技术实施例中，所述s300包括：将所述脉冲信号降维特征输入所述注意力机制模型；将所述注意力机制模型输出的最后一轮所述交叉特征注意力矩阵作为所述双目脉冲特征点匹配关系。
66.双目脉冲信号即为左右脉冲信号，脉冲信号降维特征也为左右脉冲信号降维特征。通过注意力机制模型对左右脉冲信号降维特征进行注意力矩阵计算获取到的所述交叉特征注意力矩阵捕捉到的所述左右脉冲信号的像素坐标点之间的特征相关性，即为左右像素间匹配关系。
67.最后一轮所述交叉特征注意力矩阵捕捉到的左右像素间匹配关系，又称左右脉冲信号之间的相关性，即为所述双目脉冲特征点匹配关系。
68.在图2中，将位置编码输入注意力机制模型，以便于在注意力机制模型内部操作时，能够区分左脉冲信号降维特征和右脉冲信号降维特征。
69.如图3所示，注意力机制模型通过多头注意力机制交替计算左右两个脉冲信号降维特征之间的自注意和交叉注意来提取注意力权重：将左脉冲信号降维特征和右脉冲信号降维特征输入第一层的自注意力机制，输出自特征注意力矩阵，将所述自特征注意力矩阵输入第一层的交叉注意力机制，输出交叉特征注意力矩阵，将所述交叉特征注意力矩阵输入第二层的自注意力机制，输出自特征注意力机制，
……
，可将自特征注意力机制输入第q层的交叉注意力机制，输出最后一层的交叉特征注意力矩阵；q层可为6或8层。所述交叉特征注意力矩阵即为注意力机制模型输出的注意力权重。
70.其中，自注意力机制包括：标准化层和8头自注意力机制，交叉注意力机制包括:标准化层和8头交叉注意力机制。
71.s400,对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。所述s400包括：
72.对所述双目脉冲特征点匹配关系进行所述视差回归计算，得到所述运动场景下的视差；根据所述视差，推出所述运动场景下的预估深度图。
73.在本技术实施例中，将注意力机制模型输出的最后一轮所述交叉特征注意力矩阵捕捉到的左右像素间匹配关系进行赢者通吃的视差回归计算，即选取左右像素间匹配关系的匹配预测值最大的像素作为最佳匹配像素块，通过最佳匹配像素块获得视差。
74.可根据深度越小，在左右相机中的视差越大的反比关系，利用视差回归获得本技术密集的预估深度图，如图2所示。
75.在本技术实施例中，左右像素间匹配关系的匹配预测值最大即为注意力权重最大，将最大的注意力权重作为回归注意力权重。
76.在本技术实施例中，所述方法还包括：
77.在采集所述双目脉冲信号的同时，通过时钟同步技术采集所述运动场景下的真实深度图；所述真实深度图即为通过相机直接采集的深度图。
78.本技术实施例的同步采集装置包括两台神经形态视觉传感器和一台zed深度相机，通过两台神经形态视觉传感器采集左右脉冲信号；通过zed深度相机采集真实深度图。
79.采用ntp网络时钟同步技术，通过同步采集装置同步采集运动场景下的双目脉冲信号和真实深度图，并形成时空同步标签。所述时空同步标签：依据手动标注的双目脉冲信号和真实深度图的特征点，确定双目脉冲信号和真实深度图的映射矩阵，实现双目脉冲信号和真实深度图的映射同步操作。
80.将所述真实深度图与所述预估深度图进行比较，确定所述预估深度图的准确性。
81.在本技术实施例中，现有技术中的方法依赖于“成本量”，通常被压缩到一个手动预定义的差异范围，存在着固定视差范围的问题。这个问题限制了现有方法在不同场景下双目相机配置的生成。本技术的注意力机制模型从顺序到顺序的角度重新审视了这个问题，能够在展示良好性能的同时，消除成本批量构建。
82.在本技术实施例中，解决了脉冲信号通过三维的稀疏和离散的时空脉冲组成，造成的基于帧的深度估计技术不能直接采用这种新的数据格式作为输入的问题。虽然利用重建帧可以获得满意的性能，但在第一次图像重建阶段和深度估计阶段是非常复杂和耗时的，且难以充分利用脉冲信号的时空属性。
83.在本技术实施例中，所述面向超高速运动场景的双目脉冲深度数据采集方法。采集运动场景下的双目脉冲信号，对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。本技术可有效地解决传统相机在高速运动模糊、过曝光或低光照等运动场景下无法进行深度估计的问题。
84.下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
85.请参见图4，其示出了本发明一个示例性实施例提供的一种面向超高速运动场景的双目脉冲深度数据采集装置的结构示意图。该装置1包括：采集模块10、特征提取模块20、匹配关系确定模块30和深度确定模块40。
86.采集模块10，用于采集运动场景下的双目脉冲信号；
87.特征提取模块20，用于对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；
88.匹配关系确定模块30，用于根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；
89.深度确定模块40，用于对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。
90.需要说明的是，上述实施例提供的面向超高速运动场景的双目脉冲深度数据采集装置在执行面向超高速运动场景的双目脉冲深度数据采集方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的面向超高速运动场景的双目脉冲深度数据采集装置与面向超高速运动场景的双目脉冲深度数据采集方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
91.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
92.在本技术实施例中，所述面向超高速运动场景的双目脉冲深度数据采集装置。采集运动场景下的双目脉冲信号，对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。本技术可有效地解决传统相机在高速运动模糊、过曝光或低光照等运动场景下无法进行深度估计的问题。
93.本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的面向超高速运动场景的双目脉冲深度数据采集方法。
94.本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的面向超高速运动场景的双目脉冲深度数据采集方法。
95.请参见图5，为本技术实施例提供了一种终端的结构示意图。如图5所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
96.其中，通信总线1002用于实现这些组件之间的连接通信。
97.其中，用户接口1003可以包括显示屏(display)、摄像头(camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
98.其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
99.其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)
和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
100.其中，存储器1005可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及车辆运行轨迹数据的可用度分析应用程序。
101.在图5所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的面向超高速运动场景的双目脉冲深度数据采集应用程序，并具体执行以下操作：
102.采集运动场景下的双目脉冲信号；
103.在采集所述双目脉冲信号的同时，通过时钟同步技术采集所述运动场景下的真实深度图；
104.对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；
105.根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；
106.对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图；
107.将所述真实深度图与所述预估深度图进行比较，确定所述预估深度图的准确性。
108.在一个实施例中，处理器1001在执行所述采集运动场景下的双目脉冲信号时，具体执行以下操作：
109.通过神经形态视觉传感器采集所述运动场景下的双目脉冲信号。
110.在一个实施例中，处理器1001在执行所述对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征时，具体执行以下操作：
111.通过脉冲编码器将所述双目脉冲信号累积为积分帧；
112.将所述积分帧输入沙漏模型，输出所述运动场景下的脉冲信号降维特征。
113.在一个实施例中，处理器1001在执行所述根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系时，具体执行以下操作：
114.所述注意力机制模型包括自注意力机制与交叉注意力机制；其中，
115.所述自注意力机制在同一脉冲信号上，计算自特征注意力矩阵，通过所述自特征注意力矩阵捕捉所述脉冲信号和所述脉冲信号降维特征的内部相关性；
116.所述交叉注意力机制在所述双目脉冲信号上，计算交叉特征注意力矩阵，通过所述交叉特征注意力矩阵捕捉所述双目脉冲信号之间的像素坐标点的特征相关性。
117.将所述自注意力机制与所述交叉注意力机制交替连接，组成所述注意力机制模型。
118.将所述脉冲信号降维特征输入所述注意力机制模型；
119.将所述注意力机制模型输出的最后一轮所述交叉特征注意力矩阵作为所述双目脉冲特征点匹配关系。
120.在一个实施例中，处理器1001在执行所述对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图时，具体执行以下操作：
121.对所述双目脉冲特征点匹配关系进行所述视差回归计算，得到所述运动场景下的视差；
122.根据所述视差，推出所述运动场景下的预估深度图。
123.在本技术实施例中，所述面向超高速运动场景的双目脉冲深度数据采集方法。采集运动场景下的双目脉冲信号，对所述双目脉冲信号进行特征提取，获取所述运动场景下的脉冲信号降维特征；根据所述脉冲信号降维特征和注意力机制模型，预估所述运动场景下的双目脉冲特征点匹配关系；对所述双目脉冲特征点匹配关系进行视差回归计算，确定所述运动场景下的预估深度图。本技术可有效地解决传统相机在高速运动模糊、过曝光或低光照等运动场景下无法进行深度估计的问题。
124.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
125.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。