一种基于深度学习的双目动态视觉传感器立体匹配方法与流程

本发明涉及图像匹配技术领域，尤其是涉及一种基于深度学习的双目动态视觉传感器立体匹配方法。

背景技术：

动态视觉传感器通过检测图像亮度的对数强度的变化来输出事件流，其中每个事件都具有位置、极性和时间戳信息。与传统相机相比，其具有延迟低，时间分辨率高，动态范围大等优势。

在传统图像处理技术中，双目立体匹配技术是获得图像深度信息的重要途径。但因传统视觉传感器输出数据量大，耗费资源高，因此传统双目立体匹配技术在移动端的应用受到很大的限制。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的双目动态视觉传感器立体匹配方法。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的双目动态视觉传感器立体匹配方法，包括以下步骤：

1)根据双目事件相机数据集中的深度信息生成训练点对；

2)构建适用于动态视觉传感器事件流中事件的表征方式；

3)根据表征方式对事件训练点对进行表征，并送入孪生神经网络进行训练，并根据训练结果进行立体匹配。

所述的步骤1)具体包括以下步骤：

11)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点；

12)根据该兴趣点在左侧传感器内的位置信息及真实深度信息，以极线为限制，将其投影到右侧动态视觉传感器上，获得该兴趣点在右侧传感器内的位置坐标信息，形成训练点对。

所述的步骤12)中，兴趣点在右侧传感器内的位置坐标(xr，yr)的计算式为：

其中，(xl，yl)为兴趣点在左侧传感器内的位置坐标，d为视差值，z为对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距。

所述的步骤2)中，构建事件的表征方式具体为：

21)以表征点为几何中心，建立边长为l并与传感器视角对齐的正方形区域，将此正方形区域划分为相等的n*n个正方形小区域，n为奇数；

22)选取连续s(s为偶数)个时间间隔δt，使得表征点的事件时间戳位于处，统计每个时间间隔δt内，各小正方形区域内产生的事件数目ci；

23)将不同时间间隔δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值，则有：

cmax＝max(ci)

其中，mi为归一化后的值，cmax为在不同时间间隔δt内，统计的各小正方形内事件数最大值；

24)将归一化后的值mi从小至大的排序，形成n*n*s维表征向量。

所述的步骤3)中，采用孪生神经网络训练事件训练点对具体包括以下步骤：

31)将匹配的训练点对的表征向量送入孪生神经网络，输出其各自的m维描述向量；

32)计算生成的m维描述向量间的欧几里得距离，并调整孪生神经网络的参数，缩小距离值；

33)将不匹配的两个事件点的表征向量送入调整参数后的孪生神经网络，输出各自的m维描述向量；

34)计算不匹配的两个事件点生成的m维描述向量间的欧几里得距离，调整神经网络参数，扩大其距离值；

35)进行立体匹配。

所述的步骤4)中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。

与现有技术相比，本发明具有以下优点：

一、本发明能够有效解决针对动态视觉传感器立体匹配的问题，其直接对生成的事件流进行数据处理，可以有效减少计算量，降低所需计算资源，提升匹配速度，易于在移动端进行实现。

二、本发明使用兴趣点周围事件分布信息对兴趣点进行表征，所用信息丰富，稳定性好。并应用大量数据对神经网络进行训练，以基于深度学习的方式进行立体匹配，可以使匹配方法具有较强的鲁棒性，提升匹配准确度。

附图说明

图1为本发明的立体匹配流程图。

图2为表征方法平面示意图。

图3为局部表征示意图。

图4为孪生神经网络示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提供了一种基于深度学习的双目动态视觉传感器立体匹配的方法，该方法能够对左右动态视觉传感器输出的事件流进行表征，并通过训练好的神经网络进行匹配，提高匹配准确率的同时提升匹配速度。该方法包括如下步骤：

(1)根据已有双目事件相机的数据集，以其提供的深度信息为基础，生成训练点对；

(2)构建适用于动态视觉传感器事件流事件的表征方法；

(3)用构建的表征方法对事件训练点对进行表征，并送入神经网络进行训练。

在步骤(1)中，事件训练点对的生成方式如下：

(2-1)在左侧动态视觉传感器视域范围内，随机选取一个事件作为兴趣点。

(2-2)以传感器左上角顶点为原点，以正右与正下方向分别为x，y正半轴，记录该兴趣点的位置信息(xl，yl)。根据双目相机投影原理，其右侧对应点的坐标(xr，yr)应满足：

其中，d为视差值，计算公式为：

其中z为该事件点对应的深度信息，b和f为该双目动态视觉传感器的基线距离与焦距，为已知量。

在步骤(2)中，事件的表征构建方法如下：

(3-1)以表征点为几何中心，建立边长为l并与传感器视角对齐的正方形，将此正方形划分为相等的n*n个正方形小区域，如图2所示。此实施例中，边长l取33个像素值，n取值为11，即存在121个小正方形，每个小正方形的边长为3个像素值。

(3-2)取连续s个时间间隔δt，使所选取的事件时间戳位于处，统计每个时间间隔δt内，各小正方形区域内产生的事件数目ci，示意图如图3所示。

(3-3)将不同时间间隔δt内，每个小正方形内的事件数进行归一化，作为该小正方形的值。归一化公式为：

cmax＝max(ci)

其中，mi为归一化后的值，cmax为在不同时间间隔δt内，统计的各小正方形内事件数最大值。

(3-4)将mi从小至大的排序，形成一个n*n*s维表征向量。

在步骤(3)中，对表征的训练方法如下：

(4-1)运用步骤(1)所述方法，在现有双目事件相机数据集上，取多个不同时间点，并在每一个时间点不同位置处生成多个事件点对，对每一个事件点分别进行表征，获得n*n*s维表征向量，送入到孪生神经网络中，输出m维描述向量。本实施例中，神经网络如图4所示。

(4-2)计算对应点对所生成的m维描述向量间的欧几里得距离，调整神经网络参数，使得其距离值缩小。

(4-3)同理，将不匹配的两个事件点的表征送入上述神经网络，输出各自的m维描述向量。

(4-4)计算不匹配点对两个向量间的欧几里得距离，调整神经网络参数，扩大其距离值，训练过程中，匹配与不匹配事件点对的表征送入孪生神经网络的数量相等。

(4-5)进行立体匹配。

针对左侧动态视觉传感器每一个新生成的事件，建立表征，并送入训练好的神经网络生成描述向量。同时，对右侧传感器中同一极线上的所有位置依次建立表征，送入神经网络生成描述向量，计算两侧表征所生成描述向量间的欧几里得距离并进行比较，取其距离最小者，将该右侧描述向量所对应的位置作为匹配点。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。