事件相机与标准相机的数据融合方法、装置、设备及介质与流程

1.本技术涉及机器人视觉技术领域，具体而言，涉及一种事件相机与标准相机的数据融合方法、装置、设备及介质。


背景技术：

2.常见的室外机器人有无人车、无人机和四足机器人等，这一室外移动机器人通常被用来承担巡检、目标追踪和搬运等任务。在完成上述任务的过程中，作为机器人的“眼睛”的视觉识别功能起着极为重要的作用。
3.室外机器人一般依赖各类视觉传感器获取图像并以分析后的图像数据充当环境识别结果，图像质量的好坏直接影响到机器人在室外实现自主导航、目标追踪、姿态识别和三维重建等功能的效果，所以如何解决或改善这些图像问题具有重要的意义和实用价值。
4.其中，事件相机通过感知场景光强的动态变化来获取信息，具有高时间分辨率、低延时特性（微秒级）、高动态范围（140db相比于标准相机60db）和低功耗等特点；事件相机应用在室外机器人时，常通过输出事件信息以与标准相机获取的图像数据进行融合获取高精度的融合数据，现有的事件相机和标准相机的数据融合方式普遍存在数据处理的计算量大、融合效率低、精度低等缺点。
5.针对上述问题，目前尚未有有效的技术解决方案。


技术实现要素：

6.本技术的目的在于提供一种事件相机与标准相机的数据融合方法、装置、设备及介质，以提高事件相机与标准相机的数据匹配精度、减少数据融合处理的计算量、并提高融合效率。
7.第一方面，本技术提供了一种事件相机与标准相机的数据融合方法，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，所述方法包括以下步骤：根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；根据最大化的所述条件概率融合所述点云块信息与所述事件信息。
8.所述的事件相机与标准相机的数据融合方法，其中，所述根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息的步骤包括：根据所述事件信息的分辨率在所述深度图像信息矩阵排列多个选框以将所述深
度图像信息分割为多个选区，将所述深度图像信息对应的所有点云划分在各个选区中以构成多个所述点云块信息。
9.本技术的方法能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
10.所述的事件相机与标准相机的数据融合方法，其中，所述根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：根据每个所述点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；根据所述事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息。
11.在该示例中，点云块信息和事件信息均以聚类中心和各个数据点的关系建立对应的概率密度函数，大大地降低了噪声的干扰，尤其是降低了无用事件点对事件信息的干扰，使得后续数据融合更准确；在别的实施方式中，点云块信息和事件信息还可以用其他滤波手段设定核心来获取概率密度函数。
12.所述的事件相机与标准相机的数据融合方法，其中，所述根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息的步骤包括：根据所述事件内部概率密度信息获取迁移概率信息，所述迁移概率信息为所述事件信息迁移至一所述点云块信息位置的概率；根据所述迁移概率信息及所述点云内部概率密度信息获取所述前向概率信息和所述后向概率信息。
13.该示例的方法将点云块信息的排列顺序定义为前后顺序，使得针对于一个点云块信息的位置而言，事件信息可以是从该点云块信息前面滑动而来，还可以是从该点云块信息后面滑动而来，故利用前向概率信息和后向概率信息便能评价事件信息的所有滑动方式，简化算法逻辑，从而降低数据融合的计算量。
14.所述的事件相机与标准相机的数据融合方法，其中，所述根据所述事件内部概率密度信息获取迁移概率信息的步骤包括：根据所述事件信息朝不重复方向进行转移的转移概率信息和所述事件内部概率密度信息获取所述迁移概率信息。
15.所述的事件相机与标准相机的数据融合方法，其中，所述前向概率信息的前向顺序为多个所述点云块信息在所述深度图像信息中从左上角到右下角的排列顺序。
16.所述的事件相机与标准相机的数据融合方法，其中，所述根据最大化的所述条件概率融合所述点云块信息与所述事件信息的步骤包括：获取所述条件概率最大化时的目标点云块信息及与之对应的目标事件信息；
融合所述目标点云块信息中的点云与所述目标事件信息中的事件点以获取融合点云。
17.第二方面，本技术还提供了一种事件相机与标准相机的数据融合装置，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，所述装置包括：分块模块，用于根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；中转概率计算模块，用于根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；相关性模块，用于根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；条件概率模块，用于根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；融合模块，用于根据最大化的所述条件概率融合所述点云块信息与所述事件信息。
18.本技术的装置能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
19.第三方面，本技术还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
20.第四方面，本技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
21.由上可知，本技术提供了一种事件相机与标准相机的数据融合方法、装置、设备及介质，其中，方法基于该相似程度建立的前向概率信息和后向概率信息表征了事件信息从两个方向上转移到特定点云块信息位置上的概率，基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点；其次，基于点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的过程实质为计算对应信息的内部各点的关系，实现了信息滤波处理，大大地降低了噪声对事件信息的干扰，使得后续利用条件概率获取点云块信息与事件信息匹配关系时精度更高，确保融合后的数据更准确。
附图说明
22.图1为本技术实施例提供的事件相机与标准相机的数据融合方法的流程图。
23.图2为本技术实施例提供的事件相机与标准相机的数据融合装置的结构示意图。
24.图3为本技术实施例提供的电子设备的结构示意图。
25.附图标记：201、分块模块；202、中转概率计算模块；203、相关性模块；204、条件概率模块；205、融合模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
26.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
28.第一方面，请参照图1，图1是本技术一些实施例中的一种事件相机与标准相机的数据融合方法，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，方法包括以下步骤：s1、根据事件信息的分辨率将深度图像信息划分为多个点云块信息；具体地，本技术实施例的方法主要应用在室外移动机器人的视觉处理中，室外移动机器人依赖多种视觉传感器获取数据来获取外界环境信息，在本技术实施例中，视觉传感器至少包括事件相机和标准相机。
29.更具体地，本技术实施例中的事件相机获取的事件信息的分辨率小于标准相机获取的深度图像信息的分辨率，因此，步骤s1可以根据事件信息的分辨率（图像大小）将深度图像信息划分为多个区域图像，每个图像中的所有点云构成该对应位置的点云块信息。
30.更具体地，事件相机的采样频率远远高于标准相机的采样频率，即在标准相机获取两个图像帧的深度图像信息之间，事件相机采集了对应于多个时刻的多个图像帧的事件信息；室外机器人常常在移动过程中获取事件信息和深度图像信息，移动过程中产生的两个图像帧的深度图像信息之间产生了多个图像帧的事件信息，这就需要确定这些事件信息与某一图像帧的深度图像信息的位置关系才能指导两种数据进行融合，本技术实施例中将深度图像信息划分为多个点云块信息为后续数据融合建立位置配对基础，使事件信息能与其中一个点云块信息进行融合。
31.更具体地，在本技术实施例中，室外机器人具有多个事件相机以同时获取多个朝向位置的事件信息，来与分辨率较大的深度图像信息进行融合；本技术实施例的方法旨在解析一个事件相机与标准相机的数据融合过程。
32.更具体地，事件相机可以为现有的各类事件相机，在本技术实施例中，优选为dvs事件相机，该dvs事件相机只用于输出事件信息，且为异步输出。
33.更具体地，本技术实施例的方法旨在融合事件相机和标准相机采集的数据，使得最终输出的结果具备更多特征信息来分析或评价外界环境信息，因此，本技术实施例的标准相机优选为能获取深度图像信息，使得其采集的图像具备深度特征；标准相机可以为各
类能获取深度特性的图像采集相机，在本技术实施例中，优选为rgb-d相机，使得获取的图像中的每个像素点具备深度信息以能作为点云使用，从而确保深度图像信息能被划分为多个点云块信息。
34.s2、根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息，前向概率信息和后向概率信息分别为事件信息迁移至一点云块信息位置的前向概率和后向概率；具体地，前向概率信息表征了事件信息由位于该点云块信息的前面的点云块信息的位置转移至该点云块信息位置的概率，后向概率信息表征了事件信息由位于该点云块信息的后面的点云块信息的位置转移至该点云块信息位置的概率，结合前向概率信息和后向概率信息能综合反映事件信息转移至该点云块信息的可能性。
35.更具体地，该概率密度一般用于描述变量的输出值，在申请实施例中，点云块信息和事件信息的概率密度分别用于反映对应的点云块信息内部各点云的关系和反映对应的事件信息的内部各事件点的关系，基于该概率密度可以初步判断点云块信息和事件信息的相关性，故能基于两者的概率密度分析出事件信息移动至对应的点云块信息的前向概率信息和后向概率信息，即获取了假定存在于各个位置的事件信息转移至某一点云块信息位置的概率，其中，位于该点云块信息位置前面进行转移的事件信息对应的概率为前向概率信息，位于该点云块信息位置后面进行转移的事件信息对应的概率为后向概率信息。
36.s3、根据前向概率信息和后向概率信息获取点云块信息与事件信息的相关性信息；具体地，该相关性信息为利用前向概率信息和后向概率信息进行建立，而前向概率信息和后向概率信息则为利用点云块信息和事件信息的概率密度建立，使得该相关性信息能用于描述在给定事件信息的前提下点云块信息与该事件信息位置相同的概率，能作为后续步骤中全概率公式的似然函数进行使用。
37.s4、根据相关性信息和全概率公式获取事件信息与点云块信息的条件概率；具体地，全概率公式为基于贝叶斯公式转换而成的概率公式，为通过似然函数及先验概率来计算后验概率的概率计算手段，后验概率为在考虑了一个事实之后的条件概率，即在全概率公式中固定先验概率后，可将条件概率视为后验概率；在本技术实施例中，固定先验概率相当于固定一个点云块信息，即在指定一个点云块信息后，条件概率能反映不同位置的事件信息转移至该点云块信息位置的概率，从而反映出该点云块信息与事件信息的配对关系，故该条件概率可视为用于表征点云块信息与事件信息之间相关性的对应率。
38.更具体地，条件概率的值越大表明对应的事件信息和点云块信息对应率越高、相关性越强。
39.s5、根据最大化的条件概率融合点云块信息与事件信息。
40.具体地，该步骤为通过代入不同的点云块信息和不同时刻的事件信息求取不同大小的条件概率，其中，最大化的条件概率表明了最匹配的点云块信息和事件信息，可视为该点云块信息与事件信息对应，即视为点云块信息与事件信息成功配对，故执行步骤s5能将完成配对的事件相机与标准相机的数据进行融合。
41.更具体地，针对某一选定的点云块信息而言，该条件概率转化为后验概率，条件概
率的最大值为考虑不同事件信息与点云块信息配对情况中配对最合适的最大概率，在本技术实施例中，可以通过代入不同点云块信息计算对应不同的点云块信息与不同时刻事件信息对应的后验概率，然后将所有计算获取的后验概率中的最大的后验概率视为该条件概率的最大值，该最大化的条件概率表征了对应时刻的事件信息与点云块信息匹配度、相关性最高，在本技术实施例中，将该时刻的事件信息视为与该点云块信息匹配成功，并将两种信息进行点云融合，使得融合后的点云具备更多特征信息。
42.更具体地，事件信息中的事件点的格式表现为，其中，为事件点的二维像素坐标，为时间戳，为极性，i为事件点编号；点云块信息中的点云的格式表现为，即为三维像素坐标，i为点云编号。
43.更具体地，点云块信息与事件信息的融合过程为利用最大化的条件概率确定需要融合的点云块信息和事件信息，进而根据点云块信息中的点云与事件信息中的事件点的坐标关系，将事件点的极性和时间戳特征添加到点云中以形成融合点云，使融合后生成的融合点云具有时间戳和极性特征，即将与一致的对应的和添加到点云中。
44.更具体地，由于每两个图像帧的深度图像信息之间产生了多个图像帧的事件信息，本技术实施例的方法旨在将两个图像帧的深度图像信息之间的至少一个图像帧的事件信息的时间戳和极性特征融合到在前和/或在后的图像帧的深度图像信息中，在本技术实施例中，优选为融合到在前的图像帧的深度图像信息中。
45.本技术实施例的方法，基于点云块信息和事件信息的概率密度能获知点云块信息和事件信息的相似程度，基于该相似程度建立的前向概率信息和后向概率信息表征了事件信息从两个方向上转移到特定点云块信息位置上的概率，基于前向概率信息和后向概率信息获取的相关性信息建立的条件概率能直接反映事件信息与点云块信息配对程度，本技术实施例的方法能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点；其次，基于点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的过程实质为计算对应信息的内部各点的关系，实现了信息滤波处理，大大地降低了噪声对事件信息的干扰，使得后续利用条件概率获取点云块信息与事件信息匹配关系时精度更高，确保融合后的数据更准确；此外，两种相机融合的数据具备三维坐标、极性、时间戳特征，使得应用该方法进行数据融合的室外机器人对高频、高动态信息具有极强的处理能力。
46.在一些优选的实施方式中，根据事件信息的分辨率将深度图像信息划分为多个点云块信息的步骤包括：s11、根据事件信息的分辨率在深度图像信息矩阵排列多个选框以将深度图像信息分割为多个选区，将深度图像信息对应的所有点云划分在各个选区中以构成多个点云块信息。
47.具体地，步骤s5的融合过程为将事件信息的事件点与对应点云块信息内的点云进行融合，故需要确保两者的图像大小一致、元素数量相当，因此，步骤s11为基于事件信息的
图像大小（分辨率）将深度图像信息划分为多个图像大小与事件信息的图像大小一致的区域图像，每个图像中的所有点云构成该对应位置的点云块信息。
48.更具体地，选框的大小为事件信息的图像边框大小，矩阵排列的多个选框可有效覆盖整个深度图像信息并将之划分出多个大小一致的点云块信息。
49.更具体地，由于点云块信息的图像大小与事件信息的图像大小一致，因此，可以将事件信息视为一个滑块，步骤s2则为计算该滑块滑动到某一点云块信息对应位置的前向概率和后向概率，步骤s3-s5则为判断该滑块最有可能存在的位置来确定将该滑块的事件点与对应位置的点云进行融合。
50.在对深度图像信息进行划分的过程中，深度图像信息的图像大小不一定是事件信息的图像大小的整倍数，从而引起部分划分用的选框凸出于深度图像信息的边缘，因此，在一些优选的实施方式中，步骤s11包括：s111、根据事件信息的分辨率在深度图像信息矩阵排列多个选框以将深度图像信息分割为多个选区，对选框中超出图像深度信息的部分进行补零处理，将深度图像信息对应的所有点云和补零数据划分在对应的选区中以构成多个点云块信息。
51.具体地，选框能以任意位置为基准进行矩阵排列，在本技术实施例中，优选为从深度图像信息的左上角到右下角进行排列（即以深度图像信息左上角的角点为基准），因此，超出深度图像信息的边缘的选框在深度图像信息中的右侧和/或下侧，补零处理为对这些选框中超出深度图像信息的边缘的区域填入补零数据。
52.更具体地，概率密度、前向概率信息和后向概率信息均需以整个点云块信息内所有点云和事件信息内所有事件点作为计算数据，超出深度图像信息的边缘的选框对应的点云块信息缺少了相当数量的计算数据，会影响上述数据的计算精度，因此，需要对这些选框进行补零处理以使对应的点云块信息具有与其他的点云块信息一致数量的点云数据，确保后续计算过程顺利进行。
53.更具体地，补零数据为零数据，为最终融合后的点云中可以去除的数据，因此，不会影响点云的融合结果。
54.在一些优选的实施方式中，根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：s21、根据每个点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；具体地，点云聚类中心为该点云块信息中所有点云的聚类中心，可通过现有的各种用于数据点的聚类手段进行获取；该步骤以点云聚类中心作为核心计算不同点云与核心的关系来获取点云内部概率密度信息，即对该点云块信息中所有点云进行滤波处理而获得能表征该点云块信息概率密度的点云内部概率密度信息。
55.更具体地，在本技术实施例中，点云内部概率密度信息为一个概率密度函数，能作为构建充当似然函数的相关性信息的函数基础。
56.s22、根据事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；具体地，事件聚类中心为该事件信息中所有事件点的聚类中心，可通过现有的各种用于数据点的聚类手段进行获取；该步骤以事件聚类中心作为核心计算不同事件点与核
心的关系来获取事件内部概率密度信息，即对该事件信息中所有事件点进行滤波处理而获得能表征该事件信息概率密度的事件内部概率密度信息。
57.更具体地，在本技术实施例中，事件内部概率密度信息为一个概率密度函数，能作为构建充当似然函数的相关性信息的函数基础。
58.s23、根据点云内部概率密度信息和事件内部概率密度信息的概率密度获取前向概率信息和后向概率信息。
59.具体地，步骤s21和步骤s22可独立进行或同步进行，两个步骤之间不会产生相互影响，步骤s23为在步骤s21和步骤s22完成后执行。
60.更具体地，前向概率信息和后向概率信息均为概率函数，分别用于表征两个方向上被视为滑块的事件信息滑动到对应点云块信息位置的变化概率。
61.更具体地，在本技术实施例中，点云块信息和事件信息均以聚类中心和各个数据点的关系建立对应的概率密度函数，大大地降低了噪声的干扰，尤其是降低了无用事件点对事件信息的干扰，使得后续数据融合更准确；在别的实施方式中，点云块信息和事件信息还可以用其他滤波手段设定核心来获取概率密度函数。
62.在一些优选的实施方式中，根据点云内部概率密度信息和事件内部概率密度信息的概率密度获取前向概率信息和后向概率信息的步骤包括：s231、根据事件内部概率密度信息获取迁移概率信息，迁移概率信息为事件信息迁移至一点云块信息位置的概率；具体地，由前述内容可知，事件信息相当于一个在深度图像信息上进行滑动的滑块，因此，在获取前向概率信息和后向概率信息的过程中，需要考虑事件信息可进行的滑动行为及对应滑动行为的出现概率，该出现概率即为迁移概率信息。
63.更具体地，以一点云块信息为滑动终点，事件信息可以是从不同位置滑动抵达的，因此，不同起始位置的事件信息具有不同的迁移概率。
64.s232、根据迁移概率信息及点云内部概率密度信息获取前向概率信息和后向概率信息。
65.具体地，本技术实施例的方法将点云块信息的排列顺序定义为前后顺序，使得针对于一个点云块信息的位置而言，事件信息可以是从该点云块信息前面滑动而来，还可以是从该点云块信息后面滑动而来，故利用前向概率信息和后向概率信息便能评价事件信息的所有滑动方式，简化算法逻辑，从而降低数据融合的计算量。
66.更具体地，步骤s232结合点云内部概率密度信息和步骤s231获取的迁移概率信息，能构建出关于不同点云块信息对应的前向概率信息和后向概率信息，即构建出不同事件信息滑动至不同点云块信息的概率函数。
67.在一些优选的实施方式中，根据事件内部概率密度信息获取迁移概率信息的步骤包括：s2311、根据事件信息朝不重复方向进行转移的转移概率信息和事件内部概率密度信息获取迁移概率信息。
68.具体地，事件信息可执行的滑动行为是有限的，为区分事件信息的不同滑动行为，步骤s2311为根据事件信息朝不重复方向进行转移的转移概率信息和事件内部概率密度信息获取迁移概率信息，从而确保本技术实施例的方法能充分且不重复地考虑事件信息的滑
动情况。
69.更具体地，转移概率信息为事件信息执行某一滑动方向滑动行为的出现概率。
70.更具体地，对于深度图像信息而言，划分出不同数量的点云块信息，事件信息的可执行的滑动行为数量不同，因此转移概率信息需要根据具体深度图像信息的具体划分手段及点云块信息的具体数量来进行设定，故本技术实施例的方法不对转移概率信息进行具体数值的限定。
71.更具体地，在本技术实施例中，转移概率信息定义为，则迁移概率信息的表达式为：
ꢀꢀꢀ
（1）其中，为迁移概率信息，为事件内部概率密度信息，为t时刻的事件信息，满足：
ꢀꢀꢀꢀꢀ
（2）即式（2）表示了t时刻的事件信息包含了n个事件点，即式（2）中右侧每一行数据相当于前述中的一个事件点。
72.在t给定后，事件内部概率密度信息满足：
ꢀꢀ
（3）其中，md、nd分别为事件信息的图像长度和图像宽度，h2为第二带宽系数，第二带宽系数为根据运行需求进行设定，在本技术实施例中，优选设定为10；，表示的任一元素，即为t时刻事件信息中的任一个事件点，表示事件聚类中心，l和q分别为事件点在图像长度中的位置值和图像宽度中的位置值。
73.同理，对于点云内部概率密度信息，满足：
ꢀꢀ
（4）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，为第i个点云块信息，即式（5）表示了该点云块信息其包含了m个点云，h1为第一带宽系数，第一带宽系数为根据运行需求进行设定，在本技术实施例中，也优选设定为10；表示中的任一元素，即为该点云块信息中的任一点云，定义为，该处l和q分别为点云在图像长度中的位置值和图像宽度中的位置值，由于点云块信息根据事件信息分辨率进行划分，故可采用同样的l和q作为位置值标记。
74.本技术实施例中，将前向概率信息定义为，满足：
ꢀꢀꢀ
（6）其中，i为第i个点云块信息的标号，j为第j个点云块信息的标号，满足j=1，
…
，n，且j≤i，在式（6）中表征了事件信息迁移前所在的点云块信息的位置，同时，该前向概率信息的初值定义为，即确定前向迁移至第一个点云块信息的概率为第一个点云块信息的点云内部概率密度信息，即式（6）表达了事件信息从所有在前点云块信息的位置迁移至第i个点云块信息（前向迁移）的叠加概率。
75.本技术实施例中，将后向概率信息定义为，满足：
ꢀꢀꢀ
（7）其中，i为第i个点云块信息的标号，j为第j个点云块信息的标号，满足j=1，
…
，n，且j≤i，同时，该后向概率信息的初始定义为，表示t+1时刻事件信息迁移至第j个点云块信息的概率，即式（7）表达了时间信息后向迁移的叠加概率。
76.在一些优选的实施方式中，前向概率信息的前向顺序为多个点云块信息在深度图像信息中从左上角到右下角的排列顺序；反之，后向概率信息的后向顺序为多个点云块信息在深度图像信息中从右下角到左下角的排列顺序。
77.具体地，根据上述顺序进行划分后，对于一个点云块信息而言，位于该点云块信息同一行左侧的点云块信息属于前向点云块信息，位于该点云块信息所在行之上的点云块信息也属于前向点云块信息，反之，位于该点云块信息同一行右侧的点云块信息属于后向点云块信息，位于该点云块信息所在行之下的点云块信息也属于后向点云块信息；基于上述划分逻辑，可将事件信息迁移简化为两个方向的迁移问题，有效降低数据融合的计算量。
78.在一些优选的实施方式中，根据最大化的条件概率融合点云块信息与事件信息的步骤包括：s51、获取条件概率最大化时的目标点云块信息及与之对应的目标事件信息；s52、融合目标点云块信息中的点云与目标事件信息中的事件点以获取融合点云。
79.具体地，由于本技术实施例旨在针对一个事件信息获取对应的点云块信息进行数
据融合，因此目标事件信息为已知的事件信息，故步骤s51为获取该目标事件信息匹配的目标点云块信息。
80.在一些优选的实施方式中，步骤s4的相关性信息定义为，满足：
ꢀꢀꢀ
（8）步骤s4的全概率公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）其中，为条件概率，相关性信息在全概率公式中作为似然函数使用，为证据因子，满足：
ꢀꢀꢀ
（10）其中，为先验概率，本技术实施例过程为拟定一个点云块信息进行条件概率计算，即将视为1，再使条件概率作为后验概率进行计算，因此，公式（9）可简化为：
ꢀꢀꢀ
（11）因此，对于所有点云块信息而言，满足：
ꢀꢀꢀ
（12）其中，为的集合。
81.步骤s51最大化条件概率的过程为将事件信息和不同点云块信息置入下式中：
ꢀꢀꢀ
（13）其中，为目标点云块信息，即对于t时刻的事件信息而言，与之最为匹配，故可将两者数据进行融合。
82.更具体地，在本技术实施例中，融合点云表现为，其中，x、y、z为融合点云的三维坐标，对应于中点云的三维坐标，k为融合点云的极性，t为融合点云的时间戳，分别对应于t时刻事件信息中事件点的极性和时间戳。
83.第二方面，请参照图2，图2是本技术一些实施例中提供的一种事件相机与标准相机的数据融合装置，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，装置包括：分块模块201，用于根据事件信息的分辨率将深度图像信息划分为多个点云块信息；中转概率计算模块202，用于根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息，前向概率信息和后向概率信息分别为事件信息迁移至一点云块信息位置的前向概率和后向概率；
相关性模块203，用于根据前向概率信息和后向概率信息获取点云块信息与事件信息的相关性信息；条件概率模块204，用于根据相关性信息和全概率公式获取事件信息与点云块信息的条件概率；融合模块205，用于根据最大化的条件概率融合点云块信息与事件信息。
84.本技术实施例的装置能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
85.在一些优选的实施方式中，本技术实施例的事件相机与标准相机的数据融合装置用于执行上述第一方面提供的事件相机与标准相机的数据融合方法。
86.第三方面，请参照图3，图3为本技术实施例提供的一种电子设备的结构示意图，本技术提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
87.第四方面，本技术实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read-only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red-only memory, 简称prom），只读存储器（read-only memory, 简称rom），磁存储器，快闪存储器，磁盘或光盘。
88.综上，本技术实施例提供了一种事件相机与标准相机的数据融合方法、装置、设备及介质，其中，方法基于点云块信息和事件信息的概率密度能获知点云块信息和事件信息的相似程度，基于该相似程度建立的前向概率信息和后向概率信息表征了事件信息从两个方向上转移到特定点云块信息位置上的概率，基于前向概率信息和后向概率信息获取的相关性信息建立的条件概率能直接反映事件信息与点云块信息配对程度，本技术实施例的方法能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点；其次，基于点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息的过程实质为计算对应信息的内部各点的关系，实现了信息滤波处理，大大地降低了噪声对事件信息的干扰，使得后续利用条件概率获取点云块信息与事件信息匹配关系时精度更高，确保融合后的数据更准确。
89.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方
式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
90.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
91.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
92.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
93.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。