技术特征：
1.一种多源信息融合方法，其特征在于，包括：获取目标街景图像以及所述目标街景图像对应的鸟瞰图像；其中，所述鸟瞰图像基于所述目标街景图像对应的点云图像确定；将所述目标街景图像输入至第一特征提取模型，以确定所述目标街景图像对应的第一特征图；将所述鸟瞰图像输入至第二特征提取模型，以确定所述鸟瞰图像对应的第二初始特征图；根据所述第一特征图对所述第二初始特征图进行位置融合处理，以得到目标特征图；对所述目标特征图进行检测框预测处理，以确定所述目标街景图像中的像素点信息。2.根据权利要求1所述的多源信息融合方法，其特征在于，所述第一特征图包括多个第一特征子图，所述将所述目标街景图像输入至第一特征提取模型，以确定所述目标街景图像对应的第一特征图，包括：将所述目标街景图像输入至所述第一特征提取模型；其中，所述第一特征提取模型包括第一数量个第一卷积层；通过各所述第一卷积层对所述目标街景图像进行特征提取处理，以得到各所述第一卷积层分别对应的第一特征子图。3.根据权利要求1所述的多源信息融合方法，其特征在于，所述将所述鸟瞰图像输入至第二特征提取模型，以确定所述鸟瞰图像对应的第二初始特征图，包括：将所述鸟瞰图像输入至所述第二特征提取模型；其中，所述第二特征提取模型包含第一数量个第二卷积层；由所述第二特征提取模型中处于第一层的第二卷积层对所述鸟瞰图像进行特征提取处理，以得到所述第二初始特征图。4.根据权利要求3所述的多源信息融合方法，其特征在于，所述第二特征提取模型包括第二数量个反卷积层，所述根据所述第一特征图对所述第二初始特征图进行位置融合处理，以得到目标特征图，包括：对所述第一特征图与所述第二初始特征图进行位置融合处理，以得到初始融合特征图；由所述第二特征提取模型中的除处于第一层的第二卷积层之外的其他第二卷积层对所述初始融合特征图进行特征提取处理，以得到中间特征图；将所述第一特征图与所述中间特征图进行位置融合处理，以得到中间融合特征图；通过所述第二数量个反卷积层对所述中间融合特征图进行反卷积处理，以得到所述目标特征图。5.根据权利要求4所述的多源信息融合方法，其特征在于，所述对所述第一特征图与所述第二初始特征图进行位置融合处理，包括：从所述第二初始特征图中确定目标像素点，并从所述目标街景图像中确定与目标像素点对应的目标街景图像点；将所述目标街景图像点的像素值添加至所述目标像素点的像素值，以进行所述位置融合处理。6.根据权利要求5所述的多源信息融合方法，其特征在于，所述从所述目标街景图像中
确定与目标像素点对应的目标街景图像点，包括：确定所述目标像素点在世界坐标系中对应的目标方格；并从所述目标方格中确定所述目标街景图像对应的最高位置点；将所述最高位置点在相机坐标系中的投影作为所述目标街景图像点。7.根据权利要求1所述的多源信息融合方法，其特征在于，所述像素点信息包括位置信息和类别信息，所述对所述目标特征图进行检测框预测处理，以确定所述目标街景图像中的像素点信息，包括：将所述目标特征图输入至多层感知机，并通过所述多层感知机的全连接层对所述目标特征图进行处理；输出所述目标特征图对应的所述位置信息和所述类别信息。8.一种多源信息融合装置，其特征在于，包括：图像获取模块，获取目标街景图像以及所述目标街景图像对应的鸟瞰图像；其中，所述鸟瞰图像基于所述目标街景图像对应的点云图像确定；第一特征图确定模块，用于将所述目标街景图像输入至第一特征提取模型，以确定所述目标街景图像对应的第一特征图；第二特征图确定模块，用于将所述鸟瞰图像输入至第二特征提取模型，以确定所述鸟瞰图像对应的第二初始特征图；目标特征图确定模块，用于根据所述第一特征图对所述第二初始特征图进行位置融合处理，以得到目标特征图；信息确定模块，用于对所述目标特征图进行检测框预测处理，以确定所述目标街景图像中的像素点信息。9.一种电子设备，其特征在于，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至7中任一项所述的多源信息融合方法。10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的多源信息融合方法。
技术总结
本公开是关于一种多源信息融合方法及装置、电子设备以及计算机可读存储介质，涉及自动驾驶技术领域，可以应用于检测无人车周围物体的场景。该多源信息融合方法包括：获取目标街景图像以及目标街景图像对应的鸟瞰图像；其中，鸟瞰图像基于目标街景图像对应的点云图像确定；将目标街景图像输入至第一特征提取模型，以确定目标街景图像对应的第一特征图；将鸟瞰图像输入至第二特征提取模型，以确定鸟瞰图像对应的第二初始特征图；根据第一特征图对第二初始特征图进行位置融合处理，以得到目标特征图；对目标特征图进行检测框预测处理，以确定目标街景图像中的像素点信息。本公开可以对自动驾驶感知前融合方法进行改进。对自动驾驶感知前融合方法进行改进。对自动驾驶感知前融合方法进行改进。
技术研发人员：危磊
受保护的技术使用者：北京京东乾石科技有限公司
技术研发日：2020.03.10
技术公布日：2021/9/9