三维目标检测方法、装置及电子设备与流程
本公开涉及目标检测技术领域，尤其涉及一种三维目标检测方法、装置及电子设备。
背景技术：
对于自动驾驶系统而言，三维目标检测是一个非常重要的环节，目前，在进行三维目标检测时，一般仅是利用摄像头采集的图像进行检测，一旦摄像头采集的图像质量差，会导致检测结果的可靠性非常差。
技术实现要素：
为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种三维目标检测方法、装置及电子设备。
根据本公开实施例的一个方面，提供了一种三维目标检测方法，包括：
获取激光雷达采集的原始点云，以及获取摄像头采集的原始图像；
确定所述原始点云对应的第一质量评估指标，以及确定所述原始图像对应的第二质量评估指标；
根据所述第一质量评估指标和所述第二质量评估指标，确定所述原始点云和所述原始图像中，质量评估通过的第一目标数据；
根据所述第一目标数据，以相应的目标检测策略，获得三维目标检测结果。
根据本公开实施例的另一个方面，提供了一种三维目标检测装置，包括：
第一获取模块，用于获取激光雷达采集的原始点云，以及获取摄像头采集的原始图像；
第一确定模块，用于确定所述原始点云对应的第一质量评估指标，以及确定所述原始图像对应的第二质量评估指标；
第二确定模块，用于根据所述第一质量评估指标和所述第二质量评估指标，确定所述原始点云和所述原始图像中，质量评估通过的第一目标数据；
第二获取模块，用于根据所述第一目标数据，以相应的目标检测策略，获得三维目标检测结果。
根据本公开实施例的再一个方面，提供了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述三维目标检测方法。
根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述三维目标检测方法。
本公开的实施例中，在针对激光雷达采集的原始点云，确定出第一质量评估指标，以及针对摄像头采集的原始图像，确定出第二质量评估指标之后，可以根据第一质量评估指标和第二质量评估指标，确定原始点云和原始图像中，质量评估通过的第一目标数据；之后，可以根据第一目标数据，以相应的目标检测策略，获得三维目标检测结果。可见，本公开的实施例中使用的是多传感器系统，多传感器系统中可以同时包括激光雷达和摄像头，且进行三维目标检测时，依据的是激光雷达采集的原始点云和摄像头采集的原始图像中，质量评估通过的第一目标数据，也即，只要激光雷达和摄像头中的至少一者采集的数据是可靠的，就能够得到可靠的三维目标检测结果，因此，与现有技术中直接依据摄像头采集的图像进行三维目标检测的情况相比，本公开的实施例能够有效保证检测结果的可靠性。下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开一示例性实施例提供的三维目标检测方法的流程示意图；
图2为本公开一示例性实施例中的三维目标检测系统的结构框图；
图3为本公开一示例性实施例中的三维目标检测原理图；
图4为本公开一示例性实施例提供的三维目标检测装置的结构框图；
图5为本公开另一示例性实施例提供的三维目标检测装置的结构框图；
图6为本公开再一示例性实施例提供的三维目标检测装置的结构框图；
图7为本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，不代表任何特定技术含义和必然逻辑顺序；“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本公开中字符“/”表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
此外，本公开还可应用但不限于安防监控、机器人导航和智能交通管理系统等其他技术领域。
示例性方法
图1是本公开一示例性实施例提供的三维目标检测方法的流程示意图。图1所示的方法可以包括步骤101、步骤102、步骤103和步骤104，下面对各步骤分别进行说明。
步骤101，获取激光雷达采集的原始点云，以及获取摄像头采集的原始图像。
这里，激光雷达采集的原始点云和摄像头采集的原始图像可以是时间同步的。如果激光雷达连续地采集原始点云，以得到由若干原始点云组成的点云序列，且摄像头连续地采集原始图像，以得到由若干原始图像组成的图像序列，点云序列与图像序列的帧率可以是相同的。
这里，摄像头的数量可以为一个；或者，摄像头的数量可以为至少两个。具体地，由图2所示的三维目标检测系统可知，摄像头的数量可以为两个，两个摄像头分别为摄像头1和摄像头2，摄像头1和摄像头2可以组成双目摄像头，这种情况下，步骤101中涉及的原始图像可以同时包括摄像头1采集的原始图像和摄像头2采集的原始图像。
步骤102，确定原始点云对应的第一质量评估指标，以及确定原始图像对应的第二质量评估指标。
这里，第一质量评估指标可以用于评估原始点云的质量优劣，第一质量评估指标的类型多样，为了布局清楚，后续进行举例介绍。
这里，第二质量评估指标可以用于评估原始图像的质量优劣，第二质量评估指标可以为传统图像处理和视频帧采集的测度，例如峰值信噪比(peaksignal-to-noiseratio，psnr)、结构相似性(structuralsimilarity，ssim)等。
步骤103，根据第一质量评估指标和第二质量评估指标，确定原始点云和原始图像中，质量评估通过的第一目标数据。
由于第一质量评估指标用于评估原始点云的质量优劣，第二质量评估指标用于评估原始图像的质量优劣，依据第一质量评估指标和第二质量评估指标，可以分别确定原始点云和原始图像的质量评估是否通过，以根据确定结果，得到相应的第一目标数据。下面结合图2，对第一目标数据的数据组成的几种可能的情况进行举例介绍。
第一种情况，激光雷达采集的原始点云的质量评估通过，摄像头1采集的原始图像和摄像头2采集的原始图像的质量评估均通过，这时，第一目标数据中可以同时包括原始点云、摄像头1采集的原始图像，以及摄像头2采集的原始图像。
第二种情况，激光雷达采集的原始点云的质量评估通过，摄像头1采集的原始图像和摄像头2采集的原始图像的质量评估均不通过，这时，第一目标数据中可以仅包括原始点云。
第三种情况，激光雷达采集的原始点云的质量评估不通过，摄像头1采集的原始图像和摄像头2采集的原始图像中的至少一者的质量评估通过，这时，第一目标数据中可以仅包括摄像头1采集的原始图像和摄像头2采集的原始图像中，质量评估通过的原始图像。
第四种情况，激光雷达采集的原始点云的质量评估通过，摄像头1采集的原始图像和摄像头2采集的原始图像中的一者的质量评估通过，这时，第一目标数据中可以仅包括摄像头1采集的原始图像和摄像头2采集的原始图像中，质量评估通过的原始图像，以及原始点云。
步骤104，根据第一目标数据，以相应的目标检测策略，获得三维目标检测结果。
需要说明的是，三维也可以称为3d，二维也可以称为2d。
这里，在第一目标数据中仅包括原始点云的情况下，可以根据第一目标数据，以基于点云的目标检测策略，获得三维目标检测结果；在第一目标数据中仅包括摄像头1采集的原始图像和摄像头2采集的原始图像中的至少一者的情况下，可以根据第一目标数据，以基于图像的目标检测策略，获得三维目标检测结果；在第一目标数据中同时包括摄像头1采集的原始图像和摄像头2采集的原始图像中的至少一者，以及原始点云的情况下，可以根据第一目标数据，以基于点云和图像融合的目标检测策略，获得三维目标检测结果。
具体地，三维目标检测结果可以包括目标的类型，目标的3d边框中心位置，目标的大小(例如长、宽、高)等。
本公开的实施例中，在针对激光雷达采集的原始点云，确定出第一质量评估指标，以及针对摄像头采集的原始图像，确定出第二质量评估指标之后，可以根据第一质量评估指标和第二质量评估指标，确定原始点云和原始图像中，质量评估通过的第一目标数据；之后，可以根据第一目标数据，以相应的目标检测策略，以获得三维目标检测结果。可见，本公开的实施例中使用的是多传感器系统，多传感器系统中可以同时包括激光雷达和摄像头，且进行三维目标检测时，依据的是激光雷达采集的原始点云和摄像头采集的原始图像中，质量评估通过的第一目标数据，也即，只要激光雷达和摄像头中的至少一者采集的数据是可靠的，就能够得到可靠的三维目标检测结果，因此，与现有技术中直接依据摄像头采集的图像进行三维目标检测的情况相比，本公开的实施例能够有效保证检测结果的可靠性。
在一个可选示例中，根据第一目标数据，以相应的目标检测策略，获得三维目标检测结果，包括：
在第一目标数据中包括原始图像的情况下，根据原始图像，获得二维实例分割结果；
根据二维实例分割结果，获得三维目标检测结果。
这里，可以先根据原始图像，获得二维实例分割结果，下面对获得二维实例分割结果的具体实施方式进行举例介绍。
在一种具体实施方式中，摄像头的数量为一个，根据原始图像，获得二维实例分割结果，包括：
对第一目标数据中的原始图像进行实例分割，得到二维实例分割结果。
这里，三维目标检测系统可以包括二维目标检测模块和二维分割模块，二维目标检测模块和二维分割模块的结合可以认为是实例分割模块。一般而言，实例分割模块采用的实例分割模型(instancesegmentation)可以为mask-rcnn(其是一个实例分割算法)、顺序分组网络(sequentialgroupingnetworks，sgn)等。
假设第一目标数据中仅包括图2中的摄像头1采集的原始图像，如图2所示，可以利用二维目标检测模块对摄像头1采集的原始图像进行2d检测，还可以利用二维分割模块对摄像头1采集的原始图像进行2d分割，通过2d检测得到的检测结果和通过2d分割得到的分割结果可以用于构成二维实例分割结果；其中，通过2d检测得到的检测结果可以包括目标的类型，目标的2d边框位置，目标的大小(例如长和宽)等。
这种实施方式中，利用第一目标数据中的原始图像，能够非常便捷地获得二维实例分割结果。
在另一种具体实施方式中，摄像头的数量为两个，根据原始图像，获得二维实例分割结果，包括：
在第一目标数据中包括两个摄像头分别采集的原始图像的情况下，从第一目标数据中，选择两个摄像头中的一者采集的原始图像；
对所选择的原始图像进行实例分割，以获得二维实例分割结果。
假设第一目标数据中包括图2中的摄像头1采集的原始图像以及摄像头2采集的原始图像，可以从第一目标数据中，选择摄像头1和摄像头2中的一者采集的原始图像。
具体地，可以根据摄像头1采集的原始图像对应的第二质量评估指标，以及摄像头2采集的原始图像对应的第二质量评估指标，从摄像头1采集的原始图像和摄像头2采集的原始图像中，选择图像质量最优的原始图像。或者，可以从摄像头1采集的原始图像和摄像头2采集的原始图像中，任意选择一个摄像头采集的原始图像。
之后，与上一具体实施方式类似，可以利用二维目标检测模块和二维分割模块，分别对所选择的原始图像进行2d分割和2d检测，以便于得到二维实例分割结果。
这种实施方式中，利用第一目标数据中的原始图像，也能够非常便捷地获得二维实例分割结果。
无论二维实例分割结果是采用上述何种实施方式获得的，在得到二维实例分割结果之后，均可以根据二维实例分割结果，获得三维目标检测结果。可见，本公开的实施例中，在第一目标数据中包括原始图像的情况下，可以将原始图像中的信息用于三维目标检测过程，以保证检测结果的可靠性。
在一个可选示例中，根据二维实例分割结果，获得三维目标检测结果，包括：
确定第一目标数据中是否包括原始点云，以获得确定结果；
根据确定结果，获得目标点云；
根据二维实例分割结果和目标点云，获得三维目标检测结果。
这里，可以遍历第一目标数据中的数据，以获得用于表征第一目标数据中是否包括原始点云的确定结果。接下来，可以根据确定结果，获得目标点云。
在一种具体实施方式中，根据确定结果，获得目标点云，包括：
在确定结果表征第一目标数据中包括原始点云的情况下，将原始点云作为目标点云；
在确定结果表征第一目标数据中不包括原始点云的情况下，根据原始图像和摄像头的标定参数，生成伪点云，并将伪点云作为目标点云。
这里，摄像头的标定参数可以包括内参数和外参数；其中，内参数可以包括摄像头焦距、偏心距和畸变系数；外参数可以包括摄像头相对于世界坐标系的姿态，例如包括摄像头相对于世界坐标系的旋转矩阵和平移矩阵。
这里，三维目标检测系统中除了包括二维目标检测模块和二维分割模块之外，还可以包括深度估计模块。
在确定结果表征第一目标数据中包括原始点云的情况下，可以直接将第一目标数据中的原始点云作为目标点云。
在确定结果表征第一目标数据中不包括原始点云的情况下，如图2所示，可以利用深度估计模块和第一目标数据中的原始图像，进行深度估计，以得到相应的深度图。具体地，在第一目标数据中包括摄像头1采集的原始图像和摄像头2采集的原始图像的情况下，深度估计模块采用的深度估计模型可以为双目立体视觉深度估计模型，例如为金字塔立体匹配网络(pyramidstereomatchingnetwork，psmnet)、组相关立体网络(group-wisecorrelationstereonetwork，gwcnet)等；在第一目标数据中仅包括摄像头1采集的原始图像和摄像头2采集的原始图像中的一者的情况下，深度估计模块采用的深度估计模型可以为单目深度估计模型，例如为geonet(其为一种用于视频中单目深度、光流和相机运动估计的无监督学习框架)、基于结构感知的残差金字塔网络(structure-awareresidualpyramidnetwork，sarpn)等。
在得到深度图后，可以根据摄像头的标定参数对其做逆透视变换，以得到伪点云，之后将伪点云作为目标点云即可。需要指出的是，做逆透视变换依据的标定参数可以是上述用于进行实例分割的原始图像所对应的摄像头的标定参数。
这种实施方式中，无论第一目标数据中是否包括原始点云，均能够非常便捷地确定出目标点云。在得到目标点云之后，可以根据二维实例分割结果和目标点云，获得三维目标检测结果。
本公开的实施例中，能够结合对摄像头采集的原始图像的二维实例分割结果，以及目标点云，获得三维目标检测结果，这样能够较好地保证三维目标检测结果的可靠性。
在一个可选示例中，根据二维实例分割结果和目标点云，获得三维目标检测结果，包括：
根据目标点云，生成第一目标视图；其中，第一目标视图包括第一鸟瞰视图和第一前视图中的至少一者；
根据第一目标视图，进行特征提取，以获得第一提取结果；
根据二维实例分割结果，进行特征提取，以获得第二提取结果；
将第一提取结果和第二提取结果输入三维区域提议网络，以获得三维区域提议网络输出的提议结果；
将所获得的提议结果输入三维目标检测器，以获得三维目标检测器输出的三维目标检测结果。
这里，三维目标检测系统中还可以包括三维区域提议网络(regionproposalnetwork，rpn)和三维目标检测器，三维区域提议网络可以简称为3drpn。
本公开的实施例中，在得到目标点云之后，可以将目标点云投影到垂直方向，以得到第一鸟瞰视图，也可以将目标点云投影到前向摄像头方向，以得到第一前视图，通过这种方式，能够获得包括第一鸟瞰视图和第一前视图中的至少一者的第一目标视图。
假设第一目标视图中同时包括第一鸟瞰视图和第一前视图，如图3所示，可以利用两个特征提取编码器，分别对第一目标视图中的两个视图进行特征提取，以得到两个第一提取结果。另外，如图3所示，还可以利用一个特征提取编码器，对二维实例分割结果进行特征提取，以得到第二提取结果。可选地，各特征提取编码器均可以利用残差网络或者致密网络提取特征。具体地，残差网络也可以称为resnet，致密网络也可以称为densenet。
接下来，可以将两个第一提取结果，以及第二提取结果均输入三维区域提议网络，以进行3d提议生成，从而得到若干个提议，每个提议可以包括可能的目标位置、大小、朝向等。
之后，三维区域提议网络可以将若干个提议进行排序，三维区域提议网络可以输出包括排序中的前n个提议的提议结果；其中，n可以为20、25、30等。
三维区域提议网络输出的提议结果可以输入至三维目标检测器，如图2、图3所示，三维目标检测器可以据此进行3d目标检测，以得到三维目标检测结果。这里，三维区域提议网络和三维目标检测器可以由全连接层(即fcl)构成，最后加非最大抑制(non-maximumsuppression，nms)模块。
可见，本公开的实施例中，通过特征提取，并结合三维区域提议网络和三维目标检测器，能够便捷可靠地获得三维目标检测结果。
在一个可选示例中，根据第一目标数据，以相应的目标检测策略，获得三维目标检测结果，包括：
在第一目标数据中包括原始点云，且第一目标数据中不包括原始图像的情况下，根据原始点云，生成第二目标视图；其中，第二目标视图包括第二鸟瞰视图和第二前视图中的至少一者；
根据第二目标视图，进行特征提取，以获得第三提取结果；
将第三提取结果输入三维区域提议网络，以获得三维区域提议网络输出的提议结果；
将所获得的提议结果输入三维目标检测器，以获得三维目标检测器输出的三维目标检测结果。
这里，在第一目标数据中仅包括原始点云的情况下，可以将原始点云投影到垂直方向，以得到第二鸟瞰视图，也可以将目标点云投影到前向摄像头方向，以得到第二前视图，通过这种方式，能够获得包括第二鸟瞰视图和第二前视图中的至少一者的第二目标视图。
假设第二目标视图中同时包括第二鸟瞰视图和第二前视图，如图3所示，可以利用两个特征提取编码器，分别对第二目标视图中的两个视图进行特征提取，以得到两个第三提取结果。接下来，可以将两个第三提取结果输入三维区域提议网络，后续步骤参照上文中将两个第一提取结果，以及第二提取结果均输入三维区域提议网络后的过程的说明即可，在此不再赘述。
可见，本公开的实施例中，通过特征提取，并结合三维区域提议网络和三维目标检测器，能够便捷可靠地获得三维目标检测结果。
在一个可选示例中，确定原始点云对应的第一质量评估指标，包括：
将原始点云投影至摄像头的图像平面，以得到投影图像；
计算投影图像的梯度信息，以及原始图像的图像边缘信息的相关度，并将相关度作为原始点云对应的第一质量评估指标；或者，确定投影图像的雷尼二次熵，并将雷尼二次熵作为原始点云对应的第一质量评估指标。
以三维目标检测系统中仅包括一个摄像头的情况为例，在获取激光雷达采集的原始点云和摄像头采集的原始图像之后，可以将原始点云投影至摄像头的图像平面，以得到投影图像，这时，可以认为激光雷达和摄像头的坐标系是标定的。接下来，根据投影图像，确定原始点云对应的第一质量评估指标，下面对确定第一质量评估指标的具体实施方式进行举例介绍。
在一种具体实施方式中，可以计算投影图像的梯度信息和原始图像的图像边缘信息，并计算梯度信息和图像边缘信息的相关度。具体地，计算相关度使用的公式可以为：
其中，jc是相关度，w是视频窗大小，f是图像，(i,j)是图像中的像素位置，p是点云的3-d点，x是激光雷达采集的点云数据，d是图像梯度图(其用于表征梯度信息)。
在计算出相关度之后，可以将相关度作为原始点云对应的第一质量评估指标。这里，可以预先设置一相关度阈值，如果确定出的相关度大于相关度阈值，可以认为原始点云的质量评估通过；否则，可以认为原始点云的质量评估不通过。
容易看出，这种实施方式能够非常便捷地确定出第一质量评估指标，且能够非常便捷地实现对原始点云的质量评估。
在另一种具体实施方式中，可以计算投影图像的雷尼二次熵。具体地，计算雷尼二次熵采用的公式可以为：
其中，
在计算出雷尼二次熵之后，可以将雷尼二次熵作为原始点云对应的第一质量评估指标。具体地，可以预先设置一雷尼二次熵阈值，如果计算出的雷尼二次熵大于雷尼二次熵阈值，可以认为原始点云的质量评估通过；否则，可以认为原始点云的质量评估不通过。
容易看出，这种实施方式也能够非常便捷地确定出第一质量评估指标，且能够非常便捷地实现对原始点云的质量评估。
本公开的实施例中，通过将原始点云投影至摄像头的图像平面得到的投影图像，能够非常便捷地计算出相关度或者雷尼二次熵，以便于据此确定第一质量评估指标，从而实现对原始点云的质量评估。
需要指出的是，对原始图像进行质量评估的方式可以参照对原始点云进行质量评估的方式。具体地，可以预先设置一psnr阈值，并针对原始图像计算psnr，在计算出的psnr大于psnr阈值的情况下，可以认为原始图像的质量评估通过；否则，可以认为原始图像的质量评估不通过。
下面结合图2，对三维目标检测系统的工作原理进行介绍。
如图2所示，三维目标检测系统中可以包括激光雷达，摄像头1和摄像头2，三维目标检测系统中除了对应于激光雷达设置控制开关a，对应于摄像头1设置控制开关b，以及对应于摄像头2设置控制开关c之外，还可以设置控制开关d和控制开关e。
其中，控制开关d可以同时控制深度估计、2d检测和2d分割这三个操作是否执行。控制开关e可以具有两个工作位置，分别为第一工作位置和第二工作位置，处于第一工作位置时，控制开关d与激光雷达的输出端相连，处于第二工作位置时，控制开关d与伪激光雷达点云生成(其用于输出上文中的伪点云)的输出端相连。
在激光雷达采集原始点云，摄像头1和摄像头2分别采集原始图像之后，可以对原始点云进行点云数据质量评估，并分别对摄像头1采集的原始图像，以及摄像头2采集的原始图像进行图像质量评估。之后可以有如下四种情况：
第一种情况，只有原始点云的质量评估通过，这时，可以将控制开关a置于闭合状态，将控制开关b、控制开关c、控制开关d均置于断开状态，且可以将控制开关e切换至第一工作位置。那么，三维区域提议网络和三维目标检测器可以仅依据原始点云，生成三维目标检测结果。
第二种情况，原始点云的质量评估不通过，摄像头1和摄像头2中的一者采集的原始图像的质量评估通过，例如仅摄像头1采集的原始图像的质量评估通过，这时，可以将控制开关b和控制开关d置于闭合状态，将控制开关a和控制开关c置于断开状态，且可以将控制开关e切换至第二工作位置。那么，可以进行伪点云的生成，三维区域提议网络和三维目标检测器可以依据伪点云，以及基于摄像头1采集的原始图像得到的二维实例分割结果，生成三维目标检测结果。
第三种情况，原始点云的质量评估通过，摄像头1和摄像头2中的一者采集的原始图像的质量评估通过，例如摄像头1采集的原始图像的质量评估通过，这时，可以将控制开关a、控制开关b、控制开关d均置于闭合状态，将控制开关c置于断开状态，且可以将控制开关e切换至第一工作位置。那么，三维区域提议网络和三维目标检测器可以依据原始点云，以及基于摄像头1采集的原始图像得到的二维实例分割结果，生成三维目标检测结果。
第四种情况，原始点云的质量评估通过，摄像头1和摄像头2采集的原始图像的质量评估均通过，这时，可以将控制开关a、控制开关b、控制开关c和控制开关d均置于闭合状态，且可以将控制开关e切换至第一工作位置。那么，可以依据基于摄像头1和摄像头2中的一者采集的原始图像得到的二维实例分割结果，以及原始点云，生成三维目标检测结果。
需要指出的是，无论摄像头还是激光雷达，传感器数据都存在某些缺陷，例如，摄像头数据受光照环境的干扰，会出现噪声、分辨率过低、亮度过大饱和或者过暗不清楚等缺陷，而激光雷达也会出现数据稀疏(线束限制)、距离受限(激光发射接收能力不足)和不反射材料造成的“黑洞”等缺陷。因此，本公开的实施例中可以提供一个多传感器融合的三维目标检测系统(其同时包括激光雷达和摄像头)，这样，本公开的实施例并不单单依赖任何一个单传感器，而是两个传感器互相合作，并弥补彼此的不足，在任何一个传感器无法工作或者数据变坏情况下仍然可以运转，只要有一个传感器能提供可靠的数据，系统就能继续运行，可见，在深度学习框架下，本公开的实施例可以非常灵活地优先处理可靠的传感器数据，并互补地增强目标检测的性能，这样可以提高整个自动驾驶系统感知模块的鲁棒性和适应性。
示例性装置
图4是本公开一示例性实施例提供的三维目标检测装置的结构框图。图4所示的装置包括第一获取模块401、第一确定模块402、第二确定模块403和第二获取模块404。
第一获取模块401，用于获取激光雷达采集的原始点云，以及获取摄像头采集的原始图像；
第一确定模块402，用于确定原始点云对应的第一质量评估指标，以及确定原始图像对应的第二质量评估指标；
第二确定模块403，用于根据第一质量评估指标和第二质量评估指标，确定原始点云和原始图像中，质量评估通过的第一目标数据；
第二获取模块404，用于根据第一目标数据，以相应的目标检测策略，获得三维目标检测结果。
在一个可选示例中，如图5所示，第二获取模块404，包括：
第一获取子模块4041，用于在第一目标数据中包括原始图像的情况下，根据原始图像，获得二维实例分割结果；
第二获取子模块4042，用于根据二维实例分割结果，获得三维目标检测结果。
在一个可选示例中，第二获取子模块，包括：
第一获取单元，用于确定第一目标数据中是否包括原始点云，以获得确定结果；
第二获取单元，用于根据确定结果，获得目标点云；
第三获取单元，用于根据二维实例分割结果和目标点云，获得三维目标检测结果。
在一个可选示例中，第二获取单元，具体用于：
在确定结果表征第一目标数据中包括原始点云的情况下，将原始点云作为目标点云；在确定结果表征第一目标数据中不包括原始点云的情况下，根据原始图像和摄像头的标定参数，生成伪点云，并将伪点云作为目标点云。
在一个可选示例中，第三获取单元，包括：
生成子单元，用于根据目标点云，生成第一目标视图；其中，第一目标视图包括第一鸟瞰视图和第一前视图中的至少一者；
第一获取子单元，用于根据第一目标视图，进行特征提取，以获得第一提取结果；
第二获取子单元，用于根据二维实例分割结果，进行特征提取，以获得第二提取结果；
第三获取子单元，用于将第一提取结果和第二提取结果输入三维区域提议网络，以获得三维区域提议网络输出的提议结果；
第四获取子单元，用于将所获得的提议结果输入三维目标检测器，以获得三维目标检测器输出的三维目标检测结果。
在一个可选示例中，
摄像头的数量为一个，第一获取子模块，具体用于：
对第一目标数据中的原始图像进行实例分割，以获得二维实例分割结果；
或者，
摄像头的数量为两个，第一获取子模块，包括：
选择单元，用于在第一目标数据中包括两个摄像头分别采集的原始图像的情况下，从第一目标数据中，选择两个摄像头中的一者采集的原始图像；
第四获取单元，用于对所选择的原始图像进行实例分割，以获得二维实例分割结果。
在一个可选示例中，第二获取模块404，包括：
生成子模块，用于在第一目标数据中包括原始点云，且第一目标数据中不包括原始图像的情况下，根据原始点云，生成第二目标视图；其中，第二目标视图包括第二鸟瞰视图和第二前视图中的至少一者；
第三获取子模块，用于根据第二目标视图，进行特征提取，以获得第三提取结果；
第四获取子模块，用于将第三提取结果输入三维区域提议网络，以获得三维区域提议网络输出的提议结果；
第五获取子模块，用于将所获得的提议结果输入三维目标检测器，以获得三维目标检测器输出的三维目标检测结果。
在一个可选示例中，如图6所示，第一确定模块402，包括：
第六获取子模块4021，用于将原始点云投影至摄像头的图像平面，以获得投影图像；
处理子模块4022，用于计算投影图像的梯度信息，以及原始图像的图像边缘信息的相关度，并将相关度作为原始点云对应的第一质量评估指标；或者，确定投影图像的雷尼二次熵，并将雷尼二次熵作为原始点云对应的第一质量评估指标。
示例性电子设备
下面，参考图7来描述根据本公开实施例的电子设备70。电子设备70可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
如图7所示，电子设备70包括一个或多个处理器71和存储器72。
处理器71可以是中央处理器(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，其控制电子设备70中的其他组件执行期望的功能。
存储器72可以包括一个或多个计算机程序产品，计算机程序产品可包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器71可以运行程序指令，以实现上文本公开的各个实施例的三维目标检测方法以及/或者其他期望的功能。
在一个示例中，电子设备70还可以包括：输入装置73和输出装置74，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。输入装置73可以包括键盘、鼠标等。输出装置74可以包括显示器、扬声器、远程输出装置等。
当然，为了简化，图7中仅示出了电子设备70中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，该指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维目标检测方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的三维目标检测方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质可以包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，需要指出的是，本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为该优点、优势、效果等是本公开的各个实施例必须具备的。上述公开的具体细节仅是为了示例和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各实施例采用递进方式描述，每个实施例重点说明与其它实施例的差异，各实施例间相同或相似的部分相互参见即可。由于系统实施例与方法实施例基本对应，描述的比较简单，相关之处参见方法实施例的说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。提供所公开的方面的以上描述以使本领域任何技术人员能够做出或者使用本公开。对这些方面的各种修改对本领域技术人员而言是显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
- 还没有人留言评论。精彩留言会获得点赞！