改进的反射表面上的对象检测的制作方法

本技术涉及自动驾驶车辆领域，例如，涉及用于反射表面中的对象检测的系统和方法。

背景技术：

1、自动驾驶系统会感知环境，以进行自动行为规划和导航。为了确保车辆运行安全，需要准确估计和标识无障碍路径。具有反射表面的环境条件可能会对基于摄像机的对象检测等构成巨大的挑战。例如，道路交叉口就是这样的环境条件，在道路交叉口，镜状结构将附近的来车反射到主车辆。

2、人类驾驶员具有感知反射的认知能力，并在语义上将反射和与驾驶任务相关的真实对象(例如交通参与者)区分开来。此外，人类驾驶员可以在这些反射中定位相关的交通参与者，并具有语义理解，即被反射的感知对象位于环境中的其它地方。现代检测配置对于具有反射表面的场景中的对象检测可能不那么可靠：由镜状结构引起的正误识检测可能被检测为交通参与者。

3、此外，当前的驾驶自动化配置可能缺乏对镜状结构中的检测的语义理解，例如关于所检测到的对象的位置和运动方向。如果在反射表面中检测到来车等交通参与者，则例如，所检测到的这些车辆可能会被解释为来自道路的前方，导致自动车辆的操作欠佳或可能对这种正误识检测做出危险反应。

4、自动驾驶系统经常使用基于视觉摄像机的对象检测方法来感知和跟踪环境中的对象。但是，这些系统在避免由于反射引起的正误识检测方面似乎不那么可靠。利用现代对象检测配置检测反射表面的方法通常使用附加的传感器，例如[1]。基于图像的反射表面自动检测方法使用图像及其反射的几何模型，但是，在实际使用中已经被证明是相当困难的。

5、因此，急需解决用于对象检测，特别是用于自动驾驶系统的对象检测的现有系统或技术中的上述技术缺陷。

技术实现思路

1、根据本发明的系统和方法支持改进的反射表面中的对象检测。

2、上述和其它目的通过独立权利要求的特征实现。其它实现方式在从属权利要求、说明书和附图中是显而易见的。

3、根据第一方面，一种用于反射表面中的对象检测的系统包括处理器。处理器用于接收至少一个输入视频帧作为输入图像帧序列，并检测输入图像帧序列中的反射表面。处理器用于在反射表面中执行对象检测，并将在反射表面中检测到的对象区分为真实对象或反射对象，从而减少正误识检测，其中，区分基于相应检测边界框的几何坐标、分类分数、关联的不确定性值、反射分数或相似性分数中的至少一个。

4、该系统还用于减少反射表面中的正误识检测，以用于在具有自动驾驶能力的主车辆中实现的对象检测任务。该系统可以包括图像捕获设备，该图像捕获设备用于捕获由一组输入图像帧形成的视频序列。该系统还可以包括处理器、存储器、控制单元和通信子系统。处理器和存储器用于训练和部署神经网络模块，以执行对象检测，并区分真实对象和反射对象(正误识检测)。该系统可以用于实现系统与其它远程计算机网络或设备之间的通信。该系统还可以包括光发射子系统，该光发射子系统由计算机设备的控制单元控制，以用于为验证过程发送光模式。

5、通信子系统可以用于使用无线技术和关联的协议来实现计算设备与其它远程计算机网络或设备之间的通信，包括但不限于车辆到车辆(vehicle-to-vehicle，v2v)和车辆到基础设施(vehicle-to-infrastructure，v2i)通信。处理器用于区分在反射区域和非反射区域中检测到的对象，以降低正误识检测率。光发射子系统由计算机设备的控制单元控制，以用于为验证方法发送光模式。

6、因此，在操作期间，系统能够区分真实对象和反射对象。可选地，可以提供示例性的主车辆图像、包括v2v车辆图像和在局部图像坐标系中表示的对应v2v车辆坐标的v2v车辆数据。

7、根据第一方面，在该系统的一种可能的实现方式中，处理器还用于实现神经网络模块，该神经网络模块用于：接收至少一个输入视频帧作为输入图像帧序列；检测输入图像帧序列中的反射表面；在反射表面中执行对象检测；将在反射表面中检测到的对象区分为真实对象或反射对象，从而减少正误识检测，其中，区分基于相应检测边界框的几何坐标、分类分数、关联的不确定性值、反射分数或相似性分数中的至少一个。通过神经网络模块，该系统采用深度学习技术，以改进反射表面中对象(例如车辆)的正误识检测。

8、根据第一方面，在该系统的一种可能的实现方式中，该系统包括边缘情况评估模块，该边缘情况评估模块用于评估神经网络的对象检测输出，以识别边缘情况。边缘情况评估可以由处理器实现。因此，在操作期间评估神经网络的对象检测，以区分真实对象和反射对象，例如车辆。对网络的输出进行评估，以识别可能对系统完整性构成威胁的潜在的或特定的边缘情况。可选地，通过评估神经网络的输出，可以识别可能对系统完整性构成威胁的潜在的、特定的边缘情况场景。

9、根据第一方面，在该系统的一种可能的实现方式中，边缘情况评估模块用于验证所检测到的对象为正误识检测。因此，进一步提高了对象检测的可靠性。

10、根据第一方面的任一上述实现方式，在系统的一种可能的实现方式中，所检测到的对象是主车辆、与主车辆具有相似外观的v2v车辆或来车。

11、根据第一方面，在该系统的一种可能的实现方式中，处理器还用于实现神经网络模块，该神经网络模块用于：执行语义分割，以标识输入图像帧中的反射表面；提供具有包括主车辆或v2v车辆的反射区域的至少一个语义图像，作为反射区域的一部分。

12、根据第二方面，提供了一种用于反射表面中的对象检测的方法。该方法由用于反射表面中的对象检测的系统执行。该方法包括：接收至少一个输入视频帧作为输入图像帧序列；检测输入图像帧序列中的反射表面；在反射表面中执行对象检测；将在反射表面中检测到的对象区分为真实对象或反射对象，从而减少正误识检测，其中，区分基于相应检测边界框的几何坐标、分类分数、关联的不确定性值、反射分数或相似性分数中的至少一个。

13、根据第二方面，在该方法的一种可能的实现方式中，神经网络包括执行以下方法步骤：接收至少一个输入视频帧作为输入图像帧序列；检测输入图像帧序列中的反射表面；在反射表面中执行对象检测；将在反射表面中检测到的对象区分为真实对象或反射对象，从而减少正误识检测，其中，区分基于相应检测边界框的几何坐标、分类分数、关联的不确定性值、反射分数或相似性分数中的至少一个。

14、根据第二方面，在该方法的一种可能的实现方式中，该方法包括边缘情况评估，该边缘情况评估包括：评估神经网络的对象检测输出，以识别边缘情况。

15、根据第二方面，在该方法的一种可能的实现方式中，所检测到的对象是主车辆、与主车辆具有相似外观的v2v车辆或来车。

16、根据第二方面，在该方法的一种可能的实现方式中，该边缘情况评估包括验证所检测到的车辆为正误识检测，该验证包括：检测包括图像帧序列的至少一个视频帧；在至少一个视频帧中检测车辆；评估所检测到的车辆是否类似于主车辆或v2v车辆；如果检测对应于主车辆外观，则发射光模式，或者，如果检测对应于v2v车辆外观，则在请求向v2v车辆发射光模式时，发射光模式；评估在图像帧中检测到的车辆是否发射了相同的光模式，以将车辆标识为正误识检测。

17、这种验证方法能够确定所检测到的车辆是主车辆(或v2v车辆)的正误识检测，还是它是具有相似外观的真实的来车。例如，视频帧可以从图像捕获设备检索到，并且图像帧中的相关车辆被检测到。在评估相关车辆外观是否类似于主车辆或通信v2v车辆外观时，如果相关车辆被标识为v2v车辆，则可以从v2v车辆发出光模式请求。否则，如果相关车辆被标识为主车辆，则可能会发射光模式。可以评估所检测到的车辆是否以相同的方式做出行为并发射相同的光模式。根据获得的信息，所检测到的车辆被评估为真实车辆或正误识检测。

18、根据第二方面，在该方法的一种可能的实现方式中，神经网络包括执行以下方法步骤：执行语义分割，以标识输入图像帧中的反射表面；通过具有包括主车辆或v2v车辆的反射区域的至少一个语义图像，作为反射区域的一部分。

19、根据第二方面，在该方法的一种可能的实现方式中，为语义图像的每个相应反射区域提供唯一校准签名。因此，提供了一种方法，用于为所检测到的反射表面生成唯一标识符，用于以后的识别。视频帧可以从图像捕获设备接收，可选地，还可以包括主车辆图像或v2v车辆图像，作为神经网络的输入。语义分割图像是从神经网络推断出的，神经网络以具有主车辆或v2v车辆的反射区域为特征。例如，所检测到的语义分割的相关区域可以从原始图像帧中裁剪。例如，训练参数化黑盒模型，以从裁剪的反射图像重建所提供的主车辆图像或v2v车辆图像。例如，训练的参数可以用作对应的相应反射区域的唯一标识符。因此，反射区域可以用唯一标识符识别，以执行数据关联。

20、根据第三方面，提供了一种自动驾驶车辆，包括用于执行如以上所描述的方法的系统。

21、根据第四方面，提供了一种用于训练用于对象检测的神经网络(310)的方法，该方法包括在训练阶段执行以下步骤：接收包括所选择的待检测的对象及其相应的反射的训练图像；提供对应的标记图像作为地面真值；接收主车辆图像，以用于将检测确定为反射；训练神经网络，以生成包括相应检测边界框的几何坐标、分类分数、关联的不确定性值、反射分数或相似性分数中的至少一个的对象检测输出。

22、对于神经网络的训练，可以包括训练数据，训练数据包括驾驶场景的训练图像，驾驶场景包括所选择的待检测的对象和相应的反射。可以包括作为地面真值的对应标记图像。可以包括进一步的示例性主车辆图像，以有助于关联在主车辆外观也被识别的区域中进行的检测，作为更可能是反射的检测。神经网络可以用训练数据训练，以生成预测输出，即(例如)包括以下中的一个的对象检测：相应检测边界框的几何坐标；分类分数；关联的不确定性；用于评估给定检测为反射的可能性的反射分数；用于评估检测与主车辆的相似性的关于主车辆的相似性分数。

23、可选地，神经网络的训练可以使用附加的示例性人工车辆对车辆(vehicle-to-vehicle，v2v)训练数据来执行，以使网络能够利用v2v通信提供的进一步信息来改进。可选地，神经网络的训练可以通过包括附加的训练数据来扩展，附加的训练数据包括人工v2v训练数据，人工v2v训练数据包括v2v车辆图像和在局部图像坐标系中表示的对应的v2v车辆坐标。此外，例如，可以包括附加的输出，例如关于v2v车辆的相似性分数，以评估检测与v2v车辆的输入图像的相似性。

24、根据第五方面，提供了一种用于训练神经网络来进行语义分割的方法，该方法包括在训练阶段执行以下步骤：接收包括提供反射区域的驾驶场景的训练图像和主车辆图像；提供分割图像作为地面真值；训练神经网络，以生成语义分割图像。

25、语义分割用于标识包括主车辆或v2v连接车辆的图像中的反射表面，作为反射的一部分。例如，这可以包括：训练包括示例性的主车辆图像的数据；训练包括先前输入的外观的反射区域的图像；训练作为地面真值的标记的语义分割图像；用训练数据训练神经网络，以生成作为输出的语义分割，进而标识包括主车辆或v2v连接车辆的图像中的反射表面，作为反射的一部分。

26、根据第五方面，在该方法的一种可能的实现方式中，该方法包括：参数化黑盒模型被训练来重建所提供的主车辆图像或v2v车辆图像，其中，模型的参数用作反射区域的唯一校准签名。

27、根据本发明的第二方面的方法可以由根据本发明第一方面的系统执行。根据本发明第二方面的方法的其它特征和实现方式对应于根据本发明第一方面的系统的特征和实现方式。

28、根据第二方面的方法可以扩展为对应于根据第一方面的系统的实现方式的实现方式。因此，该方法的实现方式包括第一装置的对应实现方式的特征。

29、根据第二方面的方法的优点与根据第一方面的系统的对应实现方式的优点相同。

30、根据第六方面，提供了一种计算机程序产品，该计算机程序产品存储在非瞬时性介质中，并包括用于一个或多个处理器上执行的代码指令。这些指令使一个或多个处理器执行根据第二方面或所提供的方面的任何可能的实施例的方法。

31、因此，本发明涉及一种用于减少在自动驾驶的背景下由于反射表面引起的正误识检测的系统和方法。设想将该系统和方法部署在嵌入式系统中，以支持自动驾驶。该系统和方法还适用于其它计算机视觉任务，这些任务需要避免由于反射表面而产生的正误识检测。

32、这些系统和方法还用于减少反射表面中的正误识检测，以用于在具有自动驾驶能力的主车辆中实现的对象检测任务。处理器用于训练神经网络(neural network，nn)，以执行对象检测，并区分真实对象和反射对象(正误识)。为了增强nn区分真实对象和反射对象的能力，在该方法中，nn被提供了示例性的主车辆图像。因此，该方法有助于关联在主车辆外观也被识别的区域中进行的检测，作为更可能是反射的检测，从而降低正误识检测率。该方法可以被增强，以向nn提供示例性的车辆到车辆(vehicle-to-vehicle，v2v)图像和对应的v2v车辆坐标。因此，该方法支持网络利用由v2v通信提供的进一步信息来关联在v2v车辆外观被识别的区域中进行的检测，作为更可能是反射的检测，其中，假设这些检测也不对应于实际v2v车辆位置。

33、神经网络(neural network，nn)可以被训练，以执行语义分割，进而检测包括主车辆或v2v车辆的图像中的反射表面，作为反射的一部分。该分割可以用于从原始图像中裁剪包括主车辆反射(或其它v2v车辆反射)的反射区域。然后，可以训练参数化黑盒模型，以从在若干视频帧上裁剪的反射图像重建所提供的主车辆图像(或v2v车辆图像)。然后，模型的参数可以用作反射区域的唯一校准签名。该唯一标识符可以用于以后的识别，例如用于跟踪的数据关联。

34、附图及以下说明中将详细描述一个或多个实施例。其它特征、目的和优点在说明书、附图和权利要求中是显而易见的。