用于可靠地标识在视频图像中的对象的方法和装置与流程

本发明涉及：用于可靠地标识在由成像传感器所检测到的图像之内的对象的方法；被设立为实施该方法的系统；用于训练该系统的方法；训练装置；计算机程序；和机器可读存储介质。

背景技术：

从还未先行公开的de102017223264.1中公知一种用于在所提供的输入信号中探测对象的方法，其中根据所提供的输入信号来探测对象并且其中根据对该对象的探测来操控执行器。

本发明的优点

本发明考察一种视觉传感器，即使照明差的场景时，该视觉传感器也提供针对例如自动化驾驶功能的输入图像，其中所述照明差的场景具有在图像中可见的活跃光源。

在这种情况下可能的是：这些输入图像被不良调节。这可导致：只有在图像中可见的光源，比如车辆头灯、街灯、广告牌等等可见。

通过标准化可以对图像进行调整，只是这有可能导致：现在周围环境是可见的，但是光源的位置不能明确确定。

如果教导机器学习系统来标识在输入图像中的对象，则不能排除光源与车辆和/或其它对象相关联。这可能导致：每个光源都自动地导致所探测到的对象。这导致如下问题：例如由于潮湿的车道、反光的混凝土路面、隧道墙壁等等所形成的反射被识别为幽灵对象（geisterobjekt）。

实际上不可能在机器学习系统的训练中设置真实的训练数据的其中包含所有可能的光源和反射的数据记录。

与此相对地，具有独立权利要求1的特征的方法具有如下优点：光强度在本地被匹配，使得不发生叠化。

此外，该方法能利用对运动的和未运动的光源的仿真来训练，在该仿真中可以合成地生成所有相关情况的反射和遮挡。

本发明的其它方面是并列权利要求的主题。有利的扩展方案是从属权利要求的主题。

技术实现要素：

在第一方面中，本发明涉及一种用于可靠地标识在借助于成像传感器所接收到的输入图像序列中的对象的计算机实现的方法，其中借助于第一机器学习系统、尤其是人工神经网络根据这些输入图像来分别确定在相应的输入图像中的光源的位置，并且其中尤其是借助于第二机器学习系统、诸如人工神经网络根据所得到的光源的位置序列来标识输入图像序列中的对象。

该处理顺序具有如下优点：也将光源与反射区分开并且也可靠地标识至少部分地被遮挡的光源的复杂任务可以被转移到能用合理的花费来训练的机器学习系统中。接着，根据所标识出的光源，可以特别简单地标识对象。该任务也能又特别好地被转移到能轻松地训练的机器学习系统中。

在一个扩展方案中可以规定：尤其是借助于第二机器学习系统，除了所标识的对象之外，也标识出尤其是在输入图像序列中所标识的对象的属性。这可以利用第二机器学习系统特别简单地来实现。属性例如可以是借助于传感器所拍摄到的对象的（3d）位置、该对象的（3d）速度，或者也可以是传感器的自速度，该自速度与对象的（3d）速度共同表征传感器与对象之间的相对速度。

替选地或附加地，可以规定：尤其是借助于第一机器学习系统，也确定相应的输入图像的标准化。标准化尤其可以是指：可能存在于输入图像中的叠化在该标准化中不再存在。利用这种标准化，可以特别高效地提供另一信息源，利用该另一信息源同样可以标识对象。特别有利的是：第一机器学习系统不仅执行标准化、即将由于光源所造成的叠化除去，而且也执行对光源的位置的标识，因为对于这两个行动中的相应动作来说必要的信息内容密切相关。因而，该机器学习系统可以特别高效地被训练。

为了接着也充分利用该信息源，接着在一个扩展方案中可以规定：借助于第三机器学习系统，根据相应的输入图像的标准化，标识在相应的输入图像中的对象和这些对象在输入图像中的位置。这里，设计为机器学习系统的设计方案特别简单，因为该机器学习系统能特别简单地被训练。

在另一方面中，可以规定：以替代方式所标识的对象的合并借助于第四机器学习系统来实现，也就是说该第四机器学习系统根据借助于第三机器学习系统所标识的对象并且根据从光源的位置序列中所标识出的对象并且尤其是也根据所标识的属性来标识出在输入图像中的安全对象。

在其它方面中，本发明涉及被设立为实施之前提到的方法之一的系统，所述系统包括第一机器学习系统和第二机器学习系统，可选地也包括第三机器学习系统和/或第四机器学习系统。

在此基础上，在又一方面中，规定了一种用于训练这些系统之一的计算机实现的方法，其中生成场景，该场景包括在空间内在可预先给定的位置的对象和光源，并且根据该场景来生成光源的合成位置的序列，如其会由摄像机从可预先给定的摄像机位置所拍摄到的那样，其中第二机器学习系统被训练来根据光源的位置推导出对象的位置，如其会由摄像机从该可预先给定的摄像机位置所拍摄到的那样。这具有如下优点：光源的位置可以以最简单的方式逼真地生成，并且因而针对多种可设想的场景都能特别简单地产生训练数据，使得经训练的系统特别可靠地发挥作用。

在一个扩展方案中，可以规定：第一机器学习系统利用如下数据记录来训练，该数据记录包括由增强图像和所属的可预先给定的位置构成的对，其中这些增强图像是通过针对真实图像在可预先给定的位置人工地添加光源来获得的，并且其中第一机器学习系统被训练来根据这些增强图像确定这些可预先给定的位置。这特别有利地利用了：虽然大量具有真实光源的图像难以利用数目适合的反射等等来产生，但是以比较简单的方式例如借助于光线追踪（raytracing）法就可以将光源人工添加到真实图像、也就是说借助于传感器所拍摄到的图像。

在其中的一个扩展方案中，可以规定：第一机器学习系统还利用如下数据记录来训练，该数据记录也包括真实图像和所属的增强图像的对，并且其中第一机器学习系统被训练来根据这些增强图像作为经标准化的数据来确定所属的真实图像。借此，第一机器学习系统可以特别简单地被训练为使得该第一机器学习系统可以根据图像来算出光源。

在其它方面中，本发明涉及：一种计算机程序，该计算机程序被设立为实施上述方法；和一种机器可读存储介质，在其上存储有该计算机程序。

附图说明

随后，本发明的实施方式参考随附的附图进一步予以阐述。在附图中：

图1示意性地示出了本发明的实施方式的构造；

图2示意性地示出了用于控制至少部分自主机器人的实施例；

图3示意性地示出了用于控制生产系统的实施例；

图4示意性地示出了用于控制访问系统的实施例；

图5示意性地示出了用于控制监控系统的实施例；

图6示出了借助于传感器来检测对象的示例性的场景；

图7示出了由传感器所检测到的场景的示例性的简图；

图8示出了在上文提到的系统中的示例性的信息流；

图9示出了训练装置的可能的构造。

具体实施方式

图1示出了在其周围环境20中与控制系统40进行交互的执行器10。以优选地定期的时间间隔来检测视频传感器30的周围环境20，该视频传感器也可以通过多个传感器来给出，例如立体摄像机。传感器30的传感器信号s或在有多个传感器的情况下各传感器信号s被传送给控制系统40。因此，控制系统40接收传感器信号s的序列。控制系统40据此确定操控信号a，所述操控信号被传输给执行器10。

控制系统40在可选的接收单元50中接收传感器30的传感器信号s的序列，该接收单元将传感器信号s的序列转换成输入图像x的序列（替选地也可以直接各采用传感器信号s作为输入图像x）。输入图像x例如可以是传感器信号s的片段或者对传感器信号s的进一步处理。输入图像x包括视频录制的各个帧。换言之，根据传感器信号s来确定输入图像x。输入图像x的序列被输送给对象标识系统60。

对象标识系统60优选地通过参数φ来参数化，这些参数保存在参数存储器p中并且由该参数存储器来提供。

对象标识系统60根据输入图像x来确定输出参量y。输出参量y被输送给可选的改型单元（umformeinheit）80，该改型单元据此来确定操控信号a，所述操控信号被输送给执行器10，以便相对应地对执行器10进行操控。输出参量y包括关于视频传感器30已经检测到的对象的信息。

执行器10接收操控信号a，相对应地被操控并且实施相对应的行动。在这种情况下，执行器10可包括（不一定在结构上集成的）操控逻辑，该操控逻辑根据操控信号a来确定接着用来操控执行器10的第二操控信号。

在其它实施方式中，控制系统40包括传感器30。在另外其它实施方式中，替选地或附加地，控制系统40也包括执行器10。

在其它优选的实施方式中，控制系统40包括一个或多个处理器45和至少一个机器可读存储介质46，在该机器可读存储介质上存储有命令，当这些命令在处理器45上被实施时，这些命令促使控制系统40实施按照本发明的方法。

在替选的实施方式中，替选于执行器10或除了执行器10之外，设置有显示单元10a。

图2示出了控制系统40可以如何被用于控制至少部分自主机器人、这里是至少部分自主机动车100。

传感器30例如可以是优选地布置在机动车100中的视频传感器。

对象标识系统60被设立为根据输入图像x可靠地标识对象。

优选地布置在机动车100中的执行器10例如可以是机动车100的刹车装置、驱动装置或转向装置。操控信号a于是可以被确定为使得该执行器或这些执行器10被操控为使得尤其是当涉及某些类别的对象、例如行人时，机动车100例如防止了与由对象标识系统60可靠地标识的对象相撞。

替选地，该至少部分自主机器人也可以是其它移动机器人（未绘出），例如是这种通过飞行、漂浮、潜水或步行来前进的机器人。该移动机器人例如也可以是至少部分自主割草机或者至少部分自主清洁机器人。在这些情况下，操控信号a也可以被确定为使得移动机器人的驱动装置和/或转向装置被操控为使得该至少部分自主机器人例如防止与由对象标识系统60所标识的对象相撞。

替选地或附加地，可以利用操控信号a来操控显示单元10a，并且例如可以呈现所确定的安全区域。例如，在机动车100具有非自动化转向装置的情况下，也可能的是：显示单元10a利用操控信号a被操控为使得如果确定机动车100即将与可靠地标识的对象之一相撞，则该显示单元输出光学或声音报警信号。

图3示出了如下实施例，在该实施例中，控制系统40被用于操控生产系统200的生产机器11，其方式是对控制该生产机器11的执行器10进行操控。生产机器11例如可以是用于冲压、锯切、钻孔和/或切割的机器。

传感器30于是例如可以是光学传感器，该光学传感器例如检测制成品12a、12b的特性。可能的是：这些制成品12a、12b能运动。可能的是：控制生产机器11的执行器10根据所检测到的制成品12a、12b的关联来予以操控，以便生产机器11相对应地实施制成品12a、12b中的正确的制成品的随后的加工步骤。也可能的是：通过标识制成品12a、12b中的同一制成品的正确的特性（也就是说在没有错误关联的情况下），生产机器11相对应地使用于加工随后的制成品的相同的生产步骤匹配。

图4示出了如下实施例，在该实施例中，控制系统40被用于操控访问系统300。访问系统300可以包括物理访问控制装置、例如门401。设立视频传感器30来检测人员。借助于对象标识系统60，可以解释该所检测到的图像。如果同时检测到多个人员，则可以通过这些人员（即对象）彼此间的关联，例如通过对这些人员的运动的分析，来特别可靠地确定例如这些人员的身份。执行器10可以是锁，该锁根据操控信号a来激活访问控制装置或者不激活访问控制装置，例如将门401打开或者不打开门401。为此，操控信号a可以根据对象标识系统60的解释来被选择，例如根据人员的所确定的身份来被选择。替代物理访问控制装置，也可以设置逻辑访问控制装置。

图5示出了如下实施例，在该实施例中，控制系统40被用于控制监控系统400。在图5中示出的实施例与该实施例的区别在于：替代执行器10，设置显示单元10a，该显示单元由控制系统40来操控。例如，对象标识系统60可以可靠地确定由视频传感器30所拍摄到的对象的身份，以便根据此例如推断哪些对象可疑，并且操控信号a于是可以被选择为使得该对象由显示单元10a用颜色突出呈现。

图6示出了示例性的真实场景，在该真实场景中，配备有传感器30的机动车100、也称作本车（ego-fahrzeug）以自速度（ego-geschwindigkeit）ve前进，并且对象i、在所示出的示例中是另一机动车以速度vi前进。

图7示意性地示出了该对象i的视图，如其可由传感器30拍摄到的那样。对象i具有两个头灯，第一头灯在第一位置p1并且第二头灯在第二位置p2，这两个头灯可能导致图像中的叠化。在所拍摄到的图像中，对象i处在位置pi。

图8示例性地示出了在对象标识系统60中的信息流。在相继的时间点tk、tk+1将输入图像x分别输送给该对象标识系统。第一机器学习系统nn1据此来确定光源在输入图像中在第一时间点tk的位置p1、p2(tk)和光源在输入图像中在稍后的第二时间点tk+1的位置p1、p2(tk+1)。光源的这些位置p1、p2例如可以通过经语义分割的图像来予以描述，该经语义分割的图像具有类别“有光源”和“没有光源”。两个所确定的位置被输送给第二机器学习系统nn2，该第二机器学习系统据此来确定对象i、该对象的位置pi、该对象的速度vi（或对象及其相应属性的列表）和自速度ve。

第一机器学习系统nn1还根据输入图像x来确定该输入图像的所属的标准化xnorm并且将该标准化输送给第三机器学习系统nn3，该第三机器学习系统据此同样确定对象i和该对象的位置pi（或对象及其相应位置的列表）。

由第二机器学习系统nn2所确定的对象i、该对象的位置pi、该对象的速度vi（或对象及其相应属性的列表）和自速度ve以及由第三机器学习系统nn3所确定的对象i和该对象的位置pi（或相对应的列表）被输送给第四机器学习系统nn4。该第四机器学习系统据此来确定输出信号y，该输出信号包括关于安全对象i和该安全对象的安全位置pi（或对象及其所属的安全位置的列表）。

这四个机器学习系统中的每个机器学习系统例如都可以通过人工神经网络来给出。这里图解说明的方法可以实现为计算机程序并且被存储在机器可读存储介质46中。

图9示出了用于训练对象标识系统60的训练装置140的可能的构造。该构造利用参数φ来参数化，这些参数由参数存储器p来提供。

训练装置140可以对这四个机器学习系统nn1,...,nn4中的每个机器学习系统进行训练。相应所要训练的机器学习系统利用附图标记nn来表征。

训练装置40包括提供器71，该提供器提供输入参量e和额定输出参量as。输入参量e被输送给所要训练的机器学习系统nn，该机器学习系统据此来确定输出参量a。输出参量a和额定输出参量as被输送给比较器74，该比较器据此根据相应的输出参量a和额定输出参量as的一致性来确定新的参数φ’，这些新的参数被传送给参数存储器p并且在那里替代参数φ。

在第一步骤中，对第一机器学习系统nn1进行训练，该第一机器学习系统应该确定光源的位置并且对输入图像进行标准化。在这种情况下，在可预先给定的位置p1,s、p2,s处将人造光源添加给真实图像xr，这些真实图像例如由数据库来提供。这样就得到增强图像xa。该增强图像是输入参量e，输出参量a是该标准化和这些光源的所确定的位置p1、p2。额定输出参量是真实图像xr和可预先给定的位置p1,s、p2,s。针对这些图像和这些位置分布单独地确定一致性。第一机器学习系统nn1被训练来使得这些光源的位置被输出并且这些图像被标准化，也就是说这些光源重新被除去。

在第二步骤中，对第二机器学习系统nn2进行训练。在这种情况下，产生具有如下光源的对象（诸如具有头灯的车辆）的位置，所述光源具有随机场景sz的时间序列的反射。输入参量e是光源在两个相继的时间点的位置序列，额定输出参量as是对象的位置和速度。第二机器学习系统nn2被训练来使得该第二机器学习系统准确地重建这些对象的位置和速度。

第一步骤和第二步骤的顺序可以任意被选择。

在第三步骤中，对第三机器学习系统nn3进行训练。这借助于如下数据记录(x,z)来实现，该数据记录包含输入图像序列x=((x1,0,x1,1,...,x1,t),...,(xn,0,xn,1,...,xn,t))并且对于每个序列(xk,0,xk,1,...,xk,t)来说都包含如下列表(zk,0,zk,1,...,zk,t)，该列表是包含在其中的对象与属性位置、速度和自速度的列表。在不同的输入图像中的相同的对象彼此关联。此外，针对每个输入图像x都提供分割，该分割尤其是含有包含在其中的活跃光源。利用第一机器学习系统nn1，根据该数据记录的输入图像x来确定所属的标准化xnorm，该标准化被用作输入参量e。额定输出参量as是对象和这些对象的位置。第三机器学习系统nn3应该被训练来使得该第三机器学习系统准确地识别出对象并且可靠地重建这些位置。

关于步骤3的顺序方面，仅仅要注意的是：该步骤3应该在步骤1完成之后进行，以便第一机器学习系统nn1已经被训练。

在第四步骤中，对第四机器学习系统nn4进行训练。在这种情况下，使用整个对象标识系统60，所描述的数据记录(x,z)的输入图像x被输送给该对象标识系统。这里，输出参量a是对象标识系统60的输出参量y，作为额定输出参量as在该数据记录中维持相对应的对象和属性。这里仅仅使参数φ匹配，这些参数表征第四机器学习系统nn4。

关于训练顺序方面，该步骤应该最后被实施。

由训练系统140实施的方法可以以作为计算机程序来实现的方式保存在机器可读存储介质146上并且由处理器145来实施。

术语“计算机”包括用于处理可预先给定的计算规则的任意设备。这些计算规则可以以软件的形式存在，或者以硬件的形式存在，或者也可以以软件和硬件的混合形式存在。