信号灯盲区辅助系统及其控制单元和控制方法与流程

本申请涉及车辆辅助驾驶的技术领域，尤其涉及信号灯盲区辅助系统及其控制单元和控制方法。

背景技术：

随着汽车工业的快速发展，代表先进汽车技术的辅助驾驶系统越来越普遍地应用于车辆中。辅助驾驶系统具有诸多用于辅助驾驶的功能，其中，在驾驶盲区为车辆盲区监测是一项有益的功能，使得驾驶员能够得知其视野盲区中的状况。

车辆驾驶中，有时会遇到这样一种情况，即车辆前方被大的物体、例如大型车辆遮挡，使得驾驶员无法看到前方交通信号灯。驾驶员无法看到的前方交通信号灯的区域，可称作交通信号灯盲区。在存在交通信号灯盲区的情况下驾驶，可能导致违反交通法规，或是产生交通事故。

因此，希望提供一种在存在交通信号灯盲区时提高驾驶安全性的技术方案。

技术实现要素：

鉴于现有技术中的上述问题，本申请提供了一种车辆辅助驾驶系统及其控制单元和控制方法，其能够通过计算而为车辆提供交通信号灯的状态信息，从而提高存在交通信号灯盲区时的驾驶安全性。

为此，根据本申请的一个方面，提供了一种用于信号灯盲区辅助系统的控制单元，其包括：获取模块，配置为获取包含前方交通信号灯图像的图片；处理模块，配置为对所述图片进行识别以确定信号灯状态，根据对应于一初始时刻的初始图片确定信号灯初始状态，并且根据所述信号灯初始状态计算出交通信号灯在初始时刻之后各时刻的计算状态；以及信号生成模块，配置为生成用于在车辆中显示对应于交通信号灯在当前时刻的计算状态，以便辅助驾驶员驾驶车辆。

根据一种可行实施方式，所述状态至少包括信号灯颜色、信号剩余时间。

根据一种可行实施方式，计算交通信号灯的计算状态包括：根据交通信号灯在所述初始时刻的信号剩余时间计算在所述初始时刻之后各时刻的信号剩余时间。

根据一种可行实施方式，所述处理模块配置为对初始时刻之后的图片进行识别，在识别出图片中的信号灯状态发生变化后，将初始时刻更新为信号灯状态发生变化的时刻，将信号灯初始状态更新为发生变化后的信号灯状态，并且重新计算交通信号灯在初始时刻之后各时刻的计算状态。

根据一种可行实施方式，所述获取模块还被配置为在所述初始时刻之后经过了一或多个采样周期的第一采样时刻获取第一采样图片，所述第一采样图片包括交通信号灯在所述第一采样时刻的第一采样状态；并且所述控制单元还包括：

比较模块，配置为将所述第一采样状态与第一计算状态相比较，所述第一计算状态表示所述第一采样时刻的相应计算状态；

判断模块，配置为判断所述比较的结果，当所述判断模块判定为所述第一采样状态与所述第一计算状态相一致时，所述信号生成模块根据所述第一计算状态生成用于显示的状态信息，并且当所述判断模块判定为所述第一采样状态与所述第一计算状态不一致时，所述比较模块被配置为将所述第一采样状态与所述第一计算状态之间的差与预定阈值相比较。

根据一种可行实施方式，当所述判断模块判定为所述第一采样状态与所述第一计算状态之间的差小于等于所述预定阈值时，所述信号生成模块被配置为用所述第一采样状态来更新所述第一计算状态，并根据更新后的第一计算状态生成用于显示的状态信息；

根据一种可行实施方式，当所述判断模块判定为所述第一采样状态与所述第一计算状态之间的差大于所述预定阈值时，所述获取模块还被配置为在所述第一采样时刻之后经过了一或多个采样周期的第二采样时刻获取第二采样图片，所述第二采样图片包括交通信号灯在所述第二采样时刻的第二采样状态；并且

所述比较模块还被配置为将所述第二采样状态与第二计算状态之间差与所述预定阈值相比较，其中，所述第二计算状态表示所述第二采样时刻的相应计算状态。

根据一种可行实施方式，当所述判断模块判定为所述第二采样状态与所述第二计算状态之间的差小于等于所述预定阈值时，所述信号生成模块用所述第二采样状态来更新所述第二计算状态，并根据更新后的第二计算状态生成用于显示的状态信息；

当所述判断模块判定为所述第二采样状态与所述第二计算状态之间的差大于所述预定阈值时，所述判断模块判定为出现异常状况，并且所述处理模块继续根据所述初始状态计算出计算状态，并且所述信号生成模块还生成用于显示异常状况的信息。

根据一种可行实施方式，所述异常状况包括所述拍摄设备无法拍摄到交通信号灯的情况；当所述拍摄设备无法拍摄到交通信号灯且能够拍摄到辅助信号灯时：所述获取模块获取包含辅助信号灯、例如人行道信号灯的图片；所述处理模块借助所述辅助信号灯的状态修正所述计算状态；所述信号生成模块根据修正后的计算状态生成用于显示的状态信息。

根据本申请的另一个方面，提供了一种用于信号灯盲区辅助系统的控制方法，可选地，借助根据上述控制单元实施，所述方法包括：获取包含前方交通信号灯图像的图片；对所述图片进行识别以确定信号灯状态；根据对应于一初始时刻的初始图片确定信号灯初始状态；根据所述信号灯初始状态计算出交通信号灯在初始时刻之后各时刻的计算状态；以及生成用于在车辆中显示对应于交通信号灯在当前时刻的计算状态。

根据本申请的又一个方面，提供了一种用于车辆的信号灯盲区辅助系统，其包括：拍摄设备，拍摄车辆行驶方向上的交通状况的图片；控制设备，与所述拍摄设备耦接并且所述控制设备包括上述控制单元；以及显示设备，与所述控制设备)耦接，并且显示所述控制设备所提供的用于显示的信息。

根据本发明的信号灯盲区辅助系统及其控制方案，根据已获取的交通信号灯的状态信息计算交通信号灯在之后各个时刻的状态并显示在车辆中，用于在存在信号灯盲区的场合辅助驾驶员确定合适的驾驶策略，从而能够优化交通流量，并提高驾驶安全性。

附图说明

本发明的特征、特点、优点和益处通过以下结合附图的详细描述将变得显而易见。

图1示出了按照本申请的一种可行实施方式的车辆用信号灯盲区辅助系统的示意性框图。

图2示出了按照本申请的一种可行实施方式的图1中的信号灯盲区辅助系统的控制单元的示意性框图。

图3示出了按照本申请的一种可行实施方式的用于信号灯盲区辅助系统的控制方法的流程图。

具体实施方式

下面，结合附图详细描述本申请的各个实施例。

本申请总体上涉及一种驾驶辅助技术，用于在存在信号灯盲区时向驾驶员提供信号灯信息。

图1示意性地显示了根据本申请的一种可行实施方式的信号灯盲区辅助系统100。信号灯盲区辅助系统100设置在车辆上，包括拍摄设备10、控制设备20以及显示设备30。

在本实施例中，拍摄设备10用于拍摄车辆的行驶方向上的交通状况的图片。拍摄设备10可以包括存储器(未示出)，拍摄设备10将所拍摄的图片存储在该存储器中。拍摄设备10安装在车辆上便于拍摄车辆行驶方向上的交通场景的位置，例如，安装在前挡风玻璃与后视镜之间。拍摄设备10可以弥补驾驶员视野的不足，即使驾驶员视线被遮挡而产生信号灯盲区，拍摄设备10仍可拍摄到前方交通信号灯。

拍摄设备10可以具有广角摄像头，由此拍摄设备10的视野可以覆盖较宽的范围。拍摄设备10实时拍摄交通场景，由此形成了具有随时间变化的信息的一系列图片。当车辆行驶至道路交叉口附近时，拍摄设备10可以拍摄到包含交通信号灯图像的图片。拍摄的图片可被识别以确定交通信号灯的状态。交通信号灯的状态可以包括交通信号灯的信号，例如颜色及其明亮。交通信号灯的状态还可以包括交通信号灯的信号的倒计时信息，即交通信号灯的当前信号的剩余时间。

在本实施例中，控制设备20与拍摄设备10耦合并包括控制单元60。控制单元60根据拍摄设备10所拍摄的图片中的交通信号灯的图像进行识别，以便确定交通信号灯的拍摄状态，并且根据交通信号灯的拍摄状态计算出在该拍摄时刻之后的各时刻的计算状态，并根据计算状态生成用于在车辆中显示的信息，例如，交通信号灯的当前信号及其剩余时间。可选地，控制设备20还可以包括一个或多个接口单元40，用于控制设备20与其外部设备之间的信息交互。应当理解，虽然在图1中例示出了接口单元40位于控制设备20内部，接口单元40也可以位于控制设备20的外部。

在本实施例中，显示设备30与控制设备20耦合，用于显示控制设备20所提供的显示信息。显示设备30可以是车辆中的仪表盘，也可以是位于车辆的前风挡玻璃上的平视显示器(hud)。显示设备30还可以是便于车辆驾驶员观察的其他显示设备。

图2示出了图1中例示的控制单元60的示意性框图。以下具体介绍控制单元60及其操作过程。

参见图2，控制单元60主要包括获取模块61、处理模块62、信号生成模块63。获取模块61用于获取拍摄设备10拍摄的包含交通信号灯图像的图片。处理模块62用于对获取模块61获取的包含交通信号灯图像的图片进行处理，其中包括识别交通信号灯状态，包括信号灯颜色、箭头方向、倒计时等等的信息，并且基于识别出的交通信号灯状态确定出后续各时刻(包括当前时刻)的交通信号灯状态。信号生成模块63基于处理模块62确定的当前时刻需要显示的交通信号灯状态产生在显示设备30中显示该状态的信号。

在显示设备30显示了控制单元60产生的交通信号灯状态后，控制单元60监测拍摄设备10拍摄的图片中是否有交通信号灯的状态(信号灯颜色、箭头变化，倒计时数字变化，等等)更新。如果交通信号灯的状态有更新，则控制单元60基于更新的交通信号灯状态重新确定状态更新后的各时刻(包括当前时刻)的交通信号灯状态，并且显示设备30上显示控制单元60产生的更新的交通信号灯状态。另一方面，如果拍摄的图片中的交通信号灯的状态没有更新，则显示控制单元60产生的各时刻的交通信号灯状态不被更新，而是按时间顺序在显示设备30上依次显示相应的交通信号灯状态。

可以看到，不论车辆驾驶中是否存在信号灯盲区(驾驶员看不到交通信号灯)，信号灯盲区辅助系统100都在车辆中显示有关交通信号灯状态的信息。所显示的交通信号灯状态信息是根据拍摄设备10拍摄的图片中的交通信号灯状态更新而更新的，因此，所显示的交通信号灯状态信息与实际交通信号灯状态基本相符。

由于存在这样的场景，即在拍摄设备10拍摄的图片中，原本存在的交通信号灯消失了，这可能是本车辆与前方大型物体(例如大型车辆)距离缩短导致拍摄设备10的视野也被前方大型物体遮挡而不能拍摄到前方的交通信号灯。在这种情况下，信号生成模块63基于处理模块62先前确定的各时刻交通信号灯状态指示在显示设备30中显示该状态，即不对先前产生的各时刻交通信号灯状态进行更新。

根据一种具体的实施方式，获取模块61在初始时刻t0获取交通信号灯的初始图片。初始时刻t0是指信号灯盲区辅助系统100的拍摄设备10能够拍摄到述交通信号灯的时刻。也就是说，初始时刻t0是车辆行进至道路交叉口附近并且拍摄设备10能够捕获到(例如首次捕获到)交通信号灯的时刻。初始图片是在该初始时刻被拍摄的图片。信号灯的状态至少包括信号灯颜色、箭头方向、倒计时(即信号灯的当前信号的剩余时间)。

处理模块62对该初始图片进行识别，以确定交通信号灯在初始时刻t0的初始状态，并且根据初始状态计算出交通信号灯在初始时刻之后的各时刻的计算状态。例如，处理模块62根据交通信号灯在初始时刻t0的信号灯状态和剩余时间计算出初始时刻t0之后各时刻的信号灯状态。

信号生成模块63根据计算状态生成用于在车辆中显示的交通信号灯的状态信息，以便辅助车辆驾驶。用于在车辆中显示的状态信息至少包括交通信号灯的当前信号(颜色、方向)以及所计算的该信号的剩余时间。

可以理解，控制单元60本身的计时与交通信号灯的计时之间可能存在精度上的差异、延迟方面的差异，交通信号灯有时会出现轻微的故障(例如暂时停顿等等)，拍摄设备10拍摄的图片可能异常，以及其它可能有的因素，导致处理模块62计算出的计算状态以及车辆中显示的状态信息与交通信号灯的实际状态不符，例如车辆中显示的剩余时间比交通信号灯上显示的时间快或慢，这会影响客户体验。为了减小这些问题导致的显示状态与角铁信号灯实际状态之间的差异，根据本申请的一种可行实施方式，可以对处理模块62计算出的计算状态进行修正。为此，控制单元60还包括比较模块64和判断模块65。下面描述带有修正功能的控制单元60的各个模块的操作。

获取模块61在第一采样时刻t1获取第一采样图片。第一采样时刻t1是在初始时刻t0之后并且从初始时刻t0经过了一个或多个采样周期(采样时间间隔)的时刻。第一采样图片包括交通信号灯在第一采样时刻t1的第一采样状态，即，交通信号灯在第一采样时刻t1被拍摄设备10拍摄到的状态。比较模块64将第一采样状态与第一计算状态相比较。第一计算状态表示处理模块62所计算的交通信号灯在第一采样时刻t1的计算状态。也就是说，比较模块64将交通信号灯在第一采样时刻t1的拍摄状态与相应计算状态相比较。采样周期为交通信号灯跳变时间的整数分之一。例如，交通信号灯的跳变时间为1s，则采样周期为整数分之一秒。

接着，判断模块65对比较结果进行判断。当判断模块65判定为第一采样状态与第一计算状态相一致时，信号生成模块63根据第一计算状态生成用于显示的状态信息。也就是说，当处理模块62计算的交通信号灯的计算状态与相应时刻的拍摄状态相一致时，信号生成模块63直接根据计算状态生成用于显示的信息。

当判断模块65判定为第一采样状态与第一计算状态不一致时，比较模块64进一步将第一采样状态与第一计算状态之间的差与预定阈值相比较。预定阈值与采样周期相关联，优选地，预定阈值与采样周期相等。

当判断模块65判定为第一采样状态与第一计算状态之间的差小于等于预定阈值时，信号生成模块63用第一采样状态来更新第一计算状态，并根据更新后的第一计算状态生成用于显示的状态信息。采样状态与计算状态之间的差表示：在采样状态中的交通信号灯的信号的剩余时间与在计算状态中的计算剩余时间之间的差值。

下面假借上述控制单元60，以采样周期为0.2s(即，信号灯跳变时间1s的1/5)，预定阈值为0.2s为例进行说明。假设初始时刻t0的实际倒计时时间为58.85s，交通信号灯上显示的剩余时间为58s，则在间隔一个采样周期0.2s之后的采样时刻的情况是：实际倒计时时间为58.65s，交通信号灯上显示的剩余为58s，处理模块62根据初始状态中的剩余时间58s计算出的计算状态中剩余时间为57.8s，这样，在拍摄状态(采样状态)中的剩余时间与计算状态中的剩余时间之间的差为0.2s，等于预定阈值0.2s，则根据采样状态中的剩余时间58s来更新计算状态中的剩余时间，并根据更新后的剩余时间58s来生成显示信息。处理模块62接着以更新后的剩余时间58s执行后续的计算。

由以上描述可见，用拍摄状态中的倒计时信息更新计算状态中的倒计时信息，并以更新后的信息作为继续计算的基础，能够使得后续的计算更加准确。

当判断模块65判定为第一采样状态与第一计算状态之间的差大于预定阈值时，控制单元60将执行如下操作以便确定是否存在异常状况。异常状况包括拍摄设备10无法拍摄到交通信号灯而导致拍摄信号中断的情况。当然，异常状况也可以包含其他情况，例如，交通信号灯因损坏而无法正常显示倒计时信息等。

获取模块61在第二采样时刻t2获取第二采样图片。第二采样时刻t2是在第一采样时刻t1之后并且与第一采样时刻t1间隔一个或多个采样周期的时刻。第二采样图片包括交通信号灯在第二采样时刻t2的第二采样状态。

比较模块64将第二采样状态与第二计算状态相比较。第二计算状态表示处理模块62所计算的交通信号灯在第二采样时刻t2的计算状态。也就是说，比较模块64将交通信号灯在第二采样时刻t2的拍摄状态与相应计算状态相比较。

当判断模块65判定为第二采样状态与第二计算状态相一致时，判断模块65判定为第一采样图片为失效图片，并且信号生成模块63根据第二计算状态生成用于显示的状态信息。也就是说，当在第一采样时刻t1出现计算状态与拍摄状态之间的差大于预定阈值时，进一步比较第二采样时刻t2的计算状态与拍摄状态之间的差。当在第二采样时刻t2的拍摄状态与计算状态相一致时，认为第一拍摄时刻t1的拍摄图片中的信息无效。接着，控制单元60设置成自第二采样时刻t2之后的下一个采样时刻起(即，自第二采样时刻t2经过了一个采样周期的时刻)，循环执行上述自初始时刻t0起至第二采样时刻t2的操作。

当判断模块65判定为第二采样状态与第二计算状态之间的差小于等于预定阈值时，信号生成模块63用第二采样状态来更新第二计算状态，并根据更新后的第二计算状态生成用于显示的状态信息。在该情况下，用拍摄状态中的倒计时信息更新计算状态中的倒计时信息，并以更新后的信息作为继续计算的基础，能够使得后续的计算更加准确。接着，控制单元60设置成自第二采样时刻t2之后的下一个采样时刻起(即，自第二采样时刻t2经过了一个采样周期的时刻)，循环执行上述自初始时刻t0起至第二采样时刻t2的操作。

当判断模块65判定为第二采样状态与第二计算状态之间的差大于预定阈值时，判断模块65判定为出现异常状况。也就是说，当在第一采样时刻t1出现计算状态与拍摄状态之间的差大于预定阈值，并且在第二采样时刻t2的计算状态与拍摄状态之间的差也大于预定阈值时，认为出现了异常状况，例如，拍摄设备10无法拍摄到交通信号灯而导致拍摄信号中断。

在出现异常状况时，处理模块62继续根据初始状态计算出计算状态，并且信号生成模块63除了生成根据计算状态的显示信息以外，还生成用于显示异常状况的显示信息。接着，控制单元60设置成自拍摄设备10能够再次拍摄到交通信号灯的时刻起，循环执行上述自初始时刻t0起至第二采样时刻t2的操作。

在出现异常状况时，拍摄设备10无法拍摄到交通信号灯，但是在有些情况下能够拍摄到辅助信号灯，辅助信号灯例如是人行道信号灯。在该情况下，控制单元60还可以借助辅助信号灯的信息的来修正计算状态，以使得计算状态的结果更加准确。例如，获取模块61获取包含辅助信号灯的状态的辅助图片。处理模块62借助辅助信号灯的状态修正计算状态。信号生成模块63根据修正后的计算状态生成用于显示的信息。

在一个实施例中，获取模块61在当前时刻获取包含人行道信号灯的信号的剩余时间的图片。获取模块61还从拍摄设备10所拍摄的历史图片中选取同时包含交通信号灯的状态和辅助信号灯的状态的图片。处理模块62计算在该图片中的交通信号灯的信号的剩余时间与人行道信号灯的信号的剩余时之间的差。处理模块62根据该差和当前时刻的人行道信号灯的信号的剩余时间来修正交通信号灯的计算状态中的剩余时间。

由以上描述可见，控制单元60根据已获取的交通信号灯的状态信息计算交通信号灯在之后时间的状态，并提供给车辆。因此，根据本发明的实施例的技术方案，即便拍摄设备10无法拍摄到交通信号灯(例如，车辆进入交通信号灯盲区)，控制单元60也能够为车辆提供交通信号灯的状态信息，以便车辆制定合适的驾驶策略，从而实现了车辆的辅助驾驶。并且，根据本发明的实施例，控制单元60还能够不断地根据拍摄的实际信息来修正计算值，采用修正后的计算值来进行后续的计算，使得整个计算过程更加准确。

另外，对于没有倒计时信息的交通信号灯，控制单元60可以进一步构造成能够通过计算为车辆提供交通信号灯将会切换状态的时间信息(例如借助导航设备或地图云平台提供的数据，或是借助交通信号灯设备提供的无线信号-如果有的话)，从而使得车辆根据该时间信息控制合理的行驶速度，进而优化了交通流量。

图3示出了根据本发明一种可行实施方式的用于信号灯盲区辅助系统100的控制方法300。可选地，控制方法300由上述控制单元60来实施。但是需要指出的是，本申请的原理并不局限于特定类型和结构的控制单元。如图3所示，在步骤310中，在初始时刻获取初始图片。在步骤320中，识别所述初始图片以确定初始图片中包含的交通信号灯在初始时刻的初始状态，根据所述初始状态计算出所述交通信号灯在所述初始时刻之后的计算状态。在步骤330中，根据所述计算状态生成用于在车辆中显示的所述交通信号灯的状态信息，以便辅助车辆驾驶，尤其是存在信号灯盲区时。

应当理解，控制单元60的操作过程同样适用于控制方法300。因此，以上关于控制单元60描述的各种相关特征也同样适用于此。

按照本发明的实施例还提供一种机器可读存储介质，其上存储有可执行指令，其中，所述可执行指令当被执行时使得机器执行方法300。

虽然前面描述了一些实施方式，这些实施方式仅以示例的方式给出，而不意于限制本发明的范围。所附的权利要求及其等同替换意在涵盖本发明范围和主旨内做出的所有修改、替代和改变。