用于检测后挡板位置并基于后挡板位置调节用户接口设备的操作的系统和方法与流程

文档序号:18332747发布日期:2019-08-03 12:48阅读:258来源:国知局
用于检测后挡板位置并基于后挡板位置调节用户接口设备的操作的系统和方法与流程

本部分中提供的信息是为了概括地呈现本公开的背景。当前署名的发明人的就在此

背景技术:
部分中所描述的程度的工作,以及说明书中可能尚未构成提交时的现有技术的各方面,无论是以明确或隐含的方式均不被视为针对于本公开的现有技术。

本公开涉及用于检测后挡板位置并基于后挡板位置调节用户接口设备的操作的系统和方法。

已经研发出了在车辆反向行驶时对驾驶员提供辅助的驾驶员辅助系统。某些驾驶员辅助系统在车辆向后移动时检测车辆后方的物体,并且当车辆后方的物体处于车辆的预定距离内时发出警报。某些驾驶员辅助系统包括安装到车辆后端的捕获车辆后方区域的图像的摄像头以及安装在车辆驾驶室内的对图像加以显示的电子显示器。在某些情况下,电子显示器还在图像上显示引导线,这些引导线表示的是车辆的预期行驶路径。

在其他情况下,电子显示器显示出车辆和车辆周围区域的俯视图图像。车辆的俯视图图像存储在存储器中。基于安装在车辆所有侧面上的摄像头所捕获的图像,生成车辆周围区域的俯视图图像。



技术实现要素:

根据本公开的第一系统包括物体识别模块、后挡板位置模块和用户接口设备(uid)控制模块。物体识别模块配置成在由安装到后挡板的摄像头捕获的第一图像中识别车辆的保险杠和车辆的后挡板中的至少一个。后挡板位置模块配置成当在由摄像头捕获的第一图像中识别出保险杠时确定后挡板是关闭的,并且当出现下列情形中的至少一种时确定后挡板是打开的:在由摄像头捕获的第一图像中识别出后挡板;以及在由摄像头捕获的第一图像中没有识别出保险杠。uid控制模块配置成控制用户接口设备调节以下中的至少一个:用户接口设备显示的第二图像;用户接口设备播放声音的第一时间;以及用户接口设备基于后挡板是打开的还是关闭的来产生振动的第二时间。

在一个示例中,后挡板位置模块配置成当在由摄像头捕获的第一图像中识别出后挡板时确定后挡板是打开的。

在一个示例中,后挡板位置模块配置成当在由摄像头捕获的第一图像中没有识别出保险杠时确定后挡板是打开的。

在一个示例中,第一系统还包括物体检测模块,该物体检测模块配置成检测由摄像头捕获的第一图像中的物体,并且物体识别模块配置成基于物体的形状、物体的尺寸和物体的位置中的至少一个来将物体识别为保险杠和后挡板中的一个。

在一个示例中,物体识别模块配置成当物体的形状对应于预定形状,物体的尺寸对应于预定尺寸并且物体的位置对应于预定位置时将物体识别为保险杠和后挡板中的一个。

在一个示例中,物体识别模块配置成当物体出现在由摄像头捕获的第一图像的底部边缘处且出现以下情形中的至少一种时将物体识别为保险杠:物体的形状对应于保险杠的预定形状;以及物体的尺寸对应于保险杠的预定尺寸。

在一个示例中,物体识别模块配置成当物体出现在由摄像头捕获的第一图像的顶部边缘处且出现以下情形中的至少一种时将物体识别为后挡板:物体的形状对应于后挡板的预定形状;以及物体的尺寸对应于后挡板的预定尺寸。

根据本公开的第二系统包括物体识别模块、后挡板位置模块和用户接口设备(uid)控制模块。物体识别模块配置成在由安装到车辆的后挡板的第一摄像头捕获的第一图像中识别第一物体。后挡板位置模块配置成基于在第一摄像头捕获的第一图像中是否识别出第一物体来确定后挡板是打开的还是关闭的。uid控制模块配置成执行以下中的至少一项:(i)控制用户接口设备显示车辆后方的第一区域的透视图图像,从而在透视图图像上显示表示车辆的行进路径的引导线,并基于后挡板是打开的还是关闭的来调节引导线;以及(ii)控制用户接口设备以在车辆接近位于车辆后方并处于车辆的第一距离内的第二物体时警告驾驶员,并基于后挡板是打开的还是关闭的来调节第一距离。

在一个示例中,uid控制模块配置成控制用户接口设备显示车辆后方的第一区域的透视图图像,从而在透视图图像上显示引导线,并基于后挡板是打开的还是关闭的来调节引导线。

在一个示例中,引导线指示从车辆到车辆后方的至少一个位置的距离,并且uid控制模块配置成执行以下中的至少一项:增加引导线的长度以及在后挡板打开时增加引导线之间的间距。

在一个示例中,uid控制模块配置成:控制用户接口设备在车辆接近第二物体并且第二物体处于车辆的第一距离内时警告驾驶员;并且基于后挡板是打开的还是关闭的,调节第一距离。

在一个示例中,uid控制模块配置成当后挡板关闭时将第一距离调节到第一值并且当后挡板打开时将第一距离调节到大于第一值的第二值。

在一个示例中,uid控制模块配置成控制用户接口设备显示车辆和车辆周围的第二区域的俯视图图像,并基于后挡板是打开的还是关闭的来调节俯视图图像。

在一个示例中,uid控制模块配置成:控制用户接口设备以基于由第一摄像头捕获的第一图像的第一部分和由安装在车辆的侧壁上的第二摄像头捕获的第二图像的第二部分来生成俯视图图像;并且基于后挡板是打开的还是关闭的来调节第一图像的第一部分和第二图像的第二部分中的至少一个。

根据本公开的第三系统包括摄像头、摄像头致动器、物体识别模块、后挡板位置模块和用户接口设备(uid)控制模块。摄像头配置成安装到车辆的后挡板并且配置成捕获车辆后方的区域的图像。摄像头致动器配置成:当后挡板关闭时将摄像头调节到第一位置;并且当后挡板打开时将摄像头调节到第二位置。当摄像头处于第一位置并且后挡板关闭时,摄像头的视野包括车辆的保险杠的一部分。当摄像头处于第二位置并且后挡板打开时,摄像头的视野包括后挡板的一部分。物体识别模块配置成在由摄像头捕获的图像中识别保险杠和后挡板中的至少一个。后挡板位置模块配置成:当在由摄像头捕获的图像中识别出保险杠的一部分时,确定后挡板是关闭的;并且当在由摄像头捕获的图像中识别出后挡板的一部分时,确定后挡板是打开的。uid控制模块配置成执行以下中的至少一项:(i)控制用户接口设备显示车辆后方的第一区域的透视图图像,从而在透视图图像上显示表示车辆的行进路径的引导线,并基于后挡板是打开的还是关闭的来调节引导线;以及(ii)控制用户接口设备以在车辆接近位于车辆后方并处于车辆的第一距离内的第一物体时警告驾驶员,并基于后挡板是打开的还是关闭的来调节第一距离。

在一个示例中,第三系统还包括物体检测模块,该物体检测模块配置成检测由摄像头捕获的图像中的第二物体,并且物体识别模块配置成基于第二物体的形状、第二物体的尺寸和第二物体的位置中的至少一个来将第二物体识别为保险杠和后挡板中的一个。

在一个示例中,物体识别模块配置成当第二物体出现在由摄像头捕获的图像的底部边缘处且出现以下情形中的至少一种时将第二物体识别为保险杠:第二物体的形状对应于保险杠的一部分的预定形状;以及第二物体的尺寸对应于保险杠的一部分的预定尺寸。

在一个示例中,物体识别模块配置成当第二物体出现在由摄像头捕获的图像的顶部边缘处且出现以下情形中的至少一种时将第二物体识别为后挡板:第二物体的形状对应于后挡板的一部分的预定形状;以及第二物体的尺寸对应于后挡板的一部分的预定尺寸。

在一个示例中,uid控制模块配置成控制用户接口设备显示车辆后方的第一区域的透视图图像,从而在透视图图像上显示引导线,并基于后挡板是打开的还是关闭的来调节引导线。

在一个示例中,uid控制模块配置成:控制用户接口设备在车辆接近第一物体并且第一物体处于车辆的第一距离内时警告驾驶员;并且基于后挡板是打开的还是关闭的,调节第一距离。

根据详细描述、权利要求和附图,本公开的其他应用领域将变得显而易见。详细描述和具体示例仅用于说明的目的,并不旨在限制本公开的范围。

附图说明

根据详细描述和附图将更全面地理解本公开,其中:

图1是根据本发明原理的示例性车辆的透视图。

图2和图3是图1的车辆中所包括的后车身部分、保险杠、后挡板、后挡板摄像头和摄像头致动器的示例的侧视图;

图4是图1的车辆中所包括的示例性驾驶员辅助控制模块的功能框图;

图5和图6是由图1的车辆中所包括的用户接口设备显示的透视图图像和引导线的示例;

图7和图8是由用户接口设备显示的俯视图图像的示例;以及

图9是示出了用于检测后挡板位置并基于后挡板位置调节用户接口设备的操作的示例性方法的流程图。

在附图中,附图标记可以重复用来标识相似和/或相同的元件。

具体实施方式

某些驾驶员辅助系统基于安装到车辆后保险杠上的超声波传感器和安装到车辆后挡板上的后置摄像头所提供的输入而向车辆驾驶员提供辅助。在一个示例中,一种系统使用超声波传感器确定车辆与位于车辆后方的物体之间的距离,并且当物体处于车辆的预定距离内时警告驾驶员。在另一示例中,一种系统包括显示由后摄像头捕获的图像的电子显示器,该图像重叠有表示车辆的预期行进路径的引导线。在另一示例中,一种系统基于由后置摄像头以及安装到车辆前部和侧面的其他摄像头捕获的图像生成车辆和车辆周围区域的俯视图图像,并且电子显示器示出该俯视图图像。

如果后挡板打开并且后置摄像头的视野不变,则后置摄像头将会捕获后挡板正下方地面的图像。由于此图像不会对驾驶员产生辅助作用,因此,某些驾驶员辅助系统在后挡板打开时对后置摄像头的视野进行调节,以获得车辆后方区域的图像。在一个示例中,后置摄像头旋转的量等于后挡板在打开时所旋转的量,并且后置摄像头在与后挡板的打开方向相反的方向上旋转。

尽管在后挡板打开时可以以上述方式调节摄像头的视野,但是,在后挡板打开时的后置摄像头图像仍可能与在后挡板关闭时的后置摄像头图像不同。后置摄像头图像的这种差异是因为在后挡板打开时后置摄像头的高度有所降低,并且还因为在后挡板打开时后置摄像头在前后方向上进一步向后设置。由于存在着后置摄像头图像的这种差异,引导线可能无法如期望的那样精确地表示车辆的预期行进路径。另外,位于打开的后挡板左侧和右侧的区域可能没有在车辆和车辆周围区域的俯视图图像中示出。

由于超声波传感器安装到了后保险杠而不是后挡板,因此,当后挡板打开时,超声波传感器的位置可以保持不变。然而,在确定当车辆正在接近位于车辆后方的物体时何时对驾驶员发出警告这一方面,系统可以假定后挡板是关闭的。因此,如果后挡板是打开的,则系统可能不会根据期望时间来警告驾驶员。

根据本公开的驾驶员辅助系统解决了这些问题,具体手段在于:确定后挡板何时打开或关闭并且在后挡板打开或关闭时调节引导线、俯视图图像和/或警告标准。在一个示例中,当车辆接近位于车辆后方的物体并且后挡板打开时,系统更早地警告驾驶员。在另一个示例中,系统调节引导线的曲率、引导线的长度和/或引导线之间的间距,以说明在后挡板打开时由后置摄像头捕获的图像的变化。在另一个示例中,系统使用由侧摄像头捕获的图像的更大一部分来显示俯视图图像中打开的后挡板的左侧和右侧的区域。

系统可以基于来自后挡板位置传感器的输入来确定后挡板的位置。不过,后挡板位置传感器的成本增大了车辆的成本。因此,系统可以基于在后置摄像头捕获的图像中是否识别出后保险杠或后挡板来确定后挡板位置。在一个示例中,当在图像中识别出后保险杠的后部时,系统确定后挡板是关闭的,并且当在图像中识别出后挡板的上部时,系统确定后挡板是打开的。

现参照图1,车辆10包括车身12、可相对于车身12绕铰链16枢转的后挡板14、后保险杠18、一个或多个摄像头20、摄像头致动器24、一个或多个超声波传感器26、电子显示器28、扬声器30、一个或多个振动器32和驾驶员辅助模块34。车身12包括乘客室36和载货台38,并且仪表板40、方向盘42和驾驶员座椅44位于乘客室36内。尽管在图1中将车辆10描绘为皮卡车,但是本公开的原理适用于具有后挡板的任何车辆。

摄像头20包括前置摄像头20-1、后置摄像头20-2、左侧摄像头20-3和右侧摄像头20-4。前置摄像头20-1安装到乘客室36并捕获车辆10前方的区域的图像。后置摄像头20-2安装到后挡板14并捕获车辆10后方的区域的图像。左侧摄像头20-3安装到乘客室36和/或载货台38的左侧并捕获车辆10左侧的区域的图像。右侧摄像头20-4安装到乘客室36和/或载货台38的右侧并捕获车辆10右侧的区域的图像。在一个示例中,左侧摄像头20-3和右侧摄像头20-4中的每一个安装到车辆10的外后视镜。

现参考图2和图3,当后挡板14打开或关闭时,摄像头致动器24调节后置摄像头20-2的位置。当后挡板14关闭(或向上)时,摄像头致动器24将后置摄像头20-2调节到第一位置,如图2所示。当后置摄像头20-2处于第一位置时,后置摄像头20-2具有在第一边界46-1与第二边界46-2之间延伸的第一视野46。因此,第一视野46包括后保险杠18的后部18-1和位于车辆10后方的地面50上的物体48。

当后挡板14打开(或向下)时,摄像头致动器24将后置摄像头20-2调节到第二位置,如图3所示。当后置摄像头20-2处于第二位置时,后置摄像头20-2具有在第一边界52-1与第二边界52-2之间延伸的第二视野52。因此,第二视野52包括后挡板14的上部14-1和位于车辆10后方的地面50上的物体48。

当在第一位置与第二位置之间调节后置摄像头20-2时,摄像头致动器24使后置摄像头20-2旋转第一量(例如,大约90度)。当后挡板14在其打开位置与关闭位置之间进行调节时,第一量大约等于后挡板14绕铰链16旋转的量。另外,摄像头致动器24在后挡板14打开时使后置摄像头20-2在第一方向54上旋转并且在后挡板14关闭时使后置摄像头20-2在第二方向56上旋转。第一方向54与后挡板14打开时后挡板14旋转的方向相反,而第二方向56与后挡板14关闭时后挡板14旋转的方向相反。

如果在后挡板14打开时摄像头致动器24没有使后摄像头20-2旋转,则后置摄像头20-2将在后挡板14打开时捕获后挡板14正下方的地面50的图像。这样的图像不会显示出车辆10后方的物体,因此也不会向车辆10的驾驶员提供辅助。相反,由于当后挡板14以上述方式打开时摄像头致动器24使后摄像头20-2旋转,因此,在后挡板14打开时由后置摄像头20-2捕获的图像显示出了车辆10后方的物体。然而,由于后置摄像头20-2的高度出现了差异,因此,在后挡板14打开时由后置摄像头20-2捕获的图像与在后挡板14关闭时由后置摄像头20-2捕获的图像不同。如图2和图3所示,相对于后挡板14打开时,后挡板14关闭时的后置摄像头20-2的高度更大。

摄像头致动器24可以是机械或机电致动器。在一个示例中,摄像头致动器24包括刚性固定到后挡板14的中空球形段以及可旋转地安装到中空球形段的可旋转盘。在本示例中,后置摄像头20-2附接到可旋转盘,并且在后挡板14因为例如重力而打开或关闭时与可旋转盘一起旋转。在另一示例中,摄像头致动器24包括电动马达、一个或多个齿轮和/或一个或多个连杆。在本示例中,齿轮和/或连杆将后置摄像头20-2连接到电动马达,因此,当电动马达旋转时,后置摄像头20-2的位置发生改变。

在各种实施方式中,可以在后挡板14打开或关闭时调节后置摄像头20-2的视野,而无需调节后置摄像头20-2的位置。例如,后置摄像头20-2可以固定在第一位置,而不管后挡板14是打开的还是关闭的,并且当后挡板14关闭时,后置摄像头20-2可以具有图2所示的第一视野46。那么,如果后挡板14是打开的,则可以调节后置摄像头20-2的视角,使得后置摄像头20-2具有图3所示的第二视野52。如果在不调节后置摄像头20-2的位置的情况下调节后置摄像头20-2的视野,则可以省略摄像头致动器24。在本示例中,后置摄像头20-2可以具有180度的最大视野,并且可以仅仅使用后置摄像头20-2的最大视野的一部分来实现第一视野46和第二视野52。

再次参考图1,超声波传感器26安装在后保险杠18中。每个超声波传感器26在车辆10后方的方向上发送超声波,并且在超声波被位于车辆10后方的物体反射之后接收超声波。可以基于从发送超声波的时间到接收到被反射的超声波的时间之间的时段来确定车辆10与位于车辆10后方的物体之间的距离。

电子显示器28可以安装在仪表板40中,或者可以安装在车辆10的用户可以看到电子显示器28的另一位置处。扬声器30可以安装在仪表板40中,或者可以安装在扬声器30产生的声音可以被车辆10的用户听到的另一位置处。振动器32可以安装在方向盘42、驾驶员座椅44和/或车辆10的用户能感觉到由振动器32产生的振动的另一位置。电子显示器28、扬声器30和振动器32可以单独地称为或统称为用户接口设备。

驾驶员辅助模块34接收来自摄像头20和超声波传感器26的输入,并基于所接收的输入来控制电子显示器28、扬声器30和/或振动器32向车辆10的驾驶员提供辅助。在一个示例中,驾驶员辅助模块34基于来自超声波传感器26的输入以上述方式确定与位于车辆10后方的物体相距的距离。然后,当物体处于车辆10的第一距离内时,驾驶员辅助模块34控制扬声器30产生声音警报和/或控制振动器32产生振动警报。在另一示例中,驾驶员辅助模块34基于来自后置摄像头20-2的输入来控制电子显示器28显示车辆10后方区域的透视图图像。

另外,驾驶员辅助模块34可以控制电子显示器28在透视图图像上显示引导线,其中引导线表示车辆10的预期行进路径。基于一个或多个车辆操作条件,驾驶员辅助模块34可以使用车辆操作条件与引导线的长度和形状之间的预定关系来确定引导线的长度和形状。车辆操作条件可以包括方向盘角度、车辆速度和轮距。驾驶员辅助模块34可以分别从方向盘角度传感器(未示出)和车辆速度传感器(未示出)接收方向盘角度和车辆速度。轮距可以是预先确定的。

在另一示例中,驾驶员辅助模块34基于来自一个或多个(例如,所有)摄像头20的输入来控制电子显示器28显示车辆10和车辆10周围区域的俯视图图像。可以预先确定车辆10的俯视图图像并将其存储在驾驶员辅助模块34中。驾驶员辅助模块34可以基于从摄像头20接收的输入来生成车辆10周围区域的俯视图图像。

驾驶员辅助模块34还基于来自后置摄像头20-2的输入来确定后挡板14的位置(例如,打开或关闭),并且基于后挡板位置来调节电子显示器28、扬声器30和/或振动器32的操作。在一个示例中,驾驶员辅助模块34控制扬声器30以在车辆10接近位于车辆10后方的物体时更早地生成声音警报。在另一个示例中,驾驶员辅助模块34控制电子显示器28以基于后挡板位置调节引导线的长度和形状和/或引导线之间的间距。在另一示例中,当控制电子显示器28时,驾驶员辅助模块34调节由用于生成车辆10和车辆10周围区域的俯视图图像的摄像头20捕获的图像的部分和/或调节在将由摄像头20捕获的图像转换为俯视图图图像时所涉及的视频处理(例如,拼接)。

现参考图4,驾驶员辅助模块34的示例性实施方式包括物体检测模块60、物体识别模块62、后挡板位置模块64、摄像头致动器控制模块66和用户接口设备(uid)控制模块68。物体检测模块60检测由后置摄像头20-2捕获的图像中的物体。在一个示例中,当后挡板14如图2所示那样关闭时,物体检测模块60检测后保险杠18的后部18-1和/或车辆10后方的地面50上的物体48。在另一个示例中,当后挡板14如图3所示那样打开时,物体检测模块60检测后挡板14的上部14-1和/或车辆10后方的地面50上的物体48。

物体检测模块60可以基于图像中像素的颜色和/或亮度来检测由后置摄像头20-2捕获的图像中的物体。物体检测模块60可以通过比较图像中像素的颜色和/或亮度来检测图像中的物体的边缘。在一个示例中,物体检测模块60在图像中像素的颜色和/或亮度的变化大于第一预定量的位置处检测到物体的边缘。如果像素的颜色和/或亮度处于边缘像素的颜色和/或亮度的预定范围内,则物体检测模块60可以确定出物体对应于图像中与边缘相邻和/或处于边缘内的连续像素组。当车辆10正在移动或停止时,物体检测模块60可以使用上述技术来检测由后置摄像头20-2捕获的图像中的物体。

物体检测模块60可以通过在车辆10移动时在预定时段内分析像素的颜色和/或亮度来检测作为车辆10中一部分的物体(比如,后挡板14或后保险杠18)。在一个示例中,当在预定车辆运动时段内像素的颜色和/或亮度变化小于预定量时,物体检测模块60检测到图像中的像素对应于车辆10的部件。除非至少预定数量的连续像素满足该标准,否则,物体检测模块60可能不会以这种方式检测到物体。例如,当在预定车辆运动时段内像素的颜色和/或亮度变化小于预定量并且像素组中像素的数量大于或等于预定数量时,物体检测模块60可以检测到图像中连续像素组对应于车辆10的部件。

物体检测模块60输出信号,该信号指示出在由后置摄像头20-2捕获的图像中检测到的物体的尺寸、形状和/或位置。物体检测模块60可以使用表示物体的像素相对于图像的一个或多个外边缘的坐标来传送在图像中检测到的物体的尺寸、形状和/或位置。物体检测模块60输出的信号还可以指示出物体是否是车辆10的一部分。例如,当用于检测物体的标准包括在预定车辆运动时段内像素的颜色和/或亮度变化是否小于预定量时,物体检测模块60输出的信号可以指示出物体是车辆10的一部分。

物体识别模块62基于物体的尺寸、形状和/或位置来识别由后置摄像头20-2捕获的图像中的物体。当物体出现在图像的底部边缘70(图5)和/或图像的下半部分72(图5)中时,物体识别模块62可以将物体识别为后保险杠18。当物体的形状对应于后保险杠18的后部18-1的预定形状和/或物体的尺寸对应于后部18-1的预定尺寸时,物体识别模块62可将物体识别为后保险杠18。物体识别模块62可以使用上述位置、尺寸和形状标准中的两个或多个的组合来确定物体是否对应于后保险杠18。

当物体出现在图像的上边缘74(图6)和/或图像的上半部分76(图6)中时,物体识别模块62可以将物体识别为后挡板14。当物体的形状对应于后挡板14的上部14-1的预定形状和/或物体的尺寸对应于上部14-1的预定尺寸时,物体识别模块62可将物体识别为后挡板14。物体识别模块62可以使用上述位置、尺寸和形状标准中的两个或多个的组合来确定物体是否对应于后挡板14。物体识别模块62输出信号,该信号指示出在图像中是否识别出后挡板14和/或保险杠18。

当组装车辆10时,后挡板14的上部14-1和后保险杠18的后部18-1的预定位置、形状和尺寸可以存储在物体识别模块62中。例如,可以在车辆10后方放置背景,这样一来,除了后挡板14和后保险杠18之外的任何物体都不会出现在由后置摄像头20-2捕获的图像中。于是,当后挡板14关闭时,可以将后置摄像头20-2调节到第一位置,并且在图像中检测到的物体的位置、形状和尺寸可以用作保险杠后部18-1的预定位置、形状和尺寸。类似地,当后挡板14打开时,可以将后置摄像头20-2调节到第二位置,并且在图像中检测到的物体的位置、形状和尺寸可以用作后挡板上部14-1的预定形状和尺寸。附加地或替代地,后挡板14的上部14-1和后保险杠18的后部18-1的预定位置、形状和尺寸可以从车辆10的数学和/或三维模型获得。

附加地或替代地,物体识别模块62可以在车辆10移动时获知或调节后挡板14的上部14-1和后保险杠18的后部18-1的预定位置、形状和尺寸。例如,uid控制模块68可以控制电子显示器28和/或扬声器30向驾驶员提示在后挡板14关闭预定时段(例如,5分钟到10分钟的时段)的情况下驾驶车辆10。于是,当车辆10正在移动时,物体检测模块60可以确定由后置摄像头20-2捕获的图像中的哪些像素对应于车辆10的部件。该部件的位置、形状和尺寸可以用作保险杠后部18-1的预定位置、形状和尺寸。可以在后挡板14打开的情况下重复此过程,从而获得后挡板上部14-1的预定位置、形状和尺寸。

后挡板位置模块64基于在后置摄像头20-2捕获的图像中是否识别出后挡板14和/或后保险杠18来确定后挡板14的位置。当在图像中识别出了后保险杠18或其后部18-1时,后挡板位置模块64可以确定后挡板14是关闭的。当在图像中识别出了后挡板14或其上部14-1时,后挡板位置模块64可以确定后挡板14是打开的。附加地或替代地,当在图像中没有识别出后保险杠18或其后部18-1时,后挡板位置模块64可以确定后挡板14是打开的。例如,当在图像中识别出了后挡板14的上部14-1并且在图像中没有识别出后保险杠18的后部18-1时,后挡板位置模块64可以确定后挡板14是打开的。

当在后置摄像头20-2捕获的图像中均没有识别出后挡板14的上部14-1和后保险杠18的后部18-1的预定位置、形状和尺寸时,后挡板位置模块64可以确定后挡板14已经关闭或打开,并且尚未响应于此对后置摄像头20-2的视野进行调节。换言之,当图像中识别的物体不具有与上部14-1和后部18-1的预定位置、形状和尺寸相对应的位置、形状和尺寸时,后挡板位置模块64可以确定后挡板14已经关闭或打开,并且尚未响应于此对后置摄像头20-2的视野进行调节。例如,当在后置摄像头20-2捕获的图像中均没有识别出后挡板14的上部14-1和后保险杠18的后部18-1的预定位置、形状和尺寸并且所确定的最后一个后挡板位置是关闭(假设从确定了最后一个后挡板位置开始,后置摄像头20-2都没有被断电)时,后挡板位置模块64可以确定后挡板14是打开的并且后置摄像头20-2处于第一位置(即,后置摄像头位置对应于后挡板关闭位置)。相反,当在后置摄像头20-2捕获的图像中均没有识别出后挡板14的上部14-1和后保险杠18的后部18-1的预定位置、形状和尺寸并且所确定的最后一个后挡板位置是打开(假设从确定了最后一个后挡板位置开始,后置摄像头20-2都没有被断电)时,后挡板位置模块64可以确定后挡板14是关闭的并且后置摄像头20-2处于第二位置(即,后置摄像头位置对应于后挡板打开位置)。

用于确定后挡板14已经关闭或打开并且尚未响应于此对后置摄像头20-2的视野进行调节的上述技术说明了后挡板14或后保险杠18可能仍然处于后置摄像头20-2的视野内(尽管是其不同的部分)。例如,如果后挡板14从其打开位置(图2)调节到其关闭位置(图3)并且没有响应于此对后置摄像头20-2的视野进行调节,则由后置摄像头20-2捕获的图像可能实际上包括后保险杠18的比后挡板14关闭时更大的部分。然而,图像中包括的后保险杠18的部分将不与后保险杠18的后部18-1的预定位置、形状和尺寸匹配。

后挡板位置模块64输出指示出后挡板位置的信号。由后挡板位置模块64输出的信号还可以指示出后挡板14是否已经关闭或打开和/或是否已经响应于此对后置摄像头20-2的视野进行了调节。例如,后挡板位置模块64输出的信号还可以指示出后挡板14何时打开和后置摄像头20-2何时处于第一位置和/或后挡板14何时关闭和后置摄像头20-2何时处于第二位置。

当后挡板14打开或关闭时,摄像头致动器控制模块66控制摄像头致动器24调节后置摄像头20-2的位置。当后挡板14关闭时,摄像头致动器控制模块66控制摄像头致动器24将后置摄像头20-2调节到第一位置。当后挡板14打开时,摄像头致动器控制模块66控制摄像头致动器24将后置摄像头20-2调节到第二位置。

在各种实施方式中,驾驶员辅助模块34和/或后置摄像头20-2可以包括摄像头控制模块(未示出),该模块在不调节后置摄像头20-2的位置的情况下调节后置摄像头20-2的视野。例如,后置摄像头20-2可以固定在第一位置,而不管后挡板14是打开的还是关闭的,并且当后挡板14关闭时,摄像头控制模块可以调节后置摄像头20-2的视角,使得后置摄像头20-2可以具有图2所示的第一视野46。那么,如果后挡板14是打开的,则摄像头控制模块可以调节后置摄像头20-2的视角,使得后置摄像头20-2具有图3所示的第二视野52。在本示例中,后置摄像头20-2可以具有180度的最大视野,并且摄像头控制模块可以调节后置摄像头20-2的最大视野的哪个部分用来实现第一视野46或第二视野52。如果在不调节后置摄像头20-2的位置的情况下调节后置摄像头20-2的视野,则可以省略摄像头致动器24和摄像头致动器控制模块66。

摄像头致动器控制模块66和/或摄像头控制模块可以基于从后挡板位置模块64输出的信号来确定后挡板14何时打开或关闭。例如,从后挡板位置模块64输出的信号可以指示出后挡板14已经打开并且后置摄像头20-2处于第一位置。响应于此,摄像头致动器控制模块66可以控制摄像头致动器24将后置摄像头20-2调节到第二位置。在另一个示例中,从后挡板位置模块64输出的信号可以指示出后挡板14已经关闭并且后置摄像头20-2处于第二位置。响应于此,摄像头致动器控制模块66可以控制摄像头致动器24将后置摄像头20-2调节到第一位置。

附加地或替代地,摄像头致动器控制模块66和/或摄像头控制模块可以基于来自后挡板位置传感器(未示出)的信号来确定后挡板14何时打开或关闭。后挡板位置传感器可以是确定后挡板14相对于重力的朝向的倾斜计、检测由安装到后挡板14的磁体所产生的磁场的变化的霍尔效应传感器或者检测是否扣上了后挡板14的闩锁的闩锁传感器。如果后挡板位置传感器是闩锁传感器,那么,摄像头致动器控制模块66可以在后挡板14被锁上时确定后挡板14是关闭的,并且在后挡板14未被锁上时确定后挡板14是打开的。如果摄像头致动器控制模块66基于来自后挡板位置模块64的信号(即,独立于后挡板位置传感器)来确定后挡板14何时打开或关闭,则可以省略后挡板位置传感器。

uid控制模块68基于来自摄像头20和超声波传感器26的输入来控制电子显示器28、扬声器30和/或振动器32向车辆10的驾驶员提供辅助。在一个示例中,uid控制模块68基于来自超声波传感器26的输入以上述方式确定与位于车辆10后方的物体相距的距离。然后,当物体处于车辆10的第一距离内时,uid控制模块68控制扬声器30产生声音警报和/或控制振动器32产生振动警报。第一距离可以被称为后部碰撞警告范围。

在另一示例中,uid控制模块68基于来自后置摄像头20-2的输入来控制电子显示器28显示车辆10后方区域的透视图图像。uid控制模块68可以控制电子显示器28显示由后置摄像头20-2捕获的整个图像或仅显示其一部分。另外,uid控制模块68可以控制电子显示器28在透视图图像上显示引导线,其中引导线表示车辆10的预期行进路径。基于一个或多个车辆操作条件,uid控制模块68可以使用车辆操作条件与引导线的长度和形状之间的预定关系来确定引导线的长度和形状。车辆操作条件可以包括方向盘角度、车辆速度和轮距。uid控制模块68可以分别从方向盘角度传感器和车辆速度传感器接收方向盘角度和车辆速度。轮距可以是预先确定的。

在另一个示例中,uid控制模块68基于来自一个或多个(例如,所有)摄像头20的输入来控制电子显示器28显示车辆10和车辆10周围区域的俯视图图像。可以预先确定车辆10的俯视图图像并将其存储在uid控制模块68中。uid控制模块68可以基于从摄像头20接收的输入来生成车辆10周围区域的俯视图图像。

uid控制模块68还基于后挡板14的位置来调节电子显示器28、扬声器30和/或振动器32的操作。在一个示例中,uid控制模块68控制扬声器30和振动器32以在车辆10接近位于车辆10后方的物体时更早地生成声音警报和振动警报。uid控制模块68可以通过如下方式来达到此目的:相对于后挡板14关闭时的第一距离,增大后挡板14打开时的第一距离。由于uid控制模块68控制扬声器30和振动器32在物体处于车辆的第一距离内时产生警报,因此,增大第一距离会使得警报更快产生。

在另一个示例中,uid控制模块68控制电子显示器28以基于后挡板位置调节引导线的长度和形状和引导线之间的间距。图5和图6示出了该控制方面。图5示出了当后挡板14关闭时由后置摄像头20-2捕获的并由电子显示器28显示的透视图图像80。图5还示出了当后挡板14关闭时由uid控制模块68产生的并由电子显示器28显示的引导线82。引导线82包括指示出车辆10的车轮的预期行进路径的车轮线84以及指示出车辆10的最后方边缘与透视图图像80中的位置之间的距离的距离线86。距离线86包括:第一距离线86-1,表示与最后方边缘相距的第一距离(例如,1米);第二距离线86-2,表示与最后方边缘相距的第二距离(例如,2米);第三距离线86-3,表示与最后方边缘相距的第三距离(例如,3米);第四距离线86-4,表示与最后方边缘相距的第四距离(例如,4米);以及第五距离线86-5,表示与最后方边缘相距的第五距离(例如,5米)。

图6示出了当后挡板14打开时由后置摄像头20-2捕获的并由电子显示器28显示的透视图图像90。图6还示出了结合图5讨论的引导线82,以及当后挡板14打开时由uid控制模块68产生的并由电子显示器28显示的引导线92。引导线92包括车轮线94和距离线96,它们分别类似于车轮线84和距离线86。然而,uid控制模块68已经相对于距离线86之间的间距调节了距离线96之间的间距,以说明在后挡板14打开时后置摄像头20-2的高度和朝向的变化。因此,与图6中的距离线86相比,距离线96精确地反映了从车辆10的最后方边缘到后置摄像头20-2捕获的图像中的位置的距离。

再次参考图4,当控制电子显示器28时,uid控制模块68还可以调节由用于生成车辆10和车辆10周围区域的俯视图图像的摄像头20所捕获的图像的部分。此控制方面在图7和图8中进行了示出。图7示出了当后挡板14关闭时车辆10和车辆10周围区域的俯视图图像100。uid控制模块68基于由摄像头20捕获的图像生成俯视图图像100,并控制电子显示器28显示俯视图图像100。在各种实施方式中,uid控制模块68可以包含生成如上所述的俯视图图像100的视频处理模块。

车辆10周围区域包括车辆10前方的第一矩形区域102、车辆10后方的第二矩形区域104、车辆10左侧的第三矩形区域106以及车辆10右侧的第四矩形区域108。uid控制模块68可以分别基于由第一摄像头20-1、第二摄像头20-2、第三摄像头20-3和第四摄像头20-4捕获的图像来生成第一矩形区域102、第二矩形区域104、第三矩形区域106和第四矩形区域108的俯视图图像。例如,uid控制模块68可以选择由后置摄像头20-2捕获的透视图图像的一部分或一定的百分比(例如,小于100%),并将透视图图像的所选部分转换为第二矩形区域104的俯视图图像。uid控制模块68可以以类似方式生成第一矩形区域102、第三矩形区域106和第四矩形区域108的俯视图图像。

图8示出了当后挡板14打开时车辆10和车辆10周围区域的俯视图图像110。uid控制模块68基于由摄像头20捕获的图像生成俯视图图像110,并控制电子显示器28显示俯视图图像110。车辆10周围区域包括车辆10前方的第一矩形区域112、车辆10后方的第二矩形区域114、车身12左侧的第三矩形区域116、车身12右侧的第四矩形区域118、后挡板14左侧的第五矩形区域120以及后挡板14右侧的第六矩形区域122。

第一矩形区域112、第三矩形区域116和第四矩形区域118与图7中示出的第一矩形区域102、第三矩形区域106和第四矩形区域108相同。不过,由于后挡板14在图8中是打开的,因此,第二矩形区域114向后移位,并且第二矩形区域114的尺寸相对于图7的第二矩形区域104有所减小。因此,除了第三矩形区域104和第四矩形区域106之外,车辆10左侧和右侧的区域分别还包括第五矩形区域120和第六矩形区域122。

为了说明因为后挡板14打开而导致的第二矩形区域114的向后移位,uid控制模块68可以使用由第三摄像头20-3和第四摄像头20-4捕获的图像的更大部分。例如,uid控制模块68可以使用由第三摄像头20-3捕获的图像来生成第三矩形区域116和第五矩形区域120这两者的俯视图图像,而不是仅生成第三矩形区域116的俯视图图像。类似地,uid控制模块68可以使用由第四摄像头20-4捕获的图像来生成第四矩形区域118和第六矩形区域122这两者的俯视图图像,而不是仅生成第四矩形区域118的俯视图图像。

现参考图9,用于检测后挡板14的位置并基于后挡板位置调节电子显示器28、扬声器30和/或振动器32的操作的示例性方法开始于130。在图4各模块的背景中对该方法进行描述。然而,执行该方法的步骤的特定模块可以与下面提到的模块不同,或者该方法可以与图4的模块分开实现。

在132处,物体检测模块60检测由后置摄像头20-2捕获的图像中的物体。在134处,物体识别模块62确定在由后置摄像头20-2捕获的图像中检测到的物体是否对应于后保险杠18。如果在由后置摄像头20-2捕获的图像中检测到的物体对应于后保险杠18,则该方法在136处继续进行。否则,该方法在138处继续进行。

在136处,后挡板位置模块64确定后挡板14是关闭的。在140处,uid控制模块68将车辆10和车辆10周围区域的后部碰撞警告范围、引导线和/或俯视图图像调节到针对何时关闭后挡板14的预定设置。例如,uid控制模块68可以将第一距离调节到第一预定值,将距离引导线之间的间距调节到第二预定值,和/或将由第三摄像头20-3和第四摄像头20-4捕获的图像的部分调节到第一百分比。

在138处,物体识别模块62确定在由后置摄像头20-2捕获的图像中检测到的物体是否对应于后挡板14。如果在由后置摄像头20-2捕获的图像中检测到的物体对应于后挡板14,则该方法在142处继续进行。否则,该方法在144处继续进行。

在142处,后挡板位置模块64确定后挡板14是打开的。在146处,uid控制模块68将车辆10和车辆10周围区域的后部碰撞警告范围、引导线和/或俯视图图像调节到针对何时打开后挡板14的预定设置。例如,uid控制模块68可以将第一距离调节到第三预定值,将距离引导线之间的间距调节到第四预定值,和/或将由第三摄像头20-3和第四摄像头20-4捕获的图像的部分调节到第二百分比。第一百分比和第二百分比可以是预定的和/或第二百分比可以大于第一百分比。

在144处,后挡板位置模块64确定后挡板14的位置,并且摄像头致动器控制模块66基于后挡板位置来控制摄像头致动器24调节后置摄像头20-2的位置。例如,如果所确定的最后一个后挡板位置是关闭,则后挡板位置模块64确定后挡板14是打开的。因此,摄像头致动器控制模块66控制摄像头致动器24将后置摄像头20-2调节到第二位置。相反,如果所确定的最后一个后挡板位置是打开,则后挡板位置模块64确定后挡板14是关闭的。因此,摄像头致动器控制模块66控制摄像头致动器24将后置摄像头20-2调节到第一位置。

在各种实施方式中,摄像头致动器控制模块66可以独立于由后挡板位置模块64确定的后挡板位置来控制摄像头致动器24。例如,摄像头致动器控制模块66可以基于来自后挡板位置传感器的输入来控制摄像头致动器24,如上所述。在各种实施方式中,可以省略138。另外,如果在134处物体识别模块62确定了在由后置摄像头20-2捕获的图像中检测到的物体没有对应于后保险杠18,那么,该方法可以直接进行到142。

前面的描述在本质上仅仅是说明性的,决不是旨在限制本公开、其应用或用途。本公开的广泛教导可以通过各种形式来实现。因此,尽管本公开包括了特定示例,但是本公开的真实范围不应受到如此限制,这是因为其他修改在研究附图、说明书和以下权利要求书后将变得明显。应该理解的是,在不改变本公开原理的情况下,方法内的一个或多个步骤可以以不同顺序(或同时地)执行。此外,尽管以上将每个实施例描述为具有某些特征,但是结合本公开的任何实施例描述的那些特征中的任何一个或多个特征可以实现在任何其他实施例的特征中和/或与任何其他实施例的特征进行组合,即使该组合没有进行明确描述。换句话说,所描述的实施例不是相互排斥的,并且一个或多个实施例相互之间的置换仍然落在本公开的范围内。

采用各种术语来描述元件之间(例如,模块、电路元件、半导体层等之间)的空间及功能关系,所述术语包括“连接”、“接合”、“联接”、“相邻”、“邻近”、“在......之上”、“上方”、“下方”和“设置”。除非明确地描述为“直接的”,否则当在上述公开内容中描述第一元件与第二元件之间的关系时,该关系可以是在第一元件与第二元件之间不存在其他中间元件的直接关系,但也可以是在第一元件与第二元件之间存在(空间上或功能上)一个或多个中间元件的间接关系。如本文所用,短语“a、b和c中的至少一个”应被解释为意指使用非排他性逻辑or的逻辑(a或b或c),并且不应被解释为意指“a中的至少一个、b中的至少一个和c中的至少一个”。

在这些附图中,如箭头所示的箭头方向通常表示图示所关注的信息流(例如数据或指令)。例如,当元件a和元件b交换各种信息但从元素a传输到元素b的信息与图示相关时,箭头可以从元素a指向元素b.这种单向箭头并不意味着没有其他信息从元件b传输到元件a.此外,对于从元件a发送到元件b的信息,元件b可以向元件a发送针对该信息的请求或接收该信息的确认。

在包括以下定义的本申请中,术语“模块”或术语“控制器”可以由术语“电路”来替换。术语“模块”可以指代以下内容,作为以下内容的一部分或者包括以下内容:专用集成电路(asic);数字、模拟或混合模拟/数字分立电路;数字、模拟或混合模拟/数字集成电路;组合逻辑电路;现场可编程门阵列(fpga);执行代码的处理器电路(共享、专用或群组);存储由处理器电路执行的代码的存储器电路(共享、专用或群组);提供所描述功能的其他适合的硬件部件;或以上一些或全部项的组合,如在片上系统中。

模块可以包括一个或多个接口电路。在一些示例中,接口电路可以包括有线或无线接口,这些有线或无线接口连接至局域网(lan)、因特网、广域网(wan)或其组合。本公开的任何给定模块的功能可以在经由接口电路相连接的多个模块之间分布。例如,多个模块可以允许负载平衡。在其他示例中,服务器(也称为远程或云)模块可以实现代表客户端模块的一些功能。

如以上使用的术语“代码”可以包括软件、固件和/或微代码,并且可以指代程序、例程、功能、类别、数据结构和/或对象。术语“共享处理器电路”涵盖了执行来自多个模块的一些或全部代码的单一处理器电路。术语“群组处理器电路”涵盖了与额外的处理器电路相结合来执行来自一个或多个模块的一些或全部代码的处理器电路。对多个处理器电路的引用涵盖了在分立芯片上的多个处理器电路、在单个芯片上的多个处理器电路、单个处理器电路的多个内核、单个处理器电路的多个线程或以上的组合。术语“共享存储器电路”涵盖了存储来自多个模块的一些或全部代码的单一存储器电路。术语“群组存储器电路”涵盖了与额外的存储器相结合来存储来自一个或多个模块的一些或全部代码的存储器电路。

术语“存储器电路”是术语计算机可读介质的子集。如本文使用的,术语“计算机可读介质”没有涵盖通过介质传播的瞬态电气或电磁信号(例如在载波上);术语“计算机可读介质”因此可以被视为有形的且非瞬态的。非瞬态的有形计算机可读介质的非限制性实示例为:非易失性存储器电路(比如,闪存存储器电路、可擦除可编程只读存储器电路或掩膜只读存储器电路)、易失性存储器电路(比如,静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(比如,模拟或数字磁带或硬盘驱动器)以及光存储介质(比如,cd、dvd或蓝光光盘)。

本申请中描述的装置和方法可以部分地或完全地由专用计算机来实施,该专用计算机是通过将通用计算机配置来执行计算机程序中体现的一个或多个具体功能而创建。以上描述的功能块和流程图组成部分和/或其他要素用作软件说明书,可以通过有经验的技术人员或程序员的例程工作转化为计算机程序。

这些计算机程序包括处理器可执行指令,这些处理器可执行指令被存储在至少一个非瞬态的有形计算机可读介质中。这些计算机程序还可以包括或依赖于所存储的数据。这些计算机程序可以涵盖与专用计算机的硬件进行交互的基本输入/输出系统(bios)、与专用计算机的具体器件进行交互的器件驱动器、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。

计算机程序可以包括:(i)待解析的描述性文本,比如,html(超文本标记语言)、xml(可扩展标记语言)或json(javascript对象表示法);(ii)汇编代码;(iii)由编译器从源代码生成的目标代码;(iv)用于由解释器执行的源代码;(v)用于由即时编译器编译和执行的源代码,等等。仅作为示例,可以使用以下语言的语法来撰写源代码,包括:c、c++、c#、objectivec、swift、haskell、go、sql、r、lisp、fortran、perl、pascal、curl、ocaml、html5(超文本标记语言第5版)、ada、asp(动态服务器网页)、php(php:超文本预处理器)、scala、eiffel、smalltalk、erlang、ruby、visuallua、matlab、simulink和

权利要求中列举的要素中没有一个要素意图成为35u.s.c.§112(f)的含义内的装置加功能要素,除非使用了短语“用于...的装置”或者在方法权利要求的情况下使用了短语“用于...的操作”或“用于...的步骤”来明确地叙述元素。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1