用于增强俯视图图像的方法和装置与流程

文档序号:15513541发布日期:2018-09-25 16:57阅读:219来源:国知局

根据示例性实施例的装置和方法涉及显示车辆的俯视图图像。更具体而言,根据示例性实施例的装置和方法涉及增强车辆的俯视图图像。



技术实现要素:

一个或多个示例性实施例提供了一种调整车辆的显示俯视图图像的方法和装置。更具体而言,一个或多个示例性实施例提供了一种基于车辆转向角度、存在拖车和相应的动态拖车挂钩角度中的一个或多个来放大、缩小和/或移动车辆的俯视图图像的方法和装置。

根据示例性实施例的方面,提供了一种用于增强车辆或拖车的俯视图图像的方法。该方法包括确定车辆或拖车的轨迹,并且基于所确定的轨迹执行缩放车辆或拖车的俯视图图像以及移动俯视图图像中的至少一个。

基于车辆的转向角度、车辆的车轮角度、拖车挂钩角度、车辆的前进方向、车辆的速度和车辆的路径中的至少一个,可以执行确定车辆或拖车的轨迹。

该方法可以进一步包括确定拖车是否挂到车辆上。

可以基于所确定的轨迹并且基于拖车是否挂到车辆上执行该执行缩放俯视图图像以及移动俯视图图像中的至少一个。

缩放俯视图图像可以包括响应于拖车挂到车辆上而缩小俯视图图像,并且响应于拖车从车辆脱开而放大俯视图图像。

移动俯视图图像可以包括响应于车辆或拖车的所确定的轨迹是向右轨迹而向右移动图像,并且响应于车辆或拖车的所确定的轨迹是向左轨迹而向左移动图像。

移动图像可以包括将图像向右移动基于向右轨迹确定的距离,并且将图像向左平移动基于向左轨迹确定的距离。

确定拖车是否挂到车辆上可以包括检测与拖车的连接或者接收指示拖车挂到车辆上的用户输入。

缩放俯视图图像可以包括响应于用户选择俯视图图像上的图标而放大或缩小俯视图图像。

该方法可以进一步包括从设置在车辆上的多个摄像机接收多个图像,转换多个图像以形成俯视图图像,并且显示俯视图图像。

根据另一个示例性实施例的方面,提供了一种用于增强车辆或拖车的俯视图图像的装置。该装置包括至少一个存储器,其包括计算机可执行指令;以及至少一个处理器,其被配置为读取并执行计算机可执行指令。计算机可执行指令使至少一个处理器:确定车辆的轨迹;并且基于所确定的轨迹执行放大车辆或拖车的俯视图图像以及移动俯视图图像中的至少一个。

计算机可执行指令可以使至少一个处理器基于车辆的转向角度、车辆的车轮角度、拖车挂钩角度、车辆的前进方向、车辆的速度和车辆的路径中的至少一个来确定车辆或拖车的轨迹。

计算机可执行指令可以使至少一个处理器确定拖车是否挂到车辆上。

计算机可执行指令可以使至少一个处理器基于所确定的轨迹并且基于拖车是否挂到车辆上来执行缩放俯视图图像和移动俯视图图像中的至少一个。

计算机可执行指令可以使至少一个处理器通过响应于拖车挂到车辆上而缩小俯视图图像并且响应于拖车从车辆脱开而放大俯视图图像来缩放俯视图图像。

计算机可执行指令可以进一步使至少一个处理器通过响应于车辆或拖车的所确定的轨迹是向右轨迹而向右移动图像并且响应于车辆或拖车的所确定的轨迹是向左轨迹而向左移动图像来移动俯视图图像。

计算机可执行指令可以进一步使至少一个处理器通过将图像向右移动基于向右轨迹所确定的距离并且将图像向左平移动基于向左轨迹所确定的距离来移动图像。

计算机可执行指令可以进一步使至少一个处理器通过检测与拖车的连接或者接收指示拖车挂到车辆上的用户输入来确定拖车是否挂到车辆上。

计算机可执行指令可以进一步使至少一个处理器通过响应于用户选择俯视图图像上的图标而放大或缩小俯视图图像来缩放俯视图图像。

该装置可以进一步包括设置在车辆上的多个摄像机。计算机可执行指令可以使至少一个处理器从设置在车辆上的多个摄像机接收多个图像,转换多个图像以形成车辆的俯视图图像,并且显示车辆或拖车的俯视图图像。

该装置可以进一步包括显示器,其被配置为显示车辆的俯视图图像。

从以下示例性实施例的详细描述和附图,示例性实施例的其它目的、优点和新颖特征将变得更加显而易见。

附图说明

图1示出了根据示例性实施例的增强车辆或拖车的俯视图图像的装置的框图;

图2示出了根据示例性实施例的增强车辆或拖车的俯视图图像的方法的流程图;

图3示出了根据示例性实施例的方面移动和缩放车辆或拖车的俯视图图像的示意图;并且

图4示出了根据示例性实施例的方面移动和缩放车辆或拖车的俯视图图像的示意图。

具体实施方式

现在将参照附图的图1至4详细描述增强车辆的俯视图图像的装置和方法,所有附图中相同的附图标记指代相同的元件。

以下公开内容将使得本领域技术人员能够实践本发明的构思。然而,本文所公开的示例性实施例仅仅是示例性的,而并非将本发明的构思限制于本文所描述的示例性实施例。而且,每个示例性实施例的特征或方面的描述通常应当理解为可用于其它示例性实施例的不同方面。

还应当理解的是,如本文所述的,第一元件“连接到”第二元件、“附接到”第二元件、“形成在”第二元件上或“设置在”第二元件上可以是第一元件可能直接连接到第二元件,直接形成或设置在第二元件上,除非另有说明第一元件“直接”连接到第二元件,附接到第二元件,形成在第二元件上或设置在第二元件上。此外,如果第一元件被配置为向或从第二元件“发送”或“接收”信息,则第一元件可以直接向或从第二元件发送或接收信息,通过总线发送或接收信息,通过网络发送或接收信息,或通过中间元件发送或接收信息,除非另有说明第一元件“直接”向或从第二元件发送或接收信息。

本发明中,所公开的一个或多个元件可以组合成单个装置或组合成一个或多个装置。此外,各个元件可以设置在单独的装置上。

车辆可以包括多个摄像机,其提供车辆周围区域的图像,包括存在于车辆周围的障碍物。这些图像可以用于向车辆的驾驶员提供车辆的俯视图图像。俯视图图像可以显示车辆周围的预定半径。然而,在一些情况下,车辆的一侧的放大视图会为车辆的驾驶员提供即将转弯或其它障碍物的更清晰的视野。此外,放大的半径或视图可以向车辆的驾驶员提供挂到车辆上的拖车的运动视图以及挂车周围区域的视图。

可以由车辆的驾驶员切换或根据一个或多个预定情况切换放大或增强的视图。一个或多个预定情况可以包括拖车是否挂到车辆上、车辆的行驶方向、车辆转向角度、挂车挂钩角度和/或关于车辆运动的其它信息。预定情况可以通过移动或缩放俯视图图像来切换放大或增强视图,以便提供车辆周围目标区域的更清晰的视图。然后可以在车辆内部的显示器上将放大或增强的视图图像显示给车辆的驾驶员。

图1示出了根据示例性实施例的增强车辆100的俯视图图像的装置(即,增强车辆和/或拖车100的俯视图图像的装置)的框图。如图1所示,根据示例性实施例,增强车辆100的俯视图图像的装置包括控制器101、电源102、存储装置103、输出104、环绕视角摄像机105、用户输入106、拖车检测器107和通信装置108。然而,增强车辆100的俯视图图像的装置并不限于上述配置,并且可以被配置为包括额外的元件和/或省略一个或多个前述元件。增强车辆100的俯视图图像的装置可以实施为车辆的一部分,实施为独立部件,实施为车载装置与非车载装置之间的混合系统,或实施在另一个计算设备中。

控制器101控制增强车辆100的俯视图图像的装置的整体操作和功能。控制器101可以控制增强车辆100的俯视图图像的装置的存储装置103、输出104,环绕视角摄像机105、用户输入106和通信装置108中的一个或多个。控制器101可以包括以下各项中的一个或多个:处理器、微处理器、中央处理单元(cpu)、图形处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、状态机、电路以及硬件、软件和固件部件的组合。

控制器101可以被配置为向和/或从该增强车辆100的俯视图图像的装置的存储器103、输出104,环绕视角摄像机105、用户输入106、拖车检测器107以及通信装置108中的一个或多个发送和/或接收信息。可以通过总线发送或接收信息,或者可以从/向该增强车辆100的俯视图图像的装置的存储器103、输出104,环绕视角摄像机105、用户输入106、拖车检测器107以及通信装置108中的一个或多个读取/写入信息。合适的网络连接的示例包括控制器区域网络(can)、面向媒体的系统传输(most)、局域互连网络(lin)、局域网(lan)、诸如蓝牙和802.11等无线网络以及其它合适的连接(如以太网)。

电源102向该增强车辆100的俯视图图像的装置的控制器101、存储器103、输出104、环绕视角摄像机105、用户输入106、拖车检测器107和通信装置108中的一个或多个提供电力。电源102可以包括以下各项中的一个或多个:电池、插座、电容器、太阳能电池、发电机、风能设备、交流发电机等。

存储器103被配置为用于存储信息并检索由该增强车辆100的俯视图图像的装置所使用的信息。存储器103可以由控制器101控制,用于存储并检索从环绕视角摄像机105接收的信息。该信息可以包括由环绕视角摄像机105得到的信息和/或一个或多个图像。此外,存储器103还可以计算机指令,其被配置为由处理器执行以执行该增强车辆100的俯视图图像的装置的功能。

存储器103可以包括以下各项中的一个或多个:软盘、光盘、cd-roms(光盘只读存储器)、磁光盘、roms(只读存储器)、rams(随机存取存储器)、eprom(可擦除可编程只读存储器)、eeprom(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及适用于存储机器可执行指令的其它类型的介质/机器可读介质。

输出104以一种或多种形式输出信息,该形式包括:视觉、听觉和/或触觉形式。输出104可以由控制器101控制,用于向该增强车辆100的俯视图图像的装置的用户提供输出。输出104可以包括以下各项中的一个或多个:扬声器、音频、显示器、位于中央的显示器,头盔平视显示器、挡风玻璃显示器、力反馈装置、振动装置、触觉反馈装置、点击反馈装置、全息显示器、仪表灯、仪表板显示器、中央仪表台显示器、后视镜显示器、侧视镜显示器、指示灯等。

根据一个示例,输出104可以是中央仪表台显示器、仪表板显示器或头盔平视显示器中的一个或多个。输出104可以被配置为输出来自环绕视角摄像机105的一个或多个图像。该图像可以经过处理或变换并拼接在一起以显示车辆及其周围区域的俯视图图像。输出104还可以显示车辆的图像或车辆的形状以及周围区域内的障碍物。此外,输出104还可以输出提示,包括光提示和显示提示中的一个或多个。

用户输入106被配置为向该增强车辆100的俯视图图像的装置提供信息和命令。用户输入106可以用于向控制器101提供用户输入等。用户输入106可以包括以下各项中的一个或多个:触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、摄像机、触控板、鼠标、触摸板等。用户输入106可以被配置为接收用户输入,用于确认或解除由输出104所输出的提示。用户输入106还可以被配置为接收用户输入,以便在输出104的视图之间循环。例如,用户输入106可以被配置为接收输入,以便放大俯视图图像,缩小俯视图图像并移动俯视图图像。

环绕视角摄像机105可以是摄像机、红外摄像机、360度摄像机或夜视摄像机中的一个或多个。环绕视角摄像机可以包括一个或多个摄像机。在一个示例中,环绕视角摄像机还可以包括雷达或激光成像技术。根据一个示例,环绕视角摄像机105可以安装在车辆的车顶、后备箱、侧视镜、车门、保险杠、发动机罩、格栅或仪表板等上。为了提供车辆的俯视图图像,来自环绕视角摄像机105的图像被转换以实现裁剪、旋转、放大和拼接的目的。

拖车检测器107可以是一种检测存在挂到车辆上的拖车的装置。具体而言,拖车检测器107可以检测与拖车的电连接,或者可以根据由摄像机所拍摄的图像检测拖车,或者可以根据超声或雷达传感器检测拖车。

通信装置108可以由该增强车辆100的俯视图图像的装置使用,用于根据不同通信方法与各种不同类型的外部装置进行通信。通信装置108可以用于向/从环绕视角摄像机105发送/接收图像信息。此外,通信装置108可以将图像信息发送到输出104,用于输出到该增强车辆100的俯视图图像的装置的显示器上。

通信装置108可以包括各种通信模块,例如以下各项中的一个或多个:远程信息处理单元、广播接收模块、近场通信(nfc)模块、gps接收器、有线通信模块或无线通信模块。广播接收模块可以包括地面广播接收模块,其包括用于接收地面广播信号的天线、解调器和均衡器等。nfc模块是根据nfc方法与位于附近的外部装置进行通信的模块。gps接收器是从gps卫星接收gps信号并检测当前位置的模块。有线通信模块可以是通过诸如局域网、控制器区域网络(can)或外部网络等有线网络接收信息的模块。无线通信模块是使用诸如ieee802.11协议、wimax、wi-fi或ieee通信协议等无线通信协议连接到外部网络并与外部网络进行通信的模块。无线通信模块还可以包括移动通信模块,其访问移动通信网络并根据各种不同的移动通信标准进行通信,例如第三代(3g)通信标准、第三代合作伙伴计划(3gpp)通信标准、长期演进(lte)通信标准、蓝牙、evdo、cdma、gprs、edge或zigbee。

根据示例,增强车辆100的俯视图图像的装置的控制器101可以被配置为确定车辆的轨迹;并且基于所确定的轨迹执行放大车辆的俯视图图像以及移动车辆的俯视图图像中的至少一个。控制器101可以被配置为从设置在车辆上的多个摄像机接收多个图像,转换该多个图像以形成车辆的俯视图图像,并且显示车辆的俯视图图像。

根据示例,增强车辆100的俯视图图像的装置的控制器101可以被配置为基于车辆的转向角度、车辆的车轮角度、拖车挂钩角度、车辆的前进方向、车辆的速度和车辆的路径中的至少一个来确定车辆的轨迹。此外,控制器101可以被配置为确定拖车是否挂到车辆上。

增强车辆100的俯视图图像的装置的控制器101可以被配置为基于所确定的轨迹并且基于拖车是否挂到车辆上来放大车辆的俯视图图像、缩小车辆的俯视图图像和/或移动车辆的俯视图图像。控制器101可以通过减小车辆周围视图的半径来放大俯视图图像,并且可以通过增加车辆周围或车辆一侧视图的半径来缩小俯视图图像。例如,车辆的右侧和/或前侧的视图可以放大,而车辆的后侧和/或左侧的视图保持不变或减小。

在一个示例中,当拖车挂到车辆上时,控制器101可以缩小车辆的俯视图图像,当拖车与车辆脱开或者未挂到车辆上时,控制器101可以放大车辆的俯视图图像。在另一个示例中,控制器101可以被配置为如果所确定的车辆轨迹是向右轨迹,向右移动图像,并且如果所确定的车辆轨迹是向左轨迹,向左移动图像。在又另一个示例中,控制器101可以被配置为根据选择图标的用户输入或根据在显示器上做手势的用户输入,缩放或移动车辆的俯视图图像。

图2示出了根据一个示例性实施例的一种用于增强车辆和/或拖车的俯视图图像的方法的流程图。如图2的方法可以由增强车辆100的俯视图图像的装置来执行,或者可以被编码到计算机可读介质中作为可由计算机执行以执行该方法的指令。

参照图2,在操作210中显示车辆及其周围环境的俯视图图像。俯视图图像也可以示出附接到车辆上的拖车。例如,可以通过将放置在车辆上的多个摄像机的多个图像变换并拼接在一起而生成俯视图图像。

在操作s220中,确定车辆和/或拖车的轨迹。例如,可以根据传感器数据确定轨迹,该传感器数据包括以下各项中的一个或多个:位置数据、地图数据、道路角度、车辆的转向角度、车辆的车轮角度、车辆的前进方向、拖车挂钩角度、车辆的速度以及车辆的路径。

在操作s220中,可以根据所确定的轨迹执行缩放车辆和/或拖车的俯视图图像或者移动车辆和/或拖车的俯视图图像。此外,可以对俯视图图像执行其它类型的增强,以便向车辆的驾驶员提供车辆周围环境的更清晰的视图。而且,可以根据其它情况(例如车辆外部障碍物的存在或位置)执行图像的增强,该图像的增强包括放大车辆和/或拖车的俯视图图像或者移动车辆和/或拖车的俯视图图像。

图3是根据一个示例性实施例的一个方面移动并缩放车辆和/或拖车的俯视图图像的示意图。图3的示意图示出了可以在显示器上显示俯视图图像。

参照图3,图像301-304是示出车辆305及其周围环境的俯视图的图像,包括车辆和/或拖车行驶的路径或道路的参考306。具体而言,图像301示出了俯视图图像的标准放大视图。图像302示出了缩小视图,其可以由车辆轨迹、拖车的存在、车辆附近障碍物的存在、拖车轨迹、用户输入或其它情况而引起。

此外,图3还示出了图像303,该图像中,响应于车辆和/或拖车的轨迹或者路径的轨迹是向左轨迹,将俯视图图像向左移动。同样,图像304示出了响应于车辆的轨迹或者路径的轨迹是向右轨迹,将俯视图图像向右移动。

图4是根据一个示例性实施例的一个方面移动和缩放车辆或拖车的俯视图图像的示意图。参照图4,第一图像401示出了固定视图,第二图像402示出了动态视图。这两幅图像都示出了车辆403和参考405。然而,第二图像402还示出了响应于检测到拖车404显示拖车404。此外,第二图像402可以通过根据车辆的轨迹、外部障碍物的存在、路径的轨迹和/或其它情况,移动、放大和/或缩小图像而动态改变。

本文所公开的过程、方法或算法可以传递给/由处理装置、控制器或计算机(可以包括任何现有的可编程电子控制装置或专用电子控制装置)实施。同样,过程、方法或算法可以作为可由控制器或计算机的数据和指令存储,该控制器或计算机有多种形式,包括但不限于永久存储在不可写存储介质(例如rom装置)上的信息以及可变存储在可写存储器介质(例如软盘、磁带、cd、ram装置和其它磁性和光学介质)上的信息。过程、方法或算法还可以在软件可执行对象中实施。或者,过程、方法或算法可以整体或部分地用合适的硬件部件来实施,例如专用集成电路(asic),现场可编程门阵列(fpga),状态机,控制器或其它硬件部件或装置,或者硬件、软件和固件部件的组合。

以上参照附图描述了一个或多个示例性实施例。上述的示例性实施例应当被理解为仅是描述性的,而非限制的目的。而且,在不脱离由以下权利要求书限定的本发明构思的精神和范围的情况下,可以对这些示例性实施例进行修改。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1