车辆用图像处理装置的制作方法

文档序号:16409445发布日期:2018-12-25 20:40阅读:188来源:国知局
车辆用图像处理装置的制作方法

技术领域

本公开涉及对由设置在车辆的拍摄装置拍摄到的图像进行处理的车辆用图像处理装置。



背景技术:

以往,已知有一种连续拍摄车辆周边的一部分,将当前时刻所拍摄到的拍摄图像、和当前时刻之前所拍摄到的图像变换为从车辆的上方俯视的图像并接在一起,从而创建俯瞰车辆和其周围整体的一张俯瞰(top view)图像的技术(例如,参照专利文献1)。

专利文献1:日本特开2002-373327号公报

在上述专利文献1所记载的技术中,若轮胎更换等车辆的轮胎的外径发生变化,则在一张俯瞰图像中,有可能在当前时刻所拍摄到的拍摄图像、和当前时刻之前所拍摄到的历史记录图像的边界附近产生了偏差。



技术实现要素:

本公开是鉴于上述点而完成的,其目的在于,提供一种即使是通过将历史记录图像与拍摄图像合成而创建的车辆周边图像,也通过使拍摄图像与历史记录图像的连接顺畅而降低不协调感的车辆用图像处理装置。

本公开的一个方式涉及的车辆用图像处理装置根据由设置于车辆的多个拍摄装置拍摄的车辆的周边的图像,生成从上方俯瞰观察该车辆的周围的车辆周边图像,并具备周边图像获取部、计算部、合成图像创建部、和轮胎参数更新部。

周边图像获取部从连续拍摄车辆的前方区域的前方拍摄装置、以及连续拍摄车辆的后方区域的后方拍摄装置分别获取前方拍摄图像以及后方拍摄图像。

计算部使用包含车辆的轮胎的旋转角度所涉及的信息的车辆状态信息、以及存储部中存储的轮胎的外径所涉及的参数信息,来计算车辆的移动距离。

合成图像创建部将前方拍摄图像以及后方拍摄图像中映现车辆的行进方向的一方的过去的图像作为历史记录图像使用,并基于移动距离将历史记录图像与前方拍摄图像以及后方拍摄图像中的另一方的图像合成,从而创建车辆周边图像。

轮胎参数更新部对存储部中存储的参数信息进行更新,以降低基于移动距离而合成的历史记录图像与另一方的图像的偏差。

这样构成的本公开的车辆用图像处理装置能够进行参数信息的更新,以使前方拍摄图像以及后方拍摄图像中未使用于历史记录图像的另一方的图像与基于由计算部计算出的移动距离而合成的历史记录图像的偏差降低。因此,即使在轮胎的外径因某些因素而发生了变化的情况下,车辆用图像处理装置也能够抑制使用由车辆状态信息确定的轮胎旋转角度和参数信息所计算的移动距离与车辆的实际的移动距离不同这一事态的产生。

因此,本公开的车辆用图像处理装置即使通过将历史记录图像与拍摄图像合成而生成车辆周边图像,也能够使拍摄图像与历史记录图像的连接顺畅。由此,本公开的车辆用图像处理装置能够实现不协调感被降低了的车辆周边图像的生成。

附图说明

本公开的上述目的以及其它的目的、特征、优点参照附图并通过下述的详细描述,会变得更明确。其附图:

图1是表示车辆用显示系统的结构的框图。

图2是表示周边显示处理的流程图。

图3是表示显示用俯瞰图像的结构的图。

图4是表示第一实施方式的轮胎参数更新处理的流程图。

图5是表示轮胎外径变大的情况下的显示用俯瞰图像的图。

图6是表示轮胎外径变小的情况下的显示用俯瞰图像的图。

图7是表示第二实施方式的轮胎参数更新处理的流程图。

图8是表示在后方显示区域和中间显示区域正显示计测用物体的显示用俯瞰图像的图。

图9是表示第三实施方式的轮胎参数更新处理的流程图。

图10是表示用于说明计算移动物体的速度的方法的俯瞰图像的图。

图11A是在前方显示用俯瞰图像中表示亮度变化图案的图。

图11B是在后方显示用俯瞰图像中表示亮度变化图案的图。

具体实施方式

(第一实施方式)

以下与附图一起对本公开的第一实施方式进行说明。

本实施方式的车辆用显示系统1被搭载于车辆,如图1所示,具备车载相机组2、传感器组3、图像处理装置4、和显示装置5。图像处理装置4是本公开中的车辆用图像处理装置。

车载相机组2由前方相机11以及后方相机12构成。前方相机11被安装在搭载了车辆用显示系统1的车辆(以下,称为本车辆)的前侧,反复拍摄本车辆的前方的地上面。后方相机12被安装在本车辆的后侧,反复拍摄本车辆的后方的地上面。

传感器组3由车速传感器21、横摆率传感器22、变速杆位置传感器23以及转向操纵角传感器24构成。车速传感器21输出根据车轴的旋转而按每个规定角度从低电平变化为高电平的车速信号。横摆率传感器22检测本车辆的横摆率,并输出表示其检测结果的横摆率信号。变速杆位置传感器23检测车辆的变速杆的位置,并输出表示其检测结果的档位信号。转向操纵角传感器24检测车辆的方向盘的转向操纵角,并输出表示其检测结果的转向操纵角信号。

图像处理装置4具备图像输入信号处理部31、输入信号处理部32、图像变换部33、存储部34、控制部35以及图像输出信号处理部36。

图像输入信号处理部31是用于从前方相机11以及后方相机12输入拍摄图像的接口。

输入信号处理部32是用于从各种传感器21~24输入信号的接口。

图像变换部33经由图像输入信号处理部31从前方相机11以及后方相机12获取前方拍摄图像以及后方拍摄图像,并对拍摄图像进行坐标变换,从而创建从车辆的上方的视点观察到的变换图像(以下,称为俯瞰图像)。以下,将通过对前方相机11的拍摄图像进行坐标变换而创建的俯瞰图像称为前方顶部(top)图像。另外,将通过对后方相机12的拍摄图像进行坐标变换而创建的俯瞰图像称为后方顶部图像。另外,图像变换部33向控制部35输出所创建的前方顶部图像以及后方顶部图像。

存储部34是用于存储各种数据的存储装置,对图像变换部33创建的前方顶部图像以及后方顶部图像、和表示本车辆的轮胎的外径(以下,称为本车辆轮胎外径)的轮胎参数信息进行存储。其中,设为本车辆的4个轮胎全部具有相同的外径,轮胎参数信息不是4个轮胎各个的外径而表示一个轮胎的外径。

控制部35以由CPU41、ROM42以及RAM43等构成的微型计算机为中心而构成。而且,控制部35通过CPU41执行基于ROM42中存储的程序的处理来控制图像处理装置4。

图像输出信号处理部36是用于向显示装置5输出被控制部35进行了图像处理的图像数据的接口。

显示装置5是液晶显示器等具有显示画面的彩色显示装置,根据来自图像处理装置4的图像数据的输入而将各种图像显示于显示画面。

在这样构成的车辆用显示系统1中,图像处理装置4执行后述的周边显示处理以及轮胎参数更新处理。

首先,对图像处理装置4的控制部35执行的周边显示处理的顺序进行说明。该周边显示处理是在图像处理装置4的动作中按预先设定的执行周期反复执行的处理。

若执行该周边显示处理,则控制部35如图2所示,首先在S10中,经由输入信号处理部32从车速传感器21、横摆率传感器22以及变速杆位置传感器23分别获取车速信号、横摆率信号以及档位信号。而且,将表示通过在S10中获取到的车速信号而确定的车速的车速信息、表示通过在S10中获取到的横摆率信号而确定的横摆率的横摆率信息、和表示通过在S10中获取到的档位信号而确定的档位信息存储到设置于存储部34的车辆信息存储区域。其中,基于车速信号输入的时间间隔来计算上述车速信息表示的车速。由此,在存储部34的车辆信息存储区域中,多个车速信息、横摆率信息以及档位信息按照时间序列存储。

接下来,在S30中,从图像变换部33获取前方顶部图像和后方顶部图像。并且,在S40中,将在S30中获取到的前方顶部图像和后方顶部图像存储到设置于存储部34的前后方顶部图像存储区域。由此,在存储部34的前后方顶部图像存储区域中按照时间序列存储多个前方顶部图像以及后方顶部图像。

之后,在S50中,基于获取到的车速信号来判断本车辆的行驶速度是否为表示正以低速行驶这一情况的预先设定的低速行驶判定速度(在本实施方式中,例如为30km/h)以下。

此处,在本车辆的行驶速度超过低速行驶判定速度的情况下(S50:否),在S60中,向显示装置5输出在S30中获取到的前方顶部图像和后方顶部图像,并暂时结束周边显示处理。由此,前方顶部图像和后方顶部图像被显示于显示装置5的显示画面。

另一方面,在本车辆的行驶速度为低速行驶判定速度以下的情况下(S50:是),在S70中,基于获取到的档位信号来判断本车辆的档位是否是P(驻车)或者N(空挡)。此处,在档位为P或者N的情况下(S70:是),在S60中,向显示装置5输出表示在S30中获取到的前方顶部图像和后方顶部图像的数据,并暂时结束周边显示处理。

另外,当在S70中档位不是P和N的任何一个的情况下(S70:否),在S80中,基于通过在存储部34中按照时间序列所存储的多个车速信息、横摆率信息、档位信息而确定的车速、横摆率、和档位来依次计算本车辆的移动距离和移动方向。其中,在S80中,基于通过在存储部34中按照时间序列所存储的多个横摆率信息所确定的横摆率来计算左右的移动方向。另外,基于通过在存储部34中按照时间序列所存储的多个档位信息所确定的档位来计算前后的移动方向。另外,基于通过在存储部34中按照时间序列所存储的多个车速信息所确定的车速、和在存储部34中所存储的轮胎参数信息表示的本车辆轮胎外径来计算本车辆的移动距离。

然后,在S90中,判断本车辆的档位是否是D(驱动)。此处,在档位为D的情况下(S90:是),在S100中,使用存储部34中存储的前方顶部图像来创建中间顶部图像,在将创建的中间顶部图像存储到设置于存储部34的中间顶部图像存储区域之后,移至S120。中间顶部图像是位于前方顶部图像所表示的区域和后方顶部图像所表示的区域之间的区域(以下,称为中间区域)中的俯瞰图像。其中,中间顶部图像相当于本公开中的历史记录图像。

在S100中,基于在S80中计算出的移动距离和移动方向,从存储部34提取正在拍摄上述的中间区域的前方顶部图像。并且,在S100中,根据提取出的前方顶部图像与上述的中间区域的偏差,进行使提取出的前方顶部图像平行移动或旋转移动的坐标变换,从而创建中间顶部图像。其中,在S100中提取出的前方顶部图像相当于本公开中的一方的图像,根据提取出的前方顶部图像来创建本公开中的历史记录图像。

另一方面,在本车辆的档位不是D的情况下(S90:否),判断为本车辆的档位是R(后退(reverse)),在S110中,使用存储部34中存储的后方顶部图像,利用与S100同样的方法来创建中间顶部图像,在将创建的中间顶部图像存储到设置于存储部34的中间顶部图像存储区域之后,移至S120。其中,在S110中提取出的后方顶部图像相当于本公开中的一方的图像,根据提取出的后方顶部图像来创建本公开中的历史记录图像。

然后,若移至S120,则创建用于显示于显示装置5的俯瞰图像(以下,称为显示用俯瞰图像)。

显示用俯瞰图像如图3所示,设定有前方显示区域R1、后方显示区域R2、和中间显示区域R3。前方显示区域R1是显示本车辆的前方的俯瞰图像的区域。后方显示区域R2是显示本车辆的后方的俯瞰图像的区域。中间显示区域R3是显示本车辆的前方与后方之间的俯瞰图像的区域。

在S120中,对前方显示区域R1和后方显示区域R2分别分配了在S30中获取到的前方顶部图像和后方顶部图像,并且,对中间显示区域R3分配了存储部34的中间顶部图像存储区域中存储的最新的中间顶部图像。并且,在S120中,在中间显示区域R3中配置本车辆图像CG。由此,显示用俯瞰图像的创建完成。

然后,若S120的处理结束,则如图2所示,在S130中,向显示装置5输出表示在S120中创建的显示用俯瞰图像的数据,并暂时结束周边显示处理。由此,显示用俯瞰图像被显示于显示装置5的显示画面。

接下来,对图像处理装置4的控制部35执行的轮胎参数更新处理的顺序进行说明。该轮胎参数更新处理是在图像处理装置4启动之后立即开始的处理。

若执行该轮胎参数更新处理,则控制部35如图4所示,首先在S210中判断预先设定的处理开始条件是否成立。本实施方式的处理开始条件是本车辆从前次的处理开始条件的成立起行驶了预先设定的处理开始判定距离。

此处,在处理开始条件不成立的情况下(S210:否),通过反复进行S210的处理,来待机到处理开始条件成立为止。

另一方面,在处理开始条件成立的情况下(S210:是),在S220中,判断本车辆的行驶速度是否是预先设定的处理开始判定速度(在本实施方式中,例如为40km/h)以下。此处,在本车辆的行驶速度超过处理开始判定速度的情况下(S220:否),通过反复进行S220的处理,来待机到行驶速度变为处理开始判定速度以下为止。

另一方面,在本车辆的行驶速度为处理开始判定速度以下的情况下(S220:是),在S230中,基于来自转向操纵角传感器24的转向操纵角信号来判断本车辆是否正在直行。具体而言,在转向操纵角信号表示的转向操纵角为预先设定的直行判定角度范围内(例如,-3°~+3°)的情况下,判断为本车辆正在直行。

此处,在本车辆不是直行的情况下(S230:否),通过反复S230的处理,来待机到本车辆变为直行的状态为止。另一方面,在本车辆正在直行的情况下(S230:是),在S240中,基于来自变速杆位置传感器23的档位信号来判断本车辆的档位是否是R(后退)。

此处,在档位不是R的情况下(S240:否),判断为档位是D,在S250中,通过使用存储部34中存储的最新的后方顶部图像来进行图像识别处理(例如图案匹配),从而检测映现在后方顶部图像中的计测用物体。本实施方式的计测用物体例如是路标塔(pylon)、标识、路面印刷、工作口(manhole)以及杆。

然后,在S260中,判断在S250中是否检测出计测用物体。此处,在未检测出计测用物体的情况下(S260:否),移至S250,反复上述的处理。另一方面,在检测出计测用物体的情况下(S260:是),在S270中,从存储部34中存储的前方顶部图像之中提取映现有与在S250中检测出的计测用物体相同的计测用物体的图像。

然后,在S280中,计算在S250中检测出计测用物体的后方顶部图像的拍摄时机与在S270中提取出的前方顶部图像的拍摄时机之间的时间差(以下,称为前后时间差)。进而,在S290中,基于在S250中检测出计测用物体的后方顶部图像内计测用物体所映现的位置、和在S270中提取出的前方顶部图像内计测用物体所映现的位置,来计算本车辆在前后时间差内行驶的距离(以下,称为前后行驶距离),然后移至S350。

另外,当在S240中档位为R的情况下(S240:是),在S300中,通过使用存储部34中存储的最新的前方顶部图像,与S250同样地进行图像识别处理,从而检测映现于前方顶部图像的计测用物体。

然后,在S310中,判断在S300中是否检测出计测用物体。此处,在未检测出计测用物体的情况下(S310:否),移至S300,反复上述的处理。另一方面,在检测出计测用物体的情况下(S310:是),在S320中,从存储部34中存储的后方顶部图像之中提取映现有与在S300中检测出的计测用物体相同的计测用物体的图像。

然后,在S330中,计算在S300中检测出计测用物体的前方顶部图像的拍摄时机与在S320中提取出的后方顶部图像的拍摄时机之间的时间差(前后时间差)。进而,在S340中,基于在S300中检测出计测用物体的前方顶部图像内计测用物体所映现的位置、和在S320中提取出的后方顶部图像内计测用物体所映现的位置,来计算本车辆在前后时间差内行驶的距离(前后行驶距离),然后移至S350。

而且,若移至S350,则首先利用在S280或者S330中计算出的前后时间差、和车速信号,来计算在前后时间差本车辆的轮胎旋转了的角度(以下,称为前后轮胎旋转角度)。其中,前后轮胎旋转角度能够基于在前后时间差的期间中输入了车速信号的次数来计算。前后轮胎旋转角度能够超过360°地计算。进而,在S350中,基于在S290或者S340中计算出的前后行驶距离、和在S350中计算出的前后轮胎旋转角度来计算本车辆轮胎外径。具体而言,基于前后行驶距离和前后轮胎旋转角度来计算轮胎在旋转360°的期间所行驶的距离作为轮胎的周长,并将该轮胎的周长除以π所得的值设为本车辆轮胎外径。

然后,在S360中,将存储部34中存储的轮胎参数信息的值更新为在S350中计算出的值,并结束轮胎参数更新处理。

这样构成的图像处理装置4获取对连续拍摄车辆的前方区域的前方相机11的拍摄图像进行了从车辆的上方俯瞰观察的坐标变换所得的前方顶部图像、和对连续拍摄车辆的后方区域的后方相机12的拍摄图像进行了从车辆的上方俯瞰观察的坐标变换所得的后方顶部图像(S30)。

另外,图像处理装置4使用车速信息、横摆率信息以及档位信息、和存储部34中存储的轮胎的外径所涉及的轮胎参数信息来计算车辆的移动距离(S80)。

另外,图像处理装置4在车辆正在直行的情况下,将存储部34中存储的过去的前方顶部图像作为历史记录图像使用,并基于移动距离将历史记录图像与当前时刻所获取到的后方顶部图像合成,从而创建显示用俯瞰图像(S100、S120)。另外,图像处理装置4在车辆正在后退的情况下,将存储部34中存储的过去的后方顶部图像作为历史记录图像使用,并基于移动距离将历史记录图像与当前时刻所获取到的前方顶部图像合成,从而创建显示用俯瞰图像(S110、S120)。

然后,图像处理装置4对存储部34中存储的轮胎参数信息进行更新,以降低基于移动距离而合成的历史记录图像与当前时刻所获取到的前方顶部图像或者后方顶部图像的偏差(S250~S360)。

这样,图像处理装置4能够进行轮胎参数信息的更新,以降低前方顶部图像和后方顶部图像中未使用于历史记录图像的另一方的图像与基于计算出的移动距离而合成的历史记录图像的偏差。因此,即使在轮胎的外径因某些因素而发生了变化的情况下,图像处理装置4也能够抑制使用由车速信息确定的轮胎旋转角度、和轮胎参数信息而计算的移动距离与车辆的实际的移动距离不同这一事态的产生。

因此,图像处理装置4即使通过将历史记录图像与拍摄图像合成来生成显示用俯瞰图像,也能够使拍摄图像与历史记录图像的连接顺畅。由此,图像处理装置4能够实现不协调感降低了的显示用俯瞰图像的生成。

例如,在实际的本车辆轮胎外径大于轮胎参数信息所表示的本车辆轮胎外径的情况下,例如如图5所示,在后方显示区域R2和中间显示区域R3双方显示同一路标塔PL2、PL3,在后方显示区域R2和中间显示区域R3的边界附近,沿着车辆的行进方向DM产生了偏差。这是因为本车辆的实际的移动距离比图像处理装置4计算出的移动距离长,由此,对于本车辆与路标塔的距离而言,实际的距离DC2比图像处理装置4识别出的距离DC3长。

反之,在实际的本车辆轮胎外径小于轮胎参数信息所表示的本车辆轮胎外径的情况下,本车辆的实际的移动距离比图像处理装置4计算出的移动距离短。因此,例如如图6所示,对于本车辆与路标塔的距离而言,实际的距离DC2(图6的路标塔PL2被显示于后方显示区域R2)比图像处理装置4识别出的距离DC2A(图6的路标塔PL2A未被显示于后方显示区域R2)短。由此,在后方显示区域R2与中间显示区域R3的边界附近,沿着车辆的行进方向DM产生了偏差。

另外,图像处理装置4从多个前方顶部图像以及多个后方顶部图像的各个中检测预先设定的计测用物体(S250~S270、S290~S310)。

并且,图像处理装置4对映现了共同的计测用物体的前方顶部图像以及后方顶部图像被拍摄的时刻的时间差进行计测,进而基于在前方顶部图像以及后方顶部图像中映现的共同的计测用物体来计测在该时间差内车辆行驶的行驶距离(S280、S290、S330、S340)。

然后,图像处理装置4基于计测出的时间差以及行驶距离、和在该时间差内旋转的轮胎旋转角度来计算更新用的本车辆轮胎外径(S350)。

因此,图像处理装置4能够使用为了创建显示用俯瞰图像所需的车载相机组2,来计测本车辆轮胎外径。即,图像处理装置4不需要新追加用于计测本车辆轮胎外径的计测装置,能够使图像处理装置4的结构简化。另外,由于图像处理装置4将前方相机11的拍摄图像和后方相机12的拍摄图像进行比较,所以能够基于轮胎多次旋转的结果来计测本车辆轮胎外径,并能够精度良好地检测与轮胎外径的变化相伴的周长的变化。

另外,图像处理装置4判定车辆是否处于直行状态(S230),在判定为是直行中的情况下,进行更新轮胎参数信息的处理。由此,图像处理装置4仅在直行时进行轮胎参数信息所表示的值的计算,能够实质上忽略车辆的左右方向的偏差来进行轮胎参数信息的更新,可提高轮胎参数信息的准确性。

另外,图像处理装置4判定车辆的行驶速度是否是预先设定的处理开始判定速度以下(S220),在判定为车辆的行驶速度是处理开始判定速度以下的情况下,进行更新轮胎参数信息的处理。由此,图像处理装置4仅在低速时进行轮胎参数信息所表示的值的计算,能够降低轮胎所产生的打滑的影响,容易确保轮胎参数信息的准确性。

在以上说明的实施方式中,前方相机11和后方相机12是本公开中的拍摄装置,S30的处理是本公开中的周边图像获取部,S80的处理是本公开中的计算部,S100、S110、S120的处理是本公开中的合成图像创建部,S250~S360的处理是本公开中的轮胎参数更新部。

另外,S250~S270、S290~S310的处理是本公开中的计测用物体检测部,S280、S290、S330、S340的处理是本公开中的计测部,S230的处理是本公开中的直行判定部,S220的处理是本公开中的车速判定部。

(第二实施方式)

以下,与附图一起对本公开的第二实施方式进行说明。其中,在第二实施方式中,对与第一实施方式不同的部分进行说明。

第二实施方式的车辆用显示系统1除了轮胎参数更新处理被变更这一点以外与第一实施方式相同。

第二实施方式的轮胎参数更新处理除了省略S270~S290、S320~S360的处理,并且追加了S410~S490的处理这一点以外与第一实施方式相同。

即,如图7所示,在检测出计测用物体的情况下(S260:是),在S410中,与S80同样地计算本车辆的移动距离和移动方向。然后,在S420中,使用存储部34中存储的前方顶部图像来创建表示后方显示区域R2和中间显示区域R3的位置比较用图像,并在将创建的位置比较用图像存储到设置于存储部34的位置比较用图像存储区域之后,移至S430。

在S420中,基于在S410中计算出的移动距离和移动方向从存储部34提取正在拍摄后方显示区域R2和中间显示区域R3的前方顶部图像。进而,在S420中,根据提取出的前方顶部图像与中间区域的偏差来进行使提取出的前方顶部图像平行移动或旋转移动的坐标变换,从而创建位置比较用图像。

接下来,在S430中,使用存储部34的位置比较用图像存储区域中存储的最新的位置比较用图像来进行图像识别处理,从而检测映现于位置比较用图像的计测用物体。

之后,在S440中,计算本车辆轮胎外径,然后移至S490。具体而言,首先使用在S250中检测出的后方顶部图像的计测用物体与在S430中检测出的位置比较用图像的计测用物体的距离,来计算本车辆轮胎外径的变化量。例如如图8所示,在显示于后方显示区域R2的计测用物体PL2、和显示于中间显示区域R3的计测用物体PL3为同一计测用物体的情况下,使用计测用物体PL2与计测用物体PL3的距离DC来计算本车辆轮胎外径的变化量。然后,对存储部34中存储的轮胎参数信息的值加上或者减去计算出的变化量,并将该相加值或者相减值作为新的本车辆轮胎外径。

另外,如图7所示,当在S310中检测出计测用物体的情况下(S310:是),在S450中,与S80同样地计算本车辆的移动距离和移动方向。然后,在S460中,使用存储部34中存储的后方顶部图像来创建表示前方显示区域R1和中间显示区域R3的位置比较用图像,并在将创建的位置比较用图像存储到设置于存储部34的位置比较用图像存储区域之后,移至S470。

在S470中,基于在S450中计算出的移动距离和移动方向,从存储部34提取正在拍摄前方显示区域R1和中间显示区域R3的后方顶部图像。并且,在S470中,根据提取出的后方顶部图像与中间区域的偏差来进行使提取出的后方顶部图像平行移动或旋转移动的坐标变换,从而创建位置比较用图像。

接下来,在S470中,与S430同样地使用存储部34的位置比较用图像存储区域中存储的最新的位置比较用图像来进行图像识别处理,从而检测映现于位置比较用图像的计测用物体。

之后,在S480中,使用在S300中检测出的前方顶部图像的计测用物体与在S470中检测出的位置比较用图像的计测用物体的距离,与S440同样地计算车辆轮胎外径,移至S490。

然后,若移至S490,则将存储部34中存储的轮胎参数信息的值更新为在S440或者S480中计算出的值,并结束轮胎参数更新处理。

这样构成的图像处理装置4从当前时刻所获取到的前方顶部图像或者后方顶部图像、和存储部34中存储的位置比较用图像的各个中检测预先设定的计测用物体(S250、S430、S300、S470)。然后,图像处理装置4对轮胎参数信息进行更新,以降低映现在当前时刻所获取到的前方顶部图像或者后方顶部图像中的计测用物体与映现在位置比较用图像中的计测用物体的偏差(S440、S480、S490)。

因此,图像处理装置4能够使用为了创建显示用俯瞰图像所需的车载相机组2,来计测本车辆轮胎外径。即,图像处理装置4不需要新追加用于计测本车辆轮胎外径的计测装置,能够使图像处理装置4的构成简化。

在以上说明的实施方式中,S250、S420、S300、S470的处理是本公开中的计测用物体检测部,S440、S480、S490的处理是本公开中的轮胎参数更新部。

(第三实施方式)

以下与附图一起对本公开的第三实施方式进行说明。其中,在第三实施方式中,对与第一实施方式不同的部分进行说明。

第三实施方式的车辆用显示系统1除了轮胎参数更新处理被变更这一点以外与第一实施方式相同。

第三实施方式的轮胎参数更新处理是在图像处理装置4的动作中按照预先设定的执行周期反复执行的处理。

若执行该轮胎参数更新处理,则控制部35如图9所示,首先在S610中判断预先设定的处理开始条件是否成立。本实施方式的处理开始条件是设置在车厢内的轮胎参数更新按钮被按下。

此处,在处理开始条件不成立的情况下(S610:否),暂时结束轮胎参数更新处理。另一方面,在处理开始条件成立的情况下(S610:是),在S620中,与S70同样地判断本车辆的档位是否是P或者N。此处,在档位为P或者N的情况下(S620:是),反复进行S620的处理。

另外,当在S620中档位不是P和N的任何一个的情况下(S620:否),在S630中,与S80同样地计算本车辆的移动距离。

然后,在S640中,与S90同样地判断本车辆的档位是否是D。此处,在档位为D的情况下(S640:是),在S650中,与S100同样地使用存储部34中存储的前方顶部图像来创建中间顶部图像,并在将创建的中间顶部图像存储到设置于存储部34的中间顶部图像存储区域之后,移至S670。

另一方面,在本车辆的档位不是D的情况下(S640:否),判断为本车辆的档位是R,在S660中,与S110同样地使用存储部34中存储的后方顶部图像来创建中间顶部图像,并在将创建的中间顶部图像存储于中间顶部图像存储区域之后,移至S670。

而且,若移至S670,则基于获取到的车速信号来判断本车辆在从当前时刻到预先设定的速度判定期间前为止的期间,是否正在以一定的速度行驶。此处,在本车辆没有以一定的速度行驶的情况下(S670:否),移至S620。

另一方面,在本车辆以一定的速度正在行驶的情况下(S670:是),在S680中,从在当前时刻到速度判定期间前为止的期间通过S30获取到的多个前方顶部图像和多个后方顶部图像检测光流场(optical flow)。

然后,在S690中,使用在S680中检测出的光流场来计算映现在前方顶部图像和后方顶部图像的移动物体(参照图10的移动物体MO1、MO2、MO3、MO4、MO5)的速度向量(参照图10的向量V1、V2、V3、V4、V5)。

接下来,在S700中,从在当前时刻到速度判定期间前为止的期间通过S650或者S660创建的多个中间顶部图像检测光流场。

然后,在S710中,使用在S700中检测出的光流场来计算映现在中间顶部图像的移动物体(参照图10的移动物体MO6、MO7)的速度向量(参照图10的向量V6、V7)。

之后,在S720中,基于通过在S680和S700中检测出的光流场所得到的速度向量的数和方向,来判断在S690和S710中计算出的速度向量是否有效。此处,在速度向量不是有效的情况下(S720:否),移至S620。

另一方面,在速度向量是有效的情况下(S720:是),在S730中,使用在S690和S710中计算出的速度向量,通过下式(1),计算本车辆轮胎外径X。其中,在下式(1)中,L是存储部34中存储的轮胎参数信息所表示的本车辆轮胎外径。V是在S690中计算出的速度向量的大小。Va是在S710中计算出的速度向量的大小。

X=L×v/va…(式1)

然后,在S740中,将存储部34中存储的轮胎参数信息的值更新为在S730中计算出的本车辆轮胎外径X的值,并结束轮胎参数更新处理。

这样构成的图像处理装置4检测在前方顶部图像和后方顶部图像中移动的物体的移动速度(以下,称为第一移动速度)(S680、S690)。另外,图像处理装置4检测在中间顶部图像中移动的物体的移动速度(以下,称为第二移动速度)(S700、S710)。然后,图像处理装置4基于第一移动速度和第二移动速度来计算更新用的本车辆轮胎外径(S730)。

因此,图像处理装置4能够进行轮胎参数信息的更新,以使在前方顶部图像和后方顶部图像中实际移动的物体的移动速度(第一移动速度)、和在中间顶部图像中实际移动的物体的移动速度(第二移动速度)一致。

由此,图像处理装置4能够使实际合成的前方顶部图像以及后方顶部图像与中间顶部图像的连接顺畅,可实现降低了不协调感的显示用俯瞰图像的生成。

在以上说明的实施方式中,S680、S690的处理是本公开中的第一移动速度检测部,S700、S710的处理是本公开中的第二移动速度检测部,S730、S740的处理是本公开中的轮胎参数更新部。

以上,对本公开的一个实施方式进行了说明,但本公开并不限于上述实施方式,只要属于本公开的技术范围,就能够采用各种方式。

(变形例1)

例如在上述实施方式中,示出了在车速为低速行驶判定速度以下的情况下,显示用俯瞰图像被显示于显示装置5的显示画面,但也可以不管车速如何都显示显示用俯瞰图像。

(变形例2)

另外,在上述实施方式中,示出了轮胎参数信息表示轮胎外径,但轮胎参数信息只要是能够确定轮胎外径的信息即可,并不限于此,例如,可以是表示轮胎的周长的值,也可以是用于校正作为基准的外径或者周长的校正值。

(变形例3)

另外,在上述实施方式中,示出了基于检测出计测用物体的前方顶部图像的拍摄时机与后方顶部图像的拍摄时机之间的时间差,来计算本车辆的轮胎的外径。然而,也可以使用亮度变化图案来代替前方顶部图像和后方顶部图像的计测用物体,而计算本车辆的轮胎的外径。例如如图11A所示,在前方顶部图像中检测出沿着本车辆的行进方向DM亮度变化的亮度变化图案PB1。该亮度变化图案PB1例如因划分道路的车道的例如虚线状的白线WL(车道中央线)而产生。之后,如图11B所示,当在后方顶部图像中检测出具有与亮度变化图案PB1相同的波形的亮度变化图案PB2的情况下,能够基于前方顶部图像的拍摄时刻与后方顶部图像的拍摄时刻的时间差、以及本车辆的车速来计算本车辆的轮胎的外径。

具体而言,首先,根据检测出亮度变化图案PB1的前方顶部图像的拍摄时机与检测出亮度变化图案PB2的后方顶部图像的拍摄时机之间的时间差(前后时间差)、和车速信号,来计算在前后时间差本车辆的轮胎旋转了的角度(前后轮胎旋转角度)。

并且,基于在前方顶部图像内亮度变化图案PB1映现的位置、和在后方顶部图像内亮度变化图案PB2映现的位置来计算本车辆在前后时间差内行驶的距离(前后行驶距离)。然后,基于前后行驶距离和前后轮胎旋转角度来计算本车辆轮胎外径。具体而言,基于前后行驶距离和前后轮胎旋转角度来计算轮胎旋转360°的期间所行驶的距离作为轮胎的周长,并将该轮胎的周长除以π所得的值设为本车辆轮胎外径。

(变形例4)

另外,在上述实施方式中,示出了将本车辆行驶了预先设定的处理开始判定距离设为处理开始条件。然而,也可以将检测出轮胎更换设为处理开始条件。另外,也可以将轮胎的空气压发生变动设为处理开始条件。例如,在检查到给油的情况下,可以判定为轮胎的气压上升。另外,也可以将从前次的处理开始条件的成立起经过预先设定的处理开始判定时间设为处理开始条件。另外,也可以将为了使轮胎参数更新处理开始而驾驶员进行预先设定的处理开始操作(例如为了计算轮胎外径而设置的操作按钮的操作)设为处理开始条件。

另外,可以使上述实施方式中的一个构成要素所具有的功能分散为多个构成要素,或者将多个构成要素所具有的功能统一成一个构成要素。另外,可以省略上述实施方式的结构的一部分。另外,也可以将上述实施方式的结构的至少一部分附加或置换为其它的上述实施方式的结构。其中。仅通过技术方案所记载的文字确定的技术思想所包含的所有方式都是本公开的实施方式

本公开依据实施例进行了记述,但应理解为本公开并不限定于该实施例、结构。本公开也包含各种变形例、等同范围内的变形。除此以外,各种各样的组合、方式、甚至在它们中仅包含一个要素、其以上或其以下要素的其它组合或方式也包含在本公开的范畴及思想范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1