图像处理装置及图像处理方法与流程

本发明涉及一种图像处理装置及图像处理方法，其基于来自用于拍摄车辆周围的路面的拍摄装置输出的图像信号，对设置在该路面的停车框架进行推测。

背景技术：

已知有停车辅助装置，其通过对相当于停车框架的端部的路面上绘制的标记进行检测来对设置在停车场的该停车框架进行检测，并且将该停车框架的相关信息提供给车内的监视器上或者、提供给设置在车辆的声呐或者转向装置等的控制装置，从而辅助车辆停放(停车)的(例如，参考专利文献1)。而且，在该停车辅助动作时，利用图像処理技术对从拍摄车辆周围的路面的拍摄装置输出的图像信号进行标记的检测，并从该标记推测停车框架的技术也被已知(例如，参考专利文献2)

(现有技术文献)

(专利文献)

专利文献1：特开2012－210864号公报

专利文献2：特开2013－216305号公报

技术实现要素：

(发明所要解决的技术问题)

但是，专利文献2所公开的技术中，构成标记的白线形成的角点处图案化并施加白线的延长方向来推测停车框架。因此，根据专利文献2所公开的技术，模式匹配(图案匹配)需要相当长的时间，并且存在能够检测到的白线的宽度可能受到一定限制的问题。

因此，本发明额目的在于提供一种图像处理装置及图像处理方法，其能够快速且可靠地推测设置在停车场等的路面的停车框架。

(解决问题所采用的措施)

为了达到上述目的，本发明的图像处理装置的特征在于，其具备：标记检测部，其基于从拍摄车辆周围路面的拍摄装置输出的图像信号，检测具有绘制在路面上的沿两个方向延伸的白线部的标记；停车框架检测部，其从被检测出的标记中计算出在路面上邻接的标记，并基于这些邻接的标记之间的距离，检测由这些标记确定的停车框架；形状推测部，其检测包含于被检测的停车框架中的标记的白线部的延伸方向，并基于被检测出的白线部的延伸方向来推定停车框架的形状。

(发明的效果)

在这样构成的本发明的图像处理装置中，形状推测部检测包含于被检测的停车框架中的标记的白线部的延伸方向，并基于被检测的白线部的延伸方向来推测停车框架的形状。

通过这样的构成，能够迅速且可靠地实施对设置在停车场等的路面上的停车框架的推测。

附图说明

图1是表示适用本发明的实施方式的图像处理装置的停车辅助装置的示意性构成的框图。

图2是示出了本实施方式的停车辅助装置的拍摄装置的配置位置的一例的图。

图3是表示本实施方式的图像处理装置的示意性构成的机能框图。

图4是用于说明本实施方式的图像处理装置的动作的一例的流程图。

图5是用于说明本实施方式的图像处理装置的动作的一例的图。

图6是用于说明本实施方式的图像处理装置的动作的一例的图。

图7是用于说明本实施方式的图像处理装置的动作的一例的图。

图8是用于说明本实施方式的图像处理装置的动作的一例的图。

图9是用于说明本实施方式的图像处理装置的动作的一例的图。

图10是用于说明本实施方式的图像处理装置的动作的一例的图。

图11是用于说明本实施方式的图像处理装置的作用的一例的图。

图12是用于说明本实施方式的图像处理装置的作用的一例的图。

(附图标记说明)

v：车辆；p：停车场；1：停车辅助装置；20：摄像机(拍摄装置)；

22：摄像机ecu；100：图像处理装置；110：控制部；

111：标记检测部；111a：角点检测部；112：停车框架检测部；

113：形状推测部；200：标记；201a：第一白线部；

201b：第二白线部；202：停车框架；203：角点部；204：角点

具体实施方式

(停车辅助装置的示意性构成)

下面，基于附图对本发明的实施方式进行说明。图1是表示适用本发明的实施方式的图像处理装置的停车辅助装置的示意性构成的框图，图2是示出了本实施方式的停车辅助装置的拍摄装置的配置位置的一例的图。

如图1所示，停车辅助装置1搭载于车辆v(参考图2)，并实施停车辅助动作。具体而言，停车辅助装置1识别该车辆v能够停车(停放)的停车框架。而且，停车辅助装置1控制车辆v，使得该车辆v停放在识别的停车框架内。

在车辆v的前后左右具备如图2所示那样的多个小型摄像机(拍摄装置)。

具体而言，在车辆v的前保险杠或者前格栅上，朝向车辆v的前方安装有前方摄像机20a。在车辆v的后保险杠或者后部装饰件上，朝向车辆v的后方安装有后方摄像机20b。在车辆v的左车门后视镜上，朝向车辆v的左侧方安装有左侧方摄像机20c。在车辆v的右车门后视镜上，朝向车辆v的右侧方安装有右侧方摄像机20d。

在前侧摄像机20a、后侧摄像机20b、左侧方摄像机20c、右侧方摄像机20d上分别安装有能够观察广范围的广角镜头或鱼眼镜头，并通过4台摄像机20a～20d能够无死角地(无遗漏地)观察包括车辆v周围的路面的区域。通过这些摄像机20a～20d构成拍摄车辆v周围的路面的拍摄装置。另外，在以下的描述中，当不加区别地描述各个摄像机(拍摄装置)20a～20d时，将它们简单地描述为摄像机20。

返回图1，停车辅助装置1具有：前方摄像机20a、后方摄像机20b、左侧方摄像机20c、右侧方摄像机20d；摄像机ecu22；导航装置30；轮速传感器32；操舵角传感器34。

摄像机ecu22控制摄像机20，并且使用摄像机20检测到的信息实施俯瞰图像的生成処理或、检测停车框架的检测処理或，判断车辆v是否能够停放在检测到的停车框架的判定処理等。

导航装置(显示装置)30具备监视器31，该监视器31具有图像显示功能。导航装置30具有存储单元，该存储单元存储用于路线引导的地图数据等。导航装置30基于该地图数据等和由未图示的gps装置等所检测到的车辆v的現在位置，实施到达的路线引导，该目标地点由导航装置30的操作者设定。路线引导动作中的各种图像显示在监视器31。

轮速传感器32是检测车辆v的轮速的传感器。在轮速传感器32检测到的检测信息(轮速)输入于车辆控制ecu40。

操舵角传感器34检测车辆v的操舵的转向角。操舵角传感器34将车辆v以直行前进状态行驶时的转向角设为中立位置(0度)，并将从该中立位置旋转的角度作为转向角输出。将操舵角传感器34中检测到的检测信息(转向角)输入于车辆控制ecu40。

进一步，停车辅助装置1具备车辆控制ecu40、转向控制单元50、节流阀控制单元60、车闸控制单元70。

车辆控制ecu40由cpu(centralprocessingunit)、rom(readonlymemory)、ram(randomaccessmemory)等构成的微电脑作为主体而构成。车辆控制ecu40基于来自摄像机ecu22、轮速传感器32及操舵角传感器34输入的各检测信息，实施辅助车辆v的停车的各种処理。

也就是说，当驾驶员接通(打开开关的操作)例如未图示的自动停车开始开关并使停车辅助装置1启动时，车辆控制ecu40实施自动停车处理，使得将车辆v自动地停放于摄像机ecu22判定能够停放的停车框架。

转向控制单元50基于由车辆控制ecu40确定的车辆控制信息，驱动动力转向致动器52，控制车辆v的转向角。

节流阀控制单元60基于由车辆控制ecu40确定的车辆控制信息，驱动节流阀致动器62，控制车辆v的节流阀(油门)。

车闸控制单元70基于由车辆控制ecu40确定的车辆控制信息，驱动车闸致动器72，控制车辆v的车闸(制动器)。

另外，摄像机ecu22、轮速传感器32及操舵角传感器34与车辆控制ecu40之间，由作为车内lan(localareanetwork)的传感器信息can(注册商标)(controllerareanetwork)80连接。

此外，转向控制单元50、节流阀控制单元60及车闸控制单元70与车辆控制ecu40之间，由作为车内lan的车辆信息can(注册商标)82连接。

在具有上述构成的停车辅助装置1中，本实施方式的图像处理装置100主要由摄像机ecu22构成。

(图像处理装置的机能构成)

图3是表示本实施方式的图像处理装置100的示意性构成(结构)的机能框图。

本实施方式的图像处理装置100具有控制部110及存储单元120。

主要由摄像机ecu22构成的控制部110实施图像处理装置100整体的控制。另外，控制部110将自动停车処理所需要的信息(停车框架的位置，形状等)发送至车辆控制ecu40，其用于该车辆控制ecu40实施自动停车処理而使车辆v自动地停放于能够停放车辆v的停车框架中，该停车框架基于由后述的标记检测部111、停车框架检测部112及形状推测部113检测、推测的标记或者停车框架来判断。

车辆控制ecu40基于由控制部110提供的信息，并且，基于轮速传感器32及操舵角传感器34(在图3中仅图示了传感器)检测的检测信息，驱动控车闸力转向致动器52、节流阀致动器62及车闸致动器72(在图3中仅图示了致动器)。

控制部110具有代表cpu、fpga等的可编程逻辑器件、asic等的集成电路的运算元件。

在图像处理装置100的存储单元120存储有未图示的控制用程序，在图像处理装置100的启动时通过控制部110实施该控制用程序，并图像处理装置100具备如图3所示的机能构成。特别是，由于本实施方式的图像处理装置100利用实施后述那样的高速的图像処理，因此优选具有能够高速运算的运算元件，例如fpga等。

控制部110具有标记检测部111、停车框架检测部112、形状推测部113及显示控制部114。

标记检测部111基于图像信号，检测具有在路面上绘制的沿两个方向延伸的白线部的标记，该图像信号由拍摄车辆v周围的路面的摄像机20输出。

特别是，标记检测部111具有角点检测部111a，该角点检测部111a通过基于图像信号来检测图像中的角点并检测白线部交叉的标记的角点。该角点检测部111a优选基于图像信号的亮度图案来检测角点。而且，标记检测部111优选基于由角点检测部111a检测的角点的位置来检测标记。

停车框架检测部112计算出由标记检测部111检测的标记当中邻接于路面上的标记，并基于这些邻接的标记之间的距离，检测由这些标记确定的停车框架。

形状推测部113对包含于停车框架检测部112所检测的停车框架中的标记的白线部的延伸方向进行检测，并基于检测的白线部的延伸方向推测停车框架的形状。特别是，形状推测部113基于图像信号的亮度图案来检测白线部的延伸方向。

显示控制部114向导航装置30发送显示控制信号，该显示控制信号是由摄像机20拍摄的车辆v周边的路面图像或者，将由标记检测部111、停车框架检测部112及形状推测部113检测、推测的标记或表示停车框架的图像适当重复于该路面图像或者，单独地用于显示在导航装置(显示装置)30的监视器31的信号。

主要由车辆控制ecu40构成的存储单元120具有如硬盘驱动器等的大容量存储介质或rom、ram等的半導体存储介质等的存储介质。在存储单元120中临时或非临时地存储有在控制部110的各种动作时使用的各种数据。

此外，在存储单元120中存储有停车框架登记数据121。该停车框架登记数据121是有关于由停车框架检测部112及形状推测部113检测、推测的停车框架的数据。

图3所示的，有关构成图像处理装置100的各部的具体的动作将在稍后描述。

(图像处理装置的动作)

接下来，基于图4的流程图及图5～图10对本实施方式的图像处理装置100的动作的一例进行说明。

图4是为了描述图像处理装置100的动作的流程图。图4的流程图所示的动作，是由驾驶员通过操作未图示的自动停车开始开关来实施自动停车开始的指示的输入而开启。

在步骤s1中，图像处理装置100的控制部110获取由摄像机20拍摄的车辆v周围的路面的图像信号。

在步骤s2中，基于步骤s1所获取的图像信号，控制部110生成合成这些图像信号的信号。在步骤s2中合成的信号是用于将恰似在车辆v的上方设置的摄像机从上方向下看正下方的图像(俯瞰图像)显示于导航装置30的信号。生成这样的俯瞰图像的技术是总所周知的，作为例子，已知有公开该技术的特开平3－99952号公报或特开2003－118522号公报。

另外，在步骤s2中不实施图像合成作业，或者，也可以在后述的步骤s3的检测标记的角点的作业后实施步骤s2的图像合成作业。但是，在生成俯瞰图像之后实施标记的角点的检测作业能够更加减轻图像处理装置100的処理负担。

在步骤s3中，基于在步骤s2中合成的图像，标记检测部111对在路面上绘制的标记的角点进行检测。

参照图5对在停车场等的路面上绘制的标记的一例进行说明。图5所示的停车场p具有：停车区域a1，其用于停放车辆v；通路区域a2，其为了用于车辆v的通行而设置。而且，在该停车场p的路面上绘制有多个的标记200，该标记200绘制在区分停车区域a1和通路区域a2的边界部分。

图5所示的标记200具有：第一白线部201a，其沿通路区域a2的车辆v的前进方向(图中箭头所示)延伸；第二白线部201b，其从基本上等分的第一白线部201a的位置朝向停车区域a1延伸。该第二白线部201b相对于第一白线部201a绘制成垂直线。

而且，由相邻的标记200围绕的区域中，具有可以停放车辆v的停车框架202。停车框架202是在图示例中从上面观察的状态下(俯视图中)几乎与车辆v的外形外接的矩形的框架。停车框架202不限于在停车场p的路面绘制(图5所示的例中没有绘制在路面)。因此，停车辅助装置1为了将该停车框架202作为目标实施停放车辆v的停车辅助动作时，需要基于绘制标记200的位置及构成标记200的一对的白线部201a、201b的延伸方向，推测停车框架202的位置及延伸方向。

参照图6及图7，对通过标记检测部111检测如图5所示的那样的标记200的角点的动作的细节进行说明。

标记检测部111的角点检测部111a基于车辆v周围的路面的图像信号的亮度值，对标记200的角点部(角部)进行检测。这里所指的角点部是指，构成标记200的第一白线部201a和第二白线部201b的边缘(框架线)相交的部分。作为一例，在图6所示的标记200中，具有二角括号形状的标记200a的情况时，存在两个角点部203a、203b。相同地，图6所示的标记200中，具有t字形的标记200b的情况时，相同地存在两个角点部203c、203d。另外，在以下的描述中，在不区分各个角点部203a～203d而进行描述的情况时，将它们简单地描述为角点部203。

角点检测部111a通过检测角点204a～204d来检测标记200的角点部203a～203d，也就是说，通过检测第一及第二白线部201a、201b的框架线相交的点的角点204a～204d来检测角点部203a～203d。另外，在以下的描述中，在不区分各个角点204a～204d而进行描述的情况时，将它们简单地描述为角点204。

参考图6及图7，由角点检测部111a检测角点204a～204d的方法的一例进行说明。

关于角点204a，设定有如图7(a)中的(1)所示那样的由12个像素205构成的检测区域206，并从构成该检测区域206的像素205的亮度值检测角点204a。在此，将图中的左右方向设定为x轴，将图中的上下方向设定为y轴。具体而言，在关注的像素205a的图中上、左上及左的像素205b、205c、205d的亮度值能够被判定为较高的白色像素，下的像素205e的亮度值能够被判定为较低的黑色像素(在图中用阴影部分表示)时，将关注的像素205a的左上的点判定为角点204a。

相同地，关于角点204b，设定有如图7(a)中的(2)所示那样的检测区域206。而且，在关注的像素205f的右侧及下的像素205g、205h能够被判定为白色像素，构成检测区域206的其他的像素205能够被判定为黑色像素时，将关注的像素205f的左上的点判定为角点点204b。

进一步，关于角点204c、204d，设定有如图7(b)中的(3)、(4)所示那样的检测区域206，与角点204a、204b相同地，基于构成该检测区域206的像素205中的白色像素及黑色像素的位置关系来判定。

返回图4，在步骤s4中，基于在步骤s3中检测的标记200的角点部203a～203d(角点204a～204d)，停车框架检测部112检测停车区域。更具体地，停车框架检测部112将路面上的邻接的一对标记200的角点204a～204d之间的距离作为这些标记200之间的距离来计算，如果该距离在阈值内，则检测认为在这些标记200之间具有停车区域。此时，停车框架检测部112在邻接的一对标记200的角点204a～204d中，将彼此面对的角点204a、204c的距离作为标记200的之间的距离。

停车框架检测部112所检测的停车区域是矩形的框架，该矩形的框架将彼此面对的角点204a、204c作为矩形的短边，将从角点204b、204c沿垂直于短边的方向仅延伸车辆v的车长度(例如5m)的直线作为矩形的长边。而且，停车框架检测部112将构成停车区域的矩形框架的角点的4点(四个角)的坐标值作为停车框架登记数据121临时存储在存储单元120。

返回图4，哎步骤s5中，形状推测部113检测出，在步骤s4中临时确定的停车框架202所邻接的标记200的白线部201a、201b的延伸方向。

参考图8及图9，由形状推测部113对白线部201a、201b的延伸方向的检测过程进行说明。

首先，形状推测部113从步骤s4中所检测到的构成停车区域的标记200当中选择一个标记200。而且，通过从選択的标记200的角点204朝向被认为是与白线部201a、201b的延伸方向正交的方向扫描施加于该标记200的像素的亮度值，来掌握(获得)白线部201a、201b的边缘部位于哪个位置。

作为一例，如图8所示，将x轴设定为图中的左右方向，将y轴设定为图中的上下方向。形状推测部113从一个角点204c的左及下的像素205j、205k选择朝向x轴正方向及y轴正方向前进(移动)的一个像素，并判断该像素的亮度值是否高(即，白色像素)。进一步，如果是白色像素时，选择进一步朝向x轴正方向及y轴正方向前进的一个像素并且重复实施其是否为白色像素的作业。而且，在判定为黑色像素205m、205n时停止像素的扫描。该黑色像素205m、205n所在的位置被判定为相当于白线部201a、201b的边缘部。关于角点204d像素的扫描也类似地实施。

此时，若果在仅实施一定距离(预定个数的像素)的像素的扫描也没有发现白色像素或者，白色像素没有移位变至黑色像素的情况时，形状推测部113废除在步骤s4中检测到的停车区域。但是，考虑到第二白线部201b相对于第一白线部201a倾斜相交(交叉)的标记200，像素的扫描宽度优选为加宽获取(也就是说，获取较长的一定距离)。

接下来，形状推测部113，如图9所示，从作为扫描的起始点的像素205j、205k的左及下的像素反复实施相同的像素扫描。据此，能够检测白线部201a、201b的延伸方向(图中箭头e1、e2)。此时，可以从之前的像素的扫描结果修改修正像素的扫描方向。也就是说，如上所述那样，在第二白线部201b与第一白线部201a倾斜相交的标记200的情况时，无需特别仅在y轴正方向上实施像素的扫描，可以从至今为止的像素的扫描结果修改第二白线部201b的延伸方向。

形状推测部113实施像素的扫描的方法，不限于如图8所示的x－y方向。作为一例，由于在一个标记200检测到了两个角点204，因此能够考虑到连接这些角点204的直线为第一白线部201a的延伸方向。此外，也能够将与连接两个角点204的直线正交的方向临时设置为第二白线部201b的延伸方向。

返回图4，在步骤s6中，形状推测部113基于在步骤s5中检测到的白线部201a、201b的延伸方向来确定方位角，即，第二白线部201b与第一白线部201a相交的角度。该方位角可以由构成停车区域的角点204每个的平均值来求出。

而且，在步骤s7中，形状推测部113沿着在步骤s6中确定的方位角，确定并登记停车框架202。也就是说，如图10所示，将彼此面对的角点204设为矩形的短边，将从角点204朝向在步骤s6中确定的方位角的方向仅延伸车辆v的车长度(例如5m)的直线设为矩形的长边的矩形的框架作为停车框架202来确定。而且，形状推测部113将构成停车框架202的矩形框架的角点4点(四个角)的坐标值作为停车框架登记数据121存储于存储单元120。

(图像处理装置的効果)

在如上所述那样构成的本实施方式的图像处理装置100中，形状推测部113对包含于由停车框架检测部112检测的停车框架202的标记200的白线部201a、201b的延伸方向进行检测，并基于检测的白线部201a、201b的延伸方向对停车框架202的形状进行推测(推定)。

因此，与传统图像处理装置不同，能够精确地推定停车框架202的形状，而无需在由构成标记的白线所形成的角点部处图案化和拟合白线的延伸方向。据此，能够迅速且可靠地实施设置在诸如停车场p等的路面上的停车框架202的推测。

另外，由角点检测部111a检测到的角点部203中，可以考虑到在邻接的角点部203的距离是一定距离(规定距离)的条件下检测停车框架202的方法。但是，如果仅通过角点检测部111a检测出角点部203来设定停车框架202的话，不能否定有错误检测的可能性，如角点检测部111a将停车场p等的路面的粗略化、油漆脱落、树阴或者停放中的白色车辆v当做角点部203的错误检测。因此，仅通过由角点检测部111a检测到的角点部203的距离来检测停车框架202时，可能发生错误的检测。

进一步，可以想到一种方法，即朝向与连接具有一定距离的角点204的直线正交的方向设置停车框架202。但是，在这种方法中，第二白线部201b与第一白线部201a倾斜相交的标记200的情况时，很难适当地设置/登记停车框架202。

在本实施方式的图像处理装置100中，由于考虑白线部201a、201b的延伸方向来设定停车框架202，而不仅仅取决于203的距离，因此，即使是例如图11所示那样的纵列停车用的停车框架202a还是并列停车用的停车框架202b，都能够适当地设置停车框架202。另外，如图12所示，即使在第二白线部201b相对于第一白线部201a倾斜相交的标记200的情况时，也能够适当地设置停车框架202。

以上，参考附图，对本发明的实施方式进行了详细描述，但是具体的构成，不限于本实施方式及実施例，在不脱离本发明的主旨的范围内的设计变更也包含于本发明。

作为一例，由上述实施方式的图像处理装置100能够检测的标记200不限于图示例，只要是由角点检测部111a能够检测到角点部203的标记200，则其形状没有特别的限定。作为一例，可以是十字形，即，可以是第一白线部201a和第二白线部201b在其中央部交叉的形状的标记200。

此外，在上述的实施方式的图像处理装置100中，由图像的亮度值实施白黒判定，但是，可以从图像的rgb值来实施白黒判定。