铺装机械用图像生成装置以及铺装机械用操作支援系统的制作方法

铺装机械用图像生成装置以及铺装机械用操作支援系统的制作方法
【专利摘要】铺装机械用图像生成装置(100)基于具有牵引部(61)、料斗部(62)以及找平部(63)的沥青滚平机(60)上所安装的多个摄像机(2)所摄像的输入图像来生成输出图像。输出图像包括料斗部图像(HG)、左侧周边图像(LG)、右侧周边图像(RG)以及牵引部(61)的图解图像(61CG)。铺装机械用图像生成装置(100)以表示从上方俯视沥青滚平机(60)的状态的方式来配置料斗部图像(HG)、左侧周边图像(LG)、右侧周边图像(RG)以及图解图像(61CG)。
【专利说明】铺装机械用图像生成装置以及铺装机械用操作支援系统

【技术领域】
[0001]本发明涉及铺装机械用图像生成装置以及使用该装置的铺装机械用操作支援系统，该铺装机械用图像生成装置根据安装于铺装机械的多个摄像机所摄像的多个输入图像来生成输出图像。

【背景技术】
[0002]以往，已知一种沥青滚平机的驾驶员支援装置，具备:对料斗内部进行摄像的摄像机；对料斗的左外侧周边部进行摄像的摄像机；以及对料斗的右外侧周边部进行摄像的摄像机(例如，参照专利文献1)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2009-19353号公报


【发明内容】

[0006]发明要解决的课题
[0007]专利文献1的沥青滚平机，在从能够沿车宽方向位移的驾驶席能够目视确认的位置，具备显示由各摄像机所摄像的画面的监视器。然后，驾驶员支援装置，根据车宽方向上的驾驶席的位置，自动地切换监视器所显示出的画面。其结果，驾驶员支援装置为，使驾驶员能够容易地目视确认根据驾驶席的位置而变化的死角区域。
[0008]然而，专利文献1的驾驶员支援装置为，仅使驾驶员能够目视确认料斗周围的死角区域，不能够使驾驶员目视确认处于沥青滚平机的周围的其他死角区域。因此，专利文献1的驾驶员支援装置，对于支援沥青滚平机的运转来说不充分。
[0009]鉴于上述问题，希望提供能够更容易理解地提示周围的死角区域的铺装机械用图像生成装置以及铺装机械用操作支援系统。
[0010]用于解决课题的手段
[0011]本发明的实施例的铺装机械用图像生成装置为，基于具有料斗部、牵引部以及找平部的铺装机械上所安装的多个摄像机构所摄像的输入图像来生成输出图像，在该铺装机械用图像生成装置中，上述输出图像包括俯视上述料斗部的料斗部图像、俯视上述铺装机械的行进方向左侧的周边区域的左侧周边图像、俯视上述铺装机械的行进方向右侧的周边区域的右侧周边图像以及上述牵引部的图解图像，以表示从上方俯视上述铺装机械的状态的方式来配置上述料斗部图像、上述左侧周边图像、上述右侧周边图像以及上述图解图像。
[0012]此外，本发明的实施例的铺装机械用操作支援系统，对铺装机械的移动或者操作进行支援，该操作支援系统具备:上述铺装机械用图像生成装置；以及显示部，设置在用于使上述铺装机械移动或对其进行操作的操作部的周边，显示该铺装机械用图像生成装置生成的输出图像。
[0013]发明的效果
[0014]通过上述技术方案，能够提供能够更容易理解地提示周围的死角区域的铺装机械用图像生成装置以及铺装机械用操作支援系统。

【专利附图】

【附图说明】
[0015]图1是概略地表示本发明的实施例的图像生成装置的构成例的框图。
[0016]图2是表示搭载有图1的图像生成装置的沥青滚平机的构成例的图。
[0017]图3是输出图像的显示例。
[0018]图4是输出图像的其他的显示例。
[0019]图5是表示输出图像生成处理的流程的流程图。

【具体实施方式】
[0020]以下，参照附图，对用于实施本发明的最佳的方式进行说明。
[0021]图1是概略地表示本发明的实施例的图像生成装置的构成例的框图。
[0022]图像生成装置100例如是基于铺装机械所搭载的摄像机2所摄像的输入图像来生成输出图像，并将该输出图像向驾驶员提示的装置。在本实施例中，图像生成装置100搭载于作为铺装机械的沥青滚平机60，主要由控制部1、摄像机2、输入部3、存储部4以及显示部5构成。
[0023]图2是表示搭载有图像生成装置100的沥青滚平机60的构成例的图，图2 (A)表不左侧视图，图2(B)表不俯视图，图2(C)表不后视图。
[0024]沥青滚平机60主要由牵引部61、料斗部62以及找平部63构成。
[0025]牵引部61是用于使沥青滚平机60行驶的机构。在本实施例中，牵引部61使用行驶用液压马达使4个车轮旋转而使沥青滚平机60移动。行驶用液压马达(未图示。)从柴油发动机等原动机(未图示。)驱动的液压泵(未图示。)接受工作油的供给而旋转。此夕卜，在牵引部61的上部配置有包括驾驶席64以及操作部65的驾驶室。
[0026]此外，在牵引部61的右侧部、左侧部以及前部安装有摄像机2 (右侧部摄像机2R、左侧部摄像机2L、前部摄像机2F)。此外，在驾驶室内的驾驶员容易目视确认的位置设置有显示部5。此外，在本实施例中，将从牵引部61观察到的料斗部62的方向作为前方，将从牵引部61观察到的找平部63的方向作为后方。
[0027]料斗部62是用于接收沥青混合料的机构，在本实施例中，构成为通过液压缸(未图示。)而在车宽方向上能够开闭。沥青滚平机60通常使料斗部62成为全开状态而从自卸车(未图示。)的货台接收沥青混合料。此外，图2表示料斗部62为全开状态的情况。然后，当料斗部62内的沥青混合料减少时，能够将料斗部62关闭，将处于料斗部62的内壁附近的沥青混合料集中到料斗部62的中央部而向找平部63输送。
[0028]找平部63是用于将沥青混合料铺平的机构，在本实施例中，构成为通过液压缸(未图示。)在铅直方向上能够升降、且在车宽度方向上能够伸缩。具体地说，找平部63的宽度为，在沿车宽度方向伸长的情况下，比牵引部61的宽度更大。
[0029]接下来，对图像生成装置100的各构成要素进行说明。
[0030]控制部I 是具备 CPU (Central Processing Unit)、RAM (Random Access Memory)、ROM (Read Only Memory) > NVRAM (Non-Volatile Random Access Memory)等的计算机。控制部1为，例如将与后述的输出图像生成机构10对应的程序存储于ROM、NVRAM，将RAM用作临时存储区域，并且使CPU执行与输出图像生成机构10对应的处理。
[0031]摄像机2是用于取得显示出沥青滚平机60的周边的输入图像的装置，例如以能够对处于驾驶室的驾驶员的死角区域进行摄像的方式安装于牵引部61。
[0032]死角区域例如包括料斗部62的内部空间(特别是接近牵引部61的部分)、将料斗部62关闭时的料斗部62的前端的左右角部的外侧的空间、沥青滚平机60的左右的侧部附近的接近路面的空间(特别是在车宽度方向上相对于车体中心轴处于驾驶室的相反一侧的空间，例如如本实施例那样，在驾驶室相对于车体中心轴设置于车宽度方向右侧的情况下，沥青滚平机60的左侧部附近的接近路面的空间。)等。
[0033]此外，摄像机2可以安装于牵引部61的右侧部、左侧部以及前部以外的位置(例如后部。)，也可以以能够对较大范围进行摄像的方式安装有广角透镜或者鱼眼透镜。此外，摄像机2可以安装于料斗部62、也可以安装于找平部63。
[0034]在本实施例中，摄像机2包括前部摄像机2F、左侧部摄像机2L以及右侧部摄像机2R。如图2(A)以及图2(B)所示那样，前部摄像机2F安装于牵引部61的前部上端，并安装为，其光轴2FX沿行进方向前方延伸、且在与路面之间在侧视中形成角度α (例如为65度。)。此外，如图2(A)?图2(C)所示那样，左侧部摄像机2L安装于牵引部61的左侧部上端，且安装为其光轴2LX在与牵引部61的左侧面之间在俯视图中形成角度β (例如为70度。)，且在与路面之间在后视中形成角度γ。右侧部摄像机2R与左侧部摄像机2L左右相反而同样地安装。此外，图2(B)的由虚线围起的区域2FA表示前部摄像机2F的摄像范围，由点划线围起的区域2LA表示左侧部摄像机2L的摄像范围，由双点划线围起的区域2RA表不右侧部摄像机2R的摄像--围。
[0035]此外，摄像机2也可以安装于从牵引部61延伸的安装用支座，也可以不经由安装用支座而直接安装于牵引部61，也可以埋入于牵引部61。
[0036]此外，摄像机2根据来自控制部1的控制信号取得输入图像，将取得的输入图像对控制部1进行输出。此外，摄像机2在使用鱼眼透镜或者广角透镜来取得输入图像的情况下，也可以将对通过使用这些透镜而产生的视觉上的歪曲(distort1n)、移轴(tilt andshift)进行了修正的修正后的输入图像对控制部1进行输出。此外，摄像机2也可以将不对其视觉上的歪曲、移轴进行修正的输入图像直接对控制部1进行输出。在直接输出的情况下，控制部1对其视觉上的歪曲、移轴进行修正。
[0037]如此，摄像机2以其摄像范围包括沥青滚平机60的左侧方以及右侧方、料斗部62的内部以及周边的多个死角区域在内的方式取得输入图像。
[0038]输入部3是能够用于供包括驾驶员在内的操作者对图像生成装置100输入各种信息的装置，例如是触摸板、按钮开关等。
[0039]存储部4是用于存储各种信息的装置，例如是硬盘、光盘或者半导体存储器等。
[0040]显示部5是用于显示图像信息的装置，例如是设置于驾驶室内的液晶显示器等，显示控制部1输出的各种图像。
[0041]输出图像生成机构10是用于生成输出图像的机构。输出图像生成机构10例如参照存储部4所存储的输入图像.输出图像对应映射40，将摄像机2摄像的输入图像所在的输入图像平面上的坐标、与输出图像所在的输出图像平面上的坐标建立对应。具体地说，输出图像生成机构10将输出图像中的各像素的值(例如，亮度值、色相值、彩度值等。)与输入图像中的各像素的值建立关联而生成输出图像。
[0042]输入图像.输出图像对应映射40存储基于摄像机2的光学中心、焦距、(XD尺寸、光轴向向量、摄像机水平方向向量、射影方式等各种参数而预先设定的、输入图像平面上的坐标与输出图像平面上的坐标之间的对应关系。此外，输入图像平面上的坐标与输出图像平面上的坐标之间的对应关系被设定为，在输入图像包括视觉上的歪曲、移轴的情况下，使该视觉上的歪曲、移轴不在输出图像中呈现。例如，构成输入图像平面上的非矩形区域的坐标组与构成输出图像平面上的矩形区域的坐标组建立对应。另一方面，在输入图像中的视觉上的歪曲、移轴在输入图像取得时已经被修正的情况下，例如，构成输入图像平面上的矩形区域的坐标组直接与构成输出图像平面上的矩形区域的坐标组建立对应。
[0043]图3以及图4是将使用沥青滚平机60所搭载的三台摄像机2(左侧部摄像机2L、右侧部摄像机2R以及前部摄像机2F)的输入图像而生成的输出图像显示于显示部5时的显不例。此外，图3的输出图像表不料斗部62全开时的沥青滚平机60的状态，图4的输出图像表示料斗部62关闭时的沥青滚平机60的状态。
[0044]输出图像主要包括料斗部图像HG、左侧周边图像LG、右侧周边图像RG以及图解图像61CG。此外，图像生成装置100以操作者能够识别沥青滚平机60的前方与显示部5的画面上方一致的方式，将料斗部图像HG、左侧周边图像LG、右侧周边图像RG以及图解图像61CG按照规定的大小配置在输出图像上的规定位置。这是为了，通过将表示从上方俯视沥青滚平机60以及其周边的状态的图像向操作者提示，由此使操作者更容易理解地识别沥青滚平机60与周围的物体之间的位置关系。
[0045]料斗部图像HG是基于前部摄像机2F的输入图像而生成的图像。在本实施例中，料斗部图像HG是从牵引部61侧俯视料斗部62的图像，通过将前部摄像机2F的输入图像的一部分进行剪切来生成，配置在输出图像的中央上部。
[0046]左侧周边图像LG是基于左侧部摄像机2L的输入图像而生成的图像。在本实施例中，左侧周边图像LG是从牵引部61侧对沥青滚平机60的行进方向左侧的周边区域进行俯视的图像。具体地说，左侧周边图像LG是通过对左侧部摄像机2L的输入图像的一部分进行剪切并进行变形修正、并且实施图像旋转处理来生成的，配置在输出图像的左侧端部。此夕卜，左侧周边图像LG包括找平部63的左侧端部的图像、以及处于全开状态的料斗部62的左侧端部的图像。变形修正是用于对使用广角透镜等而产生的视觉上的歪曲、移轴进行修正的图像处理。图像旋转处理是用于使沥青滚平机60的行进方向前方(显示部5的画面上方)与左侧周边图像LG内的图像的朝向一致的图像处理。在本实施例中，与左侧部摄像机2L的输入图像相关的输入图像平面上的坐标与输出图像平面上的坐标之间的对应关系，在预先取入了基于变形修正以及图像旋转处理的效果的状态下，存储于输入图像.输出图像对应映射40。此外，输入图像.输出图像对应映射40，也可以存储与作为实时地实施了变形修正以及图像旋转处理的结果而得到的输入图像相关的输入图像平面上的坐标与输出图像平面上的坐标之间的对应关系。此外，变形修正以及图像旋转处理也可以对料斗部图像HG实施。
[0047]右侧周边图像RG是基于右侧部摄像机2R的输入图像而生成的图像。在本实施例中，右侧周边图像RG是从牵引部61侧对沥青滚平机60的行进方向右侧的周边区域进行俯视的图像。具体地说，右侧周边图像RG是通过将右侧部摄像机2R的输入图像的一部分剪切而实施变形修正、并且实施图像旋转处理而生成的，配置在输出图像的右侧端部。此外，右侧周边图像RG包括找平部63的右侧端部的图像以及处于全开状态的料斗部62的右侧端部的图像。在本实施例中，与右侧部摄像机2R的输入图像相关的输入图像平面上的坐标与输出图像平面上的坐标之间的对应关系，在预先取入了基于变形修正以及图像旋转处理的效果的状态下，存储于输入图像?输出图像对应映射40。此外，输入图像?输出图像对应映射40也可以存储与作为实时地实施了变形修正以及图像旋转处理的结果而得到的输入图像有关的输入图像平面上的坐标与输出图像平面上的坐标之间的对应关系。
[0048]图解图像61CG是牵引部61的计算机绘图，代替在摄像机2的摄像区域中不包含的牵引部61的图像，而以操作者能够识别牵引部61的位置的方式显示。此外，图解图像6ICG配置在输出图像的中央下部。
[0049]如此，输出图像显示从上空俯视沥青滚平机60以及其附近的图像。
[0050]此外，在上述实施例中，料斗部图像HG以及左侧周边图像LG，是分别包括与三维空间中的相同区域对应的图像部分的不连续的图像对。同样，料斗部图像HG以及右侧周边图像RG，也是分别包括与三维空间中的相同区域对应的图像部分的不连续的图像对。如此，图像生成装置100以与三维空间中的相同区域对应的图像部分在二个位置显示的方式显示输出图像。即，不需要用于使与三维空间中的相同区域对应的图像部分不在二个位置显示的图像处理。此外，也不产生与这种图像处理相伴随的图像部分消失、图像部分的可视性降低等。因此，图像生成装置100能够抑制计算负荷的增大，并且能够生成容易理解地提示沥青滚平机60周围的状况的输出图像。
[0051]此外，在上述实施例中，料斗部图像HG、左侧周边图像LG以及右侧周边图像RG，分别基于对应的一个摄像机摄像的输入图像而生成。然而，本发明不限定于该构成。例如，料斗部图像HG、左侧周边图像LG以及右侧周边图像RG，也可以分别基于二个以上的摄像机摄像的输入图像而生成。
[0052]接下来，参照图5，对图像生成装置100生成输出图像的处理(以下，称为“输出图像生成处理”。)进行说明。此外，图5是表示输出图像生成处理的流程的流程图。此外，每当摄像机2取得输入图像时，图像生成装置100执行输出图像生成处理。
[0053]首先，控制部I的输出图像生成机构10参照输入图像.输出图像对应映射40，取得与输出图像平面上的各坐标对应的输入图像平面上的坐标具有的值(例如亮度值、色相值、彩度值等。)，将该取得的值采用作对应的输出图像平面上的各坐标的值(步骤Si)。
[0054]然后，控制部I判断是否将输出图像平面上的全部坐标的值与输入图像平面上的坐标的值建立了相关(步骤S2)。然后，控制部I在判断为还未将全部坐标的值建立关联的情况下(步骤S2的否)，反复进行步骤SI以及步骤S2的处理。
[0055]另一方面，控制部I在判断为对全部坐标的值建立了关联的情况下(步骤S2的是)，将输出图像在显示部5显示，使这次的输出图像生成处理结束。
[0056]通过以上的构成，图像生成装置100能够基于多个摄像机取得的输入图像，生成能够使操作者直觉地掌握沥青滚平机60与包括作业人员等在内的周边障碍物之间的位置关系的输出图像。
[0057]此外，图像生成装置100以将从上空对沥青滚平机60以及其附近进行俯视的状态向操作者进行提示的方式，将料斗部图像HG、左侧周边图像LG、右侧周边图像RG以及图解图像61CG配置在输出图像上。由此，操作者不离开驾驶席64就能够对处于沥青滚平机60周围的死角区域进行目视确认。作为其结果，图像生成装置100能够提高沥青滚平机60的安全性以及操作性。具体地说，图像生成装置100能够向操作者提示料斗部62内的沥青混合料的余量、铺装预定的路面上的地面物(例如进人孔。)的位置等。此外，图像生成装置100能够对操作者提示在沥青滚平机60的周边进行作业的作业人员的位置。因此，操作者能够在对显示部5进行观察而确认了地面物、工作人员的位置之后，执行料斗部62的开闭、找平部63的伸缩、找平部63的升降等各种操作。此外，操作者在根据工作人员与料斗部、找平部或者自卸车之间的关系而察觉到危险的情况下，能够进行各种操作的中止、沥青滚平机的停止等。
[0058]以上，对本发明的优选实施例进行了详细说明，但本发明不限定于上述实施例，在不脱离本发明的范围的情况下能够对上述实施例施加各种变形以及置换。
[0059]例如，图像生成装置100也可以搭载于使用石油沥青砂胶沥青混合料的石油沥青砂胶沥青滚平机。
[0060]此外，本申请主张基于2012年11月8日申请的日本专利申请2012-246578号的优先权，通过参照将该日本专利申请的全部内容援用于本申请。
[0061]符号的说明
[0062]1...控制部；2...摄像机；2L...左侧部摄像机；2R...右侧部摄像机；2F...前部摄像机；3...输入部；4...存储部；5...显示部；10...输出图像生成机构；40...输入图像.输出图像对应映射；60...沥青滚平机；61...牵引部；62...料斗部；63...找平部；64...驾驶席；65...操作部
【权利要求】
1.一种铺装机械用图像生成装置，基于具有料斗部、牵引部以及找平部的铺装机械上所安装的多个摄像机构所摄像的输入图像来生成输出图像，在该铺装机械用图像生成装置中， 上述输出图像包括俯视上述料斗部的料斗部图像、俯视上述铺装机械的行进方向左侧的周边区域的左侧周边图像、俯视上述铺装机械的行进方向右侧的周边区域的右侧周边图像以及上述牵引部的图解图像，以表示从上方俯视上述铺装机械的状态的方式来配置上述料斗部图像、上述左侧周边图像、上述右侧周边图像以及上述图解图像。
2.如权利要求1所述的铺装机械用图像生成装置，其中， 上述料斗部图像配置在上述输出图像的中央上部， 上述左侧周边图像配置在上述输出图像的左部，包括上述找平部的左侧端部的图像以及处于全开状态的上述料斗部的左侧端部的图像， 上述右侧周边图像配置在上述输出图像的右部，包括上述找平部的右侧端部的图像以及处于全开状态的上述料斗部的右侧端部的图像。
3.如权利要求1所述的铺装机械用图像生成装置，其中， 上述料斗部图像、上述左侧周边图像以及上述右侧周边图像分别基于对应的一个摄像装置所摄像的输入图像来生成。
4.如权利要求1所述的铺装机械用图像生成装置，其中， 上述料斗部图像以及上述左侧周边图像、上述料斗部图像以及上述右侧周边图像是包括重复部分的不连续的图像对。
5.如权利要求1所述的铺装机械用图像生成装置，其中， 对上述料斗部图像、上述左侧周边图像以及上述右侧周边图像中的至少一个实施变形修正。
6.一种铺装机械用操作支援系统，对铺装机械的移动或者操作进行支援，该操作支援系统具备: 如权利要求1所述的铺装机械用图像生成装置；以及 显示部，设置在用于使上述铺装机械移动或对其进行操作的操作部的周边，显示该铺装机械用图像生成装置生成的输出图像。
【文档编号】E01C19/48GK104508205SQ201380040783
【公开日】2015年4月8日 申请日期:2013年9月27日 优先权日:2012年11月8日
【发明者】市川智子 申请人:住友重机械工业株式会社