工程机械的控制系统及方法与流程

1.本发明涉及一种工程机械的控制系统及方法。更详细地，涉及一种用于在诸如轮式装载机、挖掘机等的工程机械的作业或行驶时认知前方障碍物的控制系统及利用其的工程机械的控制方法。


背景技术：

2.诸如挖掘机、轮式装载机等的工程机械广泛用于执行在建筑工地挖掘并运输诸如土、沙等的装载物并将其装载到诸如自卸卡车的货物车辆上的作业等。这些作业通过如铲斗和动臂设置在工程机械中的作业装置的驱动来执行。然而，所述作业装置可能会在驱动或行驶中遮挡或限制作业者的前方视野，并且如上所述的作业装置对作业者的前方视野的干扰可能会成为引发安全事故的原因。


技术实现要素：

3.技术问题
4.本发明的一课题在于，提供一种能够改善被作业装置限制的前方视野的工程机械的控制系统。
5.本发明的另一课题在于，提供一种利用上述控制系统的工程机械的控制方法。
6.技术方案
7.用于达成所述本发明的一课题的示例性的实施例的工程机械的控制系统包括：上部摄像头，其设置在后方车身的驾驶室上以拍摄所述驾驶室的前方；下部摄像头，其设置在可旋转地连接于所述后方车身的前方车身上以拍摄所述前方车身的前方；角度信息检测部，其用于检测相对于所述后方车身的所述前方车身的弯折角度信息；影像处理装置，其用于将由所述上部摄像头及所述下部摄像头拍摄的第一影像及第二影像合成为一个影像，并且根据从所述角度信息检测部获取的所述弯折角度信息，在所合成的所述影像中设定所述第一影像及第二影像中的至少某一个影像被透明化处理的透明化处理区域的位置；以及显示装置，其用于显示由所述影像处理装置合成的合成影像。
8.在一些示例性的实施例中，所述影像处理装置可以包括：转向角度计算部，其由从所述角度信息检测部获取的所述弯折角度信息决定所述前方车身的转向铰链角度；以及透明化处理部，其根据所决定的所述转向铰链角度，在所合成的所述影像中决定所述透明化处理区域的位置。
9.在一些示例性的实施例中，所述转向角度计算部可以将从所述角度信息检测部获取的检测值换算为所述前方车身的转向铰链角度值。
10.在一些示例性的实施例中，所述角度信息检测部可以包括中心销角度传感器、转向缸位移传感器或陀螺仪传感器。
11.在一些示例性的实施例中，所述工程机械的控制系统还可以包括作业装置姿势检测部，其用于检测所述前方作业装置的姿势，所述影像处理装置根据由所述作业装置姿势
检测部检测到的所述前方作业装置的姿势，在所述透明化处理区域对所述第一影像及所述第二影像中的至少某一个影像进行透明化处理。
12.在一些示例性的实施例中，所述影像处理装置可以在所述前方作业装置的至少一部分侵犯已设定的位置时，在所述透明化处理区域对所述第一影像进行透明化，并且在所述前方作业装置不侵犯所述已设定的位置时，在所述透明化处理区域对所述第二影像进行透明化。
13.在一些示例性的实施例中，所述工程机械的控制系统还可以包括输入部，其用于设定所述影像处理装置中的影像处理条件。
14.在一些示例性的实施例中，所述影像处理条件可以包括所述第一影像及所述第二影像的透明化转换时间点或者所述透明化处理区域在所述显示装置的整个显示区域中所占的面积。
15.在一些示例性的实施例中，所述影像处理装置可以以在所述透明化处理区域用线或虚线等显示在所述第一影像或所述第二影像中被拍摄并被透明化的动臂或铲斗外观的轮廓的方式进行处理。
16.在一些示例性的实施例中，可以通过对实际第一影像或第二影像中被拍摄的动臂或铲斗图像进行透明化处理来显示透明化后的所述动臂或铲斗的轮廓。
17.在一些示例性的实施例中，所述影像处理装置可以在所述透明化处理区域对所述第一影像及所述第二影像中结合于所述前方车身的动臂或铲斗影像选择性地进行透明化处理。
18.在一些示例性的实施例中，所述合成影像可以包括所述影像处理装置在所述第一影像及所述第二影像内识别的客体。
19.在一些示例性的实施例中，所述影像处理装置可以通过预先决定的算法将人、动物、建筑物或装备识别为客体。
20.在一些示例性的实施例中，所述影像处理装置可以从所述第一影像及所述第二影像中的某一个提取裁剪影像并对所述第一影像及所述第二影像中的另一个影像内的部分区域进行透明化，并将所提取的所述裁剪影像合成到透明化后的所述区域以生成透明化处理后的所述影像。
21.在一些示例性的实施例中，透明化后的所述部分区域可以是所述透明化处理区域。
22.在一些示例性的实施例中，所述影像处理装置可以将所述第一影像的一部分设定为第一合成区域，并将所述第二影像的一部分设定为第二合成区域，并且对所述第二影像的所述第二合成区域进行半透明处理，并将半透明处理后的所述第二合成区域合成到所述第一影像的所述第一合成区域以制作合成后的所述合成影像。
23.用于达成所述本发明的另一课题的示例性的实施例的工程机械的控制方法包括：从设置在后方车身的驾驶室上的上部摄像头获取所述驾驶室的前方的第一影像；从设置在可旋转地连接于所述后方车身的前方车身上的下部摄像头获取所述前方车身的前方的第二影像；获取相对于所述后方车身的所述前方车身的弯折角度信息；将所述第一影像及所述第二影像合成为一个影像；根据获取到的所述前方车身的弯折角度信息，在所合成的所述影像中设定透明化处理区域的位置；在所述透明化处理区域内对所述第一影像及所述第
二影像中的至少某一个影像进行透明化处理；以及通过显示装置显示透明化处理后的所述影像。
24.在一些示例性的实施例中，根据获取到的所述前方车身的弯折角度信息来设定所述透明化处理区域的位置的步骤可以包括：从所述弯折角度信息中决定所述前方车身的转向铰链角度；以及根据所述转向铰链角度，在所合成的所述影像中决定透明化处理区域的位置。
25.在一些示例性的实施例中，在从所述弯折角度信息中决定所述前方车身的转向铰链角度的步骤中，可以将所述弯折角度检测值换算为所述前方车身的转向铰链角度值。
26.在一些示例性的实施例中，获取相对于所述后方车身的所述前方车身的弯折角度信息的步骤可以包括：利用弯折角度检测传感器，所述弯折角度检测传感器包括中心销角度传感器、转向缸位移传感器或陀螺仪传感器。
27.在一些示例性的实施例中，所述工程机械的控制方法还可以包括：检测所述前方作业装置的姿势，在所述透明化处理区域内对所述第一影像及所述第二影像中的至少某一个影像进行透明化处理的步骤可以包括：根据检测到的所述前方作业装置的姿势来对所述第一影像及所述第二影像中的至少某一个影像进行透明化处理。
28.在一些示例性的实施例中，所述工程机械的控制方法还可以包括：设定使所述第一影像及所述第二影像透明化的影像处理条件。
29.在一些示例性的实施例中，所述影像处理条件可以包括所述第一影像及所述第二影像的透明化转换时间点或者所述透明化处理区域在所述显示装置的整个显示区域中所占的面积。
30.用于达成所述本发明的另一课题的示例性的实施例的工程机械的控制方法包括：从设置在后方车身的驾驶室上的上部摄像头获取所述驾驶室的前方的第一影像；从设置在可旋转地连接于所述后方车身的前方车身上的下部摄像头获取所述前方车身的前方的第二影像；获取相对于所述后方车身的所述前方车身的弯折角度信息；根据获取到的所述前方车身的弯折角度信息，在所述第一影像中设定透明化处理区域的位置；在所述第二影像中将对应于所述透明化处理区域的部分区域设定为裁剪区域以提取裁剪影像；调节所述第一影像的所述透明化处理区域的透明度；将从所述第二影像提取的裁剪影像合成到所述第一影像的所述透明处理区域；以及通过显示装置显示所合成的所述影像。
31.在一些示例性的实施例中，将所提取的所述裁剪影像合成到所述第一影像的所述透明处理区域的步骤可以包括：放大从所述第二影像提取的裁剪影像；以及将放大后的所述裁剪影像合成到所述第一影像的所述透明化处理区域。
32.在一些示例性的实施例中，调节所述第一影像的所述透明化处理区域的透明度的步骤可以包括：在所述第一影像的透明化处理区域内用线或虚线显示动臂或铲斗外观的轮廓。
33.在一些示例性的实施例中，所述工程机械的控制方法还可以包括：在所合成的所述影像中通过预先决定的算法将人、动物、建筑物或装备识别为客体。
34.发明的效果
35.根据一些示例性的实施例，工程机械的控制系统能够将由设置在驾驶室上的上部摄像头和设置在前方车身上的下部摄像头拍摄到的第一影像和第二影像合成为一个影像，
根据所述前方车身的转向铰链角度在所合成的所述影像中决定透明化处理区域的位置，根据连接于所述前方车身的铲斗或动臂的位置在所述透明化处理区域内对所述第一影像及所述第二影像中的至少某一个影像进行透明化处理，并且通过显示装置显示透明化处理后的所述影像。
36.即，决定以与所述前方车身的转向铰链角度匹配的方式合成的所述影像中的透明化处理区域的位置，并根据诸如所述铲斗的位置的作业装置的姿势在所述透明化处理区域对所述第一影像及所述第二影像中的至少某一个影像进行透明化处理，由此在工程机械转向时也能够消除前方作业装置遮挡前方视野的盲区。因此，可以增加作业者的认知力以确保稳定性，从而防安全事故于未然。
37.此外，可以根据作业者的选择设定透明化处理区域，因而可以提高透明化处理后的影像的利用的自由度，并且能够构成有效的系统。
38.然而，本发明的效果不限于上面提及的效果，可以在不脱离本发明的思想和领域的范围内被多样地扩展。
附图说明
39.图1是示出示例性的实施例的工程机械的侧视图。
40.图2是示出对应于图1的动臂的旋转角度的铲斗上升位置的侧视图。
41.图3是示出图1的工程机械的直行行驶及左侧旋回时的上部摄像头和下部摄像头的水平视野角的平面图。
42.图4是示出图1的工程机械的控制系统的框图。
43.图5是示出图4的影像处理装置的框图。
44.图6是示出通过上部摄像头拍摄的第一影像的图。
45.图7是示出通过下部摄像头拍摄的第二影像的图。
46.图8是示出通过图5的影像处理装置合成图6的第一影像和图7的第二影像的影像的图。
47.图9是示出示例性的实施例的轮式装载机的控制方法的顺序图。
48.图10是示出图3中的工程机械的直行行驶时(a状态)由上部摄像头拍摄到的第一影像被显示于驾驶室内的显示装置的屏幕的图。
49.图11是示出图3中的工程机械的左侧转向时(b状态)由上部摄像头拍摄到的第一影像被显示于驾驶室内的显示装置的屏幕的图。
50.附图标记
51.10：轮式装载机，12：前方车身，14：后方车身，20：动臂，22：动臂缸，24：动臂角度传感器，30：铲斗，32：铲斗缸，34：倾斜斗杆，40：驾驶室，70：前方轮，100：摄像头部，110：第一摄像头，120：第二摄像头，150：角度信息检测部，200：影像处理装置，210：转向角度计算部，220：影像合成部，230：透明化处理部，240：图像渲染部，250：存储部，300：显示装置，400：输入部。
具体实施方式
52.下面参照附图对本发明的优选实施例进行详细说明。
53.在本发明的各图中，为了本发明的清楚性，结构物的尺寸是比实际放大而图示的。
54.在本发明中，第一、第二等术语可以用于说明多样的构成要素，但这些构成要素不应为这些术语所限定。这些术语仅用作区分一构成要素与另一构成要素的目的。
55.本发明中使用的术语仅用于说明特定的实施例，并不意图限定本发明。除非上下文中明确不同地定义，单数的表述包括复数的表述。在本技术中，“包括”或“具有”等术语应被理解为用于指定说明书上记载的特征、数字、步骤、动作、构成要素、部件或这些的组合的存在，而并非预先排除一个或一个以上的其他特征或数字、步骤、动作、构成要素、部件或这些的组合的存在或可附加性。
56.对于本文所公开的本发明的实施例，特定的结构性乃至功能性说明仅仅是以用于说明本发明的实施例的目的例示的，本发明的实施例可以被实施为多样的形态，不应解释为限于本文所描述的实施例。
57.即，本发明可以被加以多样的变更，并且可以具有多种形态，一些特定的实施例将例示于附图，并在本文中进行详细说明。但是，这并不意图将本发明限定于特定的公开形态，而是应理解为包括落入本发明的思想和技术范围的所有变更、等同物乃至替代物。
58.图1是示出示例性的实施例的工程机械的侧视图。虽然图1中示出了轮式装载机10，但并不因此而使示例性的实施例的工程机械的控制装置仅限于在轮式装载机中利用，而是可以应用于多样的工业用车辆等。下文中，为便于说明，仅对轮式装载机10进行描述。
59.参照图1，工程机械10可以包括车身12、14、驾驶室40、以及前方作业装置。以图1的轮式装载机10为例，车身12、14可以包括彼此可旋转地连接的前方车身12和后方车身14。前方车身12可以包括前方作业装置和前方轮70。后方车身14可以包括驾驶室40、发动机室50、以及后方轮72。
60.所述前方作业装置可以包括动臂20和铲斗30。动臂20可以以可旋转的方式连接于前方车身12，铲斗30可以以可旋转的方式连接于动臂20的一端部。动臂20通过一对动臂缸22连接于前方车身12，动臂20可以通过动臂缸22的驱动在上下方向上旋转。倾斜斗杆34在动臂20的大致中心部上以可自由旋转的方式连接，倾斜斗杆34的一端部和前方车身12通过一对铲斗缸32连接，通过倾斜杆连接于倾斜斗杆34的另一端部的铲斗30可以通过铲斗缸32的驱动在上下方向上旋转(倾卸或挖掘)。
61.此外，前方车身12和后方车身14通过中心销16彼此可旋转地连接，并且，通过转向缸(未图示)的伸缩，前方车身12可以相对于后方车身14左右弯折。
62.可以在后方车身14上搭载用于使轮式装载机10行驶的行驶装置。发动机(未图示)可以配置于所述发动机室内，并向所述行驶装置供给功率输出。所述行驶装置可以包括变矩器、变速器、螺旋轴、车轴等。所述发动机的功率输出通过所述变矩器、所述变速器、所述螺旋轴以及所述车轴传递至前方轮70及所述后方轮72，使得轮式装载机10行驶。
63.可以在后方车身14上搭载用于向所述作业装置的动臂缸22及铲斗缸32供应压油的液压泵(未图示)。所述液压泵可以使用来自所述发动机的功率输出的一部分来驱动。例如，就所述发动机的输出而言，可以通过诸如与所述发动机连接的齿轮系的动力传递装置来驱动所述作业装置用的液压泵和转向用的液压泵。
64.所述液压泵可以供应工作油以驱动所述作业装置，并且可以区分为可变容量型和恒定容量型。泵控制装置连接于所述可变容量型液压泵，并且可以通过所述泵控制装置来
控制所述可变容量型液压泵的排出流量。所述液压泵可以通过预定的液压回路与包括动臂控制阀和铲斗控制阀的主控制阀(mcv)连接。所述液压泵的排出油可以通过主控制阀(mcv)的所述动臂控制阀及所述铲斗控制阀被供应至动臂缸22及铲斗缸32。主控制阀mcv可以根据基于所述操作杆的操作输入的先导压力信号将从所述液压泵排出的工作油供应至动臂缸22和铲斗缸32。从而，动臂20和铲斗30可以通过从所述液压泵排出的工作油的液压来驱动。
65.驾驶室40设置在所述工程机械的车身，在轮式装载机的情况下，可以设置在后方车身14的上部。在驾驶室40内可以设有驾驶操作装置。所述驾驶操作装置可以包括行驶踏板、制动踏板、fnr行驶杆、用于操作诸如动臂缸22及铲斗缸32的作业缸的操作杆、以及诸如用于操作所述转向缸的转向盘的转向装置。
66.如上所述，轮式装载机10可以包括将所述发动机的输出通过动力传递装置用于驱动所述行驶装置的行驶系统、以及用于驱动诸如动臂20和铲斗30的前方作业装置的液压装置系统。
67.下文中，针对所述工程机械的控制系统以轮式装载机为例进行说明。
68.图2是示出对应于图1的动臂的旋转角度的铲斗上升位置的侧视图。图3是示出图1的工程机械的直行行驶及左侧旋回时的上部摄像头和下部摄像头的水平视野角的平面图。图4是示出图1的工程机械的控制系统的框图。图5是示出图4的影像处理装置的框图。图6是示出通过上部摄像头拍摄的第一影像的图。图7是示出通过下部摄像头拍摄的第二影像的图。图8是示出通过图5的影像处理装置合成图6的第一影像和图7的第二影像的影像的图。参照图1至图8，所述轮式装载机的控制系统可以包括：摄像头部100，其安装于轮式装载机10，用于拍摄轮式装载机10的前方；角度信息检测部150，其用于获取相对于后方车身14的前方车身12的弯折角度信息；影像处理装置200，其用于实时处理来自摄像头部100的影像；以及显示装置300，其用于显示由影像处理装置200处理的影像。此外，所述轮式装载机的控制系统还可以包括：作业装置姿势检测部，其用于检测连接于前方车身12的前方作业装置的姿势；以及输入部400，其用于设定影像处理装置200中的影像处理条件。
69.轮式装载机10的影像处理装置200可以作为发动机控制装置(ecu)或车辆控制装置(vcu)的一部分或单独的控制器搭载于后方车身14。影像处理装置200可以包括用于执行这里描述的功能的指定的硬件、软件及电路。这些构成要素可以由诸如逻辑电路、微处理器、存储装置等的电气回路通过物理方式执行。
70.在一些示例性的实施例中，摄像头部100用于在轮式装载机10行驶或进行作业时监视轮式装载机10的前方，可以包括多个摄像头。具体地，摄像头部100可以包括：上部摄像头110，其设置在驾驶室40的上部，用于拍摄驾驶室40的前方以获取第一影像im1；以及下部摄像头120，其设置在前方车身12上，用于拍摄前方车身12的前方以获取第二影像im2。例如，所述上部摄像头及所述下部摄像头可以是具备鱼眼透镜(fisheye lens)的鱼眼摄像头。虽然图1和图2中示出一个上部摄像头和一个下部摄像头，但不限于此，可以设有多个上部摄像头和多个下部摄像头。
71.上部摄像头110可以以轮式装载机的前方方向为基准具有第一垂直视野角θv1(field of view，fov)和第一水平视野角θh1。例如，所述第一垂直视野角及所述第一水平视野角可以具有60度至120度的角度范围。下部摄像头120可以具有第二垂直视野角θv2及
第二水平视野角θh2。例如，所述第二垂直视野角及所述第二水平视野角可以具有60度至120度的角度范围。
72.所述第一影像可以是通过上部摄像头110以前方上部为焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。
73.可以设定为使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分重叠并且使上部摄像头110的第一水平视野角θh1和下部摄像头120的第二水平视野角θh2部分重叠，使得所述第一影像和第二影像彼此部分重复。
74.在一些示例性的实施例中，上部摄像头110可以与中心销16的中心轴(转向中心轴)一致或设置在后方，下部摄像头120可以设置在相对于中心销16的中心轴的前方。
75.由于上部摄像头110和下部摄像头120相对于所述转向中心轴设置在彼此不同的位置，如图3所示，在前方车身12的左侧(或右侧)弯折时，上部摄像头110所观察的方向和下部摄像头120所观察的方向会彼此不同。如后述，影像处理装置200可以将第一影像im1和第二影像im2合成为一个影像，并且将影像处理为使所合成的所述影像中的第一影像im1和第二影像im2中的至少某一个影像被透明化处理的透明化处理区域的位置与轮式装载机10的转向铰链角度θs(steering hinge angle)匹配。
76.在一些示例性的实施例中，所述作业装置姿势检测部可以检测所述前方作业装置是否侵犯显示装置300的显示区域内的所述透明化处理区域。如后述，所拍摄的影像的透明化处理是在所述前方作业装置侵犯已设定的位置(与转向铰链角度匹配的位置)，即，显示装置300的整个显示区域中对应于已设定的透明化处理区域的实际位置时执行的，从而可以确保作业者的视野。所述前方作业装置的姿势可以包括铲斗30的位置(距离的铲斗的高度)或动臂20的姿势(动臂的旋转角度)。为此，所述作业装置姿势检测部可以包括用于检测铲斗30的位置或动臂20的姿势的动臂角度传感器24。与此同时，可以包括用于检测动臂20和铲斗30的相对旋转角的铲斗角度传感器(未图示)。代替动臂角度传感器24地，可以包括检测驱动动臂20的缸的冲程的位移传感器。
77.此外，所述作业装置姿势检测部可以包括图像分析装置(例如，形状识别部)，该图像分析装置通过分析通过摄像头拍摄的所述前方作业装置的图像以判断所述前方作业装置的姿势。
78.动臂角度传感器24可以检测动臂20的旋转角度，并基于此提供铲斗30的位置的信息。如图2所示，动臂20的旋转角度可以是动臂20(铲斗30)的最低位置(0％)上的延长线l与动臂20的延长线r之间的角度θ。动臂20的最高位置(max boom height)上的动臂20的旋转角度是θmax.height，此时，动臂(铲斗)的位置可以是最大高度(100％)。
79.在一些示例性的实施例中，角度信息检测部150可以包括传感器，该传感器用于检测转向装置引起的后方车身14相对于前方车身12的弯折角度信息。来自所述传感器的检测值可以通过can网络发送至影像处理装置200。
80.例如，角度信息检测部150可以包括中心销角度传感器、转向缸位移传感器或陀螺仪传感器。所述中心销角度传感器可以设置在连接前方车身12和后方车身14的中心销16上以检测前方车身12的转向铰链角度。所述转向缸位移传感器可以包括用于检测所述转向缸的内部的缸的冲程(stroke)的冲程传感器。所述陀螺仪传感器可以分别设置在前方车身12和后方车身14上，并且包括那个识别6轴以上的绝对角度的第一传感器和第二传感器以检
测所述第一、第二传感器之间的相对角度，由此识别所述转向铰链角度。
81.在一些示例性的实施例中，影像处理装置200可以将由上部摄像头110和下部摄像头120拍摄的第一影像im1和第二影像im2合成为一个影像，并且决定从角度信息检测部150获取的前方车身12的转向铰链角度θs，并根据所述转向铰链角度设定所合成的所述影像中的所述第一影像及所述第二影像中的至少某一个影像被透明化处理的透明化处理区域的位置。影像处理装置200可以包括转向角度计算部210、影像合成部220、透明化处理部230、图像渲染部240、以及存储部250。影像处理装置200可以以内置于工程机械的控制装置或显示装置的控制装置的形式设置。
82.具体地，转向角度计算部210可以从由角度信息检测部150检测的所述弯折角度信息决定前方车身12的转向铰链角度θs。转向角度计算部210可以利用存储在存储部250中的转换表将来自角度信息检测部150的检测值换算为所述转向铰链角度。
83.影像合成部220可以将第一影像im1和第二影像im2合成为一个影像。影像合成部220对通过上部摄像头110和下部摄像头120拍摄的所述第一影像和所述第二影像中重复的影像进行匹配并合成为一个影像。透明化处理部230可以在所述透明化处理区域对第一影像及第二影像中的至少某一个影像进行透明化处理。图像渲染部240可以将所述影像处理后的合成影像渲染(rendering)为三维图像。图像渲染部240可以以显示得如同实像的方式对所述合成影像进行影像处理并输出至显示装置300。影像合成部220、透明化处理部230以及图像渲染部240的功能可以通过用于影像处理的gp、cpu之类的单个处理器或各自单独的处理器的电算处理来实现。
84.在一些示例性的实施例中，透明化处理部230可以根据检测到的所述作业装置的姿势对所合成的所述影像中的所述第一影像及所述第二影像中的某一个影像执行透明化处理。透明化处理部230可以以仅在作为显示装置300的整个显示区域中的部分区域的所述透明化处理区域被透明化的方式对所述第一影像及所述第二影像中的至少某一个进行影像处理。所述透明化处理区域可以被定义为包含前方视野被包括升降的动臂20和铲斗30的所述前方作业装置遮挡的区域。
85.在所述透明化处理中，可以在所合成的所述影像的所述透明化处理区域内将所述第一影像或所述第二影像去除或半透明地处理，以便与背景影像重叠，或者用线或虚线二维地显示外观的轮廓，以便只能识别形态。例如，可以通过利用阿尔法混合(alpha blending)技术等从合成的影像中去除所述透明化处理区域内的所述第一影像或所述第二影像。
86.在一些示例性的实施例中，透明化处理部220可以与所述前方作业装置的至少一部分侵犯对应于所述透明化处理区域的位置相对应地进行透明化处理。例如，当可以判断为所述前方作业装置的至少一部分不侵犯所述透明化处理区域的所述铲斗或动臂位置低于已设定的位置(透明化转换位置)时，可以对所合成的所述影像中的所述第二影像进行透明化。与此同时，当所述前方作业装置处于可以判定为侵犯所述透明化处理区域的所述铲斗或所述动臂的位置高于已设定的位置(透明化转换位置)的状态时，可以对所合成的所述影像中的所述第一影像进行透明化。例如，所述已设定的动臂的位置可以被设定为使动臂20的旋转角度θ在15度至20度的范围内。
87.当铲斗30在最低位置(0％)与作为所述已设定的铲斗位置，即所述透明化处理区
域的边界的透明化转换位置之间时，可以通过对由下部摄像头120拍摄的所述第二影像进行透明化处理来显示为使利用上部摄像头110实现的被摄体成为重点。当铲斗30位于相对低的位置时，在由下部摄像头120拍摄的第二影像中，前方车身12的前方视野可能被包括动臂20和铲斗30的所述前方作业装置遮挡。透明化处理部230可以通过对所述第二影像进行透明化处理并以所述第一影像为重点进行显示来防止视野被所述前方作业装置遮挡。
88.当铲斗30位于所述已设定的铲斗位置与所述透明化处理区域的最高位置(100％)之间时，通过对由配置于所述透明化处理区域内的上部摄像头110拍摄的所述第一影像进行透明化处理，可以显示为使通过下部摄像头120实现的被摄体成为重点。当铲斗30位于相对高的位置时，在由上部摄像头110拍摄的第一影像中，驾驶室40的前方视野可能被包括动臂20和铲斗30的所述前方作业装置遮挡。透明化处理部230可以通过对所述第一影像进行透明化处理并以所述第二影像为重点进行显示来防止视野被所述前方作业装置遮挡。
89.当铲斗30上升或下降而经过所述已设定的铲斗位置(透明化转换位置)时，位于由透明化处理部230进行透明化处理的所述透明化处理区域内的影像可以从所述第二影像转换为所述第一影像，或者从所述第一影像转换为所述第二影像。
90.不同于此，当所述动臂的旋转角度θ在第一角度范围内时，透明化处理部220可以对所合成的所述影像中的所述第二影像进行透明化；当所述动臂的旋转角度θ在第二角度范围内时，透明化处理部230可以在所合成的所述影像的所述透明化处理区域对所述第一影像及所述第二影像进行透明化；并且当所述动臂的旋转角度θ在第三角度范围内时，透明化处理部230可以对所合成的所述影像中的所述第一影像进行透明化。例如，可以设定为使所述第一角度范围在0度至15度的范围以内，使所述第二角度范围在15度至25度的范围以内，并且使所述第三角度范围在25度至45度的范围以内。在一些示例性的实施例中，可以通过输入部400设定影像处理装置200中的影像处理条件。例如，所述影像处理条件可以是针对在整个显示区域中所述透明化处理区域所占的面积。随着决定所述透明化处理区域，可以设定所述第一影像及所述第二影像的透明化转换位置、显示装置300的整个显示区域中的透明化处理区域等。例如，所述透明化转换位置可以是指所述透明化处理区域的边界位置，当铲斗30移动而位于所述透明化处理区域的边界时，可以视作铲斗30位于用于透明化转换的已设定的位置。所述透明化处理区域的面积和位置，所述透明化转换时间点等可以根据装备的机型由制造商固定地设定，并且可以由作业者或维护人员自由地变更而设定。
91.例如，输入部400可以以仪表板选项的形式实现，作业者可以通过输入部400变更所述透明化转换时间点、所述透明化处理区域等。
92.如上所述，当设定了所述透明化处理区域和所述透明化转换时间点时，显示装置300可以区分为所述摄像头部的拍摄影像被透明化处理而显示的透明化处理区域r和透明化处理区域r的外部区域来显示影像。显示装置300既可以以能够进行透明化处理区域r的区分的方式附加地显示透明化处理区域r的外廓线，也可以无所述外廓线地将对应于透明化处理的影像与透明化处理区域r的外部区域的影像连接来显示。
93.此外，显示装置300可以在透明化处理区域r的外部区域显示第一影像，并且在透明化处理区域r的内部区域随着透明化处理的进行而显示重点显示所述第一影像、所述第二影像或所述第一影像及所述第二影像中的至少某一个的透明化影像。
94.例如，当铲斗30位于透明化处理区域r的外部区域时，显示装置300可以只显示将
透明化处理区域r和透明化处理区域r的外部区域相互连接起来的第一影像。不同于此，对于透明化处理区域r的内部，也可以显示重点显示第一影像的透明化影像。在这种情况下，作业者也可能会因重点显示第一影像的透明化影像而认知为显示装置300整体地显示第一影像。此外，当铲斗30的至少一部分位于透明化处理区域r的内部时，对于透明化处理区域r的内部，显示装置300可以显示重点显示第二影像的透明化处理影像或第二影像，对于透明化处理区域r的外部区域，显示装置300可以显示只排除透明化处理区域r内的影像的第一影像。
95.在一些示例性的实施例中，透明化处理部230可以根据从角度信息检测部150获取的所述前方车身的所述弯折角度信息设定所合成的所述影像中的所述透明化处理区域的位置。透明化处理部230可以根据由转向角度计算部210计算出的所述前方车身的转向铰链角度θs(steering hinge angle)来调整所述透明化处理区域的位置。
96.所述透明化处理区域的位置可以被调整为追随计算出的所述转向铰链角度。随着转向装置使得所述转向缸的冲程变化，前方车身12向左侧(或右侧弯折)，此时，包括动臂20和铲斗30的前方作业装置脱离最初设定的透明化处理区域，从而可能遮挡前方视野。在转向缸位移传感器的情况下，转向角度计算部210可以将所述转向缸的冲程值换算为转向铰链角度。透明化处理部230可以以追随换算后的转向铰链角度的方式自动地变更所述透明化处理区域的位置。如图6至图8所示，当动臂或铲斗的一部分在第一影像m1的透明化处理区域r内时，可以在以所述第一影像为基准裁剪(crop)所述第二影像的一部分后将所述第二影像的裁剪的影像合成到所述第一影像。
97.首先，可以根据检测出的所述作业装置的姿势所述动臂或铲斗的位置及所述前方车身的所述弯折角度信息设定透明化处理区域r的位置。在图6至图8中，为便于说明，示出了图3中的工程机械处于直行行驶状态(a状态)时由上部摄像头和下部摄像头拍摄的第一影像、第二影像以及合成的影像。在这种情况下，透明化处理区域r可以位于最初位置，例如，显示装置的屏幕300的中央。
98.之后，如图7所示，可以将所述第二影像中对应于所述透明化处理区域的部分区域决定为裁剪区域cr，并以所决定的裁剪区域cr为基准提取裁剪影像。接着，可以调节对应于图6的所述第一影像的透明化处理区域r的区域的透明度。可以将所述第一影像的透明化处理区域r的透明度调整为例如180/255的水平。此时，可以不调整从所述第二影像提取的裁剪影像的透明度。
99.接着，如图8所示，可以将从所述第二影像提取的裁剪影像合成到所述第一影像的透明化处理区域r。此时，当裁剪区域cr的面积小于所述第一影像中的透明化处理区域r的面积时，可以放大所述裁剪影像并将放大后的裁剪影像合成到所述第一影像。
100.当轮式装载机的前方有人o时，在图6的所述第一影像中由于被动臂或铲斗遮挡而无法准确确认人o，但在图7的所述第二影像中可以确认人o。从图7的所述第二影像提取的裁剪影像中可以包括人o的影像。由于合成到对应于所述裁剪影像的所述第一影像的透明化处理区域的区域，因而在图8的合成的影像的透明化处理区域中可以确认从图7提取的人o的影像。从而，可以改善被作业装置限制的前方视野。
101.当图3中工程机械处于左侧或右侧转向状态时，透明化处理区域r可根据所述前方车身的弯折角度信息移动到显示装置的屏幕300的左侧或右侧。在这种情况下，透明化处理
区域r的位置可根据所述弯折角度信息移动到左侧或右侧，并且，在移动的透明化处理区域r，所述第一影像和所述第二影像中的至少某一个影像可以被透明化处理。
102.在一些示例性的实施例中，影像处理装置200可以在所述第一影像、所述第二影像以及所述合成影像中识别人或其他客体(装备、汽车等)，并且用诸如边界框(图8的d)的标记对所识别出的所述客体进行标示，或者用虚线等显示所识别出的所述客体的轮廓(outline)等。
103.影像处理装置200可以对所述影像中的实际图像和存储在存储部250中的客体的学习图像进行比较，当所述实际图像和所述客体的图像相同时，可以识别为所述客体。这里，所述客体的学习图像可以包括对由摄像头拍摄的多样的形状进行机器学习并存储的图像。机器学习(machine learning)是人工智能的一个领域，可以是指使诸如计算机的处理装置能够学习的算法。
104.下面对利用图4的工程机械的控制系统控制工程机械的方法进行描述。以下描述也将如同前面描述的方法以轮式装载机为基准进行描述。
105.图9是示出示例性的实施例的轮式装载机的控制方法的顺序图。图10是示出图3中的工程机械的直行行驶时(a状态)由上部摄像头拍摄到的第一影像被显示于驾驶室内的显示装置的屏幕的图。图11是示出图3中的工程机械的左侧转向时(b状态)由上部摄像头拍摄到的第一影像被显示于驾驶室内的显示装置的屏幕的图。
106.参照图1至图11，首先，可以通过设置在轮式装载机10上的上部摄像头110和下部摄像头120获取第一影像im1和第二影像im2(s100)，并获取相对于后方车身14的前方车身12的弯折角度信息(s110)。可以将第一影像im1和第二影像im2合成为一个影像(s120)，并根据所述弯折角度信息设定透明化处理区域的位置(s130)。
107.在一些示例性的实施例中，可以利用设置在驾驶室40上的上部摄像头110获取驾驶室40的前方的第一影像im1。可以利用设置在前方车身12上的下部摄像头120获取前方车身12的前方的第二影像im2。
108.所述第一影像可以是通过上部摄像头110以前方上部我焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。可以设定为使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分重叠并且使上部摄像头110的第一水平视野角θh1和下部摄像头120的第二水平视野角θh2部分重叠，使得所述第一影像和所述第二影像彼此部分重复。
109.例如，上部摄像头110可以与中心销16的中心轴(旋回中心轴)一致或设置在后方，下部摄像头120可以设置在相对于中心销16的中心轴的前方。由于上部摄像头110和下部摄像头120相对于所述旋回中心轴彼此不同地设置，如图3所示，当前方作业装置所连接的前方车身12向左侧(或右侧)旋回时，上部摄像头110所观察的方向和下部摄像头120所观察的方向会彼此不同。
110.在一些示例性的实施例中，可以从角度信息检测部150获取相对于后方车身14的前方车身12的弯折角度信息。角度信息检测部150可以包括传感器，该传感器用于检测转向装置引起的相对于后方车身14的前方车身12的弯折角度信息。来自所述传感器的检测值可以通过can网络发送至影像处理装置200。例如，角度信息检测部150可以包括中心销角度传感器、转向缸位移传感器或陀螺仪传感器。
111.在一些示例性的实施例中，影像处理装置200可以对第一影像im1和第二影像im2进行匹配并合成为一个影像。此外，影像处理装置200可以决定从角度信息检测部150获取的前方车身12的转向铰链角度θs。
112.影像处理装置200的转向角度计算部210可以从由角度信息检测部150检测的所述弯折角度信息决定前方车身12的转向铰链角度θs。转向角度计算部210可以利用存储在存储部250中的转换表将来自角度信息检测部150的检测值换算为所述转向铰链角度。
113.影像处理装置200的透明化处理部230可以根据从角度信息检测部150获取的所述前方车身的所述弯折角度信息设定所合成的所述影像中的所述透明化处理区域的位置。透明化处理部230可以根据由转向角度计算部210计算出的所述前方车身的转向铰链角度θs来调整所述透明化处理区域的位置。
114.影像处理装置200可以将来自上部摄像头110的第一影像im1的一部分设定为第一合成区域，将来自下部摄像头120的第二影像im2的一部分设定为第二合成区域，并对第二影像im2的所述第二合成区域进行半透明处理之后，将半透明处理后的所述第二合成区域合成到第一影像im1的所述第一合成区域。
115.如图10所示，当轮式装载机10直行行驶时，影像处理装置200的透明化处理部230可以以追随所计算出的所述转向铰链角度的方式将透明化处理区域r的位置维持为最初位置。
116.此外，就透明化处理区域r而言，可以在通过上部摄像头110和下部摄像头120拍摄的所述第一影像和所述第二影像中选择某一个，或者对所述第一影像及所述第二影像中的一部分影像选择性地进行透明化。例如，可以对包括所述前方作业装置中的动臂或铲斗的影像的一部分选择性地进行透明化。
117.如图11所示，当通过转向装置使得前方车身12向左侧弯折时，包括动臂20和铲斗30的前方作业装置会脱离最初设定的透明化处理区域，从而可能遮挡前方视野。此时，影像处理装置200的转向角度计算部210可以从来自角度信息检测部150的检测值计算转向铰链角度θs，影像处理装置200的透明化处理部230可以以追随所计算出的所述转向铰链角度的方式自动地变更透明化处理区域r的位置。
118.接着，可以在透明化处理区域r内对所述第一影像及所述第二影像中的至少某一个影像进行透明化处理(s140)，并通过显示装置300显示透明化处理后的所述合成影像(s150)。
119.在一些示例性的实施例中，可以检测所述前方作业装置的姿势。可以检测连接于前方车身12的动臂20的旋转角度。可以检测距离动臂角度传感器24的铲斗30的位置，即距离地面的铲斗30的高度的信息。可以从由动臂角度传感器24测量的动臂20的旋转角度决定铲斗的上升高度。
120.在一些示例性的实施例中，可以在透明化处理区域r对作为所述第一影像及所述第二影像中的前方作业装置的一部分的动臂或铲斗的影像部分选择性地进行透明化处理(s140)，并通过显示装置300显示透明化处理后的所述合成影像(s150)。
121.在透明化处理区域r，可以用线、虚线或阴影等显示所述第一影像或所述第二影像中被拍摄并透明化的动臂或铲斗的外观的轮廓，以便只能识别形态。
122.显示在透明化处理区域r中的动臂或铲斗的轮廓来自实际在第一影像或第二影像
中拍摄的图像，可以使其与对应于实际驾驶者的操作的动臂或铲斗的移动一致。
123.在一些示例性的实施例中，影像处理装置200可以识别透明化后的第一前方影像或第二前方影像内的客体，并用虚线等显示所识别出的所述客体的轮廓(outline)等，或者用诸如边界框的标记对所识别出的所述客体进行标示。例如，计算装置可以基于预先决定的算法等识别影像内的客体，并显示相应客体的轮廓来生成合成影像。在这种情况下，驾驶员可以利用外廓虚线等简单地确认透明化处理后的轮式装载机100的部分形状等。
124.如图2所示，动臂20的旋转角度可以是动臂20的最低位置(0％)上的延长线l与动臂20的延长线r之间的角度θ。动臂20的最高位置(max boom height)上的动臂20的旋转角度是θmax.height，此时，铲斗位置可以是最大高度(100％)。
125.接着，可以确认所述铲斗位置是否高于或低于已设定的位置(透明化转换位置)。所述已设定的位置可以是透明化转换位置，即，透明化处理区域r的边界。即，铲斗的位置和所述已设定的位置的比较可以包括：确认铲斗30或动臂20的一部分是否位于透明化处理区域r的内部。当所述铲斗或动臂的位置低于已设定的位置时，可以对所合成的所述影像中的所述第二影像进行透明化；并且当所述铲斗或动臂的位置高于已设定的位置时，可以对所合成的所述影像中的所述第一影像进行透明化。这里，以通过显示装置300显示的影像为基准，所述已设定的位置可以是已设定的透明化处理区域r的下端边界。之后，可以通过显示装置300显示透明化处理后的所述合成影像。此时，显示装置300可以在透明化处理区域a的外部区域显示所述第一影像。
126.在一些示例性的实施例中，影像处理装置200可以根据所检测出的所述动臂位置对所合成的所述影像中的所述第一影像及所述第二影像中的至少某一个影像执行透明化处理。
127.透明化处理部230可以以仅在作为显示装置300的整个显示区域中的部分区域的透明化处理区域r被透明化的方式对所述第一影像及所述第二影像进行影像处理。透明化处理区域r可以被定义为包含前方视野被包括升降的动臂20和铲斗30的所述前方作业装置遮挡的区域。
128.在所述透明化处理中，可以在所合成的所述影像的透明化处理区域r内将所述第一影像或所述第二影像去除或半透明地处理，以便与背景影像重叠，或者用线或虚线二维地显示外观的轮廓，以便只能识别形态。例如，可以通过利用阿尔法混合(alpha blending)技术等从合成的影像中去除所述透明化处理区域内的所述第一影像或所述第二影像。
129.当铲斗30或动臂20位于最低位置(0％)与所述已设定的铲斗或动臂的位置之间时，通过对由下部摄像头120拍摄的所述第二影像进行透明化处理，可以使利用上部摄像头110实现的被摄体成为重点的透明化影像显示于显示装置300的透明化处理区域r的内部。当铲斗30或动臂20位于相对低的位置时，通过对所述第二影像中遮挡前方视野的所述前方作业装置部分进行透明化，可以在所合成的所述影像中确认前方物体。
130.当铲斗30或动臂20距离所述已设定的位置位于最高位置(100％)时，通过对由上部摄像头110拍摄的所述第一影像进行透明化处理，可以使利用下部摄像头120实现的被摄体成为重点的透明化影像显示于显示装置300的透明化处理区域r的内部。当铲斗30或动臂20位于相对高的位置时，通过对所述第一影像中遮挡前方视野的所述前方作业装置部分进行透明化，可以在所合成的所述影像中确认前方物体。
131.例如，所述已设定的动臂的位置可以被设定为使动臂20的旋转角度θ在15度至20度的范围内。
132.不同于此，当所述动臂的旋转角度θ在第一角度范围内时，可以对所合成的所述影像中的所述第二影像进行透明化；当所述动臂的旋转角度θ在第二角度范围内时，可以在所合成的所述影像的所述透明化处理区域对所述第一影像及所述第二影像进行透明化；并且当所述动臂的旋转角度θ在第三角度范围内时，可以对所合成的所述影像中的所述第一影像进行透明化。例如，可以设定为使所述第一角度范围在0度至15度的范围以内，使所述第二角度范围在15度至25度的范围以内，并且使所述第三角度范围在25度至45度的范围以内。
133.在一些示例性的实施例中，可以设定对所述第一影像及所述第二影像进行透明化的影像处理条件。可以通过输入部400设定影像处理装置200中的影像处理条件。例如，所述影像处理条件可以包括所述第一影像及所述第二影像的透明化转换时间点、在显示装置300的整个显示区域中所述透明化处理区域所占的面积等。所述第一影像及所述第二影像的透明化转换时间点可以通过所述铲斗30或动臂20的位置和所述已设定的铲斗或动臂的位置来决定。所述透明化处理区域可以根据装备的机型来选择。
134.例如，输入部400可以以仪表板选项的形式实现，作业者可以通过输入部400变更所述透明化转换时间点、所述透明化处理区域的面积等。输入部400可以以设于驾驶室内部的单独的操作装置、与所述显示装置一体地设置的操作装置或构成所述显示装置的显示屏幕的触摸屏的形式提供。因此，作业者可以进行多样的影像处理条件的设定，如将作业时需要注意的物体的周围设定为透明化处理区域等。
135.如上所述，可以将由设置在轮式装载机10的驾驶室40上的上部摄像头110和设置在前方车身12上的下部摄像头120拍摄的所述第一影像和所述第二影像合成为一个影像，根据前方车身12的转向铰链角度θs决定所合成的所述影像中的透明化处理区域r的位置，根据连接于前方车身12的铲斗30或动臂20的位置在透明化处理区域r内对所述第一影像及所述第二影像中的至少某一个影像进行透明化处理，并且通过显示装置300显示透明化处理后的所述影像。
136.当铲斗30或动臂20位于最低位置(0％)与所述已设定的铲斗或动臂的位置之间的相对低的位置时，在由下部摄像头120拍摄的第二影像中，前方视野可能会被包括动臂20和铲斗30的前方作业装置遮挡。当铲斗30或动臂20位于所述已设定的铲斗或动臂的位置与透明化显示区域的最高位置(100％)之间的相对高的位置时，在由上部摄像头110拍摄的第一影像中，前方视野可能被包括动臂20和铲斗30的前方作业装置遮挡。
137.通过根据铲斗30或动臂20的位置在所合成的所述影像中对所述第一影像或所述第二影像进行透明化处理，可以消除前方视野被所述前方作业装置遮挡的盲区。
138.此外，由于上部摄像头110和下部摄像头120的安装位置彼此不同，在左侧或右侧转向时铲斗30可能会脱离透明化处理区域r而导致不一致。在轮式装载机10转向时，可以根据相对于后方车身14的前方车身12的弯折角度信息决定前方车身12的转向铰链角度θs，并在合成第一影像im1和第二影像im2的影像中以使透明化处理区域r的位置与转向铰链角度θs匹配的方式处理影像。
139.因此，即使在轮式装载机10转向时也能够防止前方视野被包括动臂20和铲斗30的
所述前方作业装置遮挡。从而，可以增加作业者的认知力以确保稳定性，从而防安全事故于未然。
140.虽然在上文中参照本发明的实施例进行了说明，但本领域技术人员将可以理解，在不脱离下面的权利要求书中记载的本发明的思想和领域的范围内可以对本发明进行多样的修改和变更。