作业机械的周围监视装置的制造方法
【专利摘要】提供一种作业机械的周围监视装置，即使在对作业机械的周围进行拍摄所得的图像内存在复杂形状的本车影，也能够防止该本车影的存在影响对作业机械周围存在的物体的检测。具备：对作业机械周围的图像进行拍摄的单镜头摄像机(6)；基于该图像的特征量抽出该图像中的特征图形的特征图形抽出部(170)；基于所述图像的特征量抽出在该图像中能够视为作业机械的影的区域的轮廓的影轮廓抽出部(40)；以及物体检测部(180)，其基于从由特征图形抽出部抽出的特征图形排除位于由影轮廓抽出部抽出的轮廓上的影轮廓特征图形而剩余的特征图形，来检测在作业机械周围存在的障碍物。
【专利说明】
作业机械的周围监视装置
技术领域
[0001]本发明涉及利用单镜头摄像机图像对作业机械周围存在的障碍物进行监视的作业机械的周围监视装置。
【背景技术】
[0002]作为本技术领域的【背景技术】，有日本特开2007— 272292号公报(专利文献I)。在该文献中记载了一种影边界抽出方法，算出表示由摄像装置拍摄所得的图像中的属于被摄物边缘的边缘像素、与该边缘像素近旁存在的多个像素的像素值关系的图形，并参照对所述图像中的属于影区域和非影区域的影边界的影边界像素、与该影边界像素近旁存在的多个像素的像素值的关系预先进行了设定的影边界图形，对该影边界图形和所述算出图形进行比对，将属于与该影边界图形一致的所述算出图形的所述边缘像素判定为存在于所述影边界的像素。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2007 — 272292号公报
[0006]发明要解决的课题
[0007]成为本发明的适用对象的包含自卸车及液压挖掘机等的作业机械的轮廓形状与乘用车的轮廓形状相比较为复杂，因此投影于地面的作业机械的影(以下有时称为本车影)自然地成为复杂的形状。另外，作业机械以在卸载中行驶为前提，因此其本车影与多在铺装路上投射本车影的乘用车的情况相比是更复杂的形状。此外还可以指出，当作业机械卸载行驶时，本车影的形状会与地表的凹凸对应地动态变化，因此本车影的形状会随着时间变化。
[0008]为此，当如上述文献的技术那样采用预先准备有显现于地面的多个影的边界图形(影边界图形)的方法时，则需要配合作业机械的轮廓、路面形状来准备无数的影边界图形，并将其存储于存储器等存储装置。但是，事实上不可能生成符合所有路面形状的影边界图形，即便假设能够生成，也会由于需要准备能够对其庞大的数据量进行存储的存储器等存储装置而就初始成本来看不现实。另外，可以预料的是无数的影边界图形与算出图形的比对会需要庞大的处理，因此就处理内容来看也不现实。
[0009]如上所述，在上述文献的技术中难以识别摄影图像中的作业机械的本车影。如果无法准确地识别本车影，例如将本车影误识别为作业机械周围存在的物体(障碍物)，则有可能发出不必要的警报而导致作业效率降低。
[0010]另外，在作业机械的周围监视装置的开发中还需要考虑如下特殊情况。即，作业机械与一般的乘用车相比车型巨大且车高较高，因此具有周围监视用的摄像机(摄像装置)的设置位置较高的倾向。另外，如要对该作业机械的周围进行拍摄，则需要摄像机处于适当地朝向该作业机械的大致正下方的姿态(即，该摄像机的俯角增大)，因此当然也会依存于太阳的位置，但是在摄影图像中很少显著地表现本车影。因此，为了使周围监视装置发挥功能，必须进行本车影中的物体检测。另外，当本车影的轮廓上存在黑色物体时，有可能该物体被视为本车影的一部分而导致对该物体的检测延迟。这种作业机械特有的本车影的问题在用于矿山的巨大的自卸车(矿山载重车)等尺度较大的作业机械中特别显著。
【发明内容】
[0011 ]本发明的目的是提供一种作业机械的周围监视装置，即使在对作业机械的周围进行拍摄所得图像内存在复杂形状的本车影，也能够防止该本车影的存在影响对作业机械周围存在的物体的检测。
[0012]解决课题的手段
[0013]为了解决上述技术问题，本发明具备:搭载于作业机械而对该作业机械周围的图像进行拍摄的单镜头摄像机;基于该图像的特征量抽出该图像中的特征图形的特征图形抽出部;基于所述图像的特征量抽出在该图像中能够视为所述作业机械的影的区域的轮廓的影轮廓抽出部；以及物体检测部，其基于从由所述特征图形抽出部抽出的所述特征图形排除位于由所述影轮廓抽出部抽出的轮廓上的特征图形而剩余的特征图形，来检测所述作业机械周围存在的障碍物。
[0014]发明的效果
[0015]根据本发明，即使在对作业机械的周围进行拍摄所得的图像内存在随时间变化的复杂形状的本车影，也能够适当地将视为该本车影轮廓的部分从障碍物检测对象排除，从而防止本车影的误识别并提高障碍物检测精度。
【附图说明】
[0016]图1是本实施方式的自卸车的俯视图。
[0017]图2是图1所示自卸车I的侧视图。
[0018]图3是图像处理装置的整体结构图。
[0019]图4是由图像合成部执行的处理步骤的一例。
[0020]图5是将4台摄像机的输入图像在图像合成部中合成的图像的一例。
[0021]图6是在利用基准处理对象区域设定部进行区域特定前预先进行的处理对象区域的设定步骤。
[0022]图7是影轮廓抽出部40的功能框图。
[0023]图8是由影有无判定部42及影区域抽出部43执行的处理的流程图。
[0024]图9是图8中的步骤42b的亮度分布图。
[0025]图10是表示由外廓图像生成部生成的本车影外廓的图。
[0026]图11是从图3抽出特征图形抽出部及影轮廓特征图形抽出部的周边的图。
[0027]图12是角点抽出部及特征图形抽出部的处理的说明图。
[0028]图13是角点抽出部及特征图形抽出部的处理的说明图。
[0029]图14是由影轮廓特征图形抽出部执行的处理的流程图。
[0030]图15是表示由图14的步骤53f抽出的特征图形的一例的图。
[0031]图16是表示由图14的步骤53f抽出的特征图形的另一例的图。
[0032 ]图17是表示由图14的步骤53f抽出的特征图形的此外另一例的图。
[0033]图18是由影轮廓特征图形遮蔽部60执行的处理的流程图。
[0034]图19是表示影轮廓特征图形遮蔽部在步骤60b中使图15的角点51a及角点51b膨胀规定次数的图像例的图。
[0035]图20是表示影轮廓特征图形遮蔽部在步骤60b中使图16的角点51e及角点51f及角点51 g及角点51h膨胀规定次数的图像例的图。
[0036]图21是表示影轮廓特征图形遮蔽部在步骤60b中使图17的角点51e、角点51A、51B、51C、51D、51E、51F、51G、51H、51P膨胀规定次数的图像例的图。
[0037]图22是表示将影轮廓特征图形遮蔽部在由图像合成部合成的场景中遮蔽的区域显示于显示装置的画面例的图。
[0038]图23是表示将被影轮廓特征图形遮蔽部遮蔽的区域以俯瞰图像显示于显示装置的画面的一例的图。
[0039]图24是表示将被影轮廓特征图形遮蔽部遮蔽的区域以俯瞰图像显示于显示装置的画面的一例的图。
[°04°]图25是表示显示装置的显示画面的一例的图。
[0041]图26是表示显示装置的显示画面的一例的图。
[0042I图27是表示显示装置的显示画面的一例的图。
[0043I图28是表示显示装置的显示画面的一例的图。
[0044]图29是表示显示装置的显示画面的一例的图。
[0(Μ5]图30是表示显示装置的显示画面的一例的图。
[0046]图31是表示本发明的作业机械的周围监视装置的整体结构的其它例子的图。
[0047]图32是由本发明的作业机械的周围监视装置的影有无判定部42及影区域抽出部43执行的处理的其它流程图。
[0048]图33是作为本发明适用对象的作业机械之一的大型液压挖掘机的侧视图。
【具体实施方式】
[0049]在对本发明的实施方式进行说明之前，首先对本发明实施方式的作业机械的周围监视装置所含的主要特征进行说明。
[0050]后述的本实施方式的作业机械的周围监视装置，其特征在于，具备:搭载于作业机械而对该作业机械周围的图像进行拍摄的单镜头摄像机(例如后述的摄像机6);基于该图像的特征量抽出该图像中的特征图形(例如该图像中的角部、边缘)的特征图形抽出部(例如后述的特征图形抽出部170);基于所述图像的特征量抽出在该图像中能够视为所述作业机械的影的区域的轮廓的影轮廓抽出部(例如后述的影轮廓抽出部40);以及物体检测部(例如后述的物体检测部180)，其基于从由所述特征图形抽出部抽出的所述特征图形排除位于由所述影轮廓抽出部抽出的轮廓上的特征图形而剩余的特征图形，来检测所述作业机械周围存在的障碍物。
[0051]在如上所述构成的周围监视装置中，与所述作业机械的影(本车影)的形状的复杂度无关地按照采样间隔抽出该影的轮廓(影轮廓)，将位于该影轮廓上的特征图形从障碍物检测对象排除，因此能够防止该本车影被误识别为障碍物。另外，该影轮廓上不存在的特征图形依然是所述物体检测部的障碍物检测对象，因此例如在所述影轮廓上存在着汽车等障碍物，即使将该障碍物的特征图形中存在于该影轮廓上的特征图像除去，剩余的特征图形(例如本车影内部存在的特征图形)依然作为障碍物检测对象剩余，因此只要基于该剩余的特征图形进行障碍物检测即可立即检测该障碍物。
[0052]此外，在上述的周围监视装置中，当在作业机械的本车影的轮廓上跨该本车影的内外存在黑色障碍物(例如黑色的乘用车)时，则虽然有时会将该黑色障碍物的轮廓视为影轮廓，但是此时也会由于该障碍物的特征图形在该本车影的外部及内部留存，而能够基于该留存的特征图形来检测该障碍物。即，如果是上述的周围监视装置的结构，则无需准确地识别所述作业机械的影边界，即使在误识别影边界的情况下也能够迅速地检测障碍物。
[0053]因此，根据本实施方式，即使在对作业机械的周围进行拍摄所得的图像内存在随时间变化的复杂形状的本车影，也能够适当地将视为该本车影轮廓的部分从障碍物检测对象排除，从而防止本车影的误识别并提高障碍物检测精度。
[0054]然而，一般地，在矿山利用作业机械时，来自矿物的颜色(例如在铁矿石采掘现场是铁矿石特有的红褐色)会显现于地表。因此，作为从所述单镜头摄像机的摄影图像中抽出本车影时的特征量，如果选择图像中的颜色，则导致本车影及影轮廓的抽出性能降低的可能性升高。另外，颜色也会因光的变化而变化，就此观点来看选择颜色作为特征量也不适当。对此，在本发明中，不会将图像的颜色用作抽出本车影时的特征量，因此即使在矿山等地面显现不规则的颜色变化的场所利用，也不会妨碍对作业机械周围的障碍物的检测。另夕卜，本发明还具有能够从由单镜头摄像机拍摄的I张图像(静止画面)中检测作业机械周围存在的物体的优点。
[0055]此外，上述的“特征图形”是指通过基于特征量抽出图像的特征而检出的该特征的形状，例如相当于点(角部)、线/轮廓线(边缘)、区域等。
[0056]下面，参照附图对使用本发明的作业机械的周围监视装置的例子进行说明。虽然这里是对作为作业机械适用自卸车的例子进行说明，但是作业机械不仅限于自卸车。即，本发明可适用于包含液压挖掘机在内的进行规定的作业(搬运、挖掘等)的任意的作业机械。
[0057]图1示出了本实施方式的自卸车的俯视图。该图示的自卸车I具备:车体框架2;相对于车体框架2上可旋转地安装于其上的前轮3(3L及3R)和后轮4(4L及4R);在车体框架2的上方可起伏地安装的车斗5;在底盘或车体框架2等上固定的单镜头摄像机6(6&，613，6(3，6d);在车体框架2的前方上部设置的驾驶室7;在车体框架2上的任意场所(例如驾驶室7的内部)搭载的图像处理装置10;以及，在驾驶室7内部设置的显示装置100。车体框架2形成自卸车I的本体，在车体框架2的前方设有前轮3、后方设有后轮4。此外，前轮3R是车辆右侧的前轮，前轮3L是车辆左侧的前轮。另外，后轮4R是车辆右侧的2个后轮，后轮4L是车辆左侧的2个后轮。车斗5是所谓的载台，用于装载砂土、矿物等。此外，图示的前轮3及后轮4的配置及数量仅为一例。
[0058]摄像装置即单镜头摄像机6可设于自卸车I的任意位置。在本实施方式中搭载有合计4台的摄像机6a，6b，6c，6d，摄像机6a在自卸车I的前方上部以俯瞰斜下方的姿态设置而在其视野范围11(图1的虚线11的范围)中包含车辆前方15a。与该摄像机6a同样地，摄像机6b在车辆右侧方上部设置而在视野范围12中包含车辆右侧方15b，摄像机6c在车辆后方上部设置而在视野范围13中包含车辆后方15c，摄像机6d在车辆左侧方上部设置而在视野范围14中包含车辆左侧方15d。
[0059]在图1例中，太阳O位于自卸车I的左侧后方上空，因此自卸车I的影(本车影)在前方90a和右侧方90b发生。此外，虽然在图1中示意地分割为自卸车I的前方和右侧方表示的影90a，90b进行了显示，然而实际上2个影90a，90b相连(后图也同样)。
[0060]图2示出了图1所示自卸车I的侧视图。
[0061]具有前方视野范围11(图2的虚线11的范围)的摄像机6a从驾驶室7看是安装于右斜前方的位置，具有右侧方视野范围12(图2的虚线12的范围)的摄像机6b从驾驶室7看是安装于右斜后方的位置，具有后方视野范围13(图2的虚线13的范围)的摄像机6c安装于车体框架2的后方。右侧方视野范围12(在图2中未示出)摄像机6d从驾驶室7看是安装于左斜后方的位置，但是在图2中未示出。摄像机6a、摄像机6b、摄像机6c及摄像机6d拍摄的影像被作为图像数据向图像处理装置1输出。
[0062]驾驶室7搭乘操作员而设有用于操作自卸车I的包含转向手柄、加速踏板及制动踏板的各种操作装置。作为其它的操作装置，例如还有使自卸车I前进或后退的变速杆。在驾驶室7中设有图像处理装置10和显示装置100，由摄像机6a、摄像机6b、摄像机6c及摄像机6d拍摄、生成的图像数据在图像处理装置10中进行规定的图像处理。经过图像处理的图像数据显示于显示装置100。基本地是在显示装置100上显示摄像机6a、摄像机6b、摄像机6c及摄像机6d拍摄的影像。
[0063]这里，在图2中，前方视野范围11是自卸车I前方的斜下方区域。有时在前方视野范围11中也包含作业员、其它作业机械、服务车等。右侧方视野范围12、后方视野范围13、左侧方视野范围14也同样。
[0064]图3是本发明第I实施方式的图像处理装置10的整体结构图。该图示的图像处理装置10具备:图像输入部20、图像存储部30、图像合成部35、基准处理对象区域设定部80、特征图形抽出部170、影轮廓抽出部40、影轮廓特征图形抽出部50、影轮廓特征图形遮蔽部60、物体检测部180。
[0065 ]由4台摄像机6a，6b，6 c，6d拍摄的摄像机图像，分别以规定的采样间隔输入图像输入部20并存储于图像存储部30。
[0066]图像存储部30对来自图像输入部20的输入图像以不同的间隔进行采样并存储，例如在停止时加长采样间隔而在移动时则缩短采样间隔并进行存储，因此可以利用必要的最低限度的输入图像进行图像处理，能够缩短时间并使处理适当。
[0067]图像合成部35将从4台摄像机6a，6b，6c，6d输出并存储于图像存储部30的多个摄像机图像合成为I个图像。
[0068]图4示出由本发明的作业机械的周围监视装置的图像合成部35执行的处理步骤的一例。首先，图像合成部35在步骤35a中判定是4台摄像机6a，6b，6c，6d中的哪一台摄像机的图像。并且，在前方摄像机6a的情况下，进行在图像处理画面的左上配置的处理(步骤35b);在右侧方摄像机6b的情况下，进行在图像处理画面的右上配置的处理(步骤35c);在后方摄像机6c的情况下，进行在图像处理画面的右下配置的处理(步骤35d);在左侧方摄像机6d的情况下，进行在图像处理画面的左下配置的处理(步骤35e)。通过该步骤生成使4台摄像机6a、6b、6c、6d的图像成为I帧的合成图像(步骤35f)。
[0069]图5示出将本发明的作业机械的周围监视装置的摄像机6a的输入图像20a、摄像机6b的输入图像20b、摄像机6 c的输入图像20 c、摄像机6d的输入图像20d在图像合成部35中合成的图像的一例。图5中，在输入图像20a中产生本车影90a，在输入图像20b中产生本车影90b。另外，在输入图像20a中作为与本车影90a同样暗区域存在有黑色车110及非本车影111(例如当黑色车钻入作业机械下方时则该黑色车不会成为该作业机械的影(本车影))。
[0070]在本实施方式中，当存在与作业机械本体的一部分15a，15b接触的暗区域，并且该暗区域的面积在规定值(该规定值是依存于作业机械的大小和太阳O的位置的值)以上时，则将该暗区域判定为本车影(本车影90a，90b)。另一方面，对于面积小于规定值的暗区域，即使与作业机本体的一部分15a，15b接触也是非本车影111。
[0071]如上所述对本车影和非本车影进行区别的理由是:在由后述的影轮廓图像生成部46生成影的轮廓图像时，影轮廓特征图形遮蔽部60将非本车影的轮廓图像从处理对象区域排除并作为遮蔽区域，因此防止因遮蔽区域扩大而导致障碍物检测性能降低。另外，虽然面积小于规定值的暗区域被判定为非本车影111，但是通常作业机械由于车体较大，因此本车影的面积也比检测对象物体(例如服务车等)大，本车影的面积小于非本车影的情况很少。
[0072]此外，虽然作为使4台摄像机6a、6b、6c、6d的图像成为I张图像的例子以图5进行了说明，但是其仅为一例，该I张图像中的各图像的配置也可以是图5所示以外的情形。另外，虽然在这里说明的例子中是利用4台摄像机的图像进行障碍物检测，但是在障碍物检测中利用的摄像机的台数(即在障碍物检测中利用的图像的张数)只要有若干即可。
[0073]返回图3，基准处理对象区域设定部80是基于预定的处理对象区域来特定在由图像合成部35合成的各图像20a，20b，20c，20d上进行后续的各种处理(例如包含物体检测部180的障碍物检测)的区域的部分。
[0074]图6示出在利用基准处理对象区域设定部80进行区域特定前预先进行的处理对象区域的设定步骤。这里说明对由摄像机6a拍摄的输入图像20a设定处理对象区域的情况。当操作员预先通过手动利用鼠标等对输入图像20a顺次指示基准点而指定闭区域81a时，则可基于该闭区域81a生成处理对象区域82a。
[0075]此外，虽然在图6中对通过手动设定基准处理对象区域设定部80的情况进行了说明，但是也可以利用轮廓信息等通过图像处理自动地设定处理对象区域，或者利用其它工具(例如将从图像自动地抽出的路面等设定为处理对象区域的工具等)进行设定，只要能够生成处理对象区域82a则无需特别地限定方法。另外，处理对象区域的设定例如也可以是以包含整个地面的方式围成的闭区域、或者围绕部分地面的闭区域。此外，虽然这里仅对图像20a设定了处理对象区域，但是当然也可以对其它的图像20b，20c，20d进行设定。
[0076]影轮廓抽出部40是将在由基准处理对象区域设定部80决定设定的处理对象区域内可视为自卸车I的影的区域的轮廓(影轮廓)基于该图像的特征量抽出的部分。此外，这里所谓“可视为自卸车I的影的区域”不必与自卸车I的实际的影区域一致，也包含在图像处理的关系上被识别为自卸车I的影的区域，例如当在自卸车I的影的轮廓上存在黑色车辆时，有时也将该黑色车辆的轮廓视为自卸车I的影。影轮廓抽出部40将由图像合成部35合成的I个图像作为I个帧进行影轮廓抽出。
[0077]这里在图7中示出了本实施方式的影轮廓抽出部40具备的具体功能。如该图所示，影轮廓抽出部40作为处理对象区域图像生成部41、影有无判定部42、影区域抽出部43、影区域的外廓图像生成部44、膨胀图像生成部45、影轮廓图像生成部46发挥功能。
[0078]首先，处理对象区域图像生成部41a在图像存储部30所存储的图像中生成由基准处理对象区域设定部80作为处理对象区域设定的闭区域。由此以后的处理限定在该闭区域内进行。
[0079]影有无判定部42判定处理对象区域内的影的有无，当判定为有影时，则由影区域抽出部43将影的区域抽出。这里使用图8对影有无判定部42进行详述。
[0080]图8是由本发明的作业机械的周围监视装置的影有无判定部42及影区域抽出部43执行的处理的流程图。首先，在步骤42a中，影有无判定部42通过对各图像20a，20b，20c，20d的处理对象区域内进行平滑化处理来降低噪声，在步骤42b中，在各图像20a，20b，20c，20d的处理对象区域内生成亮度分布图。接下来，在步骤42c中，影有无判定部42对在步骤42b中生成的亮度分布图进行检查，算出亮度分布在规定的阈值以上的部分的面积。在步骤42d中判定该算出面积是否小于规定值，当小于该规定值时(也包含面积为零时)，则在步骤42e中判定为有影候补。另一方面，当在步骤42d中判定为算出面积在规定值以上时，则在步骤42k中判定为无本车影而结束处理。
[0081 ]在步骤42f中，影区域抽出部43决定用于抽出影候补区域的2值化阈值而生成2值图像，在步骤42g中对该2值图像进行膨胀及收缩等整形处理。在步骤42h中，将该2值图像中的暗部分的面积在规定值以上的区域作为影候补区域。最后，在步骤42i中，影区域抽出部43判定该影候补区域是否在本车区域附近，当在本车区域附近时则在步骤42j中判定为有本车影，将该影候补区域作为影区域抽出而结束处理。
[0082]另一方面，当在步骤42i中影候补区域为不在本车区域附近时，则在步骤42k中判定为无本车影而结束处理。
[0083]此外，当在步骤42i中所谓影候补区域位于本车区域附近是指，如图5的说明所述，成为本车影的暗区域90a与作业机械本体的一部分15a接触。
[0084]图9是说明图8中的步骤42b的亮度分布图的说明图。在图9中，度数75表示存在亮度的像素数。在该图例中，对各摄像机6a，6b，6c，6d的图像20a，20b，20c，20d生成了亮度分布图 70a，70b，70c，70d。
[0085]在步骤42c中，例如关于摄像机6a的输入图像20a的亮度分布图70a，算出用于在基准处理对象区域内中抽出影的规定的2值化阈值71以上的部分的面积，但是由于在该阈值以上的部分不存在面积，因此在步骤42e中判定为“有影候补”。当如上所述存在影候补时，则分散为明亮地面的亮度和暗影的亮度，因此获得不使2值化阈值71突出的亮度分布图70ao
[0086]另外，关于摄像机6b的输入图像20b的亮度分布图70b也同样地，由于在基准处理对象区域内的2值化阈值71以上的部分不存在面积，因此判定为“有影候补”。
[0087]另一方面，摄像机6c的输入图像20c的亮度分布图70c，由于在基准处理对象区域内的2值化阈值71以上的部分72c存在面积，且该部分72c的面积在阈值以上，因此判定为“无本车影”。当如上所述不存在影候补时，则地面的亮度是大部分，由此获得不使2值化阈值71突出的亮度分布图70c。
[0088]另外，关于摄像机6d的输入图像20d的亮度分布图70d也同样地，由于基准处理对象区域内的2值化阈值71以上的部分72d的面积为阈值以上而判定为“无本车影”。
[0089]图10是表示由外廓图像生成部44(参照图7)生成的本车影90a及本车影90b的外廓的图。如该图所示，外廓图像生成部44将由图8的一系列的处理抽出的本车影90a的区域中的外郭线(轮廓线)作为本车影90a的外廓73a。同样地，将本车影90b的区域中的外郭线(轮廓线)作为本车影90b的外廓73b。影区域的外廓图像的膨胀图像生成部45，对由外廓图像生成部44生成的外廓图像的外廓(影轮廓)进行膨胀处理。该膨胀图像生成部45的膨胀处理，是对外廓图像中的外廓赋予规定的宽度的处理，例如可以通过指定膨胀次数而间接地指定宽度。膨胀次数可以是必要的最低限度即I?3次左右。
[0090]影轮廓图像生成部46将由膨胀图像生成部45施加了膨胀处理的外廓图像作为影的轮廓图像。由此在图像存储部30的图像中产生影时，则由影轮廓抽出部40将该影的轮廓抽出。
[0091]返回图3，特征图形抽出部170是基于图像20&，2013，20(3，20(1中的特征量将该各图像20a，20b，20c，20d中的特征图形抽出的部分。在本实施方式中利用基准处理对象区域设定部80的功能仅抽出处理对象区域内的特征图形。
[0092]图11示出了从图3将特征图形抽出部170及影轮廓特征图形抽出部50的周边抽出的图，这里例举作为由特征图形抽出部170抽出的特征图形利用角点的情况进行说明。在图11中，特征图形抽出部170作为角点抽出部51、角点群的特征图形抽出部52发挥功能。此外，作为由特征图形抽出部170抽出的特征图形，是要是表示通过基于特征量抽出图像的特征而检出的该特征的形状的特征图形即可，例如可以取代角点或在其基础上利用线/轮廓线(边缘)或区域。
[0093]角点抽出部51利用哈里斯的角点检测等抽出图像中的角点。角点群的特征图形抽出部52将由多个角点构成的角点群的特征图形抽出。图12及图13是角点抽出部51及特征图形抽出部52的处理的说明图。在图12所示的本车影的外廓73a的例中，在外廓73a的角部上存在的角点51a及角点51b(角点群)被作为特征图形抽出。另外，在图13的车例中，由于角点在该车的轮廓上的角部存在，因此将多个角点51六，518，51(:，510，5^，51?，516，51!1，511，51J，51K，51L，51M，51N、51P抽出。即，这些角点群51A?51P被作为车的特征图形生成。
[0094]影轮廓特征图形抽出部50将叠加于影轮廓的特征图形(例如角点)抽出。具体而言，影轮廓特征图形抽出部50将由影轮廓抽出部40抽出的影轮廓图像(使影的外廓膨胀而成的图像)上叠加的特征图形抽出而获得影轮廓特征图形。在本实施方式中作为特征图形使用角点的理由之一是因为:影上存在的角点的个数具有与检测对象物体上存在的角点的个数相比较少的倾向而影轮廓特征图形容易抽出。
[0095]图14是由影轮廓特征图形抽出部50执行的处理的流程图。首先，在步骤53e中，影轮廓特征图形抽出部50判定是否存在叠加于由影轮廓抽出部40生成的影轮廓图像的特征图形(角点(特征点))。当在步骤53e中判定为存在叠加于影轮廓的特征图形时，则在步骤53f中将该叠加的特征图形抽出并将其决定为影轮廓特征图形(步骤53g)。
[0096]另一方面，当在步骤53e中不存在叠加于影轮廓的特征图形时，则决定为不存在影轮廓特征图形(步骤53h)。
[0097]图15是表示由图14的步骤53f抽出的特征图形的一例的图。该图的影轮廓图像53aa是对本车影90a进行膨胀处理而成的。由于角点51a及角点51b叠加于影轮廓图像53aa，因此角点5 Ia及角点5 Ib在步骤53g中被决定为影轮廓特征图形。
[0098]图16是表示由图14的步骤53f抽出的特征图形的另一例的图。该图的影轮廓图像53bb是使本车影90b膨胀而成的。由于角点51e、角点51f、角点51g及角点51h重叠于影轮廓图像53bb，因此角点51 e、角点51 f、角点51 g及角点5 Ih被决定为影轮廓特征图形。
[0099]图17是表示由图14的步骤53f抽出的特征图形的此外另一例的图。在该图例中，对黑色车进入本车影90b的情况进行说明。在黑色车的情况下车也被视为影，对由影区域的外廓图像生成部44(参照图7)生成的影区域的外廓图像S53a，膨胀图像生成部45(参照图7)生成进行设定次数的膨胀处理而成的图像53dd。并且，作为叠加于图像53dd的角点(特征图形)，除了影的轮廓上的角点51e之外，还将车的轮廓上的角点51A、51B、51C、51D、51E、51F、51G、51H、51P抽出，这些角点被作为影轮廓特征图形抽出。
[0100]影轮廓特征图形遮蔽部60生成使叠加于影轮廓的特征图形(影轮廓特征图形)膨胀而成的区域，并将该区域(遮蔽区域)从处理对象区域排除。另外，由于将影轮廓特征图形抽出并排除，因此不仅能够降低影的误报，而且能够使图像处理中的处理区域适当。在将影轮廓特征图形遮蔽部60的遮蔽区域显示于显示装置100时，则作业机械的驾驶者无论在作业机械的停止时及移动时，都能够不受影的误报影响地监视作业机械的周围。
[0101]图18是由影轮廓特征图形遮蔽部60执行的处理的流程图。首先，影轮廓特征图形遮蔽部60在步骤60a中判定是否存在叠加于影轮廓上的特征图形。
[0102]在步骤60a中判定为存在叠加于影轮廓上的特征图形时，则在步骤60b中进行使抽出的特征图形膨胀规定次数(数次左右)的处理。膨胀处理使特征图形膨胀数次左右，但是如果使用哈里斯角点检测则仅以I个像素抽出特征图形，因此只要膨胀为直径为5?10个像素左右的块即可。
[0103]接下来，在步骤60c中将膨胀的区域决定为遮蔽区域，在步骤60d中将遮蔽区域作为遮蔽部，并进行从处理对象区域排除的处理。
[0104]另一方面，在步骤60a中判定为不存在叠加于影轮廓上的特征图形时，则在步骤60e中判定为无遮蔽区域。
[0105]由此，将特征图形抽出并仅将影轮廓的特征图形区域部排除，因此能够使图像处理中的处理区域适当。
[0106]图19是表示影轮廓特征图形遮蔽部60使图15的角点51a及角点51b在步骤60b中膨胀规定次数(数次左右)而成的图像例的图。在对影轮廓上的特征图形即角点51a及角点51b朝8个方向或4个方向实施了数次左右的膨胀处理之后，则会生成角点51a膨胀而成的点51aa，并生成角点51b膨胀而成的点51bb。该区域51aa及51bb在步骤60d中作为遮蔽部被从处理对象区域(由物体检测部180进行障碍物检测的区域)排除。根据如上所述构成的周围监视装置，能够与本车影的形状的复杂度无关地按照采样间隔抽出该影的轮廓(影轮廓)，位于该影轮廓上的特征图形(区域51aa及51bb)被影轮廓特征图形遮蔽部60从障碍物检测对象排除，因此能够防止该本车影被误识别为障碍物(影的误报)。
[0107]图20是表示影轮廓特征图形遮蔽部60在步骤60b中使图16的角点51e、角点51f、角点51g及角点51h膨胀规定次数(数次左右)而成的图像例的图。在对影轮廓上的特征图形即角点51e朝8个方向或4个方向实施数次左右的膨胀处理之后，则会生成膨胀而成的点51ee。角点51€15188及51汕也同样地进行膨胀处理，将该角点51的，51€15188，511111作为遮蔽部并从处理对象区域排除。
[0108]图21是表示影轮廓特征图形遮蔽部60在步骤60b中使图17的角点5Ie、角点51A、51B、51C、51D、51E、51F、51G、51H、51P膨胀规定次数(数次左右)而成的图像例的图。在对影轮廓上的特征图形即角点51a朝8个方向或4个方向实施数次左右的膨胀处理之后，则会生成膨胀而成的点51AA。角点51e、角点51B、51C、51D、51E、51F、51G、51H、51P也同样地进行膨胀处理，将该角点 51ee、51AA、角点 51BB、51CC、51DD、51EE、51FF、51GG、51HH、51PP 作为遮蔽部并从处理对象区域排除。
[0109]由此，当如图17所示在本车影中存在车时，则图17的角点511、角点51J、角点51K、角点51L、角点51M、角点51N不被作为遮蔽部，因此不会从处理对象区域排除而留存。因此，物体检测部180能够使用角点511、角点51八角点511(、角点511^、角点511、角点5謂立即检测本车影内的障碍物(在图17例中为车)。此外，图示物体仅为例示，当然对于车以外的其它障碍物(例如人)也能够同样地进行检测。
[0110]因此，根据本实施方式，即使对自卸车I自身周围进行拍摄得到的图像复杂或者在该图像中存在颜色成分，也不必像现有技术那样对预先存储的影边界图形进行参照，也不必使用颜色成分，而能够从由摄像机6拍摄的至少I张图像中抽出拍摄于该图像中的本车影，因此本车影的误识别会降低而处理速度和作业效率会提高。
[0111]图22是表示将在由图像合成部35合成的场景中影轮廓特征图形遮蔽部60遮蔽的区域显示于显示装置100的画面例的图。在该图中，由图像合成部35对摄像机6a的输入图像20a、摄像机6b的输入图像20b、摄像机6c的输入图像20c、及摄像机6d的输入图像20d进行合成所得场景被显示于显示装置100，在输入图像20a上作为被从处理对象排除的特征图形显示了角点51&&，511*，在输入图像2013上显示了角点5166、51€厂5188、511111。当如上所述从处理对象区域排除的区域(影轮廓特征图形)被显示于显示装置100时，则将影轮廓特征图形排除的处理对象区域(障碍物检测对象区域)可一目了然，驾驶员可实时地确认处理对象区域。
[0112]另外，如图23及图24所示，在自卸车I的周围以俯瞰显示进行显示时，则驾驶员能够以来自驾驶室7的方向感觉和无不协调感的感觉把握前后左右的状況，并能够物瞬时地判断从体检测对象排除的区域(特征图形)。这里，图23及图24是将自卸车I的前部显示于上侧的例子，驾驶室7显示于自卸车I的左上位置。
[0113]图23是表示将被影轮廓特征图形遮蔽部60遮蔽的区域在显示装置100上以俯瞰图像110显示的画面的一例的图。在该图例中，对显示区域从自卸车I的周围扩展到远方的距离(约12m左右)在显示装置100上显示。在该图中，输入图像20a的俯瞰图像20aa、输入图像20b的俯瞰图像20bb、输入图像20c的俯瞰图像20cc及输入图像20d的俯瞰图像20dd是处理对象区域，显示了被从俯瞰图像20aa的处理对象排除的角点51aa、51bb，并且显示了被从俯瞰图像20仙的处理对象排除的角点5166、51€匕5188、511111。此外，在显示装置100的中央部上显示的图形示出了自卸车I，除了图示图形以外只要示出了自卸车I即可显示其它图形。
[0114]图24是表示将被影轮廓特征图形遮蔽部60遮蔽的区域在显示装置100上以俯瞰图像110显示的画面的一例的图。在该图例中，将显示区域限定于聪自卸车I周围起比较近的距离(约5m左右)的范围内在显示装置100上进行显示。在该图中，黑色车进入到输入图像6bb的俯瞰图像20bb内的本车影90b中，显示了从被从俯瞰图像20bb的处理对象排除的角点51ee、51AA、51BB、51CC、51DD、51EE、51FF、51GG、51HH。由此，物体检测部 180 基于黑色车的留存的特征图形将该黑色车作为障碍物检出，将表示障碍物接近自卸车I的警告显示190在显示画面110上进行显示。
[0115]图示的警告显示190是规定为与障碍物的特征图形的外形大致接近的矩形，通过在显示装置100的画面上显示的警告显示190，驾驶员容易认知障碍物的接近。警告显示190的形状也可以是矩形以外的图形，也可以对图形上色，或者使形状、颜色随着时间变化。此夕卜，虽然在本实施方式中，显示装置100发挥了报告物体检测部180检测到障碍物的报告装置的作用，但是作为障碍物报告的方法，也可以利用发出声音的音声装置或警告灯。
[0116]图25是表示显示装置100的显示画面的一例的图。该图例是将由图像合成部35合成的俯瞰图像110、由后方摄像机6c拍摄的原始状态的图像(贯穿图像)111并列显示的例子，在俯瞰图像110中将自卸车I的前部显示于上侧，并将驾驶室7显示于自卸车I的左上。通过显示后方摄像机6c的贯穿图像211，驾驶员能够基于惯看的摄像机图像无不协调感地判别后方的障碍物(车辆105)。在图示例中，是在俯瞰图像110和贯穿图像211双方上显示警告显示190，驾驶员能够容易地把握车辆105的接近。
[0117]图26是表示显示装置100的显示画面的一例的图。该图例关于由图像合成部35合成的俯瞰图像112在显示装置100上显示了从自卸车I周围起比较近的距离(约5m左右)的范围。表示自卸车I的图形Ia追随显示范围与图25时相比较大地进行了显示，自卸车Ia的前部显示于图像中的右侧，驾驶室7显示于显示画面的右上。将显示范围限定于自卸车I附近，较大地显示了存在于自卸车I附近的障碍物(车辆105)，因此驾驶员能够清楚滴判定表存在于自卸车I附近的最危险的障碍物。
[0118]图27是表示显示装置100的显示画面的一例的图。该图例关于由图像合成部35合成的俯瞰图像113在显示装置100上显示了从自卸车I周围起中距离(约8m左右)的范围。表示自卸车I的图形Ib追随显示范围与图26时相比较小地进行了显示。若将显示范围设定为中距离，则驾驶员能够识别到存在于从自卸车I起中距离的位置的障碍物(车辆105)。
[0119]图28是表示显示装置100的显示画面的一例的图。在该图例关于由图像合成部35合成的俯瞰图像114在显示装置100上显示了从自卸车I周围起远距离(约12m左右)的范围。表示自卸车I的图形Ic追随显示范围与图27时相比较小地进行了显示。若将显示范围设定为远距离，则驾驶员能够判别到存在于从自卸车I起远距离的位置的障碍物(车辆105)。
[0120]图29是表示显示装置100的显示画面的一例的图。该图例将右侧方摄像机6b的贯穿图像116和左侧方摄像机6d的贯穿图像115并列地进行了显示。如上所述显示左右的贯穿图像116，115时，则容易判别存在于自卸车I左右的障碍物，因此容易发现自卸车I左右旋转时等的障碍物。
[0121]图30是表示显示装置100的显示画面的一例的图。该图例显示了后方摄像机6c的贯穿图像117。如上所述显示后方的贯穿图像117时，则容易发现存在于自卸车I后方的最难发现的障碍物。
[0122]图31是本发明的作业机械的周围监视装置的整体结构的其它例子。对于和图3相同的部分标记相同的符号而省略说明。在图31中，作业机械形状数据定义部201是基于作业机械的规格来定义该作业机械的形状数据的部分。特征图形存储部200将由作业机械形状数据定义部201定义的形状数据(外观形状)基于该作业机械的规格抽出，并将该抽出的形状数据作为标识该作业机械的外形的特征图形存储。这里的外观形状(形状数据)包含作业机械的全长、全宽、全高、外观凹凸状态等，只要是与本车影的形状有关的信息则也可以是除此以外的其它信息。
[0123]影轮廓特征图形抽出部50，参照由影轮廓抽出部40得到的影轮廓图像、和存储于特征图形存储部200的形状数据，将叠加于影轮廓图像的特征图形决定为影轮廓特征图形。此外，在影轮廓特征图形抽出部50中，进行由特征图形抽出部170抽出的角点群、和存储于特征图形存储部200的形状数据的图形匹配，当两者的匹配率在规定值以上而两者类似时，则可以将该角点群作为影轮廓的特征图形抽出。
[0124]另外，图像存储部30—旦在作业机械起动时从图像输入部20输入图像，则在此以后对基于作业机械运转数据202得到作业机械的运转状況，当作业机械非停止状态时(处于运转中时)则从图像输入部20输入图像，当作业机械处于停止状态时则中断从图像输入部20输入图像。由此，能够按照作业机械的运转状況以不同的采样间隔从图像输入部20对图像进行采样。由此，只要给予必要的最低限度的输入图像进行图像处理即可，缩短时间并使处理适当。
[0125]此外，在不进行基于图像存储部30的作业机械运转数据202的上述处理时，则只要以恒定的采样间隔对来自图像输入部20的图像进行采样即可。
[0126]图32是由本发明的作业机械的周围监视装置的影有无判定部42及影区域抽出部43执行的处理的其它的流程图。对于和图8所示流程图相同的处理标记相同符号而省略说明。在该图的流程图的步骤42bb中，对在步骤42a中进行了平滑化处理的图像的基准处理对象区域内进行抽出颜色成分的处理。然后，在步骤42cc中判定基准处理对象区域是否仅由存在颜色成分的区域构成。
[0127]当在步骤42cc中判定为具有不存在颜色成分的区域时，则进入步骤42dd将该不存在颜色成分的区域抽出。然后，在步骤42ee中，决定用于将影候补区域抽出的2值化阈值而生成2值图像，进行步骤42g以后的处理。
[0128]另一方面，当在步骤42cc中判定为仅存在颜色成分的区域时，则进行步骤42k的处理。能够如上所述在影的判定中使用颜色成分时，则能够使判定是否为影的精度提高。
[0129]但是，如上所述本发明的适用对象不限于自卸车，也可以适用于其它作业机械。图33是本发明适用对象的作业机械之一，即所谓回转型大型液压挖掘机的侧视图。该液压挖掘机具备:下部行驶体155;介由旋转台轴承157可旋转地设于该下部行驶体155上部的上部旋转体156;在该上部旋转体156上可俯仰动作地连结的多关节型的前作业机158。多关节型的前作业机158上的前铲斗152配置为在接地状态下开口部可朝向前方侧，前铲斗开闭缸164则如图示装设于前铲斗152。并且，旋臂动作缸161、铲斗动作缸162、前臂动作缸163、及前铲斗开闭缸164分别通过伸缩动作来实现旋臂上升/下降、前臂前摆/内收、前铲斗满装(crowd)/清空、前铲斗锁定/释放。这样构成的液压挖掘机只要搭载以多台摄像机(例如图中的摄像机6a，6c，6d)及图像处理装置10为代表的上述各结构，即可与上述自卸车I同样地构成周围监视装置。
[0130]另外，本发明不限于上述各实施方式，也包含在不脱离其要旨的范围内的各种变形例。例如本发明不限于具备在上述各实施方式中说明的全部结构，也可以对其部分结构进行删除。另外，也可以讲某个实施方式的部分结构向另一实施方式的结构追加或进行置换。
[0131]另外，上述图像处理装置的各结构、该各结构功能及执行处理等，可以由硬件(例如以集成电路设计执行各功能的逻辑等)实现其部分或全部。另外，上述图像处理装置的结构可以是由运算处理装置(例如CPU)读出/执行而实现该图像处理装置的结构的各功能的程序(软件)。该程序的信息例如可以在半导体存储器(闪存、SSD等)、磁性存储装置(硬盘驱动器等)及存储介质(磁盘、光盘等)等中存储。
[0132]符号说明
[0133]6a，6b，6c，6d...摄像机、30...图像存储部、35...图像合成部、40...影轮廓抽出部、50…影轮廓特征图形抽出部、60...影轮廓特征图形遮蔽部、80...基准处理对象区域设定部、100…显示装置、170…特征图形抽出部、180…物体检测。
【主权项】
1.一种作业机械的周围监视装置，其特征在于，具备: 搭载于作业机械而对该作业机械周围的图像进行拍摄的单镜头摄像机； 基于该图像的特征量抽出该图像中的特征图形的特征图形抽出部； 基于所述图像的特征量抽出在该图像中能够视为所述作业机械的影的区域的轮廓的影轮廓抽出部；以及 物体检测部，其基于从由所述特征图形抽出部抽出的所述特征图形排除位于由所述影轮廓抽出部抽出的轮廓上的特征图形而剩余的特征图形，来检测所述作业机械周围存在的障碍物。2.根据权利要求1所述的作业机械的周围监视装置，其特征在于，还具备: 对利用所述物体检测部检测到障碍物的情况进行报告的报告部。3.根据权利要求2所述的作业机械的周围监视装置，其特征在于，还具备: 利用所述图像生成包含所述作业机械的俯瞰图像的图像合成部；以及 显示该俯瞰图像的显示部。4.根据权利要求1至3中任一所述的作业机械的周围监视装置，其特征在于， 还具备处理对象区域设定部，该处理对象区域设定部用于在所述图像中设定利用所述物体检测部进行障碍物检测的处理对象区域， 所述影轮廓抽出部抽出在所述处理对象区域内能够视为所述作业机械的影的区域的轮廓， 所述物体检测部，基于从由所述特征图形抽出部抽出的所述特征图形中的存在于所述处理对象区域内的特征图形排除位于由所述影轮廓抽出部抽出的轮廓上的特征图形而得到的图形，来检测障碍物。5.根据权利要求1所述的作业机械的周围监视装置，其特征在于， 所述特征图形抽出部抽出角部和/或边缘作为所述图像中的所述特征图形。
【文档编号】H04N7/18GK106062823SQ201580011783
【公开日】2016年10月26日
【申请日】2015年3月4日 公开号201580011783.6, CN 106062823 A, CN 106062823A, CN 201580011783, CN-A-106062823, CN106062823 A, CN106062823A, CN201580011783, CN201580011783.6, PCT/2015/56432, PCT/JP/15/056432, PCT/JP/15/56432, PCT/JP/2015/056432, PCT/JP/2015/56432, PCT/JP15/056432, PCT/JP15/56432, PCT/JP15056432, PCT/JP1556432, PCT/JP2015/056432, PCT/JP2015/56432, PCT/JP2015056432, PCT/JP201556432
【发明人】小沼知惠子, 弓场龙, 福田善文, 川股幸博, 古渡阳一, 太田守飞
【申请人】日立建机株式会社