专利名称：车载用图像处理装置的制作方法
技术领域：
本发明涉及去除由车载用摄像机拍摄到的图像上的无用区域的图像的车载用图像处理装置。
背景技术：
一直以来，在车辆后方安装有摄像机，在进行倒车停车时，将由该摄像机拍摄到的后视图像显示于监视器。由此，驾驶员能一边观看显示于监视器的后视图像，一边容易地进行倒车停车。为了能显示辅助停车所需的周边信息，该摄像机中使用广角镜。另外，存在以下情况:即，为了能在拍摄到的后视图像上显示辅助停车的引导线，而事先决定摄像机的安装位置、角度。因此，在摄像机拍摄到的图像中可能会出现车辆后方的保险杠、牌照等。在这种情况下，尽管保险杠、牌照是无用区域，但其仍然会与周边信息同样地显示于监视器，因此，会妨碍进行辅助停车。因此，希望能去除该无用区域的图像。针对上述问题，存在有遮蔽图像上的无用区域的图像处理装置(例如参照专利文献I)。在该专利文献I所揭示的图像处理装置中，仅在车辆的换档处于倒车位置且为卸货动作以外的情况下，才遮蔽倒车所需的图像区域以外的图像区域。此外，预先将要遮蔽的区域设为固定区域。现有技术文献专利文献专利文献1:日本专利特开平7-205721号公报
发明内容
然而，根据摄像机的安装位置、角度、车辆的不同等，保险杠、牌照等无用区域会成为不同的区域。因此，如专利文献I所揭示的视频处理装置那样的、将遮蔽区域固定的方法中，存在不能完全去除无用区域的问题。另外，还存在会将无用区域以外的区域也遮蔽的问题。而且，由于无用区域呈现复杂的形状，因此，还存在用户难以使用简单的步骤将其去除的问题。本发明是为了解决上述问题而完成的，其目的在于提供一种车载用图像处理装置，该车载用图像处理装置能容易地确定由车载用摄像机拍摄到的图像上的无用区域，还能可靠地去除该无用区域。本发明的车载用图像处理装置包括:移动距离检测部，该移动距离检测部对本车的移动距离进行检测；移动距离判断部，该移动距离判断部基于由移动距离检测部检测出的移动距离，来对本车从初始位置起是否移动了预定距离进行判断；无用区域确定部，该无用区域确定部对由车载用摄像机拍摄的图像进行帧间差分，将该图像的变化量为阈值以下的区域确定为无用区域，上述图像是在从初始位置起、到移动距离判断部判断为移动了预定距离为止的期间中拍摄的；以及无用区域去除部，该无用区域去除部去除由无用区域确定部所确定的无用区域的图像。另外，本发明的车载用图像处理装置包括:操作输入部，该操作输入部接受信息的输入，该信息表示车载用摄像机所拍摄到的图像上的无用区域；无用区域确定部，该无用区域确定部基于通过操作输入部而输入的信息，来确定无用区域；以及无用区域去除部，该无用区域去除部去除由无用区域确定部所确定的无用区域的图像。根据本发明，由于采用上述结构，因此，能够容易地确定由车载用摄像机所拍摄到的图像上的无用区域，能够可靠地去除该无用区域。
图1是表示本发明的实施方式I的车载用图像处理装置的结构的图。图2是表示本发明的实施方式I的控制部的结构的图。图3是表示本发明的实施方式I的由摄像机拍摄到的后视图像的图。图4是表示本发明的实施方式I的车载用图像处理装置所进行的无用区域确定动作的流程图。图5是表示本发明的实施方式I的车载用图像处理装置所进行的无用区域去除动作的流程图。图6是说明本发明的实施方式I的车载用图像处理装置所进行的无用区域去除(遮蔽显示)的图。图7是说明本发明的实施方式I的车载用图像处理装置所进行的无用区域去除(遮蔽显示)的图。图8是说明本发明的实施方式I的车载用图像处理装置所进行的无用区域去除(不显示)的图。
具体实施例方式
下面，参照附图，详细说明本发明的实施方式。实施方式I如图1所示，车载用图像处理装置包括:摄像机1、车速测量部2、GPS (GlobalPositioning System:全球定位系统)3、操作输入部4、换档位置检测部5、遮蔽信息存储部
6、控制部7、去除信息存储部8、及显示部(监视器)9。摄像机I安装于车辆后方，对后视图像进行拍摄。为了能显示辅助停车所需的周边信息，该摄像机I使用广角镜。另外，为了在拍摄到的后视图像上显示辅助停车的引导线，事先决定摄像机I的安装位置、角度。因此，在该摄像机I拍摄到的后视图像中，如图3所示那样，还会出现车辆后方的保险杠、牌照等无用区域(在图3中仅图示出牌照)。将该摄像机I拍摄到的后视图像输出到控制部7。车速测量部2对本车的车速进行测量。将表示该车速测量部2测量到的车速的信息输出到控制部7。GPS3获取GPS信息(本车位置信息、时刻信息等)。将该GPS3获取到的GPS信息输出到控制部7。操作输入部4接受用户的操作，由触摸屏等构成。该操作输入部4接受对无用区域的确定方法(自动确定、手动确定)所进行的选择。此处，在选择了手动确定的情况下，还接受对手动确定方法(描绘指定、点指定)进行的选择。另外，操作输入部4接受对无用区域的去除方法(遮蔽显示、不显示)所进行的选择。此处，在选择遮蔽显示的情况下，操作输入部4接受对遮蔽方法(遮蔽模式、形状、颜色)及引导文字显示位置(上部显示、下部显示)所进行的选择。将该操作输入部4接收到的各种信息输出到控制部7。换档位置检测部5检测车辆的换档位置。此处，在换档位置检测部5判断为换档切换到了倒车位置的情况下，向控制部7请求显示后视图像。遮蔽信息存储部6中存储有遮蔽信息，该遮蔽信息是遮蔽无用区域时的多个遮蔽模式(涂抹、改变颜色、打马赛克)；打马赛克时的形状；进行涂抹、改变颜色时的颜色等。控制部7提取出存储在该遮蔽信息存储部6中的遮蔽信息。控制部7控制车载用图像处理装置的各部分。该控制部7对摄像机I拍摄到的后视图像中的无用区域进行确定，并去除该无用区域。该控制部7的结构将在后文中阐述。去除信息存储部8对来自控制部7的去除信息(无用区域、去除方法、遮蔽信息、弓丨导文字显示位置)进行存储。控制部7提取出存储在该去除信息存储部8中的去除信息。显示部9按照控制部7的指示，来显示由控制部7去除了无用区域的图像后的后视图像、操作引导画面等。接着，对控制部7的结构进行说明。如图2所示，控制部7包括:确定方法判断部71、明度判断部72、移动距离判断部73、无用区域确定部74、去除方法判断部75、遮蔽信息提取部76、及无用区域去除部77。确定方法判断部71对由用户通过操作输入部4选择的无用区域的确定方法进行确认。此处，在确定方法判断部71判断为选择了自动确定无用区域的情况下，将该情况通知明度判断部72及无用区域确定部74。另一方面，在确定方法判断部71判断为选择了手动确定无用区域的情况下，将该情况通知无用区域确定部74。此时，确定方法判断部71还对用户通过操作输入部4选择的手动确定方法进行确认，并通知无用区域确定部74。在确定方法判断部71判断为选择了自动确定无用区域的情况下，明度判断部72对当前周围的明度(夜间、白天)进行判断。该明度判断部72基于由GPS获取的GPS信息(时刻信息)、由摄像机I拍摄到的后视图像的亮度等，来判断周围的明度。此处，在明度判断部72判断为当前周围的明度较高(不是夜间)的情况下，将该情况通知无用区域确定部74及移动距离判断部73。在明度判断部72判断为当前周围的明度较高之后，移动距离判断部73对本车从初始位置起是否移动了预定距离以上进行判断。此时，移动距离判断部73基于车速测量部2测量出的车速，来检测本车的移动距离。该车速测量部2及移动距离判断部73对应于本申请的移动距离检测部。另外，移动距离判断部73预先设定最低移动距离，并根据车速来优化移动距离。即，随着车速变快，将移动距离设定为变长。此处，在移动距离判断部73判断为本车从初始位置起移动了预定距离以上的情况下，将该情况通知无用区域确定部74。无用区域确定部74对摄像机I拍摄到的后视图像中的无用区域进行确定，由RAM (Random Access Memory:随机存取存储器)构成。在确定方法判断部71判断为选择了自动确定无用区域的情况下，该无用区域确定部74在以下期间中保存由摄像机I拍摄到的后视图像，上述期间是指从明度判断部72判断为当前周围的明度较高之后的初始位置起、到移动距离判断部73判断为移动了预定距离以上为止的期间。然后，基于所保存的从初始位置到移动后位置之间的后视图像，来确定无用区域。即，无用区域确定部74对从初始位置到移动后位置之间的后视图像来进行帧间差分，将图像的颜色、亮度等的变化量为阈值以下的区域确定为无用区域。另外，在确定方法判断部71判断为选择了手动确定无用区域的情况下，无用区域确定部74根据手动确定方法来获取由用户通过操作输入部4输入的表示无用区域的信息，并基于该信息来确定无用区域。将表示由该无用区域确定部74确定的无用区域的信息输出到去除信息存储部8。去除方法判断部75对由用户通过操作输入部4选择的去除方法进行确认。此处，在去除方法判断部75判断为选择了遮蔽显示的情况下，将该情况通知遮蔽信息提取部76及无用区域去除部77。另一方面，在去除方法判断部75判断为选择了不显示的情况下，将该情况通知无用区域去除部77。另外，还将表示由去除方法判断部75确认的去除方法的信息输出到去除信息存储部8。在去除方法判断部75判断为选择了遮蔽显示的情况下，遮蔽信息提取部76按照用户通过操作输入部4选择的遮蔽方法，来提取出存储在遮蔽信息存储部6中的相应的遮蔽信息。将由该遮蔽信息提取部76提取出的遮蔽信息输出到无用区域去除部77及去除信息存储部8。无用区域去除部77去除由摄像机I拍摄到的后视图像的无用区域。在去除方法判断部75判断为选择了遮蔽显示的情况下，该无用区域去除部77基于由遮蔽信息提取部76提取出的遮蔽信息及存储在去除信息存储部8中的无用区域信息，来遮蔽后视图像中的无用区域。此时，无用区域去除部77基于遮蔽区域的大小、引导文字区域的大小、及用户通过操作输入部4选择的引导文字显示位置，来对图像的显示进行修正。另外，还将表示由无用区域去除部77确认的引导文字显示位置的信息输出到去除信息存储部8。另一方面，在去除方法判断部75判断为选择了不显示的情况下，无用区域去除部77基于存储在去除信息存储部8中的无用区域信息，来将图像上的无用区域以外的区域拉长相当于无用区域的量，以去除无用区域的图像。将由该无用区域去除部77去除无用区域后得到的后视图像输出到显示部9。接下来，说明如上所述构成的车载用图像处理装置所进行的无用区域确定动作。在该车载用图像处理装置所进行的无用区域确定动作中，如图4所示，首先，确定方法判断部71对用户是否通过操作输入部4选择了自动确定无用区域进行判断(步骤ST41)。在该步骤ST41中，在确定方法判断部71判断为选择了自动确定无用区域的情况下，明度判断部72对当前是否是夜间进行判断(步骤ST42)。在该步骤ST42中，在明度判断部72判断为当前是夜间的情况下，流程结束。此处，在利用帧间差分来确定无用区域的情况下，若在夜间周围环境较暗则可能会发生误识别。因此，在夜间的情况下，不实施自动确定无用区域。另一方面，在步骤ST42中，在明度判断部72判断为当前不是夜间的情况下，摄像机I开始对后视图像进行拍摄，无用区域确定部74保存该后视图像。由此，在摄像机I对后视图像进行拍摄的状态下，用户移动本车。接着，移动距离判断部73基于由车速测量部2测量出的车速，对本车从初始位置起是否移动了预定距离以上进行判断(步骤ST43)。此外，本车的移动可以是前进或后退中的某一个。另外，在高速移动时，通过将移动距离设定得较长，从而使帧数增加，以提高识别精度。在该步骤ST43中，在移动距离判断部73判断为本车未移动预定距离以上的情况下，流程返回步骤ST43，成为待机状态。另一方面，在步骤ST43中，在移动距离判断部73判断为本车移动了预定距离的情况下，无用区域确定部74基于所保存的从初始位置到移动后位置之间的后视图像，来确定无用区域(步骤ST44、49)。即，无用区域确定部74对从初始位置到移动后位置之间的后视图像进行帧间差分，将图像的颜色、亮度等的变化量为阈值以下的区域确定为无用区域。此夕卜，帧间差分是以一个像素单位或一个块单位(例如IOX 10像素)等来求出的。另外，无用区域确定部74根据车速测量部2测量出的车速，来改变对于变化量的阈值。即，在高速移动时，图像变化较大，因此，提高阈值，以忽视细微的变化，从而避免误识另O。而且，由于推测为保险杠、牌照等无用区域位于图像的下部，因此，仅限定于图像的下部，来确定无用区域。由此，能避免误识别，能缩短运算时间。由此，使用以下特点，并利用帧间差分来检测图像的变化，从而能容易地确定无用区域，上述特点是指由于保险杠、牌照等无用区域会随着摄像机I 一起移动，因此即使车辆进行移动，图像上的变化也较少。此外，上述处理是由后台处理来进行的，无需在显示部9上显示后视图像。另一方面，在步骤ST41中，在确定方法判断部71判断为用户通过操作输入部4选择了手动确定无用区域的情况下，对用户通过操作输入部4是否选择了描绘指定进行判断(步骤 ST45)。在步骤ST45中，在确定方法判断部71判断为选择了描绘指定的情况下，无用区域确定部74获取用户通过操作输入部4描绘出的轨迹，并基于该轨迹来确定无用区域(步骤ST46、49)。此处，用户一边观看显示于显示部9上的后视图像，一边通过操作输入部4来描绘需要区域和无用区域的边界线。此时，由于设想用户所描绘出的区域是凹凸不平的，因此，无用区域确定部74对获取的轨迹进行补正，使其圆滑。然后，由于推测无用区域存在于图像的下部，因此，将补正后的轨迹的下部区域确定为无用区域。由此，用户只需描绘边界线就能容易地确定无用区域。另外，即使所描绘的轨迹凹凸不平，也会自动进行补正，因此，用户无需进行微调。另外，在步骤ST45中，在确定方法判断部71判断为选择了点指定的情况下，无用区域确定部74获取用户通过操作输入部4进行点指定的各点的位置(步骤ST47)。此处，用户一边观看显示于显示部9上的后视图像，一边通过操作输入部4来对需要区域和无用区域的边界线上的多个点进行点指定。接着，无用区域确定部74对所获取的各点进行线性插值，基于进行线性插值后的轨迹来确定无用区域(步骤ST48、49)。即，无用区域确定部74首先对所获取的各点进行线性插值。接着，由于设想进行线性插值后的轨迹是凹凸不平的，因此，无用区域确定部74对获取的各点进行补正，使其圆滑。然后，由于推测无用区域存在于图像的下部，因此，将补正后的轨迹的下部区域确定为无用区域。由此，用户只需指定边界线上的多个点就能容易地确定无用区域。另外，由于会自动对进行线性插值后的轨迹进行补正，因此，用户无需进行微调。由此，用户通过使用操作输入部4来手动地进行描绘指定、点指定，从而能直观地决定无用区域。利用上述处理，能容易地确定摄像机I拍摄到的图像上出现的无用区域。此外，将表示该无用区域确定部74所确定的无用区域的信息存储到去除信息存储部8。接下来，说明如上所述构成的车载用图像处理装置所进行的无用区域去除动作。车载用图像处理装置所进行的无用区域去除动作中，在换档位置检测部5判断为车辆的换档切换到倒车位置，并请求显示后视图像的情况下，如图5所示，首先，去除方法判断部75对用户是否通过操作输入部4选择了遮蔽显示进行判断(步骤ST51)。在该步骤ST51中，在去除方法判断部75判断为选择了遮蔽显示的情况下，遮蔽信息提取部76按照用户通过操作输入部4所选择的遮蔽方法(遮蔽模式、形状、颜色)，来提取出存储在遮蔽信息存储部6中的相应的遮蔽信息(步骤ST52)。将由该遮蔽信息提取部76提取出的遮蔽信息输出到无用区域去除部77。接着，无用区域去除部77基于由遮蔽信息提取部76提取出的遮蔽信息及存储在去除信息存储部8中的无用区域信息，来遮蔽图像上的无用区域(步骤ST53)。由此，如图6(b)所示，能遮蔽后视图像的无用区域。接着，无用区域去除部77对遮蔽区域是否大于引导文字区域进行判断(步骤ST54)。在该步骤ST54中，在无用区域去除部77判断为遮蔽区域小于引导文字区域的情况下，流程结束。之后，将由无用区域去除部77去除了无用区域的图像后得到的后视图像显示于显示部9。例如图7(b)所示，在遮蔽区域小于引导文字区域的情况下，不进行图像的显示修正，照原样进行显示。另一方面，在步骤ST54中，在无用区域去除部77判断为遮蔽区域大于引导文字区域的情况下，对用户是否通过操作输入部4选择了将引导文字显示于下部进行判断(步骤ST55)。在该步骤ST55中，在无用区域去除部77判断为选择了将引导文字显示于下部的情况下，将引导文字移动到下部的遮蔽区域上(步骤ST56)。之后，流程结束，将由无用区域去除部77去除了无用区域的图像后得到的后视图像显示于显示部9。由此，如图6(c)所示，能以引导文字不会遮蔽后视图像的方式进行显示，能提高可视性。另一方面，在步骤ST55中，在无用区域去除部77判断为选择了将引导文字显示于上部的情况下，移动无用区域以外的区域的图像，使其向下部移动相当于无用区域高度的量(步骤ST57)。之后，流程结束，将由无用区域去除部77去除了无用区域的图像后得到的后视图像显示于显示部9。由此，如图6(d)所示，能以引导文字不会遮蔽后视图像的方式进行显示，能提高可视性。
另一方面，在步骤ST51中，在去除方法判断部75判断为选择了不显示的情况下，基于存储在去除信息存储部8中的无用区域信息，来对后视图像中的无用区域以外的区域的图像进行拉长，使其拉长相当于无用区域高度的量(步骤ST58)。即，不显示无用区域的图像，拉伸无用区域以外的区域的图像来进行显示。之后，流程结束，将由无用区域去除部77去除了无用区域的图像后得到的后视图像显示于显示部9。由此，如图8(b)所示，能在更宽的范围内显示周边信息，能提高可视性。此外，在去除信息存储部8中存储有由去除方法判断部75确认的去除方法、由遮蔽信息提取部76提取出的遮蔽信息、及由无用区域去除部77确认的引导文字显示位置信
肩、O之后，在进行无用区域的去除时，提取出存储在去除信息存储部8中的遮蔽信息(无用区域、去除方法、遮蔽信息、引导文字显示位置)，来去除无用区域。如上所述，根据本发明的实施方式1，由于采用以下结构:即，在由车载用摄像机I对后视图像进行拍摄的同时，使本车移动，并利用后视图像的帧间差分来对是否存在图像变化进行把握，以将变化较少的区域确定为无用区域，因此，能够容易地确定摄像机I拍摄到的图像的无用区域，能可靠地去除该无用区域。另外，由于采用以下结构:即，在手动确定无用区域的情况下，基于用户所进行的描绘指定、点指定的信息来确定无用区域，因此，用户能通过简单的步骤去除无用区域。此外，在实施方式I中，对在手动确定中利用描绘指定或点指定来确定无用区域的方式进行了说明，但是并不限于此，也可例如利用摄像机I所拍摄到的后视图像上的对比度差值来确定无用区域。在这种情况下，操作输入部4接受由用户进行的对无用区域内的、需要区域与无用区域的边界线附近的多个点的指定。另外，无用区域去除部77获取用户通过操作输入部4进行点指定的各点的位置。然后，无用区域确定部74比较所获得的各点的亮度与周围的亮度，以检测出亮度差为阈值以上的边界线。然后，将该边界线的下部区域确定为无用区域。另外，在实施方式I中，对将摄像机I安装于车辆后方、对后视图像进行拍摄的情况进行了说明，但是并不限于此，例如也同样适用于对前方、侧方的图像进行拍摄的摄像机。另外，本发明申请在其发明范围内可以对实施方式的任意构成要素进行变形，或者省略实施方式的任意构成要素。工业中的实用性本发明的车载用图像处理装置能容易地确定由车载用摄像机拍摄到的图像上的无用区域，能可靠地去除该无用区域，适合用于对由车载用摄像机拍摄到的图像进行处理的车载用图像处理装置等。附图标记I 摄像机2 车速测量部3 GPS4 操作输入部
5换档位置检测部6遮蔽信息存储部7控制部8去除信息存储部9显示部(监视器)71确定方法判断部72明度判断部73移动距离判断部74无用区域确定部75去除方法判断部76遮蔽信息提取部77无用区 域去除部
权利要求
1.一种车载用图像处理装置，该车载用图像处理装置去除由车载用摄像机拍摄到的图像上的无用区域的图像，其特征在于，包括: 移动距离检测部，该移动距离检测部对本车的移动距离进行检测； 移动距离判断部，该移动距离判断部基于由所述移动距离检测部检测出的移动距离，来对本车从初始位置起是否移动了预定距离进行判断； 无用区域确定部，该无用区域确定部对由所述车载用摄像机拍摄的图像进行帧间差分，将该图像的变化量为阈值以下的区域确定为无用区域，所述图像是在从所述初始位置起、到所述移动距离判断部判断为移动了预定距离为止的期间中拍摄的；以及 无用区域去除部，该无用区域去除部去除由所述无用区域确定部所确定的无用区域的图像。
2.一种车载用图像处理装置，该车载用图像处理装置去除由车载用摄像机拍摄到的图像上的无用区域的图像，其特征在于，包括: 操作输入部，该操作输入部接受信息的输入，该信息表示所述车载用摄像机拍摄到的图像上的无用区域； 无用区域确定部，该无用区域确定部基于通过所述操作输入部输入的信息，来确定无用区域；以及 无用区域去除部，该无用区域去除部去除由所述无用区域确定部所确定的无用区域的图像。
3.如权利要求2所述的车载用图像处理装置，其特征在于， 操作输入部接受对需要区域和无用区域之间的边界线的描绘指定， 无用区域确定部基于通过所述操作输入部所描绘的轨迹，来确定无用区域。
4.如权利要求2所述的车载用图像处理装置，其特征在于， 操作输入部接受对需要区域和无用区域之间的边界线上的多个点进行的指定， 无用区域确定部对通过所述操作输入部而指定的各点进行插值，基于该插值后的轨迹来确定无用区域。
5.如权利要求2所述的车载用图像处理装置，其特征在于， 操作输入部接受对需要区域和无用区域之间的边界线附近的多个点进行的指定， 无用区域确定部比较通过所述操作输入部所指定的各点的亮度与该各点周围的亮度，以检测出亮度差为阈值以上的边界线，基于该边界线来确定无用区域。
6.如权利要求1所述的车载用图像处理装置，其特征在于， 无用区域去除部遮蔽无用区域确定部所确定的无用区域。
7.如权利要求2所述的车载用图像处理装置，其特征在于， 无用区域去除部遮蔽无用区域确定部所确定的无用区域。
8.如权利要求1所述的车载用图像处理装置，其特征在于， 无用区域去除部将无用区域确定部所确定的无用区域以外的区域拉长相当于无用区域的量。
9.如权利要求2所述的车载用图像处理装置，其特征在于， 无用区域去除部将无用区域确定部所确定的无用区域以外的区域拉长相当于无用区域的量。
全文摘要
本发明提供一种车载用图像处理装置，包括移动距离检测部(2,73)，该移动距离检测部对本车的移动距离进行检测；移动距离判断部(73)，该移动距离判断部基于由移动距离检测部(2,73)检测出的移动距离，来对本车从初始位置起是否移动了预定距离进行判断；无用区域确定部(74)，该无用区域确定部(74)对由车载用摄像机(1)拍摄的图像进行帧间差分，将该图像的变化量为阈值以下的区域确定为无用区域，上述图像是在从初始位置起、到移动距离判断部(73)判断为移动了预定距离为止的期间中拍摄的；以及无用区域去除部(77)，该无用区域去除部(77)去除由无用区域确定部(74)所确定的无用区域的图像。
文档编号G06T1/00GK103119932SQ201080069219
公开日2013年5月22日 申请日期2010年11月15日 优先权日2010年11月15日
发明者井作正之, 山本刚史 申请人:三菱电机株式会社