专利名称：移动体检测装置和移动体检测方法
技术领域：
本发明的实施方式涉及通过用安装于车辆上的摄像机来拍摄车辆周边的影像，再对摄像机图像进行处理而检测移动体的移动体检测装置以及移动体检测方法。
背景技术：
以前，已知一种车辆用图像显示装置，其在车辆上安装多个摄像机，用于对本车的前方、后方或者侧方拍摄，以拍摄到的图像为依据来检测移动体，并将接近本车的移动体显不在显不部上。在现有的车载用的移动体检测装置中，由于摄像机本身移动，因而即使是静态物被拍摄对象，在画面上也会成为存在动态的图像，从而难以高可靠性地判断是静态物还是移动体。有时即使在特定的场景中能够检测到移动体，而在其他场景中也无法检测移动体。另外，作为构成摄像部的摄像机，也具有使用鱼眼摄像机来拍摄视野广的图像的实例。
发明内容
本发明鉴于上述问题，其目的在于提供一种能够更加可靠地检测沿所有方向移动的移动体的移动体检测装置以及移动体检测方法。本实施方式的移动体检测装置具备图像输入部，用于载入由安装于车辆上的摄像机拍摄到的摄像机的图像；运动矢量生成部，用于对来自所述图像输入部的图像进行处理，生成所述图像的多个点P的运动矢量；本车移动参数推断部，用于在通过本车移动参数的旋转分量(Rx、Ry、Rz)校正了所述点P的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量(Rx、Ry、Rz)；以及移动体判定部，用于使用所述本车移动参数的旋转分量(Rx、Ry、Rz)校正所述图像内的任意点Q的运动矢量的斜率，并比较校正后的运动矢量的斜率、以及连接所述任意点Q与所述消失点的线的斜率，在一致度低时，检测为具有与本车移动方向不同的方向的移动体，在一致度高时，判定为静止物或向所述消失点呈放射状移动的移动体。根据上述构成的移动体检测装置，从而能够更加可靠地检测沿所有方向移动的移动体。
图1是表示第一实施方式涉及的移动体检测装置的构成的框图。
图2是表示第一实施方式的移动体检测部的详细构成的框图。图3是说明第一实施方式涉及的移动体检测装置的动作的流程图。图4是表示由图像区域选定部进行的图像区域的选定示例的说明图。图5是表示与运动矢量的生成处理相关的坐标系统的说明图。图6是用于选择旋转分量Ry的直方图。图7是表示zO设定部的动作的说明图。图8是表示校正了旋转分量的运动矢量的一个示例的说明图。图9是表示校正了旋转分量的运动矢量的另一示例的说明图。图10是表示第二实施方式涉及的移动体检测装置的框图。图11是表示移动体检测部的详细构成的框图。图12是概略性地表示用鱼眼摄像机拍摄到的图像的说明图。图13是说明分割转换部的动作的说明图。图14是表示针孔摄像机模型的说明图。图15是说明移动体判定部的动作的说明图。图16是说明第四实施方式涉及的移动体检测装置的动作的说明图。
具体实施例方式下面，将参照
本发明的一种实施方式。(第一实施方式)图1是表示本发明的一种实施方式涉及的移动体检测装置100的构成的框图。在图1中，移动体检测部10用于对通过安装于车辆1上的摄像机30拍摄到的图像进行处理从而检测移动体，并将检测结果显示在显示部40上。摄像机30安装于车辆1上，用于拍摄车辆周围的影像。图1示出了在车辆1的前方和后方等安装有摄像机30...的示例。图2是表示移动体检测部10的详细构成的框图。移动体检测部10包括控制部 11，用于控制移动体检测部10的动作；图像输入部12，用于载入摄像机图像；图像区域选定部13，用于选定具有对移动体的检测处理有效的图像信息的图像区域；以及运动矢量生成部14，用于生成由图像区域选定部13选定的图像区域的运动矢量。另外，还包括静止物体区域候补推断部15，用于根据由图像选定区域部13选定的图像(静止物和移动体混合的图像)推断静止物区域候补；运动标量判定部16，用于在未发现静止区域候补时视为全图面运动或者全图面静止，并将发生了运动的区域判定为移动体；以及FOE更新部17，用于在本车不旋转地移动时求出FOE (Focus of Expansion，轨迹交点)并进行更新。另外，还包括本车移动参数推断部18，用于根据由静止区域候补推断部15选定的区域内的图像来推断本车移动参数(包括旋转分量Ωικ 0￥和平移分量1^37、1^)；以及zO设定部19，为了推断平移分量(Tx、Ty、Tz)而设定推断距离加权系数zO作为近似距
1 O并且，还包括着眼于FOE的移动体判定部20;平移(併進)方向移动体检测部 21，用于进行放射状地朝向FOE的方向上的移动体的检测；以及接近判定部22，用于分别输入由运动标量判定部16判定的移动体、由移动体判定部20判定的移动体以及由平移方向移动体检测部21判定的移动体的信息，根据各逻辑和(OR)判定移动体。图3是说明本发明的第一实施方式涉及的移动体检测装置的动作的流程图。下面，将在参照相关附图的同时说明动作。此外，移动体检测部10在控制部11的控制下动作， 控制部11由包括CPU、ROM、RAM等微处理器构成。控制部11对应各模块产生控制信号，以便进行下面说明的动作(在图2中，用虚线表示控制信号电路)。首先，在步骤Sl中，由图形输入部12取得用摄像机30拍摄到的摄像机图像。在步骤S2中，由图像区域选定部13选定具有对以后的运动矢量计算处理有效的图像信息的图像区域。作为有效的图像信息的判断方法，能够采用特征点提取法。根据特征点能够唯一地算出运动矢量。如图4所示，在图像中无限宽广的地面会聚于一线，被称作消失线。此外，在本车不旋转地移动时(例如，沿箭头A方向移动)时，使图像中的多个运动矢量延长， 延长的运动矢量集中的点就是消失点(FOE)。在后续步骤S3中，在运动矢量生成部14中生成由图像区域选定部13选定的区域的运动矢量。作为运动矢量的生成处理，能够使用梯度法、块匹配(block matching)法等。例如，如图5所示，作为摄像机坐标系统，可以考虑将摄像机30的光轴作为ζ轴、 平行于路面的轴作为X轴、在与路面垂直的面上的轴作为y轴时的xyz坐标系统。在将 Oc (0,0,0)作为摄像机中心，焦点距离设为f时，用200表示ζ = f(f为焦点距离)的投影平面，世界坐标中的点P’被投影至该投影平面200的点P。另外，固定于世界坐标系统的地面上的坐标系统用Ow表示。与本车移动相随的图面上P(x，y)的运动矢量V(u，v)能够用公知的下述(1)、(2) 式来表不。[数式1]u = Ω u+x (Tz/z)-f (Τχ/ζ) · · · (1)ν = Qv+y(Tz/z)-f (Ty/z) . . . (2)在这里，将本车移动参数设定为旋转分量Ω u、Ω ν和平移分量IbuTy、!^。IbuTy、 iTz分别表示χ轴、y轴、ζ轴方向上的平移速度。并且，Ω u、Ων由下述(3)、(4)式用Rx、 Ry、Rz来表示。Rx、Ry、Rz表示以χ轴、y轴、ζ轴为中心的旋转分量。[数式2]
Ωιι = (xy/f)Rx-(f2+x2) (l/f)Ry+yRz ... (3)Ων = (f2+y2) (1/f) Rx"xy/fRy"xRz . . . (4)众所周知，如果对点P(x，y)的运动矢量V(u，v)进行旋转分量的校正并求出斜率 (傾t )，则就与从P(x，y)朝向FOE的斜率相等。S卩，下述(5)式成立。[数式3]= -... (5)
r — U ν .r . ν 向静止物区域候补推断部15输入由图像选定区域部13选定的图像(静止物与移动体混合的图像)，在步骤S4中，进行静止物区域的推断。也就是说，在车载摄像机中，由于 Rx、Rz微小的情况较多，因而如果进行Rx = Rz = 0这样的近似，则可以得到(6)、(7)式[数式4]
8
Ωιι = -(f2+x2) (l/f)Ry ... (6)Ων = -(xy/f)Ry · · · (7)根据(5)、(6)、(7)式，根据点P (x，y)、运动矢量V (v，u)以及FOE (xO，y0)，可以对应每个像素P求出Ry。对于静止物，Ry共通。针对多个像素点求出上述多个Ry，并生成图 6所示的Ry的直方图，将直方图的波峰附近的具有共通的Ry的区域选定作为静止物区域候补。然而，在本车速度较高时，优选考虑发生Rz。此时，如果进行Rx = O这样的近似， 则可以得到(8)、(9)式，根据附近的多个运动矢量能够求出Ry、Rz。此时，生成Ry、Rz的直方图，将直方图的波峰附近的具有共通的Ry、Rz的区域选定为静止物区域候补。[数式5]Ω u = - (f2+x2) (1/f) Ry+yRz ... (8)Ων = -(xy/f)Ry_xRz. . . (9)在未发现静止区域候补时(在步骤S5中为否的情况)，视为全画面运动或者全画面静止，由运动标量判定部16将发生了运动的区域判定为移动体。也就是说，运动标量判定部16在步骤S6中判定运动的大小(标量)，在步骤S7中，如果标量超过了预先设定的阈值时(为是时)，判定为运动区域。此外，矢量是用方向和大小来表示的，而将仅有大小的称作纯量(scalar)或者标量。另外，在图面上静止物区域较少的情况下，如果发现静止物区域部分的Ry直方图的波峰，则也能够将该区域判定为静止物区域。在步骤S8中，在本车不旋转地移动时，FOE更新部17求出FOE作为运动矢量的延长线交点并进行更新。在车载摄像机中，平移运动仅在车辆中心轴方向上发生，因而消失点(FOE)可以认为不变，但是设想乘车人员或者安装量较多的情况、或者由于摄像机30的安装位置经年变化等而引起的光轴的偏移，摄像机30的光轴偏移表现为消失点(FOE)的偏移。所以在步骤S8中，进行FOE的更新。也就是说，在静止物区域候补内，在旋转分量=0时，且设点P (X，y)的运动矢量为(im，Vn)时，如果将以P为始点的运动矢量的延长线上的点设为(x0，y0)，则可以得到式 (10)。[数式6](l/un)x0+(l/vn) = xn/un+yn/vn . . . (10)另外，如果对η个点P进行矩阵表示，则可以得到(11)式。[数式7]
权利要求
1.一种移动体检测装置，其特征在于，包括图像输入部，用于载入由安装于车辆上的摄像机拍摄到的摄像机图像；运动矢量生成部，用于对来自所述图像输入部的图像进行处理，生成所述图像的多个点P的运动矢量；本车移动参数推断部，用于在通过本车移动参数的旋转分量RX、Ry、Rz校正了所述点P 的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量 Rx、Ry、Rz ；以及移动体判定部，用于使用所述本车移动参数的旋转分量Rx、Ry、Rz校正所述图像内的任意点Q的运动矢量的斜率，并比较校正后的运动矢量的斜率、以及连接所述任意点Q与所述消失点的线的斜率，在一致度低时，检测为具有与本车移动方向不同的方向的移动体，在一致度高时，判定为静止物或向所述消失点呈放射状移动的移动体。
2.根据权利要求1所述的移动体检测装置，其特征在于，所述本车移动参数推断部在所述旋转分量是0时，将所述多个点P的运动矢量的延长线的交点更新为所述消失点。
3.根据权利要求1所述的移动体检测装置，其特征在于，所述移动体检测装置还包括静止区域候补推断部，用于根据所述图像的多个点P的运动矢量来推断静止物区域，所述本车移动参数推断部根据推断出的所述静止物区域的图像的多个点P的运动矢量和所述消失点，推断所述本车移动参数的旋转分量Rx、Ry、Rz。
4.根据权利要求3所述的移动体检测装置，其特征在于，所述静止区域候补推断部根据推断出的所述静止物区域的图像的多个点P的运动矢量和所述消失点，求出基于本车的舵角的旋转分量Ry、Rz中的至少Ry，并将各点的所述旋转分量Ry或者Ry和Rz的直方图的波峰附近选定作为静止物区域候补。
5.根据权利要求3所述的移动体检测装置，其特征在于，还包括平移方向移动体检测部，用于输入通过所述移动体检测部未检测为移动体的图像信息，根据所述静止物区域候补内的任意点Q的运动矢量和旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，设定使与路面间的摄像机视角相关联的推断距离加权系数ζΟ，比较乘以了所述系数ζΟ的平移分量ζΟ(Τζ/ζ)与推断本车平移分量Tzm，在一致度低时，检测为移动体。
6.根据权利要求5所述的移动体检测装置，其特征在于，所述平移方向移动体检测部根据所述静止物区域候补内的多个点P的运动矢量和旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，将乘以了所述系数zO的平移分量 zO(Tz/z)的平均值作为所述推断本车平移分量Tzm。
7.根据权利要求5或6所述的移动体检测装置，其特征在于，所述平移方向移动体检测部将使路面上的距离与所述摄像机图像上的每个像素位置相关联的对应关系预先设定作为所述推断距离加权系数zO。
8.一种移动体检测装置，其特征在于，包括图像输入部，用于载入由安装于车辆上的摄像机拍摄到的摄像机图像；运动矢量生成部，用于对来自所述图像输入部的图像进行处理，生成所述图像的运动矢量；本车移动参数推断部，用于求出所述图像的多个点P的运动矢量和将所述运动矢量延长后的延长运动矢量集中的消失点，根据所述多个点P的运动矢量和所述消失点来推断本车移动参数的旋转分量Rx、Ry、Rz和平移分量；以及移动体判定部，用于设定使与路面间的摄像机视角相关联的推断距离加权系数zO，根据乘以了所述系数zO的平移分量的平均值而计算推断本车平移分量，根据所述旋转分量 Rx、Ry、Rz、所述平移分量以及所述系数ZO预测所述图像内的任意点Q的运动矢量，并与实测运动矢量进行比较，在一致度低时，判定为移动体。
9.根据权利要求8所述的移动体检测装置，其特征在于，将使路面上的距离与所述摄像机图像上的每个像素位置相关联的对应关系预先设定作为所述推断距离加权系数zO。
10.一种移动体检测方法，其特征在于，包括载入由安装于车辆上的摄像机拍摄到的摄像机的图像； 对所述图像进行处理，生成所述图像的多个点P的运动矢量； 在通过本车移动参数的旋转分量Rx、Ry、Rz校正了所述点P的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量Rx、Ry、Rz ；以及使用所述本车移动参数的旋转分量Rx、Ry、Rz校正所述图像内的任意点Q的运动矢量的斜率，并比较校正后的运动矢量的斜率、以及连接所述任意点Q与所述消失点的线的斜率，在一致度低时，检测为具有与本车移动方向不同的方向的移动体，在一致度高时，判定为静止物或向所述消失点呈放射状移动的移动体。
11.根据权利要求10所述的移动体检测方法，其特征在于，在所述旋转分量是0时，将所述多个点P的运动矢量的延长线的交点更新为所述消失点O
12.根据权利要求10所述的移动体检测方法，其特征在于，所述移动体检测方法还包括根据所述图像的多个点P的运动矢量来推断静止物区域，根据推断出的所述静止物区域的图像的多个点P的运动矢量和所述消失点，求出基于本车的舵角的旋转分量Ry、Rz中的至少Ry，将各点的所述旋转分量Ry或者Ry和Rz的直方图的波峰附近选定作为静止物区域候补。
13.根据权利要求12所述的移动体检测方法，其特征在于，还包括 输入未检测为所述移动体的图像信息，根据所述静止物区域候补内的任意点Q的运动矢量和旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，设定使与路面间的摄像机视角相关联的推断距离加权系数ζΟ，比较乘以了所述系数 ζ0的平移分量ζΟ(Τζ/ζ)与推断本车平移分量Tzm，在一致度低时，检测为移动体。
14.根据权利要求13所述的移动体检测方法，其特征在于，根据所述静止物区域候补内的多个点P的运动矢量和所述旋转分量Rx、Ry、Rz，求出本车移动参数的平移分量Tz/z，将乘以了所述系数zO的平移分量ζΟ(Τζ/ζ)的平均值作为所述推断本车平移分量Tzm。
15.一种移动体检测方法，其特征在于，包括载入由安装于车辆上的摄像机拍摄到的摄像机的图像； 对所述图像进行处理，生成所述图像的运动矢量；求出所述图像的多个点P的运动矢量和将所述运动矢量延长后的延长运动矢量集中的消失点，根据所述多个点P的运动矢量和所述消失点来推断本车移动参数的旋转分量 Rx、Ry、Rz和平移分量；以及设定使与路面间的摄像机视角相关联的推断距离加权系数zO，根据乘以了所述系数 z0的平移分量的平均值而计算推断本车平移分量，根据所述旋转分量Rx、Ry、Rz、所述平移分量以及所述系数zO预测所述图像内的任意点Q的运动矢量，并与实测运动矢量进行比较，在一致度低时，判定为移动体。
16.一种移动体检测装置，其特征在于，包括分割转换部，用于将通过安装于车辆上且具有广角拍摄范围的摄像机拍摄到的非线形图像分割为具有预先设定的视角范围的多个图像，生成具有共通的摄像机中心的多个线形的投影平面图像；运动矢量计算部，用于计算多个所述投影平面图像各自的运动矢量；移动体判定部，用于分析多个所述投影平面图像的所述运动矢量，并判定移动体；以及显示部，用于显示所述移动体判定部的判定结果。
17.根据权利要求16所述的移动体检测装置，其特征在于，所述分割转换部将大于等于180度的广角摄像机图像分割为具有交迭部分的180度以内的多个图像，生成多个平面投影图像。
18.根据权利要求16所述的移动体检测装置，其特征在于，所述移动体判定部根据由所述运动矢量计算部计算的运动矢量的方向，判定有无接近本车的移动体。
19.根据权利要求16所述的移动体检测装置，其特征在于，还包括原图像转换部，用于将所述移动体判定部的判定结果重叠在分割前的原拍摄图像上；以及接近方向判定部，用于根据所述原图像转换部的图像来判定所述移动体的接近方向， 并将表示所述移动体的接近的图像信息显示在所述显示部上。
20.一种移动体检测方法，其特征在于，包括将通过安装于车辆上且具有广角拍摄范围的摄像机拍摄到的非线形图像分割为具有预先设定的视角范围的多个图像，生成具有共通的摄像机中心的多个线形的投影平面图像；计算多个所述投影平面图像各自的运动矢量；分析多个所述投影平面图像的所述运动矢量，并判定移动体；以及显示所述移动体的判定结果。
21.根据权利要求20所述的移动体检测方法，其特征在于，根据计算出的所述运动矢量的方向，判定有无接近本车的移动体。
22.根据权利要求20所述的移动体检测方法，其特征在于，还包括将所述判定结果重叠在分割前的原拍摄图像上；根据重叠有所述判定结果的原拍摄图像来判定所述移动体的接近方向；显示表示所述移动体的接近的图像信息。
全文摘要
一种能更可靠地检测沿所有方向移动的移动体的移动体检测装置和移动体检测方法。移动体检测装置包括图像输入部，载入由安装于车辆上的摄像机拍摄到的图像；运动矢量生成部，对该图像进行处理，生成图像的多点P的运动矢量；本车移动参数推断部，在通过本车移动参数的旋转分量校正了点P的运动矢量的斜率时，视为与从点P到消失点的斜率相等地推断本车移动参数的旋转分量；移动体判定部，使用本车移动参数的旋转分量校正图像内的任意点Q的运动矢量的斜率，比较校正后的运动矢量的斜率及连接任意点Q与消失点的线的斜率，在一致度低时，检测具有与本车移动方向不同的方向的移动体，在一致度高时，判定静止物或向消失点呈放射状移动的移动体。
文档编号G06T7/20GK102270344SQ201110111658
公开日2011年12月7日 申请日期2011年4月29日 优先权日2010年6月4日
发明者川井清幸 申请人:东芝阿尔派·汽车技术有限公司