物体距离检测装置的制作方法

本发明涉及一种物体距离检测装置。

背景技术：

作为本技术领域的背景技术，例如在专利文献1中，提出了一种由立体摄像机实施的距离检测中的运算时间的降低以及抑制电路规模增大的方法。

具体来说，在专利文献1中，叙述了当在下方没有附近物体的情况下，使上方区域的探索范围相对于画面下方区域中的视差探索范围变窄。

现有技术文献

专利文献

专利文献1：日本特开2013－174494号公报

技术实现要素：

发明要解决的问题

专利文献1所记载的技术当在画面下方区域中没有作为探测对象的物体的情况下，能够降低运算负载。但是，通常，作为探测对象的物体存在于附近，无法使画面上方区域的探索范围变窄的情况较多，有可能无法有效地降低运算负载。

因此，本发明的目的在于，提供一种能够兼顾物体探测精度的提高与运算负载的降低的物体距离检测装置。

解决问题的手段

本发明具备：多个摄像部；物体信息取得部，其取得包括物体的距离信息的物体信息；探索条件设定部，其设定在参照图像内探索与所述多个摄像部中的一个摄像部所拍摄到的基准图像内的特定的图像要素对应的图像要素时的条件，其中所述参照图像由其他摄像部拍摄；以及立体距离检测部，其基于由所述探索条件设定部设定的条件来进行所述探索，基于通过所述探索得到的视差来检测所述物体的距离，所述探索条件设定部基于所述物体的检测信息，设定进行所述探索时的探索范围。

发明效果

本发明能够提供一种能够兼顾物体探测精度的提高与运算负载的降低的摄像装置。

附图说明

图1是示出本发明的实施例中的摄像装置的构成的图。

图2是示出在本发明的实施例中拍摄的拍摄图像的一个例子的图。

图3是示出在本发明的实施例中拍摄的拍摄图像和区域控制的一个例子的图。

图4是示出在本发明的实施例中指定的探索范围的指定方法的一个例子的图。

图5是示出本发明的实施例中的摄像装置的处理定时的图。

图6是示出本发明的实施例中的摄像装置的处理流程的图。

图7是示出本发明的实施例中的拍摄图像和识别结果的一个例子的图。

图8是示出本发明的实施例中的区域控制的其他例子的图。

图9是示出本发明的实施例中的拍摄图像和识别结果的一个例子的图。

图10是示出本发明的另一个实施例中的摄像装置的构成的图。

图11是示出本发明的又另一个实施例中的摄像装置的构成的图。

具体实施方式

下面，使用附图来说明本发明的实施方式。

图1是示出本发明的摄像装置的一个实施例的构成的图。1是本实施例的摄像装置，例如搭载于车辆的前方，作为识别交通信号灯、标识、障碍物等而辅助司机的安全系统的一部分而构成。

101、102是摄像部，将光学镜头装配于图像传感器。这些摄像部以规定的定时重复进行单张图像的拍摄，并输出所拍摄到的图像。

摄像部101与摄像部102按规定的距离左右分开地设置，根据由摄像部101和摄像部102拍摄到的图像的偏移、所谓的视差，能够计算出至被摄体的距离。

此外，在图1中，示出了将摄像装置1的构成要素收纳于同一框体的例子，但既可以将例如摄像部101、102一并收纳于与其他构成要素不同的框体(该图中的虚线框11)，也可以将摄像部101、102分别收纳于不同的框体而安装到车辆。在该情况下，图像信号用未图示的连接电缆来连接即可。作为使用连接电缆来传送图像的方法，存在有使用lvds(lowvoltagedifferentialsignaling，低压差分信号)方式的差动传送路径的传送方法等。

另外，通过将摄像部101和摄像部102的图像传感器设为彩色图像传感器，从而能够取得所拍摄的图像的颜色信息。

103是图像校正部，获取来自摄像部101、102的图像，为了使各自的图像的亮度匹配，用预先计测出的校正值进行校正，进一步地，为了进行镜头所引起的图像的畸变的校正，使摄像部101、102的图像的水平位置一致，这也用预先计测出的校正值进行校正。校正值的计测在摄像装置的制造工序中进行。通过应用校正值前的每个装置，分别拍摄特定的被摄体，求出使所取得的图像的亮度变得均匀那样的每个像素的亮度校正值以及消除镜头畸变而使图像变为水平那样的每个像素的几何校正值，分别作为校正表格，针对每个装置，保存到例如未图示的非易失性存储器。

104是物体信息取得部，取得包括物体的距离信息的物体信息。在本实施方式中，物体信息取得部104根据由所述多个摄像部的至少一个摄像部取得的图像来检测物体，从而检测所述物体的距离。即，物体信息取得部104通过单镜头处理来检测物体，所以能够称为单镜头距离检测部。另外，物体信息取得部104还能够根据与后述的立体距离检测部的关系确定为第1距离检测部。

物体信息取得部104输入摄像部101或者摄像部102的某一方的图像，并检测物体的区域和距离。作为检测物体的方法，例如存在如下方法。物体信息取得部104获取摄像部101或者摄像部102的某一方的图像，在所获取到的图像中，检测所设想的交通信号、道路标识等。作为该检测方法，例如存在如下方法等：在图像中，根据亮度分布、边缘的形状信息与作为参照数据而保持的图案数据的类似量，检测交通信号灯、道路标识等物体。由此，能够掌握图像中的物体及其在画面上的位置。进一步地，物体信息取得部104例如根据所检测出的物体在画面上的高度和大小，能够粗略地检测其距离。物体信息取得部104将该检测结果输出到后述的处理区域设定部106以及探索范围设定部107。

105是作为另一个距离检测部(即，第2距离检测部)的立体距离检测部，输入来自图像校正部103的图像，检测被摄体的距离。作为检测距离的方法，例如存在如下方法。立体距离检测部105获取来自图像校正部103的图像，进行视差的计算。如上所述，摄像部101与摄像部102按规定的距离左右分开地设置，所以所拍摄到的图像具有视差。进行计算该视差的所谓的立体处理。作为视差的计算方法，例如存在有块匹配方式。立体距离检测部105对于例如来自图像校正选择部103的图像中的、由后述的处理区域设定部106指定的图像的区域，进行距离探测。具体来说，首先，在水平方向上逐个像素错开地探索与从摄像部101的所指定的图像区域上小块地切出的规定尺寸的块区域对应的、摄像部102的图像上的映有相同的被摄体的区域。此时，作为向水平方向的探索范围，对由后述的探索范围设定部107指定的像素数相当量的探索范围进行探索。然后，摄像部101与摄像部102中的一致的块区域的位置之差成为视差。能够使用该视差来求出在块区域中映出的对象物的在实际环境中的距离。此外，在该例子中，采用块区域作为成为求出距离的对象的图像要素。作为一致比较的方法，例如，将块区域内的像素的亮度的差分的总和变小的位置设为视差。此外，所检测的距离根据摄像部101、摄像部102的镜头焦距、摄像部101与摄像部102的距离、上述求出的视差以及摄像传感器的像素间距来求出，这是公知的。但是，距离的计算方法不限定于此。另外，作为成为求出距离的对象的图像要素，不限于上述块区域，也可以采用构成摄像传感器的各个像素。

110是探索条件设定部，通过立体距离检测部105，设定在参照图像内探索与由所述多个摄像部中的一个摄像部拍摄到的基准图像内的特定的图像要素对应的图像要素时的条件，其中，所述参照图像由其他摄像部拍摄。具体来说，探索条件设定部110具备后述的处理区域设定部106和探索范围设定部107。

106是处理区域设定部，基于物体信息取得部104的结果，指定在后述的立体距离检测部105中检测距离的图像的区域，另外，指定在后述的识别部108中识别物体的图像的位置。

107是探索范围设定部，基于物体信息取得部104的结果，设定用于在立体距离检测部105中检测距离的探索范围。

立体距离检测部105对于来自校正部103的图像中的所指定的区域，进行上述距离检测，将其结果输出到后述的识别部108。由此，能够限定由立体距离检测部105实施的距离检测的区域以及探索范围，能够避免处理负载的增大。

108是识别部，接受来自立体距离检测部105的检测结果以及来自处理区域设定部106的区域指定，进行图像上物体的识别，将识别结果的信息输出到摄像装置1的外部。基于由立体距离检测部105求出的、由处理区域设定部106指定的区域的距离信息来识别物体。关于识别物体的方法，例如在表示大致相同的距离的距离信息存在于近处的情况下，将它们作为一个集合而群组化，在该群组的大小为一定以上时，将该群组视为物体。然后，基于所检测到的群组的大小和形状，检测出例如是车辆、行人。关于物体的大小、形状，存在根据与作为参照数据而预先保持的图案数据的比较而进行检测的方法。根据该处理方式，能够高精度地得到从自身车辆至前方的物体例如行人、车辆的距离，所以被用作用于自身车辆的减速、停止等避免碰撞的信息。

此外，在摄像装置1中，例如虚线框12内的摄像部101、102、图像校正部103、立体距离检测部105由电子电路构成，除此以外的构成要素通过由未图示的微型计算机等实施的软件处理来实现。

图2是示出在本发明的摄像装置的一个实施例中拍摄的拍摄图像的一个例子的图。在该图中，1001表示由摄像部101拍摄并由校正部103校正过的拍摄图像，1002表示由摄像部102拍摄并由校正部103校正过的拍摄图像。202、203、204是被摄体。

另外，201、208表示拍摄图像1001以及拍摄图像1002中的、共同被拍摄的区域即共同摄像区域。如上所述，在拍摄图像1001与拍摄图像1002之间，存在共同被拍摄的区域的偏移，根据该偏移量即视差，计算被摄体的距离。

图3是示出在本发明的摄像装置的一个实施例中拍摄的拍摄图像与区域控制的一个例子的图。在该图中，201表示例如由摄像部101拍摄并由校正部103校正过的拍摄图像中的、如上所述与由摄像部102拍摄到的图像共同被拍摄的区域。

205、206以及207是拍摄图像201中的由处理区域设定部106指定的处理区域，处理区域205、206、207是由立体距离检测部105进行距离检测处理的处理区域。即，处理区域205、206、207分别是当在物体信息取得部104中进行了行人202、对面开来的车203、交通信号灯204的检测及其粗略的距离检测处理之后根据其结果由处理区域设定部106指定了区域的、共同摄像区域中的一部分的区域，在该区域中，立体距离检测部105在该区域内，基于所述多个拍摄图像之间的视差来计算有关该一部分区域内的图像要素的距离。

图4是示出本发明的摄像装置的一个实施例的距离与视差的关系以及探索范围设定部107设定探索范围的设定方法的一个例子的图。视差用像素的单位表示，表示由摄像部102拍摄到的图像相对于上述由摄像部101拍摄到的图像的偏移量。例如在上述行人202在物体信息取得部104中被检测为约5m的情况下，作为此时的视差，根据该图，是60像素。因此，作为行人202的距离的探索范围，探索范围设定部107对处理区域205设定以60像素为中心的50像素至70像素的范围。同样地，在针对作为交通信号灯204、对面开来的车203的区域的处理区域207、206而分别检测到距离为约20m、约50m的情况下，分别设定25像素至40像素、1像素至10像素作为探索范围。由此，在各处理区域中，以由物体信息取得部104检测到的距离为中心，探索所限定的像素数的范围的视差即可，减轻处理负载。另外，在所设定的探索范围内，在无法检测出距离的情况下，使所设定的探索范围扩展，进行扩展后的范围的探索处理，从而能够将处理负载抑制为最小限度。例如，设想将沿途的人物海报等错误地检测为人，物体信息取得部104检测为与实际的距离不同的距离的情况等。

图5是示出本发明的摄像装置的一个实施例的处理定时的图。在该图中，(5－1)表示物体信息取得部104的处理定时，(5－2)表示立体距离检测部105的处理定时。

在(5－1)中，关于拍摄图像201，由物体信息取得部104进行物体检测以及如上所述的物体的粗略的距离检测处理。另外，在(5－2)中，关于处理区域设定部106所指定的各个处理区域205、206、207，针对探索范围设定部107所指定的各处理区域的探索范围，在立体距离检测部105中进行距离检测。作为处理的顺序，从包括离自身车辆近的物体的区域起进行处理，从而能够由后续的识别部108更早地进行识别，能够确保安全性。

这样，立体距离检测部105中的距离检测处理仅针对所指定的必要的处理区域，在各个处理区域中在所需最小限度的探索范围内进行距离检测处理，所以无需对所拍摄到的图像的整个区域进行整个范围的距离探索，能够降低处理的负载。

图6是示出本发明的摄像装置的一个实施例的处理流程的图。首先，由摄像部101以及102拍摄图像(s601：s表示步骤)。所拍摄到各自的图像通过图像校正部103如上所述地进行亮度校正、镜头畸变校正、水平对位(s602)。接下来，通过物体信息取得部104，检测物体并且检测其大概的距离(s603)。在该检测结果中，在处理区域设定部106中，根据所检测到的物体的位置信息，将应该处理的区域信息输出到立体距离检测部105(s604)，另外，在探索范围设定部107中，根据所检测到的物体的距离信息，决定包括该物体的区域中的应该探索的探索范围，并输出到立体距离检测部105(s605)。

接下来，基于所得到的检测结果，通过立体距离检测部105，在所指定的各区域中，在各自的探索范围内检测详细的距离(s406)。

最后，通过识别部108，基于各处理区域的物体的距离检测结果，进行物体的识别处理，输出识别结果(s607)。例如针对每一帧，重复进行这些处理。

图7是示出本发明的摄像装置的一个实施例中的拍摄图像和识别结果的一个例子的图。701是在某个时刻由摄像部101拍摄到的图像，摄像部102也拍摄取得大致相同的图像。另外，702、703、704是物体的识别结果，图像内的框和距离显示在所拍摄到的图像中不存在，是重叠在图像上而明示出的内容。

检测出从上述处理区域205检测到的行人202处于距离5.2m的位置、从处理区域206检测到的对面开来的车203处于距离53.1m的位置、处理区域207的交通信号灯204处于距离19.7m的位置。这样能够在拍摄到的整个图像内实现精度高的物体的距离检测。

根据本实施例，从拍摄图像粗略地检测物体及其距离，基于其结果，针对包括物体的区域，限定距离的探索范围而进行准确的距离检测处理，所以能够不增大处理负载地进行关于拍摄图像整体的物体识别。

图8是示出本发明的摄像装置的另一个实施例的构成的图。摄像装置1搭载于汽车等车辆，在该图中，801是车辆控制部。识别部108的输出被输入到车辆控制部801。另外，在识别部108中具备路面检测部1081，该路面检测部1081根据拍摄图像中的距离信息，将路面部分与其他物体分离而检测为路面区域，并将该区域输出到物体信息取得部104，识别部108还具备行驶路径预测部1082，虽然未图示，但该行驶路径预测部1082输入车辆速度、操舵角等车辆信息，预测自身车辆的行驶路径，并输出到物体信息取得部104。

物体信息取得部104输入由路面检测部1081检测到的路面信息，优先处理路面上的物体，通过处理区域设定部106、探索范围设定部107以及立体距离检测部105检测准确的距离并通过识别部108进行识别，从而能够迅速地识别自身车辆的障碍物，能够维持安全的行驶。另外，物体信息取得部104优先地处理来自行驶路径预测部1082的、此后行驶的路径上的物体，如上所述，识别自身车辆的行驶路径上的障碍物，能够实现安全的行驶。

另外，探索范围设定部107输入自身车辆的车辆速度，例如在速度快的情况下将探索范围设定得较宽，在速度慢的情况下设定得较窄，从而能够以最小限度的处理量可靠地进行距离检测处理。

进一步地，如图9所示，例如，处理区域设定部106将作为整个图像的处理区域901设为处理区域，此时，如上所述，探索控制部将以60像素为中心的50像素至70像素的范围设定为探索范围，检测自身车辆的例如2m至10m这样的附近距离，从而关于自身车辆的附近，能够将整个画面设为距离检测的对象，能够提高安全性。

另外，物体信息取得部104例如一并处理接近的多个物体，处理区域设定部106将它设为一个区域，另外，探索范围设定部107将由物体信息取得部104一并检测的一个区域内的物体的距离包括在内地设定探索范围，从而还能够应对存在大量的物体的情况。

图8的车辆控制部801接受识别部108的识别结果，对车辆的其他未图示的装置进行控制。作为车辆的控制，是指由于检测到行人的接近、红灯、道路标识而向司机点亮警告灯、发出警告声、由制动器制动实施的减速、停止控制、追随前方车辆时的油门、制动器控制、其他用于避免碰撞、维持车道的舵角控制等。这些车辆控制信息从摄像装置1经由车内网络输出到未图示的其他装置。

此外，在图8中，示出了车辆控制部801收纳于与摄像装置1相同的框体的例子，但不限于此，如上所述，也可以将摄像部101、102收纳于不同的框体。

图10是示出本发明的摄像装置的又另一个实施例的构成的图。901是网络摄像部，903是lan(localareanetwork，局域网)，904是控制部。网络摄像部901经由lan903与控制部904连接。另外，902是图像压缩/接口部，905是网络接口部，906是图像解压部。

由摄像部101、摄像部102拍摄到的图像在图像校正部103中进行亮度校正、镜头畸变校正、水平对位。接下来，图像压缩/接口部902将来自图像校正部103的图像压缩并发送到lan903。作为图像压缩的方式，为了减少处理时间，存在有不使用多个图像的时间相关关系、而使用在一张图像内进行压缩的画面内压缩方式的图像压缩方式。另外，也可以选择地切换影像压缩编码方式。

图像压缩/接口部902生成压缩编码数据，依照规定的网络协议而发送数据。此外，图像校正部103通过在图像压缩/接口部902的前级进行处理来校正镜头畸变等，之后进行图像压缩，由此预计能够实现图像压缩的高效率化和高画质化，但也可以设置于控制部904的图像解压部906的后级。

在控制部904中，在网络接口部905处，经由lan903进行压缩图像数据的接收。由控制部904的网络接口部905接收到的压缩图像数据在图像解压部906中解压成原来的图像，关于由物体信息取得部104检测到的物体，处理区域设定部106以及探索范围设定部107进行上述处理。这之后的处理如上所述。

根据本实施例，经由lan906交换图像、摄像定时信息，所以能够减少摄像部侧的处理量，实现摄像部侧的轻质化、低功耗化、框体变小，由此能够降低针对车辆设置的尺寸限制。

图11是示出本发明的另一个实施例的构成的图。在该实施例中，从由摄像部101、102以外的部件构成的、得到距离信息的传感器得到物体信息取得部104的输入信息。例如作为输入信息，是从未图示的雷达、红外线传感器等传感器得到的信息，能够求出对象范围的物体的距离。这之后的动作如上所述。

此外，本发明不限定于上述实施例，包括各种变形例。

例如，上述实施例是为了以容易理解的方式说明本发明而详细说明的，不一定限定于具备所说明的全部构成。另外，能够将某个实施例的结构的一部分置换成另一个实施例的结构，另外，还能够对某个实施例的构成添加另一个实施例的构成。另外，针对各实施例的构成的一部分，能够进行其他构成的追加、删除、置换。

另外，上述各构成的一部分或者全部既可以由硬件构成，也可以构成为通过由处理器执行程序而实现。另外，关于控制线、信息线，示出被认为在说明上必要的线，在产品上不一定示出所有的控制线、信息线。也可以认为实际上几乎全部构成都相互连接。

符号说明

1…摄像装置；101～102…摄像部；103…图像校正部；104…物体信息取得部；105…立体距离检测部；106…处理区域设定部；107…探索范围设定部；108…识别部；201…共同摄像区域；202～204…被摄体；205～207…处理区域；702～704…识别结果；801…车辆控制部；901…网络摄像部；902…图像压缩/接口部；903…lan；904…控制部；905…网络接口部；906…图像解压部。