物体检测装置的制作方法

物体检测装置
1.相关申请的交叉引用
2.本技术基于2019年3月28日申请的日本技术号2019－63664号，并在此引用其记载内容。
技术领域
3.本公开涉及物体检测装置。


背景技术：

4.近年来，为了车辆的碰撞避免、辅助驾驶，而提出在车辆中搭载拍摄相机、毫米波雷达、激光雷达(也被称为lidar：light detection and ranging)等传感器，并基于所述传感器的检测结果来进行车辆控制，例如发动机的燃烧控制、转向操纵控制、制动控制等的技术。在专利文献1中，提出以下的技术：根据从搭载于车辆的立体相机、毫米波雷达以及激光雷达合计三个传感器获得的检测信号分别计算立体物的存在概率，并将获得的三个存在概率组合，通过所谓的传感器融合来求出立体物的总存在概率。
5.专利文献1：日本特开2007－310741号公报
6.在如专利文献1那样将通过多个传感器获得的信息组合来检测物体的技术中，有可能起因于各传感器的设置位置的偏差、检测定时的偏差等而误检测物体，例如，错误地检测物体的有无、大小、位置等。例如，存在虽然能够从拍摄相机的搭载位置确定处于前方的车辆的阴影中的人物，但由于不能够从激光雷达的搭载位置向上述人物照射激光所以不能够检测人物，虽然实际存在人物，但计算的总存在概率有可能为非常小的值。另外，例如，由于各传感器的可检测区域相互不同，因此对于各自的可检测区域不重复的区域，物体的检测精度变低。这样的问题并不限于立体相机、毫米波雷达以及激光雷达，在分别搭载能够获取多个种类的信息的传感器的情况下是共通的。因此，期望一种能够抑制利用多个种类的信息来检测物体时的检测精度降低的技术。


技术实现要素：

7.本公开能够作为以下方式实现。
8.作为本公开的一方式，提供一种检测物体的物体检测装置。该物体检测装置具备：具备单个传感器装置和检测部，上述单个传感器装置具有照射部和受光部，上述照射部照射照射光，上述受光部具有能够接受包含照射的上述照射光的反射光的光的多个受光要素以面状排列而成的受光面，将上述受光面中的预先决定的像素范围内的上述受光要素的集合作为一像素，上述受光部输出与各像素所包含的上述受光要素的受光状态对应的受光信号，上述传感器装置基于上述受光信号获取第一信息、第二信息以及第三信息作为各像素的像素值，其中，上述第一信息表示各像素中的上述反射光的受光强度，上述第二信息表示各像素中的除了上述反射光以外的其它光亦即背景光的受光强度，上述第三信息表示各像素中的到上述物体的距离，上述检测部利用各像素的上述像素值来检测上述物体，上述检
测部将获取到的各像素的上述像素值所包含的上述第一信息至上述第三信息全部利用来检测上述物体。
9.根据上述方式的测距装置，物体的检测中使用的第一信息至第三信息均由单个传感器装置获取，因此与分别通过不同的多个传感器装置获取这些信息中的至少一部分的结构相比，能够抑制物体检测精度的降低。具体而言，由于第一信息至第三信息由单个传感器装置获取，因此能够使用于获取第一信息至第三信息的各种参数例如传感器装置的设置位置、照射光的照射范围、检测定时一致，并能够抑制由传感器装置的设置位置的偏差、检测定时的偏差等引起的物体的误检测。
10.本公开也能够以物体检测装置以外的各种方式实现。例如，能够以具备物体检测装置的车辆、物体检测方法、用于实现这些装置以及方法的计算机程序、存储有上述计算机程序的存储介质等方式实现。
附图说明
11.关于本公开的上述目的以及其它目的、特征、优点，参照附图并通过以下的详细描述，会变得更加明确。在该附图中，
12.图1是表示搭载作为本公开的一实施方式的物体检测装置的车辆的概略结构的说明图，
13.图2是表示物体检测装置的功能性结构的框图，
14.图3是表示第一实施方式中的物体检测处理的步骤的流程图，
15.图4是表示建立对应处理的步骤的流程图，
16.图5是示出表示由lidar获取到的测距点的图像的说明图，
17.图6是示出表示通过聚类获取的聚类结果的图像的说明图，
18.图7是表示建立对应处理的执行结果的一个例子的说明图，
19.图8是表示第二实施方式中的检测部的功能性结构的框图，
20.图9是表示第二实施方式中的物体检测处理的步骤的流程图，
21.图10是表示第二实施方式中的加权设定处理的步骤的流程图，
22.图11是表示第三实施方式中的物体检测处理的步骤的流程图，
23.图12是表示第四实施方式中的阈值设定处理的步骤的流程图。
具体实施方式
24.a.第一实施方式：
25.a1.装置结构：
26.如图1所示，本实施方式的物体检测装置50搭载在车辆500上，检测存在于车辆500的前方的周围的物体，例如其它车辆、行人、建筑物等。物体检测装置50照射照射光lz，并接受来自对象物的反射光。在图1中，将照射光lz的发射中心位置表示为原点，将车辆500的前方方向表示为y轴，将通过原点且车辆500的宽度方向从左至右的方向表示为x轴，将通过原点的且铅直上方表示为z轴。如图1所示，照射光lz是在z轴方向上纵向较长的光，通过一次照射，照射纵向较长的规定范围ar。另外，照射光lz通过与x－y平面平行的方向的一维扫描而照射整个规定的测定范围。物体检测装置50除了接受来自对象物的照射光lz的反射光以
外，还接受反射光以外的光，例如日光、路灯的光、其它车辆的前灯等(以下称为“背景光”)。物体检测装置50利用与接受到的光的强度相关的信息来确定背景光的强度，并基于所述强度来设定判定用阈值。物体检测装置50将接受的光中的所设定的判定用阈值以上的强度的光确定为来自对象物的反射光，并确定从照射照射光lz至接受反射光为止的时间、即光的飞行时间tof(time of flight)。物体检测装置50将所述飞行时间tof设为光在车辆500与对象物之间往复的时间，以计算距对象物的距离。
27.如图2所示，物体检测装置50具备：传感器装置10、检测部30以及控制部40。传感器装置10照射照射光lz，并获取将照射光lz的反射光的受光强度作为各像素的像素值的反射强度图像、将到物体的距离作为各像素的像素值的距离图像以及将背景光的受光强度作为各像素的像素值的背景光图像，利用这三个图像的各像素的像素值来检测物体。
28.传感器装置10具备照射部100和受光部200。照射部100具备激光源101和扫描部102。激光源101由半导体激光二极管构成，在控制部40的控制下，按照每个规定周期照射脉冲激光作为照射光lz。例如，规定周期预先通过实验等求出并设定为照射照射光lz至在传感器装置10中接受到来自规定范围内的对象物的反射光为止所需要的期间以上的期间。此外，从激光源101射出的照射光lz通过未图示的光学系统形成为图1所示那样的纵向较长的照射光lz。扫描部102通过以旋转轴103为中心使反射镜104转动而遍及整个规定的测定范围进行照射光lz的一维扫描。反射镜104例如由mems反射镜构成。反射镜104的转动由控制部40控制。通过由扫描部102进行照射光lz的一维扫描，从而照射部100针对车辆500前方的检测范围一边变更照射照射光lz的方位一边照射照射光lz。此外，作为激光源101，也可以使用固体激光等其它的任意种类的激光源来代替激光二极管元件。另外，照射光lz也可以是横向较长，扫描也可以是二维扫描。
29.由照射部100照射的照射光lz被测定范围内的对象物ob反射。被对象物ob反射的反射光被受光部200接受。在本实施方式中，受光部200经过未图示的光学系统接受反射光，该光学系统构成为受光面s1中的反射光的大小小于受光面s1的大小。此外，反射光也可以以其一部分(例如，长边方向的端部)超出受光面s1的方式被受光部200接受。
30.受光部200具备二维排列状地形成受光面s1的多个像素g、多个mp用加法器211、212、213、214、
…
、像素用加法器220、直方图生成部230、反射强度图像获取部240、背景光图像获取部250、距离图像获取部260以及阈值决定部270。
31.在多个像素g中，在图1中为了便于图示，仅记载一个像素g。在本实施方式中，各像素g具备纵两个
×
横两个总计4个宏像素mp1～mp4。各宏像素mp1～mp4具有纵五个
×
横五个总计25个受光要素201。因此，在图1的例子中，各像素g具备纵十个
×
横十个总计100个受光要素201。在本实施方式中，受光要素201具备spad(单光子雪崩二极管)。当输入光(光子)时，spad以一定的概率输出表示光的入射的脉冲状的输出信号(以下也称为“受光信号”)。因此，在图1的例子中，各宏像素mp1～mp4分别根据接受的光的强度输出0～25个受光信号。另外，作为像素g整体，根据接受的光的强度输出0～100个受光信号。
32.在多个mp用加法器中，在图1中，仅记载连接于一个像素g的四个mp用加法器211～214。mp用加法器211连接于构成宏像素mp1的各受光要素201，将从宏像素mp1内的受光要素201输出的受光信号的数量相加。同样地，其它mp用加法器212～214连接于构成宏像素mp2～mp4的各受光要素201，将从宏像素mp2～mp4内的受光要素201输出的受光信号的数量(以
下也称为“受光数”)分别相加。此外，对于在图1中未图示的其它像素g，也同样地具备与四个宏像素对应的四个mp用加法器。
33.像素用加法器220将一个像素g的受光数相加、即将从一个像素所包含的受光要素201输出的受光数相加。具体而言，像素用加法器220连接于四个mp用加法器211～214，从各mp用加法器211～214输入加法结果、即各宏像素mp1～mp4内的受光数的合算值，并对它们进行合算。此外，针对各像素g设置像素用加法器220，但在图2中，仅示出与一个像素g对应的像素用加法器220。
34.直方图生成部230生成并存储按照每个规定的单位时间记录由像素用加法器220获得的各像素的受光数的合计值而成的直方图。
35.反射强度图像获取部240获取反射强度图像。所谓反射强度图像意味着将从照射照射光lz的区域、即从图1所示的规定范围ar接受的光的各像素中的强度(以下称为“反射强度”)作为像素值的图像。反射强度图像获取部240从由直方图生成部230生成的直方图获取相当于各像素的反射强度的受光数并设为各像素的像素值。此时，反射强度图像获取部240从控制部40获取表示向哪个方位的规定范围ar照射了照射光lz的信息，并基于上述信息确定应从直方图获取的反射强度(受光数)。因此，按照照射部100进行一次扫描的每个周期获取反射强度图像。进行上述的扫描的周期也被称为帧期间，获取到的图像也被称为反射强度的帧图像。反射强度图像获取部240具备反射强度图像存储部241，将获取到的反射强度图像(帧图像)存储于反射强度图像存储部241。在本实施方式中，上述的“反射强度”意味着直方图的峰值时的受光数。此外，反射强度图像相当于本公开中的第一信息的下位概念。
36.背景光图像获取部250获取背景光图像。所谓背景光图像意味着表示各像素g中的背景光的受光强度的图像。背景光图像获取部250从由直方图生成部230生成的直方图获取相当于各像素的背景光的受光数，并设为各像素的像素值。此时，背景光图像获取部250从控制部40获取表示向哪个方位的规定范围ar照射了照射光lz的信息，并基于上述信息将除了与从对象物ob接受反射光的方位对应的像素以外的其它像素的受光数确定为相当于背景光的受光数。也按照每个上述的帧期间生成背景光图像。因此，成为背景光图像的各像素的像素值的受光数相当于帧期间中的未对上述像素照射针对照射光lz的来自对象物ob的反射光的期间的受光数的合计值。换言之，是像素接受到仅太阳光、路灯等干扰光被对象物ob反射的光时的受光数。此外，获取到的背景光图像也被称为背景光的帧图像。背景光图像获取部250具备背景光图像存储部251，将获取到的背景光图像(帧图像)存储于背景光图像存储部251。此外，背景光图像相当于本公开中的第二信息的下位概念。
37.距离图像获取部260获取距离图像。所谓距离图像意味着表示到与各像素g对应的方位上的物体的距离的图像。距离图像获取部260具备峰值检测部261、距离运算部262以及距离图像存储部263。峰值检测部261根据由直方图生成部230生成的直方图来检测各像素的帧期间内的峰值。具体而言，利用由阈值决定部270决定的判定用阈值来确定在各像素的各帧期间中是否存在为上述判定用阈值以上的时刻，当存在的情况下，确定为存在峰值。关于判定用阈值的详细，后述。距离运算部262将帧期间的开始时刻与由峰值检测部261检测出的峰值的时刻之间的时间确定为光的飞行时间tof(time of flight)，并将上述飞行时间tof设为光在车辆500与对象物ob之间往复的时间，以计算到对象物ob的距离。而且，将针
对各像素计算出的到对象物ob的距离作为像素值来获取距离图像，并存储于距离图像存储部263。此外，按照每个帧期间获取距离图像，也称为距离的帧图像。另外，距离图像相当于本公开中的第三信息的下位概念。
38.阈值决定部270从背景光图像存储部251读出由背景光图像获取部250获取的背景光图像，并基于上述背景光图像来决定判定用阈值。具体而言，在决定用于获取本次的帧期间中的距离图像的判定用阈值的情况下，求出上次的帧期间的背景光图像的像素值的平均值、即求出上次的背景光的帧图像的各像素的受光数的平均值，将对上述平均值增加规定的受光数得到的值决定为本次的帧期间中的判定用阈值。预先通过实验等求出适当的值来设定上述的“规定的受光数”。此外，并不限于上次的背景光的帧图像的各像素的受光数的平均值，也可以基于上次以前的任意数量的帧图像的各像素的受光数或者其平均值来决定判定用阈值。
39.检测部30利用反射强度图像、背景光图像以及距离图像的各像素值来检测物体(对象物ob)。由检测部30进行的物体检测方法的详细，后述。
40.在具有上述的结构的物体检测装置50中，通过执行后述的物体检测处理，从而利用反射强度图像、背景光图像以及距离图像这三个不同种类的信息来检测物体(对象物ob)。
41.a2.物体检测处理：
42.当车辆500的点火开关接通时，在物体检测装置50中执行物体检测处理。此外，在车辆500中，也可以预先在仪表板设置接受物体检测处理的开始以及结束的用户的指示的接口，例如物理按钮、显示于监视器的菜单画面，在通过上述按钮、菜单画面的操作接受到处理开始指示的情况下，开始物体检测处理。按照每个帧期间反复执行物体检测处理所包含的后述的步骤s105～s130。
43.如图3所示，检测部30从反射强度图像获取部240、背景光图像获取部250、距离图像获取部260分别获取各个反射强度图像、背景光图像、距离图像(步骤s105)。检测部30执行预处理(步骤s110)。在本实施方式中，作为预处理，意味着针对在步骤s105中获取的各图像，将极坐标转换为正交坐标的坐标转换处理、基于三个种类的图像确定从规定的距离内的物体获得的有效的测距点的确定处理以及除去包含雨滴的噪声的处理。此外，也可以执行用于提高物体识别的精度的任意处理作为预处理。
44.图5所示的时刻t1的图像f_t1示出将通过步骤s110获取的测距点op配置于正交坐标上的图像。此外，在图5中，为了帮助理解，而示出在车辆500的前方行驶的车辆ca。在步骤s110之后，在从所行驶的道路的上方朝向铅直下方观察时的正交坐标上，示出多个测距点op。测距点op是反射强度为规定的强度以上的像素。另外，基于距离图像的信息，进一步考虑距车辆500的距离来配置各测距点op。如图5所示，获得基于道路的反射光的测距点op、基于来自车辆ca的最后部的面的反射光的测距点op以及车辆ca的斜前方的路上的测距点op。车辆ca的斜前方的路上的测距点op例如对应于基于来自窨井的反射光的测距点op等对应。
45.如图3所示，检测部30执行立体物判定处理(步骤s115)。具体而言，检测部30将各测距点op中的距车辆500所行驶的路面的高度为规定的尺寸以上的测距点op确定为表示立体物的测距点op。换言之，步骤s115也可称为判定车辆500行驶的道路的路面的位置的处理。接着，检测部30执行将获得的测距点op中的被推断为表示相同物体的测距点op彼此建
立对应的所谓的聚类(步骤s120)。在本实施方式中，将测距点op彼此的距离为规定的大小以下的测距点彼此汇总为一个聚类结果。在图6所示的例子中，在图5所示的图像f_t1中从车辆ca的最后部的面获得的多个测距点op被互相汇总为一个聚类结果gp1。
46.如图3所示，检测部30执行将在上次的帧期间执行的后述的步骤s130中获得的跟踪结果(物标)与在本次的帧期间中执行的步骤s120中获得的聚类结果建立对应的建立对应处理(步骤s125)。
47.如图4所示，在建立对应处理中，首先，检测部30将反射强度图像作为对象，针对本次和上次的两个帧图像，计算聚类结果与上次的跟踪结果间的反射光强度的平均值的差分δr(步骤s205)。具体而言，分别计算与本次的聚类结果和上次的跟踪结果对应的位置的像素的像素值(反射强度)的平均值，并求出这些平均值的差分δr。此外，在各帧图像中获得多个聚类结果的情况下，针对距跟踪结果的重心位置小于一定距离的所有聚类结果，计算差分δr。
48.检测部30将背景光图像作为对象，与上述的步骤s205同样地计算本次的聚类结果与上次的跟踪结果的背景光强度的平均值的差分δb(步骤s210)。检测部30将距离图像作为对象，与上述的步骤s205同样地计算本次的聚类结果与上次的跟踪结果间的距离的平均值的差分δl(步骤s215)。
49.检测部30判定是否在步骤s205中获得的差分δr小于预先决定的阈值α、且在步骤s210中获得的差分δb小于预先决定的阈值β、且在步骤s215中获得的差分δl小于预先决定的阈值γ(步骤s220)。阈值α、β以及γ分别预先通过实验确定，并设定为假定为本次的聚类结果与上次的跟踪结果是相同物体的情况的差分的最大值。
50.在判定为差分δr小于阈值α且差分δb小于阈值β且差分δl小于阈值γ的情况下(步骤s220：“是”)，检测部30将本次的帧图像的聚类结果与上次的帧图像的跟踪结果相互建立对应(步骤s225)。检测部30判定是否对本次的帧图像所包含的所有聚类结果完成判断(步骤s230)，并在判定为未对所有聚类结果完成判断的情况下(步骤s230：“否”)，返回到上述的步骤s205，将不同的聚类结果作为对象，执行上述的步骤s205～s230。与此相对，在判定为对所有聚类结果完成判断的情况下(步骤s230：“是”)，建立对应处理结束，执行图3所示的步骤s130。
51.在上述的步骤s220中，在判定为差分δr不小于阈值α，或者差分δb不小于阈值β，或者差分δl不小于阈值γ的情况下(步骤s220：“否”)，执行上述的步骤s230。因此，该情况下，不执行步骤s225，而跟踪结果与聚类结果相互不建立对应。这样，在本实施方式的建立对应处理中，在反射光强度的差分δr、背景光图像的差分δb以及距离图像的差分δl均小于阈值的情况下将跟踪结果与聚类结果建立对应，因此与在这三个差分δr、δb、δl中的两个以下为阈值以下的情况下将跟踪结果与聚类结果建立对应的结构相比，能够提高建立对应的精度。另外，此处，如果满足s220则建立对应，但并不限于此，也可以在满足条件的有多个的情况下，仅对差分最小的进行建立对应。
52.如图3所示，在步骤s125完成后，检测部30执行根据在步骤s125中建立对应的本次的帧图像的聚类结果与上次的帧图像的跟踪结果求出物体的轨迹，并进行滤波的跟踪处理(步骤s130)。在本实施方式中，上述滤波意味着卡尔曼滤波。此外，并不限于卡尔曼滤波，也可以使用扩展卡尔曼滤波、粒子滤波。这样，通过跟踪处理获得的结果成为本次的帧图像中
的跟踪结果。
53.如图7所示，例如，在本次的帧图像f_t2中，在从前行车辆的最后部获得的多个测距点op被确定为聚类结果gp2，并将上述聚类结果gp2与上次的帧图像f_t1中的跟踪结果gp1建立对应的情况下，检测部30求出跟踪结果gp1的重心位置g1和聚类结果gp2的重心位置g2，并求出连接这两个位置的直线作为物体(车辆ca)的轨迹tr1。
54.此外，在图7的例中，在帧图像f_t2中，在车辆ca的附近存在窨井mh，从上述窨井mh获得的多个测距点op被确定为聚类结果gp3。作为比较例，在仅将距离作为依据进行建立对应处理的情况下，例如，在两个距离的帧图像中，在重心位置的距离最短的聚类结果与跟踪结果建立对应的情况下，由于从跟踪结果gp1到聚类结果gp3的距离比从跟踪结果gp1到聚类结果gp2的距离短，因此将跟踪结果gp1与聚类结果gp3建立对应。其结果是，错误地确定了连接跟踪结果gp1的重心位置g1与聚类结果gp3的重心位置g3的轨迹tr2。与此相对，在本实施方式中，如上述那样，将在帧图像f_t1中表示车辆ca的跟踪结果gp1与在帧图像f_t2中表示车辆ca的聚类结果gp2建立对应，并确定正确的轨迹tr1。
55.在上述的步骤s130完成后，返回到步骤s105，将下一个帧图像作为对象，执行步骤s105～s130。
56.根据以上说明的第一实施方式的物体检测装置50，物体的检测所使用的反射强度图像、背景光图像以及距离图像均单个传感器装置10获取，因此与分别通过不同的多个传感器装置获取这些图像中的至少一部分的结构相比，能够抑制检测精度的降低。具体而言，由于通过单个传感器装置10获取上述的三个种类的图像，因此能够使用于获取这些图像的各种参数例如传感器装置10的设置位置、照射光lz的照射范围、检测时刻一致，并能够抑制由传感器装置10的设置位置的偏差、检测时刻的偏差等引起的物体的误检测。
57.另外，根据物体检测装置50，由于检测部30使用反射强度图像、背景光图像以及距离图像来执行聚类处理、建立对应处理，因此能够高精度地执行这些处理。
58.另外，根据物体检测装置50，在建立对应处理中，针对反射强度图像、背景光图像以及距离图像的每一个图像，分别求出两个帧图像中的跟踪结果和聚类结果的像素值的平均值，另外，求出上述平均值的差分δr、δb、δl，在关于反射强度图像、背景光图像以及距离图像的每一个图像的差分δr、δb、δl均小于所设定的阈值α、β、γ的情况下，将两个帧图像的每一个帧图像的结果建立对应，因此能够高精度地在两个帧图像间执行建立对应。另外，通过使用三种信息从而不同的物体彼此容易相互不同，而相同的物体彼此容易相互相同，因此能够高精度地执行建立对应。
59.另外，由于受光要素201具有作为受光信号输出表示光的入射的输出信号的spad，因此能够高精度地确定各像素上有无光接受。
60.b.第二实施方式：
61.b1.装置结构：
62.第二实施方式的物体检测装置50在具备图8所示的检测部30a来代替检测部30这点上与第一实施方式的物体检测装置50不同。第二实施方式的物体检测装置50中的其它结构与第一实施方式的物体检测装置50相同，因此对相同的构成要素附加相同的附图标记，并省略其详细的说明。
63.如图8所示，第二实施方式的检测部30a具备：反射强度数据输入部311、背景光图
像数据输入部312、距离图像数据输入部313、三个识别器321、322、323、三个得分图生成部341、342、343、总得分图生成部350、阈值处理部360以及物标检测部370。
64.反射强度数据输入部311从反射强度图像获取部240输入反射强度图像的数据。背景光图像数据输入部312从背景光图像获取部250输入背景光图像的数据。距离图像数据输入部313从距离图像获取部260输入距离图像的数据。
65.在识别器321中预先设定有模型信息331。该模型信息331是示出表示物体的预先决定的反射强度的模型(图案)的信息。识别器321对输入到反射强度数据输入部311的反射强度图像进行光栅扫描，并对反射强度图像与模型信息331进行对照，针对各像素确定表示存在物体的似然性的似然(以下称为“第一似然”)，生成由这些各像素的第一似然构成的得分图(以下称为“第一得分图”)。
66.在识别器322中预先设定有模型信息332。该模型信息332是示出表示物体的预先决定的背景光强度的模型(图案)的信息。识别器322对输入到背景光图像数据输入部312的背景光图像进行光栅扫描，并对背景光图像与模型信息332进行对照，针对各像素确定表示存在物体的似然性的似然(以下称为“第二似然”)，生成由这些各像素的第二似然构成的得分图(以下称为“第二得分图”)。
67.在识别器323中预先设定有模型信息333。该模型信息333是示出表示物体的预先决定的距离的模型(图案)的信息。识别器323对输入到距离图像数据输入部313的距离图像进行光栅扫描，并对距离图像与模型信息333进行对照，针对各像素确定表示存在物体的似然性的似然(以下称为“第三似然”)，生成由这些各像素的第三似然构成的得分图(以下称为“第三得分图”)。
68.总得分图生成部350对由得分图生成部341生成的第一得分图scr(1)、由得分图生成部342生成的第二得分图scr(2)以及由得分图生成部343生成的第三得分图scr(3)分别进行加权(权重系数：w(i)(i＝1、2、3))，并通过下述式(1)进行合算，生成总得分图scr(total)。在本实施方式中，通过后述的加权设定处理设定加权时的加权系数。此外，加权系数的初始值被设定为第一得分图：第二得分图：第三得分图成为1：1：1这样的值。关于加权的详细，后述。总得分图生成部350除了生成总得分图以外，还获取与背景光强度相关的强度相关信息。关于强度相关信息的详细，后述。此外，在第二实施方式中，总得分图生成部350相当于本公开中的信息获取部的下位概念。
69.[式1]
[0070]
[math.1]
[0071][0072]
阈值处理部360对由总得分图生成部350生成的总得分图应用规定的得分的阈值，确定总得分为阈值以上的像素。物标检测部370将总得分为阈值以上的像素检测为表示物体的物标。
[0073]
b2.物体检测处理：
[0074]
图9所示的第二实施方式的物体检测处理在省略步骤s115这点和追加执行步骤s111、s112、s113、s119这点上与第一实施方式的物体检测处理不同。第二实施方式的物体
检测处理的其它步骤与第一实施方式的物体检测处理相同，因此对相同的步骤附加相同的附图标记，并省略其详细的说明。
[0075]
在步骤s105以及s110完成后，得分图生成部341基于输入到反射强度数据输入部311的反射强度图像生成第一得分图(步骤s111)。另外，得分图生成部342基于输入到背景光图像数据输入部312的背景光图像生成第二得分图(步骤s112)。另外，得分图生成部343基于输入到距离图像数据输入部313的距离图像生成第三得分图(步骤s113)。在本实施方式中，这三个步骤s111～s113以并行处理执行，但也可以按照规定的顺序以串行处理执行。
[0076]
总得分图生成部350执行加权设定处理(步骤s118)。如图10所示，在加权设定处理中，首先，总得分图生成部350获取背景光的强度相关信息(步骤s305)。所谓背景光的强度相关信息意味着与背景光强度相关的信息。在本实施方式中，强度相关信息对应于下述(i)～(iv)。
[0077]
(i)表示背景光图像的强度的受光数的信息。
[0078]
(ii)表示车辆500具备的图1所示的车灯511的点亮状态的信息。
[0079]
(iii)表示车辆500具备的图1所示的日照传感器512的检测结果的信息。
[0080]
(iv)表示车辆500具备的图1所示的刮水器装置513的动作状态的信息。
[0081]
上述信息(i)从背景光图像获取部250获取。在背景光图像获取部250中，求出背景光图像的平均受光数，将关于上述平均受光数的信息发送至检测部30a作为表示背景光图像的强度的信息。上述信息(ii)意味着表示车灯511是点亮还是熄灭的信息，从控制车灯511的ecu(electronic control unit：电子控制单元)获取。上述信息(iii)意味着由日照传感器512检测到的日照量，从控制日照传感器512的ecu获取。上述信息(iv)意味着表示刮水器装置513是否正在动作的信息，从控制刮水器装置513的ecu获取。
[0082]
如图10所示，总得分图生成部350基于在步骤s305中获取的强度相关信息来确定测定范围的亮度环境(步骤s310)。在本实施方式中，所谓亮度环境意味着明亮的环境(以下称为“亮环境”)和比亮环境暗的环境(以下称为“暗环境”)中的任意一个。在背景光的平均受光数为阈值以上的情况下，总得分图生成部350判断为是亮环境，在小于阈值的情况下，判断为是暗环境。在步骤s310中，在关于上述信息(i)，背景光图像的平均受光数为阈值以上，上述信息(ii)表示车灯511为熄灭状态，上述信息(iii)表示日照传感器512的检测结果为规定的日照量阈值以上，上述(iv)表示刮水器装置513未进行动作的情况下，确定为是亮环境，在除此以外的情况下确定为是暗环境。一般而言，当车辆500在晴天的白天行驶于与建筑物的阴影、隧道内等不同的场所的情况下，确定为是亮环境。与此相对，在夜间的情况、行驶于建筑物的阴影、隧道内的情况等下，确定为是暗环境。
[0083]
总得分图生成部350判断步骤s310的确定结果是否是亮环境(步骤s315)。在判定为是亮环境的情况下(步骤s315：“是”)，总得分图生成部350将第一得分图(反射光强度图像)以及第三得分图(距离图像)的加权系数w(1)、w(3)相对于初始值设定得较小，将第二得分图(背景光图像)的加权系数w(2)相对于初始值设定得较大(步骤s320)。此外，此时，也可以使w(1)、w(3)的值均为0。其结果是，第一、三得分图的加权系数被设定为小于第二得分图的加权系数。换言之，与第一信息以及第三信息的结果相比使第二信息的结果优先。在步骤s320完成后，加权设定处理结束，执行图9的步骤s119。
[0084]
另一方面，在判定为不是亮环境、即是暗环境的情况下(步骤s315：“否”)，总得分
图生成部350将第一得分图(反射光强度图像)以及第三得分图(距离图像)的加权系数w(1)、w(3)相对于初始值设定得较大，将第二得分图(背景光图像)的加权系数w(2)相对于初始值设定得较小(步骤s325)。此外，此时，也可以使w(2)的值为0。其结果是，第一、三得分图的加权系数被设定为大于第二得分图的加权系数。换言之，与第二信息的结果相比使第一信息以及第三信息的结果优先。在步骤s325完成后，加权设定处理结束，执行图9的步骤s119。
[0085]
在亮环境中，由于背景光强度较高，因此反射光与背景光的强度比变小，换言之，s/n比劣化，不能够以较高的精度确定反射光(对象物ob)的强度。另外，伴随于此，不能够正确地确定到对象物ob的距离。因此，在亮环境中，第一似然以及第三似然的可靠性比暗环境低，因此在本实施方式中，相对低地设定第一以及第三得分图的加权系数。另一方面，由于背景光强度较高，因此第二似然的可靠性变高。因此，在本实施方式中，相对高地设定第二得分图的加权系数。
[0086]
在暗环境中，由于背景光强度较弱，因此反射光与背景光的强度比变大，换言之，s/n比良好，能够以较高的精度确定来自对象物ob的反射光的强度。另外，伴随于此，能够以较高的精度确定到对象物ob的距离。因此，在暗环境中，第一似然以及第三似然的可靠性比暗环境高，因此在本实施方式中，相对高地设定第一以及第三得分图的加权系数。另一方面，由于背景光强度较低，因此第二似然的可靠性变低。因此，在本实施方式中，相对低地设定第二得分图的加权系数。
[0087]
如图9所示，作为步骤s119，总得分图生成部350针对第一得分图至第三得分图、即对反射强度图像、背景光图像以及距离图像中的物体的检测结果应用在步骤s118中所设定的加权系数来生成总得分图。此外，如上述那样，以生成的总得分图为对象执行阈值处理，确定表示物体的物标。然后，使用像这样确定的物标来执行上述的步骤s120～s130。
[0088]
以上说明的第二实施方式的物体检测装置50具有与第一实施方式的物体检测装置50相同的效果。此外，三个识别器321～323通过对输入的各图像(反射强度图像、背景光图像以及距离图像)与模型信息331～333进行对照来检测物体(生成第一得分图至第三得分图)，因此能够并行地处理，并能够高速地处理检测部30a。
[0089]
另外，对通过输入的各图像与模型信息331～333的对照求出的第一得分图至第三得分图(第一似然至第三似然)分别进行加权并进行累计来求出总得分图(总似然)，利用获得的总得分图来检测物体，因此与将根据与一个或者两个模型信息的对照求出的似然进行累计来求出总得分图的结构相比，能够提高物体的检测精度。
[0090]
在背景光强度较高的情况下、即在亮环境下，与背景光强度较低的情况相比，由于噪声变大，因此不能够以较高的精度求出反射光强度，另外，不能够以较高的精度求出距离。因此，在背景光强度较高的情况下，与背景光强度较低的情况相比，获得低精度的信息作为反射光强度图像以及距离图像，因此第一似然以及第三似然成为可靠性较低的值。另一方面，在背景光强度较高的情况下，与强度较低的情况相比，能够以较高的精度求出背景光强度，并能够获得高精度的信息作为第二信息，因此第二似然成为可靠性较高的值。因此，根据第二方式的物体检测装置50，在背景光强度较高的情况下、即在亮环境下，与强度较低的情况相比，将对第一似然以及第三似然的加权设定得较小，并且将对第二似然的加权设定得较大，因此能够求出精度较高的总得分图(总似然)，另外，能够提高物体的检测精
度。
[0091]
c.第三实施方式：
[0092]
第三实施方式的物体检测装置50的结构与第一实施方式的物体检测装置50的结构相同，因此对相同的构成要素附加相同的附图标记，并省略其详细的说明。如图11所示，第三实施方式的物体检测处理在追加步骤s106以及s107这点上与第一实施方式的物体检测处理不同。第三实施方式的物体检测处理的其它步骤与第一实施方式的物体检测处理相同，因此对相同的步骤附加相同的附图标记，并省略其详细的说明。此外，在第三实施方式中，检测部30相当于本公开中的检测部以及对比度相关值计算部的下位概念。
[0093]
在步骤s105完成后，检测部30针对反射强度图像、背景光图像以及距离图像的每一个图像计算对比度相关值(步骤s106)。所谓对比度相关值是与对比度相关的值，对比度越大则设定越大的值。在本实施方式中，对比度相关值意味着michelson对比度的值。此外，作为对比度相关值，并不限于michelson对比度的值，也可以使用像素值的方差、各图像内的最大像素值与最小像素值的比等与对比度相关的任意参数。
[0094]
检测部30判定针对所有图像在步骤s106中计算出的对比度相关值是否是预先设定的对比度阈值以上(步骤s107)。上述对比度阈值预先通过实验等求出并设定为用于排除不适合检测物体的图像的阈值。例如，在夜间、完全没有路灯等的状况下，背景光几乎不存在，因此在不存在周围的对象物ob的状况下，对比度相关值非常小。另外，与此相反，在逆光的状况下，背景光非常强，因此即使在周围存在对象物ob的状况下，对比度相关值也非常小。在这些状况下，有可能误检测对象物ob。因此，在实验中求出产生这样的误检测的可能性较高的对比度相关值的最大值，并将大于上述值的值设定为对比度阈值。
[0095]
检测部30在判定为针对所有图像计算出的对比度值为对比度阈值以上的情况下(步骤s107：“是”)，执行上述的步骤s110～s130。与此相对，在判定为针对所有图像计算出的对比度值不是对比度阈值以上的情况下(步骤s107：“否”)，省略步骤s110～s130，并返回到步骤s105，在下一帧期间再次执行步骤s105～s130。
[0096]
以上说明的第三实施方式的物体检测装置50具有与第一实施方式的物体检测装置50相同的效果。此外，在针对反射强度图像、背景光图像以及距离图像中的至少一个图像计算出的对比度相关值小于对比度阈值的情况下，不进行利用获取到的三个种类的图像的物体的检测，因此能够抑制使用由于对比度相关值小于对比度阈值而难以理解物体与背景的边界的图像来进行物体检测，并能抑制物体检测精度的降低。
[0097]
d.第四实施方式：
[0098]
第四实施方式的物体检测装置50的结构与第一实施方式的物体检测装置50的结构相同，因此对相同的构成要素附加相同的附图标记，并省略其详细的说明。在第四实施方式的物体检测装置50中，在图4所示的建立对应处理中使用的三个阈值α、β、γ不是预先设定的固定值，而通过阈值设定处理设定。此外，对三个阈值α、β、γ分别预先设定有初始值。此外，在第四实施方式中，检测部30相当于本公开中的检测部、信息获取部以及阈值设定部的下位概念。
[0099]
在图4所示的步骤s215与步骤s220之间执行图12所示的第四实施方式中的阈值设定处理。此外，执行阈值设定处理的定时也可以是执行步骤s220前的任意定时。另外，作为与图4所示的建立对应处理不同的处理，可以在建立对应处理之前执行，或可以与建立对应
处理并行地执行。
[0100]
如图12所示，检测部30获取背景光的强度相关信息(步骤s405)。检测部30基于在步骤s405中获取的强度相关信息来确定测定范围的亮度环境(步骤s410)。检测部30判定步骤s410的确定结果是否是亮环境(步骤s415)。上述的步骤s405～s415与第二实施方式的加权设定处理的步骤s305～s315相同，因此省略其详细的步骤。
[0101]
在判定为是亮环境的情况下(步骤s415：“是”)，将阈值α(反射光强度图像)以及阈值γ(距离图像)均相对于初始值设定得较大，将阈值β(背景光图像)相对于初始值设定得较小(步骤s420)。与此相对，在判定为不是亮环境的情况下(步骤s415：“否”)，将阈值α(反射光强度图像)以及阈值γ(距离图像)均相对于初始值设定得较小，将阈值β(背景光图像)相对于初始值设定得较大(步骤s425)。在步骤s420或者s425完成后，返回到建立对应处理的规定的步骤或者与建立对应处理并行地执行的结构中，阈值设定处理结束。
[0102]
如上述那样，在亮环境中，由于背景光强度较高，因此反射光与背景光的强度比变小，换言之，s/n比劣化，不能够正确地确定反射光(对象物ob)的强度。另外，伴随于此，不能够正确地确定到对象物ob的距离。因此，在亮环境中，差分δr以及δl容易计算为比较低的精度的值。因此，该情况下，对于阈值α、γ，设定较大的值。另一方面，由于背景光强度较高，所以能够正确地确定背景光强度，因此差分δb容易计算为比较高的精度的值。因此，该情况下，对于阈值β，设定相对小的值。
[0103]
在暗环境中，由于背景光强度较弱，因此反射光与背景光的强度比变大，换言之，s/n比良好，能够以较高的精度确定反射光(对象物ob)的强度。另外，伴随于此，能够以较高的精度确定到对象物ob的距离。因此，在暗环境中，差分δr以及δl容易计算为比较高的精度的值。因此，该情况下，对于阈值α、γ，设定较小的值。另一方面，由于背景光强度较低，所以有可能不能够以较高的精度确定背景光强度，因此差分δb容易计算为比较低的精度的值。因此，该情况下，对于阈值β，设定相对大的值。
[0104]
以上说明的第四实施方式的物体检测装置50具有与第一实施方式的物体检测装置50相同的效果。在亮环境的情况下、即在背景光的强度较高的情况下，与暗环境的情况相比，由于噪声变大，所以不能够以较高的精度求出反射光强度，另外，不能够以较高的精度求出距离。因此，在背景光强度较高的情况下，与背景光强度较低的情况相比，只是获得低精度的图像作为反射强度图像以及距离图像。另一方面，在亮环境下，与暗环境相比，能够正确地求出背景光的强度，并能够获得高精度的图像作为背景光图像。因此，根据第四方式的物体检测装置50，在背景光强度较高的情况下，与强度较低的情况相比，将针对作为低精度的图像而获得的反射强度图像以及距离图像的阈值设定得较大，将针对作为高精度的图像而获得的背景光图像的阈值设定得较小，因此能够高精度地进行建立对应处理。
[0105]
e.其它实施方式：
[0106]
(e1)在各实施方式中，利用三个种类的图像、即反射强度图像、背景光图像以及距离图像来执行路面判定、聚类处理、建立对应处理，但也可以仅执行这三个处理中的一部分。
[0107]
(e2)在各实施方式的建立对应处理中，使用构成上次的跟踪结果和本次的聚类结果的各像素值的平均值的差分(差分δr、δb、δl)来判断是否建立对应，但本公开不限定于此。也可以使用像素值的中央值、最大值、最小值、方差、直方图等、表示上述跟踪结果以
及聚类结果的像素值的特征量的任意参数、其组合来判断是否建立对应。例如，关于直方图，也可以针对比较对象分别累计帧期间中每单位时间的级数的差分，并在获得的差分的合计值(合计差分)均小于针对各图像所设置的阈值的情况下建立对应，在为针对任意一个图像设置的阈值以上的情况下不建立对应。
[0108]
(e3)在第二实施方式中，在亮环境下，将针对第一得分图以及第三得分图的加权系数设定得小于初始值，将关于第二得分图的加权系数设定得大于初始值，但本公开不限定于此。也可以通过针对第一得分图以及第三得分图的加权系数大于关于第二得分图的加权系数的任意方法来设定。同样地，在暗环境下，也可以通过针对第一得分图以及第三得分图的加权系数小于关于第二得分图的加权系数的任意方法来设定。
[0109]
(e4)在第二实施方式中，在整个图像中判断是否是亮环境，但也可以按照图像中的每个部分区域判断是否是亮环境。而且，也可以根据按照每个部分区域判断出的亮度环境来设定加权系数。例如，在图像中的一部分的部分区域表示建筑物的背阴，其它的部分区域均表示日光照射的区域的情况下，也可以将关于背阴区域的第一得分图(反射强度图像)以及第三得分图(距离图像)的加权系数设为加权系数a，将关于背阴区域的第二得分图(背景光图像)的加权系数的加权系数设为加权系数b，将关于其它区域的第一得分图至第三得分图(反射强度图像、背景光图像以及距离图像)的加权系数设为加权系数c，设定各加权系数，以使得关于加权系数a、b、c，“a＞c＞b”的关系成立。
[0110]
(e5)在第二实施方式中，也可以代替对第一得分图至第三得分图应用加权系数，而预先对输入的各图像进行归一化，生成第一得分图至第三得分图，不应用加权系数而生成总得分图。作为上述归一化的方法，例如，也可以根据亮度环境将在各图像中可取的像素值的范围归一化为0～255的值。具体而言，在背景光的像素值的可取的值的范围为1～1000的情况下，在亮环境中，可以进行最低值1成为“0”，最高值1000成为“255”这样的转换来进行归一化。另外，在暗环境中，也可以进行最低值1成为“0”，最高值300成为“255”这样的转换来进行归一化。
[0111]
(e6)也可以组合第二实施方式与第三实施方式。例如也可以在第二实施方式的加权设定处理中，例如在步骤s320以及s325之后执行第三实施方式的物体检测处理中的步骤s106以及s107，并在所有图像的对比度相关值为对比度阈值以上的情况下，使在步骤s320以及s325中设定的加权系数保持原样，在任意的图像的对比度相关值小于对比度阈值的情况下，对在步骤s320以及s325中设定的加权系数进一步乘以小于1的规定的系数。通过这样操作，对于对比度相关值较低的图像，加权系数变小，能够减小总得分图(总似然)。因此，即使在某帧期间中因逆光而获得不适合物体检测的图像，降低上述图像的总得分图，也能够抑制从上述图像误检测物体。
[0112]
(e7)在第三实施方式中，也可以在步骤s107中，分别对三个种类的信息执行阈值处理，并在后续处理中仅使用阈值以上的信息。另外，在第三实施方式中，也可以在步骤s107中，对于所有图像，对比度相关值小于对比度阈值的情况下，向用户报告上述的内容。作为报告的方法，也可以采用在设置于车辆500的仪表板的显示装置显示错误消息的方法、从扬声器输出警告音、警告消息的方法、点亮规定的灯的方法等任意方法。
[0113]
(e8)在第二以及第三实施方式中，在确定亮度环境时使用的强度相关信息中，对于信息(i)，是表示上次的帧期间中的背景光图像的强度的受光数，但本公开不限定于此。
例如，也可以使用表示上上次的帧期间中的背景光图像的强度的受光数。另外，例如，可以在测距之前求出背景光强度，或可以使用上次以前的多个帧期间中的背景光图像的强度的平均值、合算值、中央值、方差等统计值。
[0114]
(e9)在第二以及第三实施方式中，在确定亮度环境时使用的强度相关信息为信息(i)～(iv)合计四个，但本公开不限定于此。例如，也可以设为用户通过视觉确认等来判断亮度环境，并将该判断结果从规定的用户界面输入至车辆500的结构。在上述结构中，表示从规定的用户界面输入的亮度环境的信息与强度相关信息对应。另外，例如，也可以省略信息(i)～(iv)的一部分。另外，例如，也可以将通过搭载于车辆500的话筒获取到的声音的大小、高低等用作强度相关信息。在上述结构中，例如，在声音大于阈值强度相比的情况下，推断为是白天并确定为是亮环境，在为阈值强度以下的情况下，推断为是夜间并确定为是暗环境。
[0115]
(e10)各实施方式的物体检测装置50例如能够应用于以下那样的装置。例如，能够应用于测定到对象物ob的距离的测距装置。另外，例如，能够应用于生成车辆500的行驶路径的路径生成装置。在上述结构中，也可以在生成在行驶中的道路上避开障碍物那样的路径时，利用到由物体检测装置50检测出的对象物ob的距离。另外，例如能够应用于自动驾驶控制装置。在上述结构中，也可以利用到由物体检测装置50检测出的对象物ob的距离来决定车辆500的速度、转向操纵量。另外，例如，能够应用于用于将到对象物ob的距离向车辆500的乘客显示的检测结果显示装置。在上述结构中，车辆500的乘客能够在视觉上确认到存在于车辆500的前方的物体的距离。另外，例如，能够应用于对远程操作控制装置通知车辆500的周围的状况的远程信息获取装置。在上述结构中，除了到对象物ob的距离的信息(距离图像)以外，还可以对远程操作车辆500的操作人员侧的远程操作控制装置(例如服务器装置)发送距离图像、背景光图像。另外，例如，也可以固定设置物体检测装置50来代替将物体检测装置50搭载于车辆500。例如，也可以将监视相机(定点相机)搭载于物体检测装置50，获取图像，并且测定到对象物ob的距离。
[0116]
(e11)各实施方式中的物体检测装置50的结构仅是一个例子，能够进行变更。例如，在第二以及第三实施方式中亮度环境为两个阶段，但也可以为任意数量的阶段。另外，也可以使各像素g具备的宏像素的数量以及各宏像素具有的受光要素201的数量分别为任意数量。另外，作为受光要素201，也可以使用apd(雪崩光电二极管)等spad以外的任意受光元件。
[0117]
(e12)本公开中记载的物体检测装置50以及其方法也可以通过专用计算机实现，该专用计算机通过构成被编程为执行利用计算机程序具体化的一个至多个功能的处理器以及存储器而被提供。或者，本公开中记载的物体检测装置50以及其方法也可以通过利用一个以上的专用硬件逻辑电路构成处理器而被提供的专用计算机来实现。或者，本公开中记载的物体检测装置50以及其方法也可以由通过将被编程为执行一个至多个功能的处理器及存储器和由一个以上的硬件逻辑电路构成的处理器的组合而构成的一个以上的专用计算机来实现。此外，计算机程序也可以作为由计算机执行的指令而存储在计算机可读取的非过渡有形记录介质中。
[0118]
本公开并不限定于上述的实施方式，在不脱离其主旨的范围内能够以各种构成实现。例如，为了解决上述的课题的一部分或者全部，或者，为了实现上述的效果的一部分或
者全部，与在发明内容一栏记载的方式中的技术特征对应的各实施方式中的技术特征能够适当地进行替换或者组合。另外，若该技术特征在本说明书中未作为必需的特征进行说明，则能够适当地删除。