雷达数据处理装置、物体判别装置、雷达数据处理方法以及物体判别方法与流程

1.本发明涉及一种对从雷达装置输出的雷达数据进行处理的雷达数据处理装置及雷达数据处理方法、以及基于从雷达装置输出的雷达数据来判别物体的物体判别装置及物体判别方法。


背景技术：

2.近年来，为了提高车辆行驶时的安全性，以下技术正在普及：使用雷达来探测存在于车辆周围的车辆、行人等移动体。另外，在its(intelligent transport system：智能道路交通系统)中，正在推进以下技术的实用化：在路口等容易发生事故的场所设置具备雷达的路侧机、所谓的基础设施雷达，通过雷达来探测周边存在的移动体，并通过its通信(道路车辆间通信、道路行人间通信)来向车载终端、行人终端通知碰撞的危险性。
3.在这种使用雷达的物体探测中，能够基于从雷达装置输出的雷达数据(反射强度、多普勒速度)来探测存在于车辆周围的移动体，但是除此以外，还期望以下的物体判别(物体识别)：基于雷达数据来判别探测到的移动体是车辆和人或物中的哪一种。
4.作为与这种基于雷达数据的物体判别有关的技术，以往已知以下技术：利用在车辆与人或物中电波的反射率不同这一特性，来判别车辆与人或物(参照专利文献1)。
5.现有技术文献
6.专利文献
7.专利文献1：日本专利第5206579号公报


技术实现要素：

8.发明要解决的问题
9.然而，在前述以往的技术中，因电波的方向、物体的材质等的影响，电波的反射率发生变化，由此无法适当地判别车辆与人或物的情况多，特别是存在如下问题：在人或物位于车辆的附近的情况下，将人或物误识别为车辆的一部分。
10.另一方面，通过分析摄像机的摄影图像来判别物体的图像识别的技术已广泛普及。在该图像识别中，从摄影图像提取物体区域的特征量，基于该特征量来判别物体，但是近年来，通过将机器学习模型、特别是深度学习模型用于该图像识别，能够飞跃性地提高判别性能。因此，若能够在基于雷达数据的物体判别中利用机器学习模型，则可期待能够高精度地进行物体判别。
11.因此，本发明的主要目的在于提供一种通过使用机器学习模型而能够高精度地进行基于雷达数据的物体判别的雷达数据处理装置、物体判别装置、雷达数据处理方法以及物体判别方法。
12.用于解决问题的方案
13.本发明的雷达数据处理装置对从雷达装置输出的雷达数据进行处理，该雷达数据
处理装置为以下结构：具备控制部，该控制部将所述雷达数据图像化，所述控制部获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息。
14.另外，本发明的物体判别装置基于从雷达装置输出的雷达数据来判别物体，该物体判别装置为以下结构：具备控制部，该控制部基于所述雷达数据来判别物体，所述控制部获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息，将所述雷达检测图像输入到为进行物体判别而进行了学习的图像识别用的机器学习模型，获取从该机器学习模型输出的物体判别结果。
15.另外，本发明的雷达数据处理方法在信息处理装置中对从雷达装置输出的雷达数据进行处理，该雷达数据处理方法为以下结构：获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息。
16.另外，本发明的物体判别方法在信息处理装置中基于从雷达装置输出的雷达数据来判别物体，该物体判别方法为以下结构：获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息，将所述雷达检测图像输入到为进行物体判别而进行了学习的图像识别用的机器学习模型，获取从该机器学习模型输出的物体判别结果。
17.发明的效果
18.根据本发明，获取将雷达数据图像化而得到的雷达检测图像，因此能够使用图像识别用的机器学习模型来进行物体判别，能够高精度地进行基于雷达数据的物体判别。
附图说明
19.图1是表示第1实施方式所涉及的物体判别装置1的概要结构的框图。
20.图2是表示第1实施方式所涉及的物体判别装置1中进行的物体判别时的处理的概要的说明图。
21.图3是表示第1实施方式所涉及的从雷达装置2输出的雷达数据的特征的说明图。
22.图4是表示第1实施方式所涉及的物体判别装置1中进行的学习时的处理的概要的说明图。
23.图5是表示第1实施方式所涉及的物体判别装置1的物体判别时的动作过程的流程图。
24.图6是表示第1实施方式所涉及的数据处理(图5的st104)的动作过程的流程图。
25.图7是表示第1实施方式所涉及的物体判别装置1中的生成学习数据时和构建深度学习模型时的动作过程的流程图。
26.图8是表示第2实施方式所涉及的物体判别装置1的概要结构的框图。
27.图9是表示第2实施方式所涉及的物体判别装置1的物体判别时的动作过程的流程
图。
28.图10是表示第2实施方式所涉及的数据处理(图9的st111)的动作过程的流程图。
29.图11是表示第2实施方式所涉及的物体判别装置1中的生成学习数据时和构建深度学习模型时的动作过程的流程图。
30.图12是表示第3实施方式所涉及的物体判别装置1的概要结构的框图。
31.图13是表示第3实施方式所涉及的物体判别装置1的物体判别时的动作过程的流程图。
32.图14是表示第4实施方式所涉及的物体判别装置1的概要结构的框图。
33.图15是表示第4实施方式所涉及的物体判别装置1的物体判别时的动作过程的流程图。
具体实施方式
34.为了解决所述问题而完成的第一发明是一种对从雷达装置输出的雷达数据进行处理的雷达数据处理装置，该雷达数据处理装置为以下结构：具备控制部，该控制部将所述雷达数据图像化，所述控制部获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息。
35.据此，获取将雷达数据图像化而得到的雷达检测图像，因此能够使用图像识别用的机器学习模型来进行物体判别，能够高精度地进行基于雷达数据的物体判别。
36.另外，第二发明为以下结构：所述控制部基于根据整个观测区的所述雷达数据检测出的物体区域的位置信息，来从整个观测区的所述雷达数据提取物体区域的雷达数据，基于所述物体区域的雷达数据来生成物体区域的所述雷达检测图像。
37.据此，机器学习模型只要以物体区域的雷达检测图像为对象来进行物体判别即可，因此能够减轻机器学习模型的处理负荷。
38.另外，第三发明为以下结构：所述控制部基于整个观测区的所述雷达数据来生成整个观测区的所述雷达检测图像。
39.据此，使用除了物体判别以外还能够进行物体检测的机器学习模型，由此能够高精度且高效地进行物体检测和物体判别。
40.另外，第四发明为以下结构：所述控制部以与所述物体区域的距离相应的尺寸生成物体区域的所述雷达检测图像。
41.据此，根据物体区域的雷达数据的信息量，来生成尺寸不同的雷达检测图像，因此能够高精度地进行物体判别。
42.另外，第五发明为以下结构：所述控制部基于多个时刻的所述雷达数据来生成所述雷达检测图像。
43.据此，将多个时刻的雷达数据保存于雷达检测图像，因此能够提高物体判别的精度。
44.另外，第六发明为以下结构：所述控制部在所述雷达检测图像中的物体区域的周围设定空白区域，以使所述雷达检测图像的尺寸均一。
45.据此，与检测出的物体区域的大小无关地，雷达检测图像的尺寸均一，因此能够通
过机器学习模型来同样地进行处理。另外，不会如放大缩小那样改变原来的雷达数据，因此能够高精度地进行物体判别。
46.另外，第七发明是一种基于从雷达装置输出的雷达数据来判别物体的物体判别装置，该物体判别装置为以下结构：具备控制部，该控制部基于所述雷达数据来判别物体，所述控制部获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息，将所述雷达检测图像输入到为进行物体判别而进行了学习的图像识别用的机器学习模型，获取从该机器学习模型输出的物体判别结果。
47.据此，基于将雷达数据图像化而得到的雷达检测图像，使用图像识别用的机器学习模型来进行物体判别，因此能够高精度地进行基于雷达数据的物体判别。
48.另外，第八发明是一种在信息处理装置中对从雷达装置输出的雷达数据进行处理的雷达数据处理方法，该雷达数据处理方法为以下结构：获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息。
49.据此，与第一发明同样地，获取将雷达数据图像化而得到的雷达检测图像，因此能够使用图像识别用的机器学习模型来进行物体判别，能够高精度地进行基于雷达数据的物体判别。
50.另外，第九发明是一种在信息处理装置中基于从雷达装置输出的雷达数据来判别物体的物体判别方法，该物体判别方法为以下结构：获取包含各方位及各距离处的反射强度和速度的各信息的所述雷达数据，基于所述雷达数据来生成雷达检测图像，该雷达检测图像在各像素的多个通道中分别保存有与该像素的位置对应的反射强度、速度及距离的各信息，将所述雷达检测图像输入到为进行物体判别而进行了学习的图像识别用的机器学习模型，获取从该机器学习模型输出的物体判别结果。
51.据此，与第七发明同样地，基于将雷达数据图像化而得到的雷达检测图像，使用图像识别用的机器学习模型来进行物体判别，因此能够高精度地进行基于雷达数据的物体判别。
52.下面，参照附图来说明本发明的实施方式。
53.(第1实施方式)
54.图1是表示第1实施方式所涉及的物体判别装置1的概要结构的框图。
55.该物体判别装置1(雷达数据处理装置、信息处理装置)基于从雷达装置2输出的雷达数据来判别存在于观测区内的物体的属性(种类)，例如，该物体判别装置1搭载于路侧机(基础设施雷达)，针对存在于周围的物体(移动体)的判别结果被用于判定和通知碰撞的危险性的控制，另外，该物体判别装置1搭载于车辆，针对存在于周围的物体的判别结果被用于为了避免碰撞的控制。
56.在该物体判别装置1中，判别物体是车辆和人或物中的哪一种来作为物体的属性。并且，判别车辆是4轮车和2轮车中的哪一种，另外，判别4轮车是大型车和小型车中的哪一种。
57.雷达装置2辐射毫米波段等的电波并检测被物体反射的电波，来输出雷达数据(测定数据)。该雷达数据包含各方位及各距离(range)处的反射强度(与反射波的强度有关的信息)和多普勒速度(与物体的速度有关的信息)。
58.物体判别装置1具备数据输入部11、控制部12、存储部13以及数据输出部14。
59.从雷达装置2输出的雷达数据被输入到数据输入部11。在数据输出部14中，输出由控制部12生成的物体判别结果。
60.存储部13存储从雷达装置2输入的雷达数据、由构成控制部12的处理器执行的程序等。
61.控制部12具备物体检测部21、数据处理部22、物体判别部23、学习数据生成部24以及学习处理部25。数据处理部22具备区域数据提取部31和图像生成部32。该控制部12由处理器构成，控制部12的各部通过由处理器执行存储部13中存储的程序来实现。
62.此外，在本实施方式中设为物体判别装置1具备物体检测部21、数据处理部22以及物体判别部23，但是这些各部也可以分别由不同的装置来构成。另外，设为物体判别装置1具备学习数据生成部24和学习处理部25，但是也可以由与物体判别装置不同的装置来构成它们。
63.接着，说明第1实施方式所涉及的物体判别装置1中进行的处理。图2是表示物体判别装置1中进行的物体判别时的处理的概要的说明图。图3是表示从雷达装置2输出的雷达数据的特征的说明图。图4是表示物体判别装置1中进行的学习时的处理的概要的说明图。
64.如图2所示，在雷达装置2中，作为雷达数据，输出各方位及各距离(range)处的反射强度和多普勒速度。此外，在图2中，示出了将反射强度图像化而得到的热图、以及将多普勒速度图像化而得到的热图。在该热图中，将用方位及距离(range)规定的极坐标系的雷达数据变换为x-y正交坐标系后进行图像化，观测区被显示为扇形形状。
65.在物体判别装置1中，首先，在物体检测部21中，根据整个观测区的雷达数据来检测物体区域。接着，在数据处理部22的区域数据提取部31中，基于由物体检测部21检测出的物体区域的位置信息，从整个观测区的雷达数据提取物体区域的雷达数据。接着，在图像生成部32中，基于物体区域的雷达数据，来生成物体区域的雷达检测图像。接着，在物体判别部23中，基于物体区域的雷达检测图像，来判别物体区域的物体的属性。
66.在此，由图像生成部32生成的物体区域的雷达检测图像是将物体区域的雷达数据图像化而得到的。具体地说，将物体区域的雷达数据中包含的反射强度、多普勒速度及距离(range)的各信息保存到雷达检测图像中的对应的位置的像素的多个通道中。例如，在以rgb的格式生成雷达检测图像的情况下，在r的通道中保存多普勒速度的信息，在g的通道中保存反射强度的信息，在b的通道中保存距离(range)的信息。
67.另外，如图3的(a)所示，雷达数据是以用方位和距离(range)划分出的网格为单位生成的。在该雷达数据中，距离的分辨率是固定的，但是方位的分辨率根据距离而不同，在近距离(例如3m)处，方位的分辨率高，在远距离(例如80m)处，方位的分辨率低。因此，如图3的(b)所示，对于相同大小的物体a、b，物体区域中包含的网格数在距离(range)的轴方向上相同，而在方位的轴方向上根据距离而不同。即，在远距离处，方位的轴方向的网格数少，在近距离处，方位的轴方向的网格数多。
68.另一方面，当如图2示出的那样从整个观测区的雷达数据提取物体区域的雷达数
据时，距离(range)的信息消失，从而不再能够判别物体的大小。因此，在本实施方式中，除了反射强度和多普勒速度的各信息以外，还将距离(range)的信息保存于雷达检测图像。
69.另外，只要与反射强度和多普勒速度的热图同样地以x-y正交坐标系来生成雷达检测图像即可。在该情况下，在区域数据提取部31中，进行将雷达数据的极坐标系变换为x-y正交坐标系的坐标变换。此外，雷达检测图像的坐标系没有特别限定，除了x-y正交坐标系以外，也可以设为与雷达数据同样地用方位和距离(range)规定的极坐标系。
70.另外，物体判别部23使用机器学习模型、特别是深度学习模型，根据物体区域的雷达检测图像来判别物体区域的物体的属性。即，将物体区域的雷达检测图像输入到深度学习模型，在深度学习模型中进行物体判别，获取从深度学习模型输出的物体判别结果。在该深度学习模型中，使用图像识别用的深度学习模型。此外，作为图像识别用的深度学习模型，优选的是cnn(卷积神经网络：convolutional neural network)。
71.另外，在图像生成部32中，使雷达检测图像的尺寸一致，使得能够与由物体检测部21检测出的物体区域的大小无关地通过物体判别部23的深度学习模型同样地进行处理。此时，若进行放大缩小的处理，则原来的雷达数据会被改变，因此基于设想的最大的物体区域的尺寸来设定雷达检测图像的尺寸，并在物体区域(保存有雷达数据的区域)的周围设定空白区域，使得成为该尺寸。
72.另外，如图4所示，在学习时，在物体检测部21中，根据过去从雷达装置2输出的学习用的整个观测区的雷达数据来检测物体区域。接着，在区域数据提取部31中，基于由物体检测部21检测出的物体区域的位置信息，从学习用的整个观测区的雷达数据提取学习用的物体区域的雷达数据。接着，在图像生成部32中，基于学习用的物体区域的雷达数据，来生成学习用的物体区域的雷达检测图像。
73.在学习数据生成部24中生成学习数据，该学习数据是将由图像生成部32生成的学习用的物体区域的雷达检测图像与同该雷达检测图像中包含的物体的属性有关的物体判别结果(标签)进行关联而得到的。该物体判别结果是作业者通过目视进行判断并输入的。此时，例如只要如下即可：通过目视来确认与学习用的雷达数据对应的摄像机的摄影图像，从而获取要根据学习用的雷达检测图像判别的物体的属性。
74.在学习处理部25中，使用由学习数据生成部24生成的学习数据，执行对于深度学习模型的学习处理，获取深度学习模型的模型参数(设定信息)来作为学习结果，将该模型参数应用于物体判别部23的深度学习模型，来构建学习完成的深度学习模型。
75.接着，说明第1实施方式所涉及的物体判别装置1中的物体判别时的动作过程。图5是表示物体判别装置1的物体判别时的动作过程的流程图。图6是表示数据处理(图5的st104)的动作过程的流程图。
76.在物体判别装置1中，如图5所示，首先，在控制部12中，获取从雷达装置2输出的整个观测区的雷达数据(与方位及距离相应的反射强度和多普勒速度)(st101)。接着，在物体检测部21中，根据整个观测区的雷达数据来检测物体区域(st102)。
77.接着，在控制部12中，选定1个物体区域ri(i＝1～n)(st103)。
78.接着，在数据处理部22中，进行数据处理(st104)。具体地说，在区域数据提取部31中，从整个观测区的雷达数据提取物体区域的雷达数据，在图像生成部32中，基于物体区域的雷达数据，来生成物体区域的雷达检测图像。
79.接着，在物体判别部23中，将由图像生成部32生成的物体区域的雷达检测图像输入到学习完成的深度学习模型，在该深度学习模型中进行物体判别，获取从深度学习模型输出的物体判别结果(st105)。
80.接着，判定是否所有物体区域的处理均已结束(st106)。在此，在不是所有物体区域的处理均已结束的情况下(st106中为“否”)，返回到st103，选定下一个物体区域，进行该物体区域的处理。
81.另一方面，在所有物体区域的处理均已结束的情况下(st106中为“是”)，在控制部12中，输出由物体判别部23获取到的每个物体区域的物体判别结果和位置信息(st107)。
82.在数据处理(st104)中，如图6所示，首先，在数据处理部22中，获取由物体检测部21检测出的物体区域的位置信息(st201)。接着，基于物体区域的位置信息，确定围绕物体区域的外切矩形的区域(st202)。接着，设定雷达检测图像的空白区域(物体区域以外的区域)的网格值(st203)。
83.接着，在区域数据提取部31中，选定物体区域(外切矩形)内的1个网格cj(j＝1～m)(st204)。然后，根据整个观测区的雷达数据，来获取所选定的网格cj的反射强度、多普勒速度以及距离(st205)。
84.接着，在图像生成部32中，基于网格cj的反射强度、多普勒速度以及距离，设定与该网格cj对应的位置的像素的像素值(rgb的各通道的值)(st206)。即，对r值rj设定网格cj的反射强度，对g值gj设定网格cj的多普勒速度，对b值bj设定网格cj的距离。
85.接着，判定是否所有网格的处理均已结束(st207)。在此，在不是所有网格的处理均已结束的情况下(st207中为“否”)，返回到st204，选定下一个网格，进行该网格的处理。
86.另一方面，在所有网格的处理均已结束的情况下(st207中为“是”)，接着，在图像生成部32中，基于各像素的像素值来生成物体区域的雷达检测图像(st208)。
87.接着，说明第1实施方式所涉及的物体判别装置1的学习时的动作过程。图7是表示物体判别装置1中的生成学习数据时和构建深度学习模型时的动作过程的流程图。
88.在物体判别装置1中，如图7的(a)所示，在生成学习数据时，首先，在控制部12中，获取过去从雷达装置2输出的学习用的整个观测区的雷达数据(与方位及距离相应的反射强度和多普勒速度)(st301)。接着，在物体检测部21中，根据学习用的整个观测区的雷达数据来检测物体区域(st302)。
89.接着，在控制部12中，选定1个物体区域ri(i＝1～n)(st303)。
90.接着，在数据处理部22中，进行数据处理(st304)。具体地说，在区域数据提取部31中，从学习用的整个观测区的雷达数据提取学习用的物体区域的雷达数据，在图像生成部32中，基于学习用的物体区域的雷达数据，来生成学习用的物体区域的雷达检测图像。该处理与物体判别时(参照图6)相同。
91.接着，判定是否所有物体区域的处理均已结束(st305)。在此，在不是所有物体区域的处理均已结束的情况下(st305中为“否”)，返回到st303，选定下一个物体区域，进行该物体区域的处理。
92.另一方面，在所有物体区域的处理均已结束的情况下(st305中为“是”)，接着，在学习数据生成部24中，获取各物体区域的物体判别结果(标签)(st306)。该物体判别结果是作业者通过目视进行判断并输入的。
93.接着，生成学习数据，该学习数据是将由图像生成部32获取到的各物体区域的雷达检测图像与物体判别结果(标签)进行关联而得到的(st307)。
94.这样生成学习数据，但是期望尽可能大量地生成该学习数据。因此，最好是，收集场所、时间不同的大量的雷达数据(热图)，来大量地生成学习用的雷达检测图像。
95.此外，在图7所示的例子中，以整个观测区的雷达数据(热图)中包含的所有物体区域为对象来生成学习数据，但是也可以仅以一部分物体区域为对象来生成学习数据。
96.另外，在物体判别装置1中，如图7的(b)所示，在构建深度学习模型时，首先，在学习处理部25中，使用由学习数据生成部24生成的学习数据，执行对于深度学习模型的学习处理，获取深度学习模型的模型参数(设定信息)来作为学习结果(st308)。
97.接着，将模型参数应用于物体判别部23的深度学习模型，来构建学习完成的深度学习模型(st309)。
98.(第2实施方式)
99.接着，说明第2实施方式。此外，此处未特别提及的方面与前述的实施方式相同。图8是表示第2实施方式所涉及的物体判别装置1的概要结构的框图。
100.在第1实施方式中，通过深度学习模型来进行用于对检测出的物体区域的物体进行判别的物体判别，但是在本实施方式中，除了物体判别以外，还通过深度学习模型来进行用于检测物体区域的物体检测。
101.物体判别装置1的控制部12具备数据处理部41、物体检测判别部42、学习数据生成部24以及学习处理部25。
102.数据处理部41具备图像生成部43。该图像生成部43基于整个观测区的雷达数据，来生成整个观测区的雷达检测图像。
103.物体检测判别部42将由图像生成部43生成的整个观测区的雷达检测图像输入到学习完成的深度学习模型，在深度学习模型中进行物体检测和物体判别，获取从深度学习模型输出的物体判别结果。在该深度学习模型中，使用带搜索功能的深度学习模型。作为该带搜索功能的深度学习模型，优选的是faster r-cnn(regions with convolutional neural network，区域卷积神经网络)。
104.接着，说明第2实施方式所涉及的物体判别装置1的物体判别时的动作过程。图9是表示物体判别装置1的物体判别时的动作过程的流程图。图10是表示数据处理(图9的st111)的动作过程的流程图。
105.在物体判别装置1中，如图9所示，首先，在控制部12中，获取从雷达装置2输出的整个观测区的雷达数据(与方位及距离相应的反射强度和多普勒速度)(st101)。
106.接着，在数据处理部22中，进行数据处理(st111)。具体地说，在图像生成部43中，基于整个观测区的雷达数据，来生成整个观测区的雷达检测图像。
107.接着，在物体检测判别部42中，将由图像生成部43生成的整个观测区的雷达检测图像输入到学习完成的深度学习模型，在深度学习模型中进行物体检测和物体判别，获取从深度学习模型输出的物体判别结果(st112)。
108.接着，输出检测出的每个物体的物体判别结果和位置信息(st107)。
109.在数据处理(st111)中，如图10所示，首先，在数据处理部22中，选定1个网格cj(j＝1～m)(st204)。然后，根据整个观测区的雷达数据，来获取所选定的网格cj的反射强度、
多普勒速度以及距离(st205)。
110.接着，在图像生成部32中，基于网格cj的反射强度、多普勒速度以及距离，设定与该网格cj对应的位置的像素的像素值(rgb的各通道的值)(st206)。即，对r值rj设定网格cj的反射强度，对g值gj设定网格cj的多普勒速度，对b值bj设定网格cj的距离。
111.接着，判定是否所有网格的处理均已结束(st207)。在此，在不是所有网格的处理均已结束的情况下(st207中为“否”)，返回到st204，选定下一个网格，进行该网格的处理。
112.另一方面，在所有网格的处理均已结束的情况下(st207中为“是”)，接着，在图像生成部32中，基于各像素的像素值来生成整个观测区的雷达检测图像(st208)。
113.接着，说明第2实施方式所涉及的物体判别装置1的学习时的动作过程。图11是表示物体判别装置1中的生成学习数据时和构建深度学习模型时的动作过程的流程图。
114.在物体判别装置1中，如图11的(a)所示，在生成学习数据时，首先，在控制部12中，获取过去从雷达装置2输出的学习用的整个观测区的雷达数据(与方位及距离相应的反射强度和多普勒速度)(st301)。
115.接着，在数据处理部41中，进行数据处理(st311)。具体地说，在图像生成部43中，基于学习用的整个观测区的雷达数据，来生成学习用的整个观测区的雷达检测图像。该处理与物体判别时(参照图10)相同。
116.接着，在学习数据生成部24中，获取物体区域的物体判别结果(标签)(st312)。该物体判别结果是作业者通过目视进行判断并输入的。此外，在学习用的整个观测区的雷达数据中包含多个物体区域的情况下，获取各物体区域的物体判别结果(标签)。
117.接着，生成学习数据，该学习数据是将由图像生成部32获取到的学习用的整个观测区的雷达检测图像与物体判别结果(标签)进行关联而得到的(st313)。
118.另外，在物体判别装置1中，如图11的(b)所示，在构建深度学习模型时，首先，在学习处理部25中，使用由学习数据生成部24生成的学习数据，执行对于深度学习模型的学习处理，获取深度学习模型的模型参数(设定信息)来作为学习结果(st314)。
119.接着，将模型参数应用于物体检测判别部42的深度学习模型，来构建学习完成的深度学习模型(st315)。
120.(第3实施方式)
121.接着，说明第3实施方式。此外，此处未特别提及的方面与前述的实施方式相同。图12是表示第3实施方式所涉及的物体判别装置1的概要结构的框图。
122.在第1实施方式中，与物体区域的距离(距离)无关地，以同一尺寸生成物体区域的雷达检测图像，但是与物体区域的距离(range)相应地，物体区域的雷达数据的信息量(网格数)大不相同(参照图3)。
123.因此，在本实施方式中，与物体区域的距离(range)相应地，以不同尺寸将物体区域的雷达数据图像化，来生成尺寸不同的雷达检测图像。特别是，在本实施方式中，分为远距离和近距离这两种情况来将雷达数据图像化。
124.物体判别装置1的控制部12具备物体检测部21、分配部51、第一数据处理部52、第二数据处理部53、第一物体判别部54、第二物体判别部55、学习数据生成部24以及学习处理部25。
125.分配部51基于由物体检测部21检测出的物体区域的距离(range)，将雷达数据的
处理分配给第一数据处理部52与第二数据处理部53。具体地说，在物体区域的距离为规定值以上的远距离的情况下，使第一数据处理部52进行雷达数据的处理，在物体区域的距离小于规定值的近距离的情况下，使第二数据处理部53进行雷达数据的处理。
126.第一数据处理部52用于在物体区域为远距离的情况下处理雷达数据，具备第一区域数据提取部61和第一图像生成部62。在该第一数据处理部52中，提取物体区域的雷达数据，生成尺寸小的雷达检测图像。
127.第二数据处理部53用于在物体区域为近距离的情况下处理雷达数据，具备第二区域数据提取部63和第二图像生成部64。在该第二数据处理部53中，提取物体区域的雷达数据，生成尺寸大的雷达检测图像。
128.此外，第一区域数据提取部61和第二区域数据提取部63中进行的处理与第1实施方式的区域数据提取部31相同，第一图像生成部62和第二图像生成部64中进行的处理与第1实施方式的图像生成部32相同。
129.第一物体判别部54以由第一数据处理部52生成的尺寸小的雷达检测图像为对象，使用第一深度学习模型进行物体判别。
130.第二物体判别部55以由第二数据处理部53生成的尺寸大的雷达检测图像为对象，使用第二深度学习模型进行物体判别。
131.此外，在本实施方式中，与物体区域的距离(range)相应地分为2种情况来将雷达数据图像化，但是也可以分为3种以上的情况来将雷达数据图像化。
132.接着，说明第3实施方式所涉及的物体判别装置1的物体判别时的动作过程。图13是表示物体判别装置1的物体判别时的动作过程的流程图。
133.在物体判别装置1中，首先，在控制部12中，获取从雷达装置2输出的整个观测区的雷达数据(与方位及距离相应的反射强度和多普勒速度)(st101)。接着，在物体检测部21中，根据整个观测区的雷达数据来检测物体区域(st102)。
134.接着，在控制部12中，选定1个物体区域ri(i＝1～n)(st103)。
135.接着，在分配部51中，判定物体区域ri的中心点的距离值是否为阈值以上(st121)。
136.在此，在物体区域ri的中心点的距离值为阈值以上、即物体区域ri为远距离的情况下(st121中为“是”)，在第一数据处理部52中进行数据处理(st122)。具体地说，在第一区域数据提取部61中，从整个观测区的雷达数据提取物体区域的雷达数据，在第一图像生成部62中，基于物体区域的雷达数据，来生成物体区域的雷达检测图像。此外，该数据处理与第1实施方式(参照图6)相同。
137.接着，在第一物体判别部54中，将由第一图像生成部62生成的物体区域的雷达检测图像输入到学习完成的深度学习模型中，在该深度学习模型中进行物体判别，获取从深度学习模型输出的物体判别结果(st123)。
138.另一方面，在物体区域ri的中心点的距离值小于阈值、即物体区域ri为近距离的情况下(st121中为“否”)，在第二数据处理部53中进行数据处理(st124)。具体地说，在第二区域数据提取部63中，从整个观测区的雷达数据提取物体区域的雷达数据，在第二图像生成部64中，基于物体区域的雷达数据，来生成物体区域的雷达检测图像。此外，该数据处理与第1实施方式(参照图6)相同。
139.接着，在第二物体判别部55中，将由第二图像生成部64生成的物体区域的雷达检测图像输入到学习完成的深度学习模型中，在该深度学习模型中进行物体判别，获取从深度学习模型输出的物体判别结果(st125)。
140.接着，判定是否所有物体区域的处理均已结束(st106)。在此，在不是所有物体区域的处理均已结束的情况下(st106中为“否”)，返回到st103，选定下一个物体区域，进行该物体区域的处理。
141.另一方面，在所有物体区域的处理均已结束的情况下(st106中为“是”)，在控制部12中，输出由第一物体判别部54或第二物体判别部55获取到的每个物体区域的物体判别结果和位置信息(st107)。
142.此外，物体判别装置1的学习时的动作过程与第1实施方式(参照图7)大致相同，但是在本实施方式中，被第一物体判别部54与第二物体判别部55作为处理对象的雷达检测图像的尺寸不同，因此以与各个作为处理对象的雷达检测图像对应的尺寸生成学习用的雷达检测图像。
143.(第4实施方式)
144.接着，说明第4实施方式。此外，此处未特别提及的方面与前述的实施方式相同。图14是表示第4实施方式所涉及的物体判别装置1的概要结构的框图。
145.在雷达装置2中，以与波束扫描周期对应的间隔(例如50ms)输出各时刻的整个观测区的雷达数据，当将根据该各时刻的整个观测区的雷达数据来提取出的各时刻的物体区域的雷达数据图像化时，以高速的帧率(例如20fps)生成雷达检测图像，但是这种高速的帧率的雷达检测图像在物体判别中不是必需的。
146.因此，在本实施方式中，将根据多个时刻的整个观测区的雷达数据来分别提取出的多个时刻的物体区域的雷达数据进行合成(整合)，将合成后的雷达数据图像化，来生成物体区域的雷达检测图像。由此，能够提高物体判别的精度。
147.物体判别装置1的控制部12具备物体检测部21、数据处理部71、物体判别部23、学习数据生成部24以及学习处理部25。数据处理部71具备区域数据提取部31、数据合成部72以及图像生成部32。
148.数据合成部72将由区域数据提取部31获取到的多个时刻的物体区域的雷达数据进行合成(整合)，来生成物体区域的合成雷达数据。
149.此时，将多个时刻的雷达数据中的各网格的数据设定为雷达检测图像中的对应的位置的不同像素的像素值。由此，能够不改变原来的雷达数据而是将其原样保存为雷达检测图像。在该情况下，雷达检测图像的像素数增多，例如，当将4个时刻的雷达数据进行合成时，能够生成4倍的像素数的雷达检测图像。
150.另外，也可以是，对多个时刻的雷达数据中的各网格的数据进行统计处理，获取各网格的代表值(最大值、平均值等)，将该代表值设定为雷达检测图像中的对应的位置的像素值。
151.接着，说明第4实施方式所涉及的物体判别装置1的物体判别时的动作过程。图15是表示物体判别装置1的物体判别时的动作过程的流程图。
152.在物体判别装置1中，首先，在控制部12中，获取从雷达装置2输出的整个观测区的雷达数据(与方位及距离相应的反射强度和多普勒速度)(st101)。接着，在物体检测部21
中，根据整个观测区的雷达数据来检测物体区域(st102)。
153.接着，在控制部12中，选定1个物体区域ri(i＝1～n)(st103)。
154.接着，在数据处理部22的区域数据提取部31中，从整个观测区的雷达数据提取物体区域的雷达数据(st131)。
155.接着，在数据合成部72中，判定是否规定数量的时刻的雷达数据已备齐(st132)。
156.在此，在规定数量的时刻的雷达数据未备齐的情况下(st132中为“否”)，将当前时刻的物体区域的雷达数据暂时性地累积到存储部13中(st133)。然后，进入st106。
157.另一方面，在规定数量的时刻的雷达数据已备齐的情况下(st132中为“是”)，在数据合成部72中，获取存储部13中累积的过去的时刻的物体区域的雷达数据，将该过去的时刻的物体区域的雷达数据与由区域数据提取部31获取到的当前时刻的物体区域的雷达数据进行合成(st134)。
158.接着，在图像生成部32中，基于由数据合成部72获取到的物体区域的合成雷达数据，来生成物体区域的雷达检测图像(st135)。
159.接着，在物体判别部23中，将由图像生成部32生成的物体区域的雷达检测图像输入到学习完成的深度学习模型，在该深度学习模型中进行物体判别，获取从深度学习模型输出的物体判别结果(st105)。
160.接着，判定是否所有物体区域的处理均已结束(st106)。在此，在不是所有物体区域的处理均已结束的情况下(st106中为“否”)，返回到st103，选定下一个物体区域，进行该物体区域的处理。
161.另一方面，在所有物体区域的处理均已结束的情况下(st106中为“是”)，接着，判定是否为输出物体判别结果的时机(st136)。具体地说，例如，在将4个时刻的雷达数据进行合成的情况下，在帧序号为4的倍数时判定为是输出的时机。
162.在此，在不是输出物体判别结果的时机的情况下(st136中为“否”)，返回到st101，进行下一时刻的处理。
163.另一方面，在是输出物体判别结果的时机的情况下(st136中为“是”)，在控制部12中，输出由物体判别部23获取到的每个物体区域的物体判别结果和位置信息(st107)。
164.此外，物体判别装置1的学习时的动作过程与第1实施方式(参照图7)相同，但是在本实施方式中，在将多个时刻的雷达数据进行合成的基础上生成雷达检测图像，因此，在学习用的雷达检测图像中，也可以使用在将多个时刻的学习用的雷达数据进行合成的基础上图像化而得到的学习用的雷达检测图像，但是也可以使用不将多个时刻的雷达数据进行合成而是将1个时刻的学习用的雷达数据直接图像化而得到的学习用的雷达检测图像。
165.如以上那样，作为本申请所公开的技术的例示，说明了实施方式。然而，本公开中的技术不限定于此，也能够应用于进行了变更、置换、附加、省略等的实施方式。另外，也能够将上述的实施方式中说明的各结构要素进行组合来作为新的实施方式。
166.产业上的可利用性
167.本发明所涉及的雷达数据处理装置、物体判别装置、雷达数据处理方法以及物体判别方法通过使用机器学习模型，具有能够高精度地进行基于雷达数据的物体判别的效果，作为对从雷达装置输出的雷达数据进行处理的雷达数据处理装置及雷达数据处理方法、以及基于从雷达装置输出的雷达数据来判别物体的物体判别装置及物体判别方法等而
有用。
168.附图标记说明
169.1：物体判别装置(雷达数据处理装置、信息处理装置)；2：雷达装置；11：数据输入部；12：控制部；13：存储部；14：数据输出部。