运算处理装置、对象识别系统、对象识别方法、汽车、车辆用灯具与流程

本发明涉及对象识别系统。

背景技术：

作为汽车的传感器，举出lidar(lightdetectionandranging：光检测与测距、laserimagingdetectionandranging：激光成像检测与测距)、摄像机、毫米波雷达、超声波声纳等作为候选。其中，与其他传感器相比较，lidar具有以下等优点：(i)能够进行基于点组数据的物体识别；(ii)因为是有源感测，故在坏天气时也能够进行高精度的检测；(iii)能够进行广范围的测量；今后，被期待成为汽车的感测系统中的主流。

[现有技术文献]

[专利文献]

专利文献1：日本国特开2017-56935号公报

专利文献2：日本国特开2009-98023号公报

技术实现要素：

[发明要解决的课题]

作为对象的检测方法，可以考虑针对对象的类别(种类)规定特征量，通过图案匹配判断对象的位置和类别的方法。但是，在该方法中，按照类别设计适当的特征量并不容易。

本发明是在相关状况下得到的，其一方案的例示性的目的之一在于提供一种能够识别对象的运算处理装置、对象识别系统以及对象种类的识别方法。

[用于解决技术问题的方法]

本发明的一方案涉及对象的识别方法或系统。在该方法/系统中，将由三维传感器获取的点组数据转换为以距离作为像素值的二维图像数据。并且，通过将该图像数据输入到卷积神经网络等的分类器中，判断点组数据所包含的对象的位置和类别。

[发明效果]

根据本发明，可以识别对象。

附图说明

图1是示出实施方式的对象识别系统的图。

图2的(a)、(b)是说明三维传感器生成的点组数据的图。

图3的(a)、(b)是说明点组数据和图像数据的关系的图。

图4是说明点组数据向图像数据的映射的图。

图5的(a)、(b)是示出代表性的两个场景的图。

图6是示出相对于学习的损失的推移的图。

图7的(a)～(e)是示出几个验证结果的图。

图8是具有对象识别系统的汽车的框图。

图9是示出具有对象识别系统的车辆用灯具的框图。

图10是示出变形例5的对象识别系统的图。

图11是说明纵横比转换部进行的纵横比的转换处理的一个示例的图。

具体实施方式

(实施方式的概要)

本说明书所公开的一实施方式涉及运算处理装置。运算处理装置包括：二维转换部，将由三维传感器获取的点组数据转换为以距离作为像素值的二维图像数据；以及分类器，接收图像数据作为输入，判断点组数据所包含的对象的位置和类别。

根据该实施方式，通过将原本不是分类器的处理对象的点组数据形式的三维数据作为二维的图像数据进行处理，在图像处理中能够进行有效的分类器处理。另外，通过使用分类器，特征量的设计变得不再需要。

也可以是，二维转换部将点组数据所包含的各点的以欧几里得坐标系表示的坐标转换为极坐标系(r，θ，)，转换为将(θ，)作为像素位置、将距离r作为像素值的二维图像数据。

也可以是，将图像数据分割为多个区域，通过再次配置多个区域来改变纵横比。在适用于分类器的输入的纵横比和原图像数据的纵横比不同的情况下，通过转换纵横比，可以提高运算效率。

(实施方式)

下面，基于优选的实施方式参照附图说明本发明。对各附图所示的相同或等同的构成要素、构件、处理，标注相同的附图标记，适当省略重复的说明。另外，实施方式并不限定发明，仅是例示，并非实施方式所记载的所有特征或其组合都是发明的本质。

图1是示出实施方式的对象识别系统10的图。对象识别系统10包括三维传感器20和运算处理装置40。三维传感器20是lidar、tof(timeofflight：飞行时间)摄像机、立体摄影机等，生成描述形成在其周围的对象obj的表面的点p的集合(点组)的点组数据d1。

图2的(a)、(b)是说明三维传感器20生成的点组数据d1的图。图2的(a)是表示对象和点组的关系的立体图，图2的(b)表示描述点组的点组数据的数据结构。如图2的(a)所示，点组为复数n个点p1、p2、…、pn的集合，点组数据包含表示多个点p1、p2、…、pn各自的欧几里得坐标系(x，y，z)的位置的三维数据。将第i个点pi(i＝1、2、…、n)的坐标记为(xi，yi，zi)。此外，点的编号i根据三维传感器20的种类或制造商而不同，也可以用二维的方式赋予编号。

返回图1。运算处理装置40根据点组数据d1，判断对象obj的位置和类别(种类、类型)。例如对象的类别例示出行人、自行车、汽车、电线杆等。关于行人，可以将从前面观察的行人、从后面观察的行人、从侧面观察的行人定义作为同一类别。汽车、自行车也同样。在本实施方式中采用该定义。

运算处理装置40可以通过cpu(centralprocessingunit：中央处理器)、gpu(graphicsprocessingunit：图形处理器)或微型计算机等的处理器(硬件)与处理器(硬件)执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。

运算处理装置40包括二维转换部42和卷积神经网络44。二维转换部42和卷积神经网络44并不一定表示硬件上的独立，也可以表示通过cpu等的硬件执行软件程序而被提供的功能。

二维转换部42将由三维传感器20获取的点组数据d1转换为以距离r为像素值的二维图像数据d2。距离r也可以用例如8比特256级表示。

卷积神经网络44是接收图像数据d2作为输入，判断点组数据d1所包含的对象obj的位置和类别，输出表示位置和类别各自的似然度(所属概率)的最终数据d3的分类器。卷积神经网络44根据通过机械学习所生成的预测模型来实现。

关于卷积神经网络44，使用在图像识别中广泛应用的公知技术即可，因此省略详细的说明。

图3的(a)、(b)是说明点组数据d1和图像数据d2的关系的图。如图3的(a)所示，点组数据d1所包含的各点pi的坐标以欧几里得坐标系(xi，yi，zi)表示。二维转换部42将欧几里得坐标系(xi，yi，zi)转换为极坐标系(ri，θi，)。r为极径，θ为极角(天顶角)、为方位角(偏角)。然后，转换为将(θ，)作为像素位置、将距离r作为像素值的二维图像数据d2。图2的(b)中示出映射点pi的状况。

图4是说明点组数据向图像数据的映射的图。点组数据所包含的所有点(在该示例中为p1～p19)被映射成二维的数据结构，生成图像数据d2。对于不存在应映射的点p的像素，作为像素值，可以映射最大值(或0，或负值)。

以上为对象识别系统10的结构。接着，说明运算处理装置40进行的关于物体识别验证的结果。

验证不使用三维传感器20生成的点组数据d1，而是使用利用3d计算机图形生成的距离数据来进行。类别设定为车、货车、行人、摩托车、自行车五个。距离数据是300×300像素的二维数据，对应于上述的图像数据d2，像素值为距离。

图5的(a)、(b)是示出代表性的两个场景的图。图5的(a)的场景为高速公路，两辆货车和两辆摩托车位于前方。图5的(b)的场景为市区，两个行人、三辆汽车、一辆摩托车位于前方。各图的上半区表示距离数据，下半区表示投影到二维平面的摄像图像。

作为卷积神经网络44，使用了抗物体重叠强、并且也能够检测小的物体的ssd(singleshotmultiboxdetector：单发多边框检测器)。ssd是由多个卷积层所构成的神经网络，尺寸不同的六个卷积层输出物体的位置和各类别的似然度。从这六个层得到的输出为多个，但通过被称为non-maximumsuppression(非极大值抑制)的输出层合并物体区域的重叠较大的推定结果，得到最终的输出。

关于卷积神经网络44的学习，监督数据的收集中，利用了作为高级驾驶辅助系统(adas)开发援助工具而市售的仿真软件prescan。监督数据是二维结构的距离数据和记述了针对该数据物体的位置和类别的注释数据的组。此外，二维结构的距离数据优选使用与对象识别系统10所使用的三维传感器20相同的三维传感器，在此假定为使用虚拟的depth摄像机。最终制作的监督数据的数量为713个。

713个监督数据中，将8成的571个使用在学习中，将剩余的使用在验证中。学习次数为50世代(epoch)，批(batch)设定为4。是表示相对于学习的损失的推移的图。

图7的(a)～(e)是示出几个验证结果的图。边界框表示被检测到的对象的位置，同时表示出类别和似然度。可以看到几个获取失败，但可知能够正确地检测行人、货车、汽车、摩托车。

在对象识别系统10中，通过将以图像数据为对象的卷积神经网络转用于二维距离数据，可以进行位置检测和类别的识别。在该对象识别系统10中，还具有不需要针对对象分割点组数据的聚类处理的优点。

图8是具有对象识别系统10的汽车的框图。汽车100包括前照灯102l、102r。对象识别系统10之中，至少三维传感器20内置于前照灯102l、102r的至少一者。前照灯102位于车身的最前端，在检测周围的对象上，作为三维传感器20的设置位置是最有利的。关于运算处理装置40，可以内置于前照灯102，也可以设置在车辆侧。例如也可以是，运算处理装置40中，中间数据的生成在前照灯102的内部进行，最终数据的生成交给车辆侧。

图9是示出具有对象识别系统10的车辆用灯具200的框图。车辆用灯具200包括光源202、点灯电路204、光学系统206。并且，在车辆用灯具200中设置有三维传感器20和运算处理装置40。与运算处理装置40检测到的对象obj相关的信息被发送到车辆ecu104。车辆ecu可以根据该信息，进行自动驾驶。

另外，可以将与运算处理装置40检测到的对象obj相关的信息利用在车辆用灯具200的配光控制中。具体而言，灯具ecu208根据与运算处理装置40生成的对象obj的种类和其位置相关的信息，生成适当的配光图案。点灯电路204和光学系统206以可得到灯具ecu208生成的配光图案的方式工作。

以上，基于实施方式对本发明进行了说明。本领域技术人员应当理解：该实施方式是例示，在所述各构成要素或各处理过程的组合中可能会存在各种变形例，这些变形例也属于本发明的范围。以下，对这些变形例进行说明。

(变形例1)

在实施方式中，将三维的点组数据转换成极坐标系(r，θ，)，转换成将(θ，)作为像素位置、将距离r作为像素值的二维图像数据，但并不限定于此，关于向图像数据d2的转换，存在几个变形例。

例如也可以是，将三维的点组数据所包含的各点从欧几里得坐标系转换为圆柱坐标系(r，z，)，将(z，)作为像素位置，将r作为像素值。

另外，也可以是，将三维的点组数据所包含的各点投影于二维的平面，将距离r作为像素值。作为投影方法，可以使用透视投影或平行投影。

(变形例2)

也可以将对象作为朝向其的方向不同的类别进行定义。也就是说，可以将某个对象在与本车正对时和不是正对时，定义为不同的类别。这在对象obj的移动方向的推定中是有用的。

(变形例3)

运算处理装置40可以使用fpga或专用的asic(applicationspecificintegratedcircuit：专用集成电路)等仅由硬件构成。

(变形例4)

在实施方式中，说明了车载用的对象识别系统10，但本发明的应用并不限定于此，例如被固定地设置于信号器、交通标识或其他的交通设施，也可以应用在定点观测的用途中。

(变形例5)

图10是示出变形例5的对象识别系统10a的图。基于图像识别的物体检测用而开发的卷积神经网络多数支持一般的图像的分辨率和纵横比，假定的纵横比为1：1或4：3、或者16：9左右。另一方面，当使用低价格的三维传感器20时，俯仰角方向(高度方向)的分辨率有时相比于横向的分辨率为极小。例如美国quanergysystems公司出售的lidar即qurnergym8在360度扫描横向上具有10400的分辨率，但俯仰角方向的分辨率仅为8，纵横比(10400：8)极大。

因此，图10的运算处理装置40a包括纵横比转换部46，其转换通过二维转换部42所得到的图像数据d2的纵横比。卷积神经网络44中，输入转换了纵横比的图像数据d2’。

图11是说明纵横比转换部46进行的纵横比的转换处理的一个示例的图。也可以是，原图像数据d2被分割为多个区域r1、r2，通过将其再次配置来改变纵横比。

在适用于卷积神经网络44的输入的纵横比和原图像数据d2的纵横比不同的情况下，通过转换纵横比，可以提高运算效率。

(变形例6)

分类器的算法可以采用yolo(youonlylookonce：你只需看一次)、ssd(singleshotmultiboxdetector：单发多边框检测器)、r-cnn(region-basedconvolutionalneuralnetwork：基于区域的卷积神经网络)、sppnet(spatialpyramidpooling：空间金字塔池化)、fasterr-cnn、dssd(deconvolution-ssd：反卷积ssd)、maskr-cnn等，或者可以采用将来开发的算法。或者，也可以使用线型svm等。

基于实施方式，利用具体的语言说明了本发明，但实施方式仅表示本发明的原理、应用的一个侧面，在实施方式中，在不脱离权利要求的范围所规定的本发明的思想的范围内，允许多个变形例或配置的变更。

[工业上的可利用性]

本发明涉及对象识别系统。

[附图标记说明]

10…对象识别系统、20…三维传感器、40…运算处理装置、42…二维转换部、44…卷积神经网络、d1…点组数据、d2…图像数据、100…汽车、102…前照灯、104…车辆ecu、200…车辆用灯具、202…光源、204…点灯电路、206…光学系统、208…灯具ecu。