一种基于深度学习与测距的模块化定位系统的制作方法

本发明属于计算机视觉的目标检测领域与距离测量领域，具体涉及一种基于深度学习与距离测量的模块化定位系统。

背景技术：

在无人驾驶汽车的行驶过程中，需要检测车辆前方的物体以及与其的距离。为了获取车辆前方的物体信息，传统的作法是采用独立的目标检测系统与独立的距离测量系统。目前有多种目标检测系统，分别使用不同的目标检测方法。如基于区域的卷积神经网络(region-basedconvolutionalnetwork,r-cnn)，其通过将图像分割为有关部分与无关部分来缩小目标检测的范围，以提高目标检测的速度和准确性；但该方法需要判断有关区域与无关区域，计算比较耗时，不能满足实时检测的需求。针对该问题，redmon等在2016年提出了一种yolo算法(redmonj,divvalas,girshickr,etal.youonlylookonce:unified,real-timeobjectdetection[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016:779-788.)，该算法仅经过一次卷积神经网络运算，即可检测出目标，因此可实现快速的目标检测。

常用的距离测量系统主要有：基于超声波的距离测量系统、基于红外的距离测量系统、基于激光雷达的距离测量系统、基于结构光技术的距离测量系统和基于图像传感器的距离测量系统；例如名称为“基于超声波距离检测的无人机避障系统及其控制方法”(公开号为cn104820429b)的专利，通过超声波检测的方式，对无人机前方的障碍物进行检测，并进行避障。

上述目标检测系统和距离测量系统各自独立使用，一个系统完成一项任务。如果要同时完成目标检测和距离测量，需要同时使用至少两个系统，将各自检测和测量的结果进行融合，这会导致整个系统体积较大，不便于小型化和系统集成。

技术实现要素：

本发明提供了一种基于深度学习与测距的模块化定位系统。该系统基于深度学习的目标检测方法与摄像头的测距方法，能够同时完成物体识别与距离测量。

本发明提出的一种基于深度学习与测距的模块化定位系统，其特征在于，该系统包括：图像采集模块、目标检测模块、深度计算模块与连接模块组成；其特征在于：图像采集模块分别连接目标检测模块、深度计算模块；所述目标检测模块、深度计算模块分别连接连接模块；

其中图像采集模块为一种图像传感器，该模块用于获取环境中的图像数据，并开放图像数据读取端口，目标检测模块和深度计算模块可由此端口读取图像数据流。

其中目标检测模块为一种深度学习目标识别方法，该模块用于从图像采集模块端口读取图像采集模块采集的图像数据，从中检测出目标物体的位置信息以及物体名称或种类信息，并开放信息读取端口，连接模块可由此信息读取端口读取目标物体的位置信息以及物体名称或种类信息。

其中深度计算模块为一种深度计算方法或仪器，该模块用于从图像采集模块的端口读取图像采集模块采集的图像数据，根据图像数据计算深度数据，并开放信息读取端口，连接模块可由此信息读取端口读取图像的深度数据。

其中连接模块为计算机或嵌入式设备或其他能进行计算处理的装置，用于读取目标检测模块与深度计算模块端口内的数据，并根据其数据计算得出检测的目标的物体信息以及与其的距离信息，并将其反馈给使用者。

进一步的，所述图像采集模块用于采集图像序列i1，i2，…，ik，并开放图像序列i1，i2，…，ik读取端口，其中k为图像采集模块采集到的图像的幅数；

目标检测模块用于读取图像采集模块采集的图像序列i1，i2，…，ik，然后对图像采集模块采集到的图像序列i1，i2，…，ik进行处理，从图像采集模块采集到的图像序列中确定被识别目标物体在图像中的位置信息以及物体名称或种类信息，生成物体信息序列d1，d2，…，dk并开放物体信息序列d1，d2，…，dk读取端口；

深度计算模块用于读取图像采集模块采集的图像序列i1，i2，…，ik，然后对图像采集模块采集到的图像序列i1，i2，…，ik进行处理，生成深度图像序列a1，a2，…，ak，并开放深度图像序列a1，a2，…，ak读取端口；

连接模块用于读取目标检测模块生成的物体信息序列d1，d2，…，dk与深度计算模块生成的深度图像序列a1，a2，…，ak，将物体信息序列d1，d2，…，dk与深度图像序列a1，a2，…，ak所对应的同一时刻的信息相结合，根据物体信息中得到的物体在图像中的位置信息以及物体名称或种类信息，在同一时刻的深度图像中获取其真实世界位置坐标信息，从而生成含有真实世界位置坐标信息的物体综合信息序列b1，b2，…，bm，并将其反馈给使用者。

本发明相对于现有技术的优点：本发明提供的模块化定位系统，仅使用了一个单独的图像传感器，通过这一个传感器读取的数据，分别读入到目标检测模块与深度计算模块中，可以完成两项工作，且这两种工作模块互相独立运作，各个模块使用独立的端口通信且各个端口互不影响，便于缩小智能化设备的体积，简化系统的处理，有利于模块化，能够更好地应用于小体积设备，例如智能家居等设备中，既提高了目标识别的精确度，又能够对目标的位置做出判断，从而为智能仪器的简化与模块化提供了更有利的条件。

附图说明

图1是本发明基于深度学习与测距的模块化定位系统的流程图；

在图中，1为图像采集模块，2为目标检测模块，3为深度计算模块，4为连接模块。

具体实施方式

下面结合附图和实例对本发明作进一步详细的说明。

如图1所示，本发明设计的基于深度学习与测距的模块化定位系统，由图像采集模块1、目标检测模块2、深度计算模块3、连接模块4组成。

图像采集模块1可以是ccd，cmos等图像传感器，该模块用于获取环境中的图像数据或视频流数据，采集图像序列i1，i2，…，ik，其中k为图像采集模块采集到的图像的幅数，并开放图像序列i1，i2，…，ik读取端口。

目标检测模块2是一种深度学习目标识别方法，例如yolov3，ssd，fasterr-cnn等，该模块用于读取图像采集模块采集的图像序列i1，i2，…，ik，然后对图像采集模块采集到的图像序列i1，i2，…，ik进行处理，从图像采集模块采集到的图像序列中确定被识别目标物体在图像中的位置信息以及物体名称或种类信息，生成物体信息序列d1，d2，…，dk并开放物体信息序列d1，d2，…，dk读取端口；

深度计算模块3是一种深度计算方法或仪器，例如bm、sgbm、深度摄像头以及基于深度学习的psmnet等，该模块用于读取图像采集模块采集的图像序列i1，i2，…，ik，然后对图像采集模块采集到的图像序列i1，i2，…，ik进行处理，生成深度图像序列a1，a2，…，ak，并开放深度图像序列a1，a2，…，ak读取端口；

连接模块4可以是计算机或嵌入式设备或其他能进行计算处理的装置，该模块用于读取目标检测模块生成的物体信息序列d1，d2，…，dk与深度计算模块生成的深度图像序列a1，a2，…，ak，将物体信息序列d1，d2，…，dk与深度图像序列a1，a2，…，ak所对应的同一时刻的信息相结合，根据物体信息中得到的物体在图像中的位置信息以及物体名称或种类信息，在同一时刻的深度图像中获取其真实世界位置坐标信息，从而生成含有真实世界位置坐标信息的物体综合信息序列b1，b2，…，bm，并将其反馈给使用者。

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚，以下结合附图及实例，对本发明做进一步详细说明。本实例中，采用双目摄像头作为图像采集模块1，采用yolov3(redmonj,farhadia.yolov3:anincrementalimprovement[j].arxivpreprintarxiv:1804.02767,2018.)作为目标检测模块2，采用双目测距方法作为深度计算模块3，采用计算机作为连接模块4；使用usb连接方式连接图像采集模块1与连接模块4。

图像采集模块1采集双目图像序列i1，i2，…，ik和i′1，i′2，…，i′k，将双目图像序列i1，i2，…，ik和i′1，i′2，…，i′k分别发送给目标检测模块2以及深度计算模块3，其中k为图像采集模块1的采集到的图像的对数,il和i′l(1≤l≤k)表示图像采集模块1在同一时刻采集的第l对左、右双目图像。

目标检测模块2将图像采集模块1采集到的双目图像序列i1，i2，…，ik和i′1，i′2，…，i′k输入yolov3模型中，输出每张图像检测出的对象的对象名称以及对象位置，对双目图像序列中每对同一时刻采集的双目图像中的对象位置进行比对，筛选并去除仅在一张图像上被检测出的物体，生成物体信息序列d1，d2，…，dk并开放物体信息序列d1，d2，…，dk读取端口。

深度计算模块3读取图像采集模块1采集到的双目图像序列i1，i2，…，ik和i′1，i′2，…，i′k，对该序列中每对同一时刻采集的双目图像，首先采用畸变校正参数对图像进行畸变校正，然后采用立体匹配算法计算双目图像的视差图，再将视差图重投影至三维空间，得到深度图像，最后将由所有双目图像计算得到的深度图像组成深度图像序列a1，a2，…，ak，并开放深度图像序列a1，a2，…，ak读取端口。

连接模块4将拍摄的图像先输入目标检测模块，读取目标检测模块2生成的物体信息序列d1，d2，…，dk与深度计算模块3生成的深度图像序列a1，a2，…，ak，将物体信息序列d1，d2，…，dk与深度图像序列a1，a2，…，ak所对应的同一时刻的信息相结合，根据物体信息中得到的物体在图像中的位置信息以及物体名称或种类信息，在同一时刻的深度图像中获取其真实世界位置坐标信息，从而生成含有真实世界位置坐标信息的物体综合信息序列b1，b2，…，bm，并将其反馈给使用者。