基于卷积神经网络的自动导航小车系统及小车定位方法与流程

文档序号:13735352阅读:327来源:国知局
基于卷积神经网络的自动导航小车系统及小车定位方法与流程

本发明涉及基于卷积神经网络的自动导航小车系统及小车定位方法。



背景技术:

在现代科学技术的发展中,电子化、信息化、网络化和智能化已成为车辆以后发展的动向。agv小车是该发展动向的完美表现。agv小车,指装备有电磁或光学等自动导引装置,能够沿规定的导引路径行驶,具有安全保护以及各种移载功能的运输车,agv的全程是automatedguidedvehicle。agv小车越来越广泛的应用于工业生产实践中,由于它的高自动智能化,使工厂既节约了人工成本和生产成本,又提高了生产效率和生产周期。

目前市场上推出了由后台计算机控制的自动无人搬运车,通过计算机发出搬运指令,控制agv小车的行驶路线,agv小车循线的引导方式主要有电磁感应引导、超声波引导、激光引导或红外引导。在实际循线中,agv小车完成循线任务或者产生故障停止前进后,后台服务器需要提供额外的计算和通讯服务来对agv小车进行定位,agv小车定位功能往往需要通过在agv小车上加装gps定位装置来实现,增加了功耗和成本,同时gps定位信号在室内环境容易受干扰,稳定性不好。



技术实现要素:

为解决上述问题,本发明的目的是提供一种基于卷积神经网络的自动导航小车系统及小车定位方法。

实现本发明目的的技术方案是:基于卷积神经网络的自动导航小车系统的小车定位方法,包括以下步骤:

步骤一、构建自动导航小车系统;所述自动导航小车系统包括agv小车和引导机构;所述agv小车上设有摄像头与摄像头连接的带卷积神经网络的控制芯片;所述引导机构包括由设置在路面上由若干条横线和纵线形成的矩形网格,矩形网格的每个交叉点处设有不重复的路标;矩形网格中的路标为矩形标贴;每个所述路标的中心点与矩形网络中的交叉点重合,路标左右侧和前后侧的对称线与交叉点处的横线和纵线重合;矩形网格中的路标为矩形标贴;每个所述路标上都设有不重复的数字标记,每个路标上的数字标记为不重复的三位数字;路标颜色选择与路面主色反差较大的颜色,远程服务器将每个路标上的数字标记以数字标记集方式保存并传输至agv小车;

步骤二、远程服务器将矩形网格的结构、矩形网格线中路标位置保存并以无线通讯方式传输至agv小车;矩形网格中的路标位置即路标的坐标信息,每个路标的坐标信息均不相同,远程服务器将矩形网络中所有路标的坐标信息集传输至agv小车;

步骤三、远程服务器接收到agv小车路径规划请求,将包括多个路标位置的路径信息发送至agv小车,agv小车根据路径信息开始行驶;路径信息为多个路标位置的坐标信息集。

步骤四、agv小车在行驶过程中通过摄像头采集前方视频图像,通过带卷积神经网络的控制芯片进行视频图像的分析并识别路标,控制芯片统计由卷积神经网络分析出的行驶过的路标数量,和矩形网格比对获得agv小车的大概位置;再通过卷积神经网络计算前方最近路标距离本小车的距离,从而获得agv小车的精确位置。

当agv小车在行驶过程中产生故障停止或接近抵达目标点时,控制芯片通过摄像头将前方最近路标上的数字标记识别后与控制芯片内保存的所有路标的数字标记集对比后得出agv小车当前位置,再计算前方最近路标距离agv小车的距离即可得到agv小车具体定位。

自动导航小车系统中,卷积神经网络模型的处理过程包括以下步骤:

①、样本采集;

采集路标图像和小车图像,对图像进行分类生成路标样本和小车样本;

②、对路标样本和车辆样本预处理;

根据设定的样本尺寸,对路标样本和小车样本随机地进行对称翻转变化,随机修剪,色彩抖动,噪声扰动;手动将路标样本、小车样本中包含路标、小车的长方形区域框选出,将长方形框的左上角像素点的坐标值和右下角像素点的坐标值记录下来,完成小车或路标的标注;

③、卷积网络的训练:

将步骤②中标注好的小车样本和路标样本输入深度卷积网络中去,获得该图像文件的网络输出,然后计算出网络输出和标注的矩形框坐标之间的差值,然后将该差值通过反向传递进行卷积网络权重的更新。依照步骤③对所有的训练图像迭代上百次,最终获得训练好的卷积网络模型。

④、将路标样本和车辆样本输入已训练完成的卷积神经网络,卷积神经网络计算后获得识别结果,根据识别结果对路标和小车的位置、角度做进一步计算。

进一步优选地,①中步骤包括:从拍摄的视频或图片中截取大量路标样本和小车样本组成路标样本和小车样本,路标样本和小车样本分别包括了路标图像的各个视角和小车图像的各个视角。

进一步优选地,②中步骤包括:将样本图像的像素尺寸范围转换至288*288–544*544。

进一步优选地,③中步骤包括:在识别出路标后,将该路标中心与图像底线中心连线,中心连接与垂直线的夹角即为本小车当前行进方向的夹角。中心连接的长度即为本小车距离前面路标的距离。

采用了上述技术方案,本发明具有以下的有益效果:(1)本发明利用卷积神经网络来模拟人眼对路标的定位,平时利用路标简洁定位,利用卷积神经网络来识别摄像头拍摄的路标信息,并记住行驶过的路标数量以及与前方路标的距离,从而知道目前所处的位置,简洁定位计算量较小,反应速度快,可满足绝大多数时间的定位要求;当agv小车运行接近目标地或故障停止时,利用卷积神经网络识别路标上的数字信息,通过数字信息来实现精确定位,进一步提高定位的精确性。

(2)本发明中,agv小车在整个行驶过程中的定位由各小车独立完成,不需要通过后台服务器,大大提高了整个小车系统的性能和吞吐率,也降低了服务器单点故障对整个系统的不良影响。

附图说明

为了使本发明的内容更容易被清楚地理解,下面根据具体实施例并结合附图,对本发明作进一步详细的说明,其中

图1为本发明中自动导航小车系统的结构模块图。

图2为本发明中实施例1中的小车定位方法流程图。

图3为本发明中实施例1的小车定位方法示意图。

图4为本发明中实施例2中的小车定位方法流程图。

图5为本发明中实施例2的小车定位方法示意图。

具体实施方式

(实施例1)

如图1、图2和图3所示,本实施例的基于卷积神经网络的自动导航小车系统的小车定位方法,包括以下步骤:

步骤一、构建自动导航小车系统;自动导航小车系统包括agv小车和引导机构;agv小车上设有摄像头与摄像头连接的带卷积神经网络的控制芯片;引导机构包括由设置在路面上由若干条横线和纵线形成的矩形网格,矩形网格的每个交叉点处设有不重复的路标,矩形网格中的路标为矩形标贴;每个路标的中心点与矩形网络中的交叉点重合,路标左右侧和前后侧的对称线与交叉点处的横线和纵线重合;路标颜色选择与路面主色反差较大的颜色;

步骤二、远程服务器将矩形网格的结构(6x6)、矩形网格线中路标位置保存并以无线通讯方式传输至agv小车;矩形网格中的路标位置即路标的坐标信息,坐标以横线上的数值为横坐标,纵线上的数字为纵坐标,每个路标的坐标信息均不相同,远程服务器将矩形网络中所有路标的坐标信息集传输至agv小车;

步骤三、远程服务器接收到agv小车路径规划请求,将出发点a点至目标点b点的路径信息发送至agv小车,路径信息为多个路标位置的坐标信息集,agv小车根据路径信息上的坐标信息集【(0,0)—(0,1)-(1,1)—(2,1)-(3,1)—(4,1)-(4,2)—(4,3)-(4,4)】依次开始行驶;

步骤四、agv小车在行驶过程中通过摄像头采集前方视频图像并通过带卷积神经网络的控制芯片进行视频图像的分析,当小车行驶至图中c点时,控制芯片将agv小车行驶过的路标数量(4个)结合路径信息中的路标位置来确定当前位置以及经过坐标点(2,1)且未到坐标点(3,1),再计算前方最近路标距离agv小车的距离即可得到agv小车具体定位。

构建卷积神经网络模型的步骤如下:

(1)将352x352像素大小的图片作为输入层input0输入卷积层conv1,对其进行行块大小为3x3像素、步长为1像素、填充距离为1像素的卷积操作,使用16个卷积核,得到16张352x352像素的特征图;

(2)将卷积层conv1输出的16张特征图输入到池化层pool2,对其进行最大池操作,池化块的大小为2x2像素,步长为2像素,得到16张176x176像素的特征图;

(3)将池化层pool2输出的16张特征图输入卷积层conv3,对其进行行块大小为3x3像素、步长为1像素、填充距离为1像素的卷积操作,需要用到32个卷积核,得到32张176x176像素的特征图;

(4)将卷积层conv3输出的32张特征图输入到池化层pool4,对其进行最大池操作,池化块的大小为2x2像素,步长为2像素,得到32张88x88像素的特征图;

(5)将池化层pool4输出的32张特征图输入卷积层conv5,对其进行块大小为3x3像素、步长为1像素、填充距离为1像素的卷积操作,需要用到64个卷积核,得到64张88x88像素的特征图;

(6)将卷积层conv5输出的64张特征图输入到池化层pool6,对其进行最大池操作,池化块的大小为2x2像素,步长为2像素,得到64张44x44像素的特征图;

(7)将池化层pool6输出的64张特征图输入卷积层conv7,对其进行行块大小为3x3像素、步长为1像素、填充距离为1像素的卷积操作,需要用到128个卷积核,得到128张44x44像素的特征图;

(8)将卷积层conv7输出的128张特征图输入到池化层pool8,对其进行最大池操作,池化块的大小为2x2像素,步长为2像素,得到128张22x22像素的特征图;

(9)将池化层pool8输出的输出的128张特征图输入卷积层conv9,对其进行行块大小为3x3像素、步长为1像素、填充距离为1像素的卷积操作,需要用到256个卷积核,得到256张22x22像素的特征图;

(10)将卷积层conv9输出的256张特征图输入到池化层pool10,对其进行最大池操作,池化块的大小为2x2像素,步长为2像素,得到256张11x11像素的特征图;

(11)将池化层pool10输出的输出的256张特征图输入卷积层conv11,对其进行行块大小为3x3像素、步长为1像素、填充距离为1像素的卷积操作,需要用到512个卷积核,得到512张11x11像素的特征图;

(12)将卷积层conv11输出的输出的512张特征图输入卷积层conv12,对其进行行块大小为3x3像素、步长为1像素、填充距离为1像素的卷积操作,需要用到1024个卷积核,得到1024张11x11像素的特征图;

(13)将卷积层conv12输出的输出的1024张特征图输入卷积层conv13,对其进行行块大小为1x1像素、步长为1像素、填充距离为1像素的卷积操作,需要用到80个卷积核,得到80张11x11像素的特征图;

(14)根据最后获得的80张11*11的特征图判断图中各个像素点周围可能出现的目标物体及其轮廓矩形框的顶点坐标。输出判断结果。

(实施例2)

如图1、图4和图5所示,本实施例的基于卷积神经网络的自动导航小车系统的小车定位方法,包括以下步骤:

步骤一、构建自动导航小车系统;自动导航小车系统包括agv小车和引导机构;agv小车上设有摄像头与摄像头连接的带卷积神经网络的控制芯片;引导机构包括由设置在路面上由若干条横线和纵线形成的矩形网格,矩形网格的每个交叉点处设有不重复的路标;矩形网格中的路标为矩形标贴;每个路标的中心点与矩形网络中的交叉点重合,路标左右侧和前后侧的对称线与交叉点处的横线和纵线重合;每个路标上都设有不重复的数字标记,每个路标上的数字标记为不重复的三位数字,远程服务器将每个路标上的数字标记以数字标记集方式保存并传输至agv小车。

步骤二、远程服务器将矩形网格的结构(6x6)、矩形网格线中路标位置保存并以无线通讯方式传输至agv小车;矩形网格中的路标位置即路标的坐标信息,坐标以横线上的数值为横坐标,纵线上的数字为纵坐标,每个路标的坐标信息均不相同,远程服务器将矩形网络中所有路标的坐标信息集传输至agv小车;

步骤三、远程服务器接收到agv小车路径规划请求,将出发点a点至目标点b点的路径信息发送至agv小车,路径信息为多个路标位置的坐标信息集,agv小车根据路径信息上的坐标信息集【(0,0)—(0,1)-(1,1)—(2,1)-(3,1)—(4,1)-(4,2)—(4,3)-(4,4)】依次开始行驶;当agv小车行驶至c点产生故障停止时,控制芯片通过摄像头将前方最近路标上的数字标记431识别后与控制芯片内保存的所有路标的数字标记集对比后得出agv小车当前位置,再计算前方最近路标距离agv小车的距离即可得到agv小车具体定位。

步骤四、agv小车在行驶过程中通过摄像头采集前方视频图像并通过带卷积神经网络的控制芯片进行视频图像的分析,当小车行驶至图中d点时,控制芯片将agv小车行驶过的路标数量(7个)结合路径信息中的路标位置来确定当前位置以及经过坐标点(4,2)且未到坐标点(4,3),再计算前方最近路标距离agv小车的距离即可得到agv小车具体定位。

步骤五,agv小车接近抵达目标点b点时,控制芯片通过摄像头将前方最近路标上的数字标记(448)识别后与控制芯片内保存的目标点路标的数字标记对比后确认定位。

本实施例中构建卷积神经网络模型的步骤与实施例1相同。

以上的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1