一种智能语音导盲机器人控制方法及控制系统与流程

文档序号:18408782发布日期:2019-08-10 00:43阅读:395来源:国知局
一种智能语音导盲机器人控制方法及控制系统与流程

本发明属于导盲机器人,具体涉及一种智能语音导盲机器人控制方法及控制系统。



背景技术:

据国家统计部门统计,我国有视力障碍残疾人1731万人,其中,盲人有500多万人。每年新增的盲人大约有40多万人。在我们的日常生活中,靠视觉获取的信息是占大多数的,然而盲人在生理上的缺陷以及社会复杂环境的影响,给盲人的生活带来了极大的不便。

国家对盲人的扶持力度加大,各类培训盲人按摩的机构增多,盲人有了更多的择业机会,导盲手杖、导盲犬等的出现极大帮助了盲人的出行。而目前没有针对盲人用的导盲机器人,为盲人根据周围物体以及物体距离盲人的角度与距离提供一种智能引导。



技术实现要素:

本发明的目的在于提供一种智能语音导盲机器人控制方法及控制系统,以克服现有技术的不足。

为达到上述目的,本发明采用如下技术方案:

一种智能语音导盲机器人控制方法,包括以下步骤:

步骤1)、通过双目摄像机获取机器人前方图像,然后通过对获取的图像采用yolo算法对机器人前方障碍物进行类别识别得到障碍物类别信息;

步骤2)、对双目摄像机进行双目标定,利用标定后的双目摄像机获取障碍物与机器人的距离和方位;

步骤3)、通过espeak语音合成将步骤1)和步骤2)得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报;

步骤4)、利用向红外传感器检测检测障碍物位于车辆的位置,控制车辆向障碍物所在车辆位置的相反方向移动。

进一步的,步骤1)中,基于darknet神经网络结构,采用yolo算法对获取的图像进行神经网络样本训练和测试。

进一步的,将双目摄像机获取的图像划分为大小为s*s个小格子,每个格子负责检测是否有待检测物体的中心落在了格子内,各网格检测时产生b个检测边框,每个边框包含5维信息:x,y,w,h,cobj,x,y,w,h,cobj分别代表边框中心的横坐标、纵坐标、整幅图像的宽度、整幅图像的高度和包围框的置信度,置信度如公式(1)(2)所示:

式(1)中,pr(object)为物体在格子中的概率,存在则为1,反之为0,iou表示参考的标准框和检测框的交并面积之比;

yolo算法在卷积层提取特征,目标预测在全连接层进行,当pr(object)=1时,整幅图片中某类的置信度如公式(3):

式中pr(class|object)是待检测目标的分类条件概率;pr(classi)是预测了某类别的概率;设置检测边框的阈值,滤掉得分低于阈值的包围边框,对保留的边框进行非极大值抑制处理,即可得到图像中障碍物对应置信度,即障碍物类别信息。

进一步的,对双目摄像机进行标定,定义p=[xy]t的点和空间中的点p=[xyz]t之间的关系表示为:p=shp

式中:s为尺度因子,h由矩阵表示:h=aw,a为摄像机的内参数矩阵,(fx,fy)是图像在x轴和y轴方向上的尺度因子,(cx,cy)为摄像机的主点坐标;w=[rt],用于摄像机平面和目标物体平面的旋转平移变换,即为摄像机外参数矩阵。

进一步的,对标定后的双目摄像机进行立体校正:校正后点的位置表示为(xp,yp),畸变后点的位置表示为(xd,yd),则有:

式中:k1、k2、k3为切向畸变参数,p1、p2为径向畸变参数。

进一步的,具体测距公式为:

式中,f为相机焦距,t为两相机中心距,xl-xr为视差,z为深度信息,p为待测物体位置。

进一步的,对校正好的双目摄像机获取的左、右图片进行半全局sgbm立体匹配,寻找同一物点在左、右图片中的对应坐标以及两个点所对应坐标的视差值d,通过以下公式计算物体的深度:

q[xyd1]t=[xyzw]t(4-11)

空间点的三维坐标就是(x/wy/wz/w)。

进一步的,根据物体的边缘在图像像素中的位置与图像中间像素位置的x方向差值除以x方向像素值再乘整个图像的视角,即可得到现实物体与机器人待角度偏移,整个图像的视角即为图像代表的视野角度。

一种导盲机器人系统,包括麦克纳姆轮轮式车以及设置于麦克纳姆轮轮式车上的控制系统、双目摄像机、语音播报器和红外传感器;

控制系统包括主控制单元以及与主控制单元连接的红外测距单元、行走控制单元和语音控制单元;主控制单元用于加载上述方法程序;

红外测距单元通过红外传感器获取麦克纳姆轮轮式车周围的障碍物信息,并将获取的障碍物信息传输至主控制单元;

主控制单元根据获取的障碍物信息生成避障路线信息,将避障路线信息传输至行走控制单元实现麦克纳姆轮轮式车避障目的;行走控制单元用于接收主控制单元控制信号驱动麦克纳姆轮轮式车电机运动;

双目摄像机用于获取麦克纳姆轮轮式车前方图像,并将获取的图像传输至主控制单元;主控单元根据获取的图像进行识别和测距,然后将识别信息和测距信息通过语音控制单元控制语音播报器进行播报。

进一步的,行走控制单元采用l298n电机驱动模块;麦克纳姆轮轮式车底盘采用四个直流电机控制的麦克纳姆轮搭建方式的轮式车底盘。

与现有技术相比,本发明具有以下有益的技术效果:

本发明一种智能语音导盲机器人控制方法及控制系统,采用yolo神经网络实现了对物体的检测与识别得到障碍物类别信息,对双目摄像机进行双目标定与立体匹配从而实现测距功能,利用espeak语音合成将得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报,从而实现障碍物播报,采用近红外传感器对视野内的障碍物进行检测,通过行走装置进行行走和避障,并通过语音形式与使用者进行信息传递,增加了使用者对周围环境的感知能力,本发明识别准确率高、对复杂环境性能稳健,本发明实现了精准智能的语音播报,以提示盲人前方的物体类别,并提供最近物体的距离,使盲人对环境有精确的了解,提高生活质量,能够满足盲人生活需要。

进一步的,基于darknet神经网络结构,采用yolo算法对获取的图像进行神经网络样本训练和测试,提高了计算精度。

进一步的,对双目摄像机进行标定,减小了相机的径向畸变和切向畸变。

附图说明

图1为本发明结构示意图。

图2为本发明控制系统框图。

图3为本发明方法流程图。

图4为麦克纳姆轮轮式车控制流程图。

图5为物体检测流程图。

图6为神经网络训练框图。

图7为预测位置参数结构示意图。

图8为转移层结构图。

图9为摄像机小孔成像模型图。

图10为立体匹配与测距基本原理图。

具体实施方式

下面结合附图对本发明做进一步详细描述:

如图1、图2所示,一种智能语音导盲机器人,包括麦克纳姆轮轮式车2以及设置于麦克纳姆轮轮式车2上的控制系统1、双目摄像机4、语音播报器3和红外传感器5;

控制系统包括主控制单元以及与主控制单元连接的红外测距单元、行走控制单元和语音控制单元;

红外测距单元通过红外传感器5获取麦克纳姆轮轮式车2周围的障碍物信息,并将获取的障碍物信息传输至主控制单元;

主控制单元根据获取的障碍物信息生成避障路线信息,将避障路线信息传输至行走控制单元实现麦克纳姆轮轮式车避障目的;行走控制单元用于接收主控制单元控制信号驱动麦克纳姆轮轮式车电机运动;

双目摄像机4用于获取麦克纳姆轮轮式车前方图像,并将获取的图像传输至主控制单元;主控单元根据获取的图像进行识别和测距,然后将识别信息和测距信息通过语音控制单元控制语音播报器3进行播报;

行走控制单元采用l298n电机驱动模块;麦克纳姆轮轮式车底盘采用四个直流电机控制的麦克纳姆轮搭建方式的轮式车底盘为载体以实现小车的360度旋转,优化避障效果。

应用机器视觉中机器人对外界物体的检测与识别,并感知物体与使用者的距离和角度,以找到盲人适合的最优路径。

一种智能语音导盲机器人控制方法,包括以下步骤:

步骤1)、通过双目摄像机获取机器人前方图像,然后通过对获取的图像采用yolo算法对机器人前方障碍物进行类别识别;

步骤1)中,基于darknet神经网络结构,采用yolo算法对获取的图像进行神经网络样本训练和测试,能够更好的避免对图像的背景的误检测;

神经网络训练样本主要对家庭常见障碍物类别的训练,训练了桌子,椅子,盆栽植物,电脑,杯子等20余种物体,当摄像头获取图像后,进行yolo算法,可以识别出已经训练过的物体类别并框出,并将输出的结果写入语音播报程序,双目视觉检测到最近物体的距离和与机器人的偏离角度,也一并写入语音播报程序,最后播报内容主要为,前方障碍物类别,距离最近障碍物的距离与角度,提醒盲人及时躲避并了解前方障碍物信息以大致了解路况。

具体的,将双目摄像机获取的图像全图划分为大小为s×s的格子,每个格子负责中心在该格子的目标检测,采用一次性预测所有格子所含目标的boundingbox(包围框)、定位置信度以及所有类别概率向量来将问题一次性解决,每个boundingbox要预测x、y、w、h和confidence(置信度)共5个值,x、y分别代表边框中心的横坐标值和纵坐标值,p(x,y)坐标是单元网格的中心,w、h分别是相对于整幅图像的宽度和高度的估计值,confidence是包围框的置信度,由含有物体的概率和包围框预测的概率的乘积组成在测试时,每个网格预测的class信息和boundingbox预测的confidence信息相乘,就得到每个boundingbox的class-specificconfidencescore(类别置信分数):

式(4-1)左边第一项就是每个网格预测的类别信息,第二三项就是每个boundingbox预测的confidence。这个乘积即encode(编码)了预测的box属于某一类的概率,也有该box准确度的信息,得到每个box的class-specificconfidencescore(类别置信分数)以后,设置阈值,滤掉得分低的boxes(包围框),对保留的boxes进行nms(非极大值抑制)处理,即可得到图像中障碍物对应置信度,即障碍物类别信息;

另外,yolo也最适合本文中需要同时检测多种障碍物的要求,故本文中物体检测部分采用yolov2检测系统,yolo算法属于cnn,也由卷积层、池化层、全连接层组成。但不同的是其输出层是张量,而且其训练的样本无需从样本图像中特意裁剪出,而是对整个图像进行训练和检测,这便提升了系统的稳定性,减少了背景的误检测。

双目摄像机获取的图像被划分为大小为s*s个小格子,每个格子负责检测是否有待检测物体的中心落在了格子内,各网格检测时产生b个检测边框,每个边框包含5维信息(x,y,w,h,cobj),分别代表的是边框中心的横坐标、纵坐标、整幅图像的宽度、整幅图像的高度和包围框的置信度,置信度如公式(1)(2)所示:

式(1)中,pr(object)为物体在格子中的概率,存在则为1,反之为0,iou表示参考的标准框和检测框的交并面积之比;

yolo算法在卷积层提取特征,目标预测在全连接层进行,当pr(object)=1时,整幅图片中某类的置信度如公式(3)。

式中pr(class|object)是待检测目标的分类条件概率;pr(classi)是预测了某类别的概率;设置检测边框的阈值,滤掉得分低于阈值的包围边框,对保留的边框进行非极大值抑制处理,即可得到图像中障碍物对应置信度,即障碍物类别信息。

每个网格预测一个类别信息,记为c类;则s×s个网格,每个网格预测b个boundingbox预测c个类。输出s×s×(5×b+c)的一个张量,

实施例

本申请实施例物体检测流程图如图5所示,本实验一共有20类物体,那么每一个网格只预测一次20类物体的条件类概率pr(class_iobject),i=1,2,...,20;每一个网格预测b个boundingbox的位置;即这b个boundingbox共享一套条件类概率pr(class_iobject),i=1,2,...,20。基于计算得到的pr(class_iobject),在测试时可以计算某个boundingbox类相关置信度:

yolo神经网络训练框图如图6所示,yolo神经网络训练过程如下:

(1)用64个7×7的卷积核在整幅图像上卷积;

(2)经过一系列的3×3或者1×1的卷积层,提取特征;

(3)用两个全连接层做分类和回归,最后生成一个7×7×30的矩阵,7×7代表把图像分成7×7的grid,每一个grid的结果用一个30维的特征向量表示,2×5+20=30,2代表每个grid预测两类,5代表一类物体的x、y、width、height和confidence,20代表二十个物体类别。

1.1预训练尺寸

采用yolov2算法对神经网络样本预训练,直接使用448×448的网络入口进行预训练,效果得到3.7%的提升;

1.2更细网络划分

yolov2算法为了提升小物体检测效果,减少网络中pooling(池化层)数目,使最终特征图尺寸更大,如输入为416×416,则输出为13×13×125,其中13×13为最终特征图,即原图分格的个数,125为每个格子中边界框构(5×(classes+5))。

1.3全卷积网络

为了使网络能够接受多种尺寸的输入图像,yolov2算法除去了v1网络结构中的全连层,因为全连接层必须要求输入输出固定长度特征向量。将整个网络变成一个全卷积网络,能够对多种尺寸输入进行检测。同时,全卷积网络相对于全连接层能够更好的保留目标的空间位置信息。

1.4新基础网络

为不同基础网络结构做分类任务所对的计算量,横坐标为做一次前向分类任务所需要的操作数目;使用darknet-19作为基础预训练网络(共19个卷积层),能在保持高精度的情况下快速运算。

1.5anchor(锚)机制

yolov2算法为了提高精度与召回率,使用faster-rcnn中的anchor机制:在每个网格设置k个参考anchor,训练以gtanchor作为基准计算分类与回归损失,测试时直接在每个格子上预测k个anchorbox,每个anchorbox为相对于参考anchor的offset与w、h的refine;这样把原来每个格子中边界框位置的全图回归转换为对参考anchor位置的精修;

通过k-means算法离线对voc及coco数据集中目标的形状及尺度进行了计算,得到当k=5时并且选取固定5比例值的时,anchors形状及尺度最接近voc与coco中目标的形状。

1.6新边界框预测方式

如图7所示,在预测位置参数时采用强约束方法:

对应cell距离左上角的边距为(cx,cy),σ定义为sigmoid激活函数,将函数值约束到[0,1],用来预测相对于该cell中心的偏移(不会偏离cell);

预定anchor(文中描述为boundingboxprior)对应的宽高为(pw,ph),预测location是相对于anchor的宽高乘以系数得到;

现在,神经网络在特征图(13×13)的每个cell上预测5个boundingboxes(聚类得出的值),同时每一个boundingbox预测5个坐值,分别为tx、ty、tw、th、to,其中前四个是坐标,to是置信度;式(4-4)、式(4-5)中如果这个cell距离图像左上角的边距为(cx,cy)以及式(4-6)与式(4-7)中该cell对应box(boundingboxprior)的长和宽分别为(pw,ph),那么式(4-8)中预测值σ(to)可以表示为:

bx=σ(tx)+cx(4-4)

by=σ(ty)+cy(4-5)

pr(object)*iou(b,object)=σ(to)(4-8)

1.7残差层融合低级特征

如图8所示转移层结构图,通过简单添加一个转移层(passthroughlayer),这一层要把浅层特征图(分辨率为26×26,是底层分辨率4倍)连接到深层特征图;

这个转移层也就是把高低两种分辨率的特征图做了一次连结,连接方式是叠加特征到不同的通道而不是空间位置。这个方法把26×26×512的特征图连接到了13×13×2048的特征图,这个特征图与原来的特征相连接。

步骤2)、对双目摄像机进行双目标定,利用标定后的双目摄像机获取障碍物与机器人的距离和方位;

基于双目视觉的立体匹配与测距:

对双目摄像机进行双目标定以及立体匹配测距,完成机器人对最近物体距离和方位的感知;

本文的标定对象为两个相对位置固定的罗技c270摄像头。采用一张9*6的棋盘平面作为标定模板,正方格的边长为19mm;实验中将模板平面放在两个摄像头的视野中,采集像素为640×480的图像;然后调整模板的角度和位置,令左、右摄像头拍摄均可成功检测到角点坐标的图片二十张。采用张正友标定法对双目摄像机进行标定,得到两个摄像头之间的矩阵参数,得到两个摄像头相对位置,使双目可以用来进行视觉计算,求解投影矩阵、内部参数矩阵和外部参数矩阵;

2.1摄像机标定

世界坐标系、图像坐标系和摄像机坐标系是双目视觉中需要用到的坐标系。如图9所示小孔成像模型图,把摄像机近似为针孔模型,图像中p=[xy]t的点和空间中的点p=[xyz]t之间的关系可以表示为:p=shp

式中:s为尺度因子,h由2个矩阵表示:h=aw,a为摄像机的内参数矩阵,(fx,fy)是图像在x轴和y轴方向上的尺度因子,(cx,cy)为摄像机的主点坐标。w=[rt],用于摄像机平面和目标物体平面的旋转平移变换,即为摄像机外参数矩阵。

实际上相机存在着径向畸变和切向畸变,所以还得求解相机的畸变参数,以便能够校正产生畸变的图像。令校正后点的位置表示为(xp,yp),畸变后点的位置表示为(xd,yd),则有:

式中:k1、k2、k3为切向畸变参数,p1、p2为径向畸变参数。

本文的标定对象为两个相对位置固定的罗技c270摄像头。采用一张9×6的棋盘平面作为标定模板,正方格的边长为19mm,实验中将模板平面放在两个摄像头的视野中,采集像素为640×480的图像,然后调整模板的角度和位置,令左、右摄像头拍摄均可成功检测到角点坐标的图片二十张;执行标定程序,求解投影矩阵、内部参数矩阵和外部参数矩阵如下所示:

dl=[-4.33424e-0022.64939e-0011.02745e-0026.62989e-003-2.94308e-001]

dr=[-6.57543e-0022.86837e-0015.98181e-003-8.11034e-004-5.05326e-001]

t=[-7.268001898891e+0021.310076437020e+0002.117953028748e+000]ml和mr是左右相机的内参数,r是左右相机的旋转矩阵,t是左右相机的平移矩阵,dl和dr是左右相机的畸变参数。

其中旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系旋转矩阵:描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向;平移矩阵:描述了在摄像机坐标系下,空间原点的位置。

2.2立体校正

在真实的双目立体视觉中,两个摄像机平面中是不存在完全的共面行对准的。所以我们要进行立体校正,把实际中非共面行对准的两幅图像,校正成共面行对准。opencv为我们提供了cvstereorectify函数完成左右图像对校正。

要计算目标点在左右两个视图上形成的视差,首先要把该点在左右视图上两个对应的像点匹配起来。然而,在二维空间上匹配对应点是非常耗时的,为了减少匹配搜索范围,我们利用极线约束使得对应点的匹配由二维搜索降为一维搜索。而立体校正的作用就是要把消除畸变后的两幅图像严格地行对应,使得两幅图像的对极线恰好在同一水平线上,这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号,只需在该行进行一维搜索即可匹配到对应点。当两个图像平面是完全共面行对准时,计算立体视差是最简单的。但是,在现实的双目立体视觉系统中,是不存在完全的共面行对准的两个摄像机图像平面的。所以我们要进行立体校正,把实际中非共面行对准的两幅图像,校正成共面行对准。opencv提供了cvstereorectify函数完成左右图像对校正,cvstereorectify函数输入参数是相机标定的结果:摄像机内参数,畸变参数,左右相机旋转矩阵和平移向量;输出参数有左右相机平面间的行对准校正旋转矩阵,左右相机的投影矩阵和重投影矩阵q。然后分别对左右图像调用函数cvinitundistortrectifymap,该函数返回校正图像所需要的映射矩阵。最后调用函数cvremap,得到非畸变图像。

2.3立体匹配与测距

如图10所示测距的基本原理图,具体测距公式为:

式中,f为相机焦距,t为两相机中心距,xl-xr为视差,z为深度信息,即可得到障碍物与机器人的距离和方位,p为待测物体位置;视差值和深度是反比的关系,当视差越接近于0时,视差的微小变化会导致较大的深度变化,所以该测距方案仅对与摄像机距离较近的物体有着较高的精度。

对校正好的双目摄像机获取的左、右图片进行半全局sgbm立体匹配,寻找同一物点在两幅图像中的对应坐标,并得到他们之间的距离——视差,立体匹配就是匹配左右相机图像对中相同的点,得到视差图;块匹配算法是一种相对优秀的匹配算法,opencv实现了一个快速有效的块立体匹配算法,它采用了一个叫“绝对误差累计”的小窗口法来匹配左右两幅无畸变图像对之间的相同点。该算法只能匹配两幅图像之间的强纹理点,主要步骤如下:

(1)首先进行预过滤,使得图像亮度归一化同时加强图像纹理;

(2)然后沿着水平极线滑动sad窗口进行匹配搜索;

(3)最后再进行过滤,去除那些误匹配的点。

在opencv中,可以使用cvfindstereocorrespondencesgbm函数实现左右非畸变图像对的匹配,得出视差图。

如果知道了图像点(x,y)和视差值d,就可以使用如下的公式计算物体的深度:

q[xyd1]t=[xyzw]t(4-11)

空间点的三维坐标就是(x/wy/wz/w);

采用函数cvreprojectimageto3d进行具体实现,实验的结果如表1所示。

表1

分析上表可知当待测量的目标物体距离摄像机较近时,系统测量目标的深度信息精度较高,随着距离变远,测量精度下降。在本文中我们并不追求距离的精准性,该实验结果满足为盲人播报环境信息的要求。

若选定区域在图像的左半边,找到带有最近物体信息的像素区域的最左边的像素位置,与整个图像的中心像素位置,利用三角函数,计算出机器人待偏移角度:根据物体的边缘在图像像素中的位置,并根据该像素位置与图像中间像素位置的x方向差值除以x方向像素值再乘整个图像的视角(图片代表的视野角度),即可得到现实物体与机器人的角度偏移;得到角度后传给机器人底盘控制,电机控制万向轮转角度即盲人应向左移动的角度;同理若选定区域在图像的右半边,即盲人应向右移动的角度;

步骤3)、通过espeak语音合成将步骤1)和步骤2)得到的障碍物类别信息和取障碍物与机器人的距离和方位进行语音播报;本实验利用linux系统下的espeak语音合成工具,将图像采集到的文字信息转化为语音信息,可实现机器人播报当前障碍物的与机器人之间的距离及与人正前方形成的角度;

espeak语音合成器简单快捷,体积小,能从标准输入中把文本读出来,语音输出可保存为.wav格式的文件,提供多种声音特性选择,是一个简单快捷的语音合成工具。

对于语音播报系统主要包括三个部分:障碍物的种类播报,障碍物的距离播报,行人的避障播报。

机器人运动控制及传感器信号接收系统

机器人控制程序用树莓派、python进行编程。

步骤4)、利用向红外传感器检测检测障碍物位于车辆的位置,控制车辆向障碍物所在车辆位置的相反方向移动。

图4为麦克纳姆轮轮式车控制方法流程图,

控制麦克纳姆轮轮式车向红外传感器5检测到障碍物位于车辆的相反方向行驶;

即:如果麦克纳姆轮轮式车后方有信号(即障碍物位于车辆后方),则控制车辆向前行驶;

如果麦克纳姆轮轮式车前方有信号,则控制车辆向后行驶;

如果麦克纳姆轮轮式车左方有信号,则控制车辆向右行驶;

如果麦克纳姆轮轮式车右方有信号,则控制车辆向左行驶;

如果麦克纳姆轮轮式车前方和后方有信号,则控制车辆停止;

如果麦克纳姆轮轮式车后方和左方有信号,则控制车辆向右前行驶;

如果麦克纳姆轮轮式车后方和右方有信号,则控制车辆向左前行驶;

如果麦克纳姆轮轮式车前方和左方有信号,则控制车辆向右后行驶;

如果麦克纳姆轮轮式车前方和右方有信号,则控制车辆向左后行驶;

如果麦克纳姆轮轮式车左前方有信号,则控制车辆向右后行驶;

如果麦克纳姆轮轮式车右前方有信号,则控制车辆向左后行驶;

如果麦克纳姆轮轮式车左后方有信号,则控制车辆向右前行驶;

如果麦克纳姆轮轮式车右后方有信号,则控制车辆向左前行驶;

硬件系统实验结果分析

本设计可以控制机器人底盘运动速度和八个方向运动,还能实现自主避障功能。在设计中主要用8个近红外传感器来实现机器人的避障,分别安装在前、后左,右,左前,右前,左后,右后8个方位,用来检测前方物体是否离机器人小于20cm。

本发明智能语音导盲机器人实现了精准智能的语音播报,以提示盲人前方的物体类别,并提供最近物体的距离,使盲人对环境有精确的了解,提高生活质量。本文主要融合了运动控制技术、传感器技术和图像处理技术完成了整个智能语音导盲机器人系统的设计,包括硬件电路设计、小车的控制代码编写、图像识别代码编写等。从实验结果来看,该导盲机器人基本实现了避障、精准的物体识别、准确合理的测距测方位、语音播报等功能。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1