电子电路用基于图像识别的巡线机器人控制系统的制作方法
【专利摘要】本发明涉及一种基于图像识别的巡线机器人控制系统，包括电机驱动电路、红外线光电传感器、高清摄像设备、图像处理设备和飞思卡尔IMX6处理器，红外线光电传感器用于检测巡线轨迹，高清摄像设备用于采集巡线机器人的前方图像，图像处理设备用于对前方图像进行图像处理，飞思卡尔IMX6处理器与红外线光电传感器和图像处理设备分别连接，以基于巡线轨迹检测结果和图像处理结果控制电机驱动电路，巡线为设置在地面上的具有预设颜色的引导条带。通过本发明，能够准确控制巡线机器人的行进轨迹，并能够自动识别出前方目标的类型，以确定巡线机器人的下一步操作。
【专利说明】电子电路用基于图像识别的巡线机器人控制系统
【技术领域】
[0001]本发明涉及机器人领域，尤其涉及一种基于图像识别的巡线机器人控制系统。
【背景技术】
[0002]当传统机电产品引入电子技术、计算机技术和自动控制技术时，就形成所谓的新一代机电一体化产品。典型的机电一体化产品体现了机械技术、电子技术、计算机技术等的有机结合，几种多种高新技术，并把多种功能集成在一起，在市场上具有极强的竞争能力。机电一体化是机械、微电子、控制、计算机、信息处理等多学科的交叉融合，起发展和进步有赖于相关技术的进步与发展。其主要发展方向为数字化、智能化、模块化、网络化、人性化、微型化、集成化、带源化和绿色化。机电产品高性能一般包含高速、高精度、高效率和高可靠性，人工智能在机电一体化技术中的研究日益得到重视，机器人的智能化就是机电一体化技术的重要应用。
[0003]巡线机器人是机器人的一种，智能巡线机器人的产生已有数十年的历史，他被人们用于各种机器人赛事和预定路径的工业检测中。智能巡线机器人是在针对特定的场地，找到适合自身机械特点的定位方法，通过不断调整到达目标，最终完成设定的任务。如何采用简洁、快速、稳定的控制方法和检测设备是机器人的关键。他是在深色地面上放置预设颜色的引导线，例如白色，特点是地面必须与引导线呈鲜明对比。机器人通过传感器循迹，实时反映巡线信息直到CPU发出中断请求停止循迹。一般的工厂不可能绝对无障碍物，为了避免机器人碰撞损伤，机器人需具有蔽障能力和终点停止的功能。
[0004]然而，现有技术中的智能巡线机器人，通常只设置数个红外线光电传感单元用于检测巡线，对巡线的检测效率不高，严重影响了巡线机器人追寻巡线的走位，同时，缺乏对检测目标和障碍物的分别对待的处理机制，也无法根据障碍物的大小制定不同的避让方案，从而导致后方控制平台对巡线机器人的操作过于频繁。
[0005]因此，需要一种新的巡线机器人控制方案，能够提高巡线机器人的巡线效率，保证机器人严格遵循预定轨迹行走，另外，能够实现对前方目标的类型识别和尺寸识别，以根据识别结果自动进行不同的预设操作，减少后方控制平台的工作量。
【发明内容】
[0006]为了解决上述问题，本发明提供了一种基于图像识别的巡线机器人控制系统，增加更多的红外线光电传感单元以提高巡线精度，采用超声波传感器以检测前方目标距离，并在前方目标距离较短的情况下，方启动图像采集设备和图像处理设备对采集到的前方图像实现目标类型识别，从而决定巡线机器人的操作模式，减少后方控制平台的人为介入，提高巡线机器人的工作效率。
[0007]根据本发明的一方面，提供了一种基于图像识别的巡线机器人控制系统，所述控制系统包括电机驱动电路、红外线光电传感器、高清摄像设备、图像处理设备和飞思卡尔IMX6处理器，所述红外线光电传感器用于检测巡线轨迹，所述高清摄像设备用于采集所述巡线机器人的前方图像，所述图像处理设备用于对所述前方图像进行图像处理，所述飞思卡尔頂X6处理器与所述红外线光电传感器和所述图像处理设备分别连接，以基于巡线轨迹检测结果和图像处理结果控制所述电机驱动电路，所述巡线为设置在地面上的具有预设颜色的引导条带。
[0008] 更具体地，在所述基于图像识别的巡线机器人控制系统中，所述控制系统还包括超声波传感器，位于所述巡线机器人的正前方，包括超声波发射单元、超声波接收单元和逻辑运算单元，所述超声波发射单元用于发射超声波，所述超声波接收单元用于接收经过前方目标反射回来的超声波，所述逻辑运算单元与所述超声波发射单元和所述超声波接收单元分别连接，用于基于超声波发射接收时间差和超声波传播速率，计算前方目标距离所述巡线机器人的目标距离；存储设备，预先存储了目标特征类型数据库，所述目标特征类型数据库保存了每一种目标类型对应的目标特征，所述存储设备还预先存储了目标上限灰度阈值、目标下限灰度阈值、预定目标距离阈值、预期检测目标类型、预设目标高度阈值和预设目标长度阈值，所述目标上限灰度阈值和所述目标下限灰度阈值用于将图像中的目标和背景分离；所述红外线光电传感器设置在所述巡线机器人的底部，由两排光电传感单元组成，所述两排光电传感单元分别设置在所述巡线机器人行走方向的两侧，每一个光电传感单元在检测到巡线时输出低电平，在未检测到巡线时输出高电平；所述高清摄像设备设置在所述巡线机器人的正前方；所述图像处理设备由图像预处理单元、图像分割单元、图像识别单元和尺寸计算单元组成，所述图像预处理单元连接所述高清摄像设备，用于对所述前方图像依次进行图像对比度增强和图像小波滤波，以输出预处理图像，所述图像分割单元与所述图像预处理单元连接，用于将所述预处理图像中灰度值在目标上限灰度阈值和目标下限灰度阈值之间的像素识别并组成目标子图像，将所述目标子图像从所述预处理图像中划分出来，所述图像识别单元与所述图像分割单元和所述存储设备分别连接，用于识别所述目标子图像中的目标特征，并将识别到的目标特征与所述目标特征类型数据库中的每一种目标类型对应的目标特征进行匹配，以查找到识别到的目标特征所对应的前方目标类型，所述尺寸计算单元与所述图像分割单元连接，用于基于所述目标子图像计算目标高度和目标长度；无线通信接口，与远端控制平台无线连接，用于与所述远端控制平台进行双向信号通信；所述飞思卡尔頂X6处理器与所述红外线光电传感器、所述图像处理设备、所述超声波传感器、所述存储设备、所述高清摄像设备和所述电机驱动电路分别连接，基于所述红外线光电传感器中各个光电传感单元的输出电平控制所述电机驱动电路的驱动方向；所述飞思卡尔頂X6处理器在所述目标距离小于等于预定目标距离阈值时，启动所述高清摄像设备和所述图像处理器，并在所述前方目标类型非预期检测目标类型时，启动障碍物避让模式，在所述前方目标类型是预期检测目标类型时，启动机器人处理模式；其中，在所述障碍物避让模式中，所述飞思卡尔頂X6处理器在所述目标高度小于等于预设目标高度阈值，向所述电机驱动电路发出跨越指令，在所述目标高度大于预设目标高度阈值且所述目标长度小于等于预设目标长度阈值时，向所述电机驱动电路发出绕行指令，在所述目标高度大于预设目标高度阈值且所述目标长度大于预设目标长度阈值时，向所述电机驱动电路发出等待指令，并向无线通信接口发出需求控制信号；在所述机器人处理模式中，所述飞思卡尔頂X6处理器接收通过所述无线通信接口转发的、所述远端控制平台的控制信号，以控制所述巡线机器人对前方目标的操作。
[0009]更具体地，在所述基于图像识别的巡线机器人控制系统中，所述存储设备、所述图像处理设备和所述飞思卡尔頂X6处理器都位于所述巡线机器人的外壳前端内，所述无线通信接口位于所述巡线机器人的外壳前端上。
[0010]更具体地，在所述基于图像识别的巡线机器人控制系统中，所述控制系统还包括直流无刷电动机，与所述电机驱动电路连接，在所述电机驱动电路的控制下为所述巡检机器人提供动力。
[0011]更具体地，在所述基于图像识别的巡线机器人控制系统中，所述两排光电传感单元中，每排光电传感单元的数量相等，均为10个。
[0012]更具体地，在所述基于图像识别的巡线机器人控制系统中，所述高清摄像设备所采集的前方图像的分辨率为1280X720。
【专利附图】
【附图说明】
[0013]以下将结合附图对本发明的实施方案进行描述，其中:
[0014]图1为根据本发明实施方案示出的基于图像识别的巡线机器人控制系统的结构方框图。
【具体实施方式】
[0015]下面将参照附图对本发明的基于图像识别的巡线机器人控制系统的实施方案进行详细说明。
[0016]巡线机器人，指的是以移动机器人作为载体，以可见光摄像机、红外热成像仪、其他检测仪器作为载荷系统，以机器视觉-电磁场-GPS-GIS的多场信息融合作为机器人自主移动与自主巡检的导航系统，以嵌入式计算机作为控制系统的软硬件开发平台。巡线机器人具有障碍物检测、自主作业规划、自主越障、对输电线路及其线路走廊自主巡检、巡检图像和数据的机器人本体自动存储与远程无线传输、地面远程无线监控与遥控、电能在线实时补给、后台巡检作业管理与分析诊断等功能。
[0017]在涉及巡线机器人的控制系统时，需要注意以下几点。
[0018]首先，为了该机器人可以用于不同场合，引导线的颜色需要与地面的颜色成鲜明对比，选择的传感器，必须能够可靠地识别出浅色引导线和深色地板。因为传感器是机器人的眼睛，需要选择效果很好的传感器，才能给机器人一双明亮的眼睛，将检测到的高低电平传送给控制系统。
[0019]其次，在于传感器的布局策略制定。在布置传感器的过程中，需要考虑到机器人底盘的外形和驱动方法，充分考虑到机器人在行进时可能遇到的各种情况，在调整过程中是否可能会让所有传感器偏离出检测物体，使得巡线失败。要考虑机器人直走和转弯等状态可能产生的各种情况。
[0020]还有，需要选择适合的主控制器。因为主控制器的输入量除了用于巡线的光电传感器信号以外，还包括用超声波传感器检测有无障碍物和是否到达目的地；输出量主要是电机需要提供的控制信号的个数等。除了端口选择的要求外，还应该满足主控制器的运行速度较高，处理信息及时稳定，以及友好的开发环境。
[0021]本发明的基于图像识别的巡线机器人控制系统，能够准确地控制所述机器人严格按照巡线前进，同时采用基于图像处理的目标识别技术，能够根据前方目标类型智能地确定机器人的操作方案，而且，只有在超声波传感器检测到前方目标在预定距离内时，才启动目标识别，为巡检机器人减少了电能消耗。
[0022]图1为根据本发明实施方案示出的基于图像识别的巡线机器人控制系统的结构方框图，所述控制系统包括超声波传感器1、红外线光电传感器2、高清摄像设备3、图像处理设备4、飞思卡尔頂X6处理器5、电机驱动电路6、存储设备7、无线通信接口 8和供电设备9，所述飞思卡尔頂X6处理器5和所述超声波传感器1、所述红外线光电传感器2、所述高清摄像设备3、所述图像处理设备4、所述飞思卡尔頂X6处理器5、所述电机驱动电路6、所述存储设备7、所述无线通信接口 8和所述供电设备9分别连接。所述电机驱动电路6用于驱动所述巡线机器人的电机以控制所述巡线机器人的行动方向。所述供电设备9用于为所述巡线机器人控制系统提供电源供应。
[0023]接着，对本发明的巡线机器人控制系统的结构进行更具体的说明。
[0024]所述超声波传感器1，位于所述巡线机器人的正前方，包括超声波发射单元、超声波接收单元和逻辑运算单元，所述超声波发射单元用于发射超声波，所述超声波接收单元用于接收经过前方目标反射回来的超声波，所述逻辑运算单元与所述超声波发射单元和所述超声波接收单元分别连接，用于基于超声波发射接收时间差和超声波传播速率，计算前方目标距离所述巡线机器人的目标距离。
[0025]所述红外线光电传感器2，用于检测巡线轨迹，所述巡线为设置在地面上的具有预设颜色的引导条带，所述红外线光电传感器2设置在所述巡线机器人的底部，由两排光电传感单元组成，所述两排光电传感单元分别设置在所述巡线机器人行走方向的两侧，每一个光电传感单元在检测到巡线时输出低电平，在未检测到巡线时输出高电平。
[0026]所述高清摄像设备3用于采集所述巡线机器人的前方图像，设置在所述巡线机器人的正前方。
[0027]所述图像处理设备4与所述高清摄像设备3连接，所述图像处理设备4由图像预处理单元、图像分割单元、图像识别单元和尺寸计算单元组成，所述图像预处理单元连接所述高清摄像设备3，用于对所述前方图像依次进行图像对比度增强和图像小波滤波，以输出预处理图像，所述图像分割单元与所述图像预处理单元连接，用于将所述预处理图像中灰度值在目标上限灰度阈值和目标下限灰度阈值之间的像素识别并组成目标子图像，将所述目标子图像从所述预处理图像中划分出来，所述图像识别单元与所述图像分割单元和所述存储设备7分别连接，用于识别所述目标子图像中的目标特征，并将识别到的目标特征与所述目标特征类型数据库中的每一种目标类型对应的目标特征进行匹配，以查找到识别到的目标特征所对应的前方目标类型，所述尺寸计算单元与所述图像分割单元连接，用于基于所述目标子图像计算目标高度和目标长度。
[0028]所述存储设备7中预先存储了目标特征类型数据库，所述目标特征类型数据库保存了每一种目标类型对应的目标特征，所述存储设备7还预先存储了目标上限灰度阈值、目标下限灰度阈值、预定目标距离阈值、预期检测目标类型、预设目标高度阈值和预设目标长度阈值，所述目标上限灰度阈值和所述目标下限灰度阈值用于将图像中的目标和背景分离。
[0029]所述无线通信接口 8与远端控制平台无线连接，用于与所述远端控制平台进行双向信号通信。
[0030]所述飞思卡尔頂X6处理器5的控制包括，基于所述红外线光电传感器2中各个光电传感单元的输出电平控制所述电机驱动电路6的驱动方向。
[0031]所述飞思卡尔頂X6处理器5在接收到的所述目标距离小于等于预定目标距离阈值时，启动所述高清摄像设备3和所述图像处理器4，所述飞思卡尔頂X6处理器5在所述高清摄像设备3和所述图像处理器4工作后，当所述前方目标类型非预期检测目标类型时，启动障碍物避让模式，在所述前方目标类型是预期检测目标类型时，启动机器人处理模式。
[0032]其中，在所述障碍物避让模式中，所述飞思卡尔頂X6处理器5在所述目标高度小于等于预设目标高度阈值，向所述电机驱动电路6发出跨越指令，在所述目标高度大于预设目标高度阈值且所述目标长度小于等于预设目标长度阈值时，向所述电机驱动电路6发出绕行指令，在所述目标高度大于预设目标高度阈值且所述目标长度大于预设目标长度阈值时，向所述电机驱动电路6发出等待指令，并向无线通信接口 8发出需求控制信号；在所述机器人处理模式中，所述飞思卡尔頂X6处理器5接收通过所述无线通信接口 8转发的、所述远端控制平台的控制信号，以控制所述巡线机器人对前方目标的操作。
[0033]其中，基于用户的选择，所述存储设备7、所述图像处理设备4和所述飞思卡尔IMX6处理器5都可以位于所述巡线机器人的外壳前端内，所述无线通信接口 8可位于所述巡线机器人的外壳前端上，所述控制系统还可以包括直流无刷电动机，与所述电机驱动电路6连接，在所述电机驱动电路6的控制下为所述巡检机器人提供动力，所述两排光电传感单元中，每排光电传感单元的数量相等，均选为10个，所述高清摄像设备3所采集的前方图像的分辨率可为1280X720。
[0034]另外，超声波传感器是I利用超声波的特性研制而成的传感器。超声波是一种振动频率高于声波的机械波，由换能晶片在电压的激励下发生振动产生的，他具有频率高、波长短、绕射现象小，特别是方向性好、能够成为射线而定向传播等特点。超声波对液体、固体的穿透本领很大，尤其是在阳光不透明的固体中，他可穿透几十米的深度。超声波碰到杂质或分界面会产生显著反射形成反射成回波，碰到活动物体能产生多普勒效应。因此超声波检测广泛应用在工业、国防、生物医学等方面。
[0035]超声波探头主要由压电晶片组成，既可以发射超声波，也可以接收超声波。小功率超声探头多作探测作用。他可以有许多不同的结构，可分直探头(纵波)、斜探头(横波)、表面波探头(表面波)、兰姆波探头(兰姆波)、双探头(一个探头发射、一个探头接收)等。超声探头的核心是其塑料外套或者金属外套中的一块压电晶片。构成晶片的材料可以有许多种。晶片的大小，如直径和厚度也各不相同，因此每个探头的性能并不相同。
[0036]另外，飞思卡尔的IMX6处理器5是基于ARM Cortex_A9架构的高扩展性多核系列应用处理器，根据应用场合的不同，提供了可供选择的单核、双核和四核产品供客户选择。頂X6系列的单核、双核和四核实施方案实现了硬件可扩展，软件和引脚完全兼容。1.MX 6四核系列通过提供运行速度达到1.2GHz的四个ARM Cortex_A9的内核，并结合集成的3D图形单元和1SOp编码/解码视频引擎，同时提供了电源管理功能以支持350mW的1SOp视频回放，从而解决了多核处理器无法在电池供电场景下的应用。頂X6采用了成熟的40纳米工艺制程，拥有IMB 二级缓存，支持1080P 60fps解码，并且可以进行1080P 30fps编码，同时还可以在高清模式下播放3D视频，他还可以同时管理用于3D立体拍摄的双摄像头，拥有独立的2D和顶点加速引擎。
[0037]采用本发明的基于图像识别的巡线机器人控制系统，针对现有巡线机器人控制系统无法进行高精度巡线以及目标识别智能化不高的技术问题，增加多个光电传感单元以提高巡线精度，增加基于图像识别的图像处理技术，对前方目标进行障碍物检测目标区分、障碍物尺寸检测等处理，为巡线机器人提供更多参考数据，以便于巡线机器人采取不同应对措施，从而减少远端控制平台的人为介入。
[0038]可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
【权利要求】
1.一种基于图像识别的巡线机器人控制系统，其特征在于，所述控制系统包括电机驱动电路、红外线光电传感器、高清摄像设备、图像处理设备和飞思卡尔頂X6处理器，所述红外线光电传感器用于检测巡线轨迹，所述高清摄像设备用于采集所述巡线机器人的前方图像，所述图像处理设备用于对所述前方图像进行图像处理，所述飞思卡尔頂X6处理器与所述红外线光电传感器和所述图像处理设备分别连接，以基于巡线轨迹检测结果和图像处理结果控制所述电机驱动电路，所述巡线为设置在地面上的具有预设颜色的引导条带。
2.如权利要求1所述的基于图像识别的巡线机器人控制系统，其特征在于，所述控制系统还包括: 超声波传感器，位于所述巡线机器人的正前方，包括超声波发射单元、超声波接收单元和逻辑运算单元，所述超声波发射单元用于发射超声波，所述超声波接收单元用于接收经过前方目标反射回来的超声波，所述逻辑运算单元与所述超声波发射单元和所述超声波接收单元分别连接，用于基于超声波发射接收时间差和超声波传播速率，计算前方目标距离所述巡线机器人的目标距离； 存储设备，预先存储了目标特征类型数据库，所述目标特征类型数据库保存了每一种目标类型对应的目标特征，所述存储设备还预先存储了目标上限灰度阈值、目标下限灰度阈值、预定目标距离阈值、预期检测目标类型、预设目标高度阈值和预设目标长度阈值，所述目标上限灰度阈值和所述目标下限灰度阈值用于将图像中的目标和背景分离； 所述红外线光电传感器设置在所述巡线机器人的底部，由两排光电传感单元组成，所述两排光电传感单元分别设置在所述巡线机器人行走方向的两侧，每一个光电传感单元在检测到巡线时输出低电平，在未检测到巡线时输出高电平； 所述高清摄像设备设置在所述巡线机器人的正前方； 所述图像处理设备由图像预处理单元、图像分割单元、图像识别单元和尺寸计算单元组成，所述图像预处理单元连接所述高清摄像设备，用于对所述前方图像依次进行图像对比度增强和图像小波滤波，以输出预处理图像，所述图像分割单元与所述图像预处理单元连接，用于将所述预处理图像中灰度值在目标上限灰度阈值和目标下限灰度阈值之间的像素识别并组成目标子图像，将所述目标子图像从所述预处理图像中划分出来，所述图像识别单元与所述图像分割单元和所述存储设备分别连接，用于识别所述目标子图像中的目标特征，并将识别到的目标特征与所述目标特征类型数据库中的每一种目标类型对应的目标特征进行匹配，以查找到识别到的目标特征所对应的前方目标类型，所述尺寸计算单元与所述图像分割单元连接，用于基于所述目标子图像计算目标高度和目标长度； 无线通信接口，与远端控制平台无线连接，用于与所述远端控制平台进行双向信号通?目; 所述飞思卡尔頂Χ6处理器与所述红外线光电传感器、所述图像处理设备、所述超声波传感器、所述存储设备、所述高清摄像设备和所述电机驱动电路分别连接，基于所述红外线光电传感器中各个光电传感单元的输出电平控制所述电机驱动电路的驱动方向； 所述飞思卡尔頂Χ6处理器在所述目标距离小于等于预定目标距离阈值时，启动所述高清摄像设备和所述图像处理器，并在所述前方目标类型非预期检测目标类型时，启动障碍物避让模式，在所述前方目标类型是预期检测目标类型时，启动机器人处理模式； 其中，在所述障碍物避让模式中，所述飞思卡尔頂Χ6处理器在所述目标高度小于等于预设目标高度阈值，向所述电机驱动电路发出跨越指令，在所述目标高度大于预设目标高度阈值且所述目标长度小于等于预设目标长度阈值时，向所述电机驱动电路发出绕行指令，在所述目标高度大于预设目标高度阈值且所述目标长度大于预设目标长度阈值时，向所述电机驱动电路发出等待指令，并向无线通信接口发出需求控制信号； 其中，在所述机器人处理模式中，所述飞思卡尔頂X6处理器接收通过所述无线通信接口转发的、所述远端控制平台的控制信号，以控制所述巡线机器人对前方目标的操作。
3.如权利要求2所述的基于图像识别的巡线机器人控制系统，其特征在于: 所述存储设备、所述图像处理设备和所述飞思卡尔頂X6处理器都位于所述巡线机器人的外壳前端内，所述无线通信接口位于所述巡线机器人的外壳前端上。
4.如权利要求2所述的基于图像识别的巡线机器人控制系统，其特征在于，所述控制系统还包括: 直流无刷电动机，与所述电机驱动电路连接，在所述电机驱动电路的控制下为所述巡检机器人提供动力。
5.如权利要求2所述的基于图像识别的巡线机器人控制系统，其特征在于: 所述两排光电传感单元中，每排光电传感单元的数量相等，均为10个。
6.如权利要求2所述的基于图像识别的巡线机器人控制系统，其特征在于: 所述高清摄像设备所采集的前方图像的分辨率为1280X720。
【文档编号】H04N7/18GK104238566SQ201410504604
【公开日】2014年12月24日 申请日期:2014年9月27日 优先权日:2014年9月27日
【发明者】任元华 申请人:江阴润玛电子材料股份有限公司