专利名称：基于gps和机器视觉的组合导航定位系统及方法
技术领域：
本发明涉及导航定位技术领域，尤其涉及一种基于GPS和机器视觉的组合导航定位系统及方法。
背景技术：
精细农业包括定位处方农作和农情信息自动采集，其中定位处方农作要求农业机械可以按照预先规划好的路径在田间行走，准确到达目的地并完成既定作业任务。精确导航是实现农业机械自主行走的关键技术之一，其定位精度直接影响农业机械进行路径自动跟踪的质量。因此，提高导航定位的精度，是改善农业机械路径跟踪质量的首要问题。全球定位系统(GlcAal Positioning System, GPS)导航是使用最普遍的导航技术，可以利用环绕地球的M颗卫星向地面发射的无线电信号计算位置信息。GPS具有精度高、全天候工作、无限用户等特点，可以提供精确的三维位置、三维速度等信息。利用实时动态差分法(Real-time Kinematic，RTK) GPS定位精度可以达到厘米级，完全满足农田作业的要求，但是其精度会受到视野中卫星的几何分布状况(⑶0P)、星历误差、时钟误差、传播误差、多路径误差以及接收机噪声等因素的影响，当遇到树木、房屋、高大建筑物时，可能接收不到足够的卫星信号，这时定位精度将会受到一定的影响。其次，GPS只能为农业机械提供绝对位置，对于农机周围的相对信息一无所知。机器视觉导航技术能根据摄像机对周围环境实时探测的信号，规划出所需路径， 并能够沿着该路径在没有人工干预的情况下，移动到预定目标处进行作业。使用视觉导航技术，摄像机可以不知疲劳、始终如一的观测农田环境，驾驶员可以不用长时间注意路面信息，可有效的减轻驾驶员的操作强度。南京农业大学的沈明霞在农田景物的区域和边缘的图像信息提取方面做了大量深入的研究，提出了几种新型算法。在农田景物区域检测方面，首先从农作物的纹理频谱角度出发，定义了几何对称性和方向度两种纹理特征，通过判断特征值来区分农作物区域和非农作物区域。该算法角度比较新颖，从纹理频谱的角度去识别，有效地避免了空间域上噪声的干扰。但是，由于纹理特征值的维数比较高，需要比较大的计算量，算法的实时处理性能比较差，不适合田间实时作业。
发明内容
(一)要解决的技术问题本发明要解决的技术问题是如何提供一种定位精度高、计算简单、且适合田间实时作业的基于GPS和机器视觉的组合导航定位系统及方法。( 二 )技术方案为解决上述问题，本发明提供了一种基于GPS和机器视觉的组合导航定位系统， 该系统包括GPS定位装置，用于对导航车进行GPS定位，获得导航车的位置坐标、航向角度、以及行驶速度，并发送至融合定位装置；机器视觉定位装置，用于采集导航路径上的农田图像，对采集到的图像进行图像处理，提取导航路径，得到导航路径中已知点的位置坐标，并发送至融合定位装置；融合定位装置，用于对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配准和时间配准，并进行滤波处理，得到最终定位信息。其中，所述GPS定位装置进一步包括数据采集模块，用于对导航车进行GPS定位， 获得导航车的位置坐标、航向角度、以及行驶速度；数据处理模块，将数据采集模块采集到的信息经过高斯投影变换转换到平面坐标系下，将其保存、显示并发送至所述融合定位装置。其中，所述数据处理模块进一步包括微控制器，用于将数据采集模块采集到的经纬度信息经过高斯投影变换转换到平面坐标系下；通信单元，用于将所述微控制器处理后的定位信息传送至融合定位装置。其中，所述机器视觉定位装置进一步包括图像采集模块，用于采集导航路径上的农田图像；图像处理模块，对图像采集模块采集到的图像进行处理，提取导航路径，得到导航路径中已知点的位置坐标，并发送至所述融合定位装置。其中，所述融合定位装置进一步包括数据解析模块，对来自所述GPS定位装置以及机器视觉定位装置传送的信息进行空间配准及时间配准；融合定位模块，对数据解析模块处理后的数据进行滤波处理，得到最终定位信息。其中，所述GPS定位装置为可进行虚拟参考站VRS差分的RTKGPS接收机，采用异步串行方式进行数据传送。其中，所述图像采集模块为CCD摄像机。本发明还提供了一种基于上述系统的基于GPS和机器视觉的组合导航定位方法， 该方法包括步骤Si. GPS定位装置对导航车进行GPS定位，并将导航车的位置坐标、航向角度、以及行驶速度，发送至融合定位装置；S2.机器视觉定位装置采集导航路径上的农田图像，对采集到的图像进行图像处理，提取导航路路径，并将导航路径中的特征点的位置坐标发送至融合定位装置；S3.融合定位装置对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配准和时间配准，并进行滤波处理，得到最终的定位信息。其中，步骤S3中，所述图像处理包括图像灰度变换、图像分割、图像去噪、提取导航路径候选点、霍夫换提取导航路径、以及计算特征点。其中，步骤S3中，所述滤波处理基于无迹卡尔曼滤波UKF算法。(三)有益效果本发明的具有以下优点1、对作物行区域进行细化，再提取特征点，减轻了特征点检测的难度。2、传统的导航线提取不能良好的适应环境变化，本发明综合考虑光线等因素的影响，选择合适的图像处理方法，从农田作物的实际图像出发，改进现有的导航基准线提取算法，提高了实时性和鲁棒性。3、常用的摄像机标定方法是基于2D平面模板的标定方法，本发明简化了标定程序，实现了导航基准线相对实验车的位置坐标从图像坐标系到大地坐标系的转换。4、将GPS获得的绝对位置和机器视觉获得的相对位置进行融合，提高了系统的定位精度和可靠性，对定位数据中的跳变有一定的改善作用。满足精细农业的农机作业要求。5、采用数据本地存储，便于信息的分析处理。6、在VC++6. 0环境下，开发了组合导航定位软件。用户不仅能通过窗口界面对导航定位情况及时了解，而且可以十分方便的进行数据转存和数据查询等操作。窗口程序友好，方便对系统控制，可满足广大用户的需求。
图1为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位系统的结构框图；图2为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位系统的 GPS定位装置的工作流程图；图3-1 3-2为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位系统的0EMV-3 GPS接收机和VRS数传设备的硬件结构图；图4为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位系统的机器视觉定位装置的工作流程图；图5为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位方法的流程图；图6为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位方法中的二值图像灰度投影图；图7为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位方法中的灰度投影图像；图8为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位方法中的阈值处理后的图像；图9为依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位系统的融合定位装置的工作流程图；图10为GPS坐标系示意图；图11为融合模型示意图；图12为航位推算原理示意图。
具体实施例方式本发明提出的基于GPS和机器视觉的组合导航定位系统及方法，结合附图及实施例详细说明如下。农田中作物收割与未收割的边界有时并非直线，单独使用GPS进行导航，在确定导航基准线方面存在一定的误差；机器视觉进行此类作业，可以实时提取出当前作物行的特征信息，提高了定位的精度，但是单独使用机器视觉时，图像处理过程中有时会出现漏检的情况，因此本发明将GPS和摄像机两种传感器结合起来进行导航。如图1所示，依照本发明一种实施方式的基于GPS和机器视觉的组合导航定位系统包括GPS定位装置，对导航车进行GPS定位，获得导航车的绝对位置坐标、航向角度、以及行驶速度，并发送至融合定位装置；机器视觉定位装置，采集导航路径上的农田图像，对采集到的图像进行图像处理， 提取导航路径，得到导航路径中已知点在导航车坐标系中的相对位置坐标，并发送至融合定位装置；融合定位装置，对来自所述GPS定位装置以及机器视觉定位装置的定位信息进行空间配准和时间配准，并进行滤波处理，得到最终定位信息。农用RTK-GPS接收机在车辆导航系统中应用时，应具备以下条件硬件资源可满足农业应用需求；系统工作稳定、可靠，功耗低；可与其它产品交叉使用，灵活性好。根据以上对农用RTK-GPS接收机功能的分析，本发明的GPS定位装置优选为可进行虚拟参考站 (Virtual Reference Station, VRS)差分的RTK GPS接收机，其采用异步串行方式进行数据传送，该装置进一步包括数据采集模块，配置串口，通过串口采集遵循NMEA-0183协议的GPS数据，包括 WGS-84坐标系中的经纬度信息；数据处理模块，将数据采集模块采集到的经纬度信息经过高斯投影变换转换到大地坐标系下，将其保存并显示在界面中。由于要用到GGA和VTG两种语句格式中的信息，因此要对两种语句分别进行解析。GPS定位装置的数据采集及解析的工作流程如图2所示。
该数据处理模块进一步包括微控制器，用于将数据采集模块采集到的经纬度信息经过高斯投影变换转换到平面坐标坐标系下；通信单元，用于将所述微控制器处理后的定位信息保存、显示并传送至融合定位
直ο图3为数据采集模块(0EMV-3 GPS接收机)和数据处理模块(VRS数传设备)的结构图。其中，OEM板优选为加拿大Novatel公司0EMV-3型。它是一款双频双星板，允许宽电压输入；定位信息最高输出频率可根据需要进行开通；支持RTCM(Radic) Technical Commission for Maritime services)及CMR格式差分数据的输入与输出，既可做基准站又可做移动站；支持多串口输出及CAN总线功能。VRS数传设备中的CDMA通信单元采用 Anydata公司生产的DTGS-800，其价格较低，应用广泛。微控制器选择32位ARM7LPC2366作为主控制芯片，运行频率为72MHz。其片内Flash程序存储器为512KB，具有在系统编程和在应用编程功能，256字节编程时间为1ms，支持多达32个向量中断，还提供多个串口功能、 以太网功能、USB功能。该数传设备可以根据用户不同需要，选择RTK、RTD差分信息，RTK差分信息可选择RTCM或CMR格式。内置电池同样保证设备长时间工作而不断电。该GPS定位系统精度为1 2cm，可输出的定位信息是标准的NMEA-0183语句格式，采用GGA和VTG两种格式输出数据，GGA语句可以获得导航车的位置，包括经度和纬度； VTG语句可以获得导航车的行驶速度和航向角度。机器视觉定位装置进一步包括图像采集模块，用于采集导航路径上的农田图像；图像处理模块，对图像采集模块采集到的图像进行处理，包括图像灰度变换、图像分割(二值化)、图像去噪(噪声处理)、提取导航路径候选点、霍夫(Hough)变换提取导航路径、以及计算特征点。
7
机器视觉定位装置的图像采集模块为视觉传感器，优选为CCD摄像机，其输出图像为.bmp格式的彩色图像，通过USB2. 0将采集的图片存入缓冲区，在图像处理时利用回调函数进行采集和处理的协调，对采集的图像进行处理，得到导航基准线中的特征点，将其转换到大地坐标系下，并保存数据，其工作流程如图4所示。融合定位装置进一步包括数据解析模块，对GPS定位装置以及机器视觉定位装置传送的定位信息进行空间配准及时间配准；融合定位模块，对数据解析模块处理后的数据进行滤波处理，并输出最终定位信肩、ο如图5所示，依照本发明一种实施方式的上述基于GPS和机器视觉的组合导航定位系统的组合导航定位方法包括步骤Si. GPS定位装置对导航车进行GPS定位，并将导航车的绝对位置坐标、航向角度、 以及行驶速度，发送至融合定位装置；S2.机器视觉定位装置采集导航路径上的农田图像，对采集到的图像进行图像处理，提取导航路径，并将导航路径中的特征点在导航车坐标系中的相对位置坐标，并发送至融合定位装置；S3.融合定位装置对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配准和时间配准，并进行滤波处理，得到最终的定位信息。步骤S2中的农田图像的采集是由安装在导航车(农业机械)上的CCD摄像机采集得到的，C⑶尺寸优选为60mm X 60mm X 50mm ；像元大小为4. 65ymX4. 65 μ m ；有效像素为 1300X1024 ；帧频在全图模式下帧频从8 MHz可调；电子快门最短曝光时间可为20 μ s ； 该摄像机通过USB2. 0接口与计算机进行数据传输。步骤S2中的图像处理包括(一)图像灰度变换、(二)图像分割(二值化)、(三) 图像去噪(噪声处理)、(四)提取导航路径候选点、(五)霍夫(Hough)变换提取导航路径、以及(六)计算特征点。(一)图像灰度变换彩色图像在存储时一般为三维，为了给图像分割提供方便， 将其转换为一维，即进行灰度变换，本发明中的图像灰度变换的方法及过程如下根据农田中绿色作物与田垄在颜色上的区别，选择2G-R-B对图像进行灰度变换。 自然界的各种颜色光都可分解成红、绿、蓝三种颜色光，所以将红、绿、蓝三种颜色称为三基色，而以RGB三基色为坐标形成的空间就称为RGB彩色空间。在RGB模型中，根据三种颜色的不同比例，任意色光可表示为L = r[R] +g[G] +b[B]，其中r[R]、g[G]、b[B]为彩色光L的三基色分量。根据模式识别的基本理论，方差大的特征区分能力强，三种正交的彩色特征
权利要求
1.一种基于GPS和机器视觉的组合导航定位系统，其特征在于，该系统包括GPS定位装置，用于对导航车进行GPS定位，获得导航车的位置坐标、航向角度、以及行驶速度，并发送至融合定位装置；机器视觉定位装置，用于采集导航路径上的农田图像，对采集到的图像进行图像处理， 提取导航路径，得到导航路径中已知点的位置坐标，并发送至融合定位装置；融合定位装置，用于对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配准和时间配准，并进行滤波处理，得到最终定位信息。
2.如权利要求1所述的基于GPS和机器视觉的组合导航定位系统，其特征在于，所述 GPS定位装置进一步包括数据采集模块，用于对导航车进行GPS定位，获得导航车的位置坐标、航向角度、以及行驶速度；数据处理模块，将数据采集模块采集到的信息经过高斯投影变换转换到平面坐标系下，将其保存、显示并发送至所述融合定位装置。
3.如权利要求2所述的基于GPS和机器视觉的组合导航定位系统，其特征在于，所述数据处理模块进一步包括微控制器，用于将数据采集模块采集到的经纬度信息经过高斯投影变换转换到平面坐标系下；通信单元，用于将所述微控制器处理后的定位信息传送至融合定位装置。
4.如权利要求1所述的基于GPS和机器视觉的组合导航定位系统，其特征在于，所述机器视觉定位装置进一步包括图像采集模块，用于采集导航路径上的农田图像；图像处理模块，对图像采集模块采集到的图像进行处理，提取导航路径，得到导航路径中已知点的位置坐标，并发送至所述融合定位装置。
5.如权利要求1所述的基于GPS和机器视觉的组合导航定位系统，其特征在于，所述融合定位装置进一步包括数据解析模块，对来自所述GPS定位装置以及机器视觉定位装置传送的信息进行空间配准及时间配准；融合定位模块，对数据解析模块处理后的数据进行滤波处理，得到最终定位信息。
6.如权利要求2所述的基于GPS和机器视觉的组合导航定位系统，其特征在于，所述 GPS定位装置为可进行虚拟参考站VRS差分的RTK GPS接收机，采用异步串行方式进行数据传送。
7.如权利要求4所述的基于GPS和机器视觉的组合导航定位系统，其特征在于，所述图像采集模块为CCD摄像机。
8.一种基于权利要求1-7所述的系统的基于GPS和机器视觉的组合导航定位方法，其特征在于，该方法包括步骤.51.GPS定位装置对导航车进行GPS定位，并将导航车的位置坐标、航向角度、以及行驶速度，发送至融合定位装置；.52.机器视觉定位装置采集导航路径上的农田图像，对采集到的图像进行图像处理，提取导航路径，并将导航路径中的特征点的位置坐标发送至融合定位装置；S3.融合定位装置对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配准和时间配准，并进行滤波处理，得到最终的定位信息。
9.如权利要求8所述的基于GPS和机器视觉的组合导航定位方法，其特征在于，步骤 S3中，所述图像处理包括图像灰度变换、图像分割、图像去噪、提取导航路径候选点、霍夫换提取导航路径、以及计算特征点。
10.如权利要求8-9任一项所述的基于GPS和机器视觉的组合导航定位方法，其特征在于，步骤S3中，所述滤波处理基于无迹卡尔曼滤波UKF算法。
全文摘要
本发明公开了一种基于GPS和机器视觉的组合导航定位系统及方法，涉及导航定位技术领域。该系统包括GPS定位装置，用于对导航车进行GPS定位，获得导航车的位置坐标、航向角度、以及行驶速度，并发送至融合定位装置；机器视觉定位装置，用于采集导航路径上的农田图像，对采集到的图像进行图像处理，提取导航路径，得到导航路径中已知点的位置坐标，并发送至融合定位装置；融合定位装置，用于对来自所述GPS定位装置以及机器视觉定位装置的信息进行空间配准和时间配准，并进行滤波处理，得到最终定位信息。本发明的方法及系统定位精度高、计算简单、且适合田间实时作业。
文档编号G01S19/39GK102252681SQ20111009689
公开日2011年11月23日 申请日期2011年4月18日 优先权日2011年4月18日
发明者刘兆祥, 刘刚, 吴琼, 张漫, 籍颖, 陈艳, 马文强 申请人:中国农业大学