一种多源GPS数据与单目图像的车载采集系统的制作方法

文档序号:11157295阅读:1121来源:国知局
一种多源GPS数据与单目图像的车载采集系统的制造方法与工艺

本发明涉及信息技术、嵌入式系统技术领域,尤其涉及一种多源GPS数据与单目图像的车载采集系统。



背景技术:

车载采集系统是针对车辆、交通、自动化等相关学科用于针对车辆运行过程及搭载的传感器运行过程中产生的数据的具有采集、记录、运算等功能的一体化嵌入式系统。由于单目视觉具有结构简单、成本低廉等优势,多源信息融合技术通过对相似或不同特征信息进行相关与集成,可实现多源信息的互补,提高环境感知的精度和可靠性。开展基于单目视觉环境感知和多源信息融合两个方面的关键技术研发,通过对摄像头、GPS(全球定位系统)等多源信息进行融合,开发具有精度高、实时性强、成本低的环境综合感知系统,提升自动驾驶系统的智能化水平和产品的市场竞争力,对自动驾驶车辆的发展和推广具有重要意义。

现有采集系统,如中国发明专利“基于虚拟和数字技术的组合汽车仪表和车载多功能信息平台”(公开号为1618647,公开日期为2005.05.25),采用基于Windows2000操作系统的PC机和PCI(外设部件互连标准)总线的数据采集卡,仅能完成对汽车内部数据的采集,且普通PC机体积庞大,功耗高,硬盘在车载震动环境下很容易损坏。

另外一种相关的车载GPS采集系统,如中国发明专利“一种车载GPS系统”(公开号为104656102A,公开日期为2015.05.27)基于ARM9S2C2410芯片,这种芯片的处理能力较弱,不适合需要运行深度学习功能的软件系统。且该系统仅采集单个GPS信号,未能同时采集多源GPS信号,包括通用GPS信号与差分GPS信号。该系统也不能同步接收单目图像,更没有多源GPS数据与单目图像数据融合能力。



技术实现要素:

本发明的目的是针对目前多源信息融合的科研与市场需求,设计一种多源GPS数据与单目图像的车载采集系统,开发硬件可靠且功能全面的针对多源GPS数据的车载采集系统,解决现有系统存在的问题。

本发明提供的一种多源GPS数据与单目图像的车载采集系统,包括:多源GPS组合子系统、单目摄像头模组、嵌入式计算机和存储器。多源GPS组合子系统包括GPS与差分GPS。嵌入式计算机设置有USB3.0集线器。所述的USB3.0集线器上使用一组USB转串口连接线,连接多源GPS组合子系统。嵌入式计算机通过USB3.0连接线接驳单目摄像头模组。存储器包括M.2接口固态硬盘和SATA3接口固态硬盘,两个硬盘与嵌入式计算机连接,其中M.2接口固态硬盘为主存储盘,SATA3接口固态硬盘为副存储盘。所述的嵌入式计算机中安装有数据采集的处理软件,根据GPS与差分GPS的数量启动对应个数的信号采集线程,并启动单独的相机图像采集线程与用户交互线程,各线程被并行处理。

所述的嵌入式计算机采用芯片型号为NVIDIA Jetson TX1的嵌入式开发板。

所述的存储器还包括插接在嵌入式计算机上的TF/SD卡存储卡,用于对嵌入式计算机操作系统进行升级。

所述的车载采集系统还包括车载交互组件,包括:插接在USB3.0集线器上的使用通用USB连接线接驳的键盘与鼠标;插接在嵌入式计算机上的使用HDMI接口的显示屏。

所述的嵌入式计算机运行Ubuntu操作系统。

本发明所述的多源GPS数据与单目图像的车载采集系统,具有以下优点和效果:

(1)嵌入式计算机具有小型低功耗的优势,采用芯片型号为NVIDIA Jetson TX1的嵌入式开发板能作为深度学习、计算机视觉、图像处理和GPU计算的优选开发平台。

(2)选用USB总线作为传感器接驳口,采用USB接口具有优秀的通用性与替换性,插接式的结构可以进行方便地系统功能扩展与硬件升级。

(3)本发明选用M.2接口固态硬盘作为主要存储盘,SATA3接口固态硬盘作为副存储盘,解决了嵌入式计算机存储空间不足的问题,M.2接口固态硬盘具备足够高的持续读写速度,使得多源GPS数据与单目图像得以同步采集。同时,本发明设计的软件使得双固态硬盘可以进行冗余备份,使得车载采集系统的数据存储得到保障。

(4)本发明可同时采集多源GPS信号,包括通用GPS信号与差分GPS信号,并同时同步接收单目图像,具有多源GPS数据与单目图像数据融合能力。本发明使用USB3.0接口的相机,而非传统PCI接口,使得同一套单目摄像头模组可以在嵌入式计算机端与桌面计算机端直接切换,无需转换设备。

(5)本发明选用嵌入式计算机运行Ubuntu操作系统,使得嵌入式计算机端与桌面计算机端的开发环境一致,代码可以直接在嵌入式计算机端编译运行,避免了繁琐低效的交叉编译过程。

附图说明

图1为本发明所述车载采集系统的一个实施例的硬件原理框图;

图2为本发明所述车载采集系统的一个实施例的安装方式;

图3为本发明所述车载采集系统运行的处理软件的处理流程图。

图2中标号说明:

1为安装在车辆驾驶室方向盘上方后视镜位置的单目摄像头模组;

2为放置于车辆驾驶室副驾驶位置上的车载采集系统主要部件;

3为GPS/DGPS中的一种接收机的天线;

4为放置于车辆后排的用户交互组件;

5为GPS/DGPS中的另一种接收机的天线。

具体实施方式

为了使本发明的所解决之技术方案、技术问题及有益效果更加清楚明白,以下结合附图及具体实施方式,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。

图1所示为本发明所述车载采集系统的一个实施例的硬件原理框图,本发明的实施例包括嵌入式计算机、USB3.0集线器、存储器、车载交互组件、多源GPS组合以及单目摄像头模组。存储器包括TF/SD卡存储卡、SATA3接口的固态硬盘和M.2接口的固态硬盘,车载交互组件包括显示屏、键盘与鼠标、以及一组USB转串口连接线,多源GPS组合包含通用GPS与差分GPS。

本发明实施例中,所述嵌入式计算机采用芯片型号为NVIDIA Jetson TX1的嵌入式开发板,尺寸为170mm*170mm。该芯片CPU部分是四核64位ARM A57,GPU(图像处理器)部分是256个CUDA核心的Maxwell,可以每秒进行一兆次浮点运算。该嵌入式计算机功能强大,能作为深度学习、计算机视觉、图像处理和GPU计算的优选开发平台。

所述嵌入式计算机运行Ubuntu操作系统,该系统是免费的Linux操作系统的一个发行版本,社区支持完善,匹配本发明的开发平台需求。

本发明实施例中,所述USB3.0集线器,又称为USB3.0Hub,是基于GL3520芯片的多插接口扩展工具,读取速度80-130MB/s,写入速度80-110MB/s。本发明基于USB3.0接口作为传感器输入输出接口,使得传感器模组具备高度的可替换性与易用性。

本发明实施例中,所述TF/SD存储卡通过NVIDIA Jetson TX1的嵌入式开发板的板载接口进行连接,基于TF/SD存储卡可以快速的对嵌入式计算机操作系统进行升级。

本发明实施例中,所述SATA3固态硬盘选用三星公司的型号为MZ-75E1T0B/CN-850EVO的固态硬盘,2.5英寸标准规格,容量为1TB,电流为1.4A,满载功耗大致在6-7瓦。经过CrystalDiskMark测试,该固态硬盘的读取速度达到541.1MB/秒,写入速度达到521.8MB/s。本发明选用固态硬盘有效满足了1920x1080分辨率的摄像机图像数据的读写要求。

本发明实施例中,所述M.2固态硬盘选用三星公司的型号为MZ-V5P512BW-950PRO的固态硬盘,该固态硬盘接口为M.2,支持NVMe规范,使用PCI-E 3.0x4系统总线,理论接口速度为32Gb/s,经过CrystalDiskMark测试,该SSD持续读取速度达到2300MB/s,写入速度达到951MB/s。

本发明选用M.2接口固态硬盘作为主要存储盘,SATA3接口固态硬盘作为副存储盘,解决了嵌入式计算机存储空间不足的问题,M.2接口固态硬盘支持的稳定读写速度使得多源GPS数据与单目图像得以同步采集。同时,本发明使得双固态硬盘进行冗余备份,使得车载采集系统的数据存储得到保障。

本发明实施例中,所述通用GPS选用基于u-blox M8芯片的接收器。u-blox M8能并行捕获和跟踪两个GNSS(全球卫星导航)系统,默认设置是GPS和GLONASS(全球导航卫星系统)并行。使用时,可任意选择GPS和北斗并行接收或GLONASS和北斗的并行接收。u-blox M8芯片的灵敏度为-165dBm,能在卫星信号恶劣的环境下使用较多的卫星数量。

所述差分GPS通过一个已知测站上架设GPS基准站接收机和无线网络,连续跟踪所有可见卫星,并通过无线网络或数据电台向移动站发送差分改正数据。移动站接收机通过无线网络或移动站数据电台接收基准站发射来的差分改正数据,并在移动站接收机内部进行处理,从而实时得到移动站的高精度位置。差分GPS可分为伪距差分GPS和载波相位差分GPS。伪距差分也叫DGPS,精度为亚米级至米级,这种方式是基准站将基准站上测量得到的伪距改正数通过数据链传输到移动站,移动站接收到改正数后,自动进行解算,得到经差分改正以后的坐标。载波相位差分也叫RTK,它的工作思路与DGPS相似,只不过是基准站是将载波相位改正数发送到移动站,移动站接收到改正数后,自动进行解算,得到改正以后的比DGPS更高精度的测量结果。

本发明实施例中,所述单目摄像头模组采用灰点公司型号为FL3-U3的工业相机模组,该相机可通过USB3.0接口直接连接USB3.0集线器,最大输出分辨率为1920x1080,满足目前车载采集系统所需图像精度。

图2所示为本发明所述车载采集系统的一个实施例的安装方式。

图2中标号1为安装在车辆驾驶室方向盘上方后视镜位置的单目摄像头模组。该单目摄像头模组的安装位置的要保证摄像头可读取的视野范围最远端超过车头前保险杠50米以上。

图2中标号2为放置于车辆驾驶室副驾驶位置上的车载采集系统主要部件,其中包括嵌入式计算机、USB3.0集线器和存储器等。该部件组装在箱体中,该箱体在车辆数据采集过程中使用弹力绑带固定在车辆驾驶室副驾驶座椅椅面之上,使得车辆数据采集过程中车载采集系统主要部件在稳定的机械振动条件下正常工作。

图2中标号3为GPS/差分GPS中的一种接收机的天线,图2中标号5为GPS/DGPS中的另一种接收机的天线。通用GPS的无源天线体积较小,可以使用双面胶粘贴在车顶外壳表面,差分GPS的无源天线底座为强性磁铁,可以吸附在车顶外壳表面。

图2中GPS/差分GPS的天线的安装位置为车辆驾驶室前后排交界处对应的车顶外壳表面,通常设定汽车重心在汽车中心,安装在该位置使得计算天线与汽车重心的位置偏移方便可行。

图2中标号4为放置于车辆后排的用户交互组件,具体包括显示屏、键盘和鼠标。实施中可以选择市场上通用的显示屏,键盘,鼠标,由于本发明实施例使用通用的USB3.0接口,适配USB3.0接口与USB2.0接口,使得用户交互组件中的设备可以使用通用设备替换,有效降低后期维护,购买备用件的成本。

图3为本发明所述车载采集系统运行的整体流程图,摄像头安装、校准与调试,GPS、差分GPS安装与调试是系统正常工作的前提。摄像头、GPS、差分GPS的安装位置与要求如上述,摄像头校准与调试方法使用平面靶标进行标定,GPS、差分GPS的调试使用器件供应商提供的上位机软件进行。

摄像头安装、校准与调试,GPS、差分GPS安装与调试完成后,接通图2中标号2的车载采集系统主要部件的电源,安装在嵌入式计算机中的处理软件开始运行。

处理软件首先对硬件模块接口进行初始化,具体包括USB3.0集线器接口,显示屏接口,键盘USB接口,鼠标USB接口,TF/SD存储卡接口,SATA3固态硬盘接口,M.2固态硬盘接口,多源GPS组合子系统的多个USB转串口接口,摄像头USB接口。其中多源GPS组合子系统的多个USB转串口接口使用软件库Qt5的串口库调用打开,摄像头USB接口使用软件库OpenCV的相机库接口调用打开。

本发明设计的处理软件在运行时并行进行多种操作,以下使用计算机术语“线程”命名。而对于具体的程序设计,该并发思想可以使用多进程(每进程单线程),单进程单线程及单进程多线程方法设计完成硬件模块接口进行初始化,处理软件会根据传感器数量启动线程。所述的的传感器包括多种以串口接口联接嵌入式计算机的GPS,以USB接口联接嵌入式计算机的相机,对于本发明所述车载采集系统,相机数量为一个,GPS数量为一个或多个,实践中多个数量一般小于等于三个。图3所示为接驳了一个GPS与一个差分GPS,以及一个单目摄像头模组的车载采集系统。本发明所述车载采集系统运行的处理软件能同时接驳多个GPS与差分GPS,以及1个单目摄像头模组。具体接驳的GPS与差分GPS需要再程序运行前在程序中设定,然后处理软件会根据GPS与差分GPS的数量启动对应个数的线程,并启动单独的相机图像采集线程与用户交互线程。

处理软件根据传感器数量启动线程后,进入主循环。主循环会并行处理所有启动线程。

本发明使用并行编程技术,克服了传统上使用一个主函数内循环查询标志位处理各传感器数据的缺点,如在数据大量输入而处理模块耗时较大时,某时间段数据将会漏收,后一时间段数据才会被接收处理。每一传感器使用一个线程也避免了常用开源库如Qt的信号槽机制不能同时响应数据的到达问题,本发明设计的处理软件中对每个传感器的采集线程设计了及时响应机制,使得同一时刻到达的数据能同时触发对应线程的处理函数。

GPS信号采集线程处理由USB转串口输入的NMEA协议的报文信息,为了满足系统设计的功能需要,常提取其中的RMC(Recommended Minimum Specific GNSS Data)数据。GPS信号采集线程读取RMC数据后,会从中解析出所需信息存于GPS信号采集线程对应的数据存储区。

差分GPS信号采集线程处理由差分GPS对应的USB转串口输入的报文信息,该报文信息可以为NMEA协议或者差分GPS供应商自定义的协议。不同的协议使用与切换需要再采集系统工作前就在软件系统中设定。差分GPS信号采集线程读取对应协议后,会从中解析出所需信息存于差分GPS信号采集线程对应的数据存储区。

相机图像采集线程处理由单目摄像头模组经相机USB接口传入的图像,按照设定的图片格式(如png格式)保存在相机图像采集线程对应的数据存储区。图像的分辨率可以经由软件参数设定,可设定的最大分辨率取决于单目摄像头模组的最大分辨率。由于本发明使用M.2接口的固态硬盘,保证了数据的快速存储。

本发明所述的数据存储区在硬件上对应于嵌入式计算机的存储器件,对于小型低速数据采集任务,数据保存在嵌入式计算机板载存储器;对于中大型高速数据采集任务(如同时启用一个GPS与一个差分GPS,以及一个单目摄像头模组),数据保存在M.2固态硬盘上。所述的数据存储区在软件中指为不同线程任务分配的存储路径,即根据特定时间段启动的采集任务由程序自动生成的文件夹路径。

用户交互线程是用来处理用户(指使用本发明设计的多源GPS数据与单目图像的车载采集系统的车载非驾驶人员)对软件系统的命令,并提供方便的交互形式。通过显示屏显示目前软件的工作状态与工作情况,并根据鼠标与键盘实时接收命令并给出相应响应。

数据融合区将GPS信号采集线程、差分GPS信号采集线程与相机图像采集线程对应的三种数据存储区的所存数据按照预先给定的格式进行图像与GPS数据的融合。具体而言,在给定同步时刻获取的图像数据会与同一时刻或按照给定容忍误差的接近时刻获取的GPS数据匹配,记录匹配后的图像数据文件名与对应的GPS信号以及差分GPS信号并存储于该融合区内的独立存储空间。

用户交互线程在接受用户的结束采集任务的程序指令,或根据设定的数据采集任务的达成标志来结束主处理循环。但结束程序的任务开始进行,数据融合区首先停止处理GPS信号采集线程、差分GPS信号采集线程与相机图像采集线程对应的三种数据存储区的数据,将打开的文件全部保存并关闭。接下来主处理将按照线程启动顺序依次关闭GPS信号采集线程、差分GPS信号采集线程与相机图像采集线程,最后关闭用户交互线程。用户交互线程关闭后,整个程序结束,此时如果无需在车载采集系统的操作系统上运行其他任务,可关闭整个采集系统电源。

本发明的嵌入式计算机运行Ubuntu操作系统,使得嵌入式计算机端与桌面计算机端的开发环境一致,代码可以直接在嵌入式计算机端编译运行,避免了繁琐低效的交叉编译过程。

本发明提出的多源GPS数据与单目图像的车载采集系统经过实车运行表明,系统硬件可靠,达到了设计目标。

以上内容是结合具体的优选实施例对本发明作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明,对于本发明所述技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明所提交的权利要求书确定的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1