基于北斗定位及视觉SLAM的智慧移动检车装置及方法与流程

基于北斗定位及视觉slam的智慧移动检车装置及方法
技术领域
1.本发明涉及智慧城市运营管理领域，尤其是涉及一种基于北斗定位及视觉slam的智慧移动检车装置及方法。


背景技术：

2.在打造智慧城市的过程中，巡检人员承担着对城市管理事件问题的日常巡查、上报、核实、核查、普查等工作，是巡查发现问题的主要来源，极大依赖于巡检人员专业水平，针对城市管理中的一些核心问题，如占道经营、车辆占道、车辆违停等，实现智能监管、信息共享、业务协同，做到及时发现、处理与解决城市运行中出现的多种问题。
3.目前，通过违停球对违例停靠违章行为，全天候监视，捕捉车辆违章图文信息，并根据违章信息进行事后处理，也有通过视频桩采用先深度学习算法、视频流分析技术以及ai识别技术，通过与云端结合实现无人无感停车收费，与交警、城管等智慧政务平台互通互联，形成城市大数据，但是违停球和视频桩的管理范围有限，停车场设置有多组车位，只有在车辆靠近车位时才能临时获取相关数据。
4.针对上述相关技术，发明人认为在监管城市违章行为时，相关技术还有待提高监管效率。


技术实现要素：

5.为了在监管城市违章行为时，提高监管效率，本技术提供一种基于北斗定位及视觉slam的智慧移动检车装置及方法。
6.第一方面，本技术提供的一种基于北斗定位及视觉slam的智慧移动检车装置，采用如下的技术方案：一种基于北斗定位及视觉slam的智慧移动检车装置，包括算力单元，以及与所述算力单元通讯连接的北斗高精度组合导航定位单元、数据通讯单元、实时高清视频采集单元和移动载体单元；所述北斗高精度组合导航定位单元，用于根据预设的rtk+imu组合导航定位模组获取移动载体单元实时位置信息；所述实时高清视频采集单元，用于获取移动载体单元预设范围内的环境信息；所述数据通讯单元，用于将上传所述移动载体单元实时位置信息和移动载体单元预设范围内的环境信息至预设的后端车辆管理服务平台中；所述算力单元，用于基于所述移动载体单元实时位置信息和移动载体单元预设范围内的环境信息，对移动载体单元进行实时定位；所述移动载体单元，分别与所述北斗高精度组合导航定位单元、所述算力单元和所述实时高清视频采集单元连接，用于搭载智慧移动检车装置实时移动。
7.通过采用上述技术方案，通过设置移动载体单元，形态多元化，可以安装于移动车辆，如电动单车、摩托车、电动巡逻汽车、保安车辆及警车等，便于巡检人员的正常检车工
作；内置rtk+imu组合导航定位模组，实现本装置的厘米级定位精度；通过前端配置多目视频采集单元，实现视觉slam能力，具备高精度定位与街景建模的能力，行程slam能力、测距能力、成图及记忆能力；融合北斗高精度组合导航定位单元与视觉slam单元：由于视觉slam单元的精度不高，通过融合北斗高精度组合导航定位单元的数据，提高视觉slam建图的精度；因此在巡检人员检车的过程中，能提高监管效率。
8.可选的，该装置还包括车辆预判模块、车牌检测识别模块和视觉slam模块；所述视觉slam模块，所述实时高清视频采集单元通讯连接，用于获取移动载体单元的slam定位数据信息，并且基于所述移动载体单元预设范围内的环境信息，进行slam建图以及对移动载体单元进行定位；所述车辆预判模块，与所述视觉slam模块通讯连接，用于判断移动载体单元的距离差值是否位于预设的距离阈值范围内；还与所述实时高清视频采集单元通讯连接，还用于判断所述实时抓拍图像中是否存在车辆；所述车牌检测识别模块，与所述车辆预判模块通讯连接，用于响应于车牌检测识别指令，对移动载体单元的车牌进行检测识别出车牌信息，并且将所述车牌信息进行上报。
9.通过采用上述技术方案，在移动载体单元驶入车位停车的过程中，获取移动载体单元的实时位置信息，以及移动载体单元与车位的间距，当移动载体单元和车位的间距小于某一阈值时，则代表移动载体单元进入抓拍范围内，需要对移动载体单元进行抓拍，然后再判断该抓拍的图片中是否含有车牌，在含有车牌的时候，对车牌信息进行分析识别，然后将车牌信息进行上报。移动载体单元通过将实时抓拍车牌并准确绑定车牌与车位信息，为巡检人员提供了有效且准确的管理取证数据。
10.可选的，该装置还包括前期预处理模块；所述前期预处理模块，与所述算力单元通讯连接，用于获取每个车位的经纬度信息；还用于获取每个车位编号并且将每个所述车位编号映射到预设的系统内部编号体系；以及用于将预设的移动载体单元改装程序烧录至所述算力单元中。
11.通过采用上述技术方案，设置前期预处理模块，主要实现获取车位的经纬度信息、车位编号与系统内部标号体系对应以及烧录移动载体单元改装程序的目的，前期准备工作利于移动检车的顺利高效率进行。
12.可选的，所述车牌检测识别模块包括车牌检测单元、车牌矫正单元、文字识别单元、车牌类别判别单元以及结果输出单元；所述车牌检测单元，用于基于所述移动载体单元的实时抓拍图像信息识别出车牌图像信息；所述车牌矫正单元，用于基于所述车牌图像信息生成矫正后的车牌图像信息；所述文字识别单元，用于基于矫正后的车牌图像信息生成车牌文字结果信息；所述车牌类别判别单元，用于基于所述车牌图像信息识别车牌的颜色，获取移动载体单元类型信息；所述结果输出单元，用于输出所述车牌文字结果信息和所述移动载体单元类型信
息。
13.通过采用上述技术方案，在对移动载体单元进行抓拍后，从抓拍后的移动载体单元图像中提取车牌图像，然后通过对车牌图像进行矫正的处理，以便于清楚识别车牌中的文字图像，然后同时通过识别车牌的颜色，例如蓝色车牌为普通车牌，绿色车牌为新能源车牌，白色车牌为军用或民用车牌等，从而达到判断该移动载体单元类型的效果，最后结合移动载体单元类型和车牌文字信息上报给后台，后台能对停在该车位的移动载体单元进行记录，并且便于巡检人员监管。
14.第二方面，本技术提供的一种基于北斗定位及视觉slam的智慧移动检车方法，采用如下的技术方案：一种基于北斗定位及视觉slam的智慧移动检车方法，应用于上述的一种基于北斗定位及视觉slam的智慧移动检车装置，包括：对智慧移动检车装置进行前期预处理；通过北斗高精度组合定位单元实时获取移动载体单元的高精度位置信息；基于移动载体单元高精度位置信息，获取移动载体单元预设范围内的环境信息；通过实时高清视频采集单元获取高清视频数据；获取移动载体单元的slam定位数据信息，并且基于所述移动载体单元预设范围内的环境信息，进行slam建图以及对移动载体单元进行定位；通过数据传输单元将高清视频数据、经过slam建图以及对移动载体单元进行定位的数据信息传输至预设的后端车辆管理服务平台中。
15.通过采用上述技术方案，内置rtk+imu组合导航定位模组，实现本装置的厘米级定位精度；通过前端配置多目视频采集单元，实现视觉slam能力，具备高精度定位与街景建模的能力，行程slam能力、测距能力、成图及记忆能力；融合北斗高精度组合导航定位单元与视觉slam单元：由于视觉slam单元的精度不高，通过融合北斗高精度组合导航定位单元的数据，提高视觉slam建图的精度；因此在巡检人员检车的过程中，能提高监管效率。
16.可选的，所述对智慧移动检车装置进行前期预处理的步骤包括：获取每个车位的经纬度信息；获取每个车位编号；将每个所述车位编号映射于预设的系统内部编号体系；将预设的移动载体单元改装程序烧录至预设的算力单元中。
17.通过采用上述技术方案，设置前期预处理模块，主要实现获取车位的经纬度信息、车位编号与系统内部标号体系对应以及烧录移动载体单元改装程序的目的，前期准备工作利于移动检车的顺利高效率进行。
18.可选的，所述进行slam建图以及对移动载体单元进行定位的步骤包括：基于实时高清视频采集单元获取高清视频数据，通过前端视觉里程计进行处理；基于所述前端视觉里程计处理的结果，进行后端优化处理；基于所述后端优化处理的结果，进行slam构图；基于slam构图，进行回环检测；在定位时，车辆通过回环检测之后的地图进行定位。
19.通过采用上述技术方案，通过前端配置多目视频采集单元，实现视觉slam能力，具
备高精度定位与街景建模的能力，行程slam能力、测距能力、成图及记忆能力；在slam构图之后，进行回环检测，能提高建图的准确性，同时能提高后续车辆定位的准确性。
20.可选的，所述进行slam建图以及对移动载体单元进行定位的步骤之后包括：获取移动载体单元实时位置信息以及移动载体单元与车位的距离差值信息；判断所述距离差值是否位于预设的距离阈值范围内；在所述距离差值位于预设的距离阈值范围时，控制预设的实时高清视频采集单元获取移动载体单元的实时抓拍图像信息；判断所述实时抓拍图像中是否存在车辆；在所述实时抓拍图像中存在车辆时，控制预设的车牌检测识别模块对移动载体单元的车牌进行检测识别出车牌信息，并且将所述车牌信息进行上报。
21.通过采用上述技术方案，在移动载体单元驶入车位停车的过程中，获取移动载体单元的实时位置信息，以及移动载体单元与车位的间距，当移动载体单元和车位的间距小于某一阈值时，则代表移动载体单元进入抓拍范围内，需要对移动载体单元进行抓拍，然后再判断该抓拍的图片中是否含有车牌，在含有车牌的时候，对车牌信息进行分析识别，然后将车牌信息进行上报。移动载体单元通过将实时抓拍车牌并准确绑定车牌与车位信息，为车主提供了快捷查找车位方法，为巡检人员提供了有效且准确的管理取证数据。
22.可选的，所述控制预设的车牌检测识别模块对移动载体单元的车牌进行检测识别的步骤包括：基于所述移动载体单元的实时抓拍图像信息识别出车牌图像信息；基于所述车牌图像信息生成矫正后的车牌图像信息，以及基于所述车牌图像信息识别车牌的颜色，从而获取移动载体单元类型信息；基于矫正后的车牌图像信息生成车牌文字结果信息；输出所述车牌文字结果信息和所述移动载体单元类型信息。
23.通过采用上述技术方案，在对移动载体单元进行抓拍后，从抓拍后的移动载体单元图像中提取车牌图像，然后通过对车牌图像进行矫正的处理，以便于清楚识别车牌中的文字图像，然后同时通过识别车牌的颜色，例如蓝色车牌为普通车牌，绿色车牌为新能源车牌，白色车牌为军用或民用车牌等，从而达到判断该移动载体单元类型的效果，最后结合移动载体单元类型和车牌文字信息上报给后台，后台能对停在该车位的移动载体单元进行记录，并且便于后台监管。
24.综上所述，本技术包括以下有益技术效果：1.通过设置移动载体单元，形态多元化，可以安装于移动车辆，如电动单车、摩托车、电动巡逻汽车、保安车辆及警车等，便于巡检人员的正常检车工作；内置rtk+imu组合导航定位模组，实现本装置的厘米级定位精度；通过前端配置多目视频采集单元，实现视觉slam能力，具备高精度定位与街景建模的能力，行程slam能力、测距能力、成图及记忆能力；融合北斗高精度组合导航定位单元与视觉slam单元：由于视觉slam单元的精度不高，通过融合北斗高精度组合导航定位单元的数据，提高视觉slam建图的精度；因此在巡检人员检车的过程中，能提高监管效率。
25.2.移动载体单元通过将实时抓拍车牌并准确绑定车牌与车位信息，为车主提供了快捷查找车位方法，为巡检人员提供了有效且准确的管理取证数据。
附图说明
26.图1是本技术实施例的一种基于北斗定位及视觉slam的智慧移动检车装置的硬件架构示意图。
27.图2是本技术实施例的一种基于北斗定位及视觉slam的智慧移动检车方法的流程图。
28.图3是图2中步骤s100的展开流程图。
29.图4是图2中步骤s500的展开流程图一。
30.图5是图2中步骤s500的展开流程图二。
31.图6是图5中步骤s5c0的展开流程图。
[0032][0033]
附图标记说明：1、算力单元；2、北斗高精度组合导航定位单元；3、实时高清视频采集单元；4、数据通讯单元；5、前期预处理模块；6、车牌检测识别模块；61、车牌检测单元；62、车牌矫正单元；63、文字识别单元；64、车牌类别判别单元；65、结果输出单元；7、车辆预判模块；8、视觉slam模块；9、移动载体单元。
具体实施方式
[0034]
以下结合附图1-6对本技术作进一步详细说明。
[0035]
参照图1，本技术实施例公开一种基于北斗定位及视觉slam的智慧移动检车装置，包括算力单元1、北斗高精度组合导航定位单元2、视觉slam模块8、移动载体单元9、数据通讯单元4、前期预处理模块5、精度定位模块2、车辆预判模块7、摄像模块4、控制模块5和车牌检测识别模块6。
[0036]
北斗高精度组合导航定位单元2，用于根据预设的rtk+imu组合导航定位模组获取移动载体单元实时位置信息，移动载体单元在本方案中可以为单车、小汽车等其他类型车辆。
[0037]
rtk（real-timek inematic，实时动态）载波相位差分技术，是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标。这是一种新的常用的卫星定位测量方法，以前的静态、快速静态、动态测量都需要事后进行解算才能获得厘米级的精度，而rtk是能够在野外实时得到厘米级定位精度的测量方法。
[0038]
惯性导航系统（inertial navigation system）是一种不依赖于外部信息、也不向外部辐射能量（如无线电导航那样）的自主式导航系统，主要使用惯性测量单元imu（inertial measurement unit）。其工作环境不仅包括空中、地面，还可以在水下。惯性导航的基本工作原理是以牛顿力学定律为基础，通过测量载体在惯性参考系的加速度，将它对时间进行积分，且把它变换到导航坐标系中，就能够得到在导航坐标系中的速度、偏航角和位置等信息。其优点是工作不需要通时，安装位置随意，定位范围全场景，但定位精度不高，且误差随时间发散。与gnss导航系统互补。
[0039]
单rtk定位，在有遮挡的情况下，没有办法提供持续的定位导航数据；本模块集成支持bds、gps、galileo、glonass、qzss的gnss接收机及imu采用多频段rtk及组合导航技术，可实现厘米级的精度；可同时接收解算最新的多频全球导航定位卫星信号，可在严重卫星
信号遮挡的情况下依然提供高可靠性的定位数据，提供无中断的导航定位输出。
[0040]
本装置采用高精度、高可靠性的厘米级组合导航定位模组，同时具备高度集成，尺寸小，i/o兼容性好，功耗低等特点；主要用于定位移动载体单元实时位置及与车位实时位置比对，本模块集成支持bds、gps、galileo、glonass、qzss的gnss接收机及imu采用多频段rtk及组合导航技术，可实现厘米级的精度；可同时接收解算最新的多频全球导航定位卫星信号，可在严重卫星信号遮挡的情况下依然提供高可靠性的定位数据，提供无中断的导航定位输出实现厘米级、毫米级及纳米级的高精度定位精度；模块性能参数如下：gnss性能：跟踪频点：gps/qzss、beidou、galileo、glonass；水平精度：≤8mm+1ppm；启动时间：冷启动≤27s、热启动2s；固定解收敛时间≤10s；path-2-path精度：亚米级；天线：单天线；基线长：40km固定解；捕获灵敏度：-148dbm；跟踪灵敏度：-165dbm；载波相位观测精度：《0.01cycle；导航输出频率：up to 10hz；imu性能：陀螺仪：里程
±
1000deg/s、零偏稳定性
±
4.5deg/h，角度随机游走 0.17deg/√h；加速度计：里程
±
16g、零偏稳定性
±
0.3mg、速度随机游走 0.04m/s/√h；横滚、俯仰精度：≤0.02
°
（1σ）；航向精度：≤0.2
°
（1σ）；惯性推估精度：≤1%*d（1σ、车载）；数据采样率：50hz；地图匹配技术mm（map matching）是结合用户位置信息和地图数据，推算用户在地图上道路的准确位置，辅助车载导航的精准控制。
[0041]
算力单元1，可以为用于运行程序的算法控制器。与北斗高精度组合导航定位单元2通信连接，用于基于移动载体单元实时位置信息，获取移动载体单元预设范围内的环境信息；实现北斗高精度组合导航rtk+imu定位算法解算、实现环境感知和视频采集、进行人工智能算法及相应功能的处理能力。
[0042]
视觉slam模块8，与算力单元1通讯连接，用于获取移动载体单元的slam定位数据信息，并且基于移动载体单元预设范围内的环境信息，进行slam建图以及对移动载体单元进行定位。
[0043]
视觉slam模块8采用orb-slam算法，是一个完整的slam系统，包括视觉里程计、跟踪、回环监测，是一种完全基于稀疏特征点的单目slam系统，同时还有单目、双目、rgbd相机的接口。其核心是使用orb（orinted fast and brief）作为整个视觉slam中的核心特征；orb-slam基本延续了ptam的算法框架，但对框架中的大部分组件都做了改进，归纳起来主
要有4点：1、orb-slam选用了orb特征，基于orb描述量的特征匹配和重定位，都比ptam具有更好的视角不变性。此外，新增三维点的特征匹配效率更高，因此能更及时的扩展场景。扩展场景及时否决定了后续帧是否能稳定跟踪。
[0044]
2、orbslam加入了循环回路的检测和闭合机制，以消除误差累积。系统采用与重定位相同的方法来检测回路（匹配回路两侧关键帧上的公共点），通过方位图（pose graph）优化来闭合回路。
[0045]
3、ptam需要用户指定2帧来初始化系统，2帧间既要有足够的公共点，又要有足够的平移量。平移运动为这些公共点提供视差（parallax），只有足够的视差才能三角化出精确的三维位置。orb-slam通过检测视差来自动选择初始化的2帧。
[0046]
4、patm扩展场景时也要求新加入的关键帧提供足够的视差，导致场景往往难以扩展。orb-slam采用一种更鲁棒的关键帧和三维点的选择机制-先用宽松的判断条件尽可能及时地加入新的关键帧和三维点，以保证后续帧的鲁棒跟踪；再用严格的判断条件删除冗余的关键帧和不稳定的三维点，以保证ba的效率和精度。
[0047]
orb-slam它是由三大块、三个流程同时运行的。第一块是跟踪、第二块是建图、第三块是闭环检测。
[0048]
1、跟踪（tracking）这部分主要工作是从图像中提取orb特征，根据上一帧进行姿态估计，或者进行通过全局重定位初始化位资，然后跟踪已经重建的局部地图，优化位资，再根据一些规则确定新关键帧；2、建图（localmapping）这部分主要完成局部地图构建。包括对关键帧的插入，验证最近生成的地图点并进行筛选，然后生成新的地图点，使用局部捆集调整（local ba），最后再对插入的关键帧进行筛选，去除多余的关键帧。
[0049]
3、闭环检测（loopclosing）这部分主要分为两个过程，分别是闭环探测和闭环校正。闭环检测先使用wob进行探测，然后同sim3算法计算相似变换。闭环校正，主要是闭环融合和essential graph的图优化。
[0050]
orb-slam算法优点：一个代码构造优秀的视觉slam系统，非常适合移植到实际项目。
[0051]
采用g2o作为后端优化工具，能有效地减少对特征点位置和自身位资的估计误差。
[0052]
采用dbow减少了寻找特征的计算量，同时回环匹配和重定位效果较好。重定位：比如当本装置遇到一些意外情况之后，它的数据流突然被打断了，在orb-slam算法下，可以在短时间内重新把本装置在地图中定位。
[0053]
使用了类似【适者生存】的方案来进行关键帧删选，提高系统追踪的鲁棒性和系统的可持续运行；由于视觉slam单元的精度不高，或者产生累积误差，漂移，通过融合北斗高精度组合导航定位单元的高精度定位数据，提高视觉slam建图的精度。
[0054]
移动载体单元9，分别与北斗高精度组合导航定位单元2、算力单元1和视觉slam模
块8连接，用于搭载智慧移动检车装置实时移动。
[0055]
移动载体单元9可以为：移动车辆，如电动单车、摩托车、电动巡逻汽车、保安车辆及警车等移动载体。
[0056]
前期预处理模块5，与控制模块5通讯连接，用于获取每个车位的经纬度信息；还用于获取每个车位编号并且将每个车位编号映射到预设的系统内部编号体系；以及用于将预设的移动载体单元改装程序烧录至控制模块5中。
[0057]
前期需要人工去每个车位测量每个车位对应的经纬度，以及将车位编号与自己内部编号进行对应。当智慧移动巡检装置在巡检时，通过车载gps与事先测量的每个车位gps信息进行比较，当车辆行驶到相应位置时相机进行抓拍（由于gpsrtk+imu定位，能够实现智慧移动巡检装置到达车位头和车位尾时触发抓拍，分别通过三个相机中的首位相机抓拍，夜间有补光灯），当抓拍照片中有车辆时会检测出车辆，并且检测车牌进行车牌识别。正常车位中停有车的情况下，识别出结果后会上报车辆图片、车牌信息、车位编号、时间、车辆类型等信息，若车牌被遮挡等异常情况则会返回车辆图片、车位编号、时间等来通知现场人员去相应点位进行查看。
[0058]
北斗高精度组合导航定位单元2，还用于获取移动载体单元实时位置信息以及移动载体单元与车位的距离差值信息。采用高精度定位设备gnss模块，主要用于定位移动载体单元实时位置及与车位实时位置比对，实现rtk+imu、毫米级及纳米级的高精度定位精度。
[0059]
普通的定位服务精度通常在米级，无法满足更精细化的场景。高精度定位利用rtk技术，基准站通过数据链实时将观测到的载波相位测量值和自身的坐标信息一起发送给移动站，移动站接收gps卫星信号的载波相位和来自基准站的载波相位测量值，利用基准站与移动站之间观测误差的空间相关性，通过差分的方式减小移动站观测数据的大部分误差，从而实现rtk+imu定位。
[0060]
车辆预判模块7，与北斗高精度组合导航定位单元2通讯连接，用于判断距离差值是否位于预设的距离阈值范围内。
[0061]
控制模块5，与车辆预判模块7通讯连接，用于在距离差值位于预设的距离阈值范围时，发送摄像指令给摄像模块4；控制模块5可以为工控机、cpu等用于运行计算机程序的硬件结构或者软件结构。
[0062]
摄像模块4，与控制模块5通讯连接，用于响应于摄像指令，获取移动载体单元的实时抓拍图像信息；优选为车牌抓拍摄像机，车牌抓拍摄像机由3个车牌抓拍摄像机组成，分别对准了车头、车体、车尾部分、实时录制及抓拍车辆数据，模块性能参数如下：感光尺寸：1/2.6''焦距：3.6mm工作温度：-20度至70度分辨率：最大支持1920*1080最高帧率：100fps（mjpg）车辆预判模块7，还与摄像模块4通讯连接，还用于判断实时抓拍图像中是否存在车辆。
[0063]
控制模块5，还与车辆预判模块7通讯连接，用于在实时抓拍图像中存在车辆时发
送车牌检测识别指令给车牌检测识别模块6。
[0064]
数据通讯单元4，用于上传移动载体单元实时位置信息、移动载体单元与车位的距离差值信息及移动载体单元的实时抓拍图像信息至预设的后端车辆管理服务平台中。
[0065]
车牌检测识别模块6，与控制模块5通讯连接，用于响应于车牌检测识别指令，对移动载体单元的车牌进行检测识别出车牌信息，并且将车牌信息进行上报。
[0066]
车牌检测识别模块6包括车牌检测单元61、车牌矫正单元62、文字识别单元63、车牌类别判别单元64以及结果输出单元65。车牌识别算法针对户外移动状态下抓拍的图片常常会出现逆光、模糊等情况，实际使用中通过改善相机镜头、图像预处理等技术来处理，所设计的车牌检测、矫正和文字识别模型时也采用了端到端的网络进行训练，提高了模型的鲁棒性。
[0067]
车牌检测单元61，用于基于移动载体单元的实时抓拍图像信息识别出车牌图像信息。
[0068]
车牌矫正单元62，用于基于车牌图像信息生成矫正后的车牌图像信息。
[0069]
文字识别单元63，用于基于矫正后的车牌图像信息生成车牌文字结果信息。
[0070]
车牌类别判别单元64，用于基于车牌图像信息识别车牌的颜色，获取移动载体单元类型信息。举例来说，在对移动载体单元进行抓拍后，从抓拍后的移动载体单元图像中提取车牌图像，然后通过对车牌图像进行矫正的处理，以便于清楚识别车牌中的文字图像，然后同时通过识别车牌的颜色，例如蓝色车牌为普通车牌，绿色车牌为新能源车牌，白色车牌为军用或民用车牌等，从而达到判断该移动载体单元类型的效果，最后结合移动载体单元类型和车牌文字信息上报给后台，后台能对停在该车位的移动载体单元进行记录，并且便于后台监管。
[0071]
结果输出单元65，用于输出车牌文字结果信息和移动载体单元类型信息。
[0072]
巡检装置主要以视频智慧移动巡检装置的形式，智慧移动巡检装置仅上传图片（节省流量），视频保存在本地，若有需要通过网络连接拷贝即可，智慧移动巡检装置正常可以工作8小时，具体视行驶里程而定。终端设备高度集成，统一安装在移动车辆上，能方便地进行现场安装和调试，保养简单；一车在手，行走的行车记录仪，大大提升停车管理区域，采用gps+北斗双星差分定位，精度达到rtk+imu，识别车位准确率99%以上；采用高清运动相机车牌识别技术获取车辆信息，配备补光灯，在各种光照环境下，能保证车牌识别率98%以上；停车记录自动识别完成并通过4g/物联网上传系统，无人工干扰，自动生成的收费证据链完整，隔绝争议。
[0073]
本技术实施例一种基于北斗定位及视觉slam的智慧移动检车装置的实施原理为：通过北斗高精度组合定位单元实时获取移动载体单元的高精度位置信息；基于移动载体单元高精度位置信息，获取移动载体单元预设范围内的环境信息；获取移动载体单元的slam定位数据信息，并且基于移动载体单元预设范围内的环境信息，进行slam建图以及对移动载体单元进行定位；在移动载体单元驶入车位停车的过程中，获取移动载体单元的实时位置信息，以及移动载体单元与车位的间距，当移动载体单元和车位的间距小于某一阈值时，则代表移动载体单元进入抓拍范围内，需要对移动载体单元进行抓拍，然后再判断该抓拍的图片中是否含有车牌，在含有车牌的时候，对车牌信息进行分析识别，然后将车牌信息进行上报。移动载体单元通过将实时抓拍车牌并准确绑定车牌与车位信息，为巡检
人员提供了有效且准确的管理取证数据。
[0074]
基于上述硬件架构，参照图2，本技术实施例还公开了一种基于北斗定位及视觉slam的智慧移动检车方法，包括步骤s100~s600：步骤s100：对智慧移动检车装置进行前期预处理。
[0075]
步骤s200：通过北斗高精度组合定位单元实时获取移动载体单元的高精度位置信息。
[0076]
步骤s300：基于移动载体单元高精度位置信息，获取移动载体单元预设范围内的环境信息。
[0077]
步骤s400：通过实时高清视频采集单元获取高清视频数据。
[0078]
步骤s500：获取移动载体单元的slam定位数据信息，并且基于移动载体单元预设范围内的环境信息，进行slam建图以及对移动载体单元进行定位。
[0079]
步骤s600：通过数据传输单元将高清视频数据、经过slam建图以及对移动载体单元进行定位的数据信息传输至预设的后端车辆管理服务平台。
[0080]
参照图3，对智慧移动检车装置进行前期预处理的步骤包括：步骤s110：获取每个车位的经纬度信息。
[0081]
步骤s120：获取每个车位编号。
[0082]
步骤s130：将每个所述车位编号映射于预设的系统内部编号体系。
[0083]
具体的，举例来说，车位编号为01，而系统内部编号体系中的对应编号为0001，则通过建立对应关系，则能将线下的车位编号同步于线上系统中。
[0084]
步骤s140：将预设的移动载体单元改装程序烧录至预设的算力单元中。
[0085]
参照图4，进行slam建图以及对移动载体单元进行定位的步骤包括步骤s510~s550：步骤s510：基于实时高清视频采集单元获取高清视频数据，通过前端视觉里程计进行处理。
[0086]
步骤s520：基于所述前端视觉里程计处理的结果，进行后端优化处理。
[0087]
步骤s530：基于所述后端优化处理的结果，进行slam构图。
[0088]
步骤s540：基于slam构图，进行回环检测。
[0089]
步骤s550：在定位时，车辆通过回环检测之后的地图进行定位。
[0090]
参照图5，进行slam建图以及对移动载体单元进行定位的步骤包括步骤s5a0~s5e0：步骤s5a0：获取移动载体单元实时位置信息以及移动载体单元与车位的距离差值信息。
[0091]
步骤s5b0：判断距离差值是否位于预设的距离阈值范围内。
[0092]
步骤s5c0：在距离差值位于预设的距离阈值范围时，控制预设的实时高清视频采集单元4获取移动载体单元的实时抓拍图像信息。举例来说，移动载体单元与车位的距离阈值范围为30~50cm，当位于此范围内时，则启动抓拍图像的功能。
[0093]
在距离差值位于预设的距离阈值范围内时，则不进行处理。
[0094]
步骤s5d0：判断实时抓拍图像中是否存在车辆。
[0095]
步骤s5e0：在实时抓拍图像中存在车辆时，控制预设的车牌检测识别模块6对移动
载体单元的车牌进行检测识别出车牌信息，并且将车牌信息进行上报。
[0096]
当车牌检测识别模块6对移动载体单元未识别出车牌信息时，则进行上报，通知现场人员。
[0097]
参照图6，步骤s5c0中的控制预设的实时高清视频采集单元4获取移动载体单元的实时抓拍图像信息包括步骤s5c1~s5c4：步骤s5c1：基于移动载体单元的实时抓拍图像信息识别出车牌图像信息。
[0098]
步骤s5c2：基于车牌图像信息生成矫正后的车牌图像信息，以及基于车牌图像信息识别车牌的颜色，从而获取移动载体单元类型信息。
[0099]
步骤s5c3：基于矫正后的车牌图像信息生成车牌文字结果信息。
[0100]
步骤s5c4：输出车牌文字结果信息和移动载体单元类型信息。
[0101]
基于移动载体单元的实时抓拍图像信息识别出车牌图像信息的步骤包括：基于移动载体单元的实时抓拍图像，获取车牌在实时抓拍图像中的位置信息。
[0102]
基于车牌在实时抓拍图像中的位置信息，获取每个车牌字符的置信度信息。
[0103]
基于每个车牌字符的置信度信息，确定每个车牌字符的类别。
[0104]
基于车牌的位置信息和每个车牌字符的置信度信息，得到车牌图像信息。
[0105]
具体地，输入实时抓拍图像，首先对其进行车牌检测得到车牌在图像中的大致位置，使用到的网络yolo系列的神经网络算法。
[0106]
yolo算法，其全称是you only look once：unified， real-time object detection，you only look once说的是只需要一次cnn运算，unified指的是这是一个统一的框架，提供end-to-end的预测，而real-time体现是yolo算法速度快。yolo算法采用一个单独的cnn模型实现end-to-end的目标检测，首先将输入图片resize到448x448，然后送入cnn网络，最后处理网络预测结果得到检测的目标。相比r-cnn算法，其是一个统一的框架，其速度更快，而且yolo的训练过程也是end-to-end的。
[0107]
具体来说，yolo的cnn网络将输入的图片分割成sxs网格，然后每个单元格负责去检测那些中心点落在该格子内的目标。每个单元格会预测b个边界框（bounding box）以及边界框的置信度（confidence score）。所谓置信度其实包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。前者记为pr（object），当该边界框是背景时（即不包含目标），此时pr（object）=0而当该边界框包含目标时，pr（object）=1。边界框的准确度可以用预测框与实际框（ground truth）的iou（intersection over union，交并比）来表征，记为iou_pred^truth。因此置信度可以定义为pr（object）*iou_pred^truth。很多人可能将yolo的置信度看成边界框是否含有目标的概率，但是其实它是两个因子的乘积，预测框的准确度也反映在里面。边界框的大小与位置可以用4个值来表征：（x，y，w，h），其中（x，y）是边界框的中心坐标，而w和h是边界框的宽与高。还有一点要注意，中心坐标的预测值（x，y）是相对于每个单元格左上角坐标点的偏移值，并且单位是相对于单元格大小的。而边界框的w和h预测值是相对于整个图片的宽与高的比例，这样理论上4个元素的大小应该在[0，1]范围。这样，每个边界框的预测值实际上包含5个元素：(x，y，w，h，c)，其中前4个表征边界框的大小与位置，而最后一个值是置信度。
[0108]
还有分类问题，对于每一个单元格其还要给出预测出c个类别概率值，其表征的是由该单元格负责预测的边界框其目标属于各个类别的概率。但是这些概率值其实是在各个
边界框置信度下的条件概率，即pr(class_i
│
object)。值得注意的是，不管一个单元格预测多少个边界框，其只预测一组类别概率值。
[0109]
边界框类别置信度表征的是该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏。
[0110]
总结一下，每个单元格需要预测（b*5+c）个值。如果将输入图片划分为sxs网格，那么最终预测值为sxsx（b*5+c）大小的张量。
[0111]
网络设计：yolo采用卷积网络来提取特征，然后使用全连接层来得到预测值。网络结构参考goolenet模型，包含24个卷积层和2个全连接层，对于卷积层，主要使用1x1卷积来做channle reduction，然后紧跟3x3卷积。对于卷积层和全连接层，采用leaky relu激活函数：max（x，0.1x）。但是最后一层却采用线性激活函数。
[0112]
可以看到网络的最后输出为7x7x30大小的张量。对于每一个单元格，前20个元素是类别概率值，然后2个元素是边界框置信度，两者相乘可以得到类别置信度，最后8个元素是边界框的（x，y，w，h）。
[0113]
网络训练：在训练之前，先在imagenet上进行了预训练，其预训练的分类模型采用图1中前20个卷积层，然后添加一个average-pool层和全连接层。预训练之后，在预训练得到的20层卷积层之上加上随机初始化的4个卷积层和2个全连接层。由于检测任务一般需要更高清的图片，所以将网络的输入从224x224增加到了448x448。
[0114]
网络预测：根据前面的分析，最终的网络输出是7x7x30，但是我们可以将其分割成三个部分：类别概率部分为[7，7，20]，置信度部分为[7，7，2]，而边界框部分为[7，7，2，4]（对于这部分，是根据原始图片计算出其真实值）。然后将前两项相乘（矩阵[7，7，20]乘以[7，7，2]可以各补一个维度来完成[7，7，1，20] x [7，7，2，1]）可以得到类别置信度值为[7，7，2，20]，这里总共预测了7*7*2=98个边界框。
[0115]
yolo算法先使用nms，然后再确定各个box的类别，对于98个boxes，首先将小于置信度阈值的值归0，然后分类别地对置信度值采用nms，这里nms处理结果不是剔除，而是将其置信度值归为0。最后才是确定各个box的类别，当其置信度值不为0时才做出检测结果输出。
[0116]
其中，基于车牌图像信息生成矫正后的车牌图像信息的步骤包括：基于车牌图像信息，获取缩放处理后的车牌图像信息。
[0117]
利用预设的wpod-net网络对缩放处理后的车牌图像信息进行处理后，获得具有固定尺寸的中心虚拟矩形框。
[0118]
判断中心虚拟矩形框内包含车牌字符的概率是否高于预设的检测阈值。
[0119]
若是，则利用预设的部分回归参数构建用于将虚拟矩形变换为车牌区域的仿射矩阵，从而得到水平方向和垂直方向均校正完成的车牌图像。
[0120]
车牌矫正也采用端到端的矫正方式，采用wpod-net网络，输入是车牌检测的结果，输出得到矫正后的车牌图像。
[0121]
最初，将车辆检测模块的输出进行缩放后送入wpod。前向过程得到了8通道的特征
映射，包含了目标/非目标的概率和仿射变换参数。为了提取扭曲的特定车辆（lp），首先考虑一个围绕单元格中心的固定大小为(m，n)的虚构矩形框。如果该矩形框包含目标的概率高于给定的检测阈值，则使用部分回归参数来构建将虚构正方形变换为lp区域的仿射矩阵。因此，我们可以轻松地将lp校正成水平和垂直对齐的对象。
[0122]
网络结构：所提出的架构总共具有21个卷积层，其中14个包含在残差块内。所有卷积滤波器的大小固定为3*3。除检测模块外，整个网络中都使用relu激活函数。有四个最大池化层，大小为2*2，步幅为2，可将输入维度降低16倍。最后，检测模块有两个平行的卷积层：（i）一个用于推断由softmax函数激活的概率值；（ii）另一个用于回归仿射参数而没有激活函数（或等效地，使用恒等函数f（x）= x作为激活函数）。
[0123]
网络训练：为了训练提出的wpod-net，我们创建了包含大量车辆图像的数据集，同时还使用数据集增强方法，具体增强方式如下：校正：假设lp位于平面上，基于lp的标注校正整个图像；宽高比：lp宽高比在区间[2，4]中随机设置，以适应不同区域的大小；居中：lp中心成为图像中心；缩放：缩放lp，使其宽度在40像素到280像素之间（根据lp的可读性进行实验设置）；旋转：执行具有随机选择角度的3d旋转，以考虑各种相机设置；镜像：按照50%的概率进行镜像操作；平移：将车牌从图像中心处随机平移，限制其平移后的范围位于208 * 208大小的正方形内；裁剪：在平移之前考虑lp中心，我们在其周围裁剪208
×
208区域；色彩变换：在hsv色彩空间进行颜色修改；标注：通过应用，用于增强输入图像的相同空间变换来调整四个lp角的位置。
[0124]
生成车牌文字结果信息的步骤包括：利用预设的深度卷积层结构，对矫正后的车牌图像信息提取特征，得到特征图，特征图包含特征序列。
[0125]
利用预设的双向循环差结构对特征序列进行预测，输出预测标签的分布信息，同时对特征序列中的每个特征向量进行记忆存储。
[0126]
使用预设的转录层结构，将预测标签的分布信息转换成最终的标签序列，最终的标签序列构成车牌文字结果信息。
[0127]
车牌类型判别采用普通的卷积神经网络cnn算法，输入是获取的车牌抓拍图像，输出是车牌颜色，根据车牌颜色判断车辆类型。
[0128]
cnn是神经网络中的一种，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。在二维图像处理上有众多优势，如网络能自行抽取图像特征包括颜色、纹理、形状及图像的拓扑结构；在处理二维图像问题上，特别是识别位移、缩放及其它形式扭曲不变
性的应用上具有良好的鲁棒性和运算效率等。
[0129]
cnn具有一些传统技术所没有的优点：良好的容错能力、并行处理能力和自学习能力，可处理环境信息复杂，背景知识不清楚，推理规则不明确情况下的问题，允许样品有较大的缺损、畸变，运行速度快，自适应性能好，具有较高的分辨率。它是通过结构重组和减少权值将特征抽取功能融合进多层感知器，省略识别前复杂的图像特征抽取过程。
[0130]
以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。