基于计算机视觉与CIM的无感充电桩交易可视化管理系统的制作方法

本发明涉及城市信息模型cim、电子商务、计算机视觉领域，具体涉及一种基于计算机视觉和cim的无感充电桩交易可视化管理系统。

背景技术：

近年来具有绿色、低碳、高效等特点的新能源汽车应运而生。随着技术的发展，各种类型的新能源电车层出不穷，新能源汽车的出现减少了汽车尾气中温室气体的排放，有利于保护人类赖以生存的生态环境。新能源汽车以电能作为能源，因此需要大量充电桩作为能源补充。

目前充电桩使用“加油站式”一次性交易的逻辑，充电桩需要二维码，或nfc等显示验证设备，这种设备容易受到恶意破坏，当显示、验证的设备发生损坏时，充电桩无法使用，同时使用流程过于繁琐。当使用一次性交易逻辑时，用户首先要一次性支付费用，用户中间临时有事断电驾车离开，剩余充电金额无法再次续用，完成不了断电异地续充，给用户带来经济损失。

充电桩分布较为分散，充电桩公司无法直观地对充电桩进行监督管理，不仅维护困难，而且存在着一定的安全隐患。

因此，现有充电桩交易管理技术存在流程繁琐、设备维护成本大、无法实现异地充电、缺少集中管理等问题。

技术实现要素：

本发明提出了一种基于计算机视觉和cim的无感充电桩交易可视化管理系统，该系统实现了cim信息模型、无感停车、可视化管理、电子商务的融合，简化操作流程、设备维护成本低、能够异地充电、实现可视化集中管理。

一种基于计算机视觉和cim的无感充电桩交易可视化管理系统，该系统基于充电桩城市信息模型cpcim实现充电桩可视化管理，充电桩城市信息模型cpcim包括充电桩所在停车场的地理位置、充电桩id以及对应车位感兴趣区域地理坐标、单应矩阵，该系统包括感知子系统、电子商务子系统、可视化管理子系统：

感知子系统，用于感知车辆信息，感知子系统包括：

车辆型号感知单元，用于基于第一深度神经网络推理模块对画面中车辆的图像进行分类，得到车型信息；

车牌号感知单元，用于基于第二深度神经网络推理模块进行车牌号检测；

车牌二维位姿感知单元，用于基于第三深度神经网络推理模块获取车辆轮胎关键点位置信息；

充电准备子系统，用于当车辆进入相机视野时进行充电准备，包括：

停车区域校准单元，用于根据单应矩阵将车辆轮胎关键点坐标变换到充电桩城市信息模型cpcim的地理坐标系，对车辆进行停车区域校准；

权限核准单元，用于根据车牌号、车型信息对车辆的充电权限进行核准；

充电就绪单元，用于当监测到车辆进入车位感兴趣区域且具有充电权限时，命令充电桩解锁，进入充电就绪状态；

电子商务子系统，用于进行充电服务计费和费用支付；

可视化管理子系统，用于显示区域的充电桩占用状态，便于管理员监管，可视化管理子系统包括：

数据获取单元，用于获取车辆充电状态信息并传送至充电桩城市信息模型cpcim，车辆充电状态信息包括车辆型号、车牌号、汽车功率、充电状态；

显示单元，用于结合webgis与cim技术对充电桩城市信息模型cpcim进行渲染，并将车辆充电状态信息展示在前台web页面；

管理单元，用于基于web界面超控充电桩状态。

第二深度神经网络推理模块采用文字检测深度卷积神经网络。

电子商务子系统包括：

计费单元，用于基于充电计费标准进行充电计费，当使用结束时即时扣费；

支付单元，用于在充电服务使用完毕后进行即时扣费，扣费方式可以使用免密支付方式。

停车区域校准单元包括：

关键点位置获取模块，从车辆二维位姿感知单元获取车辆轮胎四个关键点位置为[plf,prf,plb,prb]，plf对应车辆的左前轮，prf对应右前轮，plb对应左后轮，prb对应右后轮；

坐标变换模块，根据单应矩阵h对四个关键点的坐标进行透视变换：

其中，(u,v)是第三深度神经网络推理模块得到的关键点位置，(u′,v′)是经透视变换后的关键点位置，是单应矩阵，用于将关键点图像坐标映射至城市信息模型中的地理坐标，变换后的关键点坐标为[p′lf,p′rf,p′lb,p′rb]。

停车区域校准单元还包括：

校准模块，用于校准车辆的轮胎位置[p′lf,p′rf,p′lb,p′rb]是否位于充电桩对应车位的感兴趣区域roin＝[x0,y0,x1,y1]内。

管理单元包括：

电源控制模块，用于对停车区域内的充电桩进行电源接通及断开操作；

计费估算模块，用于当充电桩发生计费故障，管理员结合感知子系统的数据对充电费进行估算、打折处理。

本发明的有益效果在于：

1、本发明使用深度神经网络对车辆进行二维位姿检测，将二维姿态与充电桩城市信息模型cpcim进行比对，自动找出对应充电桩，只需人工进行插拔插头即可完成充电桩启动、交易扣费，减少操作流程。在车辆二维位姿检测中，本发明使用深度神经网络对车辆轮胎关键点进行检测，相比于现有技术中的包围框boundingbox检测，能够更准确地判定车辆是否进入充电桩对应的停车区域，以此作为充电准备的依据，能够带来更好的用户体验。

2、本发明采用感知子系统进行用户车辆验证，只需对摄像头进行日常维护，降低了设备维护成本。

3、本发明对感知子系统获得的车型、车牌信息进行验证，以此确认用户是否具有充电权限，不仅减少套牌充电的可能性，而且能够实现异地续充，降低一次性交易逻辑为用户带来的损失。

4、本发明构建充电桩城市信息模型cpcim，结合webgis和cim技术对实现整个城市充电桩的实时监视，实现智能的、实时的充电桩集中管理。

附图说明

图1为基于计算机视觉和cim的无感充电桩交易可视化管理系统信息交换示意图；

图2为透视变换后的车辆关键点位置示意图；

图3为webgis可视化界面示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于计算机视觉和cim的无感充电桩交易可视化管理系统，下面通过具体实施例来进行说明。

实施例一：

一种基于计算机视觉和cim的无感充电桩交易可视化管理系统，基于充电桩城市信息模型实现充电桩可视化管理。cim(cityinformationmodeling)即城市信息模型，是能够有效组织海量城市信息的模型，是bim技术的进一步升级，能够结合gis技术实时呈现城市各种信息状态。充电桩城市信息模型cpcim(chargingpile)包括：充电桩所在停车场的地理位置、充电桩信息、单应矩阵。充电桩信息包括充电桩id、充电桩对应的停车位的车位感兴趣区域地理坐标等信息。充电桩城市信息模型cpcim还包括用户及绑定的车辆的车型车牌信息。用户及绑定车型车牌信息是用于验证是否存在套牌现象的，避免账户盗用的发生。

系统包括感知子系统、充电准备子系统、电子商务子系统、可视化管理子系统。

感知子系统，用于感知车辆信息。感知子系统包括车辆型号感知单元、车牌号感知单元、车牌二维位姿感知单元。

感知子系统包括感知相机。感知相机的位置可以根据实施情况具体设置。例如，以路灯视角形式设置相机，或将感知相机置于充电桩上部。感知子系统还包括三个深度神经网络推理模块。

车辆型号感知单元，用于对画面中车辆的图像进行分类，得到的对应的车型信息。车辆型号检测是基于图像分类深度卷积神经网络(第一深度神经网络推理模块)的，一般的googlenet、resnet、hrnet都可使用其主干网络并在后端接入全连接神经网络即可实现用于图像分离的深度卷积神经网络。还可以使用squeezenet进行车辆分类，具有较高的车型识别精度。

车牌号感知单元，用于基于文字检测深度卷积神经网络(第二深度神经网络推理模块)进行车牌号检测。车牌号是对画面中车牌进行目标检测并通过文字检测得到的车牌号信息。车牌号识别是基于文字检测深度卷积神经网络实现的，一般的用于文本识别等网络结构都可以用于训练车牌识别任务，优选地，使用无版权的openvino中对应车牌识别的预训练模型即可完成。

车辆二维位姿感知单元，用于获取车辆轮胎关键点位置信息。车辆二维位姿是车辆在画面中的前后轮的位置信息，包括左前、右前、左后、右后四个车轮的位置信息，共四个二维坐标。将四个二维坐标，透视变换到cim的地理坐标后，可以得知车辆的位置，从而知道车辆所在停车位及对应的充电桩。进一步地，可以通过车辆二维位姿感知车辆朝向。车轮关键点可以是车辆轮胎与地面的接触点，也可以是车辆轮胎中心点。优先地，车轮关键点可以选取车辆轮胎中心点，能够提高后续停车区域校准的精度。

深度神经网络推理模块使用的算法是公知的。优选地，车辆二维位姿估计可以基于成熟且开源的openpose内的车辆二维关键点检测模型。将相机采集到的包含车辆的图像直接输入第三深度神经网络推理模块，进行深度神经网络推理，得到画面中车辆的二维关键点位置和标签。标签用于标识车轮是四个车轮中的哪个车轮。

经过深度神经网络推理模块得到车辆轮胎四个关键位置为[plf,prf,plb,prb]，plf对应车辆的左前轮，prf对应右前轮，plb对应左后轮，prb对应右后轮。

由于上述所用的网络结构有很多种等效实施方案，因此本发明只提供一种较佳的实施方案。又因为上述实施方案不但有多种等效方法，而且如今上述基于深度学习的感知方法在本领域广泛使用，因此，使用何种深度卷积神经网络及其后处理方法不在本发明保护范围内。实施者应知道，对应的深度卷积神经网络不会过分影响系统性能，实施者应结合具体情况实验出最佳的视觉感知实施方案。

充电准备子系统，用于当车辆进入相机视野时进行充电准备，包括停车区域校准单元、权限核准单元、充电就绪单元。

停车区域校准单元，用于根据单应矩阵将车辆轮胎关键点坐标变换到充电桩cim的地理坐标系，对车辆进行停车区域校准。

如图1所示，是本发明系统的信息交换示意图。感知子系统通过相机感知模块实现各子单元的功能。相机感知模块不断获取车辆的2d位姿，并将其变换到充电桩城市信息模型cim坐标系。停车校准信息均通过cim信息交换模块在服务器端进行验证。

充电桩cim的数据包括了透视变换用的单应矩阵。为了将相机感知信息和充电桩cim的数据相对应，需要通过单应矩阵对车辆的位姿进行透视变换，基于此，才能得到车辆所在位置、停车状态、对应的停车位及其充电桩。

根据单应矩阵h对上述四个点的坐标进行透视变换：

其中，(u,v)是第三深度神经网络推理模块得到的关键点位置，(u′,v′)是经透视变换后的关键点位置，是单应矩阵。

对车辆轮胎四个关键位置为[plf,prf,plb,prb]分别进行坐标变换即可得到变换后的[p′lf,p′rf,p′lb,p′rb]。透视变换后的车辆关键点位置如图2所示。

基于变换后的[p′lf,p′rf,p′lb,p′rb]，结合充电桩cim数据的各个车位的感兴趣区域，即可判定车辆停在何车位处。当车辆的轮胎位置[p′lf,p′rf,p′tb,p′rb]位于某车位感兴趣区域roin＝[x0,y0,x1,y1]内，则认为车辆停靠在该车位。其中，roin是对角线顶点定义式，即某点p(x,y)满足x∈[x0,x1],且y∈[y0,y1]时，认为该点位于车位roi内。

持续对当前车辆的轮胎位置[p′lf,p′rf,p′lb,p′rb]进行检测，当条件都满足位于roi内时，认为车辆停靠于停车位n对应的感兴趣区域roin。车辆可以访问对应的充电桩。

当车辆进入车位感兴趣区域后，视为用户将车辆停住。当车辆进入感兴趣区域后，相应地，可以根据停车区域的地理位置查询到用户将使用的充电桩对应的id。

至此，可以得到车辆所在停车场的地理信息、选择的充电桩id、选择的停车位信息。

权限核准单元，用于根据车牌号、车型信息对车辆的充电权限进行核准。根据感知子系统提取的车型和车牌号，系统开始判定用户有无权限使用充电服务。当车型和车牌号信息与充电桩城市信息模型cpcim中的信息相符时，用户有使用充电服务的权限。

充电就绪单元，用于当监测到车辆进入车位感兴趣区域并且具有使用充电服务权限时，命令充电桩解锁，进入充电就绪状态。当用户有权限且停好车辆时，即车牌号和车型与系统登记的相符，且车辆四轮皆位于某一停车位感兴趣区域时，命令充电桩解锁，进入就绪状态，即插入车辆充电口时，充电桩即可启动充电。

如图1所示，根据相机感知到的车辆型号、车牌号等信息进行权限核准，来验证用户信息。当用户具有权限时，解锁充电桩。如果用户没有权限，则保持充电桩停用锁紧状态。用户权限核准通过cim信息交换模块在服务器端进行验证。

实施者应当知道，权限核准与停车区域校准两者可以并行执行，一边校准车辆是否停入感兴趣区域，一边核对充电权限。当具有充电权限且车辆停入车位感兴趣区域时，充电桩解锁，进入充电就绪状态。

此外，权限核准可以在停车区域校准之前执行，当核准有充电权限之后，再进行停车区域校准，如若没有权限，则可以通过语音等方式告知车辆无充电权限。进一步地，实施者可以设置车位锁来防止无充电权限的车辆进入充电桩对应的车位感兴趣区域。

在车辆二维位姿检测中，本发明使用深度神经网络对车辆轮胎关键点进行检测，相比于现有技术中的包围框boundingbox检测，能够更准确地判定车辆是否进入充电桩对应的停车区域，以此作为充电准备的依据，能够带来更好的用户体验。本发明使用深度神经网络对车辆进行二维位姿检测，将二维姿态与充电桩cim进行比对，自动找出对应充电桩，只需人工进行插拔插头即可完成充电桩启动、交易扣费，减少操作流程。本发明采用感知子系统进行用户车辆验证，只需对摄像头进行日常维护，降低了设备维护成本。本发明对感知子系统获得的车型、车牌信息进行验证，以此确认用户是否具有充电权限，不仅减少套牌充电的可能性，而且由于保存了用户、车辆等信息，能够实现异地续充，降低一次性交易逻辑为用户带来的损失。

电子商务子系统，包括计费模块和支付模块。其中，电子商务业务主要是指无感停车的计费和免密支付的交易。

计费模块，用于基于充电计费标准进行充电计费，当使用结束时即时扣费。

当用户将充电设施插入车辆充电口时，充电桩与车辆握手通信，当该步骤成功完成时，充电桩即进入供电状态，此时，开始计费。

实施者应知道，计费是当用户在任意地区的充电桩通过验证后，开始充电时进行计费，当使用结束时即时扣费。至于使用何种交易手段，本发明不做限制，因此，实施者应自行使用合适的交易模式。

支付模块，用于在充电服务使用完毕时及时扣费，可以使用免密支付方式。免密支付是为了满足即时扣费而使用的。

本发明中的电子商务交易形式有多种，故不在此限定，又因为交易模式是众所周知且存在诸多等效方案的，因此不作为保护内容，实施者应结合实际情况自行设计交易方案。

为了直观地呈现整个城市以及目标区域的充电桩cim信息状态，使用户直观地知道当前区域的占用状态、使管理员直观地监管充电状态，可视化管理子系统结合webgis可视化技术，对充电桩状态、区域内停车位状态进行展示。

可视化管理子系统，包括数据获取单元、显示单元、管理单元，用于显示区域的充电桩占用状态，便于管理员监管。

数据获取单元，用于获取车辆充电状态信息并传送至cpcim，车辆充电状态信息包括车辆型号、车牌号、汽车功率、充电状态。

汽车充电功率可以通过充电桩电流、电压传感器获得。将数据获取单元得到的数据通过4g网络上传至服务器端。

显示单元，用于结合webgis与cim技术对充电桩城市信息模型cpcim进行渲染，并将车辆充电状态信息展示在前台web页面。

将充电桩cim信息模型通过webgis技术在web页面进行展示，用户、管理员可以实时查看当前充电中汽车的型号、功率、车牌号。汽车充电功率是通过充电桩电流、电压传感器获得。实施者可以根据需求采用渲染、图像加速技术来进一步增强用户体验，为用户提供更加友好的显示界面。

管理单元，用于基于web界面超控充电桩的电源接通状态。具体地，管理员通过管理单元可以对区域内的充电桩进行。

管理员具有基于界面超控充电桩的充电功能，具体为：可以直接对充电桩进行行单个或定区域控制，当充电桩发生异常或需遇恶劣天气，管理员可在web端对充电桩进行断电操作；当充电桩发生计费故障，管理员可以通过上述感知模块摄像头判断车辆充电信息，并对充电费用进行估算、打折处理。

如图3所示，是某一停车场webgis可视化界面示意图。管理员点击显示页面，并点击某一停车场，即可显示该停车场的充电桩占用状态。图3中停车场包括a、b、c、d、e五个车位。车型为特斯拉model3、车牌号为豫a000xx的车辆在以150kw的功率进行充电，充电量达到了81％。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。