一种用于视觉识别电动汽车直流充电插口的方法及系统与流程

本发明涉及汽车充电技术领域，特别涉及一种用于视觉识别电动汽车直流充电插口的方法及系统。

背景技术：

电动汽车停泊至预设的车位范围内，通过视觉识别技术，利用在汽车充电口处贴标记点贴片的方式以帮助视觉系统完成识别并输出汽车充电口的位置及姿态信息，引导机械臂携带充电插头完成自动充电的过程。传统技术中多在汽车充电口处贴标记点贴片或多借助于其他工具如红外测距等辅助视觉系统完成识别与处理。因而传统自动识别电动汽车充电口方法需要对汽车的充电口位置进行局部改造，人为增添标记点，视觉识别系统的适应性及鲁棒性不强，对未经处理改造的车型，视觉系统无法正常识别；测量充电口深度信息时，传统方法多配备其他测量工具，如激光测距仪等，这会增加充电机器人整体系统操作的复杂性及可靠性。

技术实现要素：

本发明公开了一种用于视觉识别电动汽车直流充电插口的方法及系统，用于视觉识别电动汽车直流充电插口，无需对汽车进行改装，使得识别方法实用性及鲁棒性大大增强，同时无需采用其他的测量设备，可大大降低系统成本。

为达到上述目的，本发明提供以下技术方案：

本发明提供一种用于视觉识别电动汽车直流充电插口的方法，包括：

获得充电插口两种不同位置的灰度图像；

对获得的两个灰度图像进行处理，并获取各灰度图像中的目标轮廓信息；

对获取的所述目标轮廓信息进行去噪、分类，将属于同一个圆的圆弧轮廓信息分为一族，并对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓；

对确定的多个椭圆轮廓进行椭圆过滤，确定充电插口的目标圆轮廓；

根据两个灰度图像中确定的充电插口的目标圆轮廓圆心投影的二维像素坐标，计算所述圆心的三维坐标，并根据目标圆轮廓的三维坐标计算出充电接口端面的法向量。

上述方法中首先获得充电插口处两种不同位置的灰度图像，并分别对两个灰度图像进行处理，获取各灰度图像中的目标轮廓信息，进而对获取的目标轮廓信息进行去噪、分类，并将属于同一个圆的圆弧轮廓信息分为一族，并对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓，由于以充电插口的自身圆形结构为特征，因此会存在将充电口插口与汽车本体的螺栓连接件也识别拟合出来，影响最终的测量准确性，因而本方法对确定的多个椭圆轮廓进行椭圆过滤，滤除误识别出的其它圆等，从而确定充电插口的目标圆轮廓，最后由相应的目标圆椭圆参数，获得充电插口的空间位置，最终引导机械臂完成充电桩的自动插接功能。

因此，上述方法采用视觉识别的方式，通过数字图像处理方法及双目视觉的方法并结合合理的外部光源光照方式，识别电动汽车充电插口的圆形特征，无需对电动汽车充电插口处贴标记片，无需利用其他测量工具测量充电插口的深度信息，即可实现自动识别、检测电动汽车充电插口，并输出相应的位置及姿态信息，可大大降低系统成本。

可选地，对确定的多个椭圆轮廓进行椭圆过滤，确定充电插口的目标圆轮廓，包括：

根据所述椭圆轮廓的圆心像素坐标，去除所述椭圆轮廓中的同心圆；

根据所述椭圆轮廓的圆心像素坐标，去除所述椭圆轮廓中的螺钉圆。

可选地，根据所述椭圆轮廓的圆心像素坐标，去除所述椭圆轮廓中的同心圆，包括：

将多个椭圆按照圆心像素x坐标排列，若排列后的椭圆中相邻两个椭圆的圆心坐标之差小于第一阈值，且若相邻两个椭圆短半轴之差小于第二阈值，确定两个椭圆为同心圆，删除两个椭圆中短半轴与长半轴比值较小的椭圆。

可选地，根据所述椭圆轮廓的圆心像素坐标，去除所述椭圆轮廓中的螺钉圆，包括：

将多个椭圆按照圆心像素y坐标依次排列，若排序后的第二个椭圆的像素y坐标与第一个椭圆的像素y坐标的差值大于第三阈值，则删除第一个椭圆；

若排序后的第三个椭圆的像素y坐标与第二个椭圆的像素y坐标的差值大于第四阈值，则删除第一个椭圆和第二个椭圆。

可选地，根据所述椭圆轮廓的圆心像素坐标，去除所述椭圆轮廓中的螺钉圆，还包括：

将余下的多个椭圆按照长半轴大小排列，依次获取每个椭圆的长半轴与最后一个椭圆的长半轴的比值，删除长半轴与最后一个椭圆的长半轴的比值小于第五阈值的椭圆。

可选地，根据所述椭圆轮廓的圆心像素坐标，去除所述椭圆轮廓中的螺钉圆，还包括：

将余下的椭圆按照圆心像素y坐标排列，将最后一个椭圆与第一个椭圆的y坐标作差，若差值小于第六阈值则删除最后一个椭圆；再将删除后的椭圆序列最后一个椭圆与第一个椭圆的圆心y坐标作差，若差值小于第六阈值删除最后一个椭圆。

可选地，获得充电插口两种不同位置的灰度图像，包括：

利用彩色相机获取充电接口处的图像照片，并将其灰度化获得灰度照片；或者，利用灰度相机采集充电接口处的灰度照片。

可选地，对获得的两个灰度图像进行处理，并获取各灰度图像中的目标轮廓信息，包括：

采用高斯滤波对所述灰度图像进行去噪处理；

对去噪处理后的图像进行去畸变处理；

对去畸变处理后的图像进行边界轮廓提取，获取各灰度图像中的目标轮廓信息。

可选地，对获取的所述目标轮廓信息进行去噪，包括：

统计所述目标轮廓信息中的每个椭圆轮廓的轮廓像素点数，删除轮廓像素点数少于第七阈值的轮廓。

可选地，对获取的所述目标轮廓信息进行分类，包括：

利用梯度大小将所述目标轮廓信息中的椭圆弧分为一三象限弧和二四象限弧；当所述目标轮廓信息中椭圆弧的梯度小于零，椭圆弧为一三象限弧，当所述目标轮廓信息中椭圆弧的梯度大于零，椭圆弧为二四象限弧；

利用弧线包络的最小矩形上、下面积差，将所述目标轮廓信息中的椭圆弧分为第一象限弧、第二象限弧、第三象限弧、第四象限弧；当所述面积差小于零时，椭圆弧为第一象限弧或第二象限弧；当所述面积差大于零时，椭圆弧为第三象限弧或第四象限弧。

可选地，将属于同一个圆的圆弧轮廓分为一族，包括：

通过相邻象限椭圆弧的首、尾像素位置坐标判断是否为属于同一个圆；当第一象限弧的首像素的x坐标大于第二象限弧尾像素的x坐标时，判断这两个椭圆弧属于同一个圆；当第二象限弧的首像素的y坐标小于第三象限弧的首像素的y坐标，判断这两个椭圆弧属于同一个圆；当第三象限弧的尾像素的x坐标小于第四象限弧的首像素的x坐标，判断这两个椭圆弧属于同一个圆；当第四象限弧的尾像素的y坐标大于第一象限弧的尾像素的y坐标，判断这两个椭圆弧属于同一个圆。

可选地，对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓，包括：

采用最小二乘法对同族的圆弧轮廓进行椭圆拟合，获得椭圆的圆心位置像素坐标，椭圆的长、短半轴，以及椭圆长轴与像素坐标系x轴的夹角。

本发明还提供一种用于视觉识别电动汽车直流充电插口的系统，包括：

图像采集模块，用于采集直流充电插口处的灰度图像；

图像处理模块，所述图像处理模块与所述图像采集模块信号连接，用于：

获得充电插口两种不同位置的灰度图像；

对获得的两个灰度图像进行处理，并获取各灰度图像中的目标轮廓信息；

对获取的所述目标轮廓信息进行去噪、分类，将属于同一个圆的圆弧轮廓信息分为一族，并对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓；

对确定的多个椭圆轮廓进行椭圆过滤，确定充电插口的目标圆轮廓；

根据两个灰度图像中确定的充电插口的目标圆轮廓圆心投影的二维像素坐标，计算所述圆心的三维坐标，并根据目标圆轮廓的三维坐标计算出充电接口端面的法向量。

上述系统采用视觉识别的方式，通过数字图像处理方法及双目视觉的方法并结合合理的外部光源光照方式，识别电动汽车充电插口的圆形特征，无需对电动汽车充电插口处贴标记片，无需利用其他测量工具测量充电插口的深度信息，即可实现自动识别、检测电动汽车充电插口，并输出相应的位置及姿态信息，可大大降低系统成本。

可选地，所述图像采集模块为双目相机，所述双目相机为彩色相机或者灰度相机。

附图说明

图1为本发明实施例提供的一种用于视觉识别电动汽车直流充电插口的方法的流程图；

图2为图1中步骤s102的流程图；

图3为步骤s103确定的多个椭圆轮廓的效果图；

图4为图1中步骤s104的流程图；

图5为图4中步骤s401中去除同心圆的效果图；

图6为图4中步骤s402中去除最上方的两个螺钉圆的效果图；

图7为图4中步骤s402中去除最下方的两个螺钉圆的效果图；

图8为本发明实施例提供的一种用于视觉识别电动汽车直流充电插口的系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种用于视觉识别电动汽车直流充电插口的方法，如图1所示，具体可以包括以下步骤：

s101、获得充电插口两种不同位置的灰度图像；

s102、对获得的两个灰度图像进行处理，并获取各灰度图像中的目标轮廓信息；

s103、对获取的目标轮廓信息进行去噪、分类，将属于同一个圆的圆弧轮廓信息分为一族，并对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓；

s104、对确定的多个椭圆轮廓进行椭圆过滤，确定充电插口的目标圆轮廓；

s105、根据两个灰度图像中确定的充电插口的目标圆轮廓圆心投影的二维像素坐标，计算圆心的三维坐标，并根据目标圆轮廓的三维坐标计算出充电接口端面的法向量。

上述方法中首先获得充电插口处两种不同位置的灰度图像，并分别对两个灰度图像进行处理，获取各灰度图像中的目标轮廓信息，进而对获取的目标轮廓信息进行去噪、分类，并将属于同一个圆的圆弧轮廓信息分为一族，并对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓，由于以充电插口的自身圆形结构为特征，因此会存在将充电口插口与汽车本体的螺栓连接件也识别拟合出来，影响最终的测量准确性，因而本方法对确定的多个椭圆轮廓进行椭圆过滤，滤除误识别出的其它圆等，从而确定充电插口的目标圆轮廓，最后由相应的目标圆椭圆参数，获得充电插口的空间位置，最终引导机械臂完成充电桩的自动插接功能。

因此，上述方法采用视觉识别的方式，通过数字图像处理方法及双目视觉的方法并结合合理的外部光源光照方式，识别电动汽车充电插口的圆形特征，无需对电动汽车充电插口处贴标记片，无需利用其他测量工具测量充电插口的深度信息，即可实现自动识别、检测电动汽车充电插口，并输出相应的位置及姿态信息，可大大降低系统成本。

具体地，上述步骤s101具体可以包括：

利用彩色相机获取充电接口处的图像照片，并将其灰度化获得灰度照片；或者，利用灰度相机采集充电接口处的灰度照片。

具体地，如图2所示，上述步骤s102具体可以包括：

s201、采用高斯滤波对灰度图像进行去噪处理；

s202、对去噪处理后的图像进行去畸变处理；

s203、对去畸变处理后的图像进行边界轮廓提取，获取各灰度图像中的目标轮廓信息。

具体地，上述步骤s201中，采用尺寸较小的掩膜对灰度照片进行高斯滤波，此处滤波用于去除图像采集过程中的噪声。上述步骤s202中，利用相机标定后的相机内参数，对步骤s201滤波后的照片进行去畸变处理，此处可以减轻由于镜头透镜对光线弯曲造成的细微图像畸变，还原真实的图像成像效果。上述步骤s203中，采用canny算子对步骤s202中获得的去畸变图像进行边界轮廓提取，此时获得大量图像轮廓，其中包含目标圆的圆轮廓和其他背景的曲线或直线轮廓。

具体地，上述步骤s103中，对获取的目标轮廓信息进行去噪，具体包括：

统计目标轮廓信息中的每个椭圆轮廓的轮廓像素点数，删除轮廓像素点数少于第七阈值的轮廓。

需要说明的是，该步骤中的去噪是为去除像素点数较少的椭圆轮廓，当轮廓像素点数少于一定阈值，视为噪声轮廓，本方法中将第七阈值设定为16个像素。

具体地，上述步骤s103中，对获取的目标轮廓信息进行分类，具体包括：

利用梯度大小将目标轮廓信息中的椭圆弧分为一三象限弧和二四象限弧；当目标轮廓信息中椭圆弧的梯度小于零，椭圆弧为一三象限弧，当目标轮廓信息中椭圆弧的梯度大于零，椭圆弧为二四象限弧；

利用弧线包络的最小矩形上、下面积差，将目标轮廓信息中的椭圆弧分为第一象限弧、第二象限弧、第三象限弧、第四象限弧；当面积差小于零时，椭圆弧为第一象限弧或第二象限弧；当面积差大于零时，椭圆弧为第三象限弧或第四象限弧。

需要说明的是，该步骤中分类的目的是将圆弧分成第一象限圆弧、第二象限圆弧、第三象限圆弧、第四象限圆弧，利用圆弧梯度可将圆弧分为一三象限圆弧和二四象限圆弧，具体地：当圆弧的梯度小于零，圆弧为第一象限圆弧或第三象限圆弧，当圆弧的梯度大于零，圆弧为第二象限圆弧或第四象限圆弧；再利用圆弧包络的最小矩形上、下面积差，将圆弧分为第一象限圆弧、第二象限圆弧、第三象限圆弧、第四象限圆弧，以区分一、三象限圆弧为例，当一个圆弧被最小的矩形包络时，此时圆弧将矩形分为上下两部分。当圆弧属于第一象限时，被分割后矩形的上部分面积比下部分的面积小，当圆弧属于第三象限圆弧时，被分割后的矩形上部分面积比下部分的面积大。因此可采用最小包络矩形的上下两部分面积的差值来判断，若差值大于零，为第三象限圆弧，若差值小于零，为第一象限圆弧。二四象限圆弧判断同理，在此不再赘述。

具体地，上述步骤s103中，将属于同一个圆的圆弧轮廓分为一族，具体包括：

通过相邻象限椭圆弧的首、尾像素位置坐标判断是否为属于同一个圆；当第一象限弧的首像素的x坐标大于第二象限弧尾像素的x坐标时，判断这两个椭圆弧属于同一个圆；当第二象限弧的首像素的y坐标小于第三象限弧的首像素的y坐标，判断这两个椭圆弧属于同一个圆；当第三象限弧的尾像素的x坐标小于第四象限弧的首像素的x坐标，判断这两个椭圆弧属于同一个圆；当第四象限弧的尾像素的y坐标大于第一象限弧的尾像素的y坐标，判断这两个椭圆弧属于同一个圆。

需要说明的是，该步骤中分族的方法是通过相邻象限圆弧的首、尾像素位置约束来实现的。具体地：当第一象限圆弧的首像素的x坐标大于第二象限圆弧尾像素的x坐标时，可判断这两个圆弧属于同一个圆；当第二象限圆弧的首像素的y坐标小于第三象限圆弧的首像素的y坐标，可判断这两个圆弧属于同一个圆；当第三象限圆弧的尾像素的x坐标小于第四象限圆弧的首像素的x坐标，可判断这两个圆弧属于同一个圆；当第四象限圆弧的尾像素的y坐标大于第一象限圆弧的尾像素的y坐标，可判断这两个圆弧属于同一个圆。

具体地，上述步骤s103中，对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓，具体包括：

采用最小二乘法对同族的圆弧轮廓进行椭圆拟合，获得椭圆的圆心位置像素坐标，椭圆的长、短半轴，以及椭圆长轴与像素坐标系x轴的夹角。

一种具体的实施例中，如图3所示，上述目标圆识别技术不仅将直流充电插口内的三个大的目标圆识别并拟合出来，还将四周四个角处的螺钉圆识别并拟合出来，因而需要滤除这些螺钉圆。

具体地，如图4所示，上述步骤s104具体可以包括：

s401、根据椭圆轮廓的圆心像素坐标，去除椭圆轮廓中的同心圆；

s402、根据椭圆轮廓的圆心像素坐标，去除椭圆轮廓中的螺钉圆。

具体地，上述步骤s401具体可以包括：

将多个椭圆按照圆心像素x坐标排列，若排列后的椭圆中相邻两个椭圆的圆心坐标之差小于第一阈值，且若相邻两个椭圆短半轴之差小于第二阈值，确定两个椭圆为同心圆，删除两个椭圆中短半轴与长半轴比值较小的椭圆，效果如图5所示。

需要说明的是，上述步骤s401中第一阈值可以为前一个椭圆的短半轴半径，第二阈值为两个椭圆中较小短轴半径的0.3倍。

具体地，由于充电插口上方存在两个用于安装的螺钉圆，此时存在两种情况，一种是只识别出一个螺钉圆(左右任意)，另一种是同时识别出两个螺钉圆，此时上述步骤s402具体可以包括：

将多个椭圆按照圆心像素y坐标依次排列，若排序后的第二个椭圆的像素y坐标与第一个椭圆的像素y坐标的差值大于第三阈值，则删除第一个椭圆；

若排序后的第三个椭圆的像素y坐标与第二个椭圆的像素y坐标的差值大于第四阈值，则删除第一个椭圆和第二个椭圆。

需要说明的是，上述步骤s402中第三阈值和第四阈值均可以为做差值的椭圆中后一个椭圆长半轴半径的1.5倍，效果如图6所示。

可以理解的是，此示例图3中虽未识别出充电插口中上方和下方的较小的目标圆，但在此步仍需对此进行检测，如果存在需要进行过滤删除，检测过滤方法为：

将余下的多个椭圆按照长半轴大小排列，依次获取每个椭圆的长半轴与最后一个椭圆的长半轴的比值，删除长半轴与最后一个椭圆的长半轴的比值小于第五阈值的椭圆。

需要说明的是，本方法中第五阈值设定为0.4。

具体地，上述步骤s402具体还可以包括：

将余下的椭圆按照圆心像素y坐标排列，将最后一个椭圆与第一个椭圆的y坐标作差，若差值小于第六阈值则删除最后一个椭圆；再将删除后的椭圆序列最后一个椭圆与第一个椭圆的圆心y坐标作差，若差值小于第六阈值删除最后一个椭圆。

需要说明的是，此处为了过滤最下方的两个螺钉圆，同过滤最上方的两个螺钉圆类似，仍然存在两种情况，即只识别出一个螺钉圆和同时识别出两个螺钉圆。第六阈值设定为经过排序后的第一个椭圆的短半轴的2.5倍，效果如图7所示。

至此实现椭圆识别并过滤的功能。

左右两个相机均采用上述的椭圆识别及过滤的方法获取直流充电插口内的三个目标圆轮廓，通过双目视觉立体匹配及三角测量技术，计算三个目标圆圆心相对于左相机或右相机坐标系的空间位置三维坐标，并由三个圆的空间位置坐标计算出相应充电接口端面的法向量，用于引导机械臂实现自动插接充电枪的功能。

基于同一发明构思，根据本发明上述实施例提供的一种用于视觉识别电动汽车直流充电插口的方法，相应地，本发明实施例还提供了一种用于视觉识别电动汽车直流充电插口的系统，具体实现方式可以参见前述方法的实施例，重复之处不再赘述。

本发明的实施例还提供一种用于视觉识别电动汽车直流充电插口的系统，其结构如图8所示，包括：

图像采集模块1，用于采集直流充电插口处的灰度图像；

图像处理模块2，图像处理模块2与图像采集模块1信号连接，用于：

获得充电插口两种不同位置的灰度图像；

对获得的两个灰度图像进行处理，并获取各灰度图像中的目标轮廓信息；

对获取的目标轮廓信息进行去噪、分类，将属于同一个圆的圆弧轮廓信息分为一族，并对同族的圆弧轮廓信息进行椭圆拟合，确定多个椭圆轮廓；

对确定的多个椭圆轮廓进行椭圆过滤，确定充电插口的目标圆轮廓；

根据两个灰度图像中确定的充电插口的目标圆轮廓圆心投影的二维像素坐标，计算圆心的三维坐标，并根据目标圆轮廓的三维坐标计算出充电接口端面的法向量。

上述系统采用视觉识别的方式，通过数字图像处理方法及双目视觉的方法并结合合理的外部光源光照方式，识别电动汽车充电插口的圆形特征，无需对电动汽车充电插口处贴标记片，无需利用其他测量工具测量充电插口的深度信息，即可实现自动识别、检测电动汽车充电插口，并输出相应的位置及姿态信息，可大大降低系统成本。

可选地，图像采集模块1为双目相机，双目相机为彩色相机或者灰度相机。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。