转向控制图像识别方法、装置及挖掘机与流程

本发明涉及工程机械，具体涉及挖掘机转向控制图像识别方法、装置及挖掘机。

背景技术：

1、挖掘机的遥控作业是目前工程机械自动化的的一个重要领域，而对于挖掘机的遥控作业来说，遥控驾驶技术在其中扮演着关键的角色，特别是对于轮式挖掘机来说，其自动驾驶技术与汽车的自动驾驶技术难度相似，面临着许多技术挑战。

2、目前，有的轮式挖掘机遥控系统在上车工作装置方面已有一些技术性企业进行研发，但在下车的行走控制方面存在一些挑战，主要体现在以下问题：

3、1、开发难度大和成本高：传统的遥控系统需要在挖掘机上安装高成本、高可靠性的绝对值编码传感器，以测量方向杆的操控角度，这些传感器不仅价格昂贵，而且需要精确与转向系统同轴安装，这增加了安装的技术难度和成本。

4、2、故障点较多：由于需要加装同轴传感器，系统结构变得复杂，同时容易发生故障，长期使用后，方向盘的转动可能导致传感器和遥控方向盘轴之间的相对滑动，从而影响操作的精度和可靠性。

5、因此，目前亟需一种能够降低开发难度、开关成本，且减少结构复杂度的挖掘机转向控制图像识别方法。

技术实现思路

1、发明目的：为了克服以上不足，本发明的目的是提供挖掘机转向控制图像识别方法，其通过直线与圆弧相融合的方式识别定位遥控方向盘，提取了最有效的特征，减少了识别的复杂度，利用相似透射关系，简化了定位的难度，加快了特征定位的速度，从而提高了方向控制的实时性。

2、为解决上述技术问题，本发明提供了一种挖掘机转向控制图像识别方法，包括以下步骤：根据采集的遥控方向盘图像，初始化遥控方向盘的轮廓识别，形成预设轮廓特征；根据所述遥控方向盘图像，生成遥控方向盘的实时轮廓特征，进而将实时轮廓特征与预设轮廓特征比对，判断是否通过图像校验；若是，则生成所述遥控方向盘图像的有效搜索范围，且将所有无效范围区域屏蔽，若否，则返回重新生成遥控方向盘的实时轮廓特征；根据有效搜索范围内的实时轮廓特征，随机搜索一组对称轮廓线拟合组合，进而根据所述对称轮廓线拟合组合，判断挖掘机遥控方向盘的实时转动角度。

3、通过采用上述技术方案，能够通过直线与圆弧相融合的方式识别和定位遥控方向盘，从中提取出最有效的特征，这种综合分析减少了识别过程的复杂度，以更高的精确度确定遥控方向盘的位置和轮廓；同时，通过利用相似透射关系，简化了定位的难度，这意味着可以更容易地在遥控方向盘和图像之间建立准确的对应关系，进一步提高了特征定位的速度，以此，能够更快地实现对遥控方向盘的位置和状态的实时追踪和识别，这一技术方案的应用能够显著提高方向控制的实时性。

4、优选地，在形成预设轮廓特征时，所述方法还包括以下步骤：采集遥控方向盘图像，进而通过分析遥控方向盘圆弧和直线的组合特征，生成遥控方向盘轮廓；根据所述遥控方向盘轮廓的每一个非零像素点，计算像素点的圆弧曲率：

5、，

6、其中，为像素点处圆弧曲率，为该像素点处一阶导，为该像素点处二阶导；判断是否存在圆弧曲率大于预设曲率的像素点，若是，则将匹配的像素点设为拐点，若否，则返回重新计算像素点的圆弧曲率。

7、优选地，在生成拐点后，所述方法还包括以下步骤：计算拐点边缘轮廓的比例参数：

8、，

9、其中，为圆心角；根据比例参数，判断拐点边缘轮廓是否为合理圆弧；若是，则将所有的圆弧按照预设顺序排列，若否，则将所述拐点边缘轮廓识别为直线；根据排列后的圆弧，将属于同一圆形的圆弧重组，进而形成预设轮廓特征。

10、优选地，在将属于同一圆形的圆弧重组时，所述方法还包括以下步骤：根据排列后的圆弧，按照预设比对顺序进行依次比对，判断是否存在属于同一圆形的圆弧；若是，则将属于同一圆形的圆弧重组，重新计算圆心和半径，进而将重组后的圆弧按照预设比对顺序进行依次比对，若否，则返回重新计算像素点的圆弧曲率；重复执行上述步骤，直至得到最终的圆弧和圆拟合结果，完成圆弧重组。

11、优选地，在得到最终的圆弧和圆拟合结果后，所述方法还包括以下步骤：根据圆拟合结果，判断最终的圆弧是否占圆形周长的至少一半，且圆拟合误差小于预设范围；若是，则认定为得到一个圆形，若否，则对次一长度的圆弧进行判断。

12、优选地，在得到圆形后，所述方法还包括以下步骤：根据所述圆形的任一像素点，计算该像素点的图像梯度方向：

13、，

14、其中，，，为在水平方向的梯度，为在垂直方向的梯度，为图像像素rgb值，为像素的坐标；若该像素点的真实方向处于圆心指向该像素点的阈值范围，则将该像素点判断为有意义点，进而根据所述圆形，形成预设轮廓特征；若该像素点的真实方向未处于圆心指向该像素点的阈值范围，则将该像素点判断为无意义点。

15、优选地，在形成预设轮廓特征时，所述方法还包括以下步骤：根据生成遥控方向盘轮廓，将遥控方向盘图像中所有合理圆弧按照半径进行排序，进而按照预设顺序判断合理圆弧是否为遥控方向盘轮廓上的圆弧；若是，则以该圆弧的圆心为中心，设置预设方形区域，进而在所述预设方形区域内检测直线，若否，则对次一圆弧进行判断；若在所述预设方形区域内，检测出预设数量的直线与预设条件相匹配，则形成预设轮廓特征。

16、采用上述技术方案，通过上述的挖掘机转向控制图像识别方法，能够快速检测到视觉特征标识上的圆弧，其适用于检测图像中的圆弧，即使是一段劣弧，也能准确检测出遥控方向盘视觉特征上圆弧的内外边缘轮廓，并且误检测圆弧概率低，通过这种图像识别方法，即使图像存在部分图形被遮挡，也能够准确检测到挖掘机的遥控方向盘。

17、优选地，在根据所述对称直线拟合组合判断挖掘机遥控方向盘的实时转动角度后，所述方法还包括以下步骤：根据所述实时轮廓特征的有效搜索范围，随机搜索一组非对称轮廓线拟合组合，进而根据所述非对称轮廓线拟合组合，判断挖掘机遥控方向盘的测试转动角度；将测试转动角度与实时转动角度比对，判断检测误差是否处于预设误差范围；若是，则将实时传动角度设为实际转动角度，若否，则返回重新随机搜索一组对称轮廓线拟合组合。

18、采用上述技术方案，通过随机搜索非对称轮廓线拟合组合，能够更全面地考虑遥控方向盘的轮廓特征，进一步提高了实时转动角度的识别精度，同时，通过比对测试转动角度和实时转动角度，能够检测是否存在检测误差，提高了容错性，确保即使存在识别误差也能够针对性校正，进一步提高了自适应性，能够适应不同情况和挖掘机的特定要求。

19、本发明还提供一种挖掘机转向控制图像识别装置，使用上述挖掘机转向控制图像识别方法进行挖掘机的遥控方向盘的转向控制图像识别，所述挖掘机转向控制图像识别装置包括：摄像单元，用于采集遥控方向盘的图像；图像识别模块，用于根据采集的遥控方向盘图像，初始化遥控方向盘的轮廓识别，形成预设轮廓特征；轮廓判断模块，用于根据所述遥控方向盘图像，生成遥控方向盘的实时轮廓特征，进而将实时轮廓特征与预设轮廓特征比对，在判断出通过图像校验后，生成有效搜索范围，且将所有无效范围区域屏蔽；角度判断模块，用于根据所述实时轮廓特征的有效搜索范围，随机搜索一组对称直线拟合组合，进而根据所述对称直线拟合组合，判断挖掘机遥控方向盘的实时转动角度。

20、本发明还提供一种挖掘机，包括所述的挖掘机转向控制图像识别装置，还包括：转向总成，用于控制挖掘机的运动方向；遥控方向盘，其与挖掘机的转向总成相连接，用于控制转向总成的运动方向；遥控控制器，其与遥控方向盘和挖掘机转向控制图像识别装置相连接，用于控制转向总成的转动角度。

21、本发明的上述技术方案相比现有技术具有以下优点：

22、1、能够基于单目视觉识别定位遥控方向盘的转动角度，即实现单个相机可进行高实时定位；

23、2、能够通过直线与圆弧相融合的方式识别定位遥控方向盘，提取了最有效的特征，减少了识别的复杂度，利用相似透射关系，简化了定位的难度，加快了特征定位的速度，从而提高了方向控制的实时性；

24、3、能够快速检测到视觉特征标识上的圆弧，即使是一段劣弧，也能准确检测出遥控方向盘视觉特征上圆弧的内外边缘轮廓，并且误检测圆弧概率低，即使图像存在部分图形被遮挡，也能够准确检测到挖掘机的遥控方向盘。