一种基于智能靶标的特征提取量测及纠偏装置及方法与流程

本发明涉及摄影测量，具体涉及一种基于智能靶标的特征提取量测及纠偏装置及方法。

背景技术：

1、在类似于狭长山谷地带多面施工条件下，利用近景摄影测量原理，通过分别架设在两侧的相机及布设在地面或坡岸的控制网点来实现多点、多面同时测量，可以大幅提高测量效率，节省人工成本。由于相机设站距离目标检测点较远(一般在80-120米之间)、施工条件复杂，同时靶标架设受人为干扰因素大，相机通过内设算法就容易受靶标倾斜、人为遮挡靶标及其他干扰因素影响，从而产生误判进而影响测量精度，因此，有必要提出一种基于智能靶标的高精度特征提取量测及纠偏技术系统、方法及装置解决靶标识别匹配难、精度低、可靠性差、无法自动纠偏等问题，以实现多面施工条件下高效率、高精度、低识别错误率的测量。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于智能靶标的特征提取量测及纠偏装置及方法，以有效提高测量效率、节省人工成本、减小靶标识别错误率，实现自动识别、自动纠偏靶标、确保靶标中心点坐标的高精度测量，从而有效保证外业测量的精度。

2、为解决上述技术问题，本发明所采用的技术方案是：

3、基于智能靶标的特征提取量测及纠偏装置，靶标装置包括靶标盘面，靶标盘面与靶标连接杆的顶部转动连接，靶标连接杆的底部与旋转的靶标云平台连接，靶标云平台与云平台底座滑动接触并通过云平台固定螺栓进行固定，云平台底座下方与支撑体进行固定。

4、上述的靶标云平台为圆球体，靶标云平台与底座上的圆槽滑动接触。

5、上述的云平台底座底面与螺旋连接杆固定连接。

6、优选的方案中，上述的云平台底座底面与水平移动上部结构固定连接，水平移动上部结构与下部的水平移动下部结构滑动接触并通过水平固定螺栓进行固定。

7、上述的水平移动下部结构设有夹板机构，夹板机构包括在水平移动下部结构底端的钢柱，水平移动下部结构的一侧设有与钢柱弹性夹紧的钢板。

8、上述的钢板上端设有连接杆，连接杆呈倒“l”形且水平端杆体与水平移动下部结构嵌套连接，连接杆水平端杆体上环绕弹簧，弹簧一端与水平移动下部结构内壁接触，弹簧另一端与连接杆连接，连接杆端部伸出水平移动下部结构且通过螺旋帽和空心螺母套进行水平位置调整。

9、上述的靶标盘面为矩形盘体，盘面两侧设有相同的标定部件，标定部件包括多组共心圆，共心圆圆心与盘体中心重合，盘面上还设有对角线交叉和边长中点连线交叉的十字丝，矩形的一角设有方向标识缺口，盘面一角设有二维标识码。

10、使用上述的基于智能靶标的特征提取量测及纠偏装置的靶标特征提取方法，特征提取的步骤为：

11、step1、构建靶标图像数据集；在不同的现场作业环境下采集靶标图片，使用标注软件制作靶标目标检测数据集；所述数据集包括训练集、验证集和测试集，按照设定的比例将标注数据划分为训练集和验证集，通过随机旋转90°、180°、270°和水平翻转来增强训练图像；拍摄靶标图片并做标注，作为测试集；对训练集和测试集都进行预处理，对原始全彩rgb图像做归一化，并输入到网络模型中；

12、step2、构建靶标提取模型；采用基于yolov5的目标检测算法，yolov5由骨干网络和颈部网络两部分组成；骨干网络使用focus结构和csp结构来提取并改进图像特征；颈部网络通过fpn和pan结构来处理不同尺度的特征；

13、step3、训练靶标提取模型；将step1处理好的训练集数据输入到step2构建的靶标提取模型中，靶标提取模型每次随机批处理指定数量的一部分图像进行学习,训练过程利用adam优化器进行优化；

14、step4、测试提取靶标精度；将step1处理好的测试集数据输入到step3训练好的靶标提取模型中，即可输出靶标在图片上的位置；再通过计算输出图像与标注图像之间的准确度、iou即intersection over union和定位误差评价指标来衡量靶标提取精度，若精度不满足要求则通过增加训练数据量、调整超参数方法做调整，重复step3直至靶标提取结果满足精度需求；

15、step5、靶标识别及位置解算；现场拍摄的照片经预处理后输入到step3训练好的靶标提取模型中，根据靶标识别结果解算出靶标的影像像素坐标。

16、上述的靶标特征提取后，对提取特征后的靶标图像进行靶标中心点提取与空间定位，包括：

17、step6.1、图像增强

18、step6.1.1、图像灰度化：通过使用加权平均法来从彩色通道中提取亮度信息；计算公式如下：

19、gray＝0.299*r+0.587*g+0.114*b

20、其中r代表红色通道，g代表绿色通道，b代表蓝色通道；

21、step6.1.2、图像二值化：根据像素的灰度值将图像分为两个不同的区域：前景和背景；采用otsu法进行图像二值化，确保前景和背景图像之间方差最大；

22、step6.2、霍夫变换直线检测

23、笛卡尔坐标系下的直线方程y＝kx+b，变形为b＝-kx+y，将k，b看作笛卡尔参数空间的自变量、因变量，再将笛卡尔参数空间映射到极坐标参数空间，根据霍夫空间对偶性，即笛卡尔坐标系中的直线映射到极坐标系下的参数空间中对应的是单独点，求取参数空间中曲线相交最多的点，该点即为对应原始笛卡尔坐标系中的直线；基于step6.1中图像增强结果，求得人工靶标的相交直线方程为：

24、

25、step6.3、线段求交

26、将step6.2中霍夫变换直线检测到的人工靶标直线方程进行联合求交，获取交点坐标为：

27、

28、单位为像素，获取的交点即为人工标靶中心点像素坐标值；

29、step6.4、空中三角测量

30、通过光束法平差算法，计算获取相片i的外方位元素以及相机参数(x0，y0，f，k1，k2，k3，p1，p2)，其中，xi，yi，zi表示相片中心在坐标系中的三维坐标值，ωi，ki分别表示以y轴为主轴的转角系统的旁向倾角、航向倾角和相片旋角；x0，y0，f是相机内参，其中x0，y0为主点坐标，f为焦距，k1，k2，k3，p1，p2是相机外参，其中k1，k2，k3为径向畸变系数，p1，p2为切向畸变系数；

31、step6.5、前方交会计算靶标中心点三维坐标

32、由于之前的人工靶标识别步骤，已经获取了靶标的范围、编号以及所处相片编号，通过编号可以筛选出同名靶标中心交点坐标(x1，y1)，(x2，y2)，以及对应相片的外方位元素

33、通过摄影测量前方交会算法：

34、step6.5.1、通过外方位元素计算相片的旋转矩阵r1，r2；

35、step6.5.2、利用外方位元素计算相片构成的摄影基线分量bu，bv，bw：

36、bu＝x2-x1

37、bv＝y2-y1

38、bw＝z2-z1；

39、step6.5.3、计算人工靶标中心点的像空间辅助坐标(u1，v1，w1)，(u2，v2，w2)：

40、

41、

42、step6.5.4、计算靶标中心点的投影系数：

43、

44、

45、step6.5.5、计算靶标中心点的三维坐标：

46、x＝x1+n1u1＝x2+n2u2

47、y＝y1+n1v1＝y2+n2v2

48、z＝z1+n1w1＝z2+n2w2。

49、上述的step6中进行靶标图像的靶标中心点提取与空间定位后，进行测量和实时纠偏：

50、测量和实时纠偏通过测量和实时纠偏系统对靶标位置连续获取观测影像，按需推送偏移结果给相关的现场人员，包括：自动更新靶标实时数据并实时计算目标偏移纠正量，根据观测影像照片及计算的影像外方位元素，即定向姿态参数，将物方的目标偏移量矢量，以像方矢量或者vr模式进行绘制标注，形成绘制有纠偏矢量的纠偏实景照片或vr场景，并形成纠偏指导指令；指导作业指挥人员进行纠偏操作：step7.1、实时靶标数据获取；通过双摄站定期拍摄目标靶标的立体影像数据，从而获取目标靶标的实时位置和状态；具体操作包括：

51、step7.1.1、设置摄站的拍摄间隔时间，根据目标靶标的精度要求进行调整；step7.1.2、摄站在每个拍摄间隔时间到达时，自动拍摄一组高精度的影像数据，影像包含了摄站的位置、姿态角度以及焦距参数；

52、step7.1.3、摄站将拍摄到的影像数据通过无线或有线网络传输到后端服务器，等待下一步的处理；

53、step7.2、偏移状态计算；通过靶标识别算法，从影像数据中提取出目标靶标的中心点坐标，并与靶标设计数据坐标进行对比，从而计算出目标靶标的偏移量和偏移方向；具体操作包括：

54、step7.2.1、后端服务器接收到摄站传输过来的影像数据后，将其存储在数据库中，并进行预处理，如去噪、增强、以及裁剪；

55、step7.2.2、后端服务器调用靶标识别算法模型，对预处理后的影像数据进行分析，自动识别出目标靶标的坐标；

56、step7.2.3、后端服务器将计算出的目标靶标坐标与数据库中存储的靶标设计数据坐标进行对比，得到目标靶标相对于设计位置的偏移量和偏移方向；

57、step7.3、偏移量数据推送；将计算出的目标靶标偏移量信息及靶标编号通过人工或自动方式推送到前端设备，以便放样人员进行纠偏操作；具体操作包括：step7.3.1、后端服务器将计算出的目标靶标偏移量信息以及相关参数封装成一个数据包，并通过无线或有线网络发送给前端设备；

58、step7.3.2、前端设备接收到数据包后，根据用户设置或系统默认选择人工或自动方式进行推送；人工方式是指前端设备将数据包显示在屏幕上，并等待用户确认或修改，确认完成后再发送至可视化纠偏平台；自动方式是指前端设备直接将数据包传输至可视化平台；

59、step7.3.3、前端设备根据推送结果反馈给后端服务器，并记录在数据库中；step7.4、可视化纠偏；通过模拟仿真技术，将目标靶标偏移量信息显示在三维场景或或摄站获取的高清实景影像中，并与靶标设计数据叠加对比显示，从而为放样人员提供实时可视化纠偏辅助，具体操作包括：

60、step7.4.1、前端设备根据用户选择或系统默认，将目标靶标偏移量信息以及相关参数输入到可视化平台；

61、step7.4.2、可视化平台根据靶标设计数据生成虚拟靶标，并根据输入的实时靶标数据，生成目标靶标x、y、z偏移量标注信息，同时将数据同步显示在三维场景中或摄站获取的高清实景影像上；

62、step7.4.3、可视化平台将靶标偏移数据以不同的颜色或符号标注出来，以便直观显示实时靶标和靶标设计数据的差异，从而帮助放样人员进行纠偏操作。

63、本发明提供的一种基于智能靶标的特征提取量测及纠偏装置及方法，在图像数据及靶标识别中，将空中三角测量技术和图像识别技术进行融合，提出了带空三坐标解算的靶标智能识别计算方法，对固定相机设站位拍摄的多张影像自动进行图像筛选、空三解算，同时对图像中的靶标进行自动识别、分类、坐标粗解算、精解算，实现自动识别、自动测量、自动纠偏等功能，为传统多面施工测量主要依靠全站仪多站、多次、多人同时测量提出了新的解决方案。