用于识别状态参数的系统、吊装定位系统及吊装设备的制作方法

本发明涉及工程测量技术领域，具体地，涉及一种用于识别状态参数的系统、吊装定位系统及吊装设备。

背景技术：

在起重机作业过程中，臂架所连接的钢丝绳会受吊钩或吊载的重力和惯性的影响，由此导致吊钩及其吊载总出现一定程度的摇摆。然而，吊钩的摇摆不利于起重机的起吊和放置吊载物，进而影响起重机的作业效率，同时，其也会给现场的人身安全和财产安全造成一定的威胁。针对此缺陷，现有技术主要采用多相机采集多个图像，然后对所采集的多个图像进行拼接和处理来实现对吊钩的姿态的测量。但上述方法比较繁琐，并且在对多个图像进行拼接和处理的过程中可能引进一定的误差，从而最终导致吊钩姿态的测量结果不准确。

技术实现要素：

本发明的目的是提供一种用于识别状态参数的系统、吊装定位系统及吊装设备，其可对吊装过程所涉及的状态参数进行有效识别，并且根据所识别的状态参数可实现自动吊装过程，例如不仅可防止吊钩摆角过大，还可实现吊装过程的有效定位。

为了实现上述目的，本发明第一方面提供一种用于识别状态参数的系统，所述系统包括：图像获取装置，用于获取包括所述吊装过程所涉及的目标对象上侧的预设标签在内的预设视野范围的俯视图像；以及状态参数识别装置，用于基于所述预设视野范围的俯视图像及特定几何关系，采用视觉识别方法计算所述吊装过程中的状态参数。

优选地，所述状态参数识别装置包括：像素大小获取模块，用于基于所述预设视野范围的俯视图像，获取所述预设标签的像素大小；像素物理尺寸计算模块，用于基于所述预设标签的像素大小与物理尺寸，计算单位像素的物理尺寸；以及状态参数计算模块，用于基于所述单位像素的物理尺寸、所述预设视野范围的俯视图像及所述特定几何关系，计算所述吊装过程中的状态参数。

优选地，所述系统还包括：图像采集装置，用于采集所述包括所述预设标签在内的预设视野范围的俯视图像，并将该俯视图像发送至所述图像获取装置。

优选地，所述系统还包括：无线传输装置，用于将所述图像采集装置所采集的所述俯视图像无线传输至所述图像获取装置。

优选地，所述无线传输装置为无线网桥，所述无线网桥包括：被安装在所述臂架顶端的无线发送端；以及被安装在所述臂架的基础臂侧面且与所述无线发送端面对面设置的无线接收端。

优选地，所述图像采集装置为被安装在所述臂架顶端的单目相机，相应地，所述系统还包括：角度传感器，用于采集所述臂架顶端的倾斜角；第一距离传感器，用于采集所述臂架顶端距地面的高度；以及第一控制装置，用于根据所述臂架顶端的倾斜角调整所述单目相机的角度，以使其光轴中心始终垂直于地面；并根据所述臂架顶端距地面的高度调节所述单目相机的焦距，以保持所述目标对象在所述俯视图像中的大小一致。

优选地，在所述目标对象为吊钩且所述状态参数为所述吊钩的摆角的情况下，所述状态参数计算模块包括：第一像素坐标获取单元，用于基于所述预设视野范围的俯视图像，获取所述预设标签的中心相对于所述俯视图像的中心的像素坐标，其中所述俯视图像的中心为所述臂架顶端在该俯视图像上的投影点；以及摆角计算单元，用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标、所述单位像素的物理尺寸、所述臂架顶端到所述吊钩的距离及第一三角关系，计算所述吊钩的摆角。

优选地，所述摆角计算单元包括：距离计算组件，用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标及所述单位像素的物理尺寸，计算所述预设标签的中心到所述俯视图像的中心的实际距离；以及摆角计算组件，用于基于所述预设标签的中心到所述俯视图像的中心的实际距离、所述臂架顶端到所述吊钩的距离及所述第一三角关系，计算所述吊钩的摆角。

优选地，所述摆角计算组件用于计算所述吊钩的摆角包括：根据正弦公式(1)计算所述吊钩的摆角γ，(1)，其中，ldb为所述预设标签的中心到所述俯视图像的中心的实际距离；lob为所述臂架顶端到所述吊钩的距离。

优选地，所述系统还包括：当前状态参数获取装置，用于获取所述吊装设备的当前回转角度与当前变幅长度，相应地，在所述目标对象为起吊点或就位点且所述状态参数为所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度及目标变幅长度的情况下，所述状态参数计算模块包括：第二像素坐标获取单元，用于基于所述预设视野范围内的俯视图像，获取所述预设标签的中心相对于所述俯视图像的中心的像素坐标，其中所述俯视图像的中心为所述臂架顶端在该俯视图像上的投影点；以及回转角度与变幅长度计算单元，用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标、所述单位像素的物理尺寸、所述吊装设备的当前回转角度与当前变幅长度及第二三角关系，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度及目标变幅长度。

优选地，所述回转角度与变幅长度计算单元包括：物理坐标计算组件，用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标及所述单位像素的物理尺寸，计算所述预设标签的中心相对于所述俯视图像的中心的物理坐标；回转角度计算组件，用于基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标、所述吊装设备的当前回转角度与当前变幅长度及所述第二三角关系，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度；以及变幅长度计算组件，用于基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标、所述吊装设备的当前变幅长度及所述第二三角关系，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度。

优选地，所述回转角度计算组件用于计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度包括：基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标(δx,δy)、吊装设备的当前回转角度θ当前与当前变幅长度r当前及以下公式，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度θ目标，，所述变幅长度计算组件用于计算所述运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度包括：基于所述预设标签的中心相对于所述图像的中心的物理坐标(δx,δy)、吊装设备的当前变幅长度r当前及以下公式，计算所述运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度，。

优选地，所述系统还包括：第二距离传感器，用于采集所述吊钩距地面的高度，相应地，在所述目标对象为起吊点或就位点且所述状态参数为所述吊钩距所述目标对象上侧的预设标签的目标高度的情况下，所述状态参数计算模块包括：第一高度获取单元，用于获取所述臂架顶端距所述目标对象上侧的预设标签的高度；第二高度获取单元，用于根据所述臂架顶端距地面的高度及所述吊钩距地面的高度，获取所述臂架顶端距所述吊钩的高度；以及高度计算单元，用于根据所述臂架的顶端距所述目标对象上侧的预设标签的高度及所述臂架的顶端距离所述吊钩的高度，计算所述吊钩距所述目标对象上侧的预设标签的目标高度。

优选地，所述第一高度获取单元用于获取所述臂架顶端距所述目标对象上侧的预设标签的高度包括：根据以下公式计算所述臂架顶端距所述目标对象上侧的预设标签的高度h1，h1=l像素*f，其中，f为所述单目相机的焦距；以及l像素为所述单位像素的物理尺寸。

通过上述技术方案，本发明创造性地通过获取包括目标对象上侧的预设标签在内的预设视野范围的俯视图像，然后根据所述俯视图像与特定几何关系，并采用视觉识别方法计算吊装过程中的状态参数，由此可对吊装过程所涉及的状态参数进行有效识别，根据所述状态参数可实现自动吊装过程，例如不仅可防止吊钩摆角过大，还可实现吊装过程的有效定位。

本发明第二方面提供一种吊装定位系统，所述吊装定位系统包括：所述的用于识别状态参数的系统；以及第二控制装置，用于根据由所述系统获取的所述吊装过程的状态参数，控制吊装设备的相应执行机构动作以实现自动吊装过程。

优选地，在所述吊装过程的状态参数为吊钩的摆角的情况下，所述吊装定位系统还包括：比较装置，用于将所述吊钩的摆角与摆角阈值相比较，相应地，所述第二控制装置用于控制所述吊装设备的执行机构动作包括：在所述吊钩的摆角等于所述摆角阈值的情况下，控制对臂架施加与所述吊钩的摆角方向相反的力以防止所述吊钩的摆角过大。

优选地，在所述吊装过程的状态参数为吊钩运行至起吊点或就位点时所述吊装设备的目标回转角度、目标变幅长度及所述吊钩距目标对象的目标高度的情况下，所述第二控制装置用于控制所述吊装设备的相应执行机构动作包括：根据所述吊装设备的当前回转角度、当前变幅长度及所述吊钩对地面的当前高度、所述目标回转角度、所述目标变幅长度及所述吊钩距所述目标对象上侧的预设标签的目标高度，控制所述吊装设备的相应执行机构动作以使得所述吊钩运行至所述起吊点或所述就位点。

优选地，所述第二控制装置用于控制所述吊装设备的相应执行机构动作包括：通过预设策略提前控制所述相应执行机构停止动作，以使得所述吊钩准确地运行至所述起吊点或所述就位点。

优选地，所述第二控制装置包括：回转控制模块，用于在所述目标回转角度与所述当前回转角度的差值等于回转角度阈值的情况下，控制回转机构停止回转动作；变幅控制模块，用于在所述目标变幅长度与所述当前变幅长度的差值等于变幅长度阈值的情况下，控制变幅机构停止变幅动作；以及卷扬控制模块，用于所述吊钩对地面的目标高度与所述吊钩对地面的当前高度的差值等于卷扬高度阈值的情况下，控制卷扬机构停止卷扬动作。

通过上述技术方案，本发明创造性地通过由上述系统获取的状态参数，控制吊装设备的相应执行机构动作以实现自动吊装过程，由此，可实现自动吊装过程，例如不仅可防止吊钩摆角过大，还可实现吊装过程的有效定位。

本发明第三方面提供一种吊装设备，所述吊装设备包括：所述的吊装定位系统。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明实施例提供的用于识别状态参数的系统的结构图；

图2是本发明实施例提供的用于识别状态参数的系统的结构图；

图3是本发明实施例提供的起重机的结构示意图；

图4是本发明实施例提供的状态参数识别装置的结构图；

图5（a）、图5（b）及图5（c）分别是本发明实施例提供的棋盘格标签在不同俯视图像中呈现的示意图；

图6是本发明实施例提供的状态参数计算模块的结构图；

图7是本发明实施例提供的摆角检测示意图；

图8是本发明实施例提供的目标偏移量示意图；

图9是本发明实施例提供的目标高度计算示意图；

图10是本发明实施例提供的吊装定位系统的结构图；

图11是本发明实施例提供的臂架运行状态示意图；以及

图12是本发明实施例提供的吊装定位过程的流程图。

附图标记说明

1无图形标签2棋盘格标签

10图像获取装置20状态参数识别装置

22像素大小获取模块24像素物理尺寸计算模块

26状态参数计算模块30图像采集装置

35单目相机40角度传感器

45单轴角度传感器50第一距离传感器

60第一控制装置70无线传输装置

72无线发送端74无线接收端

80当前状态参数获取装置90第二距离传感器

100识别系统200第二控制装置

260第一像素坐标获取单元262摆角计算单元

264第二像素坐标获取单元266回转角度与变幅长度计算单元

268第一高度获取单元270第二高度获取单元

272高度计算单元。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1是本发明实施例提供的用于识别状态参数的系统（下文可简称为识别系统100）的结构图。如图1所示，所述识别系统100可包括：图像获取装置10，用于获取包括所述吊装过程所涉及的目标对象上侧的预设标签在内的预设视野范围的俯视图像；以及状态参数识别装置20，所述状态参数识别装置20可与所述图像获取装置10相连接，用于基于所述预设视野范围的俯视图像及特定几何关系，采用视觉识别方法计算所述吊装过程中的状态参数。其中，所述目标对象可为吊钩、起吊点或就位点等。

如图2所示，所述识别系统100还可包括：图像采集装置30，所述图像采集装置30可被安装在所述臂架顶端，用于采集所述包括所述预设标签在内的预设视野范围的俯视图像，并将该俯视图像发送至所述图像获取装置10。其中，所述图像采集装置30可为被安装在所述臂架顶端的单目相机35，如图3所示。

相应地，如图2所示，所述识别系统100还可包括：角度传感器40，所述角度传感器40可被安装在所述臂架顶端，用于采集所述臂架顶端的倾斜角；第一距离传感器50，用于采集所述臂架顶端距地面的高度；以及第一控制装置60，所述第一控制装置60可与所述角度传感器40及所述第一距离传感器50相连接，用于根据所述臂架顶端的倾斜角调整所述单目相机的角度，以使其光轴中心始终垂直于地面；并根据所述臂架顶端距地面的高度调节所述单目相机的焦距，以保持所述目标对象在所述俯视图像中的大小一致。在一实施例中，可在所述单目相机与臂架顶端自检设置云台（未示出），从而第一控制装置60可根据所述臂架顶端的倾斜角控制云台旋转，以调整所述单目相机的角度。

本实施例基于单目视觉的自决策变焦法，在吊装过程中结合臂架顶端对地面的高度实现自动变焦，实现了高度≥100m以上的起吊或就位目标的在线识别与精准定位，检测定位精度可达3cm。

如图3所示，角度传感器40可为单轴角度传感器45。当所述单轴角度传感器45采集的臂架顶端的倾斜角为0时，确保该单轴角度传感器45的轴向与吊装设备（例如，起重机）的车身方向一致，以保证其测量的角度数据的有效性；此时，所述第一控制装置60调整单目相机35的角度以使其镜头垂直朝下。当臂架幅长（变幅或缩/展臂的情况）发生变化时，臂架顶端的倾斜角也相应地发生变化，由此单轴角度传感器45所采集的倾斜角发生变化；然后，所述第一控制装置60根据所采集的倾斜角控制云台旋转，以将单目相机35的光轴中心调整至垂直于地面。与此同时，所述第一距离传感器50所采集的臂架顶端对地面的高度也相应地发生变化，由此所述第一控制装置60可根据所采集的高度值调节单目相机35的焦距，以使目标对象在所采集的图像画面中的大小一致，从而可保证所采集的图像的清晰度，进而可对该图像进行有效的识别以准确地识别相应的状态参数。例如，在目标对象为吊钩的情况下，所述预设视野范围至少包括所述预设标签所在的视野范围即可；而在目标对象为起吊点（或就位点）的情况下，所述预设视野范围至少包括起吊点（或就位点）与吊钩所在的视野范围。

如图2所示，所述识别系统100还可包括：无线传输装置70，所述无线传输装置70可被安装在所述臂架上，用于将所述图像采集装置30所采集的所述俯视图像无线传输至所述图像获取装置10。由此，通过无线传输装置70可实现图像数据源的稳定可靠的远距离（例如，距离≥120m）传输，从而可有效地解决机手视野受限的问题，实时监控大空间范围吊装场景中的目标对象，进而起到辅助引导吊装的作用。其中，所述俯视图像可为俯视图片、俯视视频图像等。

在优选实施例中，所述无线传输装置70可为无线网桥。所述无线网桥可包括：被安装在所述臂架顶端的无线发送端72；以及被安装在所述臂架的基础臂侧面且与所述无线发送端72面对面设置的无线接收端74，如图3所示。其中，所述无线发送端72与无线接收端74的面对面设置可实现数据的最有效无线传输。

如图4所示，所述状态参数识别装置20可包括：像素大小获取模块22，用于基于所述预设视野范围的俯视图像，获取所述预设标签的像素大小；像素物理尺寸计算模块24，所述像素物理尺寸计算模块24可与所述像素大小获取模块相连接22，用于基于所述预设标签的像素大小与物理尺寸，计算单位像素的物理尺寸；以及状态参数计算模块26，所述状态参数计算模块26与所述像素物理尺寸计算模块24，用于基于所述单位像素的物理尺寸、所述预设视野范围的俯视图像及所述特定几何关系，计算所述吊装过程中的状态参数。其中，所述预设标签可为无图形标签或图形标签（例如棋盘格标签）。

对于无图形标签，由所述像素大小获取模块22确定所述无图形标签在相应俯视图像的水平方向及垂直方向上所占的像素大小，分别为w1像素、h1像素；由所述像素物理尺寸计算模块24根据所述无图形标签的像素大小w1像素、h1像素与相应的物理尺寸w1实际、h1实际，计算单位像素的水平物理尺寸及垂直物理尺寸分别为l像素x=w1实际/w1像素及l像素y=h1实际/h1像素（一般而言，l像素x约等于l像素y，下文公式（4）中的l像素=l像素x或l像素y）。

对于图形标签（以棋盘格标签为例），如图5（a）、5（b）及5（c）所示，圆点为检测到的目标特征角点，无论臂架运行在什么状态时，设棋盘格标签的横向上（沿ab、a1b1或a2b2方向）的两端处目标特征角点（可简称为最大内角点）之间的实际物理尺寸分别为w2实际、w’2实际及w’’2实际；并且以图5（a）为例，棋盘格标签的横向上的最大内角点坐标分别为a(xa,ya)、b(xb,yb)，故由所述像素大小获取模块22确定横向上的最大内角点之间的像素距离（即棋盘格标签横向上所占的像素大小）为：，棋盘格标签纵向上所占的像素大小与横向上所占的像素大小相等；由所述像素物理尺寸计算模块24根据所述棋盘格标签的像素大小lab与相应的物理尺寸w2实际，计算单位像素的物理尺寸l像素=w2实际/lab。

因此，不论预设标签是否存在旋转，均可精准计算单位像素对应的物理尺寸。

在所述目标对象为吊钩且所述状态参数为所述吊钩的摆角的情况下，所述状态参数计算模块26包括：第一像素坐标获取单元260，用于基于所述预设视野范围的俯视图像，获取所述预设标签的中心相对于所述俯视图像的中心的像素坐标，其中所述俯视图像的中心为所述臂架顶端在该俯视图像上的投影点；以及摆角计算单元262，所述摆角计算单元262可与所述第一像素坐标获取单元260相连接，用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标、所述单位像素的物理尺寸、所述臂架顶端到所述吊钩的距离及第一三角关系，计算所述吊钩的摆角，如图6所示。

具体地，所述摆角计算单元262可包括：距离计算组件（未示出），用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标及所述单位像素的物理尺寸，计算所述预设标签的中心到所述俯视图像的中心的实际距离；以及摆角计算组件（未示出），所述摆角计算组件（未示出）可与所述距离计算组件（未示出）相连接，用于基于所述预设标签的中心到所述俯视图像的中心的实际距离、所述臂架顶端到所述吊钩的距离及所述第一三角关系，计算所述吊钩的摆角。

其中，所述摆角计算组件（未示出）用于计算所述吊钩的摆角包括：根据正弦公式(1)计算所述吊钩的摆角γ，

(1)，

其中，ldb为所述预设标签的中心到所述俯视图像的中心的实际距离；lob为所述臂架顶端到所述吊钩的距离。

具体而言，如图7所示，以臂架顶端在图像平面上的投影点为原点，图像水平中轴线为x轴，垂直中轴线为y轴以及垂直于图像平面方向为z轴，建立三维坐标系（本文如无特别说明，三维坐标系均相同），包括吊钩上侧的无图形标签1在内的预设视野范围的俯视图像所在的平面与xy平面相平行，且该俯视图像的中心d点为臂架顶端o点在该俯视图像上的投影点。根据所述俯视图像，可获取无图形标签1的中心b点相对于d点的像素坐标w1偏移、h1偏移，由此，可根据w1偏移、h1偏移及单位像素在水平方向与垂直方向上的物理尺寸，计算直角三角形bcd的边dc的长度ldc与边bc的长度lbc；然后在直角三角形bcd中，根据勾股定理计算b点到d点的实际距离；然后，在直角三角形odb中，根据db及臂架顶端到吊钩的距离lob，结合上述正弦公式（1）可计算得到所述吊钩的摆角。当然，在直角三角形bcd中，还可计算得到摆角的水平方位角。

当然，在上述实施例中，可将无图形标签替换为棋盘格标签或其他合适的标签，并且可将上述用于计算吊钩摆角的第一三角关系中的预设标签的中心替换为该预设标签中的其他任意几何点。

上述实施例在吊钩上侧（例如在吊钩的滑轮上侧）安装标签，通过视觉检测的方式，实现在线实时计算吊钩的偏摆角度。上述系统具备成本低、计算复杂度低、具有实时性与可靠性等优点，其可应用到吊钩防摆控制中，从而实现平稳吊装。

在本发明其他实施例中，还通过视觉识别技术结合多传感器检测的数据识别目标对象相对臂架顶端在俯视图像上的投影点的相对位置偏移向量δx、δy及所述吊钩距所述目标对象上侧的预设标签的目标高度δz。由此，可进而根据δx、δy及δz可获取所述吊钩运行至目标对象时所述吊装设备的目标回转角度、目标变幅长度及所述吊钩距所述目标对象上侧的预设标签的目标高度。

首先，介绍识别目标对象相对臂架顶端在俯视图像上的投影点的相对位置偏移向量δx、δy的过程。

如图2所示，所述识别系统100还可包括：当前状态参数获取装置80，用于获取所述吊装设备的当前回转角度与当前变幅长度。相应地，在所述目标对象为起吊点或就位点且所述状态参数为所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度及目标变幅长度的情况下，所述状态参数计算模块26可包括：第二像素坐标获取单元264，用于基于所述预设视野范围内的俯视图像，获取所述预设标签的中心相对于所述俯视图像的中心的像素坐标，其中所述俯视图像的中心为所述臂架顶端在该俯视图像上的投影点；以及回转角度与变幅长度计算单元266，所述回转角度与变幅长度计算单元266可与所述第二像素坐标获取单元264及所述当前状态参数获取装置80相连接，用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标、所述单位像素的物理尺寸、所述吊装设备的当前回转角度与当前变幅长度及第二三角关系，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度及目标变幅长度，如图6所示。

具体地，所述回转角度与变幅长度计算单元266可包括：物理坐标计算组件（未示出），用于基于所述预设标签的中心相对于所述俯视图像的中心的像素坐标及所述单位像素的物理尺寸，计算所述预设标签的中心相对于所述俯视图像的中心的物理坐标；回转角度计算组件（未示出），所述回转角度计算组件（未示出）可与所述物理坐标计算组件（未示出）相连接，用于基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标、所述吊装设备的当前回转角度与当前变幅长度及所述第二三角关系，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度；以及变幅长度计算组件（未示出），所述变幅长度计算组件（未示出）可与所述物理坐标计算组件（未示出）相连接，用于基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标、所述吊装设备的当前变幅长度及所述第二三角关系，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度。

其中，所述回转角度计算组件（未示出）用于计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度包括：基于所述预设标签的中心相对于所述俯视图像的中心的物理坐标(δx,δy)、吊装设备的当前回转角度θ当前与当前变幅长度r当前及公式(2)，计算所述运行至所述起吊点或所述就位点时所述吊装设备的目标回转角度θ目标，

(2)。

其中，所述变幅长度计算组件（未示出）用于计算所述运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度包括：基于所述预设标签的中心相对于所述图像的中心的物理坐标(δx,δy)、吊装设备的当前变幅长度r当前及公式(3)，计算所述吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度，

(3)。

具体而言，图8所示为包括吊钩上侧的棋盘格标签2在内的预设视野范围的俯视图像所在的平面，且该俯视图像的中心d点(xd,yd)为臂架顶端o点在该俯视图像上的投影点，棋盘格标签2的中心c点所对应的角点的像素坐标为(xc,yc)。其中，所述吊装设备的当前回转角度与当前变幅长度可分别通过回转角度传感器及长度传感器采集获取。

根据所述俯视图像，可推算出中心c点相对于d点在水平与垂直方向的物理位置偏移δx、δy分别为：δx=(xc-xd)*l像素；以及δy=(yc-yd)*l像素。然后，在直角三角形efc中，根据当前回转角度θ当前及当前变幅长度r当前，可推算目标回转角度；根据当前变幅长度r当前，可推算目标变幅长度。

依据棋盘格标签2的中心c点对应的角点像素坐标(xc,yc)相对于俯视图像的中心d(xd,yd)的物理位置偏移δx、δy，确定所述臂架的运动方向：xc–xd>0：臂架左回转；xc–xd<0：臂架右回转；yc–yd>0：臂架起变幅；以及yc–yd<0：臂架落变幅。

接着，介绍识别所述吊钩距所述目标对象上侧的预设标签的目标高度δz的过程。

如图2所示，所述识别系统100还可包括：第二距离传感器90，用于采集所述吊钩距地面的高度。相应地，在所述目标对象为起吊点或就位点且所述状态参数为所述吊钩距所述目标对象上侧的预设标签的目标高度的情况下，所述状态参数计算模块26包括：第一高度获取单元268，用于获取所述臂架顶端距所述目标对象上侧的预设标签的高度；第二高度获取单元270，所述第二高度获取单元270可与所述第二距离传感器90相连接，用于根据所述臂架顶端距地面的高度及所述吊钩距地面的高度，获取所述臂架顶端距所述吊钩的高度；以及高度计算单元272，所述高度计算单元272可与所述第一高度获取单元268及所述第二高度获取单元270相连接，用于根据所述臂架的顶端距离所述目标对象上侧的预设标签的高度及所述臂架的顶端距离所述吊钩的高度，计算所述吊钩距所述目标对象上侧的预设标签的目标高度，如图6所示。

其中，所述第一高度获取单元268用于获取所述臂架顶端距所述目标对象上侧的预设标签的高度可包括：根据公式（4）计算所述臂架顶端距所述目标对象上侧的预设标签的高度h1，

h1=l像素*f（4），

其中，f为所述单目相机的焦距；以及l像素为所述单位像素的物理尺寸。

具体而言，如图9所示，所述目标对象以起吊点为例，根据单目相机的成像原理，通过公式（4）计算出相机（或臂架顶端）相对起吊点的高度h1；然后求取所述臂架顶端距地面的高度h臂架与所述吊钩距地面的高度h吊钩之差，以得到所述臂架的顶端距所述吊钩的高度h2；最后求取相机（或臂架顶端）相对起吊点的距离h1与所述臂架的顶端距所述吊钩的高度h2之差，以得到所述吊钩距所述目标对象上侧的预设标签的目标高度δz=h1-h2=h1-(h臂架-h吊钩)。

根据所述吊钩距所述目标对象上侧的预设标签的目标高度δz，判定卷扬机构升降（起落）方向：当z>0时，卷扬落（降）；当z<0时，卷扬起（升）。

当然，在上述各个实施例中，可将棋盘格标签替换为无图形标签或其他合适的标签，并且可将上述用于计算吊钩运行至所述起吊点或所述就位点时所述吊装设备的目标变幅长度与目标回转角度的三角关系中的预设标签的中心替换为该预设标签中的其他任意几何点。

上述各个实施例可适用于地面吊装、高台吊装及侧面吊装等各类复杂吊装场景，通过实时在线目标检测，解算出吊装物或就位点的目标回转角度、目标变幅长度等状态参数，对吊钩进行控制定位，可实现吊装物或就位点被遮挡时的精准定位问题。

综上所述，本发明创造性地通过获取包括目标对象上侧的预设标签在内的预设视野范围的俯视图像，然后根据所述俯视图像与特定几何关系，并采用视觉识别方法计算吊装过程中的状态参数，由此可对吊装过程所涉及的状态参数进行有效识别，根据所述状态参数可实现自动吊装过程，例如不仅可防止吊钩摆角过大，还可实现吊装过程的有效定位。

如图10所示，本发明实施例还提供一种吊装定位系统的结构图。所述吊装定位系统可包括：所述的用于识别状态参数的系统（简称为识别系统100）；以及第二控制装置200，所述第二控制装置200可与所述识系统100相连接，用于根据由所述识别系统100获取的所述吊装过程的状态参数，吊装设备的相应执行机构动作以实现自动吊装过程。

在所述吊装过程的状态参数为吊钩的摆角的情况下，所述吊装定位系统还可包括：比较装置（未示出），所述比较装置（未示出）与所述识别系统100及所述第二控制装置200相连接，用于将所述吊钩的摆角与摆角阈值相比较。相应地，所述第二控制装置200用于控制所述吊装设备的执行机构动作包括：在所述吊钩的摆角等于所述摆角阈值的情况下，控制对臂架施加与所述吊钩的摆角方向相反的力以防止所述吊钩的摆角过大。本实施例的实现方式简单，并且可有效地进行吊钩防摇控制。

在所述吊装过程的状态参数为吊钩运行至起吊点或就位点时所述吊装设备的目标回转角度、目标变幅长度及所述吊钩距目标对象的目标高度且当前状态参数为所述吊装设备的当前回转角度、当前变幅长度及所述吊钩对地面的当前高度的情况下，所述第二控制装置200用于控制所述吊装设备的相应执行机构动作包括：根据所述吊装设备的当前回转角度、当前变幅长度及所述吊钩对地面的当前高度、所述目标回转角度、所述目标变幅长度及所述吊钩距所述目标对象上侧的预设标签的目标高度，控制所述吊装设备的相应执行机构动作以使得所述吊钩运行至所述起吊点或所述就位点。在所述目标对象为起吊点的情况下，由于吊载物本身的高度已知，故可根据所述吊钩对地面的当前高度及所述吊载物本身的高度之间，计算得出所述吊钩距所述目标对象上侧的预设标签的当前高度。

由于图像无线传输、图像识别及控制执行等过程均需要花费一定时间，而在该时间内，臂架（吊钩）在运动，由此导致定位结果计算值与吊钩的当前位置不一致。因此，为保证定位的精度，还可采用一定的减速控制策略，完成自动化的精准吊装。

在本发明的优选实施例中，所述第二控制装置200用于控制所述吊装设备的相应执行机构动作可包括：通过预设策略提前控制所述相应执行机构停止动作，以使得所述吊钩准确地运行至所述起吊点或所述就位点。

具体地，所述第二控制装置200可包括：回转控制模块（未示出），所述回转控制装置（未示出）可与所述识别系统100及所述当前状态参数获取装置80相连接，用于在所述目标回转角度与所述当前回转角度的差值等于阈值角度的情况下，控制回转机构停止回转动作；变幅控制模块（未示出），所述变幅控制模块（未示出）可与所述识别系统100及所述当前状态参数获取装置80相连接，用于在所述目标变幅长度与所述当前变幅长度的差值等于阈值长度的情况下，控制变幅机构停止变幅动作；以及卷扬控制模块（未示出），所述卷扬控制模块（未示出）可与所述识别系统100及所述当前状态参数获取装置80相连接，用于所述吊钩对地面的目标高度与所述吊钩对地面的当前高度的差值等于阈值高度的情况下，控制卷扬机构停止卷扬动作。

具体而言，如图11所示，时间t为图像传输延迟时间、图像处理延迟时间即控制延迟时间的总和，速度v为起重机匀速运行的速度，纵坐标轴可表示回转角度、变幅长度或卷扬高度。在控制相应的执行机构停止运行之后，在起重机减速运行期间还可运行相应的阈值参量（例如，回转角度阈值θ阈值、变幅长度阈值r阈值和卷扬高度阈值z阈值）。其中，回转角度阈值θ阈值、变幅长度阈值r阈值和卷扬高度阈值z阈值，可通过起重机的运行控制曲线、控制电流等特性来获取。

上述实施例以检测的目标回转角度、目标变幅长度、卷扬高度参数和当前臂架动作对应值进行实时逼近运算，从而实现控制定位（定位精度达10cm）。

此外，所述吊装定位系统还可包括：显示装置（未示出），用于以高亮框选跟踪的方式显示所述目标对象的运行姿态。其中，所述显示装置可被安装在吊装设备的驾驶室内，其可为工业触摸显示屏、电脑显示屏或移动终端的显示屏等设备。具体地，在起重机的臂架运动过程中，显示装置可通过高亮框选的方式跟踪显示目标对象，并通过一键触控相应的定位功能，可实时监控吊装场景画面，从而引导机手做出有效动作，与此同时，给予起重机运动状态的显示。

所述第一控制装置60及第二控制装置200可为通用处理器、专用处理器、常规处理器、数字信号处理器（dsp）、多个微处理器、与dsp核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路（asic）、可编程逻辑控制器（plc）、现场可编程门阵列（fpga）电路、其他任何类型的集成电路（ic）、状态机等等。并且，所述第一控制装置60及第二控制装置200可为单独的部件，也可为同一部件，且所述第一控制装置60及第二控制装置200可被安装在所述吊装设备的驾驶室内。

下面对起重机的吊装定位过程进行说明和解释，如图12所示。

具体地，所述吊装定位过程可包括步骤s1201-s1210。

步骤s1201，分别采集吊钩上侧的无图形标签1在内的预设视野范围的俯视图像a与起吊点（或就位点）上侧的棋盘格标签2在内的预设视野范围内的俯视图像b。

其中，俯视图像a与俯视图像b所在的平面不同（即不共面）。

步骤s1202，分别根据无图形标签1与棋盘格标签2的像素大小、物理尺寸，计算各自的单位像素的物理尺寸，并执行步骤s1203及步骤s1207。

步骤s1203，根据无图形标签1的中心相对于俯视图像a的中心的像素坐标及所述无图形标签1的单位像素的物理尺寸，计算所述无图形标签1到俯视图像a的中心的实际距离。

当然，还可在该步骤s1203中计算出摆角的水平方位角θ。

步骤s1204，获取力限器卷扬下放的绳长，以获取所述臂架顶端到所述吊钩的距离。

步骤s1205，根据所述无图形标签1的中心到俯视图像a的中心的实际距离、所述臂架顶端到所述吊钩的距离及相应的三角关系，计算所述吊钩的摆角。

步骤s1206，根据所述吊钩的摆角及摆角阈值，控制控制臂架的运行姿态。

步骤s1207，根据棋盘格标签2的中心相对于俯视图像b的中心的像素坐标及所述棋盘格标签2的单位像素的物理尺寸，计算所述棋盘格标签2的中心相对于所述俯视图像b的中心的物理坐标。

步骤s1208，根据所述棋盘格标签2的中心相对于所述俯视图像b的中心的物理坐标、所述起重机的当前回转角度与当前变幅长度及相应的三角关系，计算所述起重机的目标回转角度与目标变幅长度。

步骤s1209，计算吊钩距起吊点（或就位点）的目标高度。

步骤s1210，根据所述起重机的目标回转角度、目标变幅长度、吊钩距起吊点（或就位点）的目标高度及所述起重机相应的当前状态参数，采用预设策略控制相应执行机构动作，以使得吊钩准确定位到起吊点（或就位点）。

本发明实施例可通过视觉与多传感融合技术实现目标对象的自动锁定与控制定位，提升了作业安全性，使得起重机具备环境感知与自主决策功能，实现了无人自动化的吊装功能。也就是说，上述吊装过程可提升起重机的环境感知能力和自动化水平，从而有效地提高起重机的工作效率。

综上所述，本发明创造性地通过由上述系统获取的状态参数，控制吊装设备的相应执行机构动作以实现自动吊装过程，由此，可实现自动吊装过程，例如不仅可防止吊钩摆角过大，还可实现吊装过程的有效定位。

本发明实施例还提供一种吊装设备，所述吊装设备可包括：所述的吊装定位系统。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。