本发明涉及非线性欠驱动系统自动控制的技术领域，特别是涉及一种基于视觉的桥式吊车自动控制系统。
背景技术：
众所周知，桥式吊车是一种十分常见的装配运输工具，它利用绳索将负载与吊车上的台车相连，并通过台车的运动来将负载运送到指定的位置，桥式吊车在港口、仓库、建筑工地等场所得到了广泛的应用。
鉴于桥式吊车在运行时，吊车上台车的运动会引起负载的摆动，使得负载可能会和周围的操作工人或者是其它物体发生碰撞，致使负载损坏，甚至导致发生人员伤亡事故，尤其是当台车到达指定位置停止运行后，吊车所悬挂的负载会发生比较强烈的残余摆动，这样不仅会带来较大的安全隐患，同时也严重影响了吊车的工作效率。因此，为了有效避免安全隐患，提高吊车的工作效率，在操作吊车时，一方面需要实现台车的快速准确定位，以满足准确运送负载的要求；另一方面，需要有效地抑制负载的摆动，实现负载的“无摆”或者“微摆”操作。特别是当台车到达指定位置时，负载必须很快地停止摆动，以期提高吊车的工作效率。
在传统的桥式吊车防摆控制系统中，负载摆角信息往往采用电位器或光电编码器等方式进行检测，属于接触式的测量方法。测量装置需要安装在桥式吊车系统内部，机械结构复杂、独立性差，不利于批量化、模块化生产；同时由于测量系统容易受到电器噪声的影响，无法保证负载摆角的测量精度。而基于计算机视觉的非接触式测量方法，具有信息丰富、检测系统独立于系统之外，以及结构简单等优点，将其应用于桥式吊车的负载摆角测量中，能够大大提高控制系统的可扩展性以及便捷性。
为了满足台车的快速准确定位和有效地抑制负载的摆动这两方面的吊车操作要求，一般是通过有经验的工人操纵吊车来实现，具体在操作过程中，工人需要利用他们的经验并通过其眼睛的观测来估计台车的位置与摆角大小，然后选择合理的动作序列来有效抑制负载的摆动，并尽快将它运送到指定的位置，所以一个工人只有在具备多年吊车操作经验，并且掌握娴熟的吊车操作技巧之后，才能利用吊车快速地将负载运送到指定的位置，并有效地抑制负载的摆动。
一般来说，为了实现吊车系统的安全操作，吊车操作人员需要接受很长时间的培训，并在操作过程中不断总结经验以及吸取各种教训，因此，现有的吊车系统对吊车操作人员的技能要求偏高，一般的吊车操作人员无法实现吊车系统的安全操作。此外，鉴于吊车操作者在吊车操作过程中的劳动强度较大，使得吊车的工作效率偏低，吊车操作的准确度有时也难以满足要求[1-7]。
因此就需要对桥式吊车自动控制系统进行研究并加入计算机视觉实现负载摆角的非接触式测量。
技术实现要素：
本发明的目的是克服现有技术存在的上述问题，提供一种基于视觉的桥式吊车自动控制系统，以实现桥式吊车的自动控制，提高生产的安全性以及生产效率，并经由计算机视觉实现桥式吊车负载摆角的非接触式测量，克服负载摆角测量装置需要安装在桥式吊车系统内部，机械结构复杂、独立性差，不利于批量化、模块化生产的缺点，提高控制系统的可扩展性以及便捷性
本发明的技术方案
一种基于视觉的桥式吊车自动控制系统，包括桥式吊车控制系统以及视觉测量系统，其中：
桥式吊车控制系统，基于独立设计的控制电路实现，用于采集桥式吊车的状态信息，并根据相应控制算法进行控制信号的计算输出，控制桥式吊车系统按预定要求运行，包括硬件控制电路以及硬件数据采集电路；
视觉测量系统，采用自行设计的摆角测量算法，用于实现基于视觉的桥式吊车负载摆角的非接触式测量，以代替传统的接触式摆角测量装置，其中包括有运动负载识别模块、负载摆角计算模块以及视频监控模块三部分。
优选地，所述桥式吊车控制系统中的硬件数据采集电路，包括两组各三路共计6路外部接口，各路外部接口分别通过对应的一路光耦隔离以及比较器连接硬件控制电路外部接口，六路光耦隔离以及比较器构成光耦隔离以及比较器模块，硬件控制电路外部接口通过电压转换模块分别连接所述的6路外部接口；所述的硬件数据采集电路能够通过桥式吊车本身所具备的接触式测量装置进行桥式吊车状态信息的采集，包括台车位置信息、负载高度信息、负载摆角信息以及台车正向和负向限位信息等其他所需信息，并能够通过硬件控制电路外部接口将这些数据传输给硬件控制电路，同时为了增加数字信号的抗干扰能力并处理码盘差分信号，加入光耦隔离以及比较器模块；为了能够输出与驱动装置相匹配的模拟量控制信号以驱动桥式吊车运行，加入电压转换模块，依靠运算放大器实现电压的转化；
所述硬件控制电路，包括dsp主控芯片以及与之连接的fpga辅助芯片，dsp主控芯片通过硬件控制电路外部接口连接硬件数据采集电路，用于接收硬件数据采集电路所采集的系统状态信息，dsp主控芯片同时通过串口模块与视觉测量系统进行通信连接，用于直接获取负载摆角信息，此时，dsp仅需另行接收除摆角之外的由硬件数据采集电路所采集的桥式吊车状态信息，最后根据相应控制算法，结合桥式吊车状态信息计算控制信号，并通过硬件数据采集电路将控制信号发送到桥式吊车系统，控制桥式吊车系统按预定要求运行；fpga辅助芯片与rs485/rs232电平转换电路连接，以适应工业环境下的通信要求；fpga辅助芯片与buffer电路连接用于接收桥式吊车系统状态信息，fpga辅助芯片同时与da转换模块连接，进行模拟量控制信号的输出。所述主控芯片为dspf28335，辅助芯片为ep2c5q208c8型fpga；fpga负责接收最多5路桥式吊车系统状态信息；为了实现dsp的内存扩展，以使其支持更加复杂的控制算法程序，dsp同时连接sram对其内存进行外部扩充。
优选地，所述视觉测量系统，采用自行设计的负载摆角测量算法，其中的运动负载识别模块部分，基于背景减除算法实现，该算法首先利用lbp背景建模算法进行背景模型的初始化建模，随后将其作为背景模型初值，利用基于混合高斯模型的背景建模算法对此背景模型初值进行训练，得到最终的背景模型，最后利用视频监控模块中的相机采集到的图像与背景模型进行减除，获取只包含运动负载的图像，实现运动负载的实时跟踪以及识别；所述负载摆角计算模块部分，基于运动负载识别模块部分的负载识别结果，首先需要对负载识别结果进行形态学滤波操作以抑制噪声干扰改善图像质量，随后提取运动负载轮廓，最后基于负载轮廓的图像矩，以获取主轴倾角β，即为负载摆角θ，，并将负载摆角信息通过串口发送到桥式吊车控制系统中的硬件控制电路；所述视频监控模块部分，独立于运动负载识别模块、以及载摆角计算模块，利用工业相机实时地采集桥式吊车运行现场图像，并依据工业相机开发函数库sdk中的相关函数进行视频显示程序的编写以进行现场图像的显示，以实现对于现场的实时监控，方便用户能够实时监测桥式吊车的运行状态，对于突发事件及时作出反应，并进行相应紧急处理，防止危险发生。优选地，所述形态学滤波操作包括：高斯滤波、基于灰度阈值的图像二值化转化、形态学图像腐蚀以及膨胀操作，以去除图像噪声突出负载轮廓。所述的工业相机开发函数库sdk中的相关函数包括：打开相机，相机参数设置，开启相机图像采集，开启视频预览以及关闭相机。
本发明将计算机视觉引入桥式吊车的控制中，代替传统的机械式测量装置，实现负载摆角的非接触式测量，克服由于采用机械式测量装置带来的机械结构复杂、独立性差的缺点；所述桥式吊车系统可以为实验室环境下的模拟桥式吊车实验系统或是工业桥式吊车系统；所述控制信号为通过相应控制算法实时地计算出的用于控制桥式吊车系统运行的信号；所述控制算法为现有的自动控制算法，该控制算法被提前烧写进桥式吊车控制系统中的硬件控制电路的主控芯片dspf28335中；所述接触式摆角测量装置为必须安装在桥式吊车内部以进行桥式吊车负载摆角信息测量的装置，多采用电位器或光电编码器方法实现；所述自行设计的摆角测量算法为基于背景建模的桥式吊车负载摆角测量算法，负责实现视觉测量系统中的运动负载识别以及负载摆角计算两部分的功能。
本发明的优点和有益效果：
本发明不仅能够应用于实验室环境下桥式吊车平台的自动控制，还可以将其应用于工业桥式吊车中，对工业桥式吊车进行自动控制；引入计算机视觉进行桥式吊车摆角测量，以代替传统的采用电位器或光电编码器等方法进行摆角检测的接触式测量装置，使得摆角测量装置无需安装在桥式吊车系统内部破坏其整体结构，克服摆角测量装置机械结构复杂、独立性差的缺点，便于实现摆角测量装置的批量化、模块化生产，以结合桥式吊车控制系统实现桥式吊车的自动控制；同时基于计算机视觉亦可实现对于现场的监控，方便用户监测桥式吊车运行状态，对突发事件及时做出处理；特别的，针对桥式吊车自身安装有机械式测量装置的情况，本系统亦可对这类信号进行接收处理，达到控制桥式吊车的目的，此时视觉部分仅实现对于现场的监控。
附图说明
图1为本发明提供的一种基于视觉的桥式吊车自动控制系统的组成结构示意图。
图2是本发明提供的一种基于视觉的桥式吊车自动控制系统中视觉测量系统的结构示意图。
图3是本发明提供的一种基于视觉的桥式吊车自动控制系统中桥式吊车控制系统的结构示意图。
图4是本发明提供的一种基于视觉的桥式吊车自动控制系统中硬件控制电路的结构示意图。
图5是本发明提供的一种基于视觉的桥式吊车自动控制系统中硬件数据采集电路的结构示意图。
图6是本发明提供的一种基于视觉的桥式吊车自动控制系统中运动负载识别部分算法流程图。
图7是本发明提供的一种基于视觉的桥式吊车自动控制系统中负载摆角计算部分算法流程图。
图8是本发明提供的一种基于视觉的桥式吊车自动控制系统的组成结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图对本发明作进一步的详细说明。
如图1所示，本发明提供的基于视觉的桥式吊车自动控制系统(组成结构图见图8)，包括：桥式吊车系统101、视觉测量系统102、桥式吊车控制系统103，其中：
桥式吊车系统101，它是整个实验系统的控制对象，其中1011为系统机械主体，与桥式吊车控制系统103相连接，桥式吊车控制系统103(具体结构参见图3)通过硬件数据采集电路1032对桥式吊车系统机械主体1011的系统信息(包括台车位置信息、负载高度信息、负载摆角信息以及台车位置的正向和负向的限位信号)进行采集并传递给硬件控制电路1031来进行相应的操作；1012为驱动装置，负责接收由桥式吊车控制系统103所发送的控制信号，驱动系统机械主体1011按照预定的要求运行；特别的，桥式吊车控制系统103中的硬件控制电路1031亦可通过串口与视觉测量系统102进行通信，直接获取负载摆角信息，此时，硬件数据采集电路1032负责采集除摆角信息外的其他系统信息。
桥式吊车控制系统103，为独立设计开发的硬件控制电路1031(具体结构参见图4)以及硬件数据采集电路1032(具体结构参见图5)，所述硬件数据采集电路1032，能够采集桥式吊车系统101的状态信息：包括桥式吊车位置信息、负载高度信息(通过安装在台车以及负载驱动电机上的码盘或是安装于台车以及负载上的点激光等其他测量装置获得)以及负载摆角信息(通过安装在负载上方的机械式摆角测量装置获取)和台车正向以及负向限位信息(通过安装在台车行程两端的光电限位装置获得)，同时能够输出模拟量控制信号(驱动桥式吊车系统101运行)；所述硬件控制电路1031，负责接收硬件数据采集电路1032所采集的系统信息，依据内嵌控制算法，利用主控芯片dsp进行控制信号的计算，并通过硬件数据采集电路1032将控制信号发送到桥式吊车系统101的驱动装置1012，驱动桥式吊车系统按预定要求运行，同时为了配合视觉测量系统，通过串口实现与视觉测量系统102的数据通信，替代硬件数据采集电路1032中的负载摆角采集部分，直接获取负载摆角信息。所述硬件数据采集电路1032，为增加数字信号的抗干扰能力，采用光耦隔离的方式采集桥式吊车系统101的系统状态信息(包括台车位置信息，负载高度信息以及负载摆角信息)和光电限位传感器信号(包括台车位置的正向以及负向的限位信号)，同时为了配合硬件控制电路1031以及匹配伺服驱动器(或是变频器)的-10v-10v的驱动电压，设计了借助于有源运算放大器的电压转换电路，对硬件控制电路1031输出的0-3.3v控制电压进行转换，使其能够输出三路-10v-10v的模拟信号，同时由于引入了有源运算放大器，提高了da(数字模拟，digitalanalog)芯片的驱动能力，各路外部接口分别通过对应的一路光耦隔离以及比较器连接硬件控制电路外部接口，六路光耦隔离以及比较器构成光耦隔离以及比较器模块，硬件控制电路外部接口通过电压转换模块分别连接所述的6路外部接口；所述硬件控制电路1031，负责接收硬件数据采集电路1032所采集的编码信号，或是直接通过视觉测量系统102获取负载摆角信息并结合硬件数据采集电路1032获取其他所需状态信息，通过预定的控制方法实时地计算出相应的控制信号，并通过硬件数据采集电路1032，发送到桥式吊车系统，控制桥式吊车系统按预定要求运行。采取的控制架构为dsp(数字信号处理，digitalsignalprocessing)+fpga(现场可编程门阵列，field-programmablegatearray)的方式(dsp(数字信号处理，digitalsignalprocessing)芯片采用ti(德州仪器，texasinstruments)公司的tmsf28335型浮点型dsp(数字信号处理，digitalsignalprocessing)，是硬件控制电路的核心，负责进行控制信号的计算；fpga(现场可编程门阵列，field-programmablegatearray)采用altera(阿尔特拉，nasdaq：altr)公司的ep2c5q208c8型fpga(现场可编程门阵列，field-programmablegatearray))，fpga(现场可编程门阵列，field-programmablegatearray)负责对外设电路进行扩展并管理，增加系统的可扩展性。fpga(现场可编程门阵列，field-programmablegatearray)方面具体实现方案如下：通过编写相应的fpga(现场可编程门阵列，field-programmablegatearray)底层程序，实现对桥式吊车系统状态信息的采集和处理；由于dsp(数字信号处理，digitalsignalprocessing)没有d/a(数字量/模拟量，digital/analog)转换模块，因此需要外加d/a(数字量/模拟量，digital/analog)芯片并利用fpga对其进行管理；为了实现dsp片上内存的扩展，使其能够支持更加复杂的控制算法程序，加入sram模块对其内存进行外部扩充；同时为保障平台的安全运行，fpga(现场可编程门阵列，field-programmablegatearray)需要采集由硬件数据采集电路1032提供的限位信号，并将其发送给dsp(数字信号处理，digitalsignalprocessing)，通过检测此信号，及时做出系统停车处理，防止系统跑飞；同时本平台采用串口通信方式实现上位机与下位机的通信，进行状态信息的传输，以实现负载状态的可视化显示；为适应工业环境下的通信要求，添加rs232/rs485(推荐标准232/推荐标准485，recommendedstandard232/recommendedstandard485)电平转换电路，并借助于fpga(现场可编程门阵列，field-programmablegatearray)进行电平转换模式的选择，控制电平的输出类型。所述硬件控制电路，其中dsp主控芯片通过硬件控制电路外部接口与硬件数据采集电路1032相连，fpga辅助芯片与rs485/rs232电平转换电路连接，fpga辅助芯片与buffer电路连接用于接收桥式吊车系统状态信息，fpga辅助芯片同时与da转换模块连接，fpga辅助芯片通过数据总线与dsp芯片连接，dsp与sram直接连接以实现内存扩展；
视觉测量系统102(具体结构参见图2)，实现桥式吊车运动负载的识别、负载摆角计算以及现场环境的视频监控，包括运动负载识别1021、负载摆角计算1022以及视频监控1023三部分，视觉测量系统通过串口与桥式吊车硬件控制系统103中的硬件控制电路1031相连接，负责计算桥式吊车负载摆角，并将负载摆角通过串口发送至桥式吊车硬件控制系统102，亦可接收由桥式吊车控制系统103中的硬件控制电路1031发送的吊车系统状态信息，并进行图形化显示。所述视觉测量系统102，为了实现负载摆角信息的测量、视觉监控以及通过串口与桥式吊车系统103的数据通信，平台在mfc(微软基础类库，microsoftfoundationclasses)的基础上搭建上位机软件控制系统(负责状态信息的采集显示保存、监控视频的预览以及负载摆角信息的计算以及传输)，运动负载识别1021负责实现运动负载的实时跟踪识别，所用算法为自行设计的基于背景建模的负载识别算法(算法流程见图6)，算法首先通过lbp(局部二值模型，localbinarypattern)背景建模算法，进行背景的初始化建模，得到初始化背景图像，随后利用混合高斯模型背景建模算法对初始化背景图像进行二次训练，得到最终的背景图像；为了抑制噪声干扰改善图像质量，首先需要对经由工业相机获取的图像进行高斯滤波操作，随后对图像进行背景减除并选取合适的灰度阈值，对所获得的前景图像进行图像分割操作，剔除形态上连通的图像噪声区域，最后利用形态学图像腐蚀以及膨胀操作，进一步去除图像中孤立的噪声点并修复负载图像中由于图像处理不当所造成的空洞，突出负载特征，得到仅包含有负载的灰度二值化图像，实现运动负载的实时跟踪与识别；负载摆角计算1022，负责根据运动负载识别1021所得到的负载灰度二值化图像进行负载摆角计算(算法流程见图7)，为了提高摆角计算速度，算法首先提取负载灰度二值化图像外部边缘轮廓，在此基础上，通过计算其相关图像矩求解负载质心和主轴倾角来实现对于负载摆角的计算[8-11]，具体而言：
通过负载图像的零阶几何矩和一阶几何矩确定负载质心坐标(x0,y0)，具体定义下：
其中m00对应图像面积，m10为图像关于水平方向x轴的灰度矩，而m01为图像关于竖直方向y轴的灰度矩，mij计算如下：
其中f(x,y)为图像坐标点(x,y)所对应的图像灰度值。定义图像i+j阶中心矩为mij，具体为：
对于不同负载均存在一条过质心的主轴，使得图像绕该轴惯量最小，设主轴与x轴的夹角为β，主轴直线方程为：
(x-x0)sinβ-(y-y0)cosβ＝0(4)
图像绕该直线的惯量为：
整理(5)式可得：
其中m02和m20称为物体惯量矩，由于主轴和x轴的夹角β使得物体的惯量最小，对(6)式在β处求导并令其为0：
m20sin2β-2m11cos2β-m02sin2β＝0(7)
整理(7)式可得：
对(8)式进行反正切变化即可求取负载主轴倾角β。
视频监控1023通过工业相机实时采集现场图像，并进行视频显示，实现用户对于现场环境以及吊车运行状态的实时监控，方便用户及时对突发状况作出相应处理；视觉测量系统102内部集成串口通信模块，负责实现其与桥式吊车控制系统102中的硬件控制电路1031的数据通信，包括发送负载摆角信息以及接受桥式吊车状态信息，并进行图像化显示。
在本发明中，所述桥式吊车系统101可以为实验室环境下的模拟桥式吊车实验系统或是工业桥式吊车系统；所述桥式吊车状态信息为桥式吊车位置信息、负载高度信息、负载摆角信息以及台车正向以及负向限位信息等其他所需信息；所述控制信号为通过相应控制算法实时地计算出的用于控制桥式吊车系统运行的信号；所述控制算法为现有的自动控制算法的任意一种(例：pid控制算法、轨迹规划算法、滑膜控制算法等)，该控制算法被提前烧写进桥式吊车控制系统103中的硬件控制电路1031的主控芯片dspf28335中；所述接触式摆角测量装置为必须安装在桥式吊车内部以进行桥式吊车负载摆角信息测量的装置，多采用电位器或光电编码器方法实现；所述摆角测量算法为自行设计的基于背景建模的桥式吊车负载摆角测量算法，负责实现视觉测量系统中的运动负载识别以及负载摆角计算两部分的功能；所述形态学滤波操作包括：高斯滤波、基于灰度阈值的图像二值化转化以及形态学图像腐蚀以及膨胀操作，以去除图像噪声突出负载轮廓。
本发明所提供的一种基于视觉的桥式吊车自动控制系统，可以实现桥式吊车的自动化控制，无需人员在现场即可操作工业桥式吊车，提高了工业生产的安全性。最重要的是，传统的桥式吊车摆角测量装置通常安装于吊车系统内部，多为采用电位器或光电编码器等方法进行检测的接触式测量装置，具有机械结构复杂、独立性差等缺点，往往需要对吊车系统进行改造，然而，对于一些大型的桥式吊车设备，这样的改造是很不容易的且不允许的，同时，由于测量装置容易受到电器噪声的影响，无法保证负载摆角测量的精度，本发明引入基于计算机视觉的负载摆角测量功能，利用这种非接触式的负载摆角测量方法替代传统的接触式测量装置，无需对系统进行改造，且检测系统独立于系统之外，可以脱离吊车系统机械主体而存在，具有很强的适应性和灵活性，便于批量化、模块化生产。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
参考文献
[1]马博军,方勇纯,刘先恩,等.三维桥式吊车建模与仿真平台设计[j].系统仿真学报,2009(12):3798-3803.
[2]abdel-rahmanem,nayfehah,masoudzn.dynamicsandcontrolofcranes:areview[j].journalofvibrationandcontrol,2003,9(7):863-908.
[3]姚凤祥.门式起重机改造的技术探索[j].中国科技博览,2013(17):334-334.
[4]rosenfeldy.automationofexistingcranes:fromconcepttoprototype[j].automationinconstruction,1995,4(2):125-138.
[5]sunn,fangy,zhangx.energycouplingoutputfeedbackcontrolof4-dofunderactuatedcraneswithsaturatedinputs[j].automatic,2013,49(5):1318-1325.
[6]sunn,fangy.newenergyanalyticalresultsfortheregulationofunderactuatedoverheadcranes:anend-effectormotion-basedapproach[j].ieeetransactionsonindustrialelectronics,2012,59(12):4723-4734.
[7]sunn,fangy,zhangy,etal.anovelkinematiccoupling-basedtrajectoryplanningmethodforoverheadcranes[j].ieee/asmetransactionsonmechatronics,2012,17(1):166-173.
[8]c.kelvin,w.singhouse,p.bhaumik,etal.usingmachinevisionandhand-motioncontroltoimprovecraneoperatorperformance[j].ieeetransactionsonsystems,man,andcybernetics,2010,42(6):1496-1503.
[9]leelh,huangch,kusc,etal.efficientvisualfeedbackmethodtocontrolathree-dimensionoverheadcrane[j].ieeetransactionsonindustrialelectronics,2014,61(8):4073–4083.
[10]naras,miymotod,takahashis.positioningmeasurementofcranehookbyvisionandlaser[c].iecon2006:proceedingsofthe32ndannualconferenceonieeeindustrialelectronics.piscataway,nj:ieee,2006:184-189.
[11]pandadk,mehers.agaussianmixturemodelwithgaussianweightlearningrateandforegrounddetectionusingneighbourhoodcorrelation[c]microelectronicsandelectronics.ieee,2014:158-163。