专利名称：轮胎吊车行进轨迹视频纠偏装置及方法
技术领域：
本发明涉及利用嵌入式系统实现视频图像的实时处理并将结果用于控制的技术 领域，尤其是一种轮胎吊车行进轨迹视频纠偏装置及方法。
背景技术：
国际贸易的发展使得港口码头的货物吞吐量日益增大，目前很多港口码头均配备 有轮胎吊车进行货物的起吊和搬移。轮胎吊大车在行驶过程中要求控制其偏移角在5° (正 负)左右，这对轮胎吊车驾驶员的安全驾驶技术要求较高，即要时刻避免碰撞。目前精确测 角的设备有电子罗盘和GPS等，由于吊车工作环境具有大功率电机等，存在强磁场干扰，电 子罗盘测量的偏角误差较大，而常用的GPS精度不够，因此均不能满足港口码头这一特定 应用环境。目前的轮胎吊车轨迹纠偏主要依靠驾驶员时刻关注地面上已经画好的轨迹线， 通过高超的驾驶技术进行控制，工作强度大且单调乏味，很容易导致驾驶员疲劳，存在较大 的安全隐患，且工作效率不高。随着计算机视觉的发展，国内外很多学者都开展了图像处理、目标检测等相关研 究，涌现出了大量的成果，图像处理技术在医学检验、诊断，工业监控领域也得到了广泛的 应用。目前已出现了不少基于视觉反馈进行控制的系统，但针对轮胎吊车轨迹纠偏这一特 定应用背景，尚未出现基于视觉反馈的解决方案，目前尚无法解决轮胎吊车进行过程中轨 迹自动纠偏这一难题。
发明内容
为了克服现有的针对轮胎吊车轨迹纠偏这一特定应用背景，尚未出现基于视觉反 馈的解决方案的不足，本发明提供了一种轮胎吊车行进轨迹视频纠偏装置及方法。本发明解决其技术问题所采用的技术方案是一种轮胎吊车行进轨迹视频纠偏装 置包括电源和计算机，两块DSP双通道视频处理子系统分别连接单片机和计算机，一块DSP 双通道视频处理子系统连接轮胎吊车一侧的前后两个摄像头，另一块DSP双通道视频处理 子系统连接轮胎吊车另一侧的前后两个摄像头，单片机与PLC控制系统连接。根据本发明的另一个实施例，进一步包括所述DSP双通道视频处理子系统采用核 心板+基板的模块化结构。根据本发明的另一个实施例，进一步包括所述核心板+基板的模块化结构包括核 心板、基板、看门狗模块、状态指示模块和电源模块；所述核心板包含TMS320DM642芯片、 Nor Flash存储芯片和两个SDRAM芯片，所述基板主要包括电源芯片、串口扩展芯片、两个 视频解码芯片和一个视频编码芯片，所述状态指示模块由2个LED组成。根据本发明的另一个实施例，进一步包括所述DSP双通道视频处理子系统具有两 个串口和一个JTAG 口，通过两个串口分别与单片机和计算机进行通信，通过一个JTAG 口与 计算机通信。根据本发明的另一个实施例，进一步包括所述单片机具有四个串口和一个JTAG口，四个串口分别设置为RS485、RS485、RS232和RS232。一种轮胎吊车行进轨迹视频纠偏方法，包括如下步骤
(1)对采集的图像进行DSP双通道视频处理一块DSP双通道视频处理子系统连接轮 胎吊车左侧的前后两个摄像头，通过DSP的VPl和VP2 口同时采集和处理前后两路视频，获 取前后两个视角下吊车偏离既定行进轨迹的角度，另一块DSP双通道视频处理子系统连接 轮胎吊车右侧的前后两个摄像头，通过DSP的VPl和VP2 口同时采集和处理前后两路视频， 获取前后两个视角下吊车偏离既定行进轨迹的角度，并均可通过VPO 口交替显示前后两路 视频的处理结果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同
止
少；
(2)摄像头标定方案将DSP双通道视频处理子系统采集的图像通过JTAG导入计算机， 利用投影变换方法计算摄像头的标定参数，并利用计算出的摄像头的标定参数对DSP程序 中的参数进行初始化；DSP程序编译后生成可执行文件，通过JTAG或串口将程序烧写到DSP 双通道视频处理子系统中；
(3)实现轮胎吊车行进过程中的轨迹自动纠偏单片机将四个摄像头检测出的偏角进 行融合，然后将融合后的偏角经过串口发给PLC控制系统对轮胎吊车进行控制，稳健地实 现轮胎吊车行进过程中的轨迹自动纠偏。根据本发明的另一个实施例，进一步包括所述步骤(2)中摄像头标定方案包括以 下步骤
(1)将摄像头安装好，并确定大地坐标系的坐标原点，调节相应的俯仰角，使其视野可 观察到距其地面投影前方2 7m的区域；
(2)在摄像头视野区域内放置至少4个标定物，以大地坐标系原点为参考，记录标定物 的地面坐标位置；
(3)在DSP采集的标定场景图像中选择其中一幅，将其导入到计算机中，并通过鼠标在 图像中选择标定物查看其像素位置，并与其地面坐标对应起来成对记录；
(4)根据获取的标定物的地面坐标位置和图像中的坐标位置，通过投影变换计算摄像 头的标定参数；
(5)利用标定参数对图像中检出的直线进行坐标变换，得到其在地面坐标系下对应的 位置，进而估算出当前图像中检出的直线与既定轨迹之间的偏角。本发明的有益效果是，采用嵌入系统和模块化设计，使得系统结构紧凑、扩展性 好、成本低且具有良好的实时性和稳健性，从而可实现基于视觉反馈的轮胎吊车行进轨迹 的自动纠偏。通过推广该发明，可提高港口码头货物的吞吐效率，减轻轮胎吊车驾驶员的工 作强度，降低安全隐患，提高工作效率。
下面结合附图和实施例对本发明进一步说明。图1是本发明轮胎吊车视频纠偏系统的原理框图； 图2是DSP双通道视频处理子系统的原理框图3是Z=O情况下的透视变换示意图； 图4是轮胎吊车行进轨迹视频纠偏系统的软件算法流程图。
具体实施例方式如图1是本发明轮胎吊车视频纠偏系统的原理框图，一种轮胎吊车行进轨迹视频 纠偏装置包括电源和计算机，两块DSP双通道视频处理子系统分别连接单片机和计算机， 一块DSP双通道视频处理子系统连接轮胎吊车一侧的前后两个摄像头，另一块DSP双通道 视频处理子系统连接轮胎吊车另一侧的前后两个摄像头，单片机与PLC控制系统连接。所述DSP双通道视频处理子系统采用核心板+基板的模块化结构。所述核心板+基板的模块化结构包括核心板、基板、看门狗模块、状态指示模块和 电源模块；所述核心板包含TMS320DM642芯片、Nor Flash存储芯片和两个SDRAM芯片，所 述基板主要包括电源芯片、串口扩展芯片、两个视频解码芯片和一个视频编码芯片，所述状 态指示模块由2个LED组成。所述DSP双通道视频处理子系统具有两个串口和一个JTAG 口，通过两个串口分别 与单片机和计算机进行通信，通过一个JTAG 口与计算机通信。所述单片机具有四个串口和一个JTAG 口，四个串口分别设置为RS485、RS485、 RS232 和 RS232。一种轮胎吊车行进轨迹视频纠偏方法，包括如下步骤
(1)对采集的图像进行DSP双通道视频处理一块DSP双通道视频处理子系统连接轮 胎吊车左侧的前后两个摄像头，通过DSP的VPl和VP2 口同时采集和处理前后两路视频，获 取前后两个视角下吊车偏离既定行进轨迹的角度，另一块DSP双通道视频处理子系统连接 轮胎吊车右侧的前后两个摄像头，通过DSP的VPl和VP2 口同时采集和处理前后两路视频， 获取前后两个视角下吊车偏离既定行进轨迹的角度，并均可通过VPO 口交替显示前后两路 视频的处理结果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同
止
少；
(2)摄像头标定方案将DSP双通道视频处理子系统采集的图像通过JTAG导入计算机， 利用投影变换方法计算摄像头的标定参数，并利用计算出的摄像头的标定参数对DSP程序 中的参数进行初始化；DSP程序编译后生成可执行文件，通过JTAG或串口将程序烧写到DSP 双通道视频处理子系统中；
(3)实现轮胎吊车行进过程中的轨迹自动纠偏单片机将四个摄像头检测出的偏角进 行融合，然后将融合后的偏角经过串口发给PLC控制系统对轮胎吊车进行控制，稳健地实 现轮胎吊车行进过程中的轨迹自动纠偏。所述步骤(2)中摄像头标定方案包括以下步骤
(1)将摄像头安装好，并确定大地坐标系的坐标原点，调节相应的俯仰角，使其视野可 观察到距其地面投影前方2 7m的区域；
(2)在摄像头视野区域内放置至少4个标定物，以大地坐标系原点为参考，记录标定物 的地面坐标位置；
(3)在DSP采集的标定场景图像中选择其中一幅，将其导入到计算机中，并通过鼠标在 图像中选择标定物查看其像素位置，并与其地面坐标对应起来成对记录；
(4)根据获取的标定物的地面坐标位置和图像中的坐标位置，通过投影变换计算摄像 头的标定参数；(5)利用标定参数对图像中检出的直线进行坐标变换，得到其在地面坐标系下对应的 位置，进而估算出当前图像中检出的直线与既定轨迹之间的偏角。本发明的目的是针对轮胎吊车进行轨迹自动纠偏这一问题，提出并实现一种基于 视觉反馈的轮胎吊车行进轨迹视频纠偏方案，采用嵌入式实时处理技术，同时处理不同视 角下获取的四路视频，快速、准确、稳健地获取吊车行进过程中偏离既定轨迹的偏角，并将 其发送给PLC，最终实现轮胎吊车行进轨迹的自动纠偏。为实现上述目的，本发明的技术解决方案是设计一套轮胎吊车进行轨迹视频纠偏 系统，系统设计具体包括以下方面
(1)DSP双通道视频处理子系统采用核心板+基板的模块化结构设计了DSP视频处理 子系统，该系统具有最小化、低成本、良好通用性和扩展性等优点，可同时处理两路摄像头 采集的视频，并可通过VPO通道交替显示两路视频的处理结果；
(2)两块DSP视频处理子系统加单片机实现四路视频处理及信息融合轮胎吊车的左 右两侧各安装两个摄像头，分别与一块DSP视频处理子系统相连，将两块DSP处理的结果通 过串口送入单片机，以此来简化DSP之间的通信。单片机将四个安装在不同视角下的摄像 头检出的轨迹偏角进行融合，增强偏角检测的稳健性，然后将融合后的偏角经过串口发给 PLC对吊车进行控制，实现吊车行进过程中的轨迹自动纠偏；
(3)多扩展接口的灵活设计每块DSP视频处理系统具有两个串口(其中一个可配置为 RS485)可与单片机和计算机进行通信，此外还有一个JTAG 口可与计算机通信，方便系统调 试和功能扩展；单片机具有四个串口，其中两个配置为RS485，两个配置为RS232 ；
(4)摄像头标定方案针对特定的应用背景，将DSP采集的图像通过JTAG导入计算机 上，利用投影变换方法计算摄像头的标定参数，并通过JTAG或串口将程序烧写到DSP中；此 外，可选用同一型号和固定焦距的摄像头，通过固定俯仰角和架设高度，可简化摄像头参数 标定工作。所述DSP双通道视频处理子系统，是利用嵌入式系统实现视频的实时处理，其设 计包括以下方面
a、DSP核心板核心板仅包含TMS320DM642芯片、NorFlash存储芯片和两个SDRAM芯 片等主要芯片，不包含扩展接口，图2给出了 DSP双通道视频处理子系统的原理图。DSP芯 片所有的IO及外设功能通过两排针脚引出，通过将核心板插入到基板上，可充分利用DSP 的功能，这一模块化设计可加快开发进度，降低开发成本，提高系统的扩展性；
b、扩展基板基板上主要包括电源芯片、串口扩展芯片、两个视频解码芯片(TVP5150) 和一个视频编码芯片(SAA7121H)，为了保证视频模块的正常工作，对视频信号进行防浪涌 防护，采用三为技术有限公司生产的SJ3-1/2型号视频防雷防浪涌模块；将核心板插到基 板上，通过改变基板设计，可灵活地实现不同功能需求，最小化地裁剪系统；
C、看门狗模块和状态指示模块看门狗模块用于监视系统是否正常工作，如果工作不 正常则重启系统。状态指示模块主要由2个LED组成，其中一个用于指示电源是否正常，另 外一个用于指示系统是否工作正常。同时，在状态指示模块中预留几路10，用于系统扩展； d、电源模块基板上的电源芯片为DSP核心板和基板同时供电，其中采用TI的开关电 源芯片TPS5450，输入电压范围5. 5V 36V，转换效率高达90%以上，输出电压为5V，输出 电流5A，为DSP核心板及基板的电源，DSP处理器IO及外围SDRAM，Nor flash等芯片采用3. 3V电源供电，DSP内核采用1. 4V电源供电。为防止系统短路烧毁等严重问题，电源输入应串接一个可恢复保险丝，根据系统 额定功耗(电流)等参数来选型。因接入系统电源为MV直流，在线路正极串接一个整流二极 管防反接烧毁系统，也可选用整流桥方式，不管直流电源接入的正负极方向如何均可正常 工作，这里选择整流二极管是考虑到系统功耗，正常工作时所需电流较大，理论峰值约1A， 由于长期正向导通，PN结面积大散热也较好，适应环境高温的能力更好，且整流二极管价格 并不高，所以选择5A的整流二极管串接在正极电源线中。由于工作环境恶劣，存在大功率 电机和高压线，线路自身电感很容易引起浪涌，电源防护需格外考虑。考虑到浪涌电流的特 点，峰值电流大(能量较大)，上升和下降时间较缓慢，而脉冲群尖峰时间短，脉宽窄，峰值电 压高，综合考虑，电源芯片输入端采用压敏电阻和TVS管结合防护的方法，压敏电阻对浪涌 有较好的防护功能，位于输入保护的第一级较为合适，TVS响应时间短的特点对脉冲群会起 到较好的钳制平缓作用，位于保护的第二级。所述两块DSP视频处理系统加单片机实现四路视频处理及信息融合，其设计包括 以下方面
a、双通道视频实时处理一块DSP视频处理子系统连接轮胎吊车左侧的前后两个摄像 头，通过DSP的VPl和VP2 口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离
既定行进轨迹的角度LrfK线為)
，另一块DSP视频处理子系统连接轮胎吊车右侧的前后两个摄像头，通过DSP的VPl和 VP2 口同时采集和处理前后两路视频，获取前后两个视角下吊车偏离既定行进轨迹的角度 Eighty,,如图1的原理框图所示，并均可通过VPO 口交替显示前后两路视频的处理结
果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同步；
b、单片机信息融合为实现两块DSP视频处理系统之间的同步，并增强系统的稳健性， 简化DSP之间的通信以及实现DSP视频处理子系统的模块化，将两个DSP视频处理子系统
获取的轮胎吊车左右行进轨迹在前后视角下的偏角Leftd^)和1115叫各為)经过串口送
到单片机中按照加权平均准则进行融合，如图1所示，得到一个可信度更高、更精确的偏角 作为最终需要的偏角；
C、基于视觉反馈的自动控制单片机将每一时刻得到的融合偏角按照一定的数据格 式，采用Modbus协议方式通过串口发送给PLC，实现对轮胎吊车行进方向的自动控制，实现 行进轨迹的自动纠偏。扩展接口的设计包括
a、每块DSP视频处理子系统扩展两个串口(其中一个可配置为RS485)和一个JTAG 口。由于TMS320DM642自身不具有串口，所以采用串口芯片扩展方案。串口扩展芯片选择 TL16C752B,扩展两路串口，电平转换芯片采用MAX3232和SN75176 (或SN75LBC184)分别进 行TTL-RS232、TTL-RS485电平的转换，可同时实现RS232或RS485通信JTAG 口可与计算 机通信，方便调试和摄像头标定，简化DSP的软件和算法，有利于DSP视频处理子系统的模 块化；
b、单片机具有四个串口，其中两个配置为RS485，两个配置为RS232，并有一个JTAG口， 便于调试，当环境电磁干扰强，通信距离远时，可采用RS485进行传输；C、状态指示和复位DSP核心板和单片机均扩展出系统复位开关，并扩展出多个指示 灯接口，用于指示电源或工作状态；
d、通信协议设计利用串口可方便与单片机和计算机进行通信，在设计通信协议时，应 使DSP视频处理模块的接口(RS232端口)能与PLC(型号为HE-XE102)端口进行一对一通 讯直连，本发明采用工业控制领域应用较为广泛的Modbus协议，主要包括DSP与单片机之 间的通信以及单片机与PLC之间的通信。通讯参数包括角度表示、数据通信奇偶校验、DSP 系统工作是否正常指示、危险报警指示。
所述摄像头标定方案包括以下步骤
a、将摄像头安装架设好，并确定大地坐标系的坐标原点，坐标原点可取摄像头中心在 地面上的投影，通过调节摄像头的俯仰角，使其视野可观察到距其地面投影前方2-7m的区 域，确保在图像中检出吊车的行进轨迹；
b、在摄像头视野区域内按一定间隔放置若干个小的、颜色鲜艳的标定物(不少于4个)， 以大地坐标系原点为参考，记录标定物的地面坐标；
c、在DSP采集的标定场景图像中选择其中一幅，将其导入到笔记本电脑中，打开利用 VC++6. O编制的软件，导入标定场景图像，通过鼠标在图像中选择标定物并查看其像素位 置，将对应标定物的实际地面坐标输入；
d、根据获取标定物的地面坐标位置和图像中坐标位置，通过投影变换计算摄像头的标 定参数。针对地平面上直线检测的特定应用环境，将传统的投影变换方法进行简化。投影 变换的公式如下
权利要求
1.一种轮胎吊车行进轨迹视频纠偏装置，包括电源和计算机，其特征是，两块DSP双通 道视频处理子系统分别连接单片机和计算机，一块DSP双通道视频处理子系统连接轮胎吊 车一侧的前后两个摄像头，另一块DSP双通道视频处理子系统连接轮胎吊车另一侧的前后 两个摄像头，单片机与PLC控制系统连接。
2.根据权利要求1所述的轮胎吊车行进轨迹视频纠偏装置，其特征是，所述DSP双通道 视频处理子系统采用核心板+基板的模块化结构。
3.根据权利要求2所述的轮胎吊车行进轨迹视频纠偏装置，其特征是，所述核心板+ 基板的模块化结构包括核心板、基板、看门狗模块、状态指示模块和电源模块；所述核心板 包含TMS320DM642芯片、Nor Flash存储芯片和两个SDRAM芯片，所述基板主要包括电源芯 片、串口扩展芯片、两个视频解码芯片和一个视频编码芯片，所述状态指示模块由2个LED 组成。
4.根据权利要求1所述的轮胎吊车行进轨迹视频纠偏装置，其特征是，所述DSP双通道 视频处理子系统具有两个串口和一个JTAG 口，通过两个串口分别与单片机和计算机进行 通信，通过一个JTAG 口与计算机通信。
5.根据权利要求1所述的轮胎吊车行进轨迹视频纠偏装置，其特征是，所述单片机具 有四个串口和一个JTAG 口，四个串口分别设置为RS485、RS485、RS232和RS232。
6.一种轮胎吊车行进轨迹视频纠偏方法，其特征是，包括如下步骤(1)对采集的图像进行DSP双通道视频处理一块DSP双通道视频处理子系统连接轮 胎吊车左侧的前后两个摄像头，通过DSP的VPl和VP2 口同时采集和处理前后两路视频，获 取前后两个视角下吊车偏离既定行进轨迹的角度，另一块DSP双通道视频处理子系统连接 轮胎吊车右侧的前后两个摄像头，通过DSP的VPl和VP2 口同时采集和处理前后两路视频， 获取前后两个视角下吊车偏离既定行进轨迹的角度，并均可通过VPO 口交替显示前后两路 视频的处理结果，通过设置中断优先级和采集延时等待，可实现两路交替采集与显示的同止少；(2)摄像头标定方案将DSP双通道视频处理子系统采集的图像通过JTAG导入计算机， 利用投影变换方法计算摄像头的标定参数，并利用计算出的摄像头的标定参数对DSP程序 中的参数进行初始化；DSP程序编译后生成可执行文件，通过JTAG或串口将程序烧写到DSP 双通道视频处理子系统中；(3)实现轮胎吊车行进过程中的轨迹自动纠偏单片机将四个摄像头检测出的偏角进 行融合，然后将融合后的偏角经过串口发给PLC控制系统对轮胎吊车进行控制，稳健地实 现轮胎吊车行进过程中的轨迹自动纠偏。
7.根据权利要求6所述的轮胎吊车行进轨迹视频纠偏方法，其特征是，所述步骤(2)中 摄像头标定方案包括以下步骤(1)将摄像头安装好，并确定大地坐标系的坐标原点，调节相应的俯仰角，使其视野可 观察到距其地面投影前方2 7m的区域；(2)在摄像头视野区域内放置至少4个标定物，以大地坐标系原点为参考，记录标定物 的地面坐标位置；(3)在DSP采集的标定场景图像中选择其中一幅，将其导入到计算机中，并通过鼠标在 图像中选择标定物查看其像素位置，并与其地面坐标对应起来成对记录；(4)根据获取的标定物的地面坐标位置和图像中的坐标位置，通过投影变换计算摄像 头的标定参数；(5)利用标定参数对图像中检出的直线进行坐标变换，得到其在地面坐标系下对应的 位置，进而估算出当前图像中检出的直线与既定轨迹之间的偏角。
全文摘要
本发明涉及利用嵌入式系统实现视频图像的实时处理并将结果用于控制的技术领域，尤其是一种轮胎吊车行进轨迹视频纠偏装置及方法。该装置包括电源和计算机，两块DSP双通道视频处理子系统分别连接单片机和计算机，一块DSP双通道视频处理子系统连接轮胎吊车一侧的前后两个摄像头，另一块DSP双通道视频处理子系统连接轮胎吊车另一侧的前后两个摄像头，单片机与PLC控制系统连接。采用嵌入系统和模块化设计，使得系统结构紧凑、扩展性好、成本低且具有良好的实时性和稳健性，从而可实现基于视觉反馈的轮胎吊车行进轨迹的自动纠偏。通过推广该发明，可提高港口码头货物的吞吐效率，减轻轮胎吊车驾驶员的工作强度，降低安全隐患，提高工作效率。
文档编号G06T7/00GK102060234SQ201010519880
公开日2011年5月18日 申请日期2010年10月26日 优先权日2010年10月26日
发明者刘云辉, 周东翔, 杨延光, 梁华, 范才智, 蔡宣平 申请人:常州超媒体与感知技术研究所有限公司