一种基于机器视觉的离靠泊作业参数计算方法
【专利摘要】本发明涉及一种基于机器视觉的离靠泊作业参数计算方法，包括：预先建立船体坐标系、图像坐标系、像机坐标系和标识源坐标系，测量船艏参考点与船艉参考点的距离，以及像机安装位置与船艏参考点的距离，获取像机对岸上标识成像时刻的像机航向角与俯仰角；计算标识源坐标系至像机坐标系的平移向量；计算船体坐标系和标识源坐标系的欧拉角；根据上述参数计算离靠泊作业参数，判断是否结束离靠泊作业，如果否，再次离靠泊作业参数计算，直到离靠泊作业结束；如果是，则结束计算。本发明保证岸上标识能够在有限的像机视场范围内成像，放宽了对像机视场、船岸位姿关系的约束，提高了离靠泊参数解算精度；计算过程简单，运算量小。
【专利说明】
一种基于机器视觉的离靠泊作业参数计算方法
技术领域
[0001] 本发明涉及航海导航技术领域，尤其涉及一种基于机器视觉的离靠泊作业参数计 算方法。
【背景技术】
[0002] 随着航运业的发展，造船技术和航海技术呈现跨越性的进步，船舶的大型化已经 由一种趋势转变为现实。因大型船舶质量与体积大、不易操作等特点，通常需要拖轮的协助 才能完成离靠泊。入泊角度、船岸距离和船岸速度是离靠泊作业过程的重要参数，通过信息 化设备对上述参数进行实时计算，为驾引人员提供准确的辅助决策信息，是高效、安全实现 大型船舶离靠泊的有效途径。近年来，用于辅助大型船舶离靠泊作业的仪器设备得到快速 发展，使驾引人员从过去纯粹凭经验靠感觉定势靠泊发展到利用先进设备数字定量靠泊。
[0003] 从工作原理划分，离靠泊作业设备可分为激光离靠泊作业设备、差分卫导离靠泊 作业设备、光学离靠泊作业设备。激光离靠泊作业设备和差分卫导离靠泊作业设备发展较 为成熟，在港口、船舶中广泛应用。光学离靠泊作业设备利用日盲紫外波段的特殊性，能够 在雨、雾等能见度不佳的天气条件下使用，在近些年逐渐发展起来。
[0004] 当前，光学离靠泊作业设备存在的主要问题包括:一是未同时考虑离靠泊作业参 数与像机航向角及俯仰角的耦合关系，当岸上标识处于相机视场边缘时，难以通过多个维 度对相机角度进行调整，影响了岸上标识在相机视场内的成像质量，降低了离靠泊作业参 数解算精度;二是采用异面标识，离靠泊作业参数计算方法复杂，运算量较大。
【发明内容】
[0005] 鉴于上述的分析，本发明旨在提供一种基于机器视觉的离靠泊作业参数计算方 法，用以解决现有离靠泊作业参数解算精度不够以及运算复杂的问题。
[0006] 本发明的目的主要是通过以下技术方案实现的：
[0007] 本发明提供了一种基于机器视觉的离靠泊作业参数计算方法，包括：
[0008] 预先建立船体坐标系Ob-XbYbZb、图像坐标系I-XY、像机坐标系0c-X cYcZc和标识源坐 标系 0u_XuYuZu;
[0009] 测量船艏参考点与船艉参考点的距离L，以及像机安装位置与船艏参考点的距离 Lc；
[0010] 获取像机对岸上标识成像时刻的像机航向角P与俯仰角δ;
[0011] 计算标识源坐标系0U-XUYUZ U至像机坐标系0「ΧΙΖ。的平移向量[Tx Ty Τζ]τ;
[0012] 计算船体坐标系〇b-xbYbzb和标识源坐标系0 U-XUYUZU的欧拉角(沒. .，
[0013] 根据上述参数计算离靠泊作业参数，判断是否结束离靠泊作业，如果否，重新获取 像机对岸上标识成像时刻的像机航向角P与俯仰角δ，再次离靠泊作业参数计算，直到离靠 泊作业结束;如果是，则结束计算。
[0014] 进一步地，所述离靠泊作业参数包括：
[0015] 入泊角β、船艏与岸线距离Lb、船艉与岸线距离Ls、船艏相对于岸线的横向速度Vb、 船艉相对于岸线的横向速度Vs。
[0016] 进一步地，根据如下公式计算离靠泊作业参数：
[0017] β = φ
[0018] Lb = Tx cosp+Ty sinpsin5+Tz sinpcos5-Lc sinP
[0019] Ls = LB+Lsin0
[0020] Vb=Lb
[0021]
[0022] 进一步地，计算标识源坐标系0u-XuYuZ u至像机坐标系0c-XcYcZc的平移向量[T x Ty 1^]7的过程具体包括：
[0023]根据图像坐标系I-XY和像机坐标系0c-XcYcZ c的定义，通过像机标定获取图像主点 (Cx，Cy)、横向等效焦距Fx、纵向等效焦距Fy;
[0024] 计算位姿中间变量ei、e3、e4、e 6、Θ7;
[0025] 根据图像主点（Cx，Cy)、横向等效焦距Fx、纵向等效焦距F y以及位姿中间变量，计算 计算标识源坐标系〇u-XuYuZ u至像机坐标系Oc-XcYcZc的平移向量[Tx Ty Τζ]τ。
[0026] 进一步地，计算船体坐标系0b-XbYbZ b和标识源坐标系0u-XuYuZu的欧拉角 (沒yif的过程具体包括：
[0027] Θ = sin_1[ (r6sin5+r2C0s5)cosp-r4sinp]
[0030] 其中，1~112、^4、^6通过以下公式确定：
[0031] π = θ7Τζ
[0032] Γ2 = θδΤζ
[0037]本发明有益效果如下：
[0038]本发明保证岸上标识能够在有限的像机视场范围内成像，放宽了对像机视场、船 岸位姿关系的约束，提高了离靠泊参数解算精度;计算过程简单，运算量小。
[0039]本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明 书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0040]附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图 中，相同的参考符号表不相同的部件。
[0041 ]图1为本发明实施例方法的流程示意图；
[0042]图2为本发明实施例所述方法中，离靠泊作业场景的示意图。
【具体实施方式】
[0043]下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并 与本发明的实施例一起用于阐释本发明的原理。
[0044]如图1所示，图1为本发明实施例所述基于机器视觉的离靠泊作业参数计算方法的 流程示意图，具体可以包括下列步骤：
[0045] 步骤101:建立船体坐标系0b-XbYbZb、图像坐标系I-XY、像机坐标系0 c-XcYcZc和标识 源坐标系〇U-XUYUZU〇
[0046]各坐标系的定义如下：
[0047]船体坐标系0b-XbYbZb:原点0 b位于船体质心，Xb轴指向船舶的右舷，Yb轴指向船艏， Zb轴垂直于甲板平面向上，与Xb轴和Yb轴构成右手坐标系。
[0048]图像坐标系I-XY:原点I位于图像的左上角点，X轴沿水平方向指向右，Y轴沿竖直 方向指向下。
[0049]像机坐标系0c-XcYcZc:原点0。位于像机光心，X。轴和Y c轴分别与图像坐标系的X轴 和Y轴平行，Z。轴沿像机光轴，与平面图像垂直。
[0050] 标识源坐标系0u-XuYuZu:原点0 U位于泊位参考点，Xu轴垂直于码头前沿线，与靠泊 方向一致，Zu垂直于码头地面向上，Y u通过右手坐标系确定。
[0051] 步骤102:根据步骤101关于图像坐标系I-XY和像机坐标系0。^。2。的定义，通过 像机标定获取图像主点(Cx，C y)、横向等效焦距Fx、纵向等效焦距Fy。
[0052] 其中，Cx、Cy、Fx和Fy均为正实数。
[0053] 步骤103:根据步骤101关于标识源坐标系0u-XuYuZu的定义，获得0 u-YuZu平面内各 f#KPi(i = l，2,3，...，n；^9*#(0yiZi)T。
[0054] 其中，η为标识个数，为正整数且不小于4;yi、Zl(i = l，2,3,. . .，n)为正实数。
[0055] 步骤104:测量船艏参考点与船艉参考点的距离L，以及像机安装位置与船艏参考 点的距离L。。
[0056] 其中，L和Lc均为正实数。
[0057]步骤105:获取像机对岸上标识成像时刻的像机航向角P与俯仰角δ。
[0058] 其中，Ρ表示像机光轴与北向的夹角，取值为0<P<2jt，当光轴与北向重合时为〇， 顺时针旋转逐渐增大;S表示像机光轴与水平面的夹角
[0059] 步骤106:对各个标识？1(1 = 1，2,3，...，1〇在图像中的像点坐标进行提取，记为 (X 夕.)'' (/二 1，2,3，·…
[0060]其中，足和J',均为正实数。
[0061 ] 步骤107:对位姿中间变量ei、e2、e3、Θ4、e 5、e6、Θ7、e8进行计算，分如下两种情况：
[0062] ( I)当标识源个数为4,即步骤103中的Π = 4时，61、62、63、64、65、66、67、68采用公式 (1) 进行计算：
[0064]
通过步骤103和步骤106确定。
[0065] (II)当标识源个数大于4,即步骤三中的Π>4时，61、62、63、64、65、66、67、68采用公式 (2) 进行计算：
[0067]
通过步骤103和步骤106确定，在后续计算中，只用到61、63、64、66、67这五个量。
[0068] 步骤108:计算标识源坐标系0u-XuYuZ u至像机坐标系0c-XcYcZc的平移向量[T x Ty Τζ]τ，计算公式如下：
[0072] 其中，ei、e3、e4、e6、e7由步骤106确定，0\4几$由步骤102确定。
[0073] 步骤109:计算船体坐标系0b-XbYbZ b和标识源坐标系0u-XuYuZu的欧拉角 (:(9，免) 7，.计算公式如下：
[0077] 其中，1~1、打、打、^5、『6通过以下公式确定：
[0084] 步骤110:计算离靠泊作业参数，包括入泊角β、船艏与岸线距离Lb、船艉与岸线距 离Ls、船艏相对于岸线的横向速度VB、船艉相对于岸线的横向速度Vs，计算公式如下：
[0085] β = φ (15)
[0086] Lb = Tx cosp+Ty sinpsin5+Tz sinpcos5-Lc sinP (16)
[0087] Ls = Lb+L sinP (17)
[0088] Vb = Lb (18)
[0089] Vs =LS (19)
[0090] 其中，L和Lc由步骤四确定，p和δ由步骤五确定，Tx、Ty、T z由步骤八确定，由步骤 109确定。
[0091] 步骤111:通过步骤101至步骤110完成第一次离靠泊作业参数计算后，判断是否结 束离靠泊作业（当船艏与岸线距离、船艉与岸线距离均为零时，结束离靠泊作业），如果否， 返回到步骤105进行后续时刻离靠泊作业参数计算;如果是，则结束计算。
[0092] 为了便于理解本发明实施例所述方法，以下将以一具体实例进行说明。
[0093] 如图2所示，图2为本实例中离靠泊作业场景的示意图，像机1安装在船的右舷，其 拍摄角度通过旋转云台调整，像机1每隔1秒对岸上标识进行一次成像，离靠泊作业参数的 更新频率为1Hz，船从静止状态开始实施右舷靠泊，初始时刻船艏参考点2与岸线距离为 16.2米，船艉参考点3与岸线距离为29.3米。
[0094] 基于图2所示场景，进行离靠泊作业的过程具体可以包括：
[0095] 步骤一、建立船体坐标系Ob-XbYbZb、图像坐标系I-XY、像机坐标系0c-X cYcZc和标识 源坐标系〇u-XuY uZu。各坐标系的定义如下：
[0096] 船体坐标系Ob-XbYbZb:原点0b位于船体质心，Xb轴指向船舶的右舷，Yb轴指向船艏， Zb轴垂直于甲板平面向上，与Xb轴和Yb轴构成右手坐标系。
[0097] 图像坐标系I-XY:原点I位于图像的左上角点，X轴沿水平方向指向右，Y轴沿竖直 方向指向下。
[0098]像机坐标系0c-XcYcZc:原点0。位于像机光心，X。轴和Y c轴分别与图像坐标系的X轴 和Y轴平行，Z。轴沿像机光轴，与平面图像垂直。
[0099] 标识源坐标系0u-XuYuZu:原点0 U位于泊位参考点，Xu轴垂直于码头前沿线，与靠泊 方向一致，Zu垂直于码头地面向上，Y u通过右手坐标系确定。
[0100] 步骤二、根据步骤一关于图像坐标系I-XY和像机坐标系0。^。2。的定义，通过像 机标定获取图像主点(Cx，Cy )、横向等效焦距Fx、纵向等效焦距Fy。
[0101] 其中，Cx、Cy、Fx和F y均为正实数。
[0102] 在本实施例中，Cx和Cy均为300像素，Fx和F y均为200像素。
[0103]步骤三、根据步骤一关于标识源坐标系0u-XuYuZ u的定义，获得0u-YuZu平面内各个 #KPi(i = l，2,3，...，n；^*#(0yiZi)T。
[0104] 其中，η为标识个数，为正整数且不小于4;yi、Zl(i = l，2,3,. . .，n)为正实数。
[0105] 在本实施例中，11 = 4;71 = 2米，21 = 1米;72 = 3米，22 = 6米;73 = 6米，23 = 5米;74 = 7 米，Z4=2米。
[0106] 步骤四、测量船艏参考点2与船艉参考点3的距离L，以及像机安装位置与船艏参考 点1的距离L。。
[0107] 其中，L和Lc均为正实数。
[0108] 在本实施例中，L=150米，Lc = 50米。
[0109] 步骤五、获取像机对岸上标识成像时刻的像机航向角P与俯仰角δ。
[0110] 其中，Ρ表示像机光轴与北向的夹角，取值为〇<p<2jt，当光轴与北向重合时为〇，
顺时针旋转逐渐增大;S表示像机光轴与水平面的夹角
[0111] 在本实施例中，Ρ = 85°，δ = 〇。
[0112] 步骤六、对各个标识. . .，η)在图像中的像点坐标进行提取，记为 ν?)/ (/ = 1,2,3,.·.,?)
[0113] 其中，馬和负均为正实数。
[0114] 在本实施例中，忑=2660像素，另=1480像素：^=2640像素，丸=1380像素： 与= 258〇像素，艿=14〇〇像素；i4=256〇像素，丸=1 46〇像素。
[0115] 步骤七、对位姿中间变量ei、e2、e3、e 4、e5、e6、e7、e8进行计算，分如下两种情况：
[0116] (I)当标识源个数为4，即步骤三中的η = 4时：
[0118]
通过步骤三和步骤六确定。
[0119] (II)当标识源个数大于4,即步骤三中的n>4时：
[0121]
通过步骤三S6和步骤六S9确定。
[0122] 在本实例中，采用（I)的方法进行计算，ei = -20、Θ2 = 0、Θ3 = 2700、Θ4 = 0、Θ5 = -20、 e6= 1500、e7 = 0、e8 = 0〇
[0123] 步骤八、计算标识源坐标系0u-XuYuZ u至像机坐标系0c-XcYcZc的平移向量[T x Ty Tz ]τ，计算公式如下：
[0127] 其中，ei、e3、e4、e6、e7由步骤六确定，(^、0丫、？\、？丫由步骤二确定。
[0128] 在本实例中，通过式(22)-式(24)计算得Tx=120米，Ty = 60米，Tz = 10米。
[0129] 步骤九、计算船体坐标系Ob-XbYbZb和标识源坐标系0u-XuY uZu的欧拉角（A r #，计 算公式如下：
[0130] Θ = sin_1[ (r6sin5+r2C0s5)cosp-r4sinp] (25)
[0140] 在本实施例中，通过式(25)-式(33)计算得θ = 〇, γ =0,供=5°。
[0141]步骤十、计算离靠泊作业参数，包括入泊角β、船艏与岸线距离Lb、船艉与岸线距离 Ls、船艏相对于岸线的横向速度VB、船艉相对于岸线的横向速度Vs，计算公式如下：
[0142] β = φ (3:4)
[0143] Lb = Tx cosp+Ty sinpsin5+Tz sinpcos5-Lc sinP (35)
[0144] Ls = LB+LsinP (36)
[0145] (37)
[0146] Vs =4 (3:8)
[0147] 其中，I^PLC由步骤四确定，p和δ由步骤五确定，Tx、T y、Tz由步骤八确定，口由步骤 九确定。
[0148] 在本实施例中，经式（34)-式（38)计算得β = 5°，Lb=16.06米，Ls = 29.14米，Vb = 0.14米/秒，Vs = 0.16米/秒。
[0149] 步骤十一、通过步骤一至步骤十完成第一次离靠泊作业参数计算后，判断是否结 束离靠泊作业，如果否，返回到步骤五进行后续时刻离靠泊作业参数计算;如果是，则结束 计算。
[0150] 综上所述，本发明实施例提供了一种基于机器视觉的离靠泊作业参数计算方法， 一是考虑了离靠泊作业参数与像机航向角及俯仰角的耦合关系，允许离靠泊作业过程中手 动或自动调整像机角度，保证岸上标识能够在有限的像机视场范围内成像，放宽了对像机 视场、船岸位姿关系的约束，提高了离靠泊参数解算精度;二是给出了基于四个及四个以上 共面标识源的离靠泊作业参数计算方法，计算过程简单，运算量小，减小了实时运算对计算 机资源的要求。
[0151] 本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计 算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所 述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
[0152] 虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求 所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本申请的范 围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通 技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实 施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、 手段、方法或者步骤。因此，所附的权利要求旨在它们的范围内包括这样的过程、设备、手 段、方法或者步骤。
[0153] 以上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换， 都应涵盖在本发明的保护范围之内。
【主权项】
1. 一种基于机器视觉的离靠泊作业参数计算方法，其特征在于，包括： 预先建立船体坐标系Ob-XbYbZb、图像坐标系I-XY、像机坐标系Oe-XeYeZ。和标识源坐标系 0u~XuYuZu ； 测量船腊参考点与船艇参考点的距离L，W及像机安装位置与船腊参考点的距离Lc; 获取像机对岸上标识成像时刻的像机航向角P与俯仰角δ; 计算标识源坐标系Ou-XuYuZu至像机坐标系Oc-XcYcZc的平移向量[Τχ Ty Τζ ]Τ; 计算船体坐标系Ob-XbYbZb和标识源坐标系Ou-XuYuZu的欧拉角(0 r ; 根据上述参数计算离靠泊作业参数，判断是否结束离靠泊作业，如果否，重新获取像机 对岸上标识成像时刻的像机航向角P与俯仰角δ，再次进行离靠泊作业参数计算，直到离靠 泊作业结束;如果是，则结束计算。2. 根据权利要求1所述的方法，其特征在于，所述离靠泊作业参数包括： 入泊角0、船腊与岸线距离Lb、船艇与岸线距离Ls、船腊相对于岸线的横向速度Vb、船艇 相对于岸线的横向速度Vs。3. 根据权利要求2所述的方法，其特征在于，根据如下公式计算离靠泊作业参数： β =取 LB = TxC〇sp+Tysinpsin5+Tzsinpcos5-Lcsi 址 Ls = LB+Lsi 址 !'ν = 4-。4. 根据权利要求1所述的方法，其特征在于，计算标识源坐标系Ou-XuYuZu至像机坐标系 Oc-XcYcZc的平移向量化Ty Τζ]τ的过程具体包括： 根据图像坐标系Ι-ΧΥ和像机坐标系Oc-XcYcZc的定义，通过像机标定获取图像主点（Cx， Cy)、横向等效焦距Fx、纵向等效焦距Fy; 计算位姿中间变量ei、Θ3、64、es、Θ7; 根据图像主点（Cx，Cy)、横向等效焦距Fx、纵向等效焦距FyW及位姿中间变量，计算计算 标识源坐标系Ou-XuYuZu至像机坐标系Oc-XcYcZc的平移向量[Τχ Ty Τζ]τ。5. 根据权利要求1所述的方法，其特征在于，计算船体坐标系化-XbYbZb和标识源坐标系 Ou-XuYuZu的欧拉角(巧/分的过程具体包括：其中，1'1心、0心、1'日、1'述过从下公式确定： η = θ7Τζ r2 = esTz
【文档编号】G06Q50/30GK106097235SQ201610424345
【公开日】2016年11月9日
【申请日】2016年6月15日 公开号201610424345.9, CN 106097235 A, CN 106097235A, CN 201610424345, CN-A-106097235, CN106097235 A, CN106097235A, CN201610424345, CN201610424345.9
【发明人】王清哲, 赵甲文, 王宇, 王玉玺, 白晓勇
【申请人】中国船舶工业系统工程研究院