相对位置测量装置、相对位置测量方法、以及相对位置测量程序与流程

1.本发明涉及对对象点的三维相对位置进行测量的技术。


背景技术：

2.在专利文献1中，记载了使用路面区域的部分图像来推定相对移动量的内容。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2014-194361号公报。


技术实现要素：

6.发明要解决的问题
7.然而，无法通过简单的结构高精度地测量针对指定的对象点的三维位置。
8.因此，本发明的目的在于，通过简单的结构，高精度地测量针对指定的对象点的三维位置。
9.用于解决问题的手段
10.相对位置测量装置具备：传感器、以及运算部。传感器具备：测距部，测量以传感器的位置为基准的测量点的三维相对位置。运算部根据测量点的三维相对位置，确定图像内的指定的对象点的以传感器位置为基准的三维相对位置。
11.在该结构中，通过单眼摄像头、测距部、以及运算部的结构，来确定对象点的三维坐标。
12.发明效果
13.根据本发明，能够通过简单的结构来高精度地测量针对指定的对象点的三维位置。
附图说明
14.图1是表示第一实施方式的相对位置测量装置的结构的功能框图。
15.图2是表示第一实施方式的相对位置测量方法的流程图。
16.图3(a)是表示相对位置测量方法中的确定三维相对位置的概略处理的流程图，图3(b)是表示相对位置测量方法中的候补点的提取方法的流程图。
17.图4是表示第二实施方式的相对位置测量方法的流程图。
18.图5(a)是表示岸壁线、靠岸原点、平行距离以及垂直距离的概念的图，图5(b)是表示单眼摄像头的图像数据的一例的图。
19.图6是表示第三实施方式的相对位置测量装置的结构的功能框图。
20.图7是表示第三实施方式的相对位置测量方法的流程图。
21.图8是表示岸壁线的确定流程的流程图。
22.图9是表示靠岸原点的确定流程的流程图。
23.图10是表示第四实施方式的相对位置测量装置的结构的功能框图。
24.图11是表示第四实施方式的相对位置测量方法的流程图。
25.图12是表示第五实施方式的相对位置测量技术的概念的图。
26.图13是表示第五实施方式的相对位置测量方法的流程图。
27.图14是表示第六实施方式的相对位置测量技术的概念的图。
28.图15是表示第六实施方式的相对位置测量装置的结构的功能框图。
29.图16是表示第六实施方式的相对位置测量方法的流程图。
30.图17是表示第七实施方式的测量相对于预测位置的相对位置的概念的图。
31.图18是表示第七实施方式的相对位置测量装置的结构的功能框图。
32.图19是表示第七实施方式的相对位置测量方法的流程图。
具体实施方式
33.(第一实施方式)
34.参照附图对第一实施方式的相对位置测量装置、相对位置测量方法、以及相对位置测量程序进行说明。图1是表示第一实施方式的相对位置测量装置的结构的功能框图。
35.如图1所示，相对位置测量装置10具备：传感器102、对象点指定部 40、以及运算部50。传感器102具备：单眼摄像头20以及测距部30。相对位置测量装置10例如被安装于船舶等的移动体。此外，并不限于移动体，在想要测量与对象点的相对位置的情况下，能够应用本技术发明的结构、方法以及程序。以下，作为相对位置测量装置10的安装对象，以船舶为例进行说明。
36.传感器102被安装于船舶。传感器102中的单眼摄像头20与测距部30 之间的位置关系是已知的。运算部50预先存储单眼摄像头20与测距部30 之间的位置关系。此外，单眼摄像头20和测距部30可以配置于构成传感器 102的一个壳体内，也可以具有单独的壳体。
37.单眼摄像头20从安装有相对位置测量装置10的船舶拍摄规定的方位角范围以及仰角范围，并生成图像数据。单眼摄像头20可以生成至少一个时刻的图像数据，但也可以生成多个时刻的图像数据。单眼摄像头20将图像数据输出到运算部50。
38.测距部30例如通过lidar来实现。测距部30从安装有相对位置测量装置10的船舶，对规定的方位角范围以及仰角范围即测距范围进行三维测距，并生成测距数据。具体而言，测距部30针对测距范围内的一个或多个测量点，检测以测距部30(传感器102)的位置为基准的距离测量点的距离、测量点的方位角、以及测量点的仰角。测量点也可以是利用已知的方法提取出的特征点，例如根据与其他部分的反射光的强度的差等提取出的特征点。
39.测距部30针对每个特征点生成测距数据。测距数据包括：从传感器102 的位置到测量点的距离(测量点距离)、以传感器102的位置为基准的测量点的方位角(测量点方位角)、以及以传感器102的位置为基准的测量点的仰角(测量点仰角)。测距部30将测距数据输出至运算部50。
40.此外，测距部30并不限于lidar，只要能够获得三维的测距数据(以传感器102为基准的测量点的三维相对位置)即可。
41.另外，优选的是，图像数据的拍摄定时与测距数据的测距定时(发送测距光等的测
距信号的定时)在时间上完全同步。然而，只要是在后述的运算部50中配对没有问题的范围内，也可以存在时刻差。
42.对象点指定部40通过来自用户的操作输入或者基于ai等的自动输入，接受图像上的对象点的指定。
43.例如，在接受来自用户的操作输入的情况下，由单眼摄像头20拍摄到的图像被显示于显示器。显示器例如具备触摸面板等。用户通过使用触摸面板来触摸显示画面，从而接受对象点的指定。另外，例如，在接受基于ai 的自动输入的情况下，向对象点指定部40输入图像数据。对象点指定部40 在图像数据上，根据过去的用户的操作的历史、趋势等，推定可能被指定为对象点的位置，并将该推定位置指定为对象点。此外，对象点的指定方法不限于此，能够采用各种方法。
44.对象点指定部40将指定的对象点的图像数据上的位置坐标(例如，指定的像素的位置坐标)作为指定信息输出至运算部50。
45.运算部50例如通过存储相对位置测量方法的程序(相对位置测量程序) 的存储介质和执行该程序的cpu等的运算处理装置来实现。此外，运算部 50也能够通过装入有程序的ic等来实现。
46.运算部50根据指定信息和图像数据，检测以传感器102的位置(与本实施方式的“己方船舶位置”对应)为基准的对象点的方位角(对象点方位角)、以及以传感器102的位置为基准的对象点的仰角(对象点仰角)。运算部50使用检测出的对象点方位角以及对象点仰角、测距数据，来计算从传感器102的位置到对象点的距离(对象点距离)。
47.运算部50预先存储图像数据的方位角与测距数据的方位角的关系，图像数据的仰角与测距数据的仰角的关系。图像数据与测距数据的方位角以及仰角的关系能根据传感器102中的单眼摄像头20的拍摄区域与测距部30的测距区域的关系而容易地得到。
48.运算部50利用该关系，使用对象点方位角与测距数据的测量点方位角的比较结果、以及对象点仰角与测距数据的测量点仰角的比较结果，来提取最适合于对象点的测量点(最大似然点)。此外，该最大似然点的提取处理的进一步具体的处理的示例将在后面描述。
49.运算部50将最大似然点的距离(测量点距离)、方位角(测量点方位角)、以及仰角(测量点仰角)确定为对象点的三维坐标。由此，运算部50 能够高精度地测量对象点的三维坐标，即对象点的三维相对位置。
50.这样，通过具备本实施方式的结构，相对位置测量装置10能够通过简单的结构高精度地测量到用户等指定的对象点的三维坐标(三维相对位置)。
51.(相对位置测量方法)
52.上述说明中的各处理能够通过执行以下所示的相对位置测量方法的流程图来实现。图2是表示第一实施方式的相对位置测量方法的流程图。此外，在各处理的具体内容中，在以下省略说明上述的内容。
53.单眼摄像头20进行拍摄，并生成图像数据(s11)。另外，测距部30 进行测距，并生成测距数据(s12)。另外，由对象点指定部40来指定对象点(s13)。
54.运算部50根据图像数据检测指定的对象点方位角和对象点仰角(s14)。运算部50使用对象点方位角和对象点仰角，根据测距数据(测量点距离、测量点方位角、以及测量点
仰角)，检测到对象点为止的距离(对象点距离) (s15)。运算部50使用该检测出的距离、方位角以及仰角，确定从传感器 102到对象点的三维相对位置(s16)。
55.例如能够通过执行以下所示的处理来实现根据多个测量点确定最大似然点作为对象点的处理，并将该处理作为与图2的步骤s15对应的处理。图 3(a)是表示相对位置测量方法中的确定三维相对位置的概略处理的流程图，图3(b)是表示相对位置测量方法中的候补点的提取方法的流程图。
56.如图3(a)所示，运算部50从多个测量点中提取候补点(s51)。运算部50例如使用图3(b)所示的方法来提取候补点。运算部50对测距数据的各个测量点执行以下的处理。如果测量点的反射系数为阈值以上(s511：是)，距离在适当范围内(s512：是)，相对于对象点方位角的方位角差在适当范围内(s513：是)，且相对于对象点仰角的仰角差在适当范围内(s514：是)，则运算部50提取该测量点作为候补点。
57.另一方面，在测量点的反射系数小于阈值(s511：否)，或者距离在适当范围以外(s512：否)，或者方位角差在适当范围以外(s513：否)，或者仰角差在适当范围内(s514：否)，则运算部50不提取该特征点作为候补点。
58.其中，反射系数是指，测距光的接收波强度相对于发送波强度的比。距离的适当范围是指，考虑测距时产生的误差等，测距部30能够以规定的精度提取特征点的距离的范围。方位角差是指，指定的对象点的图像数据上的方位角(对象点方位角)与测量点的位角(测量点方位角)之差。仰角差是指，指定的对象点的图像数据上的仰角(对象点仰角)与测量点的仰角(测量点仰角)之差。
59.通过使用这种方法，运算部50能够高精度地提取候补点。
60.运算部50从候补点中确定最大似然点(s52)。例如，如果候补点是一个点，则运算部50将该候补点设为最大似然点。另外，如果候补点是多个点，则运算部50确定最大似然点的选择条件，从多个候补点中确定最大似然点。最大似然点的选择条件能够根据对象点的特性来适当地设定。例如，在对象点为固体(后述的岸壁等)的一个点且在其附近为液体(后述的海(水面)等)的情况下，能够根据固体与液体之间的测距数据的差，即使在固体中也能够根据基于位置关系的测距数据的差等，来设定选择条件。
61.通过使用这种方法，运算部50能够以较高的准确度来确定最大似然点。
62.此外，运算部50在候补点的提取中，通过至少使用方位角差和仰角差，从而能够以规定的精度来提取候补点。然后，通过进行该处理，能够实现规定的精度，并且能够降低候补点的提取处理的不可运算性。
63.另外，运算部50例如可以仅使用方位角的比较结果(方位角差)或者仅使用仰角的比较结果(仰角差)来提取最大似然点。然而，通过使用方位角的比较结果(方位角差)以及仰角的比较结果(仰角差)，可提高最大似然点的准确度。
64.另外，运算部50可以使用基于反射系数的选择、基于距离的选择中的至少一项。
65.即，运算部50能够考虑精度、处理负荷，适当地使用上述的各个条件，来提取候补点。
66.(第二实施方式)
67.参照附图对第二实施方式的相对位置测量装置、相对位置测量方法、以及相对位置测量程序进行说明。图4是表示第二实施方式的相对位置测量方法的流程图。
68.第二实施方式的相对位置测量装置的结构与第一实施方式的相对位置测量装置的结构相同，因此省略结构的说明。然后，第二实施方式的相对位置测量方法与第一实施方式的相对位置测量方法的不同点在于，指定靠岸原点作为对象点。因此，以下，仅对相对位置测量方法进行说明。
69.靠岸原点是指，船舶靠岸的岸壁中的基准点，可以是n字旗等的位置、用户指定的位置、在靠岸时船舶的规定位置最接近岸壁的位置等。
70.如图4所示，单眼摄像头20对包含具有靠岸原点的岸壁的区域进行拍摄，并生成图像数据(s21)。另外，测距部30进行测距，生成包含具有靠岸原点的岸壁的区域的测距数据(s22)。另外，由对象点指定部40指定靠岸原点作为对象点(s23)。
71.运算部50从图像数据中检测指定的靠岸原点的方位角(对象点方位角) 和仰角(对象点仰角)(s24)。如上述的第一实施方式所示，运算部50使用方位角(对象点方位角)和仰角(对象点仰角)，从测距数据(测量点距离、测量点方位角以及测量点仰角)中检测到靠岸原点为止的距离(s25)。运算部50使用该检测出的距离、方位角以及仰角，确定从具备传感器102 的船舶到靠岸原点的三维相对位置(s26)。
72.通过使用这种处理，相对位置测量装置能够高精度地测量到靠岸原点为止的三维相对位置。然后，这样，通过高精度地获得到靠岸原点为止的相对位置，用户(操舵者等)能够安全且可靠地将船舶停靠在岸壁的规定位置。
73.(第三实施方式)
74.参照附图对第三实施方式的相对位置测量装置、相对位置测量方法、以及相对位置测量程序进行说明。图5(a)是表示岸壁线、靠岸原点、平行距离以及垂直距离的概念的图，图5(b)是表示单眼摄像头的图像数据的一例的图。图6是表示第三实施方式的相对位置测量装置的结构的功能框图。
75.如图5(a)、图5(b)所示，岸壁线910例如是形成面向海99的岸壁 90中的岸壁面900的上端的线，其是水平的线。岸壁线910是连结起点911 与终点912的线段。岸壁线910例如由起点911的三维坐标、终点912的三维坐标、以及连结起点911与终点912的线段的长度、延伸的方向，即矢量来表示。
76.如上所述，靠岸原点91是船舶所停靠的岸壁中的基准点，大致存在于岸壁线910上。
77.如图5(a)所示，第三实施方式的相对位置测量装置10a计算垂直距离lv和平行距离lp作为相对位置。垂直距离lv是海99上(海上)的船舶 100与岸壁线910之间的距离。更详细而言，垂直距离lv例如是船舶100 的船桥101中的传感器102与岸壁线910之间的距离。平行距离lp是从传感器102下垂至岸壁线910的垂线与岸壁线910的交点(构成垂直距离lv 的点)与靠岸原点91的距离。此外，最短距离lt是传感器102与靠岸原点 91的距离。
78.如图6所示，第三实施方式的相对位置测量装置10a与第一、第二实施方式的相对位置测量装置10在运算部50a的结构上不同。相对位置测量装置10a的其他结构与相对位置测量装置10相同，因此省略相同部分的说明。
79.运算部50a具备：岸壁线确定部51、靠岸原点确定部52、以及相对位置计算部53。
80.对象点指定部40从用户或ai等接受用于确定岸壁线910的多个对象点的指定。另外，对象点指定部40从用户或ai等接受靠岸原点91的指定。此外，如后所述，在用于确定岸
壁线910的多个对象点中可以使用用于靠岸原点91的对象点。
81.岸壁线确定部51根据由对象点指定部40指定的多个对象点来确定岸壁线910。例如，如上所述，岸壁线确定部51针对指定的多个对象点，分别确定最大似然点。岸壁线确定部51参照仰角等，从多个最大似然点内提取水平排列的至少两点。然后，岸壁线确定部51将连结这些点中的至少两点的线段设为岸壁线910。此时，岸壁线910的两端的两点成为上述的起点911 以及终点912。例如，在岸壁线910的数据中包括包含起点911以及终点912 的岸壁线910上的多个测量点的三维坐标(距离、方位角、仰角)。
82.此外，岸壁线确定部51也可以在图像数据的时间点检测在水平方向上排列的两点，然后确定各个点的最大似然点。
83.靠岸原点确定部52根据由对象点指定部40指定的对象点来确定靠岸原点91。例如，靠岸原点确定部52针对指定的对象点，以上述那样的方式确定最大似然点。然后，靠岸原点确定部52将最大似然点的坐标作为靠岸原点91的坐标。
84.相对位置计算部53使用岸壁线910和靠岸原点91，来计算垂直距离lv 以及平行距离lp。相对位置计算部53提取位于岸壁线910上的多个测量点中的距离最短的测量点作为垂线相对于岸壁线910的交点，从而将到该交点的距离作为垂直距离lv。相对位置计算部53将相对于该测量点的距离设为垂直距离lv。然后，相对位置计算部53使用该垂线的交点的测量点的三维坐标、靠岸原点91的三维坐标以及已知的几何学的距离的计算，来计算该垂线的交点的测量点与靠岸原点91之间的距离。相对位置计算部53将该距离设为平行距离lp。
85.通过使用这样的结构以及处理，相对位置测量装置10a能够容易且高精度地测量从船舶100到包括靠岸原点91的岸壁90为止的垂直距离lv以及与岸壁线910平行的平行距离lp。由此，用户能够掌握距离岸壁90有多近，或者沿着岸壁90航行多远。
86.(相对位置测量方法)
87.上述的说明中的各处理能够通过执行以下所示的相对位置测量方法的流程图来实现。图7是表示第三实施方式的相对位置测量方法的流程图。此外，在各处理的具体内容中，在以下省略上述的内容的说明。
88.单眼摄像头20对包括具有靠岸原点的岸壁的区域进行拍摄，并生成图像数据(s21)。另外，测距部30进行测距，并生成包括具有靠岸原点的岸壁的区域的测距数据(s22)。另外，由对象点指定部40指定针对岸壁的对象点(s23)。针对岸壁的对象点可以是包括靠岸原点的情况，也可以是不包括靠岸原点的情况。
89.运算部50从图像数据中检测指定的多个对象点的方位角(对象点方位角)和仰角(对象点仰角)(s24)。运算部50使用对象点方位角和对象点仰角，从测距数据(测量点距离、测量点方位角、测量点仰角)中检测到多个对象点中的各个对象点的距离(s25)。运算部50使用该检测出的距离、方位角、以及仰角，确定从具备传感器102的船舶到多个对象点的三维相对位置(s26)。
90.运算部50检测是否获得了可确定岸壁线910的个数的对象点。如果运算部50没有获得可确定岸壁线910的个数的对象点(s27：否)，则返回到对象点的指定(s23)。
91.如果运算部50获得了可设定岸壁线910的个数的对象点(s207：是)，则确定岸壁线910(s28)。
92.如果在对象点中包含靠岸原点91(s29：是)，则运算部50使用岸壁线 910和靠岸原点91，计算距离以岸壁线910为基准的靠岸原点91的平行距离lp和垂直距离lv(s30)。
93.如果在对象点中不包含靠岸原点91(s29：否)，则运算部50确定靠岸原点91(s31)，计算平行距离lp和垂直距离lv(s30)。
94.此外，岸壁线910的确定例如通过以下所示的处理来实现。图8是表示岸壁线的确定流程的流程图。
95.如果运算部50无法检测到岸壁线910的起点911或者终点912中的任一个(s61：是)，则检测靠岸原点91。如果运算部50能够检测到靠岸原点 91(s62：是)，则使用能够检测到起点911或者终点912的点和靠岸原点 91，来确定岸壁线910(s63)。
96.如果运算部50能够检测到起点911以及终点912(s61：否)，则使用起点911以及终点912，来确定岸壁线910(s64)。
97.此外，如果运算部50无法检测到起点911或者终点912中的任一个(s61：是)且无法检测到靠岸原点91(s62：否)，则发出警报(s65)。
98.另外，靠岸原点91的确定例如通过以下所示的处理来实现。图9是表示靠岸原点的确定流程的流程图。
99.如果运算部50不能从特征点中检测到靠岸原点91(s71：是)，则检测岸壁线910。运算部50如果能够检测到岸壁线910(s72：是)，则判定是否能够推定靠岸原点91的指定方向(例如，方位角)。如果运算部50能够检测到靠岸原点91的指定方向(s73：是)，则根据岸壁线910和指定方向来推定靠岸原点91(s74)。例如，如果运算部50知道指定方向，则设定与指定方向平行的假想直线，并将假想直线与岸壁线910的交点推定为靠岸原点91。另外，例如，如果运算部50知道船舶100的行进方向，则设定与行进方向平行的假想直线，并将假想直线与岸壁线910的交点推定为靠岸原点 91。
100.如果运算部50能够从测量点中检测到靠岸原点91(s71：否)，则将该测量点确定为靠岸原点91。
101.此外，如果运算部50不能从测量点中检测到靠岸原点91(s71：是)、不能检测到岸壁线910(s72：否)、或者不能确定靠岸原点91的指定方向(s73：否)，则发出警报(s75)。
102.(第四实施方式)
103.参照附图对第四实施方式的相对位置测量装置、相对位置测量方法、以及相对位置测量程序进行说明。图10是表示第四实施方式的相对位置测量装置的结构的功能框图。
104.如图10所示，相对位置测量装置10b具备：传感器102b、对象点指定部40、以及运算部50b。总而言之，由相对位置测量装置10b执行的三维相对位置的基本测量处理与上述的实施方式的相对位置测量装置10a相同，而不同的点在于通过世界坐标系来测量(计算)相对位置。世界坐标系是指，固定于实际空间的坐标系，也被称为世界坐标系(world coordinate)、全局坐标系(global coordinate)。因此，以下，仅对与上述实施方式不同的部分进行具体说明。
105.传感器102b具备：单眼摄像头20、测距部30、以及位置/姿态测量部 60。即，传感器102b相对于上述的传感器102，具有追加了位置/姿态测量部60的结构。运算部50b具备：岸壁线确定部51b、靠岸原点确定部52b、相对位置计算部53b、以及变换矩阵计算部54b。
106.位置/姿态测量部60例如通过接收定位信号的多个定位天线、即捕捉并追踪接收
到的定位信号并检测码相位或载波相位的接收部、以及根据码相位或载波相位计算位置或姿态角(attitude angle)的位置/姿态计算部来实现。此外，位置/姿态测量部60也可以通过定位天线与惯性传感器(inertial sensor) 的组合来实现。位置/姿态测量部60测量船舶的三维的位置/姿态角。此时，位置/姿态测量部60在世界坐标系(绝对坐标系(absolute coordinate))中测量船舶的三维的位置/姿态角。位置/姿态测量部60将位置/姿态角输出至运算部50b的变换矩阵计算部54b。
107.变换矩阵计算部54b根据来自位置/姿态测量部60的位置/姿态角的变化与单眼摄像头20的图像中的特定点的位置/姿态角的变化的偏差，来计算单眼摄像头20以及测距部30的坐标系与世界坐标系的坐标变换矩阵。变换矩阵计算部54b将坐标变换矩阵提供给岸壁线确定部51b、靠岸原点确定部 52b、以及相对位置计算部53b。
108.岸壁线确定部51b基本上进行与上述的岸壁线确定部51同样的处理，但是通过使用坐标变换矩阵，可以在世界坐标系中确定岸壁线910。
109.靠岸原点确定部52b基本上进行与上述的靠岸原点确定部52同样的处理，但是通过使用坐标变换矩阵，可以在世界坐标系中确定靠岸原点。
110.相对位置计算部53b基本上进行与上述的相对位置计算部53同样的处理，但是通过使用坐标变换矩阵，可以在世界坐标系中计算相对位置。此时，相对位置计算部53b可以将靠岸原点91的坐标设定为世界坐标系的原点。
111.通过这种结构，即使船舶移动，岸壁线910以及靠岸原点91的坐标也不会变化。因此，相对位置测量装置10b不受由于随着船舶的移动而重新指定靠岸原点91、岸壁线910所引起的误差的影响。由此，相对位置测量装置 10b进一步高精度地测量相对位置。
112.(相对位置测量方法)
113.上述说明中的各处理能够通过执行以下所示的相对位置测量方法的流程图来实现。图11是表示第四实施方式的相对位置测量方法的流程图。此外，在各处理的具体内容中，以下省略上述的内容以及根据上述的内容而容易理解的内容的说明。
114.运算部50b确定对象点的相对位置(s41)。运算部50b确定岸壁线910 (s42)。运算部50b确定靠岸原点91(s43)。
115.运算部50b从位置/姿态测量部60中获取船舶的位置以及姿态角(s44)。运算部50b使用船舶的位置以及姿态角的变化和图像数据的特定点(例如对象点)的变化，来计算世界坐标系与单眼摄像头20以及测距部30的坐标系的坐标变换矩阵(s45)。
116.运算部50b通过使用坐标变换矩阵，可以在世界坐标系中计算平行距离 lp和垂直距离lv(s46)。
117.(第五实施方式)
118.参照附图对第五实施方式的相对位置测量装置、相对位置测量方法、以及相对位置测量程序进行说明。图12是表示第五实施方式的相对位置测量技术的概念的图。第五实施方式的相对位置测量装置的基本结构与上述的第四实施方式的相对位置测量装置相同，因此省略相同部分的说明。
119.如图12所示，第五实施方式的相对位置测量装置测量船舶100上的特定位置例如距离岸壁线910的最短位置(在图12的情况下，船尾的右舷端110)与靠岸原点91的三维相对位置。
120.运算部50b例如在船体坐标系中存储传感器102b与船舶100的各位置 (例如，与船舶100的外缘对应的多个位置)之间的位置关系。
121.运算部50b基于来自位置/姿态测量部60的姿态角，来计算船体坐标系与世界坐标系的坐标变换矩阵。然后，运算部50b计算船舶100的规定位置，例如在这里是计算在世界坐标系中的船尾的右舷端110的位置坐标。然后，在此，船尾的右舷端110的位置与本实施方式中的“己方船舶位置”相对应。
122.运算部50b的相对位置计算部53b在世界坐标系中，使用船尾的右舷端 110的位置坐标、岸壁线910的坐标、以及靠岸原点91的位置坐标，来计算船舶100与岸壁线910的最短垂直距离lva和平行距离lpa。最短垂直距离 lva是从船尾的右舷端110下垂至岸壁线910的垂线和岸壁线910的交点与船尾的右舷端110之间的距离。平行距离lpa是该垂线的交点与靠岸原点91 之间的距离。
123.此外，在此，以船尾的右舷端110为例进行了说明，但如果像上述那样预先存储了与船舶100的外缘对应的多个位置的坐标，则运算部50b能够根据岸壁线910的坐标和各位置的坐标，检测出测量时间点的船舶100内的最接近岸壁线910的位置。然后，运算部50b能够使用该最接近的位置(与本实施方式中的“己方船舶位置”相对应)、岸壁线910以及靠岸原点91，来计算最短垂直距离lva和平行距离lpa。
124.(相对位置测量方法)
125.上述说明中的各处理能够通过执行以下所示的相对位置测量方法的流程图来实现。图13是表示第五实施方式的相对位置测量方法的流程图。此外，在各处理的具体内容中，在以下省略上述的内容以及根据上述的内容而容易理解的内容的说明。另外，从步骤s41到步骤s44与上述的流程图相同，因此省略说明。
126.运算部50b通过使用船舶的位置以及姿态角的变化和图像数据的特定点的变化来计算世界坐标系与单眼摄像头20以及测距部30的坐标系的坐标变换矩阵，并且通过使用姿态角来计算船体坐标系与世界坐标系的坐标变换矩阵(s450)。
127.运算部50b获取传感器102b的位置与船舶的规定点(例如，距离岸壁线910的最短点(与“己方船舶位置”对应))之间的位置关系(s470)。
128.运算部50b通过使用上述的两个坐标变换矩阵，在世界坐标系中计算与规定点以及靠岸原点的平行距离和垂直距离(例如，平行距离lpa和最短垂直距离lva)(s460)。
129.通过使用这种结构以及处理，相对位置测量装置能够更高精度地测量船舶100中的规定点与岸壁90的距离，例如，船舶100中的最接近岸壁90的位置与岸壁90的距离。
130.(第六实施方式)
131.参照附图对第六实施方式的相对位置测量装置、相对位置测量方法、以及相对位置测量程序进行说明。图14是表示第六实施方式的相对位置测量技术的概念的图。图15是表示第六实施方式的相对位置测量装置的结构的功能框图。第六实施方式的相对位置测量装置的基本结构与上述的第五实施方式的相对位置测量装置相同，因此省略相同部分的说明。
132.如图14所示，第六实施方式的相对位置测量装置以与第五实施方式的相对位置测量装置同样的方式，测量船舶100中的规定点(与“己方船舶位置”对应)例如距离岸壁线910的最短位置(在图14的情况下，船尾的右舷端110和船首120)以及与靠岸原点91的三维相对
位置。
133.如图15所示，相对位置测量装置10c与相对位置测量装置10b的不同点在于，具备运算部50c、定位信号接收部600。相对位置测量装置10c的其他结构与相对位置测量装置10b相同，因此省略相同部分的说明。此外，岸壁线确定部51c与岸壁线确定部51b相同，靠岸原点确定部52c与靠岸原点确定部52a相同。
134.定位信号接收部600安装于船舶100的船首120。定位信号接收部600 通过接收定位信号的天线、以及捕捉并追踪定位信号且检测码相位或载波相位的接收部来实现。定位信号接收部600将码相位以及载波相位输出至相对位置计算部53c。
135.如上所述，变换矩阵计算部54c计算世界坐标系与单眼摄像头20以及测距部30的坐标系的坐标变换矩阵(第一坐标变换矩阵)、以及船体坐标系与世界坐标系的坐标变换矩阵(第二坐标变换矩阵)。变换矩阵计算部54c 将第一坐标变换矩阵提供给岸壁线确定部51c以及靠岸原点确定部52c。变换矩阵计算部54c将第一坐标变换矩阵和第二坐标变换矩阵输出至相对位置计算部53c。
136.另外，从位置/姿态测量部60向相对位置计算部53c输入码相位和载波相位。
137.相对位置计算部53c例如根据来自位置/姿态测量部60的载波相位的累计值、来自定位信号接收部600的载波相位的累计值的差、以及根据各码相位而计算出的单独定位结果，来计算传感器102b与定位信号接收部600的位置关系。换言之，相对位置计算部53c计算传感器102b与船首120的位置关系。此时，通过使用载波相位累计值的差，相对位置计算部53c能够高精度地计算该位置关系。因此，例如，即使船舶100较长，船桥101与船首 120之间的距离较长，相对位置计算部53c也能够高精度计算传感器102b 与船首120的位置关系。
138.然后，相对位置计算部53c使用传感器102b的位置坐标、传感器102b 与船首120的位置关系、岸壁线910的坐标、以及靠岸原点91的位置坐标，来计算船首120与岸壁线910的垂直距离lvb以及平行距离lpb。
139.垂直距离lvb是从船首120(严格来说是定位信号接收部600)下垂至岸壁线910的垂线和岸壁线910的交点与船首120(严格来说是定位信号接收部600)之间的距离。平行距离lpa是该垂线的交点与靠岸原点91之间的距离。
140.此时，相对位置计算部53c能够使用两个变换矩阵，在世界坐标系中高精度地计算垂直距离lvb和平行距离lpb。然后，如上所述，由于能高精度地计算传感器102b与船首120的位置关系，因此相对位置计算部53c能够更高精度地计算垂直距离lvb以及平行距离lpb。
141.(相对位置测量方法)
142.上述说明中的各处理能够通过执行以下所示的相对位置测量方法的流程图来实现。图16是表示第六实施方式的相对位置测量方法的流程图。此外，在各处理的具体内容中，在以下省略上述的内容以及根据上述的内容而容易理解的内容的说明。另外，从步骤s41到步骤s450与上述的流程图相同，因此省略说明。
143.配置于船舶100中的规定点的定位信号接收部600测量载波相位 (s480)。
144.运算部50c从传感器102b的位置/姿态测量部60以及定位信号接收部 600中获取载波相位。运算部50c使用载波相位来计算传感器102b的位置与船舶中的测量对象点(例如，距离岸壁线910的最短点)的位置关系(s471)。
145.运算部50b通过使用上述的两个坐标变换矩阵，在世界坐标系中计算测量对象点
与靠岸原点的平行距离以及垂直距离(例如，平行距离lpb与垂直距离lvb)(s460)。
146.通过使用这种结构以及处理，相对位置测量装置10c能够更高精度地测量船舶100中的规定点与岸壁90的距离，例如，船舶100中的船首120与岸壁90的距离。此时，通过使用载波相位，能高精度地计算传感器102b的位置与规定点的位置关系。因此，即使规定点远离传感器102b，相对位置测量装置10c也能够高精度计算规定点与岸壁90的距离。
147.(第七实施方式)
148.参照附图对第七实施方式的相对位置测量装置、相对位置测量方法、以及相对位置测量程序进行说明。图17是表示第七实施方式的测量相对于预测位置的相对位置的概念的图。图18是表示第七实施方式的相对位置测量装置的结构的功能框图。
149.如图17所示，第七实施方式的相对位置测量技术(装置、方法、以及程序)与上述的各实施方式不同点在于，测量与规定时间之后或规定时间之前的己方船舶的预测位置的对象点的相对位置。以下，对与第三实施方式的相对位置测量技术不同的点进行说明，省略相同部分的说明。
150.第七实施方式的相对位置测量装置10d预测船舶100在从当前时刻偏移了规定时间之后的时刻的位置。例如，相对位置测量装置10d具有像上述的位置/姿态测量部60那样的能够计算船舶100的速度、加速度、角速度等的功能部。该功能部可以是使用gnss的定位信号的功能部，也可以是惯性传感器。相对位置测量装置10d使用由该功能部测量出的船舶100的速度、加速度、角速度等，预测船舶100在从当前时刻偏移了规定时间之后的预测时刻的位置。此外，时间的偏移方向可以是过去也可以是将来的。
151.相对位置测量装置10d根据当前位置(在当前时刻的位置)的位置坐标和预测位置的位置坐标，来计算当前位置与预测位置的相对位置，即，当前位置与预测位置之间的平行距离lp1和垂直距离lv1。
152.相对位置测量装置10d使用当前位置的平行距离lp以及当前位置与预测位置之间的平行距离lp1，来计算预测位置的平行距离lp2。另外，相对位置测量装置10d使用当前位置的垂直距离lv以及当前位置与预测位置之间的垂直距离lv1，来计算预测位置的垂直距离lv2。由此，相对位置测量装置10d能够预测预测位置与对象点(靠岸原点91)的平行距离lp2以及垂直距离lv2。
153.为了实现该功能，如图18所示，相对位置测量装置10d除了图6所示的第三实施方式的相对位置测量装置10a的结构之外，还具备预测触发指定部41、己方船舶位置预测部55、以及相对位置预测部56。此外，虽然省略了图示，但相对位置测量装置10d在传感器102中具备位置/姿态测量部60。由位置/姿态测量部60测量出的速度、加速度、或者角速度等被提供给己方船舶位置预测部55。
154.预测触发指定部41通过用户的操作等，来接受预测时刻的指定。预测触发指定部41将预测时刻输出至己方船舶位置预测部55。
155.己方船舶位置预测部55使用当前时刻与预测时刻的差或者时间间隔，测量出的当前时刻下的速度、加速度、或者角速度，来测量己方船舶在预测时刻的位置。己方船舶位置预测部55将船舶100在当前时刻的位置(当前位置)、船舶100在预测时刻的位置(预测位置)、以及当前位置与对象点 (靠岸原点91)的相对位置输出至相对位置预测部56。
156.相对位置预测部56计算当前位置与预测位置的相对位置。相对位置预测部56使用
当前位置与预测位置的相对位置、以及当前位置与对象点(靠岸原点91)的相对位置，来计算(预测)预测位置与对象点(靠岸原点91) 的相对位置。
157.通过这种结构，相对位置测量装置10d能够预测预测位置的相对于对象点(靠岸原点91)的相对位置。此时，相对位置测量装置10d通过使用上述的当前位置与对象点(靠岸原点91)的相对位置，进一步地，例如，通过使用gnss的定位信号，能够高精度地计算当前位置与预测位置的相对位置。因此，相对位置测量装置10d能够高精度地预测预测位置的相对于对象点(靠岸原点91)的相对位置。
158.此外，预测时刻的指定方法并不限于上述方法，例如，也可以使用以下的指定方法。
159.(a)预测时刻通过与当前时刻的时间差(时间间隔)而指定。在该情况下，预测触发指定部41通过将指定的时间间隔与当前时刻进行相加或相减，来计算预定时刻。此时，预测时刻并不限于一个时刻，也可以是根据时间间隔而设定的多个时刻。另外，时间间隔的指定可以是自动的也可以是手动的。并且，时间间隔可以是等间隔，也可以不是等间隔。
160.(b)预测时刻通过移动距离间隔而指定。在该情况下，例如，预测触发指定部41从上述那样的获得己方船舶的速度或加速度的功能部中获取己方船舶的速度或加速度。然后，预测触发指定部41通过将指定的移动距离除以速度来计算预测时刻。
161.此外，在使用移动距离间隔的情况下，预测触发指定部41可以将移动距离输出至己方船舶位置预测部55。己方船舶位置预测部55根据获得的移动距离预测己方船舶位置。在该情况下，能够将移动距离与本技术的“预测时刻”视为同义而进行处理。另外，移动距离间隔的指定可以是自动的，也可以是手动的。进一步地，移动距离间隔可以是等间隔，也可以不是等间隔。
162.(c)预测时刻通过从己方船舶位置到靠岸原点的距离而指定。在该情况下，例如，预测触发指定部41在当前时刻或各个时刻，计算己方船舶位置与靠岸原点的距离。预测触发指定部41设定与距离对应的次数的预测时刻。
163.具体而言，例如，无论距离如何，都将预测时刻的次数设定为恒定。在该情况下，如果距离较短，则预测时刻以较短的时间间隔而被设定，如果距离较长，则预测时刻以较长的时间间隔而被设定。由此，己方船舶(船舶100) 越接近靠岸原点91，越能够以较短的时间间隔来预测己方船舶与靠岸原点的相对位置。此外，也可以不使每个距离的预约时刻的次数恒定，该每个距离的预测时刻的次数可以随着距离变短而变得更多。
164.另外，例如，也可以将预测时刻的时间间隔设为恒定，根据距离以可变的方式设定预测时刻的次数。
165.(d)使用己方船舶的过去的移动信息来指定预测时刻。在该情况下，例如，预测触发指定部41获取或存储己方船舶的过去的移动信息(己方船舶的航行轨迹)。然后，预测触发指定部41通过指定己方船舶的航行轨迹上的规定位置，来指定预测时刻。或者，预测触发指定部41根据己方船舶的航行轨迹来计算今后的预测航行轨迹。然后，预测触发指定部41通过指定预测航行轨迹上的规定位置，来指定预测时刻。这些规定位置的指定既可以基于时间间隔或移动距离间隔来自动地指定，也可以手动地指定。另外，在该情况下，由于获得了己方船舶位置，因此预测触发指定部41能够将指定的己方船舶位置输出至己方船舶位置预测部55。
166.(相对位置测量方法)
167.上述说明中的各处理通过执行以下所示的相对位置测量方法的流程图来实现。图19是表示第七实施方式的相对位置测量方法的流程图。此外，在各处理的具体内容中，在以下省略上述的内容以及根据上述的内容而容易地理解内容的说明。
168.相对位置测量装置10d的运算部50d接受使用了预测触发指定部41的预测时刻的指定(s81)。运算部50d根据预测时刻、当前时刻、以及当前的己方船舶位置，来预测己方船舶在预测时刻的位置(s82)。
169.运算部50d使用当前位置与对象点的相对位置以及当前位置与预测位置的相对位置，来计算(测量)预测位置与对象点的相对位置(s83)。例如，运算部50d通过从当前位置的平行距离lp中减去当前位置与预测位置之间的平行距离lp1，来计算预测位置的平行距离lp2(＝lp-lp1)。另外，运算部50d通过从当前位置的垂直距离lv中减去当前位置与预测位置之间的垂直距离lv1，来计算预测位置的垂直距离lv2(＝lv-lpv)。
170.此外，在上述的说明中，示出了通过指定单眼摄像头20所拍摄的图像数据的位置来指定对象点的方式。然而，也能够使用鸟瞰图来指定对象点。在该情况下，相对位置测量装置将鸟瞰图显示在显示画面上。另外，相对位置测量装置预先存储鸟瞰图中的各点的位置坐标与图像数据的各点的位置坐标的关系。
171.通过使用鸟瞰图，能够以从上空俯瞰的方式确认对象的岸壁等，从而能够容易地掌握对象点并进行指定。另外，容易注意到远近距离、岸壁线的偏移，从而能够容易地设定水平的岸壁线。
172.此外，在使用了单眼摄像头20所拍摄到的图像数据的情况下，能够以与用户观看的景象大致相同的图像指定对象点，从而能够直观易于理解地指定对象点。另外，也易于视觉辨认n字旗等较小的固定物标，容易准确地指定为对象点。
173.此外，上述的各实施方式的结构能够适当组合，并能得到与组合相应的作用效果。
174.附图标记说明
175.10、10a、10b、10c、10d：相对位置测量装置
176.20：单眼摄像头
177.30：测距部
178.40：对象点指定部
179.41：预测触发指定部
180.50、50a、50b、50c、50d：运算部
181.51、51b、51c：岸壁线确定部
182.52、52a、52b、52c：靠岸原点确定部
183.53、53b、53c：相对位置计算部
184.54b、54c：变换矩阵计算部
185.55：己方船舶位置预测部
186.56：相对位置预测部
187.60：位置/姿态测量部
188.90：岸壁
189.91：靠岸原点
190.99：海
191.100：船舶
192.101：船桥
193.102、102b：传感器
194.110：右舷端
195.120：船首
196.600：定位信号接收部
197.900：岸壁面
198.910：岸壁线
199.911：起点
200.912：终点
201.术语
202.并非所有的目的或效果/优点都能够根据本说明书中记载的任何特定实施方式来实现。因此，例如本领域技术人员能够想到，特定实施方式能够构成为，以实现或优化本说明书中所教导的一个或多个效果、优点的方式进行动作，而不一定实现在本说明书中教导或建议那样的其他的目的或效果，优点。
203.本说明书中记载的全部处理通过由包含一个或多个计算机或处理器的计算系统执行的软件代码模块来具体实现，从而完全自动化。代码模块能够存储在任意类型的非临时性计算机可读介质或其他的计算机存储装置中。一部分或者全部的方法能够通过专用的计算机硬件来实现。
204.从本公开中可以明确，在本说明书中记载的内容以外，还有许多其他的变形例。例如，根据实施方式，本说明书中记载的算法中的任意一个特定的动作、事件或者功能能够以不同的时序执行，并且能够追加、合并或者完全排除(例如，并非全部所记载的行为或者事件都需要执行算法)。另外，在特定的实施方式中，动作或事件例如能够多线程处理、中断处理、或者经由多个处理器或处理器内核或在其他的并行架构上并行地而不是逐次地执行。另外，不同的任务或者进程也能够通过能一起发挥功能的不同的机器和/或计算系统来执行。
205.与本说明书中公开的实施方式相关联地说明的各种例示的逻辑块以及模块能够通过处理器等机器来实施或者执行。处理器也可以是微处理器，或者，处理器也可以是控制器，微控制器或状态机或者这些的组合等。处理器能够包含构成为对计算机可执行命令进行处理的电路。在另一实施方式中，处理器包含特殊应用集成电路(asic)、现场可编程逻辑门阵列(fpga)、或者不处理计算机可执行命令而执行逻辑运算的其他可编程设备。处理器还能够实现为计算设备的组合，例如数字信号处理器(数字信号处理装置)与微处理器的组合、多个微处理器、与dsp 内核组合的一个以上的微处理器，或者任意的其他这样的结构。在本说明书中，主要对数字技术进行说明，但处理器也能够主要包含模拟元件。例如，本说明书中记载的信号处理算法的一部分或全部能够通过模拟电路，或模拟与数字的混合电路来实现。计算环境包括微处理器、大型计算机、数字信号处理器、便携式计算设备、设备控制器、或者基于装置内的计算引擎的计算机系统，但也能够包含不限定于这些的任意类型的计算机系统。
206.除非另有说明，对于“能够”、“完成”、“大概”或者“有可能性”等带有条件的语言，为了传达特定实施方式包括特定的特征，要素和/或步骤，但不包括其他的实施方式的意思，按照通常使用的上下文中的意思来理解。因此，通常，这样的带有条件的语言并不意味着特征，要素和/或步骤是一个以上的实施方式所需要的任何方法，也不意味着一个以上的实施方式必然包含用于确定这些特征，要素和/或步骤是否包含在任意的特定实施方式中或是否被执行的逻辑。
207.语句“x、y、z中的至少一个”这样的选择性语言，除非另有说明，就在通常用于表示项目，术语等可以是x、y、z中的任意一个或者是它们的任意的组合的上下文中来进行理解(例：x、y、z)。因此，这样的选择性语言通常并不意味着每个特定实施方式都需要存在x中的至少一个、y中的至少一个、或者z中的至少一个。
208.本说明书中记载的和/或附图所示的流程图中的任意的过程描述，要素或者功能块应被理解为包含用于实现过程中的特定的逻辑功能或者要素的一个以上的可执行命令在内的潜在的模块、片段或者代码的一部分。代替的实施方式包含在本说明书中记载的实施方式的范围内，在此，如本领域技术人员能理解的那样，可以根据所关联的功能性，以实质上同时或相反的顺序从图示或说明的流程中删除要素或功能，或者按照不同的顺序执行。
209.只要没有特别明示，“一个”这样的数词通常应被解释为包含一个以上的所描述的项目。因此，“如上设定的一个设备”等语句旨在包含一个以上列举出的设备。这样的一个或多个所列举出的设备也能够以执行所记载的引用的方式集合性地构成。例如，“构成为执行以下的a、b 以及c的处理器”能够包括，构成为执行a的第一处理器以及构成为执行b以及c的第二处理器。此外，即使明确地列出所导入的实施例的具体的数量的列举，本领域技术人员也应该解释为这样的列举典型地意味着至少列举出的数量(例如，不使用其他修饰语的“两个列举”的单纯的列举通常是指至少两个列举或者两个以上的列举)。
210.通常，本说明书中使用的术语通常旨在为“非限制性”术语(例如，术语“包括”应解释为“不仅如此，而且至少包括”，术语“具有”应解释为“至少具有”，术语“包括”应解释为“虽然包括以下，但不限定于这些”)，这将由本领域技术人员来判断。
211.为了说明的目的，本说明书中使用的术语“水平”不论其方向如何，都被定义为与使用所说明的系统的区域的地板的平面或表面平行的平面，或者实施所说明的方法的平面。术语“地板”能够置换为术语“地面”或“水面”。术语“垂直/铅直”是指与所定义的水平线垂直/铅直的方向。“上侧”、“下侧”、“下”、“上”、“侧面”、“更高”、“更低”、“上方”、“超过”、“下的”等术语针对水平面而被定义。
212.在本说明书中使用的术语的“附着”、“连接”、“成对”以及其他的关联术语，只要没有另外的注释，就应解释为包括能够拆卸，能够移动，固定，能够调节和/或能够拆卸地连接或者连结。连接/连结包含具有直接连接和/或说明的两个结构构件之间的中间构造的连接。
213.只要没有特别明示，本说明书中使用的“大致”、“约”以及“实质上”这样的术语在前的数量包括列举出的数量，另外，其还表示执行所希望的功能或者实现所希望的结果的接近所记载的数量的数量。例如，只要没有特别明示，“大致”、“约”以及“实质上”是指小于所记载的数值10％的值。如在本说明书中使用的那样，“大致”、“约”以及“实质上”等术语在
前并且已被公开的实施方式的特征还表示执行所希望的功能或者对其特征实现所希望的结果的具有可变性的几个特征。
214.能够将许多的变形例以及修改例添加到上述的实施方式中，应理解为这些要素处于其他可允许的例子中。所有这样的修改以及变形旨在包括在本公开的范围内，并通过以下的权利要求的范围进行保护。