专利名称：3维数据制作方法及3维数据制作装置的制作方法
技术领域：
本发明涉及3维数据制作方法及3维数据制作装置，即使在移动体中不具备位置检测装置，也能基于在移动中取得的连续图像，进行移动体的位置测定，以及制作带有3维数据的图像数据。
背景技术：
作为测定地面的绝对坐标的测定装置，GPS (GlcAal Positioning System，全球定位系统)装置已经普及。GPS装置是利用来自至少3个以上优选5个以上的人造卫星的电波，测定地面的3维位置坐标的装置。可是，在电波没有到达的空间、例如人造卫星的电波没有覆盖的区域中，或者由于建筑物等的障碍物遮挡了电波的空间中，或者在隧道等的封闭状态的空间中，不能利用GPS装置进行位置测定。
因此，本申请人在日本特开2007-147341号公报(专利文献1)中，提出了一种在移动体安装摄像装置，通过摄像装置在移动中连续地取得图像，通过图像处理从图像中提取特征点，基于已知的移动体的位置通过后方交会法进行提取的特征点的位置测定，进而基于位置变为已知的特征点，通过前方交会法测定移动后的移动体的位置的方法以及进行该测定的测定装置，即使没有GPS装置那样的位置测定装置，也能够实时地测定移动体的位置。
在日本特开2007-147341号公报(专利文献1)公开的测定移动体的位置的方法中，如上述那样从图像中的建筑物等提取特征点。特征点的提取例如通过利用图像处理提取建筑物的角等的对比度变化较大的点来进行，但包含许多不确定要素，例如由于移动体的移动导致图像中的位置变化，或通过摄像方向变化而被其他的建筑物遮挡，或对比度因为天候等的变化而变化。
进而，在特征点的提取过程中，因为包含误差因素，所以在利用后方交会法、前方交会法的移动体的位置测定中含有误差累积的问题。
因此，为了提高精度需要提取许多的特征点。此外，需要以图像处理来进行特征点的提取、在图像间的特征点的匹配等，所以存在数据处理量变多，数据处理装置的负担变大，此外处理时间变长等的问题。
本发明鉴于该实际情况，提供一种3维数据制作方法及3维数据制作装置，能够更简便地基于在移动中取得的连续图像，进行移动体的位置测定，以及制作带有3维数据的图像数据。
现有技术文献专利文献1 日本特开2007-147341号公报； 专利文献2 日本特开平8-255245号公报。发明内容
本发明涉及一种3维数据制作方法，其使用摄像装置，该摄像装置对周围的景色进行摄像，取得数字图像数据，其中，所述3维数据制作方法具备一边移动一边通过所述摄像装置连续地对周围的景色的图像进行摄像的步骤；取得按每个规定的时间间隔摄像的图像作为测定用图像的步骤；将地标作为模板通过图案识别从该测定用图像中提取地标的步骤；进行时间上邻接的2个测定用图像的匹配的步骤；以及至少最初的1个测定用图像中包含的地标的3维坐标是已知的，基于该测定用图像的地标的3维坐标，求取测定用图像摄像地点的3维坐标的步骤。
此外，本发明涉及使用地标进行所述2个图像的匹配的3维数据制作方法。
此外，本发明涉及还具有提取特征点的步骤，使用地标和所述特征点进行所述2 个图像的匹配的3维数据制作方法，此外，涉及包含通过前方交会法求取从成为已知的2 个测定用图像摄像地点摄像的测定图像中的地标的3维坐标的步骤的3维数据制作方法， 此外，涉及通过测量机对在所述测定用图像中包含的地标的3维坐标进行测定的步骤的3 维数据制作方法，此外，涉及还包含在规定的移动范围中摄像的图像中包含的地标内，通过测量机预先对利用后方交会法的测定所需要的地标的3维坐标进行测定的步骤的3维数据制作方法，此外，涉及在规定的移动范围中摄像的图像中包含的地标内，通过所述3维数据制作方法对利用后方交会法的测定所需要的地标的3维坐标进行测定的3维数据制作方法。
此外，本发明涉及一种3维数据制作方法，使用至少具备摄像装置的位置检测传感器，该摄像装置对周围的景色进行摄像，取得数字图像数据，其中，所述3维数据制作方法具备一边移动一边通过所述摄像装置连续地对周围的景色的图像进行摄像的步骤；取得按每个规定的时间间隔摄像的图像作为测定用图像的步骤；将地标作为模板通过图案识别从该测定用图像中提取地标的步骤；进行时间上邻接的2个测定用图像的匹配的步骤； 对至少最初的2个测定用图像进行摄像的2个地点的3维坐标是已知的，基于该2个地点的3维坐标求取所述地标的3维坐标的步骤；以及基于获得的所述地标的3维坐标，求取下一个测定用图像摄像地点的3维坐标的步骤。
此外，本发明涉及使用地标进行所述2个图像的匹配的3维数据制作方法。
此外，本发明涉及使用地标和图像中的特征点进行所述2个图像的匹配的3维数据制作方法，此外，涉及所述位置检测传感器具备GPS位置检测装置，所述2个地点的3维坐标通过所述GPS位置检测装置而是已知的3维数据制作方法，此外，涉及还包含通过测量机对所述2个地点的3维坐标进行测定的步骤，通过所述测量机取得所述2个地点的3维坐标的3维数据制作方法。
此外，本发明涉及一种3维数据制作装置，其中，具备对周围的景色进行摄像，取得数字图像的摄像装置；作为模板具有地标图像，将以规定时间间隔取得的数字图像作为测定用图像，通过该测定用图像和所述模板的图案识别，从所述测定用图像中识别地标的识别部；以及预先具备在摄像的测定用图像中包含的地标的3维坐标，基于所述识别的地标的3维坐标，通过后方交会法对摄像地点的3维坐标进行测定的数据处理制作部的3维数据制作装置，此外，涉及所述数据处理制作部通过所述后方交会法对第1、第2地点的摄像地点的3维坐标进行测定，针对在第2地点摄像的测定用图像中的未知的地标，基于从第 1、第2地点的摄像地点的图像的匹配，通过前方交会法对未知的地标的3维坐标进行测定的3维数据制作装置，此外，涉及所述数据处理制作部在规定的移动范围中存在的地标内，至少预先具备后方交会法所需要的地标的3维坐标，通过后方交会法对所述移动范围中的摄像地点的3维坐标进行测定的3维数据制作装置，此外，涉及地标的3维坐标通过所述3 维数据制作方法来求取的3维数据制作装置，此外，涉及地标的3维坐标通过测量机预先进行测定来获得的3维数据制作装置。
此外，本发明涉及一种3维数据制作装置，其中，具备至少具有对周围的景色进行摄像，取得数字图像的摄像装置的位置检测传感器；作为模板具有地标图像，将以规定时间间隔取得的数字图像作为测定用图像，通过该测定用图像和所述模板的图案识别，从所述测定用图像中识别地标的识别部；以及通过进行时间上邻接的2个测定用图像中的地标的匹配，从而进行立体测定，基于对至少最初的2个测定用图像进行摄像的地点的、第1、第 2地点的3维坐标是已知的该第1、第2地点的3维坐标，通过前方交会法求取所述地标的 3维坐标，基于求取的所述地标的3维坐标和作为未知点的第3地点的立体测定结果，通过后方交会法对第3地点的3维坐标进行测定，对在各摄像地点取得的测定用图像关联各摄像地点的3维坐标的数据处理部。
此外，本发明涉及还具备GPS位置检测装置，通过GPS位置检测装置取得第1、第2 地点的3维坐标的3维数据制作装置，此外，涉及以规定的单元预先取得所述第1、第2地点的3维坐标的3维数据制作装置。
图1是本发明的实施例的3维数据制作装置的概略图。
图2是将本发明的3维数据制作装置应用于汽车的情况下的说明图。
图3是本发明的实施例的位置测定装置的概略框图。
图4是表示本发明的实施例的测定路线与地标的关系的说明图。
图5是表示本发明的实施例的测定的状态的说明图。
图6 (A)是针对获得的图像，通过前方交会法进行追踪点的位置测定的说明图，图 6 (B)是基于获得的图像，通过后方交会法进行摄像点的位置测定的说明图。
图7是表示本发明的第1实施例的作用的流程图。
图8是表示本发明的第1实施例的作用的流程图。
图9是表示本发明的第2实施例的测定的状态的说明图。
图10是表示本发明的第2实施例的作用的流程图。
图11是表示本发明的第2实施例的作用的流程图。
附图标记说明13维数据制作装置； 2数据处理制作部； 3位置检测传感器； 4操作部； 5显示部； 6传感器主体； 7 GPS位置检测装置； 8摄像装置；14控制运算部； 15存储部； 16程序储存部； 17数据储存部； 18地标识别部； 19运算器； 20存储器； 21模板图像储存部； 22程序储存部； 23通信控制部。
具体实施方式
以下，一边参照附图，一边说明本发明的实施例。
首先，对本发明的原理的概要进行说明。
在本发明中，也在移动体设置具有摄像装置的位置检测传感器，以所述摄像装置在移动体的移动中连续取得图像，从取得的图像提取特征点，基于特征点通过图像测量来测定移动体的3维位置，但在本发明中，取得道路标识、信号机、电线杆、下水道盖等的在道路边或道路设置的成为陆地上的记号的物体(以下称为地标)来作为特征点。进而，取得地标的3维位置数据(3维坐标)，基于在图像中识别的地标和取得的地标的3维坐标，实时地执行移动体的3维坐标的测定。
再有，关于地标的3维坐标的取得，有交替地进行前方交会法和后方交会法，根据移动中取得的连续图像依次取得的方法，和预先测定地标的3维坐标来进行取得的方法。
在使用从2个地点摄像的图像以公知的方法来测定3维坐标的立体测定中，前方交会法(method of intersection)是使用从2个以上的3维坐标已知的点获得的图像进行3维坐标的测定，对未知点的坐标进行运算的测定方法。后方交会法(method of resection)是使用从未知点摄像的已知点的图像进行立体测定，对摄像的位置的坐标进行运算的测定方法。
图1是表示本发明的实施例的3维坐标制作装置1的概略的图，该3维坐标制作装置1主要由数据处理制作部2、位置检测传感器3、操作部4、显示部5构成。所述位置检测传感器3设置在移动体、例如汽车的驾驶室的车顶等的适于眺望的位置，此外，所述数据处理制作部2、所述操作部4、所述显示部5设置在作业者、驾驶者能够操作、目视确认的地点、例如驾驶室中。再有，所述操作部4设为触摸面板等，也可以与所述显示部5 —体化。
图2表示移动体9是汽车的情况，此外表示所述位置检测传感器3设置在所述移动体9的车顶的情况。
所述位置检测传感器3具备设置在传感器主体6的上表面的GPS位置检测装置 7，在所述传感器主体6的侧面朝向4个方向的摄像装置8a、摄像装置Sb、摄像装置Sc、摄像装置8d (以下在总称的情况下设为摄像装置8)(参照图3)。
所述摄像装置8以能够对全向的景色进行摄像的方式而配置，如果摄像装置8单体具有广视角的话是3个即可，或者在具有窄视角的情况下设置5个以上。再有，也可以使1个摄像装置8在水平方向旋转，按每个所要的旋转角进行摄像。
再有，也可以设置2个摄像装置8，使得对与所述移动体9的行进方向成直角的2 个方向的景色进行摄像。在该情况下，只要摄像角具有适当的范围即可，不需要是180°。
此外，所述摄像装置8是数字摄像机或数字视频摄像机等，能够将摄像的图像作为数字图像数据进行输出，所述摄像装置8具备由许多像素构成的摄像元件、例如CCD传感器、CMOS传感器等，从1个摄像装置8输出的图像数据的1帧作为来自各像素的信号的集合而构成，通过确定与信号对应的像素，从而确定图像中的位置。
所述GPS位置检测装置7具备GPS天线11、GPS运算部12 (参照图3)，通过所述 GPS天线11接收来自多个卫星的信号，GPS运算部12基于接收结果3维几何学地对卫星与接收点的距离进行运算，进行3维的位置测定。再有，在位置测定中有单独位置测定、干扰位置测定等，但优选采用能够一边移动一边以高速进行测定的RTK(real time kinematic, 实时动态差分)位置测定。
所述摄像装置8a、所述摄像装置Sb、所述摄像装置Sc、所述摄像装置8d以规定时间间隔同步地进行摄像，将取得的图像数据送出至所述数据处理制作部2，在该数据处理制作部2中将图像数据与摄像数据进行关联，储存到后述的图像数据储存部中。再有，摄像间隔也可以根据移动体9的移动速度来决定。例如，在所述移动体9的移动速度大的情况下， 使时间间隔变短，在移动速度小的情况下，使时间间隔变长等。
针对所述数据处理制作部2，参照图3进行说明。
该数据处理制作部2大致以输入输出控制部13、以CPU为代表的控制运算部14、 存储部15、地标识别部18、通信控制部23等构成。
所述存储部15是存储器卡、HD、FD、MO等，以内置或能够拆装的方式设置。
此外该存储部15具有程序储存部16、数据储存部17，在所述程序储存部16中储存有控制装置的工作的顺序程序(sequence program)；基于移动体9的位置通过前方交会法对特征点的3维数据进行运算，此外通过基于特征点的3维数据对移动体的位置进行运算的后方交会法进行运算的测量程序；用于将获得的测定结果向数据收集装置等的外部装置发送的发送控制程序；以及用于使所述显示部5显示位置测定结果的显示程序等的各种程序。
在所述数据储存部17中，在以所述摄像装置8取得的图像数据内，按每个规定间隔摄像的图像作为测定用图像数据而储存，进而，摄像了测定用图像的时间与测定用图像数据关联起来。再有，在通过所述位置检测传感器3能够取得3维坐标的状态下，进一步关联测定用图像数据和3维坐标。因此，所述测定用图像数据、3维坐标成为时间序列的数据。
所述地标识别部18具有运算器19、存储器20，该存储器20还具有模板图像储存部21和程序储存部22。
再有，所述运算器19也可以兼作为所述控制运算部14。此外，也可以将所述储存部15和所述存储器20设为同一存储装置，该存储装置具备所述程序储存部16、所述数据储存部17、所述模板图像储存部21、所述程序储存部22。
所述模板图像储存部21将与道路标识、信号机等、电线杆、下水道盖等各种地标对应的图像数据作为目标图像进行储存，所述程序储存部22储存有通过以所述摄像装置 8取得的测定用图像和所述图案图像的图案识别，从而从所述测定用图像中判别、提取地标CN 102549382 A的地标判别程序。在这里，道路标识等的地标的形状、图样在全国是共同的，在将地标作为模板图像的情况下的图案(pattern)识别精度高，此外在每次测定、每次场所变更时不需要重新设定。
所述通信控制部23控制在与外部数据处理装置、例如PC等进行数据的交接的情况下的数据的发送接收。
参照图4、图5对本发明的第1本实施例的作用进行说明。
在本实施例中，从在行驶中摄像的连续图像中提取地标，根据地标的位置(3维数据)进行移动体9的位置测定，在第1实施例中，说明地标的3维坐标(以下称为坐标值)是未知的情况。
图4表示测定的道路和沿着道路竖立设置作为地标的道路标识Bi、B2、B3、B4、 B5、...，此外在路面设置有作为地标的下水道口 C1、C2、...的状态。
图5是表示障碍物(景观形状)25和障碍物(景观形状沈)和所述移动体9、即位置检测传感器3的关系的示意图，图5中，Al、7表示行进方向右侧的地标，图5中，ΒΓΒ9表示行进方向左侧的地标。图6 (A)是表示基于取得的图像，通过前方交会法进行测定点的位置测定的说明图，图6 (B)是表示基于获得的图像，通过后方交会法进行摄像点的位置测定的说明图。
在图5中，表示所述移动体9在障碍物25、障碍物沈之间行进，所述位置检测传感器3从第1地点(测定点Pl)移动到第6地点(测定点P6)(以下将测定点P仅简称为P) 的状态，在P1、P2中，能够通过所述GPS天线11接收来自卫星的信号，在P3>5是由于所述障碍物25、所述障碍物沈不能接收来自卫星的信号的状态，在P6能够再次接收来自卫星的信号。
再有，关于P1、P2，也可以设为不是利用GPS而是通过其他的测定装置进行位置测定的已知点，基于已知点的Pl、P2进行测定，开始3维数据制作。
在以下，参照图7，说明针对左侧的景色、所述地标的图像的取得，基于该图像的位置测定。
在所述移动体9到达Pl的时刻，所述控制运算部14取得以所述GPS位置检测装置7测定的3维坐标。同时取得以所述摄像装置8摄像的测定用图像数据(步骤01)。所述控制运算部14将在Pl摄像的图像Jl设为第1测定用图像数据，将该第1测定用图像数据与Pl的测定3维坐标关联起来并储存在所述数据储存部17。
此外，在所述移动体9移动的期间，通过所述摄像装置8对周围的图像连续地摄像 (步骤02)。此外，各P成为预先设定的每个时间间隔的所述移动体9的位置。
所述控制运算部14在各P检查是否从所述GPS位置检测装置7有位置数据的输入。根据在各P是否有来自所述GPS位置检测装置7的位置数据的输入，如后述那样判断、 选择各P的位置测定是利用所述位置检测传感器3的测定，或是基于测定用图像数据的利用根据前方交会法、后方交会法的运算的测定，执行选择的测定方法。
所述地标识别部18通过在所述程序储存部22中储存的地标判别程序，对于所述测定用图像数据，通过将在所述模板图像储存部21中储存的所述模板图像作为模板进行图案识别，从所述测定用图像数据中识别地标(步骤03)。此外，地标识别部18对地标的中心位置进行运算。
地标的中心位置(地标中心点)例如是图形中心，图形中心能够通过摄像元件的像素的位置来确定。此外，关于地标的识别数量，设为利用前方交会法的测定中所需要的数量。
再有，关于地标的识别，能够使用例如在日本特开平8-255245号公报(专利文献 2)中公开的方法。
在Pl>2的过程中，也通过所述摄像装置8对周围的景色连续地摄像，以规定的时间间隔执行基于测定用图像数据和模板图像的地标的识别，进行在图像间的地标的追踪。
在所述位置检测传感器3移动到的P2中，取得来自所述位置检测传感器3的位置测定数据，位置测定数据和在P2摄像的图像J2的第2测定用图像数据储存在所述数据储存部17中。
关于第2测定用图像数据，通过使用模板图像的图案识别来执行地标的识别，并且求取地标的中心点的访问。进而，基于跟踪的结果，进行以第1测定用图像数据识别的地标和以第2测定用图像数据识别的地标的匹配(matching)(步骤04)。
识别的地标的中心点作为通过点(B1、B2、B3、...)，进行图像Jl和图像J2的相互评定，对图像Jl和图像J2进行包含3维数据的图像(立体图像)化。通过利用该立体图像获得的3维坐标和所述前方交会法，对各地标中心点(B1、B2、B3、...)的3维坐标进行运算 (步骤:05)。
运算的结果，各地标的中心点(Bi、B2、B3,...)成为已知点。各地标的中心点 (Bi、B2、B3、...)的3维坐标与第1测定用图像数据、第2测定用图像数据关联起来，储存在所述数据储存部17中。此外，图像Jl和图像J2以及后述的在测定点P摄像的图像与3 维数据一起存储在所述数据储存部17中。
当所述移动体9移动到P3时，来自卫星的电波被所述障碍物沈遮挡，没有输入所述位置检测传感器3的位置测定。所述控制运算部14当判断为没有来自所述位置检测传感器3的输入时，切换到根据基于后方交会法的运算的位置测定。
在到P3的期间中也连续地进行利用所述摄像装置8的摄像、摄像图像中的地标的识别、地标的追踪。
S卩，基于已经获得的各地标的中心点(B1、B2、B3、...)的3维坐标、以及在P2取得的图像J2中的所述地标中心点(Bi、B2、B3、...)和在P3取得的图像，通过后方交会法对 P3的3维坐标进行运算(步骤06，参照(图6 (B)))。
再有，伴随着所述移动体9移动到P1、P2、P3、...，摄像范围进行移动，在摄像的图像中依次包含新的地标，能够在利用模板图像的图案识别中识别新的地标，进而测定地标的中心点。
例如，参照图6 (A)、图6 (B)的话，在图像J2中产生B4，在图像J3中产生B5、B6 的地标。针对新产生的地标也进行追踪，进而针对产生的地标依次通过前方交会法对地标的3维坐标进行运算测定。
通过后方交会法，P3成为已知点。
而且，根据图像中的地标中心点的3维坐标，通过后方交会法对Pn的位置进行运算测定，进而根据变为已知的P (n-1)以及P (η)的3维坐标，基于图像通过前方交会法对新产生的地标中心点的位置进行运算测定，即使在不能获得来自卫星的电波，不能进行利用所述位置检测传感器3的P的位置测定的状态下，也能交替地实施前方交会法和后方交会法，继续实施P的位置(3维坐标)测定。
接着，当所述移动体9到达P6时，变得能够接收来自卫星的电波，通过所述位置检测传感器3测定P6的位置，当以该位置检测传感器3测定的3维坐标输入到所述控制运算部14中时，该控制运算部14判断为有3维坐标输入，停止利用后方交会法的运算。此外， 通过立体图像的形成来求取通过所述摄像装置8在P6摄像的图像数据、从该图像数据提取的地标中心点、该地标中心点的3维数据，求取的3维数据与P6的3维坐标关联起来并储存到所述数据储存部17中。
因此，在从所述位置检测传感器3输入位置数据的期间中，以该位置检测传感器3 测定的结果被采用为P的位置测定的数据，当来自该位置检测传感器3的位置数据中断时， 采用通过立体图像的形成而求取的3维数据和通过前方交会法、后方交会法运算的P的3 维坐标，不中断地连续地测定P的位置。
关于邻接的2个摄像地点，例如关于P2、P3，针对在P2、P3取得的2个图像将地标中心点作为通过点进行相互标定，设为包含3维数据的图像(立体图像)的话，能够根据图像求取构成其他图像的各像素的位置数据和方位数据、即3维坐标，能够使运算处理高速化。 通过相互标定(relative orientation)获得的P的立体图像被储存在所述数据储存部17 中(步骤:07)。
而且，在各测定点摄像的图像能够作为包含与从GPS取得的坐标关联起来的3维数据的图像，即使在通过单一的GPS位置检测装置7，在测定中途有来自卫星的电波被遮挡的阴影部分的情况下，也能够不中断位置测定，取得连续的大量的3维数据和具有3维数据的图像。
再有，在上述说明中，对所述移动体9的左侧的图像进行摄像，进行P的位置测定， 但在不能从左侧的图像取得地标的情况下，也可以取得右侧的图像等，在图像处理的阶段中根据状况针对取得的图像适宜地进行选择。
再有，在测定用图像间的追踪中，如图8、图9所示，除了使用地标之外，也可以使用通过特征点提取而求取的特征点。
即使在图像中没有地标的情况下，能够提取特征点(步骤0 )，根据特征点提取来进行图像的追踪(步骤04’)。此外，在连续的一连串的图像中存在3点以上的地标，或者出现了 3点以上的地标的时刻，能够通过后方交会法进行位置检测传感器3的3维坐标的测定。
接着，说明地标的位置、即3维坐标是已知的第2实施例。
如在第1实施例中说明的那样，在开始摄像时，当2点的摄像地点的坐标是已知时，能够从连续图像识别地标，测定地标的坐标。
因此，如果以所述GPS位置检测装置7以外的测定装置、例如全站仪(total station)对在最初的2点摄像的情况下的2点的坐标进行测定的话，所述位置检测传感器 3也可以不具备所述GPS位置检测装置7。
进而，在向图5所示的Pl>6移动的过程中，测定道路标识B1、B2、B3、B4、B5.....道路标识A1、A2、A3、A4、A5、...的坐标，道路标识各自的3维坐标成为已知。此外，作为地标的下水道口 C1、C2、...作为地图数据具有正确的3维坐标。
因此，针对1次通过、进行了测量的路线(以下称为测量完成路线)，在道路边的图像或通过道路时摄像的图像中包含的地标的3维坐标成为已知，在第2次以后，不再需要通过前方交会法求取地标的3维坐标。
在第2次以后在测量完成路线中行驶时，能够基于成为已知点的地标中心点的坐标，通过后方交会法对移动体9的3维坐标进行测定。
针对第2实施例，参照图3、图11进行说明。
第2实施例中的基本的结构与图3所示的是同等的。在第2实施例中，所述地标识别部18将测定完成地标的信息、即测定完成地标的图像与3维坐标关联起来，预先储存在地标识别部18中。
再有，在第2实施例中不需要开始时的移动体9的3维坐标，因此不需要摄像地点的位置测定。
在所述移动体9的移动中，对周围的景色连续摄像，取得连续图像(步骤11)。
以规定的时间间隔，执行基于测定用图像数据和模板图像的地标的识别(步骤 12)，进而通过所述地标识别部18呼入(call in)识别的地标的坐标位置，确定识别的地标的坐标位置(步骤13)。
在经过了规定时间的2个测定用图像之间进行地标的追踪，进行地标的匹配。此外，基于在当前时刻摄像的测定用图像中的多个地标的中心点的3维坐标，通过后方交会法，测定当前时刻的位置检测传感器3的3维坐标(步骤14)。
将在当前时刻摄像的图像与当前时刻的位置检测传感器3的3维坐标关联起来， 储存在所述数据储存部17中。
再有，在测定用图像间的追踪中，如图11所示，除了使用地标之外，也可以使用通过特征点提取而求取的特征点(步骤11a)。即使在图像中没有地标的情况下，也能够根据特征点提取来进行图像的追踪。此外，在连续的一连串的图像中存在3点以上的地标，或者出现了 3点以上的地标的时刻，能够通过后方交会法进行位置检测传感器3的3维坐标的测定。
而且，根据从在每个规定时间间隔摄像的测定用图像获得的地标的中心点坐标和相对于该中心点坐标的方位角，实时地测定当前时刻的位置检测传感器3的3维坐标，此外将当前时刻的测定用图像数据与3维坐标关联起来进行储存。此外，上述测定用图像的摄像、测定用图像数据与3维坐标的关联、测定用图像的储存，在所述移动体9的预定的移动范围或规定的移动范围中反复进行。
此外，与第1实施例同样地，针对在邻接的2个摄像地点取得的2个测定用图像， 将地标中心点作为通过点进行相互标定，作为包含3维数据的图像(立体图像)，通过相互标定而获得的P的立体图像被储存在所述数据储存部17中，在各摄像地点中依次将立体图像储存在所述数据储存部17中(步骤15)。
进而，基于地标的地面坐标系的绝对数据，将各图像的3维数据依次变换成地面坐标系的数据(步骤16)。
到所述移动体9完全通过测定对象范围之前，反复进行上述步骤1广步骤16的步骤，制作测定对象范围全部区域的带有3维数据的图像。
再有，在测定用图像间的追踪中，除了使用地标之外，也可以使用通过特征点提取而求取的特征点。即使在图像中没有地标的情况下，也能够根据特征点提取来进行图像的追踪。此外，在连续的一连串的图像中存在3点以上的地标，或者出现了 3点以上的地标的时刻，能够通过后方交会法进行位置检测传感器3的3维坐标的测定(参照图9、图10)。
再有，为了使地标中心点的3维坐标的精度提高，也可以反复多次进行第1实施例的地标中心点的3维坐标的测定，进行平均化。
此外，也可以针对成为对象的路线，针对沿着该路线存在的地标预先通过测量机进行实际测量，取得地标的3维坐标数据，将3维坐标数据与模板图像一起储存在所述模板图像储存部21中。
在该情况下，作为位置检测传感器3，能够省略GPS位置检测装置7。
产业上的利用可能性根据本发明，是一种3维数据制作方法，其使用摄像装置，该摄像装置对周围的景色进行摄像，取得数字图像数据，其中，所述3维数据制作方法具备一边移动一边通过所述摄像装置连续地对周围的景色的图像进行摄像的步骤；取得按每个规定的时间间隔摄像的图像作为测定用图像的步骤；将地标作为模板通过图案识别从该测定用图像中提取地标的步骤；进行时间上邻接的2个测定用图像的匹配的步骤；以及至少最初的1个测定用图像中包含的地标的3维坐标是已知的，基于该测定用图像的地标的3维坐标，求取测定用图像摄像地点的3维坐标的步骤，因此，仅在最初取得针对规定的地标的3维坐标，就能够测定摄像地点的3维坐标。
此外根据本发明，是一种3维数据制作方法，使用至少具备摄像装置的位置检测传感器，该摄像装置对周围的景色进行摄像，取得数字图像数据，其中，所述3维数据制作方法具备一边移动一边通过所述摄像装置连续地对周围的景色的图像进行摄像的步骤； 取得按每个规定的时间间隔摄像的图像作为测定用图像的步骤；将地标作为模板通过图案识别从该测定用图像中提取地标的步骤；进行时间上邻接的2个测定用图像的匹配的步骤；对至少最初的2个测定用图像进行摄像的2个地点的3维坐标是已知的，基于该2个地点的3维坐标求取所述地标的3维坐标的步骤；以及基于获得的所述地标的3维坐标，求取下一个测定用图像摄像地点的3维坐标的步骤，因此，不需要像以前那样通过图像处理提取特征点，数据处理量减少，此外因为形状、图像图案单纯并是已知的，所以地标的识别精度高，坐标的测定精度提高。
此外根据本发明，因为使用地标和图像中的特征点来进行所述2个图像的匹配， 所以即使在没有地标的情况下，或者数量不足的情况下，也能够不中断地进行3维数据的制作。
此外根据本发明，还包含通过测量机对所述2个地点的3维坐标进行测定的步骤， 因为通过所述测量机取得所述2个地点的3维坐标，所以不需要GPS位置检测装置，此外与障碍物的有无无关地，能够进行任意地域的测定。
此外根据本发明，因为具备具备对周围的景色进行摄像，取得数字图像的摄像装置；作为模板具有地标图像，将以规定时间间隔取得的数字图像作为测定用图像，通过该测定用图像和所述模板的图案识别，从所述测定用图像中识别地标的识别部；以及预先具备在摄像的测定用图像中包含的地标的3维坐标，基于所述识别的地标的3维坐标，通过后方交会法对摄像地点的3维坐标进行测定的数据处理制作部，因此，不需要用于测定摄像地点的3维坐标的测定装置，此外不需要通过图像处理提取特征点，数据处理量减少，此外形状、图像图案单纯并是周知的，因此地标的识别精度高，坐标的测定精度提高。
此外根据本发明，所述数据处理制作部在规定的移动范围中存在的地标内，至少预先具备后方交会法所需要的地标的3维坐标，通过后方交会法对所述移动范围中的摄像地点的3维坐标进行测定，因此不需要用于测定摄像位置的测定装置，此外与障碍物的有无无关地，能够以高精度进行摄像位置的3维坐标的测定。
此外根据本发明，因为具备至少具有对周围的景色进行摄像，取得数字图像的摄像装置的位置检测传感器；作为模板具有地标图像，将以规定时间间隔取得的数字图像作为测定用图像，通过该测定用图像和所述模板的图案识别，从所述测定用图像中识别地标的识别部；以及通过进行时间上邻接的2个测定用图像中的地标的匹配，从而进行立体测定，基于对至少最初的2个测定用图像进行摄像的地点的、第1、第2地点的3维坐标是已知的该第1、第2地点的3维坐标，通过前方交会法求取所述地标的3维坐标，基于求取的所述地标的3维坐标和作为未知点的第3地点的立体测定结果，通过后方交会法对第3地点的3 维坐标进行测定，对在各摄像地点取得的测定用图像关联各摄像地点的3维坐标的数据处理部，因此，不需要像以前那样通过图像处理来提取特征点，数据处理量减少，此外形状、图像图案单纯并是周知的，因此地标的识别精度高，坐标的测定精度提高。
权利要求
1.一种3维数据制作方法，其使用摄像装置，该摄像装置对周围的景色进行摄像，取得数字图像数据，其中，所述3维数据制作方法具备一边移动一边通过所述摄像装置连续地对周围的景色的图像进行摄像的步骤；取得按每个规定的时间间隔摄像的图像作为测定用图像的步骤；将地标作为模板通过图案识别从该测定用图像中提取地标的步骤；进行时间上邻接的2个测定用图像的匹配的步骤；以及至少最初的1个测定用图像中包含的地标的 3维坐标是已知的，基于该测定用图像的地标的3维坐标，求取测定用图像摄像地点的3维坐标的步骤。
2.根据权利要求1所述的3维数据制作方法，其中，使用地标进行所述2个图像的匹配。
3.根据权利要求1所述的3维数据制作方法，其中，还具有提取特征点的步骤，使用地标和所述特征点进行所述2个图像的匹配。
4.根据权利要求1所述的3维数据制作方法，其中，包含通过前方交会法求取从成为已知的2个测定用图像摄像地点摄像的测定图像中的地标的3维坐标的步骤。
5.根据权利要求1所述的3维数据制作方法，其中，包含通过测量机对在所述测定用图像中包含的地标的3维坐标进行测定的步骤。
6.根据权利要求1所述的3维数据制作方法，其中，还包含在规定的移动范围中摄像的图像中包含的地标内，通过测量机预先对利用后方交会法的测定所需要的地标的3维坐标进行测定的步骤。
7.—种3维数据制作方法，在规定的移动范围中摄像的图像中包含的地标内，通过权利要求4所述的3维数据制作方法对利用后方交会法的测定所需要的地标的3维坐标进行测定。
8.—种3维数据制作方法，使用至少具备摄像装置的位置检测传感器，该摄像装置对周围的景色进行摄像，取得数字图像数据，其中，所述3维数据制作方法具备一边移动一边通过所述摄像装置连续地对周围的景色的图像进行摄像的步骤；取得按每个规定的时间间隔摄像的图像作为测定用图像的步骤；将地标作为模板通过图案识别从该测定用图像中提取地标的步骤；进行时间上邻接的2个测定用图像的匹配的步骤；对至少最初的2个测定用图像进行摄像的2个地点的3维坐标是已知的，基于该2个地点的3维坐标求取所述地标的3维坐标的步骤；以及基于获得的所述地标的3维坐标，求取下一个测定用图像摄像地点的3维坐标的步骤。
9.根据权利要求8所述的3维数据制作方法，其中，使用地标进行所述2个图像的匹配。
10.根据权利要求8所述的3维数据制作方法，其中，使用地标和图像中的特征点进行所述2个图像的匹配。
11.根据权利要求8所述的3维数据制作方法，其中，所述位置检测传感器具备GPS位置检测装置，所述2个地点的3维坐标通过所述GPS位置检测装置而是已知的。
12.根据权利要求8所述的3维数据制作方法，其中，还包含通过测量机对所述2个地点的3维坐标进行测定的步骤，通过所述测量机取得所述2个地点的3维坐标。
13.—种3维数据制作装置，其中，具备对周围的景色进行摄像，取得数字图像的摄像装置；作为模板具有地标图像，将以规定时间间隔取得的数字图像作为测定用图像，通过该测定用图像和所述模板的图案识别，从所述测定用图像中识别地标的识别部；以及预先具备在摄像的测定用图像中包含的地标的3维坐标，基于所述识别的地标的3维坐标，通过后方交会法对摄像地点的3维坐标进行测定的数据处理制作部。
14.根据权利要求13所述的3维数据制作装置，其中，所述数据处理制作部通过所述后方交会法对第1、第2地点的摄像地点的3维坐标进行测定，针对在第2地点摄像的测定用图像中的未知的地标，基于从第1、第2地点的摄像地点的图像的匹配，通过前方交会法对未知的地标的3维坐标进行测定。
15.根据权利要求13所述的3维数据制作装置，其中，所述数据处理制作部在规定的移动范围中存在的地标内，至少预先具备后方交会法所需要的地标的3维坐标，通过后方交会法对所述移动范围中的摄像地点的3维坐标进行测定。
16.根据权利要求15所述的3维数据制作装置，其中，地标的3维坐标通过权利要求4 所述的3维数据制作方法来求取。
17.根据权利要求15所述的3维数据制作装置，其中，地标的3维坐标通过测量机预先进行测定来获得。
18.—种3维数据制作装置，其中，具备至少具有对周围的景色进行摄像，取得数字图像的摄像装置的位置检测传感器；作为模板具有地标图像，将以规定时间间隔取得的数字图像作为测定用图像，通过该测定用图像和所述模板的图案识别，从所述测定用图像中识别地标的识别部；以及通过进行时间上邻接的2个测定用图像中的地标的匹配，从而进行立体测定，基于对至少最初的2个测定用图像进行摄像的地点的、第1、第2地点的3维坐标是已知的该第1、第2地点的3维坐标，通过前方交会法求取所述地标的3维坐标，基于求取的所述地标的3维坐标和作为未知点的第3地点的立体测定结果，通过后方交会法对第3地点的3维坐标进行测定，对在各摄像地点取得的测定用图像关联各摄像地点的3维坐标的数据处理部。
19.根据权利要求18所述的3维数据制作装置，其中，还具备GPS位置检测装置，通过 GPS位置检测装置取得第1、第2地点的3维坐标。
20.根据权利要求18所述的3维数据制作装置，其中，以规定的单元预先取得所述第 1、第2地点的3维坐标。
全文摘要
一种3维数据制作方法，其使用摄像装置(8a，8b)，该摄像装置对周围的景色进行摄像，取得数字图像数据，其中，所述3维数据制作方法具备一边移动一边通过所述摄像装置连续地对周围的景色的图像进行摄像的步骤；取得按每个规定的时间间隔摄像的图像作为测定用图像的步骤；将地标作为模板通过图案识别从该测定用图像中提取地标的步骤；进行时间上邻接的2个测定用图像的匹配的步骤；以及至少最初的1个测定用图像中包含的地标的3维坐标是已知的，基于该测定用图像的地标的3维坐标，求取测定用图像摄像地点的3维坐标的步骤。
文档编号G01C21/00GK102549382SQ20108004523
公开日2012年7月4日 申请日期2010年9月27日 优先权日2009年10月6日
发明者大友文夫, 大谷仁志, 熊谷薰 申请人:株式会社拓普康