专利名称：摄影图像处理方法
技术领域：
本发明涉及一种摄影图像处理方法，通过将例如安装在直升机上的摄影装置传送的图像按照与地理情报系统的地图重合的方式进行显示，从而容易判断震灾等地面的状况，精度良好。
背景技术：
图14是特许第2695393号公报显示的现有技术装置原理构成的示意图。在空中飞行的直升机1等机体中，安装电视摄像机等摄像装置2，对目标物体3进行摄影。目标物体3是存在于三维状起伏的地表面4上，而不存在于地表面4在水平面上的投影的二维平面5上。在该例中，测定直升机1目前的位置，由朝着目标物体位置的方向延伸的直线与地表面4的交点来确定目标物体3的位置。因为地表面4距离二维平面5的高度H是不同的，因此判断到目标物体3的直线到二维平面5的延长交点位置与目标物体3在二维平面5内的投影位置存在着差异E的不同位置。在这种现有技术中，可以正确的确定目标物体3在地表面4上的位置。
图16表示由图15的空摄图像发现灾害发生地点的过程。图16(1)表示与灾害发生地点20对应的画面。图16(2)表示其放大图，可以更详细的了解受害情况。根据包括拍摄空摄图像6的机体安装摄像机的方位角PAN、升降角TILT以及直升机1的高度情报的三维位置情报，确定灾害发生地20。
图17是确定的灾害发生地点20与二维地面一同显示的图像状态。在灾害发生地点20的周围，显示了与进行影像显示的摄像机的视野21相对应的区域，箭头22表示摄像机的方向。由于各种原因，对灾害发生地点20会产生误差，需要通过考虑摄像机的视野21和摄像机方向22来检查空摄图像6，由此正确的确定灾害发生地点20。
图18表示与图14的直升机1上安装位置有特定关联的机器的概要结构图。摄影装置2包括摄像机30以及万向节单元31，摄像机30包括TV摄像机30a以及红外线摄像机30b，由此可以得到昼夜的空摄图像。摄像机30安装了内置有2轴或3轴稳定化的陀螺仪的万向节单元31，对图14的直升机1的外部进行拍摄。
通过数据变换、系统电源分配、行视频处理以及万向节控制单元32，对利用摄影装置2拍摄的图像信号以及万向节单元31的方向进行处理或控制。所处理的视频图像和声音情报用VTR33记录在磁带上，并利用监视器34进行图像显示。摄像机30的焦点调整以及万向节单元31的方向的控制由摄影控制单元35来操作。
以下对现有技术的操作进行说明。
根据通过GPS天线36由GPS信号接收机37从GPS卫星接收的电波，测定图14的直升机1目前的位置。利用从4个GPS卫星接收的电波，求得直升机1目前的三维位置。将含有距地表面的高度情报的地势数据存储在三维地理数据存储装置38中。这种数据的实例例如国土地理院发行的三维地势数据。利用位置检出装置39读出三维地理数据存储装置38内所存储的内容，形成地像。并且，根据从GPS信号接收机37的输出，进行自机位置的输出。而且，直升机1的机头方向的输出、摄影的日期及时间等的输出、目标的显示等，进行这种补正。
数据处理单元40响应位置检出装置39的输出，计算目标物的位置，对图17显示的二维表示的图像数据进行处理，摄像机30的操作者以及直升机1的驾驶员之间的联络等通过机内对话系统41进行。利用数据处理单元40处理的图像数据通过分配单元42送至发送单元43，从发送天线44发送电波。通过自动跟踪单元45控制发送天线44，指向图15显示的现场本部指挥车7或灾害应对本部10的方向。自动跟踪单元45不是必要的，也没有特别的限制，但是安装自动跟踪单元45，在从发送天线44发送的功率小的时候也能有效地向远方传送。分配单元42选择发送项目、进行发送控制、进行信号分配等。发送单元43，对分配单元42所选择的各项目的图像和声音以及数据进行发送。利用监视器34观看发送的图像。
图19表示灾害应对本部10接收从图18所示直升机1的机器发送的图像等电波信号的构成。操作台14有数据处理单元50以及地像生成单元51等。数据处理单元50对所接收的图像数据进行处理或数据变换等。地像生成单元51生成二维地像、三维地像、以及输出日期和时间等。
在自动跟踪天线装置11内，包括有自动跟踪天线55、天线控制单元56以及信号接收单元57等，自动跟踪天线55使用高效率指向性好的天线，天线控制单元56将指向性朝着直升机1的方向控制。自动跟踪天线55接收的电波由接收单元57接收，将包括图像数据等的各种项目的接收数据向数据处理单元50输入。
数据处理单元50，将从直升机1接收的图像数据等的处理结果用大型投影仪13内设置的防灾用监视器62进行图像显示，并用VTR61记录。监视器60可以显示图17所示的二维地像，用VTR61对该二维地像进行记录。图17所示的二维地像在灾害发生时用于防灾，在平时用于运航管理，利用监视器60显示三维地像。三维地像是直升机1周围的山岳等障碍物的三维显示，提醒运航注意。三维地像是根据来自图18的位置检出装置39的自机位置输出由地像生成单元51生成的，并由VTR63进行记录。
图18的摄像机30拍摄的图像数据由在控制装置12设置的监视器65显示，并由VTR66记录。图18所示的摄像机30设有可见光用的TV摄像机30a、红外线用的红外线摄像机30b，适合于进行切换，从而可以得到昼夜的图像。一般来说，白天使用TV摄像机30a，晚上使用红外线摄像机30b，在火灾发生的时候，晚上也可以使用TV摄像机30a。并且，在白天有烟雾不能利用TV摄像机30a获得良好的图像时，也可以使用红外线摄像机30b。
现有技术存在的问题是，在现有技术中如上构成的位置特定方法及装置中，仅利用拍摄的图像确定目标地点，利用这种图像指示目标地点，因此使得目标地点特定化。但是，不能确认出所使用的图像情报与实际的地点之间的偏离，不能确认出这种误差，因此难以高精度的判断目标地点。而且，由于是一张图像，不能利用一张图像得到广范围的情报，因此存在着利用多张图像对广范围的目标区域进行判定的问题。
发明概述本发明是为了解决上述问题而作出的，通过将摄影图像与地图情报系统的地图进行重合显示，容易确认图像情报与地图之间的重合性，从而提供一种容易判断目标地点的摄影图像处理方法。
本发明涉及一种摄影图像处理方法，这是一种由空中的机体上安装的摄影装置对地表面进行摄影、从而实现对地表面的存在状况进行识别的目的的摄影图像处理方法，对在空中的摄影位置进行三维的确定，而计算所拍摄的地表面的摄影范围，将该摄影范围与摄影图像一起进行变形，由此与地理情报系统的地图进行重合显示。
而且本发明是一种利用空中的机体上安装的摄影装置对地表面进行连续摄影、从而实现对地表面的存在状况进行识别为目的的摄影图像处理方法，对在空中的摄影位置进行三维的确定，而计算所连续拍摄的多张地表面的各摄影范围，将该各摄影范围与各摄影图像一起进行变形，由此将该多张摄影图像与地理情报系统的地图进行重合显示。
而且在上述摄影图像处理方法中，重合的多张摄影图像是将其相互间的一部分进行重复接合而成的。
而且在上述摄影图像处理方法中，重复接合的摄影图像是为了使这种重复部分中重复状态最多而对摄影图像进行移动补正之后进行接合而成的。
在上述摄影图像处理方法中，重复接合的多张摄影图像是将连续拍摄的图像按照预定的周期抽样而成的。
在上述摄影图像处理方法中，变更抽样周期。
在上述摄影图像处理方法中，根据上述摄影装置的相对于上述机体倾角和旋转角度计算拍摄的地表面的摄影范围。
在上述摄影图像处理方法中，根据上述机体相对于地表面的倾角和滚动(roll)角度而计算拍摄的地表面的摄影范围。
在上述摄影图像处理方法中，根据上述摄影装置的相对于上述机体倾角和旋转角度以及根据上述机体相对于地表面的倾角和滚动(roll)角度而计算拍摄的地表面的摄影范围。
在上述摄影图像处理方法中，在计算地表面的拍摄范围之后，利用预先形成的含有地表面起伏的高度信息的三维地势数据求得上述拍摄范围的地表面高度，从机体的绝对高度中减去地表面的高度得到作为相对高度的拍摄地点的高度，与该拍摄范围一起，通过将摄影图像变形，与地理情报系统地图上进行重合显示。
本发明的摄影图像处理方法，是利用空中的机体上安装的拍摄装置对地表面进行摄影、从而实现对地表面的存在状况进行识别为目的的一种摄影图像处理方法，对空中的摄影位置进行三维确定，将上述机体位置信息、摄像机信息、机体信息与拍摄的图像进行同步传送，在接收侧计算拍摄的地表面的拍摄范围，将该拍摄范围与拍摄图像一起变形后，在地理情报系统地图上进行重合显示。
在上述摄影图像处理方法中，在地图上重合的拍摄图像消除了残留的摄影范围框架。
在上述摄影图像处理方法中，所显示的图像方向是与拍摄装置的方向无关的一定的方向。
附图的简要说明图1是本发明实施方案1的实施摄影图像处理方法的系统功能说明图；图2是实施方案1的地图处理系统的功能的说明图；图3是表示实施方案1中所显示的画面的照片；图4是由本发明实施方案2的摄影图像处理方法得到的显示画面的照片；图5是本发明实施方案3的说明图；图6是实施方案3中地图处理的说明图；图7是本发明实施方案4的说明图；图8是实施方案4中地图处理的说明图；图9是本发明实施方案5的说明图；图10是实施方案5中地图处理的说明图；图11是本发明实施方案6的摄影图像处理方法的地图处理的说明图；图12是本发明实施方案7的摄影图像处理方法的地图处理的说明图；图13是本发明实施方案8的摄影图像处理方法的说明图；图14是现有技术装置的基本构成图；图15是现有技术的灾害摄影系统的构成图；图16是现有技术的空摄图像及其部分放大图；图17是现有技术的灾害发生地点后的二维显示图；图18是现有技术的机上系统电气构成的方框图；图19是现有技术的灾害对应本部内的机器的电气构成方框图。
优选实施方案的详细说明实施方案1以下对本发明的概要进行说明。本发明中，通过个从空中对地上所拍摄的拍摄图像与地理信息系统(GIS＝Geographic Information System在计算机显示屏上显示地图的系统)的地图上进行重合显示，容易确认图像信息和地图之间的重合性，容易判断目标地点。但是，在从空中利用摄像机对地上进行拍摄的情况下，这种图像与摄像机的方向无关，通常只是一定的矩形形状，所拍摄的图像与通过地理信息系统得到的地图不能按原样重合(贴上)。在本发明中，通过用拍摄图像时摄像机的信息以及机体姿势信息而进行计算，根据摄像机相对于地上的姿势，由矩形向梯形或菱形的近似形状等，计算复杂变换拍摄的地表面的拍摄范围(＝拍摄画框)，将该画框与图像一起变形而贴在地图上，进行显示。
以下参照
本发明的实施方案1的摄影图像处理方法。图1是说明实施本发明的系统的各机能的方框形式的功能说明图，图2是说明地图处理的功能说明图。通过由安装有摄影装置(＝摄像机)等的直升机等的飞行体(＝机体)构成机上系统100、以及对从机上系统100发送的信号进行处理的在地上设置的地上系统200来实现本发明的方法。
在机上系统100中，机体101中安装了作为从空中对地上进行拍摄的摄影装置的摄像机102。机体101通过利用天线进行的GPS信号接收103而获得当前的位置信息，进行机体位置的检测108。机体101设有陀螺仪，检测机体101的姿势也就是仰角(＝间距)与滚动角，从而实现机体姿势检测107。
作为摄影装置的摄像机102，对地上进行摄影105，与该图像信号的输出同步的是，一并输出摄像机的光圈、变焦等摄像机信息。摄像机102安装在万向节上，该万向节检测摄像机的旋转角、倾角(＝倾斜角)，从而进行摄像机姿势的检测106，并进行输出。
利用调制手段对上述机体位置检测108的输出信号、机体姿势检测107的输出信号、摄像机摄影105的图像信号、摄像机信息信号、摄像机姿势检测106的输出信号进行多重调制109，变换为数字信号110，从有跟踪111功能的天线向地上系统200发送信号104。
地上系统200中，利用有跟踪202功能的天线从机上系统100接收信号201，进行信号变换203，经过多重解调204，得到图像信号及其他的机体位置、机体姿势、摄像机姿势、摄像机信息等信息信号。所得到的信息信号经过信号处理205，然后图像信号作为动画数据(MPEG)207、静止画面数据(JPEG)进行如以下步骤的地图处理206。其他的信息信号也用于地图处理206。
地图处理206具有图2所示的功能。地图处理206中，如图2所示，根据作为动画数据207和静止画面数据208的图像信号、机体位置、机体姿势、摄像机姿势的信息信号、以及地理信息系统的二维地图数据209、三维地势数据210进行处理。
地图处理206中，首先将空中的摄影位置按照三维的方式进行确定，根据摄影机和机体的相对于地表面的姿势，计算拍摄的地表面的摄影范围(＝摄影画框)，从而进行画框的计算212。将该画框与图像一起进行变形213。这种图像的变形是将图像与地图一致的进行梯形或菱形等近似形状的图像变形。然后将变形的图像在地理信息系统的地图上进行重合(贴合)214。然后，由CRT等监视器进行显示211。
图3是在地理信息系统的地图301上将摄影画框303与地图合在一起而重合摄影图像302的照片。304是机体飞行路径，305是机体位置(摄像机位置)。通过进行上述包括变形处理的地图处理206，如图3所示，图像与地图成高精度的一致，容易确认图像信息与地图的重合性，容易判断目标地点。
图3中，摄像机拍摄的画框的图像可在地图上重合显示，容易将摄影图像302去除画框303进行显示。这样，摄影图像302与二维地图重合。由此，核对(点击)根据拍摄图像302视觉确认例如灾害发生的场所(例如发生火灾的大厦)等的拍摄图像302上的这个位置，然后，可以迅速的识别出显示了仅消除画框303而显示的摄影图像302下的二维地图的摄影图像上的核对位置与地图上何处相当。与摄像机方向无关，监视器显示的图像沿一定的方向进行显示，容易判断目标地点。
实施方案2本实施方案中，测定机体101的目前位置，在地理情报系统地图上计算从机上拍摄的地上的拍摄画框，将该拍摄画框与拍摄的图像一同进行变形而贴合，在将拍摄图像与地图进行对照的时候，将连续拍摄的摄影图像按照预定的周期进行连续多张地抽样，将连续的多张图像与地理情报系统的地图上进行贴合显示，由该地图上贴合的图像确定目标的地点。
图4表示由这种方法得到的监视器显示画面，301是地图，304是机体飞行路径，305是机体位置(摄像机位置)。将由摄像机沿着飞行路径304拍摄的图像按照预定时序进行抽样得到各画框，将拍摄的图像与画框一起进行变形处理，贴在地图301上。302a-302f是贴着的图像，303a-303f是画框。
摄影画框的计算以及各画框和图像的变形，可以按照实施方案1的方式利用摄影时的摄像机信息及机体姿势信息进行计算。各画像的抽样周期根据机体的速度而改变。通常，机体的速度越快，抽样周期越短，机体速度越慢，抽样周期越长。
本实施方案中，根据地图以及多张连续图像对大范围的地表面状况进行确认，从而可以识别地上的状况，可以更有效地判断目标地点。
实施方案3在本实施方案中，测定机体101目前的位置以及摄像机102相对于机体的旋转角及倾角(摄像机的姿势)，根据该摄像机的姿势在地理信息系统的地图上计算从机上拍摄的地上的拍摄画框，将拍摄的图像与该摄影画框合并进行变形而贴合，将拍摄的图像与地图进行对照。
在本实施方案中，根据作为摄影装置的摄像机的姿势，计算摄影画框。通过确认拍摄图像与地图的位置关系，可以高精度的识别地上的状况。
机体101与摄像机102之间的关系如图5所示，摄像机102设置在万向节112中，假定机体101水平飞行，同(b)、(c)所示，摄像机102的倾角是从机体101的中心轴的倾角(＝倾斜角)，摄像机102的旋转角是相对于机体101的行进方向的旋转角度。即，在(b)的状态下，摄像机102垂直向下，倾角为0度，在(c)的状态下，摄像机102的倾角θ是距离垂直面的倾角。
摄像机的摄影画框的计算方法，是在计算机制图的基础上，在3D坐标内将矩形(画框)旋转移动并投影处理而得到的。基本来说，根据摄像机信息及机体信息对摄像机的摄影画框进行变换处理，而计算向地上投影的图框，得到需要的画框。3D坐标内的各坐标的计算方法采用以下的计算方法。
1)基准状态的摄影画框计算首先，如图6(a)所示，以机体的位置作为原点，计算画框4点位置的相对坐标。由摄像机的焦点距离、画角、高度，将摄影画框按照基准位置计算，得到4点的坐标。
2)按照摄像机倾斜(Z轴)计算4点旋转后的位置如图6(b)所示，摄影画框按照摄像机的倾斜角θ绕Z轴旋转，按照算式1进行变换而求得旋转后的坐标。
式1x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>
3)按照摄像机的方位角(Y轴)计算4点旋转后的位置如图6(c)所示，摄影画框按照摄像机的方位角θ绕Y轴旋转，按照算式2进行变换而求得旋转后的坐标。
式2x′y′z′1=xyz1cosθ0-sinθ00100sinθ0cosθ00001]]>4)对利用算式1和算式2旋转处理后的画框进行从原点(机体位置)向地表面(Y轴高度地点)投影的图框进行计算如图6(d)所示，通过将摄影画框向地表面(Y轴高度)投影，得到投影平面(摄影画框)。按照算式3进行变换而求得投影后的坐标。
式3x′y′z′1=xyz110000101/d00100000]]>利用算式4，得到一般的齐次坐标系[X，Y，Z，W]。d是海拔高度。
式4[X Y Z W]＝[x y z y/d]然后，利用W’(＝y/d)去除3D，代入算式5。
式5XWYWZW1=xpypzp1=xy/ddzy/d1]]>实施方案4在本实施方案中，测定机体101目前的位置、机体101的仰角和滚动角，利用该仰角和滚动角，在地理信息系统的地图上计算从机上拍摄的地上的拍摄画框，将拍摄的图像与该摄影画框合并进行变形而贴合，将拍摄的图像与地图进行对照。在本实施方案中，根据机体101的相对于地上的位置信息，计算摄影画框，通过确认拍摄图像与地图的位置关系，可以高精度的识别地上的状况。
机体与摄像机之间的关系如图7所示，假定摄像机102固定在机体101中(也就是不使用万向节)，如图(b)所示，在机体101自身从地上水平飞行的情况下，摄像机102垂直向下，摄像机102的倾角为0。如图(c)所示，机体101倾斜的情况下，根据摄像机102的姿势，也就是机体101的仰角(倾角)、滚动角计算摄像机的摄影画框。
1)基准状态的摄影画框计算如图8(a)所示，以机体的位置作为原点，计算画框4点位置的相对坐标。由摄像机的焦点距离、画角、高度，将摄影画框按照基准位置计算，得到4点的坐标。
2)按照摄像机滚动(X轴)计算4点旋转后的位置如图8(b)所示，摄影画框按照机体的滚动角θ绕X轴旋转，按照算式6进行变换而求得旋转后的坐标。
式6x′y′z′1=xyz110000cosθsinθ00-sinθcosθ00001]]>3)按照机体的倾角(Z轴)计算4点旋转后的位置如图8(c)所示，摄影画框按照机体的倾角θ绕Z轴旋转，按照算式7进行变换而求得旋转后的坐标。
式7x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>4)对利用算式6和算式7旋转处理后的画框进行从原点(机体位置)向地表面(Y轴高度地点)投影的图框进行计算如图8(d)所示，通过将摄影画框向地表面(Y轴高度)投影，得到投影平面(摄影画框)。按照算式8进行变换而求得投影后的坐标。
式8x′y′z′1=xyz110000101/d00100000]]>利用算式9，得到一般的齐次坐标系[X，Y，Z，W]。
式9[X Y Z W]＝[x y z y/d]然后，利用W’(＝y/d)去除3D，代入算式10。
式10XWYWZW1=xpypzp1=xy/ddzy/d1]]>实施方案5在本实施方案中，测定机体101目前的位置、摄像机102相对于机体的旋转角和倾角、该机体101的仰角和滚动角，由此，在地理信息系统的地图上计算从机上拍摄的地上的拍摄画框，将拍摄的图像与该摄影画框合并进行变形而贴合，将拍摄的图像与地图进行对照。在本实施方案中，根据摄像机的姿势信息以及机体的姿势信息，计算摄影画框，通过确认拍摄图像与地图的位置关系，可以高精度的识别地上的状况。
机体101与摄像机102之间的关系如图9所示，摄像机102安装在万向节112中，机体101按照自由的姿势飞行，如图(b)所示，输出万向节112形成的摄像机102的倾角和摄像机的旋转角。输出由陀螺仪形成的机体101自身的相对于地上的仰角和滚动角。
摄像机的摄影画框的计算方法，是在计算机制图的基础上，在3D坐标内将矩形(画框)旋转移动并投影处理而得到的。基本来说，根据摄像机信息及机体信息对摄像机的摄影画框进行变换处理，而计算向地上投影的图框，得到需要的画框。
3D坐标内的各坐标的计算方法采用以下的矩阵计算方法。
1)基准状态的摄影画框计算如图10(a)所示，以机体的位置作为原点，计算画框4点位置的相对坐标。由摄像机的焦点距离、画角、高度，将摄影画框按照基准位置计算，得到4点的坐标。
2)按照摄像机倾角(Z轴)计算4点旋转后的位置如图10(b)所示，摄影画框按照摄像机的倾斜角θ绕Z轴旋转变换，按照算式11进行变换而求得旋转后的坐标。
式11x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>3)按照摄像机的方位角(Y轴)计算4点旋转后的位置如图10(c)所示，摄影画框按照摄像机的方位角θ绕Y轴旋转变换，按照算式12进行变换而求得旋转后的坐标。
式12x′y′z′1=xyz1cosθ0-sinθ00100sinθ0cosθ00001]]>4)按照机体的滚动(X轴)，计算4点旋转后的位置如图10(d)所示，摄影画框按照机体的滚动角θ绕X轴旋转变换，按照算式13进行变换而求得旋转后的坐标。
式13x′y′z′1=xyz110000cosθsinθ00-sinθcosθ00001]]>5)按照机体的倾角(Z轴)计算4点旋转后(旋转角θ)的位置如图10(e)所示，摄影画框按照机体的倾角θ绕Z轴旋转变换，按照算式14进行变换而求得旋转后的坐标。
式14x′y′z′1=xyz1cosθsinθ00-sinθcosθ0000100001]]>6)对利用算式11-算式14旋转处理后的画框进行从原点(机体位置)向地表面(Y轴高度地点)投影的图框进行计算如图10(f)所示，通过将摄影画框向地表面投影，得到投影平面(摄影画框)。按照算式15进行变换而求得投影后的坐标。
式15x′y′z′1=xyz110000101/d00100000]]>7)利用算式16，得到一般的齐次坐标系[X，Y，Z，W]。
式16[X Y Z W]＝[x y z y/d]8)然后，利用W’(＝y/d)去除3D，代入算式17。
式17XWYWZW1=xpypzp1=xy/ddzy/d1]]>实施方案6在本实施方案中，测定机体101目前的位置、摄像机102相对于机体的旋转角和倾角、该机体101的仰角和滚动角，在地理信息系统的地图上计算从机上拍摄的地上的拍摄画框。在该摄影画框的4点的计算处理中，利用地势高度数据，通过对机体101的飞行位置进行补正而计算摄影画框。将拍摄的图像与该摄影画框合并进行变形而贴合，将拍摄的图像与地图进行对照。
在本实施方案中，根据机体的位置、高度、机体姿势信息以及摄像机的姿势信息，通过对地表面的高度地势信息进行补正，计算摄影画框，通过确认拍摄图像与地图的位置关系，可以高精度的识别地上的状况。
如图11所示，在前述实施方案5中，对向利用算式11-算式14旋转处理的地表面的摄影画框进行计算，所用的机体高度，是利用相对于由GPS得到的海拔高度的地表面的地势高度信息得到的摄影地点的地表面高度(相对高度d＝海拔高度－地表面高度)，计算摄影画框的4点。
1)对利用算式11-算式14旋转处理后的画框进行从原点(机体位置)向地表面(Y轴高度地点)投影的图框进行计算通过将摄影画框向地表面(Y轴高度)投影，得到投影平面。按照算式18进行变换而求得投影后的坐标。
式18x′y′z′1=xyz110000101/d00100000]]>利用算式19，得到齐次坐标系[X，Y，Z，W]。
式19[X Y Z W]＝[x y z y/d]然后，利用W’(＝y/d)去除3D，代入算式20。
式20XWYWZW1=xpypzp1=xy/ddzy/d1]]>如此使用的相对高度d，是从GPS装置得到的由地平线起的绝对高度中减去目标地点的地势高度得到的，利用摄影机的相对高度，高精度地计算摄影画框的位置。
实施方案7在本实施方案中，测定机体101目前的位置，在地理信息系统的地图上计算从机上拍摄的地上的拍摄画框。将拍摄的图像与该摄影画框合并进行变形而贴合，将拍摄的图像与地图进行对照的时候，对地图上胶合变形的拍摄图像选择连续的多张，连续的在地理信息系统的地图上进行胶合显示，由该地图上胶合的图像对目标地点进行指定。
在将多张摄影图像在地理信息系统的地图上进行胶合的处理过程中，根据所计算的摄影画框向变形的多张摄影图像的地图上进行配置，确认各摄影图像的重复部分的接合状态，为了使图像重合的情况最多，移动图像进行位置补正，使用该补正值在地理信息系统的地图上将摄影图像与摄影画框一起变形，进行贴合处理。
这种次序如图12所示。根据机体101的移动，重合所拍摄的例如两张拍摄图像1(A)和拍摄图像2(B)，检测重合部分，为了使图像重合的情况最多，将A和B相对移动，得到接合时的位置补正值，进行位置补正而接合。位置补正是进行图2的图像接合补正215。
在本实施方案中，将多张连续图像进行更高精度的接合，可以确认更广范围的地表面状况，可以识别地上的状况。
实施方案8在本实施方案中，测定机体101目前的位置、摄像机102相对于机体的安装角度和倾角、该机体101的仰角和滚动角，在地理信息系统的地图上计算从机上拍摄的地上的拍摄画框。将拍摄的图像与该摄影画框合并进行变形而贴合，将拍摄的图像与地图进行对照。
在进行这种处理的情况下，由机上系统100传送的各信息是完全同步的，因此地上系统200的接收就是重要的，为了实现这一点，调整飞行位置检测装置的处理时间、检测摄像机的因为万向节而形成的姿势的处理时间、图像传送的处理时间等处理时间，必须同步传送摄影图像。为了实现这一点，如图1所示，设置缓冲器，将机上的摄像机的摄影信号进行暂时存储113，使得GPS等的机体位置检测的计算处理时间的延迟同步地向地上系统200传送。
这种关系如图13所述。机体101接收GPS信号，机体位置检测完毕需要时间T，在这期间机体101由P1位置向P2位置移动。这样，在机体位置检测完毕之时，摄像机102的拍摄区域是相距在P1位置的拍摄区域为R距离的区域，因此产生误差。
这种修正的次序如图13(b)的时间图所示。从用于检测机体位置的GPS观测地点t1，在GPS计算时间T的期间，将图像信号暂时保存在缓冲器中，在t2时将暂时保存的图像信号、机体位置、机体姿势、摄像机信息等一同传送。
在本实施方案中，通过由摄像装置的安装信息计算摄影画框，确认摄影图像与地图的位置关系，从而更高精度的识别地上的状况。
根据如上所述的本发明，容易确认图像信息与地图之间的重合性，容易判断目标地点。
而且，利用地图和多张连续图像进行广范围的位置关系确认，可以识别地上的状况。
而且，由作为摄影装置的摄像机相对于地面的姿势计算摄影画框，从而可以确认摄影图像与地图之间的位置关系，可以更高精度的识别地上的状况。
在图形处理中，仅剩下画框在地图上进行重合显示，使与摄像机方向无关的沿一定的方向进行显示，因此容易处理图像，可以更加迅速识别地上的状况。
权利要求
1.一种摄影图像处理方法，由空中的机体(101)上安装的摄影装置(102)对地表面进行拍摄，从而识别该地表面的存在状况，其特征在于，对空中的摄影位置进行三维确定，计算求得拍摄的地表面的摄影范围，将该摄影范围与摄影图像一同进行变形后，将其在地理信息系统地图(301)上进行重合显示。
2.一种摄影图像处理方法，由空中的机体(101)上安装的摄影装置(102)对地表面进行连续拍摄，从而识别该地表面的存在状况，其特征在于，对空中的摄影位置进行三维确定，计算求得所连续拍摄的多张地表面的各摄影范围，将该各摄影范围与各摄影图像一同进行变形后，将该多张摄影图像在地理信息系统地图(301)上进行重合显示。
3.如权利要求2的摄影图像处理方法，其中重合的多张摄影图像其相互间有一部分重复接合。
4.如权利要求3的摄影图像处理方法，其中重复接合的摄影图像是在为了使该重复部分的重复状态最多而对摄影图像进行移动补正之后接合的。
5.如权利要求2的摄影图像处理方法，其中重合的多张摄影图像是对连续拍摄的图像按照预定的周期进行抽样而得到的。
6.如权利要求5所述的摄影图像处理方法，其中变更摄影图像处理装置的抽样周期。
7.如权利要求1或2的摄影图像处理方法，其中拍摄的地表面的摄影范围是根据上述摄影装置的相对于上述机体(101)的倾角和旋转角而计算求得的。
8.如权利要求1或2的摄影图像处理方法，其中拍摄的地表面的摄影范围是根据上述机体(101)的相对于地表面的倾角和滚动角而计算求得的。
9.如权利要求1或2的摄影图像处理方法，其中拍摄的地表面的摄影范围是根据上述摄影装置的相对于上述机体(101)的倾角和旋转角、以及上述机体(101)的相对于地表面的倾角和滚动角而计算求得的。
10.如权利要求1-9中任一项的的摄影图像处理方法，其中计算求得地表面的摄影范围之后，利用含有预先制成的地表面起伏的高度信息的三维地势数据得到上述摄影范围的地表面高度，从机体的绝对高度中减去地表面高度计算得到作为相对高度的摄影地点的高度，将该摄影范围与拍摄的图像一起变形，在地理信息系统地图上进行重合显示。
11.一种摄影图像处理方法，由空中的机体(101)上安装的摄影装置(102)对地表面进行拍摄，从而识别该地表面的存在状况，其特征在于，对空中的摄影位置进行三维确定，同步传送拍摄的图像、上述机体位置信息、摄像机信息、机体信息，在接收侧计算求得所拍摄的地表面的摄影范围，将该摄影范围与摄影图像一同进行变形后，在地理信息系统地图(301)上进行重合显示。
12.如权利要求1-11任一项的摄影图像处理方法，其中仅消除地图(301)上重合显示的摄影图像(302)的残余摄影范围画框。
13.如权利要求1-12任一项的摄影图像处理方法，所显示的图像的方向是沿着与摄影装置的方向无关的一定方向。
全文摘要
本发明提供一种摄影图像处理方法，它是为了解决在从空中拍摄图像向地上传送而在地上对地上的状况进行掌握的工作中，存在着难以判断所拍摄的图像在地图上的正确位置的问题。本发明的摄影图像处理方法是，由空中的机体上安装的摄影装置对地表面进行拍摄，从而识别该地表面的存在状况，其特征在于，对空中的摄影位置进行三维确定，计算求得拍摄的地表面的摄影范围，将该摄影范围与摄影图像一同进行变形后，将其在地理信息系统地图上进行重合显示。
文档编号G01C11/00GK1445508SQ0312068
公开日2003年10月1日 申请日期2003年2月25日 优先权日2002年2月25日
发明者野野山泰匡 申请人:三菱电机株式会社