图像修正装置、方法、程序、集成电路、系统的制作方法

专利名称：图像修正装置、方法、程序、集成电路、系统的制作方法
酶修I^^施、辦 誠鹕 系统
魷领域
本发明涉及对图f皿行修正的技术，特别是涉^m载在移动体中的照相机 所拍摄到的图像进行修正的技术。
背景駄
以往，广泛4顿着控制照相机的摄影位置和摄影方向，使得照相机會繊影
被摄体的技术。
例如，专利文献1中公开了一种入働体监控系统，鹏第一照相;R^魏 ^t^区域，基于摄影影像检测监控区域内的入侵者，雜制第二照相机的摄影
方向以鹏宗入侵者。财卜，专利文献2中公开了一种对ffi^区域内移动的移动
鹏载照相机，移动体自身一诞服斜皮摄体一鹏制照相机而摄M摄体的技术。
但是，对飞行体等移动鹏载照相机， 一边使移动体移动一舰行摄影时， 具有由于风等外部干扰而移动体移动，而对照相机的摄影影像产生不良影响的问 题。
例如，在一边使移动储动一鹏辭皮摄体时，若因为外部干扰而移动体移 动，从而脱离了原棘織行驟的錢而进行摄影，贝杯能所期望的那样拍摄 被摄体。例如，被摄糊摄得小，或者拍摄在了摄影图像中的不期望的位置上。 在现有技术中，以照相机固定、移动体會嫩稳定移动为itr^，但是外部干扰对于 摄影图像的不良影响很大，不肖l忽M^影响。
为了顿这样的外部干扰的不良影响，以前鹏了机^s制移动体，使得移 动体售嫩对于外部干扰稳定地飞行来摄^^摄体的技术。例如，在观测照相机的 领域中，有一种在气球等飞行体中搭载照相机，使飞行條空中稳定后摄影地面 的技术。在下述的专利文献3中公开了一种)i^^^a悬,，即使气,动也 倉,利用自重而恢复到原来姿势，同咏!繊影體的摄影方向远禾驟制为任意朝 向，来驟目极汤所的技术。
专利文献l:日本公开专利公报特开2001-319279号公报
专利文献2:日本公开专利公报特开2004—328484号公报 专利文献3:日本公开专利公报特开昭60—53942号公报 战的现有技术是即使有外部干扰，3!3ffi制为照相机的摄影位置返回到原
来的摄景^g，也g继行原来期望的摄影的技术。
但是，大部分膚况下外部干扰没有规律性，不冑,将外部干扰模式化，并且
直到移动体稳定飞行需要时间。这期间就不能得到原来期望的摄影结果。即，难
以避妙卜部干i^合予的不良影响。
此外，已经提出了一种基于移动体中搭载的照相m^拍摄至啲影像来控制移
动体和照相机的技术。但是，在该情况下，难以基于影像来判断拍摄到的影像是 原来期望的影像，还是鈔卜部干衞糊,望的影像。

发明内容
因此，本发明的目的在于麟一种在利用搭载了照相机的移动体进行摄影的 情况下，即使有外部干扰的不良影响，也能输出原来期望的图像的图像修正装置。 为了解决上述问题，本发明的一种图像修正装置，对由搭载于移动体的照相
机摄影而生成的图《魏行修正并输出，^f寺征在于，具有图像取得单元，取得 J^照相机驗的摄影图像；差分取得单元，取fmS差分信息，该位置差分信
息表示鄉行了J^影图像的摄影的时点的战照相机的照相机位置与船旨定
的照相机，的差分；决定单元，基于.h^被存储着的J:^^a差分信息，对用
于从Jl^摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输 出图像提取范围；修正图像输出单元，AU^摄影图像中提取，所决定的输出 图像提取范围的图像，并输出。
发明效果具有，结构的图像修正装置从摄影图像中提取规定的图像提取 范围的图像并输出。由于将图像提取范围的图像作为输出图像，因此，摄影图像 是尺寸大于输出图像的图像。因此，即使摄影时的照相机錢与指定的照相机位 置有差分，若该差分为规定的大小以下，则在摄影图像中包含有在从指定的照相 机皿进行了摄影时作为输出图像来输出的图像。根据位置差分的大小和方向来 确定该图像在摄影图像中的位置和范围。
从而，即棘夕卜部干扰的影响，根据錢的差分，爐影图像中特定输出图 像提取范围的位置和范围，由此图像修正装置會滩输出原来期望的没有外部干扰 的不良影响的图像，所述输出图像提取范围包含有从指定的照相机位置进行了摄 影时作为输出图像来输出的图像。 J^构具体地，为如下。
艮P，本发明的图像修正體也可以是，战图像提取范围，根据基准点而被 确定该图像提取范围的在摄影图像中的位置，，图像修正，进一步具有照 相机信息取得单元，取得摄影方向信息，该摄影方向信息表示在进行了上述摄影 图像的摄影的时点的上逸照相机在照相机位置的，照相机摄影方向、或在，
被指定的照相机位置的上jim相机的摄影方向中的至少一个，，决定单元包括:
分解部，根据J^^f取得的Jl^摄影方向信息，将战健差分信息所表示的上 述差分，分解为，摄影方向信息所表示的上述摄影方向的成分和正交于上述摄 影方向的平面的成分；图像尺寸计算部，根据战摄影方向的成分，对，标准 的图像提取范围的尺寸进行修正，并将〗虔正后的尺寸决定为输出图像提取范围的 尺寸；图像基准点计算部，根据正交于，摄影方向的平面的成分，使，标准
的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的
基准点。
位置差分中的照相机的摄影方向的成分总之表示实际进行了摄影的照相机位 置比指定的照相机位置舰还是远离于摄影赠面。当然，若实际的照相机位置 比指定的照相机位置,于摄影,面，则被摄体就拍摄得大于期望的大小，若 实际的照相机位置比指定的照相机，远离于摄影，面，则被摄体就拍摄得小 于期望的大小。
从而，皿基于位置差分中的照相机的摄影方向的成分来决定输出图像提取
范围的尺寸，育,4M出图像中的被摄体的大小成为原来期望的大小。
从而，通过基于位置差分中的正交于照相机的摄影方向的平面的成分，总之,从 实际的照相机^a摄影时的摄影)^面与从指定的照相机^s摄影时的摄影)^a 面偏离了多少。
从而，通过基于^a差分中的、正交于照相机的，方向的平面的成分来决 定输出图像提取范围的基准点，會^在输出图像提取范围中包含在从指定的照相 ^u^a,时输出的图像。
具体地说，在用以战被指定的照相机隨为起点、并以进行了J^M^图 像的摄影的时点的照相机位置为终点的向量表示了，位置差分信息所表示的上
體分时，正交于上述摄影方向的平面的成分是将战向量投驗正交于战摄 影方向的平面上的職向量，战图f縫准点计算部，根据J^投影向量的大小， 计算上述移动的基准点的移动量，并使，标准的图像提取范围的基准点，向上 述投影向量在正交于±^摄影方向的平面上表示的方向的相反方向移动±^计算 出的移动量的量。
此外，只要如下即可战照相机信息取得单織一步取得面角信息和距离 信息，所述面角信息表示,行了，摄影图像的摄影的时点的上述照相机在照 相机位置的，照相机的面角、或在上述被指定的照相机位置的上述照相机的面 角中的至少一个，所淑巨离信息表示，行了，摄影图像的摄影的时点的， 照相机位置到摄影对象的距离、或Jl^被指定的照相机位置到摄影对象的距离中 的至少一个，
，图^S准点计算部，根据，所取得的±^面角信息和±^巨离信息， 计算摄影范围的大小，并根据J^M^范围的大小与J^S^向量的大小的比率， 计算出id^基准点的J^移动量。
使基准点移动的方向和移动量根据i^投影向量而被确定。基于投影向量来 决定输出图像提取范围的基准点，由此胄,更高精度i爐行Ji^决定。艮卩，會滩 提高输出原来期望的图像的精度。另外，若考虑照相机的面角和从照相机位置到 摄影X^面的距离来计算基准点的移动量，就能够更正确地计算出输出图像提取 范围的，点。
此外，皿差分中的照相机的摄影方向的成分如上戶，，是表示实际的照相 机隨与原来的照相机位置相比至撅影赠面舰题的成分。具体地说，关于 如何决定输出图像提取范围，如下进行即可。
艮口，在用以Jl^被指定的照相机錢为起点、并以进行了Jt^M影图像的摄 影的时点的上逸照相机的照相机位置为终点的向量表示了上述差分时，，图像 尺寸计算部，在上述向量的摄影方向的成分的方向与Jl^摄影方向信息所表示的 ，摄影方向为相同方向的情况下，放大上述尺寸；在，向量的摄影方向的成
分与，摄影方向信息所表示的上^摄影方向为相反方向的情况下，縮小上述尺 寸，并进行战尺寸的决定。
由于具有上述结构的图像修正^g根据实际的照相机位置与指定的照相机位
置相比到摄影膽面iffi题，来放大或縮小输出图像提取范围的尺寸，因此，
在从指定的照相机位置摄影的情况下和从实际的照相机位置摄影的情况下，都能 够使被摄体的大小一致。即，倉嫩输出原来期望的图像。
更具体地说，只要如下即可，战图像尺寸计算部包括倍率决定部，并且按 照决定的倍率来修正上述标准的图像提取范围的尺寸，所述倍率决定部根据，
摄影方向的成分的大小，决定上述尺寸的修正倍率。
此外，用以，被指定的照相机位置为起点、并以进行了上述摄影图像的摄 影的时点的上述照相机的照相机位置为终点的向量来表示上述差分，并设上述向 量的摄影方向的成分的大小为a，而从上述被指定的照相机健至礙影赠的距离 为b， 上述照相机信息取得单元，进一步取得表示上述被定的照相机隨至i撮 影对象的距离的距离信息，，倍率决定部，在，向量的摄影方向的成分的方 向与上述摄影方向信息所表示的战摄影方向为掘相同方向的情况下，将战 倍率决定为b/ (b-a);在上述向量的摄影方向的成分的方向与上述,方向信 息所表示的摄影方向为相反方向的情况下，将Ji^倍率决定为b/ (bfa)。 通过这样，肯滩更准确地决定输出图像提取范围的尺寸。 但是，有时输出图像的尺寸最好为一定。因为有时由于图像显示软件或硬件 的制约，會辦显示的图像尺寸的宽度会受限制。但是，在M图像尺寸计算部而 输出图像提取范围的尺寸变更了时，若直接输出提取的图像，则会输出变更后的 图像尺寸的图像，输出图像的图像尺寸变得不一定。
因此，最好上述修正图像输出单元包括输出图像尺寸调节部，该输出图像尺 寸调节部M述摄影图像中提取上述输出图像提取范围，并将提取的图像放大或 縮小成由上述图像尺寸计算部决定的上述倍率的倒数倍的尺寸的图像，输出通过上述输出图像尺寸调节部成为了上述倍率的倒数倍的尺寸的图像。 通过这样做，能够使输出图像的图像尺寸一定。 此外，也可以考虑照相机的滚动操作来^输出图像提取范围。 既，也可以是，上述照相机倉,进行使摄影范围以摄影方向为旋转轴旋转的 滚动操作，，图像修正装置进一步具有滚动角信息取得单元，取得滚动角信 息，所述滚动角信息是将进行了上述摄影图像的摄影的时点的、进行了滚动操作 的旋转量用角度表示的，上述决定单元，根据上述位置差分信息和，取得的上
述滚动角信iaa行^M修正，从而进行上述输出图像提取范围的战决定。 具体地说，也可以是，上述滚动角信息取得单元进—步取f射旨定滚动角信息，
15
该指定滚动角信息表示J^被指定的照相机位置的进行了滚动操作的旋转量，上 述决定单元包括差分旋转量计算部，计算差分旋转量，^M差分旋转量表示上 述取得的上述滚动角信息所表示的旋转量与Jl^指定滚动角信息所表示的旋转量 的差分的旋转量，根据由上,分旋转量计算部计算出的上,分旋转量所表示 的旋转量，使根据J^位置差分信息而进行了战修正的范围的图像提取范围旋 转，将旋转后的图像提取范围决定为Jl^输出图像提取范围。
此外，也可以是，，图像提取范围，根据基准点而被确定该图像提取范围 的在摄影图像中的位置，上述决定单元包括图像基准点计算部，根据，位置 差分信息，决定使，标准的图像提取范围的基准点移动的方向和移动量；图像 基准点修正部，使上述图像基准点计算部决定的方向和移动量所表示的，移动 后的点，以基于，标准的图像提取范围的基准点的点为旋转中心，向与±3^滚 动角信息表示的旋转方向相反的方向旋转，滚动角信息所表示的旋转量的量， 使将由上述图像基准点修正部进行了上述旋转的点作为基准点时的图像提取范 围，以基预行了战旋转的点的点为旋转中心，向与J^分旋转量的旋转方 向相反的方向旋转±^分旋转量计算部计算出的±^差分旋转量所表示的旋转 量的量，并将旋转后的图像提取范围决定为输出图像提取范围。
具有，结构的图像修正装置，在从实际的照相机^S摄影时进行了照相机 的滚动操作的情况下，也肯,考虑该滚动操作，将包含原来期望的图像的范围决 定为输出图像提取范围。
此外，抓实际的照相机錢的摄影和从指定的照相机體的摄影中，摄影 方向不平行的情况下，如下进行即可。
艮P，也可以是，战图像修正體进一步具有驗方向^ft息取得单元， 取得摄影方向m^信息，朋，影方向，信息表示在进行了Jl^影图像的摄 影的时点的，照相机的摄影方向与，被指定的照相机位置上的摄影方向的误
差，上述决定单元，根据J^取得的摄影方向聽信息和战錢差分信Ui行
，修正，从而进行i^输出图像提取范围的，决定。
具体地说，也可以是，，图像提取范围，根据Sm点而被确定该图像提取 范围的在摄影图像中的位置，上述图像修正，进一步具有照相机信息取得单 元，取得摄影方向信息，0 ^摄影方向信息表示鄉行了±^摄影图像的摄影的 时点的，照相机在照相机位置的上述照相机的,方向、或在上述被指定的照
相机位置的上述照相机的摄影方向中的至少一个，上述决定单元包括分解部，
根据上述所取得的上述摄影方向信息，将战^a差分信息所表示的ji^分， 分解为，摄影方向信息所表示的JJi摄影方向的成分和正交于，摄影方向的
平面的成分，并且将上述摄影方向i^信息所表示的，摄影方向的误差，分解
为上述摄影方向信息所表示的±^影方向的成分和上逸正交的平面的成分；图
像尺寸计算部，根据i^差分的，摄影方向成分和Ji3i摄影方向的误差的Ji^
摄影方向成分，对，标准的图像提取范围的尺寸进行修正，并将修正后的尺寸 决定为输出图像提取范围的尺寸；图像基准点计算部，根据J^分的战正交 的平面的成分和，摄影方向误差的上述正交的平面的成分，使，标准的图像 提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。
在摄影方向有误差的情况下，该摄影方向的， 也倉嫩分解为照相机的 摄影方向成分和正交于摄影方向的平面的成分，因此，育,考虑摄影方向的體 来决定输出图像提取范围。
此外，在移动体进行横摇或纵摇等运动，该运动的量的差是指定的照相机位 置与实际的照相机位置的情况下，有时因为该运动的影响而照相机的摄影方向偏 离了原来期望的方向。例如，假设期望在指定的照相机位置不进行纵摇，但是在 实际的照相机^g上移动体却进行了纵摇，则摄影方向就能产生该纵摇的量的误
差。该瞎况下，若最终也如上戶/im将摄影方向的體分解为摄影方向成分和正
交于摄影方向的平面的成分，则會辦决定输出图像提取范围。
艮P，也可以是，战图像修正體进一步具有运动^^言息取得单元，取
得移动体运动體信息，戶;M移动体运动聽信息表示^a行了战摄影图像的 摄影的时点的，移动体与，被指定的照相机位置上的移动体的横摇角度、纵 摇角度以及偏摇角度的差分的至少一个，，决定单元，根据，取得的皿差 分信息和，移动体运动^信息进行Jl^修正，从而进行，输出图像提取范 围的，决定。
具体地说，也可以是，，图像提取范围，根据基准点而被确定该图像提取
范围的在摄影图像中的隨，战图像修正装置进一步具有照相机信息取得单
元，取得摄影方向信息，戶;f^摄影方向信息标舰行了战摄影图像的摄影的 时点的上逸照相机在照相机位置的上述照相机的摄影方向、或在，被指定的照
相机位置的，照相机的摄影方向中的至少一个，，决定单元包括分解部，
根据Ji^0f取得的战摄影方向信息，将战隨差分信息所表示的i^分， 分解为±^摄影方向信息所表示的，摄影方向的成分和正交于±^摄影方向的 平面的成分，并且将战移动体运动體信息所表示的上體分，分解为战摄
影方向信息所表示的，摄影方向的成分和上述正交的平面的成分；图像尺寸计 算部，根据±^健差分信息所表示的±^分的战摄影方向成分与战移动 体运动體信息所表示的J^分的战摄影方向成分的和，对上述标准的图像 提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸； 图像基准点计算部，根据战位置差分信息所表示的i^分的上述正交的平面 的成分与，移动体运动^信息所表示的Jl3t差分的上述正交的平面的成分的 和，使Jl^标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出 图像提取范围的基准点。
由此，肖镞考虑移动体的运动的^^决定输出图像提取范围。 此外，本发明也可以是，战图像提取范围，根据基准点而被确定该图像提 取范围的在摄影图像中的位置，上述决定单元包括图f縫准点计算部，该图f縫 准点计算部根据战隨差分信息所表示的健的差分，使战标准的图像提取 范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。
例如，也可以是，在指定的照相机隨和实际的照相机健上，健差分中 的摄影方向的成分小而可以忽祁对摄影图像的影响的程度的情况下，仅决定输出 图像提取范围的體，而图像尺寸保持不变。由此，肯嫩1繊出图像提取范围的 决定高速化。
jtwh本发明也可以是，，决定单元根据Ji^ia^分信息所表示的^s
差分，放大^缩小战标准的图像提取范围的尺寸，并将放大或縮小后的尺寸决 定为输出图像提取范围的尺寸。
例如，也可以是，在指定的照相机位置和实际的照相机位置上，^a差分中 的正交于摄影方向的平面的成分小而可以忽视对摄影图像的影响的程度的情况 下，仅决定输出图像提取范围的尺寸，而基准点的體保持不变。由此，倉,使 输出图像提取范围的决定高速化。
此外，本发明具体地由以下构j^实现，，移动 据指^言息，謝 动和Jl^照相机的摄影，所述指令信息表示，移动体应该移动的路线，上述图 像修正装置进一步具有取得，指令信息的指^言息取得装置，，被指定的照
相机^s^ji^指^t息所表示的路线上的^a。 此外，作为本发明的实施方式，也可以如下。
艮P，也可以是，战图像修正錢进一步具有图像修正信息取得单元，取
得图像修正信息并存储，戶皿图像修正信息是将修正，标准的图像提取范围的 修正方法与i^M分相对应的，，决定单元，^±^存 的上述图像修正信 息中，读出与i^位置差分信息所表示的差分相对应的战修正方法，并按照上 m应的J^修正方ffia《亍，决定。
具体地说，也可以是，战图像提取范围，根据難点而被确定该图像提取 范围的在摄影图像中的位置，上述图像修正信息与J^分相对应并存储，输 出图像提取范围的尺寸和基准点的位置，上述决定单元将，图像修正信息所表 示的，尺寸和Jl^基准点的位置，决定为，输出图像提取范围。
在该瞎况下，由于预先取得并存储如何根据位置的差分来决定输出图像提取 范围，因此，不需要计算输出图像提取范围的位置和尺寸的处理，肯激使处理高速化。
1tM卜，本发明也可以如下。
艮口， J^移动体M:照相机的摄影^^像，
上述图像修正^K13il:述决定单元，对构^±^被生成的影像的各图 行上
述输出图像提取范围的i^决定，战修正图像输出单元包括影像输出部，该影 像输出部提舰各图f魏行了Jl^决定的输出图像提取范围的图像，并作为影像 糊出。
由此，图像修正驢就會镞修正移动糊摄至啲影像，输出修正后的影像。 此外，本发明也可以如下。
艮p，本发明也可以是一种图像修正系统，对由搭载于移动体的照相机摄影而
&戎的图像进行修正并输出，，征在于，包括位置指定接收单元，接收照相 机位置的指定；^fi指定信息存储单元，胃关接收到的指定的照相机^S存储 为位置指定信息；移动车爐信息取得单元，取得表示战移动体实&滩动了的路 线的移动车A^信息；皿差^H十算单元，根据J^位置指定信息和J^取得的移 动執迹信息，计算，行了上述摄影图像的摄影的时点的上逸照相机的照相机位 置与J^被指定的照相机位置的差分；决定单元，根据由上述位置差分计算单元
计算出的Jb3^分，对用于i^U^影图像中提取输出图像的标准的图像提取范
围进行修正，并决定为输出图像提取范围；
修正图像输出单元，从J^摄影图像中提取，决定的输出图像提取范围的 图像并输出。
由此，即使在移动体拍摄了图像之后，也可以后来指定移动体应该移动的路 线，并输出如果移动体从指定的路鄉行摄影所得到的输出图像。
此外，本发明的一种图像修正方法，对由搭载于移动体的照相机摄影而生成 的图f織行修正并输出，其特征在于，包括图像取得步骤，取得战照相机拍 摄到的摄影图像；差分取得步骤，取得位置差分信息，该位置差分信息表示在进 行了上述摄影图像的摄影的时点的，照相机的照相机位置与被指定的照相机位 置的差分；决定步骤，根据，存储着的，feS差分信息，对用于;")Ul述摄影 图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范 围；修正图像输出步骤，从J^摄影图像中提取，决定的输出图像提取范围的 图像并输出。
itl^卜，本发明的一种控制程序，用于使图像修正,进行对由搭载于移动体 的照相机摄影而生成的图像进行修正并输出的图像修正处理，其特征在于，， 控制禾歸包括图像取得步骤，取得Jl^照相机拍摄到的摄影图像；差分取得步 骤，取MM差分信息，该位置差分信息表示鄉行了，摄影图像的摄影的时 点的上述照相机的照相机位置与被指定的照相机位置的差分；决定步骤，根据上 述存储着的上述位置差分信息，对用于;f^U^摄影图像中提取输出图像的标准的 图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出步骤，从上 M^图像中提^LM决定的输出图像提取范围的图像并输出。
it&卜，本发明的一种集成电路，执行对由搭载于移动体的照相机摄影而生成 的图^iS行修正并输出的图像修正处理，其特征在于，包括图像取得部，取得 ±3^照相机拍摄到的摄影图像；差分取得部，取得，差分信息，该位置差分信 息表示,行了上述摄影图像的摄影的时点的，照相机的照相机位置与被指定 的照相机位置的差分；决定部，根据战剤綺的Jl^健差分信息，对用于从 ，摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图 像提取范围；修正图像输出部，i^U^ffi影图像中提Wl^决定的输出图像提取 范围的图像并输出。


图1是^本发明的结构概要的图。
图2是g照相m^标系的图。
图3是^^动体2的结构的功能框图。
图4是^^iS误差向量的计算的一例的图。
图5是表示方向误差向量的计算的一例的图。
图6是标图像修正體1的结构的功育離图。
图7是表示指^t息70的图。
图8是^^^g差^H言息80的图。
图9是将移动体2在各时刻应该位于的坐标3卩移动体2实际移动了的移动路 线投驗xy平面上的图。
图10是将移动体2在各时刻应该位于的坐标和移动体2实际移动了的移动路 线投皿xz平面上的图。
图n是^m图像信息90的图。
图12是表g动体2的动作的流程图。
图13是^图像修正，1的动作的流程图。
图14是表示在实际的照相机位置与原来的照相机，一致的情况下，图像修 正处理部14决定图像提取范围的过程的图。
图15是^在^S^向量正交于^^方向的情况下，图像修正处理部14 决定输出图像提取范围的过程的图。
图16是表示摄影m面中的原来的照相机^fi和实际的照相机^S的摄影 范围的图。
图17是表示在，，向量的方向与^^方向一致的情况下，图像修IHh理 部14决定输出图像提取范围的过程的图。
图18是表示在^S，向量的方向，影方向的反方向的情况下，图像修正 处理部14决定输出图像提取范围的过禾呈的图。
图19是g图像修正处理部14 M^S^M向量，为m方向成分和正交 平面成分而决定输出图像提取范围的处理的过程的图。
图20是 ^^^例1的概要的图。
图21是^^^^例中的^g，向量的计算的一例的图。 图22是表示后来指定移动体2的移动路线时的结构的一例的图。 图23是表g动fA^:信息70a的图。
图24是表示滚动角度不同的情况下的、原来的照相机皿和实际的照相机位 置的摄影范围的图。
图25是表示滚动角度和摄^S不同的情况下的、原来的照相机，和实际 的照相机，的摄影范围的图。
图26是表示有摄影方向^^向量时的照相机皿和摄影)^面的图。
^W月
1图像修正體
2移动体
3移动指^S
4显示器20移动体主体
21气球
22螺旋桨
23云台
24照相机
201指令信息取得部
202位置體计算部
203位置管理部
204GPS
205方向^^计算部
206方向管理部
207陀螺仪
208位置差^Ht息^t部
209螺旋桨动力修正部
210螺旋桨动力控制部
211驟角度修正部
212摄影角離制部
213摄影图像取得部 214摄影图像信息縱部 1000图像修正體
ioio图像i彦!Bh理部 1011健差分信息取得部
1012摄影图像信息取得部 1013照相机信息取得部 1101图像中心点计算部
■图像尺寸计算部
1015图像输出部 2000照相丰)1^S 扁路线指定體
以下，关于本发明，以图像修正體1为中心进行说明。 1. l鹏
本发明的图像修正體1对由麟在移动体2中的照相机24所拍摄至啲图像 进行修正并输出。移动体2例如是充气^^^飞行体。以下，以移动体2是充气 气球的情况为例进考亍说明。移动体2搭，照相机24。在室内和公园等场所，移 动体2按照与移动指4^置3进fi^信而得到的指刮言息70进《豫动和摄影。
图1是,本发明的结构^t要的图。
图l中，了图像修正，l、移动体2和移动指令，3。 首先，依次简单地说明移动指4^置3、移动体2和图像修正装置1所， 的功能。
1. 1. 1移动指^S3的概要
移动指，置3指令移动体2应该移动的路线和照相机24的,方法。具体 地说，向移动体2发送包含着有关移动体2应该移动的移动路线和照相机24的摄 影方法的信息的指^f言息70。再有，移动指4^fi 3也向图像修正CT 1 ，指
1. 1. 2移动体2的概要
移动体2 ^ii^制柳的移动，使得即使受风等外部干扰的影响，也髓移 动指令装置3所指令的路线，一iiit行基于照相机24的摄影。
具体地说，移动体2从移动指錄置3接收指令信息70，并根据指令信息70 中所示的移动路线和皿方法，^^制Wl以使进^^动和，。
移动体2在上部具有气球21，在下部具有云台23和照相机24，在后部具有 螺旋桨22。移动体2依次取得;WL的位置，并将与指^息70中示出的移动路线 的聽i操为健差分信息幼。在受到风等外部干扰的影响而移动体20的錢脱 离了指^t息70中示出的移动路线的情况下，控制螺旋桨22，以使其修正位置的 i^而返回到，移动路线上。
形卜，移动体2 Mil云台23控制照相机24的摄影方法，以使照相机24根据 指^K言息70中示出的摄影方法进行摄影。对由照相机24拍摄至啲图像附加^i只 符并存^诸图像，生自拍摄时间和Jb^莉只符相对应的摄影图像信息90。摄影图 像信息90劍TW理由照相机24拍摄到的图像的信息。
移动体2向图像修正體1縱驗图像、錢差分信息80和摄影图像信息90。
1. 1. 3图像修正體1的概要
图像修正装置1取得移动体2 m的摄影图像、位置差分信息80和摄影图像 信息90。在^SM分信息80中，移动体2实际所处體和原来应该处于的位置的 误差、与时刻相对m被表示。图像修正装置1基于该误差，修正各时点拍摄到 的摄影图像。
1.1.4移动体2的^g和照相机24的摄影方向的表现
关于移动体2的皿和照相机24的摄影方向进行补充。
用实际空间上的三纟t^标^^现移动体2的位置。将实际空间上的三维坐标 系称作^^坐标系。在图1中将^^坐标系表示为(x， y， z)。
，在实施方 式1中，将xy平面作为平行于地表的平面，将z轴作为高度方向。
Jtk^卜，用以照相机24为坐标原点的照相m^标系3fc^现照相机24的,方向。
图2是g照相IH^^示系的图。
图2 (a)是移动体2的牵淋见图。如图2 (a)戶标，照相,标系以照相机24为原点，由p轴、q轴、r轴三W站勾成。在本实施方式中，将连接移动体2的前 部和后部的方向作为p轴，将连接移动体2的上部和下部的方向作为r轴。假设所 述p轴和r轴正交(直交)。将正交于由p轴和r轴构成的平面的方向作为q轴。 即，照相輕标系将移动体2的前后方向的轴表示为p轴，并且，将移动体2的 左右方向表示为q轴，将上下方向的轴标为r轴。另外，关于各轴的正方向，例 如，p轴将从移动体2的后部向前部的方向作为正。q轴将从移动体2的右侦)j面向 左侧面的方向作为正。r轴将从移动体2的下部向上部的方向作为正。
图2 (b)是移动体2的正视图，图2 (c)是移动体2的后视图。
照相机24的摄影方向是以照相,标系的原点为起点的单位向量，使用p、 q、 r各轴的成^^为"(p， q， r)"。例如，在照相机24的職方向是"(1 ， 0， O)"的情况下，照相机24朝向移动体2的前方。在照相机24的摄影方向是"(0， 1， O)"的情况下，照相机24朝向移动体2的左方。
1. 1. 5鄉方式1的鹏餅
匕，说明实施方式1的 割牛。
首先，说明关于移动体2的运动的 劍牛。
如移动体2的飞行体的运动主要分为横摇、纵摇和偏摇。
移动体2以前后方向的轴即p轴为中心旋转的运动称作移动体2的横摇。总 之，是移动体2向右和左倾斜的运动。
移动体2以贯穿移动体2的左右侧面的轴方向即q轴为中心旋转的运动称作 纵摇。总之，是移动体2上下摇机首的运动。
移动体2以移动体2的上下方向的轴即r轴为中心旋转的运动称作偏摇。总 之，是移动体2左右摇机首的运动。
在实施方式l中，假设移动体2具有难以发生移动体2的横摇和纵摇、或者 即4拨生了横摇和鋭岳也立即返回到原来的平衡，的'IM。即，移动体2具有 横向稳定和纵向稳定都良好的结构。另外，以前广泛研究并公开了提高移动体2 等飞行体的横向稳定性和纵向稳定性的技术，由于不是本发明的特征部分，因此 省略详细的说明。
接着，说明关于照相机24的操作的M劍牛。
搭载于移动体2的照相机24育,进行慨孝機作、摇镜 作和滚动操作。将 使照相机24以移动体2的上下方向的轴为中心5辦的，称作摇镜头操作。徵行
摇镜头操作，则从移动体2看的情况下，俛照相机24朝向移动体2的左方或者右 方。JM^卜，機作照相机24对于由p轴和q轴构成的平面的慨斜的，称作倾余機 作。若进行慨，作，贝l纵移动体2看的情况下，使照相机24朝向移动体2的上 方或者下方。财卜，将使照相机24以照相机24的摄影方向的轴为中心旋转的， 称作滚动操作。
在实施方式l中，假设照相机24进行倾斜操作和摇镜錄作，不进行照相机 24的滚动操作。
另外，实际上，移动体2在移动时进行上升和下降、左旋转和右旋转等，因 此皿行横摇和纵摇，但是，假设横摇和纵摇给予照相机的摄影图像的影响小到 可以忽视的程度。艮P，假设是摄影图像犹如进行了滚动操作一样不至于产生不良 影响的运动，戶腿不良影响指的是因为大旋转，例如，尽管想水平摄影地平线， 但地平线在摄影图像中摄影成倾斜等。或者，假设在因为横摇和纵摇而移动体2 倾斜了的情况下，考虑该倾斜而自动 行照相机的滚动操作，以使不旋转到摄 影图像不能忽视的程度。
以下，依次说明移动体2和图像修正體1的结构。另外，移动指令體3 只要具有^I指4K言息70的通信功能即可，由于结构要素中并没有特殊的特征， 故省略结构的详细说明。
1. 2移动体2的结构
具体地说明移动体2的结构。
图3是^^动体2的结构的功會離图。
如图3所示，移动体2由移动体主体20、气球21、螺旋桨22、云台23和照 相机24构成。另外，具有气球、螺旋桨、云台和照相机的移动体从以私辦拥于 各种各样的场合。例如，在大楼内部和對卜等发生了灾害时，肚彌影人不能 踏入的危险地带的情况下广忍也利用。从而，省略移动体2的具体安装、即气球 的大小和移动体2的M^的说明。
1. 2. l气球21
如上所述，在移动体2的上部具有气球21。在本实施方式中，如上戶; ^也设 气球21为充气，。在气球21中封装着比空气轻的气体，例如氦气，将倉的多使 移动体2漂纟ffi空中的浮力H^^^动体2。
1. 2. 2螺麟22
如上戶腿，在移动体2的后部具有螺旋桨22。移动体2 Miffi制螺旋桨22， 育,制移动体2的移动。 1. 2. 3云台23
云台23使照相机24的職角度可动。艮卩，倉镞ih照相机24进行摇镜條作 和倾余鞭作等。
1. 2. 4照相机24
照相机24拍摄比原来魏影的画面大角度的图像。例如，拍摄图像摄影范围 是输出图像所要求的摄影范围的2 4倍左右的大角度的图像。 1. 2. 5移动体主体20
移动体主体20由CPU (Central Processing Unit:中央处理器)、ROM (Read Only Memory:只读存储器)和RAM (Random Access Memory:随机存取存储 器)等构成，Mm行计^i^辨雜制螺方媒22、云台23及照相机24的动作。 Ith^卜，具有通信功能，与移动指令装置3和图像修正装置l逝fil信。
移动体主体20具体地由指^言息取得部201、 OT聽计算部202、錢管 理部203、 GPS204、方向聽计算部205、方向管理部206、陀螺仪207、 分信息錢部208、螺旋桨动力修正部209、螺旋桨动力控制部210、摄影角度修 正部21K摄影角度控制部212、 m图像取《寻部213、以^S摄影图《象信息，部 214构成。
1. 2. 6指維舰得部201
指4K言息取得部201具有通ff^能，与移动指^g 3进fi^信。 具体地说，指^t息取得部201取得从移动指令^g 3 ，的指令信息70。 1, 2. 6. l指m良70
匕为了方便以后的说明，详细地说明指^t息70。 图7是^^指^K言息70的图。
如图7 (a)所示，指4^息70的1条"l战由时刻71 、 OT 72、移动方向73、 摄影方向74、面角75和到M^^tm面的距离76构成。
时刻71标时刻。各记录间的时刻的间隔是任意的。例如，每1秒或每1分钟。
，72 ^在时刻71戶^的时点移动体2应该处于的，坐标系中的坐标。 将坐标的x轴、y轴、z轴的各成棘示为"(x， y， z)"。
移动方向73表示在时刻71所示的时点移动体2应该朝向的方向。将方向表 示为以，坐标系的原点"(0， 0， O)"为起点的单位向量。移动体2,制为， 在位置72所示的坐标上朝向平行于该单位向量的方向。例如，在移动方向73中 表示为"(O， 一l， O)"的情况下，移动体2应该朝向的方向为平行于y轴的方向 (即，正交于xz平面的方向)。
摄影方向74表示在时刻71所示的时点照相机24应该朝向的方向。另外，如 上戶; m，为了在照相丰腫标系上表1!M相机24的朝向，在摄影方向74中标有 了照相,标系中的方向。
面角75表示在时刻71所示的时点的照相机24的面角的设定。例如，将照相 机24的焦距的长度以就单位、作为面角75包含在指^K言息70中。另外，面角 75也可以用角度g。此外，在水平方向和垂直方向的面角不同的情况下，也可 以在面角75中分别g。
至螺影赠面的距离76表示从照相机24至臓影鄉面的距离。戶腿職对 象面是例如与照相机24的，方向的向量正交的平面，是包含成为摄影X^的被 摄体的平面。该平面与地表面等实际存在的平面不同，是假想的平面。总之，到 摄影膽面的距离尉旨到作为摄影赠的被摄体的距离，但未必以被摄体的存在 为鹏，因此也可以设定任意的距离。从而，至臓影赠面的距离也同等于至U摄 影膽的距离。至IM^膽面的距离76例如用以米为单位的距离来表现。
1. 2. 6. 2指^ff息70的补充说明
如图7戶标，指^K言息70包括在各时刻移动体2应该位于的坐标即隨72、 移动体2应该朝向的方向即移动方向73、在照相 标系中照相机24应该朝向的 方向即職方向74。移动体2 —鹏制螺旋桨，以^^各时亥IW1健72戶际的 坐标，一iiS制照相机24，以^赃，方向74戶标的方向jyt行摄影。艮P，可以 说指令信息70表示了移动体2应该移动的路线和,方法。
图7 (b)中简单地图示了，指^言息70中示出的移动体2应该移动的移 动路线。另外，在图7 (b)中，记号"X"表示在时刻71戶标的时刻移动体2应 该位于的坐标。实线是移动体2应该移动的移动路线，虚线是移动体2应 行 摄影的職方向。贿，摄影方向74翻照相m^标系表现的照相机的摄影方向， 在，坐标系中，照相,行摄影的方向为与移动方向73所示的向量和,方向 74所示的向量的和平行的方向。
1. 2. 7隨體计算部202
OT^计算部202计 动体2受到风等外部干扰而AMf、来应该处于的位 置偏离了多少。
具体地说，，^M计算部202取f射旨4Kt息取得部201所取得的指^j言息 70的时刻71和位置72。 il^卜，从在后面的"l. 2. 8錢管理部203"中记逸的 位置管理部203取得移动体2实际所处的坐标的信息。在到了时刻71所示的时点 时，基于健72、艮卩移动体2应iMf处的坐标的信息和从健管理部203接telj 的实际所处的坐标的信息，用向量i十算应该所处的坐标与实际所处的坐标的误差。 将计算出的向量作为^SM向量。
例如，如图4戶标，73所表示的、以移动体2原来应娜处的坐标 40a为起点，以因外部千扰的影响而从原来应该所处的坐标偏离的、移动体2实际 所处的坐标40b为终点的向量作为OT误差向量。
1. 2. 8位詈管理都203
^S管理部203管理移动体2实际所处的坐标。
具体地说，接收从GPS204依次输出的、移动体2实际所处的坐标的信息， 并存储。JtW卜，为了更高精度地管理移动体2的实际位置，也可以具有高度计等， 从而依次测定移动体2的气压高度并修正GPS高颇进行存储。
1. 2. 9GPS204
GPS204具有GPS (Global Positioning System:铺定位系统)功能，利用 GPS功能依次取得移动体2实际所处的坐标。将取得的坐标依次向，管理部203 输出。由GPS204测定的坐标的i^越小越好。
另外，关于GPS功能，由于题以往已知的技术，故省略详细的说明。
1. 2. 10方向，计算部205
方向^M计算部205计 动体2穀lj外部干扰的影响而从移动体2原来应 该朝向的方向偏离了多少。
具体地说，方向聽计算部205从指^言息取得部201取f射旨令信息取得部 201所取得的指4^息70的时刻71和移动方向73。 jtW卜，从在"l. 2. 11方向 管理部206"中后述的方向管理部206接收关于移动体2实际朝着的方向的信息。 在到了时刻71戶标的时刻时，基于移动方向73、即关于移动体2应该朝向的方向 的信息和从方向管理部206取得的关于实际朝向的方向的信息，用向Ai十算应该
朝向的方向与实际朝向的方向的，。将计算出的向量作为方向误差向量。
例如，如图5 (a)所示，从表示移动体2实际朝着的方向的单位向量50a、 减去表^^动体2原来应该朝向的方向的单位向量50b的向，作为方向^向 量50c。
方向^计算部205向摄影角度修正部211和螺方碟动力修正部209输出计
算出的方向皿向量。
1. 2. 11方向管理部206
方向管理部206管理移动体2在^^坐标系中实际朝着的方向。 具体地说，接,陀螺仪207依次输出的移动体2实P示朝着的方向的信息并 存储。
1. 2. 12陀螺仪207
陀螺仪207禾调陀螺机构检测移动体2实际朝着的方向。将ffl^查得到的 移动体2实际朝着的方向依次输出给方向管理部206。
另外，关于陀螺机构的方向检测，由于皿以往已知的技术，故省略详细的 说明。
1. 2. 13^S^分信息錢部208
，差^K言息^^部208具有通信功能，与图像修正^S 1謝Tffi信。 具体地说，^S差分f言息^t部208 )1^g^计算部202计算出的，误 差向量与计算出的时间^1关联，并作为皿差分信息80发邀合图像修正装置1。 1. 2. 14螺》媒动力修正部209
螺方碟动力修正部209修正螺方碟动九以使髓指雑息取得部201所取 得的指^t息70所,的、移动体2应该移动的路线进fi^动。
具体地说，螺旋桨动力修正部209取得指刮言息70的时刻71、位置72和移 动方向73。 Jl^卜，从隨m^计算部202取fmg误差向量。 Ith^卜，从方向碟 计算部205取得方向^M向量。
螺方M动力修正部209基于^fi误差向量和方向误差向量，依次计算返回到 移动体2应iM 处的坐标和移动体2应该朝向的方向所需的螺旋桨动力的修正量， 并作为螺旋桨修正信息输出给螺旋桨动力控制部210。基本上，将螺方碟动力修正
为使皿向量为零即可。
1. 2. 15螺方M动力控制部210
螺旋桨动力控制部210^!t點碟动力修正部209取得时刻71、健72、移动 方向73和螺方碟修正信息，鹏制螺方錢22的螺旋桨动力，以j拽为指^言息 70所标的移动路线，艮P、在时刻71戶标的各个时刻，成为CT 72和移动方向 73所标的健和方向。ltW卜，基于螺5媒修正信息来修正螺i定桨动力。
另外，当前已A^周知禾拥螺旋^^控制飞行体的移动，以使没有位置和方 向的聽的技术，故省略详细的说明。
1. 2. 16摄影角度修正部211
摄影角度修正部211修正照相机24的職方向，俛照相机24朝向原来应该 朝向的方向。
移动体2根据指令信息70的摄影方向74，管理在规定的时点照相机24应该 进行摄影的摄影方向。如上戶脱，用照相机坐标系来表现该摄影方向。艮P，在摄 影方向74中示出了从移动体2来看的照相机24应该摄影的方向，定义为与移动 体2在，坐标系中朝着的方向无关。从而，若移动体2的移动方向偏离原来应 该朝向的方向，则照相机24的，方向也在，坐标系中偏离原来应该摄影的摄 影方向。要修正该職方向的聽，^f顿移动体2的方向聽向量刺彦正照相机 24的,方向即可。
例如，如图5 (b)戶标，魏表示照相机24的实际摄影方向的单位向量50d 加上，方向误差向量的反向量50e，贝脂辦求出表示照相机24的原来的,方 向的单位向量50f。
摄影角度修正部211从指^言息取得部201取得时刻71和^^方向74。jtW卜， 从方向i^计算部205接收方向误差向量。摄影角度修正部211基于方向误差向 量，修正m方向74所表示的照相机24的摄影方向，并计^^照相机24的原 来的摄影方向的单位向量。TO刘彦正后的照相机24的摄影方向的信息，输出给 m角自制部212。
1. 2. 17摄影角度控制部212
摄影角度控制部212从,角度修正部211取得有刘彦正后的照相机24的摄 影方向的《言息，并3M云台23控制照相机24的，方向。艮P，即使移动体2受 至廿外部干扰的影响而朝向偏离了原棘该朝向的方向的方向，也控制云台23，以 使照相机24的，坐标系中的摄影方向在，坐标系中平行于原来应皿行 的方向。
另外，在实施方式l中，通过摄影角度控制部212的控制，使照相机24的全球坐标系中的摄影方向在全球坐标系中几乎总是平行于原来应该进行摄影的方向。
1. 2. 18摄影图像取得部213
摄影图像取得部213控制照相机24，依次使照相机24拍摄图像。在拍摄到的图像中附加例如文件名等标识符而进行存储。此外，将拍摄到的图像的标识符与进行摄影的时刻建立关联，存储为摄影图像信息90。
1. 2. 19摄影图像信息发送部214
摄影图像信息^l部214具有通信功能，对图像修正^B 1皿由照相机24 拍摄到的图像和,图像信息90。
具体地说，取ff^储在摄影图像取得部213中的图像和，图像信息90，并向图像修装置1发送。
1. 2. 20其他
此外，如上所述，，在指令信息70中包含着面角(画面视角)75和到摄影对象面的距离76 信息。移动体主体20未被图示，但基于面角75和到摄影对象面的距离76等信息，进行用于照相机24进行摄影的各种参数的设定。例如，进行 焦点距离的设定和发光、亮度和色差的调整等。
1. 3图像修正装置1的结构
下面，具体地说明图像修正装置1的结构。
图6是标图像修正装置1的结构的功能框图。
如图6所示，图像修正装置l由位置差分信息取得部11、摄影图像信息取得部12、照相机信息取得部13、图像修正处理部14和图像输出部15构成。
图像修正装置1具体地说是具有CPU、 ROM、 RAM等的计算机系统。按照程序进行图像的修正处理。图像修正装置1具有通信功能，与移动指令装置3和 移动体2进行通信。
1. 3. l位置差分信息取得部ll
位置差分信息取得部11取得从移动体2的位置差分信息发送部208发送的位置差分信息80，并向图像修正处理部14输出。 1. 3. 2驟图像信息取得部12
摄影图像信息取得部12取得从移动体2的摄影图像信息发送部214 发送的图
像和摄影图像信息90，并向图像修正处理部14输出。 1. 3. 3照相机信息取得部13
照相机信息取得部13取得从移动指^g 3发送的指4^t息70，并向图像 修正处理部14输出。
1. 3. 4图像修正处理部14
图像修正处理部14基于位置差分信息80所包含的tM误差向量，从在各时 点照相机24拍擬啲大角度的摄影图像中，决定应该作为输出图像来提取的图像 提取范围，并MM影图像中提取决定后的图像提取范围的图像而输出。
图像修正处理部14剤 用于从大角度的摄影图像中提取输出图像的标准 的图像提取范围。图像提取范围由表示摄影图像的位置的基准点和提取的大小即 图像尺寸棘示。在实施方式l中，±3^基准点标图像提取范围的中心点。即，
图像提取范围M:中心点和图像尺寸来表现。此外，使标准的图像提取范围的中
心点(即、基准点)与大角度的,图像的中心点一致。在移动体2没有位置误 差的情况下，从摄影图像中提取标准的图像提取范围的图像并输出。另外，关于 图像提取范围将在后面i5^。
若具体地说明图像修正处理部14，贝幅像修正处理部14从健差分信息取 得部11取H^g^分信息80。此外，；y^图像信息取得部12取得照相机24拍 摄至啲图像和驗图像信息90。此外，从照相机信息取得部13取得指雑息70。
财卜，如图所示，图像修正处理部14包括图像中心点计算部101和图像尺寸 计算部102。
图像中心点计算部101基于健體向量，计算用于提取输出图像的图像提 取范围的中心点的位置。
图像尺寸计算部102基于CT误差向量，计算用于提取输出图像的图像提取 范围的图《象尺寸。
图像修正处理部14从位置差分信息80中取得时刻81所表示的各时点的CT 聽向量。图像修正处理部14基于錢'瞎向量，修正标准的图像提取范围。即， 使标准的图像提取范围的中心点基于^S體向翻纟豫动，并且，使图像尺寸
基于位置聽向mit行放大或縮小，从而决定为用于提取输出图像的输出图像提
取范围。
若简单地说明决定图像提取范围之前的处理，则首先，图像修正处理部14从
指令信息70中取^K个时点移动体2应该朝向的方向即移动方向73、和用照相 丰腫标系表现的照相机24的摄影方向即摄影方向74，并计算在实际空间上即， 坐标系中表示照相机24应该朝向的方向的单位向量。将该单位向量称作摄影方向 的单位向量。另外，iM:摄影角度修正部211的修正，该单位向量所标的方向 平行于照相机24在，坐标系中实际拍摄的摄影方向。
上述摄影方向的单位向量由全球坐标系表示。此外，位置皿向量也由全球 坐标系标。从而，會的刻^K^向量分解为照相机24的，方向的成分和正 交于照相机24的摄影方向的平面的成分。
图像修正处理部14这样分解^S误差向量的成分，并且^ffl指令信息70中 包含的面角75和至隨影微面的距离76，修正标准的图像提取范围，决定用于提 取ll出图像的输出图像提取范围。图像修正处理部14利用iiS误差向量中的、正 交于照相机24的 方向的平面的成分，M图像中心点计算部101修正基准点 的，。禾lj用，i^向量中的照相机24的摄影方向的成分，M图像尺寸计算 部102修正图像尺寸。这样，修正标准的图像提取范围的中心点和图像尺寸，而 决定输出图像提取范围。在后面详细说明该处理。
图像修正处理部14若决定输出图像提取范围，则从摄影图像中提取i^i取范 围的图像，进行图像尺寸的调整并向图像输出部15输出。
总之，图像修正处理部14禾,t^S的聽，从以大角度拍摄的图像中特定没 有錢聽时繊出的图像的范围。提取特定的范围的图像并输出。
1. 3. 5图像输出部15
图像输出部15接iim图像修正处理部14输出的图像，并作为影像信号而向 显示器4输出。 1. 4織
TM，关于ifflM别言息80和摄影图像信息90进行说明。
1. 4. 1皿差分信息80
图8是表示位置差分信息80的图。
如图8 (a)戶标，皿差分信息80的1条记录由时刻81和位置误差82构成。 时刻81表示时刻。
，误差82表示在时刻81所表示的时点的位置误差向量。
图8 (b)中简单地图示了在具有J^^SMM82所，的误差时的移动体2
的移动路线、即移动体2的实P禱动路线。另外，假设移动体2原来应该移动的 路线如图7所示的指令信息70所示。再有，在图8 (b)中，记号"O"表示了在 时刻81所示的时点移动体2实际所处的位置的坐标。实线是移动体2实际移动了 的移动路线。虚线是移动体2实际进行了職的職方向。该摄影方向^13 影角度修正部211修正的摄影方向，因此平行于从移动体2实际应鄉行摄影的 皿的，方向。
另外，在图9和图10中示出原来移动体2应该移动的移动路辦B实P雜动体 2移动了的移动路线。
图9是将移动体2在各时刻原来应i^l 处的坐标和实P雜动体2移动了的移 动路线S^ft xy平面上的图。
在该图中，在移动体2在各时点原来应i^0 处的坐标与图7的指令信息70相 对应。在图9中，M附加记号"X"^^g动体2在各时点应该所处的坐标。 此外，用虚线^移动体2在各时点应i^S行摄影的摄影方向。
j^卜，移动体2实际移动了的移动路线与图8的i^fi^^Ht息80相对应。用 实线表g动体2实际移动了的路线。，卜，由于移动体2实际进行了摄影的摄 影方向平行于移动体2原来应鄉行摄影的摄影方向，因此，图9中省略了移动 体2实际进行了摄影的，方向的图示。
图10是将原来移动体2在各时点应i^f处的坐标和实际移动体2移动了的移 动路线SJ^xz平面上的图。
详细的说明与图9相同，故省略说明。
1. 4. 2i^图像信息90
图11是,摄影图像信息90的图。
如图11所示，摄影图像信息90的1条记录由时刻91和图像丰斜只符92构成。 时刻91表示拍摄了图像的时点。
图像禾斜只符92 ^^对照相机24所拍摄的於图《織^i只别的t斜只符。例如 是图像的文件名。 1. 5动作
下面说明移动体2和图像修正，1的动作。 1. 5. l移动体2的动作
移动体2 —边如指4f言息70所^i鹏,移动， 一边依7爐行图像的摄影。
图12是表:^动体2的动作的流程图。
指令信息取得部201从移动指^a3取離令信息70 (步骤S129)。健 皿计算部202从^g管理部203取得 1的皿(步骤S122)。皿g计算部 202基于指令信息70和本机的i^g，计算^g误差向量(步骤S123)。
此外，方向，计算部205从方向管理部206取得移动体2实际朝着的方向 (步骤S124)。方向i^计算部205计算方向误差向量(步骤S125)。
螺 动力修正部209基于指刮言息70、 OT误差向量和方向误差向量修正 螺旋桨动力，使得移动体2ilii原舰该移动的移动路线(步骤S126)。
ltW卜，摄影角度修正部211基于方向聽向量和指W言息70修正摄影角度(步 骤S127)。
位置差分信息发送部208向图像修正装置1发送位置差分信息80 (步骤 S128)。
jtW卜，摄影图像信息皿部214向图像修正装置1 ^i^影图像和摄影图像 信息90 (步骤S129)。
移动体2使各结构要素^fJ力能，依次反复进行，处理。1. 5. 2图像修正装置1的动作
图13是表示图像修正^S 1的动作的 荒f呈图。
图像修正縫1禾佣指令信息70和^fi^^Ht息80等中示出的各个时刻的 健聽向量和照相机24的摄影方向，决定图像提取范围，从在各时亥啪擬啲 摄影图像中提取图像并输出。
以下具体地说明，图像修正装置1 M5ffl影图像信息取得部12取得从移动体 2^的 图11^摄影图像信息90 (步骤S131)。财卜，由，差^Ht息取得部 U取得从移动体2发逸的^fi^^息80 (步骤S132)。 Jl^卜，由照相机信息取 得部13取得从移动指令驢3 ，的指4ft息70 (步骤S133)。
如，的"l. 3. 4图像修正处理部14"中说明的，图像修正处理部14， 置差分信息80的錢聽82所标的OT!體向量，并藩为照相机24的摄影 方向的成分和正交于照相机24的 方向的平面的成分。
图像修正體1 M31图像中心点计算部101，基于腿聽向量的、正交于 照相机24的,方向的平面的成分，决定用于提取输出图像的图像提取范围的中 心点(步骤S134)。
此外，舰图像尺寸计算部102，基于錢體向量的、照相机24的摄影方 向的成分，决定用于提取输出图像的图像提取范围的图像尺寸(步骤S135)。
图像修正装置1从摄影图像中提取由决定后的中心点和图像尺寸所规定的图 像提取范围的图像(步骤S136)。另外，在后面详细说明步骤S134和步骤S135 的处理。
图像修正錢1 Sii图像输出部15，向显示器4输出提取的图像(步骤S137)。 图像《參正^g 1反，行，处理。 1. 6图像提取范围的决定方法
匕，关于图像中心点计算部101和图像尺寸计算部102决定用于从鶴图 像中提取输出图像的输出图像提取范围的处理，进纟滩细的说明。
如上戶，，图像中心点计算部101基于t^S误差向量的、正交于照相机24的 摄影方向的平面的成分(以下称作"正交平面成分")，决定输出图像提取范围的 中心点。
形卜，图像尺寸计算部102基于^a误差向量的、照相机24的摄影方向的成 分(以下称作"職方向成分")，决定输出图像提取范围的图像尺寸。
从原来的照相机位置的照相机24的摄影方向和从实际的照相机皿的摄影 方向平行。从而，^g误差向量中的,方向成分的误差，总归表示了照相机24 相对于摄影赠面的距离，与原来应该驗的錢相比^3S题。若到摄影对 象面的距离比原来的摄影位置近，贝U由于从,巨离进行拍摄，因此被摄体与原 来的照相机24的皿相比拍摄得大。 Jtb^卜，若到^^)(^面的距离比原凉的OT 远，则被摄体拍摄得小。因此，例如，在被摄糊摄得大的情况下，4繊出图像 提取范围的图像尺寸大于标准的图像提取范围而提取图像。
但是，若仅这样，就会输出图像尺寸大的图像，因lt頃好对照着原来的输出 图像的尺寸，缩小提取的图像后再输出。若这样做，就能够输出与从原来的照相 机24的^S拍摄时输出的图像相同的图像。
此外，照相机皿的M中的正交平面成分的，总之是影响被摄体被拍摄 在图像的哪个錢上。例如，假设期望将被摄糊摄在图像的中心附近。假设照 相机24从高于原来的M^隨的高^iS行了驗。于是，照相机24的驟方向 平行于来自原鹏该職的驢的職方向，被摄微拍摄在图像中心的下侧。
因此，在有正交平面成分的聽时，标准的图像提取范围的中心点向该聽
的方向的相反侧错开，iiii将该错开后的点作为输出图像提取范围的中心点，就 會辦输出与从原来的健拍摄时应输出的图像相同的图像。
1. 6. 1实际的照相机位置与原来的iM—致的情况
图14是表示在实际的照相机位置与原来的照相机，一致的情况下，图像修 正处理部14决定图像提取范围的过程的图。
在该瞎况下，健體向量为零，当然，输出图像提取范围与标准的图像提 取范围相同。
图14 (a)表示照相机，和照相机24对摄影m面进行拍摄的实际的摄影 范围的大小。另外，在该图(a)中表示从平行于職X^^面的视点眺MM相机位 置和摄影范围时的图。所述摄影)^面和照相机的摄影方向正交。原来的照相机 位置160a与实际的照相机位置165a—致。此外，,方向164a在原来的照相机 皿160a和实际的照相机位置165a中一致。itk^卜，摄影Xj"^面的原来的,范围 161a与实际的摄影范围166a—致。
图14 (b)示出了以大角度拍摄的,图像150a、标准的图像提取范围151a 和输出图像152a。
图像修正处理部14将标准的图像JI取范围151a决定为输出图像提取范围， 从摄影图像150a中提取输出图像提取范围的图像，并作为输出图像152a而输出。 1. 6. 2，误差向量正交于摄影方向的情况
图15是表示在^Si^向量正交于摄影方向的情况下，图像修正处理部14 决定输出图像提取范围的过程的图。
图15 (a)示出了照相机皿和照相机24对^^(jm面进行拍摄的实际的摄 影范围的大小。与图14 (a)同样，示出了从平行于m)^a面的视点頃^Mm相机 隨和職范围时的图。原来的照相机OT 160b和实际的照相机體165b，在正 交于摄影方向的平面中偏^a误差向量169b的量。^^方向164b在原来的照 相机位置160b和实际的照相机位置165b中平行。ltM卜，,自面的原来的摄 影范围161b与实际的摄影范围166b偏^S误差向量169b的量。
由于OT體向量169b正交于驟方向164b，因此，健體向量169b的 方向成分为零。从而，图像修正处理部14进行图像提取范围的中心点的修正， 而不进行图像尺寸的修正。
叙匕假设fefi聽向量169b中的正交平面成分的向量为ci (i， j)。再有，
假设向量a的成分i表示平行于摄影X^面的水平方向的成分，向量a的成分j表 示平行于摄影鄉面的垂直方向的成分。
如J^腿，照相机24的摄影方向在实际的照相机CT 165b和原来的照相机 位置160b中平行。jtW卜，皿)^^面相对于照相机24的摄影方向164b正交。从 丽知，在摄影m面中，实际的驟范围166b从原来的職范围161b偏移了 向量a (i， j)。
在图16中^i^)^面的、原来的照相机^S和实际的照相机iffl的摄影 范围。如图16戶际，若将原来的摄影范围161b错开錢聽向量169b (向量a )， 则与实际的摄影范围166b—致。在图16中，将原来的摄影范围161b的中心点表 示为原来的中心点162b。此外，将实际的摄影范围166b的中心点表示为实际的中 心点167b。
Jl^卜，在图16中，将原来的摄影范围161b中的、在AM^来的照相机健摄 影时作为标准的图像提取范围来提取的范围，表示为原来的标准提取对象范围 163b。总之表示作为摄影范围中、原来期望的图像来输出的范围。同样，将实际 的摄影范围166b中的、在从实际的照相机CT摄影B寸作为标准的图像提取范围来 提取的范围，标为实际的标准提取范围168b。总之，是实际拍摄至啲图像中的、 相当于标准的图像提取范围所示出的图像的部分。
如图16所示，若使从实际的照相机^a拍摄到的m)^^面的,范围错开
向量a的反向量-a的量，贝IJ与从原来的照相机位置拍摄到的摄影X^面的摄影 范围一致。也就是说，若使实际的标准提取范围168b移动向量ci的反向量的量， 则与原来的标^l取范围163b —致。
原来想输出的图像是原来的職范围161b中的、原来的标鹏取范围163b 所示出的范围的图像。最好考虑这点来决定输出图像提取范围。
图15 (b)示出了以大角度拍摄的摄影图像150b、标准的图像提取范围151b、 输出图像152b、输出图像提取范围153b和中心点的修正量154b。中心点的修正 量154b表示使摄影图像150b的中心点(gp，标准的图像提取范围151的中心点) 移动多少后作为输出图像提取范围的中心点。
atk，假设到摄影m面的距离为"b"。由于至臓影Mm面的距离已经在指
雑息70的至IJ職)^jm面的距离76中示出，因此已知。财卜，假设照相机24的 水平面角的角度为"e",垂直面角的角度为"""。由于照相机24的面角已经在
指令信息70的面角75中示出，因此已知。此外，假设摄影图像150b的图像尺寸 为纵向"m"像素，横向"n"像素。于是，若用距离来表示摄影)^j^面的范围的 大小，则水平方向是"2b tan ( 0 /2)"，垂直方向是"2b tan (" / 2)"。此 外，位置體向量中的正交平面成分的向量是a (i， j)。在驟微面中，通过 使摄影X^面移动向量a的反向量的量，肯,使从实际的照相机位置的摄影)^ 面与从棘的照相机健的驗鄉面一致。
从而，如果说在纵向"m"像素、横向"n"像素的摄影图像150b中，使标 准的图像提取范围151b的中心点移动多少为好，假设向水平方向移动"v"像素， 向垂直方向移动"w"像素，关于7jC平方向，(向量ci的反向量的i成分摄影对 象面的水平方向的大小=中心点向水平方向的移动量摄影图像的水平方向的尺 寸)，因此，i: 2b'tan (8 /2) =v: n，成为"v= - in / {2b tan (e / 2) }"。关于垂鼓向，同样成为"w= -jm / {2b tan ("/2) }"。
图像修正处理部14将从标准的图像提取范围151b的中心点向水平方向移动 了 "v"像素、向垂直方向移动了 "w"像素的点决定为输出图像提取范围153b的 中心点。再有，输出图像提取范围153b的图像尺寸是如J^f^i也与标准的图像提 取范围151b相同的尺寸。
1. 6. 3 ^S误差向量的方向与摄影方向一致的情况
图17是表示在OT误差向量的方向与摄影方向一致的情况下，图像修正处理 部14决定输出图^JI取范围的过程的图。
图17 (a)示出了照相机^2和照相机24对,)^#面进行拍摄的实际的摄 影范围的大小。与图14 (a)同样,出了从平行于摄影X^m面的视点眺蓖照相机 錢和驟范围时的图。原来的照相机錢160c和实际的照相机OT 165c向摄影 方向偏移了iM误差向量169c的量。摄影方向164c和，误差向量169c所表示 的方向一致。ith^卜，实际的M^范围166c小于原来的摄影范围161c。
总之，超礙影鄉面的距离比原来的照相机OT短的情况。由于隨聽 向量169c的方向与i^方向164c —致，因此，皿误差向量169c的正交平面成 分是零。从而，图像修正处理部14进行用于提取图像的图像尺寸的修正。
，假设健體向量169c的大小为"a"。假m原来的照相机錢到摄 影X^t^面的距离为"b"。根据指令信息70的到摄影Xj^面的距离76来得到"b"。 从实际的照相机，至臓影)^jm面的距离为"b-a"。
原来的摄影范围161c与实际的摄影范围166c的纵向和横向长度的比都是"b: (b-a)"。艮口，实际的摄影范围166c的大小成为在摄影范围的纵向和横向上都为 原来的摄影范围161c的"(b - a) /b"倍的大小。换言之，对实际的摄影范围161c 的纵向和横向都进行"b/ (b-a)"倍的范围的大小，成为原来的摄影范围166c 的大小。从而，最别^i出图像提取范围153c的图像尺寸的纵向和横向上都为标 准的图像提取范围151c的图像尺寸的"b/ (b-a)"倍。再有，如上戶皿，中心 点在标准的图像提取范围151c和输出图像提取范围153c中一致。
图17 (b)示出了以大角度拍摄的摄影图像150c、标准的图像提取范围151c、 输出图像152c和输出图像提取范围153c。
图像修正处理部14将标准的图像提取范围151c的中心点作为输出图像提取 范围153c的中心点，将输出图像提取范围153c的图像尺寸决定为纵向和横向都是 标准的图像提取范围151c的b/ (b-a)倍。艮卩，以中心点为中心，放;^示准的 图像提取范围151c的图f象尺寸。
但，若是就这样的图像尺寸，贝嚇出图像152c的图像尺寸就会妙，因此， 图像修正处理部14从摄影图像中提取输出图像提取范围153c的范围的图像，并 4鞭取的图像的纵向、横向都縮小(b-a) /b倍。将縮小后的图像作为输出图像 152c来输出。
1. 6. 4皿误差向量的方向，影方向的相反方向的情况
图18是表示在皿误差向量的方向 ^方向的相反方向的情况下，图像修 正处理部14决定输出图像提取范围的过程的图。
图18 (a)示出了照相机^l和照相机24对摄影m面进行拍摄的实际的摄 影范围的大小。与图14 (a)同样地示出了从平行于摄影g面的视点眺MM相机 健和驟范围时的图。原来的照相机健160d和实际的照相机錢165d向摄 影方向164d所示的方向的相反侧偏移了^SiM^向量169d的量。Itl^卜，实际的 摄影范围166d大于原来的摄影范围161d。
总之，超臓影鄉面的距离比原来的照相机健远的情况。由于位置體 向量169d的方向与驗方向164d平行(但是方向相反)，因此，隨體向量169d 的正交平面成分是零。从而，图像修JBfc理部14进行用于提取图像的图像尺寸的 修正。
与，的"l. 6. 3 ^S皿向量的方向与摄影方向一致的情况"和图16的
情况同样，假设腿體向量169d的大小为"a"，从原来的照相机隨到摄影对 象面的距离为"b"。于是，从实际的照相机^8至赚影自面的距离,皿为"b+ a"。若与J^图16戶标的例子同样地考虑就可知，S^赚出图像提取范围153d 的纵向和横向上都为标准的图像提取范围151d的"b/ (b+a)"倍。
图18 (b)示出了以大角度拍摄的摄影图像150d、标准的图像提取范围151d、 输出图像152d和输出图像提取范围153d。
图像修正处理部14将输出图像提取范围153d的图像尺寸决定为纵向和横向 上都为标准的图像提取范围15Id的"b/ (b+a)"倍。该图像尺寸小于标准的图 像提取范围151d。
图像修正处理部14从摄影图4象中提^l输出图像!^^^范围153d的范围的图像， 将提取的图像的纵向和横向都放大"(b+a) /b"倍。将放大后的图像作为输出 图像152d5m出。
1. 6. 5—般的情况
图19是 图像修正处理部14 ^M1^向量分解为摄影方向成分和正交 平面成分，并决定输出图像提取范围的处理的过程的图。
在"l. 6. 3^S误差向量的方向与摄影方向一致的情况"和"l. 6. 4皿 误差向量的方向是摄影方向的相反方向的情况"中说明了^S误差向量仅是摄影 方向成分的情况。财卜，在"l. 6. 2皿误差向量正交于摄影方向的情况"中说 明了，皿向量仅是正交平面成分的情况。
作为一般的情况，招ma聽向量分解为摄影方向成分和正交平面成分的
情况下，组合，的处理即可。
艮P，假设^OT^向量投^正交于摄影方向的平面上的投影向量(即， 位置i^向量的正交平面成分)为ct (i， j)、摄影方向成分的大小为"a"、从原 来的照相机，到MMm面的距离为"b"，则如"l. 6. 2皿误差向量正交于 ，方向的情况"中所淑鹏决定输出图像提取范围153e的中心点，如"l. 6. 3 ^S^向量的方向与摄影方向一致的情况"或者"1. 6. 4OT误差向量的方向 影方向的相反方向的情况"中所述那样决定输出图像提取范围153e的图像尺 寸即可。
1. "7^^式1的娜例1
如上戶欣，说明了实施方式l，但也可以如下地 。
1. 7. 1 例1 .后来指定路线
在，的实施方式1的说明中说明了图像修正装置1修正移动体2沿着指令 信息70所表示的移动路线移动并拍摄到的图像的情况。艮卩，说明了在摄影之前预 先指定了移动体2的移动路线的情况。本发明不P艮于此，也可以 行了图像的 摄影之后指定移动体2的移动路线。
该瞎况下，图像修正驢1基于实际拍摄至啲图像，输出如果移动体2沿着 后来指定的路自行拍摄则能得到的图像。
图20中表示^^例1的概要。在图20中，将照相机实卩，动的轨迹^为 轨迹170。此外，将照相机实际拍摄的方向表示为实际的摄影方向171 (171a、 171b、…)。》卜，将用户后来指定的路线表示为用户指定路线172。
如图20所示，:fcM示器中显示fl^ 170和各时点的实际的摄影方向171 (171a、 171b、…)，以便用户在指定路线时参考。用户将显示器中显示的轨迹作为参考， 指定照相机应该移动的路线。例如，可以让用户描绘路线，也可以将照相机的实 际 作为轴，用管状等的显示方法显示多iM疾补路线，TO户选择路线。
若这样地决定了用户指定的用户指定路线172，则肯,计算出 170上的 点与用户指定路线172上的点的^g误差向量。a计算出的皿误差向量和实 际的摄影方向171的信息，贝IJ之后就如战详细的说明那样，基于隨體向量 决定输出图像提取范围，由此倉辦从摄影图像中提m用户指定路线172上的点 摄影B寸得到的输出图像。
匕，要计算^a误差向量，i^、^^W与,170上的一点相对应的用户 指定路线172上的点。相对于$ 170上的一点，可以任取用^fH十算CT误差向 量的用户指定路线172上的点。例如，将包含车爐170上的一点并且在絲坐标 系中正交于搭载了照相机的移动体的移动方向的平面、与用户指定路线m的交 点，作为用于计算，误差向量的用户指定路线172上的点。移动体的移动方向 基于车爐170来得到。
当然，也可以用此外的其他方絲决定用于计算體聽向量的用户指定路 线172上的点。例如，也可以将从车爐170上的一点实际拍擬啲实际的摄影方 向171用向量表示，并将包含Jl^轨迹170上的一点和上述向量的平面、与用户 指，线172相^X的点作为用于it^M^差向量的用户指定路线172上的点。
这样，若决定了用^i十算健體向量的用户指誠线172上的点，贝鹏像
修正装置1如图21所示，将以决定的点即用户指定路线上的点180a为起点、以 与该点对应的轨迹上的一点180b为终点的向量作为^S误差向量来计算。 1. 7. 2 例1的结构的例
图22中示出后来指定移动体2的移动路线时的结构的^^。 如图22所示，±^ 例1例如，育嫩以由图像修正,1000、照相, 置2000、路线指定装置3000和显示器4构成的结构来实现。 1. 7. 3照相皿置2000的结构
照相丰;i^M 2000是一边移动一鹏行驟的體。照相m^S 2000存储本 装置移动了的路线(本^S通过的坐标和移动方向)和进行了摄影的时点的照相 机的摄影方向。例如，m具有与移动体2的^S管理部203、 GPS204、方向管 理部206和陀螺仪207同等的功能，来存储^HJ13i的坐标和当时的移动方向。 此外，将照相机的摄影方向和摄影时的面角、与照相,行了摄影的时刻相对应 地存储。
另外，在面角固定的情况下，由于面角不变化，因此，不需要每次有摄影时 存储面角。关于驟方向也同样。
卜，照相^S2000存储摄影时的至lJ繊赠面的距离。舰利用距离传
麟翻啶到照相机的摄影方向上存在的建筑物、构筑物、地表面等的距离，得 到到摄影，面的距离。 ，到摄影^a面的距离也可以不是由照相m^S 2000 求出，而是基于照相m^fi2000的移动路线，在摄影后由其f!J^S等求出，或者 由用户指定。
这样，照相IT^置2000生成例如图23戶^的移动车A^ft息70a并存储。照 相^S 2000向图像修正，1000和路线指定,3000 ^l移动车A3S信息70a。
财卜，照相^ga 2000具有与移动体2的驟图像取得部213和摄影图像信 息皿部214同等的功能，M摄影图像信息90并向图像修正装置1000发送。
1. 7. 3. l移动车;Wt息70a
叙匕X^动l^^息70a进fiH兑明。
如图23所示，移动车Ai^f言息70a的1条记录由时刻71a、位置72a、移动方 向73a、,方向74a、面角75a和到摄影)Cj"^S的距离76a构成。移动fl3S信息 70a是与指令信息70实质上M相同的信息。不同点在于，移动车A^信息70a是 表示照相皿置2000实际移动了的路线等的信息，相对于此，指4^f言息70是表
/，动体2应该移动的路线等的信息。 时刻71a表示时刻。
位置72a表示在时刻71a所表示的时点照相m^S 2000实际所处的，坐标 系中的坐标。
移动方向73a ,在B寸刻71a所表示的时点照相丰/l^置2000实际朝着的， 坐标系中的方向。
摄影方向74a g在B寸刻71a所表示的时点照相^S 2000的照相机朝着的 方向。在摄影方向74a中示出了照相輕标系中的方向。另外，照相tn^S2000 的照相机的照相輕标系可以任意定义。例如，可以与移动体2同样地定义p轴、 q轴和r轴。
面角75a ，在B寸刻71a所表示的时点的照相^g 2000的照相机的面角。 到摄影m面的距离76a表示从照相m^M 2000的照相t/!Jljg^)^面的距离。
1. 7. 4路线指定^S 3000的结构
路线指定^S 3000从照相t0^g 2000取^寻移动车 |言息70a，并在显示器4 中显示照相机实际移动了的轨迹。
虽驗图中未详细示出，f郞各线指定體3000具有图像处理部，该图像处理 部基于移动fL3lEf言息70a的隨72a等，用三维表现^^描绘照相ln^S 2000实 P，动了的路线。基于照相m^S2000等移动^^各时点所处的坐标的信息，在 显示器中显郝动体实P雜动了的,的技术题以往已知的，并且，不是本发 明的特征部分，故省略详细的说明。
此外，路线指定，3000具有例如||^和触,等接1| 自用户的输入的操 作接收部，从用户接TO线的指定。若接收到路线的指定，则根据用户指定的路 线和移动fli^言息70a，计算出图像摄影的各时点的隨聽向量。例如，iM:具 有与移动体2的健聽计算部202同等的功能，肯,计算出健碟向量。将 计算出的健聽向量与於时点相对舰存储为^S^分信息80。这是和说 实施例中说明的^ 分信息80是同等的信息。
路线指定^fi 3000向图像修正，1000 ^t^a差分信息80。
1. 7. 5图像修正^S 1000的结构
图像修正装置1000具有与Jt^实施例中说明的图像修正装置1大致同等的功
能。不同点在于，照相机信息取得部1013所取得的信息是移动轨迹信息70a，从 路线指定體3000取f靴置差分信息80，从照相ln^S 2000取得摄影图像信息 90。另外，如在"l, 7. 3. l移动flilEf言息70a"中戶腿，移动fli^t息70a实质 上是与指令信息70同等的信息。 匕如在"l. 7. 3照相m^S2000的结构" 中戶诚，在照相^S 2000不测定至赐嚴職面的距离的情况下，移动车A3lEf言息 70a中未包含到摄影皿面的距离76a。该瞎况下，图像修正装置1000对于是否从 计算出到摄影)^im面的距离的另夕卜的體取得关于至臓影鄉面的距离76a的信 息，Affl户接te隨影，面的距离的指定。
此外，图像修正^S 1000由^SM分信息取得部1011、摄影图像信息取得部 1012、照相机信息取得部1013、图像修正处理部1010和图像输出部1015构成， 图像修正处理部1010包括图像中心点计算部1101和图像尺寸计算部1102。
这些结构要素分别具有与图6中戶^的的图像修正,1的皿差分信息取 得部11、驟图像信息取得部12、照相机信息取得部13、图像修正处理部14、 图像输出部15、图像中心点计算部101、图像尺寸计算部102同等的功能，因此，
省略详细的说明。
1. 7. 6图像修正^S 1000的动作
图像修正^S 1000根据移动fli^l言息70a的移动方向73a和,方向74a， 肯娜计算出照相机的摄影方向。从而，图像修正體1000 3131将计算出的健误 差向量分解为照相机的摄影方向的成分和正交于摄影方向的成分，會,用与图像 修正驢1同样的方絲决定输出图像提取范围。由于用与图像修正體1同样 的方^!6i行处理即可，因此省略详细的说明。
1. 8鄉方式1的娜例2
^Jl^实施方式l的说明中说明了没有照相机24的滚动操作的情况，但是，
进行滚，作的情况也包括在本发明中。
以下，对郷例2进行说明。另外，在以下的说明中，假设没有健聽向 量的摄影方向成分的體而进行说明。在摄影方向成分有聽的情况下，对于摄 影方向成分的误差，进行在"l. 6. 3 ^S误差向量的方向与,方向一致的情况" 和"l. 6. 4feS误差向量的方向;M^方向的相反方向的瞎况"中说明的处理而 决定输出图像提取范围的图像尺寸即可。
鄉行照相机的滚动操作的情况下，总之，也只要考虑餘实际的照相机位置摄影时的摄影范围如何移动，才能与从原来的照相机位置摄影时的摄影范围一 致即可。
以下，在进行了滚动操作时，将照相机24以摄影方向为轴所旋转的角度称作 滚动角度。
另外，在考虑滚动操作的情况下，假设移动体2存储摄影时的滚动操作的旋 转量。并且，假设向图像修正装置1皿表示，影时点的滚动操作的旋转量的
滚动角信息。图像修正^a i取得^a的滚动角信息。
1. 8. l職錢相同的情况
首先，说^^摄影位置相同，从原来的照相机^S的摄影和从实际的照相机位 置的摄影中滚动角度不同的情况。
图24是表示滚动角度不同的情况下的、原来的照相机^S和实际的照相机位 置的^B范围的图。
另外，假设从原来的照相机^a的摄影中不进行滚动操作，滚动角度为零。
假设从实际的照相机^S的摄影中，进行了逆时针旋转角度e的滚动操作。在图24 (a)中，用虚线表示从原来的照相机，摄影时的原来的摄影范围 30a。 Jl:l^卜，用实线表示从实际的照相机^S摄影时的实际的摄影范围31a。再有， 在原来的摄影范围30a中，用虚线表示了作为输出图像来提取的范围。
使原来的摄影范围30a以,范围30a的中心为基,时针旋转e的就是实 际的摄影范围31a。从而，要使实际的，范围31a与原来的摄影范围30a—致， 只要以实际的，范围31a的中心为基准，顺时针旋转e即可。财卜，从原来的 照相机位置摄影时的标准的图像提取范围的图像，在实际的摄影图像中就成为顺 B寸针旋转e而拍摄的。从而，若使实际的摄影范围31a的摄影图像的标准的图像 提取范围，以中心点为基街顿时针旋转e ，贝職得到应i^俞出的图像的图像提取 范围。
图24 (b)是表示从实际的照相机隨拍擬啲摄影图像32a和标准的图像提 取范围33a的图。
使该标准的图像提取范围33a顺时针方辦0 (逆时针旋转- 0 )就是输出图 像Ji取范围34a。将输出图像提取范围34a表示在图24 (c)。
从，图像32a中提取输出图像提取范围34a的图像而得到的图像，就成为 输出图像35a。图24 (d)中示出输出图像35a。
另外，已经说明了在从原来的照相机CT的摄影中没有进行滚动操作的情况， 总之，在摄影位置相同、葱原来的照相机位置的摄影和从实际的照相机位置的摄 影中滚动角度不同的情况下，摄影范围旋转了该滚动角度的差的量。
从而，若使从实际的照相机位置的皿范围反方向旋转该滚动角度的差的量， 则与从原来的照相机位置的摄影范围一致。也就是说，若使从实际的照相机位置 拍摄至啲摄影图像的标准的图像提取范围，以图像提取范围的中心点为中心反方 向旋转滚动角度的量，则倉^f寻到输出图像提取范围。
1. 8. 2摄影位置不同的情况
下面，作为一般的情况，对,行照相机的滚动操作的同时，在正交于照相 机的摄影方向的平面上，在原来的照相机位置和实际的照相机位置有位置的^ 的情7皿行说明。
假设从原来的照相机位置的摄影中没有进行滚动操作，而在从实际的照相机
，的摄影中进行了逆时针旋转e的滚动操作。
用i轴和j轴表示正交于照相机的摄影方向的平面，并使i轴与^iS行滚动操 作的、从原来的照相机錢的摄影繊面的摄影范围的水平方向平行、j轴与从原 来的照相机健的摄影微面的摄影范围的垂直方向平行。设錢體向量的、 正交于摄影方向的平面的成分为向量a (i， j)。
图25是表示滚动角度和摄影錢不同的情况下的、原来的照相机健和实际 的照相机^S的摄影范围的图。
在图25 (a)中，用虚线标从原来的照相机^fi摄影时的原来的職范围 30b。 Jt[^卜，用实^^从实际的照相机^Si^时的实际的摄影范围31b。将在 摄影赠面上鄉了錢體向量a的職向量标为職向量36b。另外，由于 正交于驗方向的平面与摄影繊面平行，因此，在图25 (a)中也图示了正交于 ，方向的平面的i轴和j轴。
如图25 (a)所示，要使实际的摄影范围31b与原来的摄影范围30b—致，只 使实际的摄影范围31b在由i轴和j轴构成的平面上移动投影向量36b的反向量的 量，同时反方向旋转滚动角度的量即可。ith^卜，對寻到原来期劉,的输出图像， 只要使实际的職范围31b的驗图像的标准的图像提取范風以图像提取范围 的中心点为基衝顷时针旋转e ，并皿一步考虑滚动角度，基于投影向量，使标 准的图像提取范围的中心点移动即可。
图25 (b)用戯表示了j狄实际的照相机腿拍摄至啲摄影图像32b的标
准的图像提取范围顺时针旋转e (逆时针旋转-e)的图像提取范围。将该图像
提取范围的中心点表示为标准的中心点38b。
但是，若就这样，则未考虑健的體，因此，不f雜提取从原来的照相机 位g^能得到的输出图像。
在此注意到，向量a以未进行滚动操作的情况下的摄影)(^面的摄影范围的 水平方向为i轴，以垂直方向为j轴。假设从实际的照相机錢的摄影中絲行滚 动操作的情况下，原来的摄影范围的水平方向和垂直方向分别与实际的摄影范围 的水平方向和垂直方向平行。因此，若在实际的摄影图像中，也使标准的图像提 取范围的中心点向将向量a投M摄影m面上的投影向量36b所表示的方向的 反方向移动，贝脂鄉得至嚇出图像提取范围的中心点。
但是，在实际的摄影中进行滚动操作时，在摄影K^^面中，原来的摄影范围 的水平方向和垂直方向分别与实际的摄影范围的水平方向和垂直方向不平行。此 外，S^向量36b是将向量(矢量)a (i， j) ^&驟赠面上的向量。从而，
要使实际的摄影范围与原来的摄影范围一致，就首先将实际的摄影范围的水平方 向作为i邻，将垂直方向作为j'轴，使实际的摄影范围的中心点向与向量a相反的 方向移动投影向量36b的成分、即向量a (j， j)的量。艮卩，向i，轴方向移动-i， 向j'轴方向移动-j。
并且，若以实际的摄影范围的原来的中心点为基准，使移动后的点顺B寸针旋
转e (逆时针旋转-0)，贝U与原来的驟范围的中心点一致。
从实际的摄影图像决定输出图像提取范围时，也考虑该点。总之，以标准的 图像提取范围的中心点为基准，使假定为在实际的摄影中未进行滚动操作的情况
下的输出图像提取范围的中心点顺时针旋转e (逆时针旋转-e，艮P、滚动操作 的反向旋转)。旋转后的点皿行了滚动操作的情况下的输出图像提取范围的中心 占。
"、、o
图25 (c)是表示假定为在实际的摄影中未进行滚动操作的情况下的输出图像 提取范围的中心点37b的图。由于原来的m范围的7K平方向和垂直方向分别与 正交于,方向的平面的i轴和j轴平行，并用i轴和j轴的成^^E向量a和投 影向量36b，因此，使假定为 行滚动操作的情况下的输出图像提取范围的中心 点移动的方向，就是由投影向量36b的各成i)^现的方向的反方向。
使该中心点37b以标准的中心点38b为基溜顿时针旋转e的点就是输出图像 提取范围33b的中心点39b。图25 (d)中^^输出图像提取范围33b和其中心点 39b。
1. 8. 3有滚动操作的情况下的总结
总之，在原来的摄影中没有进行滚动操作，而在实际的摄影中进fi^时针旋 转0的滚动操作，并且，在正交于摄影方向的平面中有錢的體的情况下，使 实施方式1中说明的没有滚动操作时的输出图像提取范围的中心点，以标准的图 像提取范围的中心点为基御顷时针旋转6 (逆时针旋转-0)，并皿一步^i出 图像提取范围本身以输出图像提取范围的中心点为基衝顿时针旋转e即可。
另外，在原来的摄影中也应繊行滚动操作的情况下，首先从实际的驟图 像中，决定在原来的摄影中未进行滚动操作时的输出图像提取范围，并JJS—步 使决定的输出图像提取范围，以織出图像提取范围的中心点为基准，向相同方 向旋转在原来的摄影中应^S行的滚动操作的滚动角度的量即可。
在该情况下，图像修正装置1取徵旨定滚动角信息，该指定滚动角表示在原 来的摄影中应iM行的滚动操作的旋转量。
1. 9鄉方式1的郷例3
在，的实施方式1的说明中，假设照相机24的摄影方向与指令信息70中 示出的原来应该朝向的方向平行而进行了说明。
不P艮于此，图像修正装置1在照相机24的m方向偏离了原^该朝向的方 向的情况下，艮P,不平行于原来应该朝向的方向的情况下，也會辦考虑该偏离， 而从，图像中决定输出图像JI取范围。
1. 9. l摄影方向有^的情况
如上所述，本发明MES误差向量分解为摄影方向成分和正交平面成分而决 定输出图像提取范围。 ，在照相机24的，方向不平行于原来应该朝向的方 向、摄影方向有皿的情况下，将该误差的向量作为摄影方向^M向量。由于用 向量表示摄影方向，因此，摄影方向體向量例如为从表示实际的摄影方向的向 量中减去表示原来的摄影方向的向量的差分向量。该摄影方向，向量能够分解 为摄影方向的成分和正交于摄影方向的平面的成分。于是，會辦用与^Si^ 向量分解为 方向成分和正交平面成分时同样的方法，考虑摄影方向的，而 决定输出图像提取范围。
在此，&^的实施方式中，用单位向量来表现摄影方向的向量。必须要注 意，从照相机位置至l撮影膽面的距离越长，摄影方向误差向量中的、正交于摄
影方向的平面的成分京M扩大。对此，摄影方向误差向量中的摄影方向的误差不 扩大。
图26中图示了有驟方向體向量时的照相机^a和摄影鄉面。
图26 (a)中示出了原来的M^方向41a、实际的摄影方向42a、摄影方向误 差向量43a、原来的摄影范围44a、实际的摄影范围45a、误差46a和照相机， 49a。
假设照相机皿49a在原来的摄影^S和实际的,^g上相同。假设用e 表示原来的摄影方向41a与实际的摄影方向42a的误差的角度。
，假^3IM移动体2记录实际的 方向等方法，已知实际的摄影方向
42a。
原来的，方向41a和实际的摄影方向42a如上戶;fm表示为单位向量。假 设到摄影，面的距离为"b"。假设到摄影m面的距离在原来的摄影位置和实 际的i^a上，相同。于是， 方向误差向量43a中的正交平面成分的误 差在^^X^面中变为"b"倍。gp， ^ 46a的大小成为摄影方向误差向量43a 中的正交平面成分的误差的"b"倍。
图26 (b)中图示了 摄影方向^向量中的正交平面成分的向量3 (i， j)。
图26 (c)中示出了摄影)^面的原来的摄影范围44a、实际的摄影范围45a 和皿46a。财卜，将^^摄影方向误差向量中的、正交平面成分的向量Pg为 向量P47a。如图所示，聽46a是向量P47a的"b"倍。在驗方向有體的情 况下，只要将^ 46a看作^g误差向量的正交平面成分，用与， 方式1 同样的方M决定输出图像提取范围的中心点即可。
同样地，基于^方向皿向量中的,方向的成分，如，实施方式1的 "1. 6. 3^a皿向量的方向与，方向一致的情况"和"1. 6. 4，误差向 量的方向是摄影方向的相反方向的情况"中说明地，放大或，小输出图像提取 范围的图像尺寸即可。
1. 9. 2驟方向有體的情况辦卜充
另外，至IJM^赠面的距离越长，體对于摄影图像的影响越大，戶腿體 是基于摄影方向误差向量中的、正交于摄影方向的平面的成分的误差。因此，在
到摄影x^面的距离比较长的情况下，有时基于摄影方向误差向量中的摄影方向
的成分的误差与基于正交平面成分的误差相比，给予摄影图像的误差的影响小。 总t就是说，即使摄影方向有误差，若到被摄体的距离很远，则摄影图像中的被 摄体的大小就不会那样改变。
从而，对于摄影方向误差向量中的摄影方向的成分，也可以使其与没有误差 时的近似而不进行输出图像提取范围的图像尺寸的放大或缩小。这样，兽,使图 像修正^ai的处理高速化，并且在需要实时性处理的情况下有用。
另外，在驗方向有聽、照相机的體也有體盼清况下，对i^體46a 和位置误差向量的正交平面成皿行合成，并基于合成后的向量，决定输出图像 提取范围的中心点即可。
1. 9. 3有移动体2的运动的情况
另外，^M鄉方式1中说明了移动体2难以发生横摇和纵摇、魅不因 横摇或纵摇而对摄影图像产生大的影响的情况，但在原来的摄影方法和实际的摄 影方法中有移动体2进行了横摇或纵摇等的差异的情况下，照相机24的摄影方向 在原来的摄影方法和实际的，方法中不同。
在移动体2在实际的摄影中进行了横摇^^摇的情况下，例如皿行了横摇， 则照相机24的摄影方向绕p轴旋转。艮卩，原来应，影的方向和实际摄影的方向 不同。这样，移动体2的运动肯辦表现为绕p轴或q轴或r轴的运动，即照相 标系中的旋转，因此，最终将凝动作为照相机的摄影方向的體来处理即可。
如上所述，通过将照相机24的摄影方向的误差即，方向误差向量分解为摄 影方向的成分和正交于，方向的平面的成分，會,考虑移动体2的运动而决定 输出图像提取范围。
例如，移动体2存歸移动体2实P^S行了摄影时的横摇的角度和纵摇的角 舰偏摇的角度，图像修正體1从移动体2取得这雖息。并且，M31取得关 于原来移动体2进纟 动时的横摇角度和鋭番角^^偏摇角度的信息，求出与实 际的横摇角度割言息的差分，取得 动体2的运动聽的移动体运动1M^言 息。若旨嫩取得该移动体运动^Mft息，则知道照相机的摄影方向的體。之后， 如±0 述，基于照相机的，方向的皿进行图像的提取。
1. IO其他补充
以上，基于实施方式，对本发明涉及的图像修正體1进行了说明，但也可
以如下地变形，本发明不限于，实施方式中示出的图像修正装置1是当然的。
1. 10. 1^S^分信息^l部208的m定时
关于^S差分信息^M部208向图像修正装置1发J^^SM^H言息80的定时 进行补充，可以是，隨差分信息縱部208每7^A^a體计算部202接收位 置误差向量时依7，行发送。在该情况下，由于图像修正装置1接收各时点的误 差向量，因此，育,实时地修正移动体2的照相机24所拍擬啲图像。j^卜，也 可以是，皿差分信息发送部208累积各时点的皿误差向量到某种禾號后，集 中向图像修正 1皿。
财卜，关于摄影图像信息皿部214向图像修正装置1发itMf》图像信息90 和照相机24拍摄到的图像的定时也同样。艮卩，可以是，摄影图像信息錢部214 在每次拍摄图像时依次读出摄影图像取得部213中存储着的图像和摄影图像信息
9o并发送。该情况下，图像修正装置i育嫩如上戶;Mt也实时进行修正。形卜，也
可以累积图像至煤种禾號后，集中向图像修正體1錢。 1. 10. 2移动体2的变化
在，实施例中，对移动体2是飞行体的情7鹏行了说明，但不限于此。总 之，若是鈔卜部干扰影响的移动体就能够适用本发明。例如，也可以是小船、游 艇、帆船等浮在7jC面上移动的漂浮移动体。这些漂浮移动條移动时容易受风的 影响。此外，由于波浪的影响而漂浮移动,动。除此以外也可以是例如在地面 上行驶的行驶体。在移动体在山岳或荒iiLt行驶的情况下，移动体有时因为石头 等P章碍物而瑕歐。此外，不限于地面上和7jC上，也可以是在水中移动的移动体。 移动体的移动有时因为7jC流的影响而受到影响。
1. 10. 3结构的变化
另外，^Jl^的实施方式的说明中假设图像修正驢1、移动体2和移动指
令^S 3是3te的^S而it1亍了说明，但并不一定分开为^S:的装置。例如也可
以是移动体2具有移动指令装置3和图像修正装置1的功能。此外，也可以是图 像修正縫1具有移动指4^S3的功能。例如，在战的鄉方式的说明中， 移动体2计算^S，和方向^而进行螺旋桨动力的修正和摄影角度修正，但 也可以是移动指令驢3 Mi^聽作来指令移动体2进《谅些处理。jtW卜，图 像修正體1从移动指^S 3取f射旨刮言息70，但也可以从移动体2取得。 jtW卜，在图6中图示为显示器4在图像修正體1的外部，但也可以在图像
修正装置中包括显示器4。
另外，在上述的实施方式的说明中，移动体2基于健聽向量和方向體 向ss行图像修正、螺旋桨动力修正和摄影角度修正，但除此以外，也可以基于 计测外部干$^ 得到的行从摄影图像中提取图像的输出图像提取范围的 决定、螺旋桨动力修正和摄影角度修正。计测外部干扰iM例如风压传自等。
移动体2;K上和水中移动时4柳水压传繊为好。此外，移动体2在地面上行
驶时iCT压力传感器为好。
此外，也可以基于移动体2的皿和加皿等，进行输出图像提取范围的决
定和螺》g动力修IK,角度修正。
ltW卜，使用GPS204和陀螺仪207取得移动体2的^g和方向，但也可以是 其fe^S测定移动体2的健和方向后通知会雜动体2。
itMh已经说明了移动体2禾佣气球21和螺旋桨22进行飞行的情况，但也
可以〗OT翼和羽毛、喷射器
实施方式中，图像修正體1M^收指令信息70来取得原 来的照相机24的摄影方向74的信息，條于摄影方向74所,的信息分解錢 體向量，但也可以是，移动体2依次存储照相机24的職方向，取得照相机24 的实际的摄影方向，并基于实际的摄影方向，分解位置误差向量而进行图像的修 正。
此外，将到摄影)^面的距离作为了如指^言息70所示的^Jf、来的照相机位 置的距离，但在移动体2會辦领啶至IJM^膽面的距离的情况下，也可以4顿从 实际的照相机位置的距离进行图像尺寸的修正等。
此外，體體向量禾昉向聽向磐用于表^^的向量的计算方法，不 限于战的实施方式的方法。例如，也可以将以移动体2原5l^f处的坐标为终点、 以实际所处的坐标为起点的向量作为^S^差向量。关于方向误差向量也同样地， 可以将从表^动体2原，该朝向的方向的单位向量减去表示实际朝着的方向 的单位向量的向量差作为方向误差向量，可以考虑各种各样的计算方法。关于摄 影方向^M向量也同样。
1. 10. 4影像的修正
另外，实施方式中，使图像修正體1修正移动体2的照相机24所 拍摄的图像而进行了说明，但也可以^^像修正體，在移动体2驟影像的情
况下，对构成该影像的一幅幅的图像决定输出图《象提取范围而依次提取图像，并
依次输出提取的图像，由此修正移动体2拍摄到的影像。可以设想例如在灾害发 生的现场或室外比赛等的事#^场等中. 价且小型的移动体中搭载照相机， 从上空进行摄影，影像修正装置实B寸接收拍摄到的影像，并对构成该影像的一幅 幅图像依 Mfc行修正而输出的利用方式。在由AiS行摄影的情况下，是人操作照 相机，因此当然育滩摄影操作者所期望的影像，但在该情况下是搭乘在直升飞机 等中进行摄影，不但移动体必须要比^，而且一 本都高。 1. 10. 5图像修正的方法的变化
另外，除了战实施方式中说明的方法以外，从摄影图像决定输出图像提取 范围的方法还有如下方法。
例如，基于錢體向量、到摄影^m面的距离和面角，预先计算出使中心 点从标准的图像提取范围移动的方向和移动量、放大鄉小的图像尺寸的倍率等。 也可以将计算结果作为图像修正信息，存储在图像修正^S 1中。艮P，在，的
有^s误差向量的情况下，存储有要使实际的^^^面移动到原来的摄影m
面所需要的向量的朝向和方向即可。这些修正M过实验或仿真等计算。之后， 基于该向量的大小，决定图像提取范围的中心点的移动量。 1. 10. 6其他
(1) 战的體是具体由微处理机、ROM、 RAM、鹏单元、显示单元、 键盘、以及鼠标等构成的计，系统。^Jl^RAM或上述5I^单元中存f^计算 机禾i/y。 M5U:^微处理机按照Jd^计mi禾M^itfi^作，各^S实1L其功能。 在此，为了达到规定的功能，计 1 ￥是组合多，示对计算机的指令的命令 代石棘构成的。
(2) 构成上述各装置的结构要素的一部分或全部也可以由1个系统LSI (Large Scale Integration:大规丰^g电路)构成。系统LSI是在1个芯片上集
成多个结构部而制造的超多功能LSI，具体地说是包含微处理机、ROM、 RAM等 而构成的计 1^统。^Jt^RAM中剤Wi十^+几辦。S3ihii微处理机按照 ±^计 1禾1^进^^]作，系统LSI实m^功能。
(3) 构成J^M置的结构要素的1分或全部也可以由可对^g,的 IC卡，Wt^构成。上述IC卡或J^模块是由微处理机、ROM、 RAM等构成 的计Ml^统。，IC卡或Jl^穀央也可以包括J^多功能LSI。 M3dT微处理
机按照计^m禾M^进行动作，上述IC卡或，模块实现其功能。该IC卡或该模 块也可以具有抗干扰性。
(4) 本发明也可以是j^^示的方法。iti^卜，也可以是利用计^m实i皿些 方法的计Ml程序，也可以是由，计^i,构成的数字信号。
此外，本发明也可以将j^计^af聘或，数字信号记录在计^m可读取
的记录介质，例如软離、石^:、 CD—ROM、 MO、 DVD、 DVD—ROM、 DVD —RAM、 BD (Blu—ray Disc)、半导,储器等中。财卜，也可以是记录在这些 记录介质中的，计對几禾i^或者，数^号。
此外，本发明也可以经由电气通信线路、无线或有线通信线路、以因特网为 代表的网络、以及li^广播等，传i^h^计^^几禾M^或J^字信号。
此外，本发明也可以是具有微处理机和存储器的计tm系统，战存储蹄
储着巡十娜W，战微处理机按照战计娜將进糊作。
此外，也可以将，禾im或，数字信号记录在，记录介质中而移送，或 者将，禾i^或，数字信号经由Jd述网络等来移送，由此利用M的其他计算 机系 ^行魏。
(5) 也可以分别组合±^实施方式和±^ 例。 产处的可利用性
对于在搭载了照相机的移动体进行職时，鈔卜部干扰的影响而频繁地弓胞 偏离原来想要摄影的图像的现象，本发明的图像修正装置肯辦基于移动体的^S 的體来修正图像，而得到原来想要摄影的图像，十分有用。形卜，通过修正构 成影像的各个图像，也肯辦作为输出影像的影像修正 ^顿。
权利要求
1、一种图像修正装置，对由搭载于移动体的照相机摄影而生成的图像进行修正并输出，其特征在于，具有图像取得单元，取得上述照相机摄影的摄影图像；差分取得单元，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；决定单元，基于上述被存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出单元，从上述摄影图像中提取上述所决定的输出图像提取范围的图像，并输出。
2、 如权利要求1戶，的图像修正^S， ^#征在于，Jl^图f象提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，Jl3悉图像修正^S进一步具有照相机信息取得单元，取得摄影方向信息，该 摄影方向信息表示,行了上述摄影图像的摄影的时点的，照相机在照相机^S 的上^m相m^方向、或^±^游旨定的照相机位置的上逸照相机的 方向中的 至少一个，战决定单元包括分解部，根据±3^万取得的± 影方向信息，将Jd^^S差分信息所,的±3^分，，为Jdffi影方向信息所g的J^影方向的成分和正交于i^i^方向的平面的成分；图像尺寸计算部，根据上織影方向的成分，对J^S准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺寸；图4t^点计算部，根据正交于±^影方向的平面的成分，使，标准的图 像提取范围的基准点移动，并将移动后的基准点决定为输出图像提取范围的基准点。
3、 如权利要求2戶腿的图像修正體，辦征在于，在用以上^^指定的照相机位置为起点、并以进行了，摄影图像的摄影的时 点的照相机健为终点的向量表示了Jl^健差分信息所表示的J^分时，正交于± 影方向的平面的成分是将上述向量投影在正交于上述摄影方向的 平面上的投影向量，战图像基准点计算部，根据J^投影向量的大小，计算战移动的基准点的 移动量，荆EJl^标准的图像提取范围的基准点，向±^投影向量在正交于±^職 方向的平面上表示的方向的相反方向移动，计算出的移动量的量。
4、 如权利要求3戶腿的图像修正,，^r征在于， ，照相机信息取得单^a—步取得面角信息和距离信息，所述面角信息表示在进行了上述摄影图像的摄影的时点的Ji3丞照相机在照相机位置的，照相机的面角、或在战被指定的照相机隨的±^照相机的面角中的至少一个，戶鹏巨离信息表示^￡行了±^^图像的摄影的时点的±^照相机健至臓影鄉的距离、或上述被指定的照相机位置到摄影)( 的距离中的至少一个，，图像基准点计算部，根据，所取得的±^面角信息和±^巨离信息，计 算摄影范围的大小，并根据±^影范围的大小与±^^向量的大小的比率，计算 出±^ 点的，移动量。
5、 如权利要求2戶，的图像修正，，，征在于，在用以，被指定的照相机位置为起点、并以进行了上述摄影图像的摄影的时 点的JJ^照相机的照相机錢为终点的向量表示了Jl^分时，，图像尺寸计算部，在上述向量的摄影方向的成分的方向与J^摄影方向信息所表示的±^^方向为相同方向的情况下，放;th^尺寸；^i^向量的，方向的成分与J^^方向信息所表示的J^影方向为相反方向的情况下，縮小， 尺寸，并进行战尺寸的决定。
6、 如权利要求2戶;M的图像修正^S， ^tt征在于，战图像尺寸计算部包括倍率决定部，并且按照决定的倍率来修正Jl^标准的图像提取范围的尺寸，戶;M倍率决定部根据J^^方向的成分的大小，决定±^尺寸的修正倍率。
7、 如权利要求6所述的图像修正装置，其特征在于，用以上述被指定的照相机几位置为起点、并以进行了上述摄影图像的摄影的时点的上述照相机的照相机位置为终点的向量来表示上述差分，并设上述向量的摄影方向 的成分的大小为a，而从上述被指定的照相机位置到摄影对象的距离为b，上述照相机信息取得单元，进一步取得表示上述被指定的照相机位置到摄影对象的距离的距离信息，上述倍率决定部，在上述向量的摄影方向的成分的方向与上述摄影方向信息所 表示的上述摄影方向为上述相同方向的情况下，将上述倍率决定为b/(b-a);在上述向量的摄影方向的成分的方向于上述摄影方向信息所表示的上述摄影方向为相反方向的情况下，将上述倍率决定为b/(b+a)。
8、 如权利要求6所述的图像修正装置， 其特征在于，，修正图像输出单元包括输出图像尺寸调节部，该输出图像尺寸调节部从上述摄影图像中提取上述输出图像提取范围.并将提取的图像放大或缩小成由上述图像尺寸计算部决定的上述倍率的倒数倍的尺寸的图像，输出通过所述输出图像尺寸调节部成为了上述倍率的倒数倍的尺寸的图像。
9、 如权利要求1所述的图像修正装置,，其特征在于， 上述照相机能够进行使摄影范围以摄影方向为旋转轴旋转的滚动操作， 上述图像修正装置进一步具有滚动角信息取得单元，取得滚动角信息，所述滚动角信息是将进行了上述图像的摄影的时点的、进行了滚动操作的旋转量用角度表示的，上述决定单元，根据上述位置差分信息和上述取得的上述滚动角信息进行上述修正，从而进行上述输出图像提取范围的上述决定。
10、 如权利要求9所述的图像修正装置， 其特征在于，上述滚动角信息取得单元进一步取得指定滚动角信息，该指定滚动角信息表示上述被指定的照相机位置的进行了滚动操作的旋转量，上述决定单元包括差分旋转量计算部，计算差分旋转量，所述差分旋转量表示上述取得的上述滚动角信息所表示的旋转量与上述指定滚动角信息所表示的旋转量的差分的旋转量，根据由上^^分旋转量计算部计算出的J^M分旋转量所表示的旋转量，使根 据Jl^M差分信息而进行了，修正的范围的图像提取范围旋转，将旋转后的图像 提取范围决定为±^输出图像提取范围。
11、 如权利要求10戶，的图像修正，，期寺征在于，JlM图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，战决定单元包括图像基准点计算部，根据Jl^位置差分信息，决定使，标准的图像提取范围 的基准点移动的方向和移动量；图像基准点修正部，使，图像基准点计算部决定的方向和移动量所表示的上 述移动后的点，以基于战标准的图像提取范围的基准点的点为旋转中心，向与战 滚动角信息表示的旋转方向相反的方向旋转J^滚动角信息所表示的旋转量的量，使将由上述图像基准点修正部进行了J^旋转的点作为基准点时的图像提取范 围，以基预行了战旋转的点的点为方雄中心，向与i^分旋转量的旋转方向相反的方向旋转J^M分旋转Si十算部计算出的J^分旋转S^f表示的旋转量的量，并将旋转后的图像提取范围决定为输出图像提取范围。
12、 如权利要求1 TO的图像修正，，，征在于，上述图像修正，进一步具有摄影方向，信息取得单元，取得摄影方向误差信息，所^m方向，信m^示^t行了上述摄影图像的摄影的时点的上逸照相机的摄影方向与上述樹旨定的照相机^S上的摄影方向的误差，J^决定单元，根据，取得的摄影方向，信息和J^位置差分信息进行上 述修正，从而进行J^输出图像提取范围的，决定。
13、 如权利要求12戶，的图像修正，，期寺征在于，Jl^图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，战图像修正驢进一步具有照相机信息取得单元，取得摄影方向信息，所述摄影方向信息表示在进行了，摄影图像的摄影的时点的，照相机在照相机位 置的上逸照相机的,方向、或在J^被指定的照相机位置的上逸照相机的摄影方向 中的至少一个，，决定单元包括分解部，根据战所取得的上述摄影方向信息，将战位置差分信息所表示的 J^分，分解为±^影方向信息所表示的± ^方向的成分和正交于± 影 方向的平面的成分，并且将J^影方向^t息所表示的，摄影方向的误差，分 解为J^影方向信息所表示的Jd^影方向的成分和，正交的平面的成分；图像尺寸计算部，根据Jl^分的Jl^摄影方向成分和战摄影方向的聽的 ± 影方向成分，对战标准的图像提取范围的尺寸进行修正，并将修正后的尺寸 决定为输出图像提取范围的尺寸；图像基准点计算部，根据±^差分的上述正交的平面的成分和±^摄影方向误 差的擅正交的平面的成分，^J^标准的图像提取范围的基准点移动，并将移动后 的基准点决定为输出图像提取范围的基准点。
14、 如权利要求1戶腿的图像修正,，，征在于，，图像修正装置进一步具有运动^t息取得单元，取得移动体运动^信息，所述移动体运动^信m^示^i行了 ±3^影图像的摄影的时点的上述移动体与Jl3i被指定的照相机皿上的移动体的横摇角度、,岳角度以及偏摇角度的差分 的至少一个，，决定单元，根据，取得的位置差^H言息和j^移动体运动^tiaa行 ±^修正，从而进行J^输出图像提取范围的，决定。
15、 如权利要求i4戶;M的图像修正，，^t寺征在于，战图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，战图像修正體进一步具有照相机信息取得单元，取得摄影方向信息，所 述摄影方向信息表示在进行了J^摄影图像的摄影的时点的上逸照相机在照相机位 置的±^照相机的驗方向、^±^被指定的照相机體的±^照相机的驗方向 中的至少一个， 战决定单元包括分解部，根据战所取得的上述摄影方向信息，将战位置差分信息所表示的 上述分，分解为上述摄影方向信息所表示的上述方向的成分和正交于上述摄影方向的平面的成分，并且将，移动体运动体移动信息所表示上述差分，分解为上述摄影方向信息所表示的上述摄影方向的成分和，正交的平面的成分；图像尺寸计算部，根据上述位置差分信息所表示上述差分的上述摄影方向成 分与上述移动体运动聽信息所表示的上》錢分上述摄影方向成分的和，对战标 准的图像提取范围的尺寸进行修正，并将修正后的尺寸决定为输出图像提取范围的尺 寸；图像基准点计算部，根据上皿差信息所表示的上述差分的，正交的平 面的成分与，移动体运动误差信息所表示的上述差分的上述正交的平面的成分的 和，使上述标准的图像提取范围的基准点移动，并将移动后的基准点决定为输出图像 提取范围的基准点。
16、 如权利要求1所述的图像修正装置，其特征在于上述图4象提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上述决定单元包括图像基准点计算部，该图,准点计算部根据，位置差分 信息所表示的健的差分信息所表示的使上述标准的图像提取范围的基准点移动，并将移动后的 基准点决定为输出图f象提取范围的基准点。
17、 如权利要求1所述的图像修正，其特征在于战决定单元根据上述位置差分信息所标的位置差分，放大或縮小战标准 的图像提取范围的尺寸，并将放大，小后的尺寸决定为输出图像提取范围的尺寸。
18、 如权利要求1戶腐的图像修正錢,其特征在于，上述移动体根据指令信息，进行移动和上逸照相机的摄影，所述指令信息表示上述移动体应该移动的路线，上述图像修正装置进一步具有取得上述指令的指令信息取得装置，上述被指定的照相机位置是上述指令信息所表示的路线上的位置。
19、 如权利要求1戶/M的图像修正，，，征在于，上述图像修正，进一步具有图像修正信息取得单元，取得图像修正信息并 存储，戶，图像修正信息是将修正±^标准的图像提取范围的修正方法与±3^分相 对应的，J^决定单元，从Jt^存储着的Jd逸图像修正信息中，读出与J^位置差分信 息所表示的差分相对应的，修正方法，，照J:^应的上述修正方SiS行J^决 定。
20、 如权利要求19臓的图像修正體，辦征在于， ，图像提取范围，根据基准点而被确定该图像提取范围的在摄影图像中的位置，上悉图像修正信息与±^分相对应并存储±^输出图像提取范围的尺寸和基 准点的腿，，决定单元将上述图像修正信息所表示的，尺寸和上述基准点的位置，决 定为Jl^输出图像提取范围。
21、 如权利要求i戶，的图像修正^a，，征在于，J^移动体M3i照相机的摄影^^像，上逸图像修正^SMJi^决定单元，对构成，被生成的影像的各图^4行 ±^输出图像提取范围的，决定，战修正图像输出单元包括影像输出部，该影像输出部提舰各图《tit行了上 述决定的输出图像提取范围的图像，并作为影像，出。
22、 一种图像修正系统，对由搭载于移动体的照相机摄影而生成的图像进行修 正并输出，赚征在于，包括腦旨定接收单元，接收照相机錢的指定；位置指定信息存储单元，^W，收到的指定的照相机位置存储为位置指定信息；移动轨迹信息取得单元，取得表示J^移动体实际移动了的路线的移动^i^t息;位置差分计算单元，根据上述指定信息和上述取得的移动轨迹信息，计算在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与上述被指定的照相机皿的差分；决定单元，根据由上述位置差分计算单元计算出的上述差分，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围;修正图像输出单元，从上述摄影图像中提取上述决定的输出图像提取范围的图像并输出。
23、 一种图像修正方法，对由搭载于移动体的照相机摄影而生成的图像进行修 正并输出，其征在于，包括图像取得步骤，取得上述照相机拍摄到的摄影图像；差分取得步骤，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上逸照相机的照相机^S与被指定的照相机位置的差分；决定步骤，根据上述存储着的上述位置差分信息，对用于上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出步骤，从上述摄影图像中提取，决定的输出图像提取范围的图像并输出。
24、 一种控制程序，用于使图像修正装置进行对由搭载于移动体的照相照相机摄影而生成的图像进行修正并输出的图像修正处理，其特征在于，上述控制程序包括图像取得步骤，取得战照相机拍摄到的職图像；差分取得步骤，取得位置差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的上述照相机的照相机位置与被指定的照相机位置的差分；决定步骤，根据上述存储着的上述位置差分信息，对用于从上述摄影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出步骤，从上述摄影图像中提取，决定的输出图像提取范围的图像并输出。
25、 一种集成电路，执行对由搭载于移动体的照相机摄影而 的图《魏行修 正并输出的图像修正处理，，征在于，包括-图像取得部，取得±3^照相机拍摄到的摄影图像；差分取得部，取tms差分信息，该位置差分信息表示在进行了上述摄影图像的摄影的时点的±^照相机的照相机體与^ 旨定的照相机健的差分；决定部，根据J^存储着的，位置差分信息，对用于AU^影图像中提取输出图像的标准的图像提取范围进行修正，并决定为输出图像提取范围；修正图像输出部，AU^摄影图像中提取，决定的输出图像提取范围的图像并输出。
全文摘要
本发明的图像修正装置、方法、程序、集成电路、系统，从搭载于移动体的照相机所拍摄到的图像中，提取规定的图像提取范围的图像并输出。即使照相机的位置在原来应该进行摄影的位置和实际进行了摄影的位置间有误差，也将该误差分解为摄影方向的成分和正交于摄影方向的平面的成分，根据摄影方向的成分的误差，使图像提取范围移动，根据正交于摄影方向的平面的成分，放大或者缩小图像提取范围的尺寸。
文档编号H04N5/225GK101390383SQ20078000647
公开日2009年3月18日 申请日期2007年2月23日 优先权日2006年2月23日
发明者大宫淳, 银杏圭司 申请人:松下电器产业株式会社