专利名称：宽视野图像输入方法和装置的制作方法
技术领域：
本发明涉及宽视野图像输入方法和装置，其在成像设备的像素数目和视角比最初要求的小时，用于联接所摄取的多幅图像以产生宽视野图像。
背景技术：
当纸的表面例如杂志、报纸和书籍用成像装置例如照相机成像时，有这样的情况即摄像元件装置中的像素数目不足以在纸面上以所要求的分辨率描绘想要的范围。既然是这样，有人提出照相机在使目标成像的同时对目标进行擦洗式的扫描，然后将所摄取的多帧图像联接起来，从而产生高分辨率的宽视野图像。
日本专利申请公报No.11-298837(JP，11-298837A)提出一种图像输入装置，用于联接相邻的场景(局部图像)以产生一幅图像的场合。图像输入装置基于所摄取的局部图像之间的运动矢量对重叠的区域进行检测，当重叠的区域有一个区段足以能计算联接局部图像的几何校正量时，就在指示器上显示这种效果。用户能由这种指示确定是否已取得质量足够、局部图像之间的边界难以觉察的联接的图像。另外，日本专利申请公报No.2004-96156(JP，2004-096156A)提出一种图像输入系统，其用于在成像场合向用户展示合成的联接图像，为的是能在成像场合即刻确认图像是否能容易地合成，即成像是失败还是未失败。用户能从呈现的图像确定是否已取得质量足够、局部图像之间的边界难以觉察的联接的图像。
可是，当多幅局部图像联接产生宽视野图像时，在每一局部图像中每单位长度的样本数即分辨率，随照相机和目标之间的距离而变化。因此当照相机和目标之间的距离变化时，联接而成的宽视野图像在不同的部分有不同的分辨率。
虽然提出了这样方法。其中，由照相机因手的抖动而晃动以及距离上的变化所引起的局部图像之间的几何畸变被校正，然后局部图像被联接起来，但用这种方法合成的联接图像包含有局部的模糊部分。再有，当照相机晃动时即使对于一幅局部图像，所获取的图像也会随处存在不同的分辨率，联接的图像中的分辨率也就发生变化。当相对靠近的目标用手动照相机扫描(即在照相机运动的同时目标被扫描)成像时，例如对报纸或杂志的纸面照相，也就是说，当目标靠近照相机并且以广角成像时，上述这个问题更值得注意。在本说明书中，手动照相机扫描的意思是在照相机被手握着并移动的同时，目标被扫描。
具体地说，上述JP，11-298837A和JP，2004-096156A中披露的技术所瞄准的目标是远距离景观的全景成像。在这一应用中，当照相机手动跟随拍摄图像时，虽然在照相机运动中发生抖颤例如由手的抖动等等，引起的极轻微的晃动，目标仍能在一定的水平上成像即目标在图像上稍有平行移动。因此，手的抖动之类对所摄取的局部图像和所产生的拼接图像的图像质量恶化几乎没有影响。但是，当目标相对靠近照相机时，手的抖动等等就有严重的影响。换句话说，所产生的宽视野图像局部分辨率低而模糊。进一步说，当照相机过度晃动时，所拍摄的图像在不同的点有不同的分辨率，一幅局部图像也是如此。
在所提出的方法中，即使在照相机运动中存在抖动，由于局部图像之间的畸变参数有所估算和局部图像的精确定位，所以所产生的宽视野图像的联接点难以觉察。但是，没有方法能引导用户不在拼接图像上产生分辨率的不均匀。拼接图像是印刷品例如报纸和杂志上的字母或诸如此类在显微镜下表现出来的拼接图像。
还有，为了解决这些问题，当向用户引荐照相机扫描方法以便能以满意的质量产生宽视野图像时，很难让用户以直觉的方法掌握如何校正照相机的位置和方向。其原因是在通常全景拍摄远距离场景目标图像时，如上所述，由抖动例如照相机的转动和位置变化所引起的图像中的变化，是目标的轻微转动和平行移动这样的水平。但是，在近景的情况下，当照相机晃动时目标会畸变，并且当照相机和目标之间的距离即使轻微变化时，尺度也会变化并反映出来。照相机的晃动和位置变化对局部图像的分辨率有很大的影响。在校正照相机扫描时，用户很难直接掌握照相机是否必须转动或位置是否必须移动。
图1表示扫描同一目标所摄取的两幅图像。假定左面所示的图像21是参考图像，右面所示的图像22是当前拍摄的图像。所要考虑的情况是必须校正照相机的位置和姿态，使这些图像能精确定位。在这种情况下，用户很难掌握照相机是否必须转动或位置必须移动。作为一种指导用户进行对准的方法，有一种方法是把已拍摄的参考图像半透明地叠加在将要拍摄的图像上，照相机移动到对准它们的位置和姿态上，就图像2中所示的两个例子。但是，仅仅参考图2中所示的被叠加的图像，用户很难直接掌握照相机的位置和姿态往哪个方向校正以及校正多少。在图2中，左面的图像23是前一帧图像被叠加在当前拍摄的图像上的图像，右面的图像24则是将一帧图像被稍微偏移并叠加在当前拍摄的图像上的图像。
JP，11-298837A[专利文件2]JP，2004-096156A[非专利文件1]Zeleik-Manor and lrani，“Multi-Frame Estimation ofPlanar Motion，”IEEE Transactions on Pattem Analysis and Machine Leaming，Vol.22，No.10，(2000)发明内容发明所要解决的问题本发明的一个目的是提供一种宽视野图像输入装置，其能稳定地输入超过摄像元件装置中的像素数目的高分辨率宽视野图像，并能以直观的方法引导手动扫描成像装置，从而能输入高分辨率宽视野图像。
本发明的另一个目的是提供一种宽视野图像输入方法，其能稳定地输入超过摄像元件装置中的像素数目的高分辨率宽视野图像，并能以直观的方法引导手动扫描成像装置，从而能输入高分辨率宽视野图像。
解决问题的方式本发明的第一个目的是通过一种宽视野图像输入装置来实现的，所述宽视野图像输入装置在用户手动扫描成像装置的同时，将成像装置使成像目标连续成像所得的一系列局部图像联接起来，从而产生宽视野图像，所述装置包括照相机位置/姿态估算装置，其用于接收包含所述一系列局部图像的局部图像系列，并计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；变形参数估算装置，其用于根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；图像联接装置，其用于在利用几何变形参数校正所述局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和照相机扫描误差检测装置，其用于根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
本发明的第一个目的也是通过一种宽视野图像输入装置来实现的，所述宽视野图像输入装置包括成像装置，其用于在用户手动扫描成像装置的同时使成像目标连续成像，从而获得包含一系列局部图像的局部图像系列；照相机位置/姿态估算装置，其用于基于局部图像系列，计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；变形参数估算装置，其用于根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；图像联接装置，其用于在利用几何变形参数校正所述局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和照相机扫描误差检测装置，其用于根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
本发明的第二个目的是通过一种宽视野图像输入方法来实现的，所述方法是在用户手动扫描成像装置的同时，将成像装置使成像目标连续成像所得的一系列局部图像联接起来，从而产生宽视野图像，所述方法包括步骤接收包含所述一系列局部图像的局部图像系列，并计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；在利用所述几何变形参数校正局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
根据本发明，在用户使用成像装置例如照相机连续拍摄一系列图像时，如果存在一种可能，即由于用户的扫描失误例如照相机明显晃动或成像目标的距离显著改变可能引起图像质量降低，那么在这类扫描失误发生以前，能将这种后果通知用户。因此，能减轻由用户的扫描引起的拼接图像质量上的恶化，并以稳定的图像质量获得宽视野图像。
根据本发明的宽视野图像输入装置总是在监视照相机的空间位置信息和姿态信息，当扫描误差发生时，它能掌握照相机在哪个方向要校正以及位置和姿态要校正多少。因此，能向用户发出适当的指令。它也能智能地引导成像装置即照相机如何扫描目标，以便有效地产生高分辨率宽视野图像。
图1是局部图像系列中在时间上相邻的局部图像示例图。
图2是通过重叠两幅图像引导用户的照相机扫描的示例图。
图3是根据本发明第一实施方式的宽视野图像输入装置的结构方框图。
图4是根据本发明第二实施方式的宽视野图像输入装置的结构方框图。
图5是根据本发明第二实施方式的宽视野图像输入装置的另一示例的结构方框图。
图6是利用照相机位置/姿态指示单元引导用户时的显示示例图。
图7是利用照相机位置/姿态指示单元引导用户时的显示示例图。
图8是利用照相机位置/姿态指示单元引导用户时的显示示例图。
图9是根据本发明第二实施方式的宽视野图像输入装置又一示例的结构方框图。
图10是根据本发明第三实施方式的宽视野图像输入装置的结构方框图。
图11是根据本发明第四实施方式的宽视野图像输入装置的结构方框图。
参考号码说明1.成像装置2.照相机位置/姿态估算单元3.变形参数估算单元4.宽视野图像存储单元5.图像联接单元6.照相机扫描误差检测单元7.照相机位置/姿态指示单元8.绝对距离采集单元9.模糊校正单元具体实施方式
第一实施方式图3示出根据本发明第一实施方式的宽视野图像输入装置。宽视野图像输入装置联接由成像装置1得到的多幅局部图像，由此产生宽视野图像。在本实施方式中，用户使用成像装置1以手动扫描成像装置1的方法使作为目标的场景成像。成像装置1按所希望的视角、希望的位置和希望的姿态使目标成像，得到包括一系列数字化局部图像的局部图像系列。成像装置1具体表现为例如照相机，特别是照相机中的成像单元。
宽视野图像输入装置配置有照相机位置/姿态估算单元2、变形参数估算单元3、宽视野图像存储单元4、图像联接单元5和照相机扫描误差检测单元6。照相机位置/姿态估算单元2从成像装置1接收数字化局部图像系列，并基于接收到的局部图像系列计算照相机(成像装置1)的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息。变形参数估算单元3根据照相机位置/姿态信息或局部图像系列或者它们两者，计算局部图像系列中相邻的局部图像之间的几何变形参数。宽视野图像存储单元4存储所产生的宽视野图像。
图像联接单元5接收从变形参数估算单元3来的一系列几何变形参数，并接收由成像装置1经过照相机位置/姿态估算单元2提供的局部图像系列，在校正局部图像之间的变形的同时联接局部图像，产生宽视野图像，并向宽视野图像存储单元4输出所产生的宽视野图像。局部图像之间的变形意指相邻局部图像的相应部分之间的变化。
照相机扫描误差检测单元6经过变形参数估算单元3接收照相机位置/姿态信息，并基于接收到的照相机位置/姿态信息检测照相机运动中的误差，并且，当检测到误差时，提供催促用户校正照相机扫描的指令作为照相机扫描误差检测信号。照相机运动中的误差包括例如照相机的仰角太大或照相机和目标之间的距离太大。顺便说说，在本实施方式和下面的其他实施方式中，“照相机”最好是由成像装置1和宽视野图像输入装置整体构成。换句话说，成像装置1最好是宽视野图像输入装置的一个构成部件。当成像装置1和宽视野图像输入装置整体构成照相机时，照相机扫描误差与成像装置1中的运动误差是同义的。照相机的仰角和方位由例如配置在成像装置1中的透镜光学轴的仰角和方位体现。此外，根据本发明，成像装置1也可以与宽视野图像输入装置分开，以便使用商品照相机或类似物品作为成像装置。
下面说明宽视野图像输入装置的操作。
用户用成像装置1以随机的运动方式对目标扫描，使目标整体成像。因此从成像装置1提供局部图像系列。既然是这样，成像装置1可以是任何装置，例如通过用户操作的成像启动指令而开始拍摄活动画面的装置，连续拍摄图像的装置，以及每当成像按钮按下时拍摄一系列静止图像的装置。当连续拍摄图像和拍摄静止图像时，成像装置1可向照相机位置/姿态估算单元2输出除了初始成像定时的那些图像以外的图像。
照相机位置/姿态估算单元2接收由成像装置1提供的活动画面或静止图像系列作为局部图像系列，确定目标在图像上活动和变形时怎样成像，并计算照相机在位置和姿态上相对于目标的变化。照相机的姿态和位置的时间序列称作照相机位置/姿态信息P＝{X1，X2，X2，θ1，θ2，θ3}。照相机位置/姿态信息的准点可以是三维空间的任一点。例如，与第一帧的图像中心对应的联接的图像平面上的坐标原点可用作准点。因此，当从准点出发的水平、垂直和正交方向分别被设置为坐标轴时，照相机位置/姿态信息可以用照相机(照相机位置)的光学中心位置和照相机光学轴与每一坐标轴之间的角度(照相机姿态)来表示。
照相机位置/姿态估算单元2检测所拍摄的图像中的任意四点或更多的点是怎样在后随的一帧图像中运动的，由此计算照相机在姿态和位置上的变化。当给出图像中的一点时，在后随帧的图像中被检测的一点称作对应点。例如，围绕作为局部图像中心的一点(X1、Y1)的矩形区域中的图形用作样板，在后随的局部图像上搜索这个样板，最匹配的点(X1’、Y’1)设置为点(X1、Y1)的对应点。
作为一个示例，假定对图像中的不同四个点进行上述处理，将图像中的四点((X1、Y1)，(X2、Y2)，(X3、Y3)，(X4、Y4))分别移至后随图像中的((X1’、Y1’)，(X2’、Y2’)，(X3’、Y3’)，(X4’、Y4’))。当投影变换矩阵用H表示时，H表示如下H＝[[h11h12h13][h21h22h23][h31h32h33]]当投影变换矩阵H中的每一元素归一化为满足h33＝1，进行一维排列并以矢量表示时，获得矩阵如下H＝[h11h12h13h21h22h23h31h321]T＝G-1·U这里h33＝1U＝[x1x2x3x4y1y2y3y4]T，G=x1'y1'1000-x1·x1'-x1·y1'x2'y2'1000-x2·x2'-x2·y2'x3'y3'1000-x3·x3'-x3·y3'x4'y4'1000-x4·x4'-x4·y4'000x1'y1'1-y1·x1'-y1·y1'000x2'y2'1-y2·x2'-y2·y2'000x3'y3'1-y3·x3'-y3·y3'000x4'y4'1-y4·x4'-y4·y4']]>当图像上的对应点数目大时，照相机位置/姿态估算单元2能用最小平方法得到H。这时照相机的外观参数矩阵M1能由下式得到M1＝M0·H01。
在这个等式中，M0相应于第一帧的照相机位置/姿态信息，当测量困难时，P0＝
或诸如此类可用来代替M0。H01是第一帧和后随帧图像之间的投影变换矩阵H。任意帧的外观参数矩阵M由下式得到
M1=M0·H。
在这种情况下，假定矩阵H是第一帧和那一帧图像之间的投影变换矩阵。既然是这样，使用照相机位置/姿态信息P中的元素将M表示如下M=cosθ1·cosθ3+sinθ1·sinθ2·sinθ3sinθ1·cosθ2X1-sinθ1·cosθ3cosθ1·cosθ2X2cosθ2·sinθ3-sinθ2X3]]>因此，能够恰当地得到P中的元素。照相机位置/姿态估算单元2每当有局部图像供给，就重复计算照相机位置/姿态信息P，例如可用上述方法得到，并且每当算得照相机位置/姿态信息P以后，就将其向变形参数估算单元3和照相机扫描误差检测单元6输出。
变形参数估算单元3接收局部图像或照相机位置/姿态信息或者它们两者作为输入，并且计算为校正局部图像中的几何畸变用的几何变形参数，以联接局部图像而不感觉异常。假定目标是一个平面，当局部图像系列输入时，8个参数被计算，而在局部图像之间的几何畸变被认为是平面投影变换。当其上产生联接的图像的平面为已知时，它可被考虑为联接的平面与平面之间的投影变换参数。通过观察几帧图像，就能知道目标平面的方位。
同样，当照相机位置/姿态信息输入时，至联接的图像平面的平面投影变换参数能容易地被计算。当照相机位置/姿态信息和局部图像可用时，变形参数估算单元3可将从照相机位置/姿态信息得到的平面投影变换参数应用于局部图像，并进行计算以改善校正联接的图像平面的误差的平面投影变换参数的精度。另一方面，在照相机位置/姿态估算单元2中计算照相机位置/姿态信息P的过程中所得到的投影变换矩阵H，实际上可用作几何变换参数。
图像联接单元5将变形参数估算单元3所提供的几何变形参数经过照相机位置/姿态估算单元2，应用于由成像装置1提供的局部图像，并且将合成图像写入预定位置作为宽视野图像，以便进行联接。这时，使用已知的混合比，可将重叠处理应用于完整地产生的宽视野图像与发生几何畸变时提供的局部图像之间的重叠部分。
照相机扫描误差检测单元6总是监视由照相机位置/姿态估算单元2提供的照相机位置/姿态信息。当照相机与初始的照相机的位置和姿态相比离开目标较预置值远时，或者当扫描角和仰角大于预置值时，把这当作照相机扫描错误，并输出照相机扫描误差检测信号。根据照相机扫描误差检测信号的输出向用户发出通知。例如，当联接的图像的分辨率的变化设置为最高分辨率的百分之10量级时，照相机和目标之间的距离的变化容限设置为与初始帧的距离比为1.1以内，当视角为20度时，角度变化的容限为大约22度以内。当检测到的距离的变化和角度的变化超过容限时，照相机扫描误差检测单元6输出照相机扫描误差检测信号。实际上，当距离比或角度到达上述容限的上限时，分辨率的变化那时也到达容限的极限。因此，在到达上限之前就可发出通知。例如，在变化量的百分之70即容限的百分之70时发出警告的情况下，关于距离和角度两者的阈值是1.07和15.4度。
利用局部图像系列或从成像装置1输入的照相机位置/姿态信息联接图像，在早先是暂停执行的，当预定的时间过去时，或者当证实能得到目标平面的方位精度时才开始。
根据第一实施方式的宽视野图像输入装置，能在往往引起质量恶化的扫描错误发生之前，将用户在照相机扫描上的错误例如照相机明显晃动或与目标的距离显著变化所引起的拼接图像质量上的恶化，通知用户。
第二实施方式图4示出根据本发明的第二实施方式的宽视野图像输入装置，图4所示的宽视野图像输入装置通过在根据第一实施方式的宽视野图像输入装置中增加照相机位置/姿态指示单元7而构成。照相机位置/姿态指示单元7从照相机扫描误差检测单元6接收照相机扫描误差信号并从照相机位置/姿态估算单元2接收照相机位置/姿态信息。照相机扫描误差信号最好是包含扫描误差发生信息的照相机扫描误差信息。
照相机位置/姿态指示单元7执行如下(a)至(d)四种处理的一种或多种(a)可视地指示照相机与成像目标之间的相对位置的变化或照相机姿态的变化，或者相对位置的变化和照相机姿态的变化两者；(b)当相对位置和/或姿态处于影响到图像质量恶化的水平时，显示警告；(c)用比例尺或箭头显示校正量，指示照相机必须校正哪个方向和角度以及校正多少，以便合适地拍摄图像；(d)用预定音调的声音指示相对位置的变化量和/或姿态的变化量。
顺便说说，当不使用照相机扫描误差检测信号(照相机扫描误差信息)时，照相机位置/姿态指示单元7可不从照相机扫描误差检测单元6接收信息，如图5所示。
下面说明根据第二实施方式的宽视野图像输入装置的操作。作为上述(a)的示例，显示器(未示)例如配置在数字静物照相机中的取景器或显示单元(监视器)，基于由照相机位置/姿态指示单元7提供的照相机位置/姿态信息，显示照相机的方位和姿态。这时，例如可以只显示照相机姿态信息。在这种情况下，如图6的例子所示，如果矩形202对应于帧姿态比，绘出表示光学中心的标记201以及联接矩形每一角顶和光学中心的每一线段，用户就容易地掌握姿态信息。顺便说一句，图6示出照相机设备例如数字照相机，它的平面形状是矩形。
当照相机指向垂直向下的方向时，{θ1＝0，θ2＝0，θ3＝0}表示光学中心201的标记，显示在矩形202的中心。当θ不为零时，矩形202的各个角顶203、204、205、206按照θ的幅度位移和显示，而光学中心201则固定不变，如图7的例子所示。因为θ3对图像的分辨率没有影响，所以只有角顶位置可按照θ1、θ2的幅度位移为Un＝Un+k·θn(n＝1，2)。另一方面，关于代表包括θ3和目标距离X3的照相机位置/姿态信息的矩阵，当X1和X2设置为0时，可得到它的逆矩阵，而角顶的位置可移至乘以从各个角顶的相应坐标所得矢量c(u1、u2、1)和所得逆矩阵，计算而得的位置。在本说明书中，c是控制矩形显示尺度用的参量。
当从照相机扫描误差检测单元6接收到照相机扫描误差检测信息时，误差检测信息显示在显示屏幕上，例如取景器或显示单元，或者以声音向用户指示，如上述的情况(b)和(d)，因此很容易掌握那时候应在哪个方向上校正照相机姿态。例如，在上述示例中，用户校正照相机姿态的方向是使光学中心标记201移至矩形202的中心，以消除照相机扫描误差的指示并进行照相机扫描。
进一步作为上述情况(c)的一个例子，当拍摄局部图像而因照相机扫描太快没有手动重叠的部分时，最后拍摄而被重叠的那一帧相对于当前帧的位置的方向，在显示屏上用箭头显示，如图8所示。另外，当宽视野图像由静止图像的拍摄产生时，照相机位置/姿态估算总是在前面的局部图像拍摄以后直至随后的局部图像拍摄的这个期间进行。既然是这样，从光学中心标记201至箭头的尖端208的距离可按照从最后拍摄而恰当重叠的那一帧的X1、X2的平行位移量而变化和显示。这样，通过显示变化着的长度，用户能容易了解照相机扫描必须在以前的扫描方向上返回多少。如果结合矩形202的姿态校正信息，用户自然容易掌握是姿态必须校正还是位置必须校正。
当照相机扫描误差不向用户作可视的指示时，声音的音调按照照相机位置/姿态信息偏离理想状态的程度变化，如情况(d)所示。例如，声音的频率相比于照相机位置/姿态信息的六维矢量的欧几里德距离可或高或低。这可以用上述(a)至(c)的指示内容组合。顺便说说，例如，声音可以装有应用本发明的设备的音频输出单元中发出。
另外，装置可以这样构成，当在局部图像之间存在重叠并且没有照相机扫描误差通知时，图像自动地拍摄，即使用户不向成像装置1输出成像指令。例如，成像装置1可从变形参数估算单元3接收几何变形参数并且从照相机扫描误差检测单元6接收照相机扫描误差检测信息，如图9所示。具体地说，当成像装置1通过几何参数证实局部图像之间的目标变形量在预置值以内，并且没有照相机扫描误差检测信息从照相机扫描误差检测单元6送来时，图像就会自动地连续拍摄，即使用户不输入成像指令。这里，变形参数估算单元3不向成像装置1输出几何变形参数，但是当它通过几何变形参数证实局部图像之间的目标变形量是在预置值以内时，可向成像装置1提供成像合适信号。在这种情况下，当成像合适信号被提供而没有照相机扫描误差检测信号提供时，成像装置1自动地连续拍摄图像，即使用户不输入成像指令。
用这种装置，用户不需注意成像的定时，只要注意进行适当的照相机扫描就能拍摄宽视野图像。顺便说说，成像指令例如是按压配置在应用本发明的照相机中的快门按钮。安装在照相机中的微计算机或诸如此类，可根据快门按钮的按压使成像装置1拍摄图像。
第三实施方式图10示出根据本发明第三实施方式的宽视野图像输入装置。该宽视野图像输入装置通过在根据第一或第二实施方式的宽视野图像输入装置中增加绝对距离采集单元8而构成。绝对距离采集单元8测量照相机和目标之间的距离并向照相机扫描误差检测单元6输出表示所测距离的距离信息。这类绝对距离采集单元8采用例如能测量照相机和目标之间的距离的距离传感器来实现。图10所示的结构是将绝对距离采集单元加至根据第二实施方式的宽视野图像输入装置，但是，也可以将绝对距离采集单元8加至根据图3所示的第一实施方式的宽视野图像输入装置。
根据第三实施方式，照相机扫描误差检测单元6监视对目标表面的成像是否以预定的取样频率或预定的分辨率(像素数目)进行，如果低的话，则向照相机位置/姿态指示单元7输出照相机扫描误差信息。
下面说明根据第三实施方式的宽视野图像输入装置的操作。
在上述第一和第二实施方式中，当难以测量局部图像系列的第一帧的照相机位置/姿态信息P时，P0中的元素X3设置为1，这是一个例子。但是，在第三实施方式中，X3由绝对距离采集单元8进行测量作为绝对距离。因此，能测量表面的长度，像素的数目对应于图像的长度。换句话说，局部图像的分辨率能根据距离信息进行判定。当单位长度的像素数目低于预定的阈值时，确定存在照相机扫描误差并能通知给用户。
众所周知，图像中的分辨率用每一英寸即25.4mm的点数表示，“dpi”是表示每一英寸的点数的单位。
例如，这里示出当必要的分辨率指定为400dpi作为预定值时的操作示例。在与同一局部图像的A1=(x1、y1、1)，A2＝(x2、y2、1)相应的两点之间的目标表面上的距离d，用与P＝{X1，X2，X3，θ1，θ2，θ3}对应的外观参数矩阵M获得如下d＝‖M-1A2-M-1A1‖这里‖·‖表示范数。假定在三维矢量M-1A2和M-1A1中，第一和第二元素用第三元素归一化。同样，假定距离d和x1、x2、y1、y2的坐标值以mm(毫米)为单位描述。
因此，局部图像上的A1和A2之间的连线上的每一英寸的像素数由式 表示。当其低于400时，照相机扫描就有误差。
这样的计算应用于局部图像或成像与成像之间的帧图像，由此检测扫描误差。
顺便说说，假定指定400dpi，像第一实施方式那样，当低于400dpi时，没有通知给出，但当其低于一个比指定值大的预置值(例如440)时，仍有通知给出，由此可防止成像失败。其他处理单元的操作与其他实施方式相同。
第四实施方式图11示出根据本发明第四实施方式的宽视野图像输入装置。宽视野图像输入装置通过在根据第一实施方式的宽视野图像输入装置中增加模糊校正单元9而构成。模糊校正单元9接收由照相机位置/姿态估算单元2提供的照相机位置/姿态信息作为输入，估算成像装置1拍摄的局部图像中包含的模糊函数，根据所估算的模糊函数对成像装置1的提供的局部图像进行模糊校正，并将其输出至图像联接单元5。
下面说明宽视野图像输入装置的操作。
模糊校正单元9利用变形参数估算单元3所提供的投影变换矩阵H，测量图像中像素的运动速度。例如，通过H计算图像中一点位移至后随帧的哪个坐标，并且将它们之间的距离设置为两维矢量D＝(Dx，Dy)。当用于拍摄两帧的时间间隔设置为T时，速度表示为D/T。例如，假定两维正态分布N(0，∑)，则模糊函数可为Σ=kS(Dx/T)2kS(Dx/T)(Dy/T)kS(Dx/T)(Dy/T)kS(Dy/T)2,]]>这里kS是比例常数。当体现第三实施方式的宽视野图像输入方法的照相机的快门速度已知时，快门速度可用作S并在∑的计算中有所反映。
作为除去模糊用的重构滤波器例如使用K＝N/(|N|2+Γ)
Γ是预设常数。从成像装置1输入的所有局部图像系列经过重构滤波器，然后输送至图像联接单元5。其他处理单元中的处理与其他实施方式相同。
如上所述，对本发明的优选实施方式做了说明，后面的例子可考虑为这些实施方式的修改例。例如，在根据上述各实施方式的宽视野图像输入装置中，当初始照相机姿态未知时，图像联接单元5可配置成执行下述处理从一系列局部图像中获得姿态信息；获得相当于在事后观察目标的目标方位；和根据目标方位调整联接的图像的方位。
另外，在根据第一、第二和第三实施方式的宽视野图像输入装置中，在与第一帧对应的照相机位置/姿态信息P0以外，姿态信息{θ1，θ2，θ3}可在拍摄两帧或更多帧以后，用Zelnik-Manor and lrani，“Multi-Frame Estimationof Planar Motion，”IEEE Transactions on Pattem Analysis and MachineLeaming，Vol.22，No.10，(2000)推荐的方法计算。在第一帧中，假定P0＝
，在成像几帧以后，P0设置为
，并用相应外观参数矩阵M0校正以进行显示，由此监视姿态的进一步校正。
另外，在局部图像系列的成像过程中，设置P0＝
，在成像几帧以后P0校正为
，由此产生宽视野图像，其中照相机在第一帧中仰角被校正。其次，在初始照相机姿态以预定的精度进行计算以前，可以不开始联接处理，并且，有待联接的成像可在相当于事后观察目标方位确定以后，基于所得的姿态信息开始。
还有，当由照相机位置/姿态估算单元2进行的处理以失败而结束时，图像联接单元5在失败以前保留联接的图像，并且开始产生其他新的联接的图像。当成像装置1通知最后的局部图像采集操作完成时，手动联接处理可应用于此前保留的所有联接的图像，由此恢复在手动联接处理以前以失败而结束的联接处理。
顺便说说，上述每一实施方式能应用于具有成像功能的便携式终端设备，例如摄像机、数字静物照相机、配备照相机的移动电话、PHS(个人手持式电话系统)、个人计算机和PDA(个人数据助理、个人数字助理)，或者能控制成像范围的成像装置，例如活动式照相机和机器人。
上述有关便携式终端设备或成像装置的应用，除成像装置1和宽视野图像存储单元以外，每个处理单元都能用微计算机特别是按照实现各种功能的程序操作的CPU实现。各种功能包括实现照相机位置/姿态估算单元2的照相机位置/姿态估算功能，实现变形参数估算单元3的变形参数估算功能，实现图像联接单元5的成像联接功能，实现照相机扫描误差检测单元6的照相机扫描误差检测功能，实现照相机位置/姿态指示单元7的照相机位置/姿态指示功能，与距离传感器或诸如此类一起实现绝对距离采集单元8的绝对距离采集功能，和实现模糊校正单元9的模糊校正功能。
因此，本发明包括上述这样的程序、存储媒体和存储有这种程序的程序产品。
工业应用本发明能应用于上述装置，例如摄像机和静物照相机以及包括这些装置的系统。
权利要求
1.一种宽视野图像输入装置，其在用户手动扫描成像装置的同时，将成像装置使成像目标连续成像所得的一系列局部图像联接起来，从而产生宽视野图像，其特征在于所述宽视野图像输入装置包括照相机位置/姿态估算装置，其用于接收包含所述一系列局部图像的局部图像系列，并计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；变形参数估算装置，其用于根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；图像联接装置，其用于在利用所述几何变形参数校正所述局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和照相机扫描误差检测装置，其用于根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
2.根据权利要求1所述的宽视野图像输入装置，其特征在于进一步包括照相机位置/姿态指示装置，其用于基于从所述照相机位置/姿态估算装置来的所述照相机位置/姿态信息，进行下述一种或多种处理a.可视地指示所述成像装置与成像目标之间的相对位置的变化或所述成像装置姿态的变化，或者相对位置的变化和姿态的变化两者；b.当所述相对位置和/或所述姿态处于对图像质量恶化有影响的水平时，显示警告；c.可视地显示校正量，以指示为满意地成像所述成像装置要校正哪个方向和角度以及校正多少；d.以一个音调的声音指示所述相对位置的变化量和/或姿态的变化量或者两者。
3.根据权利要求1或2的所述的宽视野图像输入装置，其特征在于进一步包括绝对距离采集装置，其用于测量至所述成像目标的距离，并向所述照相机扫描误差检测装置输出距离信息，其中所述照相机扫描误差检测装置构成为根据所述距离信息判定所述局部图像的分辨率，以及当分辨率没有到达预定值时向照相机位置/姿态指示装置输出所述照相机扫描误差信号。
4.根据权利要求1的所述的宽视野图像输入装置，其特征在于进一步包括模糊校正装置，其用于基于所述照相机位置/姿态信息估算由所述成像装置获得的局部图像中包含的模糊函数，并且，按照所估算的所述模糊函数校正由所述成像装置供给的所述局部图像，向图像联接装置输出局部图像。
5.一种宽视野图像输入装置，其特征在于包括成像装置，其用于在用户手动扫描成像装置的同时使成像目标连续成像，并且获得包含一系列局部图像的局部图像系列；照相机位置/姿态估算装置，其用于基于局部图像系列，计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；变形参数估算装置，其用于根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；图像联接装置，其用于在利用几何变形参数校正所述局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和照相机扫描误差检测装置，其用于根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
6.根据权利要求5所述的宽视野图像输入装置，其特征在于进一步包括照相机位置/姿态指示装置，其用于基于从所述照相机位置/姿态估算装置来的所述照相机位置/姿态信息，进行下述一种或多种处理a.可视地指示所述成像装置与成像目标之间的相对位置的变化或所述成像装置姿态的变化，或者相对位置的变化和姿态的变化两者；b.当所述相对位置和/或所述姿态处于对图像质量恶化有影响的水平时，显示警告；c.可视地显示校正量，以指示为满意地成像，所述成像装置要校正哪个方向和角度以及校正多少；d.以一个音调的声音指示所述相对位置的变化量和/或姿态的变化量或者两者。
7.根据权利要求5或6的所述的宽视野图像输入装置，其特征在于当局部图像之间的变形量在预定值以内时，所述变形参数估算装置向所述成像装置输出成像合适信号，其中所述照相机扫描误差检测装置向所述成像装置输出所述照相机扫描误差检测信号，和其中所述成像装置被构成为当接收到所述成像合适信号而未被提供所述照相机扫描误差信号时，进行自动成像。
8.根据权利要求5或6的所述的宽视野图像输入装置，其特征在于进一步包括绝对距离采集装置，其用于测量至所述成像目标的距离，并向所述照相机扫描误差检测装置输出距离信息，其中所述照相机扫描误差检测装置被构成为根据所述距离信息判定所述局部图像的分辨率，以及当分辨率没有到达预定值时向照相机位置/姿态指示装置输出所述照相机扫描误差信号。
9.根据权利要求5的所述的宽视野图像输入装置，其特征在于进一步包括模糊校正装置，其用于基于所述照相机位置/姿态信息估算由所述成像装置获取的局部图像中包含的模糊函数，并且按照所估算的所述模糊函数校正由所述成像装置供给的所述局部图像，向图像联接装置输出局部图像。
10.根据权利要求1至9的任一项权利要求所述的宽视野图像输入装置，其特征在于所述图像联接装置构成为当初始照相机姿态未知时，从所述局部图像系列获得姿态信息，获得相当于事后观察目标的目标方位，和按照所获得的目标方位调整联接的图像的方位。
11.一种宽视野图像输入方法，所述方法是在用户手动扫描成像装置的同时，将成像装置使成像目标连续成像所得的一系列局部图像联接起来，从而产生宽视野图像，其特征在于所述方法包括步骤接收包含所述一系列局部图像的局部图像系列，并计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；在利用所述几何变形参数校正局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
12.一种使计算机执行处理的程序，所述计算机接收在用户手动扫描成像装置的同时由成像装置使成像目标连续成像所得的一系列局部图像作为输入，其特征在于使所述计算机执行下述处理接收包含所述一系列局部图像的局部图像系列，并计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；在利用所述几何变形参数校正局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
13.一种计算机可读存储媒体，所述计算机接收在用户手动扫描成像装置的同时由成像装置使成像目标连续成像所得的一系列局部图像作为输入，其特征在于所述存储媒体存储有程序，其使计算机执行下述处理接收包含所述一系列局部图像的局部图像系列，并计算所述成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；根据所述照相机位置/姿态信息计算所述局部图像系列中的相邻局部图像之间的几何变形参数；在利用所述几何变形参数校正局部图像之间的变形的同时联接所述局部图像，从而产生宽视野图像；和根据所述照相机位置/姿态信息检测所述成像装置的运动，并且当在所述成像装置的运动中检测到误差时，输出照相机扫描误差检测信号。
全文摘要
一种宽视野图像输入装置，其在用户手动扫描成像装置的同时，将成像装置使成像目标连续成像所得的一系列局部图像联接起来，从而产生宽视野图，宽视野图像输入装置包括照相机位置/姿态估算单元，其用于接收局部图像系列并计算成像装置的三维位置和姿态的变化状态作为时间序列照相机位置/姿态信息；变形参数估算单元，其用于根据照相机位置/姿态信息计算相邻局部图像之间的几何变形参数；图像联接单元，其用于利用几何变形参数联接局部图像，从而产生宽视野图像；和照相机扫描误差检测单元，其用于根据照相机位置/姿态信息检测成像装置的运动，当检测到误差时输出照相机扫描误差检测信号。
文档编号H04N5/232GK101015199SQ200580029940
公开日2007年8月8日 申请日期2005年7月1日 优先权日2004年7月7日
发明者中岛升, 池谷彰彦 申请人:日本电气株式会社