专利名称：成像设备、成像方法和程序的制作方法
技术领域：
本发明涉及具有将多个图像组合在一起的功能的成像设备、及其成像方法和程序。
背景技术：
在使用摄像放像机(内建在VTR中的相机)、数字相机等的全景摄影中，当在停止 每一阶段的相机的扫描(swe印)运动或具有连续扫描运动的同时、拍摄全景图像时，必须 低速扫描相机，以便防止结果图像的模糊。
在后一情况下，拍摄可需要高速快门。 关于此，日本专利第3928222号(专利文献l)提出了一种在维持图像分辨率的同 时使能相机的快速扫描的拍摄方法。 该拍摄方法中使用的技术是这样的技术，其通过检测相机的扫描方向和扫描角速 度、并沿着扫描的相反方向以相同角速度改变光轴，使得相机能够如同其正聚焦于一点那 样拍摄图像，由此否定(negating) 了结果图像的改变。 尽管必须使用加速度传感器或角加速度传感器以便实现该控制方法，但是日本专 利第3925299号(专利文献2)提出了即使当没有提供传感器和用于控制它们的反馈电路 时仍使得能够适当控制光轴的方法。 在该情况下，该方法被用作监视系统，其中对施加到用于控制拍摄方向的步进马 达的脉冲数目进行计数，并根据计数值执行光轴控制。
发明内容
在通过将相机设置为望远镜模式以创建广角高清晰度图像、而从一点沿不同方向 进行多次拍摄的方法中，一般使用在固定到三脚架的有源可转动机座上安装的相机来执行 拍摄；然而，这样的拍摄也可由手持相机执行。 所以，必须在用手扫描相机的同时执行拍摄，但是难以获得足够好的图像，除非扫 描速度维持适当值。 然而，由于现有相机不能管理(监视)扫描速度，所以实际上不可能确定紧靠拍摄 之后的重新拍摄是否是必要的。 由此，期望提供一种易于使用、并能够监视扫描速度、并使得能够确定紧靠拍摄之 后的重新拍摄是否必要的成像设备、及其成像方法和程序。 根据本发明的第一实施例，提供了一种成像设备，包括成像装置，用于通过光学 系统成像对象图像；图像信号处理部分，具有将多个成像图像组合为一幅组合图像的功能， 所述成像图像是在扫描成像设备的同时获得的；位置传感器，能够获得该成像设备的位置 信息；和控制器，用于处理该位置传感器的信息，其中该控制器基于该位置传感器的检测信 息来发送扫描角速度的适当值的通知，并且当扫描角速度超出适当范围时，输出警告信号。
优选地，该成像设备还包括显示单元，并且该控制器在该显示单元上连同该适当
3范围一起显示时间和该扫描角速度之间的关系。 优选地，该成像设备还包括扬声器单元，并且当该扫描角速度超出该适当范围时， 该控制器经由该扬声器单元输出警告声音。 优选地，基于通过水平视角、水平像素计数、和快门速度确定的最大扫描角速度， 来设置该适当范围。 根据本发明的第二实施例，提供了一种成像方法，包括步骤在扫描该成像设备
的同时、通过具有能够改变其光轴的光轴改变元件的光学系统使用成像装置来成像对象图
像；经由位置传感器获得该成像设备的位置信息；基于该位置传感器的检测信息来发送扫
描角速度的适当值的通知；和当该扫描角速度超出适当范围时，输出警告信号。 根据本发明的第三实施例，提供了一种用于执行成像处理的程序，该程序促使计
算机执行以下处理在扫描该成像设备的同时、通过具有能够改变其光轴的光轴改变元件
的光学系统使用成像装置来成像对象图像；经由位置传感器获得该成像设备的位置信息；
基于该位置传感器的检测信息来发送扫描角速度的适当值的通知；和当该扫描角速度超出
适当范围时，输出警告信号。 根据本发明的实施例，将在移动成像设备的同时获得的多个成像图像输入到图像 信号处理部分。 此外，将位置传感器所检测的成像设备的位置信息输入到该控制器。 该控制器基于该位置传感器的检测信息而发送该扫描角速度的适当值的通知。此
外，当该扫描角速度超出该适当范围时，输出该警告信号。 所以，根据本发明的实施例，可能监视扫描速度，使得能够确定在紧靠拍摄之后的 重新拍摄是否必要，并改善用户友好性。
图1是示出了根据本发明实施例的采用图像处理设备的相机设备的配置的示例 的框图； 图2是概念性地示出了根据该实施例的相机设备执行广角成像的情况的图；
图3是精确组合处理单元的框图； 图4是用图形示出了位置传感器的输出(扫描角速度)的图； 图5A和5B是用于解释根据本实施例第一配置的成像模式的图； 图6是示出了 CMOS图像传感器的曝光周期、存储电荷的读出周期、和光轴控制周
期之间的关系的图； 图7A和7B是示出了在使用互功率谱(CPS)的转换中的拼接图像的图； 图8是用于解释通过块匹配(BM)提取参数的处理的图，特别示出了用于选择好条
件的四个图像的处理； 图9是用于解释通过BM提取参数的处理的图，特别示出了用于在边界的三个位置 处执行BM的示例； 图IO是用于解释通过BM提取参数的处理的图，特别示出了镜头失真的存在导致 BM的拱形(arched)结果; 图11是用于解释通过BM提取参数的处理的图，特别示出了不合适的倾斜角导致左右误差的情况； 图12是用于解释通过BM提取参数的处理的图，特别示出了右和左边界中的垂直 扩展和收縮的存在生成了横向偏差的情况； 图13是用于解释通过块匹配(BM)处理提取参数的处理的图，特别示出了在图像 的旋转中生成的误差的示例； 图14A和14B是用于解释在执行了通过BM提取参数的处理之后、可通过将BM扩 展为很多幅并执行转换而使得误差最小化的处理的图； 图15是示出了基于连续成像的图像和传感器信息的空间排列的方法的功能性框 图； 图16是示出了用于通过使得连续成像的图像和传感器信息相关而实现高精度的 方法的功能性框图，特别示出了静止状态(static-state)传感器值的零点校正；
图17是示出了用于通过使得连续成像的图像和传感器信息相关而实现高精度的 方法的功能性框图，特别示出了用于经由移位信息的协作(collaboration)实现高精度的 方法； 图18是角速度传感器的零点校正处理的流程图；
图19是角速度传感器的移位量校正处理的流程图；
图20是移位量获取方法的流程图； 图21是从成像的图像分配空间座标的方法的流程图；禾口 图22A到22D是用于解释用于计算扫描速度的处理的示例的图。
具体实施例方式
将参考附图来描述本发明的实施例。 图1是示出了根据本发明实施例的作为成像设备的相机设备的配置的示例的框 图。 如图2中所示，本实施例的相机设备IO被配置为通过从一点沿不同方向自动或手 动成像多次而获得大量图像(图2中的16X8 = 128幅)。 相机设备10被配置为没有皱纹地精确组合大量(几千个)图像，以形成所谓全景 图像。 S卩，相机设备10具有从数字相机所成像的图像来创建全景图像的功能，该数字相 机上安装有例如CMOS图像传感器(CIS)的固态成像装置，并且高速地垂直或水平扫描。
根据本实施例的相机设备10具有下面的第一到第五特性配置和功能。
将描述第一配置。 当通过在移动相机设备10的同时成像多个图像并然后将成像的图像组合在一 起、而生成全景图像时，控制聚焦图像的镜头(移位镜头)的光轴，使得否定相机的移动方 向及其角速度。 按照这种方式，正移动的相机可如同它正聚焦于一点一样拍摄图像。 在该配置中，将CIS (CMOS图像传感器)用作固态成像装置，并通过对于沿着CIS
的中心方向的部分线执行上述操作，而成像图像。 S卩，在与该部分线的曝光周期和读出周期之和对应的周期期间执行光轴控制，而在除了所述对应周期之外的周期期间，控制光轴返回到中心附近。这时的相机拍摄方向与 CIS的线正交。 相机设备10将CIS的一部分分段为条纹形状，并对于条纹形状部分执行光轴控
制，由此即使当高速移动相机时，也以高帧频生成全景图像，而不降低分辨率。 将描述第二配置。 相机设备10采用使用经由图像识别技术获得的帧移位信息和从位置传感器获得 的移位信息来部分地排列连续成像的图像的技术。 其中通过该图像识别不能获得该信息的部分被替换为位置传感器信息，并且将位 置传感器信息用作确认图像识别成功或当图像识别已失败时要使用的辅助座标。将空间排 列的图像组合为一个全景图像。 在该情况下，相机设备10被配置为通过从大约一点沿不同方向成像多次、而在主 要手持的状态下成像多个图像的相机。 相机设备10包括位置传感器，该位置传感器具有三轴(或两轴)加速度传感器以 及三(或两轴)角速度传感器中的两者或任一个。 相机设备10具有以下功能与成像同时地记录关于其中成像相应图像的拍摄方 向的位置信息，并将所述多个成像图像组合为原处的一幅图像。 相机设备10在例如块匹配的图像识别功能的帮助下使用图像的重叠区域来计算
图像的相对位置关系，并基于各种位置传感器数据来计算图像的位置关系。 然后，相机设备10经由所计算的图像的相对位置关系和位置关系的选择性协作，
而计算图像的更精确的相对位置关系。 其后，相机设备10指定与相应图像的中心的方位(orientations)相关的相应图 像的绝对位置关系(例如围绕光轴的摇摄(pa皿ing)角(经度)、倾斜角(纬度)、和滚动 (rolling)角(倾度))，并使用它们作为初始值来执行精确的自动化组合。
将描述第三配置。 相机设备10采用通过使得经由图像识别技术获得的帧移位信息和从位置传感器 获得的移位信息彼此相关、来记录连续成像的图像的技术。 相机设备10计算以下本身不确定的信息，例如图像的像素视角、位置传感器的静 止状态值、和位置传感器值的对应像素视角。相机设备10具有例如偏移和增益的参数，并 由此能够通过改变这些参数而使得信息与实际方向基本相同。 相机设备10通过三轴(或两轴)加速度传感器相对于地心引力方向的角度，而静 态地检测静止状态位置数据，并将该位置数据用作位置信息的初始值。 相机设备10主要通过例如三轴角速度传感器的时间积分值，来计算沿着相机的
垂直和水平方向的旋转移动，并将该旋转移动用作当成像相应图像时的方向数据。 相机设备10在例如块匹配的图像识别功能的帮助下，使用图像的重叠区域，来计
算图像的相对位置关系。相机设备10同时确定计算结果是否正确，并计算图像的位置关系。 当计算结果正确时，相机设备10基于位置关系的该信息来校正参数。 当计算结果不正确时，相机设备10使用基于已经校正的参数而获得的位置传感
器值来排列图像。
将描述第四配置。 相机设备10具有一旦检测到移动对象的影响就输出提示用户重新拍摄的警告信 号的功能。 关于移动对象的检测，相机设备10具有以下功能确保对象的任何部分将出现在 具有重叠率50%或更高的至少两幅图像中，以在相邻图像之间的运动矢量的相似度匹配的 帮助下，检测视差(parallax)的影响或对象。 S卩，相机设备10 —旦检测到移动对象或视差的影响，就输出提示用户重新拍摄的
警告信号。 在利用单一扫描来成像宽范围对象的多个条纹形状图像并将它们组合为一个图 像的相机设备10中，检测近距范围中的对象正接收到多少视差的影响，并且基于检测结果 提示用户重新拍摄该相机的视点周围的对象。
将描述第五配置。 相机设备10通过向用户通知扫描角速度(用户扫描相机的速度)的适当值并且 如果扫描过快则输出警告信号，而提示用户重新拍摄。 相机设备10通过图形分别在例如LCD的显示单元18的屏幕的水平和垂直轴上显 示时间和位置传感器(陀螺仪传感器)的输出(扫描角速度)。由于当设置水平视角、水 平像素数目、和快门速度时确定了最大扫描角速度，所以在图表上显示最大扫描角速度的 60%到80%作为适当范围。 下面将描述具有上述特征的相机设备10的更详细的配置和功能。
相机设备10被配置为包括光学系统11、成像装置12、模拟前端(AFE)电路13、位 置传感器单元14、驱动器15、系统控制器16、存储器17、显示单元18、操作单元19、和扬声 器单元20。 光学系统11将对象图像聚焦在成像装置12的成像面上。 光学系统11被配置为包括标准镜头111、作为光轴改变元件的移位镜头112、和机 械快门113。 移位镜头112除了聚焦图像的功能之外具有通过驱动器15的驱动来改变光轴方 向的功能。 通过例如CMOS (互补金属氧化物半导体)器件或CCD (电荷耦合器件)来配置成 像装置112。 在本实施例中，将描述CMOS图像传感器作为示例。在上述第一配置中，将CMOS图 像传感器用作固态成像装置。 成像装置12借助于在半导体衬底上按照矩阵排列的光学传感器来检测该光学系 统11所获得的对象图像，以生成信号电荷，通过垂直信号线和水平信号线读取信号电荷， 并然后输出对象的图像信号。 当成像装置12由CMOS图像传感器形成时，通过全局快门和作为电子快门的滚动 快门来执行曝光控制。通过系统控制器16来执行曝光控制。 AFE电路13去除例如来自成像装置12的图像信号中包括的固定图案噪声，通过自 动增益控制的操作来使得信号电平稳定，并将得到的图像信号输出到系统控制器16。
位置传感器14检测相机设备10的位置，以将检测结果供应到系统控制器16。
7
位置传感器14由例如三轴加速度传感器141和三轴角速度传感器142配置。
加速度传感器141能够静态地知道其相对于地心引力方向的角度，并由此检测倾 斜角和滚动角。然而，加速度传感器141不能检测摇摄角。 所以，角速度传感器142用于获得移位角。角速度传感器142还被称为陀螺仪传 感器，并能够检测旋转期间的角速度作为电压信号，并通过对电压信号进行积分来计算角 度。此外，由于角速度传感器142被配置为三轴传感器，所以其可检测摇摄角、倾斜角和滚 动角。 驱动器15在系统控制器16的控制下改变光学系统11的移位镜头112的光轴。
系统控制器16是用于对于来自AFE电路13的输出信号执行颜色校正处理、多个 图像的组合处理、自动化曝光控制和自动白平衡控制等的电路。 系统控制器16被配置为包括图像信号处理部分161和作为控制器的微计算机 (ii -CON) 162。 图像信号处理部分161具有精确组合处理单元，其被配置为使得能够没有皱纹地 精确组合从一点沿不同方向拍摄多次的大量图像。 如图3中所示，精确组合处理单元1611包括第一颜色校正功能单元16111、组合功 能单元16112、和第二颜色校正功能单元16113。 图像信号处理部分161将多个成像图像组合在一起，所述图像是在移动相机设备 10以生成全景图像的同时获得的。 微计算机162控制聚焦图像的镜头(移位镜头)的光轴，以便根据位置传感器14 的检测结果来否定相机的移动方向和角速度。 当将CMOS图像传感器用作固态成像装置时，微计算机162控制驱动器15，以在与 CMOS图像传感器的部分线的曝光周期和读出周期之和对应的周期期间执行上述光轴控制， 并在除了所述对应周期之外的周期期间将光轴返回到中心附近。那时相机的拍摄方向与 CMOS图像传感器的线正交。 微计算机162将CMOS图像传感器的部分分段为条纹形状并对于这些条纹形状部 分执行光轴控制，使得即使当高速移动相机时，也按照高帧频生成全景图像，而不降低分辨率。 微计算机162对角速度传感器142的检测信号进行积分，以计算相机设备10的旋 转角度，并根据计算的旋转角度来控制移位镜头112的光轴的改变量。
作为选择，图像信号处理部分161可检测相邻成像图像的运动分量，并且微计算 机162可根据检测的运动分量来控制光轴的改变量。 作为选择，微计算机162可基于计算的旋转角度和运动分量来控制光轴的改变 微计算机162在存储器17中记录关于其中成像相应成像图像的拍摄方向的位置 信息。 图像信号处理部分161和微计算机162在例如块匹配的图像识别功能的帮助下使 用图像的重叠区域来计算相应图像的相对位置关系，并基于各种位置传感器数据来计算图 像的位置关系。 然后，微计算机162经由所计算的图像的相对位置关系和位置关系的选择性协作，来计算图像的更精确的相对位置关系。 其后，微计算机162指定与相应图像的中心的方位相关的相应图像的绝对位置关
系，例如光轴周围的摇摄角(经度)、倾斜角(纬度)、和滚动角(倾角)。 图像信号处理部分161使用它们作为初始值来执行精确自动化组合。 微计算机162计算本身不确定的信息，例如图像的像素视角、位置传感器的静止
状态值、和位置传感器值的对应像素视角。微计算机162具有例如偏移和增益的参数，并由
此能够通过改变这些参数使得信息与实际方向基本上相同。 微计算机162通过三轴(或两轴)加速度传感器相对于地心引力方向的角度来静
态地检测静止状态位置数据，并将该位置数据用作位置信息的初始值。 微计算机162主要通过例如三轴角速度传感器142的时间积分值来计算相机的垂
直和水平方向的旋转移动，并将该旋转移动用作在成像相应图像的时间处的方向数据。 微计算机162在例如块匹配的图像识别功能的帮助下使用图像的重叠区域来计
算图像的相对位置关系，并还在计算图像的位置关系时同时作出关于计算结果是否正确的确定。 当计算结果正确时，微计算机162基于该位置关系的信息来校正这些参数。
当计算结果不正确时，微计算机162使用基于已经校正的参数获得的位置传感器 值来排列图像。 微计算机162通过借助于显示单元18和/或扬声器单元20显示指示和/或输出
警告声音而输出警告信号，以一旦检测到移动对象的影响就提示用户重新拍摄。 关于移动对象的检测，微计算机162确保对象的任何部分将出现在具有重叠率
50%或更多的至少两幅图像中，以在相邻图像之间的运动矢量的相似度匹配的帮助下，检
测视差的影响或对象。 S卩，微计算机162输出警告信号，以一旦检测到对象或视差的影响就提示用户重 新拍摄。 微计算机162检测近距范围中的对象正接收到多少视差的影响，以基于检测结果 提示用户重新拍摄该相机的视点周围的对象。 微计算机162通过向用户通知扫描角速度(用户扫描相机的速率)的适当值、并 且如果扫描过快则通过借助于显示单元18和/或扬声器单元20显示指示和/或输出警告 声音而输出警告信号，来提示用户重新拍摄。 微计算机162通过图形分别在例如LCD的显示单元18的屏幕的水平和垂直轴上 显示时间和位置传感器(陀螺仪传感器)的输出(扫描角速度)。由于当设置水平视角、水 平像素数目、和快门速度时确定了最大扫描角速度，所以在图表上显示最大扫描角速度的 60%到80%作为适当范围RNG，如图4中所示。 操作过程的概况如下。[1]通过按下操作单元19的开始按钮而扫描相机，并然后 释放该开始按钮。[2]在图4中图示的显示单元18的屏幕上显示在开始按钮的按下状态期 间的扫描角速度。 [3]当扫描角速度低于适当范围RNG时，不输出警告信号，但是当扫描角速度高于
适当范围时，将输出警告信号。 其后，将详细描述上述第一到第五配置。
系统控制器16主要执行第一到第五配置中的控制。
[第一配置] 在第一配置中，由于将CM0S图像传感器用作固态成像装置，所以不存在例如帧/
场的概念，并且采用其中顺序读出所有线的累进(progressive)方法。 图5A和5B是用于解释根据本发明第一配置的成像模式的图。 作为移动相机设备10的方法，假设基本上沿着图5A中示出的垂直方向或图5B中
示出的水平方向来扫描相机。即，沿着与CM0S图像传感器的读出线正交的方向来移动相机。 如图5A和5B中的黑色条纹形状部分30所描绘的，在本实施例中，微计算机162 对于从CMOS图像传感器的成像范围的中心部分分段的条纹形状部分执行光轴控制。
这样的条纹成像给出以下优点。
(a)更窄的条纹给出对于视差的更有利影响。 (b)更窄的条纹给出对于CMOS图像传感器的异步读出的更有利影响。
(c)更窄的条纹给出对于环境光减少的更有利影响。
(d)更窄的条纹给出对于镜头失真的更有利影响。 微计算机162控制聚焦图像的镜头(移位镜头)的光轴，以根据位置传感器14的 检测结果来否定相机的移动方向和角速度。 当将CMOS图像传感器用作固态成像装置时，微计算机162控制驱动器15以在与 CMOS图像传感器的部分线的曝光周期和读出周期之和对应的周期期间执行上述光轴控制， 并在除了所述对应周期之外的周期期间将光轴返回到中心附近。 S卩，在图5A和5B中示出的条纹形状部分30正被曝光的周期期间，需要执行光轴 控制。 图6是示出了 CMOS图像传感器的曝光周期、存储电荷的读出周期、和光轴控制周 期之间的关系的图。 在曝光之后读出CMOS图像传感器的相应线的电荷，并且在完成某一线的电荷读 出之后，对于随后线执行曝光和电荷读出。在反复执行该操作的周期期间执行光轴控制，使 得对于所有条纹形状部分执行电荷读出处理。 例如，当使用每一线的读出周期为7. 8微秒/线的CMOS图像传感器、快门速度是 1/1000秒(S卩，曝光周期是1毫秒)、并且条纹宽度是200线时，图6中的总读出周期成为 1. 56毫秒而光轴控制周期成为2. 56毫秒。这对应于图22A到22D中的条件[3]，其中当 给出各种参数时，计算模糊像素计数或帧频。另外，当成像的帧频为60fps (大约每一图像 16. 66毫秒)时，通过应用专利文献1的图3中的对应数值，Son成为2. 56毫秒而Soff成 为14. 1毫秒(=16. 66-2. 56)。 尽管光轴控制的许可界限角在专利文献l中公开的技术中处于士1.2度的范围 内，但是许可界限角在士0.5度的范围内可变，并且使用在0到0.3度的范围内的值。这对 应于最大可变范围的大约60 % 。 按照这样的方式通过成像获得的条纹形状的图像由图3中的精确组合处理单元 1611组合在一起，由此生成全景图像。其后，将描述精确组合处理单元1611的图像组合处理。
由此，根据本实施例的系统控制器16具有这样的功能(例如软件)，用于通过校正
颜色非均匀性将从一点沿不同方向拍摄多次的图像精确组合为一幅图像。 下面将详细描述本实施例的精确组合的特征功能。 第一颜色校正功能单元16111在提取例如镜头失真校正系数的参数时对于每一 边界执行至少三个块匹配(BM)处理，并对于至少四幅中的边界执行组合，由此确定镜头失 真校正系数，以允许精确组合。 换言之，第一颜色校正功能单元16111从原始图像中提取例如镜头失真校正系数 的参数。 随后，第一颜色校正功能单元16111对于所有部分图像均匀地执行环境光减少校 正、对比度增强、饱和度增强和伽马校正。 在第一颜色校正功能单元16111确定例如镜头失真校正系数的参数并执行环境 光减少校正、对比度增强、饱和度增强和伽马校正之后，组合功能单元16112对于所有边界 中的每一个执行BM至少一次(例如三次)。 然后，组合功能单元16112通过同时评估所有边界的BM的结果，并更新光轴方向 而执行多个图像的精确组合，以便降低所有边界中的误差。 第二颜色校正功能部分16113执行颜色(颜色非均匀性)校正，这对于每一部分 图像独立执行，以便减少该组合功能单元16112所精确组合的多个图像中的相邻图像之间 的色差。 第二颜色校正功能部分16113还执行用于将相邻图像之间的颜色不连续性降低 到检测界限之下的颜色校正。 下面将描述精确组合处理单元1611中的精确组合处理的理论概念。 本实施例基本上采用了基于傅立叶分析的相位相关技术。
艮P，采用的技术基于傅立叶移位定理，其中仅在谱域中的相位中改变空间函数的
移位。
特别是，两个函数^和f2应满足以下关系。 [等式l]
f2(x， y) = f\(x+xt， y+yt) 此外存在以下谱特征。 [等式2]
F2 (u， v) = F工(u， v) exp (_2 jt i (uxt+vyt)) 可通过使用互功率谱(CPS)来等效书写以上等式，如下。 [等式3]
1v , , 2、 ' lexp(2—x,
《(w，v)《(w,v)
互功率谱
在该等式中，F2*是复函数F2的共轭函数。
事实上，图像是例如两个图像的互功率谱的比特噪声，如图7A和7B中所示' 所以，可期望寻找CPS的峰值，并从该峰值导出转换参数(xt， yt)。
11
图7A和7B是示出了在使用互功率谱(CPS)的转换中的拼接图像的图。 图7A示出了两个图像的拼接的结果。可通过检测CPS的峰值来获得两维转换，如
图7B中所示。这里，如果CPS是可读的，则完全匹配了这些图像。 由于难以在具有许多噪声的图像中检测最大峰值，所以可选择一些峰值。 接下来，将参考图8到14来描述通过使用块匹配(BM)处理的参数提取原理。 BM包括导出上述互功率谱(CPS)的峰值的函数。 现在参考图8，选择好条件的四个图像IM0、 IM1、 M2和IM3。 例如假设在左下角排列的图像是第零图像IMO，其右边的图像是第一图像IM1、最
左边的图像是第二图像頂2、而其右边的图像是第三图像IM3。排列这些图像M0到IM3，以
包括在相邻图像之间的边界中的重叠部分。 在图8中，在边界区域中安排的矩形是块BLK。 由此，在上述排列条件下执行BM。然后，从下、左、右和上区域中的四个边界BDR01、BDR02、BDR13和BDR23中分别获
得镜头失真、视角、和倾斜角的信息。 将进一步描述BM (块匹配)。 对于边界中的三个位置执行BM，如图9中所示。 镜头失真的存在导致BM的拱形结果，如图10中所示。 任何不合适的倾斜角导致BM结果中的横向倾斜误差，如图11中所示。 当镜头失真的中心在垂直方向上偏离时，在上和下边界中发生横向扩展和收縮，
如图12中所示。右和左边界中的垂直扩展和收縮是由于镜头失真的中心的横向偏离而引起的。 当图像在向上的同时旋转时，如图13中所示发生垂直倾斜误差。S卩，图13示出了
当相机没有定位在机械倾斜轴的前面时的结果。 确定各种参数来使得这些误差最小化。 这使得即使将任何四幅连接在一起，也能够降低误差。 例如，应用快速相位相关匹配，来执行图像中的对应BM。可通过获得矢量移位
(Xij，yij)，并然后分析这三块的移位的行为，而量化(quantified)相应参数。 在执行上述四幅的BM之后，如图14A和14B中所示，将BM扩展为很多幅，并同时
对于所有边界评估BM的结果。通过更新光轴方向来执行多个图像的精确组合，以便降低所
有边界中的误差。 在该情况下，确定一幅参考图像，并对其他图像进行平移，以便会聚在使得误差最 小化的位置处。 基本上根据以下处理来执行精确组合处理，这在下面逐条记载。 通过转换发现用于移位的最佳位置。 在该情况下，旋转环路。 将指明总移位量的参数fxy设置为0. 0。 对所有上、下、右和左(垂直和横向)图像进行处理。 参考图像保持不移动。 从BM的结果中发现与相邻图像的位置关系。基于此，计算移位量。
其方法如下。添加直接靠上的图像及其右邻，并减去直接靠下的图像及其左邻，以
获得平均值，这被表达为f [y] [x]. x、 f [y] [x]. y。 其80%被添加到当前图像的中心位置，并被看作新图像的中心位置。 所有图像的移位量的绝对值的总和被键入到fxy中。 进行计算以确认上述移位如何改善垂直和横向位置关系。 fxy具有其通过重复上述移位而变小的性质(本性)。 换言之，将fxy会聚到不再能执行移位的状态。
当fxy足够小时，终止该处理。 将对甚至当连接几千幅时、也没有皱纹的图像组合的特定处理的示范实施例进行 描述。 现在考虑四幅图像的情况。 如图8中所示，假设左下角的图像是第零图像IM0、其右邻是第一图像IM1，左上图 像是第二图像IM2，并且其右邻是第三图像IM3。 第零图像MO保持不移动。即，将第零图像MO用作参考图像。 将BM的结果的横向分量表达为bxl
、bxl[l]、bx2
和bx2[1]。
还独立处理垂直分量；然而，为了描述的目的，下面将仅描述横向分量的处理。 bxl表示右和左，而bx2表示上和下。"[]"中的数字O意味着下或左。 当右或上图像相对于参考图像MO位于右边或上边时，BM结果是正值。 作为极端示例，假设仅存在一个异常值，并且bxl[O] = 10、bxl[l] =0、bx2
=
0禾口 bx2[1] = 0。 认为在第一行中存在横向10像素偏差，并且其他三个边界不具有偏差。
如果通过第零图像MO和第一图像Ml的BM结果确定第一图像Ml的位置，则通 过第一图像頂l和第三图像頂3的BM结果确定第三图像M3的位置。此外，通过第二图像 M2和第三图像M3的BM结果确定第二图像M2的位置，在第零图像MO和第二图像M2 之间的位置关系中，可发生io像素的大值作为皱纹。 本实施例的系统指示异常值"10"的影响被分散(dispersed) 2. 5。根据程序执行 该处理，其部分将稍后描述。 通过xypos2()从与相邻图像的位置关系得到要平移的量。 第一次，计算第一图像Ml应被移位_5像素。 第一图像被平移move()。 实际移位量是其80%，即4像素。 除了第零图像MO之外的图像Ml、 IM2和IM3的移位量分别是<formula>formula see original document page 13</formula>
从此，BM结果bxl
从10改变为6。
结果，bx2 [1]从0改变为4。
第二次，计算第一图像IM1应被移位-1像素。
计算第三图像M3应被移位-2像素。
当添加其80% (即0. 8)时，pox[l] = 4. 8。 随后，从第三次到第32次继续类似计算。在第32次，移位量fxy的总和在0. 001像素之下，并且终止该处理。 这时，要平移的像素数目是7.5、2.5和5.0。相应图像的位置关系如下改变。艮P， bxl
= 10改变为bxl
= 2. 5， bxl [1] =0改变为bxl [1] = -2. 5， bx2
= 0改变 为bx2
=-2. 5，而bx2[1] 二0改变为bx2[1] =2.5。可以看出误差被分散。
下面列出了当ii = 32、fxy = 0.00083 (即，fxy不大于0.001)时的次数及其值。
11ixfx[n]fy[n]
000.000000o細ooo
12-0.000244o細ooo
22-0.0002440.000000
2-0.000344o扁ooo
npox[n]poy[n]fz[n]
00.000.00
17.500.00
22.500.00
35.000.00
要平移的像素数目
下面是程序的示例的一部分。
一一程序的一部分(从这里开始)-------
clrpos 0
and rolla[]中 键入O。
move () ;//平移c0.
fzx[]
发现要平移的
量。
}
fprintf (inf， " ii = 1230484， fxy
the value thereof when fxy is not more
than 0. 001\n"，
ii， fxy); xypos ()
发现平移量。 move() ;/ dsppos () angle ()
qq[n] 、pp [n]。 dsppos () dsperr ()
差中具有超过1的值
的那些值。
在要平移的量[pixel]pox[]，
for(ii = 0 ;ii < 1000 ;ii++) {
xypos2();〃从与相邻图像的位置关系中
f (fxy < 0. 001) {break ;)
the number of times and
//从与相邻图像的位置关系中 平移。
〃显示校正量。 /将校正量转换为角度，并更新
〃显示校正量。
〃显示在一对小图像之间的误
14
st印();〃 从qq [n]、卯[n]创建步进角。一程序的一部分(到这里为止)------------------下面是主例程。一主例程----------------------------void xypos2() { 〃从与相邻图像的位置关系发现平移量
fx[n]、fy[n]，〃发现不能平移的标志fz [n]。(Delete fprintf)int m， n， m2， n2， h， v， ix ;double cx， cy ;//fprintf (inf， ，，n ix fx [n] fy [n] \n，，)；fxy = 0 ;for(v = 0 ;v < ny ;v++) {〃关于所有图像for(h = 0 ;h < nx ;h++) {m = (nx-l)承v+h ;〃右禾口左边界n = nx氺v+h ;〃上和下边界ix = 0 ;if ((0 < skip[h] [v]) I I ((v == (ny_l)/2)&&(h == (nx_l)/2))) {〃中心图像和确定的标志图像保持不移动。fx[n] = 0 ;fy[n] = 0 ;fz[n] = 4 ;〃fz[n]是不能平移的标志。if(skip[h] [v] == 2) (fz[n] = 2 ;}〃确定的标志图像是2。}else{CX = 0 ;Cy = 0 ;if(v ! =0){ 〃当不是最低行时n2 = n_nx ; 〃直接靠下if(0 < fok2[n2]) {ix++ ;cx- = bx2[n2];〃减去直接靠下的行cy- = by2[n2];if (v !=町-D {//当不是顶端行时if(0 < fok2[n]) {ix++ ;cx+ = bx2[n];〃添加其自己cy+ = by2[n2];if(h ! =0){〃当不是最左端时m2 = m_l ;〃左令卩 if(0 < fokl[m2]){ ix++ ;
cx- = bxl[m2];〃减去左邻 cy_ = byl [m2];
14/27页
Lf (h ! = nx-l) {//当不是最右端时
Lf(0 < fokl[m]){ ix++ ;
cx+ = bxl [m] ;/ cy+ = byl [m];
添加其自己
if (ix == 0) {
fx[n] = 0 ;fy[n] }else {
fx [n] = cx/ix ;
fy [n] = cy/ix ;
f z [n] = 0 ;
0 ;fz[n]
fxy+ = fabs(fx[n])+fabs(fy[n]);
void move 0 {//平移。 int m， n， h， v ;
for (v = 0 ;v < ny ;v++) {〃图像(像素)的中心位置 for(h = 0 ;h < nx ;h++) { n = nx氺v+h 5
if (fz[n] ==0) {//当没有与环境隔离时 pox[n]+ = -fx[n]承O. 8 ; poy[n]+ = -fy[n]承O. 8 ;
for(v = 0 ;v < ny ;v++) {〃横向位置关系
for(h = 0 ;h < nx_l ;h++) { m = nx氺v+h ; n = (nx_l)*v+h ; bxl [n] + = - (fx [m] -fx [m+1]) *0. 8 ; byl [n] + = - (fy [m] -fy [m+1]) *0. 8 ; } } for (v = 0 ;v < ny_l ;v++) {〃垂直位置关系
for (h = 0 ;h < nx ;h++) { n = nx*v+h ; bx2 [n] + = - (fx [n] -fx [n+nx]) *0. 8 ; by2 [n] + = - (fy [n] -fy [n+nx]) *0. 8 ; }
}
} 如上所述，根据本实施例的第一配置，即使当使用其上安装了 CMOS图像传感器的 数字相机时，也可能在不降低分辨率的情况下以高帧频成像图像，由此降低视差的影响、环 境光降低、和镜头失真。此外，可能创建高质量全景图像。 这使能精确组合并还抑制颜色不均匀性的出现，而与要组合的图像的数目无关。
可从实际成像的图像中提取镜头失真校正系数。这消除了复杂校准操作的必要 性，显著改善了精度。 利用即使当连接几千幅时也不引起皱纹的方法，可按照必要分辨率取得必要范
围，而无需注意快门数目。 接下来，将描述第二配置。[第二配置] 将描述连续成像的图像的空间位置的记录。
〈概况> 基于连续成像的图像的全景摄影术是划分空间以将图像组合为一幅图像的操作。 当从这些图像创建全景图像时，可通过在成像时使用空间信息执行逆运算，而获得高精度 全景图像。 在本实施例中，在成像图像时从传感器和图像计算有关其中执行成像的成像空间 的信息，并将该信息分配给每幅图像，使得该信息可用于生成全景图像。
〈分配有关成像空间的信息> 例如，当执行全景摄影时，通过具有固定在一点的视点的马达来取得镜头，并改变 拍摄方向。 在该条件下成像的图像中，相机设备10的位置(即焦点位置)固定，并且仅拍摄 方向不同。所以，在该示例中，描述将限于其中图像是通过成像具有从某一点的固定视角的 对象的环境而获得的图像的情况。
17
在这样的成像方法中，将存在两类有关成像空间的信息，如下。 S卩，其中一种是关于成像正瞄准(targeting)的点的信息(视点矢量)，而另一种
是有关视点矢量周围的旋转角(滚动角)的信息。〈投影球体和空间的定义> 将空间的图像投影在一片平面上。 为了当对空间的全景图像进行成像时处置所有方位，从简单图像处理的角度出 发，假设存在摄影师周围的球体并将全景图像投影在球体上将是有用的。当通过使用球体 来定义视点矢量时，也确定座标空间。 利用用作相机设备10位于的焦点位置的原点(O，O，O)来定义具有半径1的投影 球体。 假设水平状态的向前方向被定义为位于z轴上的距离1的座标f (O，O， 1)，则可将 视点矢量表达为从原点(O，O，O)指向点f(O，O，l)的矢量。 视点矢量成为具有长度1的单位矢量，并且在任何方位中长度将为1。 由于不能仅利用视点矢量vl来记录帧的滚动信息，所以不得不记录另一滚动矢
量v2。这是代表图像的向上方向的信息，并且这些矢量的相减v2-vl成为代表图像的向上
方向的矢量。 这使得能够用两个矢量(投影球体上的两点)表达图像的拍摄方向，并定位所有
方位上的任何点，而不产生任何密度差异。〈相对移位和绝对座标> 有关成像空间的信息包括两类信息，即相对信息和绝对信息。 从创建全景图像的角度出发，尽管具有有关其中成像图像的方位的绝对位置信息 是好的，但是由于难于获得准确的绝对信息，所以从相对信息来求位置信息的积分或使用 粗略(rough)绝对信息来校正位置信息。 在镜头驱动的全景相机中，尽管移动镜头的场景(scenario)是绝对信息，但是由 于向其添加了例如成像时的摇晃、驱动镜头时的误差合并、位置传感器的精度变化的相对 信息，所以通过计算获得精确绝对值。
〈相对移位的空间扩展〉 现在，将假设在图像识别和位置传感器的帮助下获得准确相对信息。
当当前图像帧fl从先前图像帧f2移位位置(dx，dy)并且帧滚动了量rz时，可从 视角计算x和y轴周围的旋转量作为rx和ry。这是，帧fl的视点矢量vl成为将帧f2的 视点矢量v2旋转量(rx， ry， rz)的结果。 尽管可基于该信息计算有关投影球体的绝对位置，但是通过从矢量v2的位置旋 转量(rx，ry，rz)而计算绝对位置的计算有一点复杂。 所以，最新图像fl被固定在前平面矢量vl (O，O， 1)，并且包括先前图像f2并比先 前图像f2更迟的在投影球体上排列的图像对于每一球体被旋转了量(-rx，-ry，-rz)。艮卩， 其他图像相对于最新图像fl移位。 通过重复该操作，最新图像的位置将在座标(O，O，l)上，并且将获得所有剩余图 像的绝对座标。 通过视点矢量和滚动矢量两个矢量来表达滚动信息的原因在于，因为易于执行相对旋转(旋转球体自身)。〈相对移位积分值和绝对信息之间的偏差> 尽管仅将相对信息用于图像的空间排列，但是事实上可能从位置传感器14等获 得例如滚动信息或垂直斜度的绝对信息。然而，可从位置传感器14获得的绝对信息与生成 全景图像所必需的精度相比太粗略，并由此难以原样使用这些值。 另一方面，尽管由于通过图像识别获得相对信息使得相对信息具有高精度，但是 这里仍合并有误差。当对相对信息进行积分时，可出现小误差，并由于积分误差而引起大误差。 所以，从位置传感器14获得的绝对信息用于确认是否已发生了积分误差。
在相对移位的空间扩展处理期间，按照某间隔，将相对信息与位置传感器的绝对 值进行比较。如果相对移位与位置传感器的绝对值相差太远，则使用位置传感器的绝对值 来校正相对移位。此外，移位量从该位置被相对积分。 图15是示出了基于连续成像的图像和传感器信息的空间排列的方法的功能性框 图。 在图15中，功能框41设置对于角速度传感器142的检测信号的零参考值，并且移 位量积分部分42对移位量进行积分。 此外，检测部分43将通过成像装置12成像的帧间图像进行彼此比较，并检测移位 协作校正逻辑44基于移位量积分部分42和检测部分43的输出来执行协作校正，
并且相对位置积分部分45对相对位置进行积分以获得绝对位置信息。 此外，基于加速度传感器141的检测结果，绝对位置校正部分46校正绝对位置信
息，而排列部分47确定帧的空间位置并排列这些帧。〈空间座标信息和全景图像〉 在成像过程中执行上述计算，并同时记录空间座标信息(即拍摄方向)作为元数 据。 尽管可仅利用元数据生成全景图像，但是在后处理中，当执行精确调整和创作 (authoring)时，可使用空间座标信息作为基本数据。 由于已不存在代表空间中的拍摄方向的元数据，所以不可能获得更精确的全景图 像。然而，在本实施例中，在成像时分配座标信息，以便解决该问题。 如上所述，在第二配置中，使用经由图像识别技术获得的帧移位信息和从位置传
感器获得的移位信息，来对连续成像的图像进行空间排列。不可通过图像识别获得信息的
部分由位置传感器信息替换，并且将位置传感器信息用作用于确认图像识别成功或当图像
识别已失败时所要使用的辅助座标。将空间排列的图像组合为一个全景图像。 该方法使得能够不仅正确表达前方附近的图像而且正确表达直接靠上和直接靠
下的图像，并符合所有方位中的成像或天球的成像。 可能没有误差地渲染前方附近的更宽场面(scene)。 不必说，可能符合手持成像并获得高精度图像。 接下来，将描述第三配置。[第三配置]
19
将描述基于连续成像的图像的位置识别的校正。
〈概况> 为了将拍摄位置信息给予连续成像的图像，本配置使用作为合并位置传感器和图
像识别的方法的所谓动态校准。〈连续成像和拍摄位置信息> 当使用连续成像的图像组合全景图像时，存在这样的情况，在图像中不包括高频 分量，并且不能从图像指定连续性。 在这样的场面中，不能获得关于连续帧移位多少的信息，使得不能生成整个全景 图像。 为了使得能够从这样的场景获得位置信息，在位置传感器14的帮助下，连同成像
时的图像一起记录移位信息和位置信息。〈位置传感器的使用> 位置传感器14按照同时并行的方式使用三轴加速度传感器141和三轴角速度传 感器142。 角速度传感器142检测相机的旋转速度，而加速度传感器141检测水平加速度。
尽管尽可能远地从成像图像中获得移位信息，但是在由于图像条件而不能执行图 像识别的场面的情况下，从位置传感器14获得与先前帧的移位量。 通过比较位置传感器14的检测结果的改变总量和经由图像识别获得的移位量，
可获得更精确的位置信息。〈使用位置传感器的问题> 然而，取决于预期的全景摄影术，图像的精度高于位置传感器14的精度。所以，当 仅将位置传感器14的信息用作位置信息时，该信息对其来说变得太不精确而不能用于创 建全景图像。 所以，当确实难以获得位置信息但是不期望高精度时，将位置传感器信息用作辅 助信息。 与一般物理传感器类似，位置传感器的输出也正在波动，而不维持稳定输出。
此外，静止状态的零位置取决于情况而改变，必须通过在成像前建立静态条件来 测量零位置处的值。在测量该值之后，通过与零点值的偏差来测量移位量。
〈图像识别及其校正〉 在本配置中，在连续成像全景图像的同时，将位置传感器信息记录为元数据。
在该方法中，由于位置传感器14的输出波动太大，所以存在的问题在于，元数据 信息难以在组合为全景图像时使用。 所以，在成像时校正和记录通过图像识别获得的元数据。 当记录元数据时，关于相机的方位的空间信息被保存其中并更新；然而，元数据值 的精度由于各种原因而恶化。 所以，在本实施例中，基于来自图像识别和位置传感器的信息来实时校正和更新 其中保存的空间信息；该处理是动态校准。 当成像连续全景图像时，可考虑两种情况一种情况是已存在将通过马达的驱动 来移动相机的移动场景，而另一情况是因为通过手扫描相机所以不存在移动场景。
20
在存在由马达驱动引起的移动场景的情况下，尽管可预先检测粗略拍摄位置，但 是难以考虑成像期间的摇晃或移位。位置传感器14用于检测成像期间的这样的改变。
当通过位置传感器14检测到拍摄期间的改变时，通过图像识别进行关于检测结 果与实际移动场景的偏差的精密检查。当将位置传感器14的移位量用作精密检查的基础 时，图像识别可变得容易。 当可能计算与预期移动场景的偏差时，将偏差添加到移动场景的值，并将实际拍 摄位置的信息记录为成像图像的元数据。 由于当通过手扫描相机时移动场景不可用，所以只要对帧进行成像，就通过比较 当前帧和先前帧的图像识别来计算移位量。 在该情况下，由于难以知道移位量，所以从位置传感器14的信息获得粗略移位 量，并基于移位量执行图像识别，由此可能计算高精度的移位量。 如果难以执行图像识别，则从位置传感器获得的移位量被记录并稍后与先前和随 后帧的位置关系对照(collated)，由此确定座标。 图16是示出了用于通过使得连续成像的图像和传感器信息相关而实现高精度的 方法的功能性框图，特别示出了静止状态传感器值的零点校正。 在图16中，检测部分51对通过成像装置12成像的帧间图像进行彼此比较，并检 测移位量。 静止状态检测部分52基于角速度传感器142的检测信号、加速度传感器141的检 测信号、和检测部分51的检测信号来执行静止状态检测，由此获得静止状态的角速度传感 器的参考值。 然后，记录部分53确定参考值，并在存储器17中记录参考值。 图17是示出了用于通过使得连续成像的图像和传感器信息相关而实现高精度的
方法的功能性框图，特别示出了用于经由移位信息的协作实现高精度的方法。 在图17中，功能块54对于角速度传感器142的检测信号设置零参考值，并且移位
量积分部分55对移位量进行积分。 此外，检测部分51对通过成像装置12成像的帧间图像进行彼此比较，并检测移位 协作校正逻辑56基于移位量积分部分55和检测部分51的输出来执行协作校正， 以获得高精度相对移位信息。 如上所述，在第三配置中，当记录连续成像的图像时，经由图像识别技术获得的帧
移位信息和从位置传感器获得的移位信息相关。此外，计算以下本身不确定的信息，例如图
像的像素视角、位置传感器的静止状态值、和位置传感器值的对应像素视角。 所以，通过协作用于经由图像识别获得移位信息的方法和用于从位置传感器检测
移位信息的方法(不能自己提供期望精度的方法)的技术，可能显著改善精度和稳定性。 将与图18到21相关地进一步描述上述第二和第三配置。〈成像图像和摄影者的旋转移动> 当拍摄位置在成像全景图像的时候改变时，由于视差可发生不连续性。 由于视差导致的不连续性不能在成像之后通过图像处理来校正。 所以，当成像全景图像时，摄影者和相机固定在某一位置，并且摄影者在该地点旋
21转的同时取得图像，使得相机正聚焦于一点。 在该情况下，从两个不同的成像图像看到的视点的移动距离与拍摄期间的旋转量 成比例。如果图像是数字图像并且其尺寸可通过像素计数来表达，则可从拍摄期间的旋转 移动的距离来反演计算两幅图像之间移位的像素；在该情况下，将视角用作反演计算所必 需的参数。 视角是在拍摄空间中的角度范围方面代表图像中成像的场面的水平或垂直宽度 的数值。 视角是在拍摄前通过测量给出的并在拍摄期间不改变的参数。 当水平视角是30度而成像的数字图像的水平像素计数是1000时，每一像素的拍
摄空间角将是0. 03度。S卩，当识别到两幅图像之间的像素移位量是800像素时，可计算出
相机的实际旋转(扫描)角是24度。 每一像素的视角被用作最重要的初始值。 每一像素的视角=(帧视角)/ (帧像素计数) 每两个截图(shots)图像的旋转量=(两个图像之间的像素移位量)*(每一像素 的视角) 通过测量将每一像素的实际视角预先保存为初始值。
〈角速度传感器和旋转量〉
角速度传感器输出当前角速度。 由于输出值随时间变化，所以可检测角速度的变化；然而，该值不直接代表旋转 量。为了从角速度传感器获得旋转角，必须定义积分值的单位。 按照预定时间间隔利用角速度传感器来执行测量，并且测量间隔被固定为重要参数。 在时间方面对测量的角速度进行积分；并且其间，实际旋转量需要通过测量从外
部获得。将积分的角速度除以实际旋转量，以计算每一度的角速度积分值。 其后，可通过将角速度积分值除以每一度的角速度积分值，来成比例地计算旋转
移位量。 通过测量预先保存实际的每一度的角速度积分值作为初始值。
〈动态校准> 尽管角速度传感器的输出是相对角速度，但是除非角速度传感器极好，输出可取 决于环境而改变。由于改变对实际测量具有影响，所以输出的每一测量需要校正。
专用于全景摄影以根据来自成像的全景图像的反馈信息来自动校正输出的处理 将被称为动态校准。 角速度传感器具有取决于环境而改变的两个输出值；一个是静止状态零点位置， 而另一个是每一度的角速度积分值。另一项是与相对移位累加的积分误差；所以，校正这三 项。〈角速度传感器和零点校正> 图18是角速度传感器的零点校正处理的流程图。 在角速度传感器142的零点校正处理中，执行图18中的步骤ST1到ST16的操作。
如果不知道角速度传感器142的静止状态中的准确输出值，则不可能检测角速度。此外，该静止状态中的零点将取决于例如温度的环境而改变。 基于图像匹配的结果来校正该零点漂移，由此在拍摄时计算准确零点。将预先设 置的初始值用作在开始时间处的角速度传感器142的零点输出值。 执行两帧之间的图像匹配(ST1到ST3)。如果匹配结果是包括高频分量的可靠结 果并示出了在X、 Y和Z轴方向上没有移位，则将角速度传感器的X、 Y和Z轴分量的输出值 采样为零点值。 这时，使用采样为零点值的值来执行校正(ST4到ST15)。 当在任何轴方向上检测到移位时，由于其不是零点，所以不执行采样或零点校正。
当执行采样时，在递增样本计数的同时校正零点值。 通过计算将当前零点值和采样值之间的差除以样本计数所得到的计算结果的平 均值，来执行校正。 校正后的零点值=(零点值)+ (采样值) (零点值) (样本计数)
〈角速度传感器的移位量校正> 图19是角速度传感器的移位量校正处理的流程图。 在角速度传感器的移位量校正处理中，执行图19中的步骤ST1到ST26的操作。
每一度的角速度积分值是用于从角速度传感器的角速度积分值计算旋转角的参 数，并且该参数将取决于例如温度的环境而改变。 执行图像匹配(ST21到ST23)以基于匹配结果来校正和更新每一度的角速度积分 值，由此计算拍摄期间的准确值(ST24到ST26)。 如果两帧之间的图像匹配结果是包括高频分量的可靠结果，则从通过图像匹配获 得的X、Y和Z轴方向上的移位量以及那时的角速度积分值，来计算每一度的角速度积分值。
每一度的角速度积分值=(角速度积分值)/(每一像素的视角)WX轴周围的像 素移位量) 校正后的每一度的角速度积分值=(每一度的角速度积分值)+ (采样值) (每
一度的角速度积分值)/ (样本计数)〈由加速度传感器协助的角速度传感器〉 角速度传感器输出相对角移位量。 通过对迄今为止获得的相对值进行积分，来计算关于当前位置的绝对位置信息。
当相对值包括小偏差或噪声时，随着积分时间的增加，可发生大偏差。
尽管角速度传感器能够通过检测重力加速度来获得Y轴旋转(倾斜)和Z轴 旋转(滚动)的绝对值，但是角速度传感器仅能够在成像全景图像的情况下检测其集总 (lumped)值，并由此角速度传感器在可用性方面比加速度传感器差。 然而，由于角速度传感器具有其能够输出绝对值的优点，所以可通过将它们与相 对移位距离的积分值进行周期性比较，来校正积分值和绝对值。 当相机被移动可由加速度传感器充分检测的绝对量时，如果必要，则通过将其与 基于那时的相对移位距离的积分值而计算的绝对位置进行比较，来校正绝对量。
〈从图像和传感器获得的移位信息>
图20是移位量获取方法的流程图。 在移位量获取方法中，执行图20中的步骤ST31到ST35的操作。
当比较角速度传感器142的分辨率与通过图像匹配获得的移位量的分辨率时，图 像匹配提供更高精度值。所以，只要可能，就将从图像匹配计算的移位量用作相对移位距离 (ST33和ST34)。 由于没有在图像(例如不包括高频分量的相同颜色的天空的图像)之间实现匹 配，所以在该情况下，通过使用角速度传感器142的输出值来计算相对移位量(ST33和 ST35)。〈从成像的图像分配空间座标的方法> 图21是从成像的图像分配空间座标的方法的流程图。 在从成像的图像分配空间座标的方法中，执行图21中的步骤ST41到ST47的操作。 对于按照上述方式成像的所有全景图像，可计算通过图像匹配和角速度传感器获 得的与先前帧的相对旋转移位量(ST41到ST43)。 为了创建全景图像，必须向这些相对旋转移位量分配绝对空间座标。 由于成像的图像具有相同视角，所以可分配具有在成像图像的中心点处的焦点的
座标，即相机的方位矢量。 可在相对于先前帧的视点矢量的、相机的方位方向(即拍摄视点矢量)的角度方 面，表达与先前帧的相对旋转移位量。 当该排列仅由视点矢量简化时，难以表达帧的Z轴方向周围的旋转，即滚动。
所以，将通过在该帧的正上方的Y轴上移置的另一矢量来表达帧的滚动。
这两个矢量表达相机的拍摄方向和Z轴周围的滚动，并且即使在旋转座标之后， 仍连续保存帧的信息。 当在空间中排列图像时，新帧将总是位于空间前方位置a(O，O， 1. 0)。 当相对旋转移位量可用时，所有先前帧按照反方向旋转该量，并然后，排列空间前
方位置a(O，O， 1. 0) (ST44到ST46)。 按照这样的方式处置相对旋转移位量，使得不通过从先前帧到当前帧的差、而是 通过从当前帧到较老帧的差来计算这些量。 当前成像的帧将被标注为A，而先前成像的帧将被标注为B。
通过从帧A到帧B的差来计算相对旋转移位量(ST43)。 当从当前帧A的相机位置到先前帧B计算时的计算结果示出了相机在X、Y和Z轴
周围旋转移位rx、ry和rz时，将rx、ry和rz的旋转施加到除了帧A之外的所有较老图像
帧的拍摄方向矢量和滚动索引矢量。 旋转矩阵可以是典型三维空间。 Z轴方向上的旋转 x2 = x氺cos(rx)—y氺sin (rx) y2 = y氺sin (rx)+z*cos (rx) z2 = z Y轴方向上的旋转 x2 = x氺cos (ry)—z氺sin (ry) y2 = y
z2 = x氺sin (ry)+z*cos (ry)
X轴方向上的旋转
x2 = x y2 = y氺cos(rz)—z氺sin (rz)
z2 = ，sin (rz)+2化08 (rz) 当按照这样的方式旋转全体帧使得新帧被安排在固定位置(即，前方位置)时，相 对旋转移位量可被转移为绝对空间座标。
当处理了所有帧时，全体帧将具有合适的绝对座标。 然而，由于将最后帧用作参考点，所以可存在任意帧不得不相对移位到参考点的 情况。 接下来，将描述第四配置。 [O526][第四配置] 在第四配置中，当检测到视差的影响或移动对象时，经由显示单元18或扬声器单 元20输出警告信号，由此提示用户重新拍摄。 关于移动对象的检测，在第四配置中，确保在具有50%或更多重叠率的至少两幅 图像中将出现对象的任何部分，以在相邻图像之间的运动矢量的相似度匹配的帮助下检测 视差的影响或对象。 在利用单一扫描来成像宽范围图像的多个条纹形状图像并将它们组合为一幅图 像的相机设备10中，检测近距范围中的对象正接收到多少视差的影响，并且基于检测结果 提示用户重新拍摄该相机的视点周围的对象。 由于典型广角相机具有正好在其镜头之后的其视点，所以理想的是，用户用手持 有相机，以在用户的手腕周围旋转相机。 当在相机的视点周围成像图像时，即使当图像中包括近距范围内的对象时，仍可 将图像组合为一个图像。 由于根据本实施例的相机设备10成像多个条纹形状图像，所以相机设备10具有 以下优点，即使当在从相机视点稍微移置的位置周围成像图像时，其影响仍不可能出现。
然而，当利用由手持有并在肩膀周围旋转的相机成像图像时，相机将在从相机视 点向后很远的位置周围旋转，并由此，视差可强烈影响得到的图像。 尽管当场面具有位于远距范围内的所有对象时基本上不存在问题，但是如果场面 中包括近距范围内的对象，则与相邻图像的位置关系不能被正确组合，这与远距范围中的 对象不同。 所以，在第四配置中，当检测到由于视差影响不能正确组合图像时，通过命令用户 在相机视点周围旋转相机，而提示用户重新拍摄。 [owe][视差检测方法]
将描述视差检测方法。 在时间相邻的两幅图像的重叠范围内执行多次块匹配，以计算得到的运动矢量。 —般来说，如果正确扫描相机，则BM结果将产生大致相同的矢量。 当相机在肩膀周围旋转并且在远距范围内的场面中包括近距范围内的对象时，得
到的矢量将具有不同值。
25
由于图像中的改变在近距范围内的对象和远距范围内的对象的边界处严重，所以 难以获得正确BM结果。通过该方法检测视差。
下面将描述视差检测的特定处理示例。 以下处理由系统控制器16的微计算机162和图像信号处理部分161按照协作方 式来执行。〈视差检测方法> [O545][粗略组合] 相机设备10从左到右旋转，并且成像与大约120度的范围对应的几十幅图像。 确保存在其中在相邻图像中存在同一对象的充足区域(重叠区域)。 相机设备10在拍摄期间的运动由位置传感器14检领U，并按照非常小的时间间隔记录。 由于与成像图像同步地记录传感器数据，所以可能知道相应图像的拍摄方向；然 而数据的精度不高。 基于该信息在经度_纬度平面上排列相应图像。 在该状态下，相邻图像的每一重叠区域包括大约IOO像素，并被排列在大致正确 的位置。 根据这一点，执行精确自动化组合例程的处理。 [O553][精确自动化组合] 在重叠区域内的多个区中执行运动检测(ME ;运动搜索或运动估计)。 在运动检测ME中，使用基于FFT的仅相位校正方法。作为选择，可使用特征点提
取方法或其他方法。 在仅存在一种转换的情况下，仅一个ME区将是足够的。
两个ME区可给出交互倾斜信息。
三个ME区可给出镜头失真系数。 如果在重叠区域中不存在移动对象并且在背景中没有检测到手摇晃的影响，则ME 区的数目可小。 然而，如果ME区的数目太小，则难以应付在重叠区域中包括移动对象或在近距范 围中检测到视差影响的情况。 所以，在重叠区域中尽可能多的区中执行ME。 当作为ME的结果获得的许多运动矢量具有基本相同的值时，可通过相对于其他 图像转换图像之一，而组合图像。 尽管运动矢量不具有基本相同的值，但是如果这些值从上一个到下一个均匀地改 变，则可通过相对于其他图像倾斜图像之一，而组合图像。 然而，当从重叠区域获得不同ME结果时，实际上不可能将图像组合在一起。
这是因为存在移动对象、或因为利用由于近距或远距范围中的对象共存而移位的 视点来成像图像。
[ME的方法] 首先，通过縮小经受ME的图像，来粗略执行ME。 縮小比率逐渐减小，并最终，利用实际尺寸的图像来执行ME。
改变ME的块尺寸或减小块的中心到中心的距离，使得可获取更详细的运动矢量。 [O570] [ME结果的评估] 基于关于是否能正确执行拼接的ME的许多结果，来进行确定，并且如果确定不可 能，则显示这样的确定结果，以提示用户重新拍摄。 如果确定可能，则执行拼接，并显示组合结果并将其记录在记录介质(存储器) 中。[移动对象的行为] 接下来，将描述移动对象的行为。 在时间相邻的两幅图像的重叠范围内执行多次块匹配(BM)，以计算得到的运动矢
该矢量对应于移动方向，并由此可与固定部分分离。 由于图像中的改变在移动对象和固定对象的边界处严重，所以难以获得正确BM 结果。当沿着水平方向扫描相机时，难以区分由于在近距范围中存在固定对象而发生视差 的情况以及存在沿着水平方向移动的对象的情况。 所以，在这样的情况下，输出警告信号，而不区分视差和移动对象。 当在图像中检测到视差或移动对象时，现有技术实际上不可能在不产生对于用户
的任何不便之处的情况下拼接图像。 所以，在本实施例中，输出警告信号，以提示用户"重新拍摄"或"利用改变的拍摄 方法重新拍摄"。 例如，输出例如"在对象中出现视差的影响或移动对象。请利用降低的旋转半径来 重新拍摄。"的警告信号。 如上所述，在第四配置中，由于可正好在拍摄之后检测移动对象的存在，所以可能 进行重新拍摄。 结果，由于可正好在拍摄之后检测视差的影响，所以可能进行重新拍摄。
接下来，将描述第五配置。
[第五配置] 在第五配置中，向用户通知扫描角速度(用户扫描相机的速度)的适当值，并且如 果扫描太快，则输出警告信号，由此提示用户重新拍摄。 如上所述，微计算机162通过图形在例如LCD的显示单元18的屏幕的水平和垂直
轴上分别显示时间和位置传感器(陀螺仪传感器)的输出(扫描角速度)。 由于当设置水平视角、水平像素数目和快门速度时确定了最大扫描角速度，所以
作为图4中示出的适当范围RNG在表上显示了最大扫描角速度的60到80% 。 操作过程的概况如下。[1]利用操作单元19的按压的开始按钮来扫描相机，并然
后释放开始按钮。[2]在图4中图示的显示单元18的屏幕上显示在开始按钮的按压状态期
间的扫描角速度。 [3]当扫描角速度低于适当范围RNG时，不输出警告信号，但是当扫描角速度高于 适当范围时，将输出警告信号。 如上所述，在第五配置中，由于向用户通知适当速度，所以可能消除例如太快扫描 导致没有重叠区域以及太慢扫描导致窄场面的成像的不便之处。
将参考图22A到22D来描述用于计算扫描速度的处理的示例。
〈扫描速度的计算〉 将描述用于计算以下这样的扫描速度的方法，当确定曝光周期、像素计数、每一线
的读出周期、视角、重叠率、和帧频时，消除了模糊角、模糊像素计数中的任何问题。 可从三个公式获得的扫描速度的最低值是该条件下的最大角速度。 图22A到22D中示出的表示出了当给出例如视角和扫描速度的各种参数时的模糊
像素计数和帧频的计算结果。 在不同条件[1]到[6]下获得计算结果。 下面将描述图22A到22D中的条件[1]下的计算结果。 使用扫描速度vp、视角th、水平像素计数H、和重叠率k，从图22A到22D中的表的
右边的计算公式来如下计算模糊角ab2、模糊像素计数nb2、和帧频f。 ab2 = vp (ts+n rs) 1000 nb2 = vp (ts+n rs) H/th f = 100/(100-k) H vp/n/th 根据这些等式，扫描速度vp成为如下。 vp = 1000 ab2/(ts+n rs) [deg]…(1) vp = nb2 th/H/(ts+n rs) [deg/sec]…(2) vp = (100-k)/100 n th f/H…(3) 这里，当模糊角ab2是0. 28度、曝光周期是1毫秒、较短侧像素计数n是400像素、 而每一线的读出周期rs是7. 8微秒时，扫描速度vp成为68度/秒。 此外，当模糊像素计数nb2是19. 9像素、较长侧视角th是50度、而水平像素计数 H是3560像素时，扫描速度vp成为68度/秒。 此外，当重叠率k是20X而帧频f是15. 13时，扫描速度vp成为68度/秒。
所以，当改变公式(1)、 (2)和(3)右边的参数时，扫描速度将受到这些公式的限 制。 当比通过公式(1)获得的扫描速度vp更快地扫描相机时，其可超出光学图像稳定 元件的工作限制。 当比通过公式(2)获得的扫描速度vp更快地扫描相机时，模糊量可超出许可限 制。 当比通过公式(3)获得的扫描速度vp更快地扫描相机时，重叠范围将降低，并且 在一些情况下甚至将消失。 上面详细描述的第一到第五配置可单独或全部在相机设备10中采用，并可适当 地组合在一起以便在其中采用。 上面详细描述的方法可实现为要由例如CPU的计算机执行的与上述过程对应的 程序。 这样的程序可经由例如半导体存储器、磁盘、光盘或软(注册商标)盘的记录介质 或通过其中设置有这样的记录介质的计算机而访问，由此执行程序。 本申请包括与2008年12月8日向日本专利局提交的日本优先权专利申请 JP2008-312674中公开的内容相关的主题，由此通过引用合并其全部内容。
本领域技术人员应理解，可取决于设计需求和其他因素而发生各种修改、组合、子 组合和替换，只要它们在所附权利要求或其等效的范围之内即可。
权利要求
一种成像设备，包括成像装置，用于通过光学系统成像对象图像；图像信号处理部分，具有将多个成像图像组合为一幅组合图像的功能，所述成像图像是在扫描该成像设备的同时获得的；位置传感器，能够获得该成像设备的位置信息；和控制器，用于处理该位置传感器的信息，其中该控制器基于该位置传感器的检测信息来发送扫描角速度的适当值的通知，并且当扫描角速度超出适当范围时，输出警告信号。
2. 根据权利要求1的成像设备，还包括显示单元，其中该控制器在该显示单元上连同该适当范围一起显示时间和该扫描角速度之间的关系。
3. 根据权利要求2的成像设备，还包括扬声器单元，其中当该扫描角速度超出该适当范围时，该控制器经由该扬声器单元输出警告声音。
4. 根据权利要求1到3中的任一个的成像设备，其中基于通过水平视角、水平像素计数、和快门速度确定的最大扫描角速度，来设置该适当范围。
5. —种成像方法，包括步骤在扫描成像设备的同时、通过具有能够改变其光轴的光轴改变元件的光学系统使用成像装置来成像对象图像；经由位置传感器获得该成像设备的位置信息；基于该位置传感器的检测信息来发送扫描角速度的适当值的通知；禾口当该扫描角速度超出适当范围时，输出警告信号。
6. 根据权利要求5的成像方法，其中在该显示单元上连同该适当范围一起显示时间和该扫描角速度之间的关系。
7. 根据权利要求6的成像方法，其中当该扫描角速度超出该适当范围时，经由该扬声器单元输出警告声音。
8. 根据权利要求5到7中的任一个的成像方法，其中基于通过水平视角、水平像素计数、和快门速度确定的最大扫描角速度，来设置该适当范围。
9. 一种用于执行成像处理的程序，该程序促使计算机执行以下处理在扫描成像设备的同时、通过具有能够改变其光轴的光轴改变元件的光学系统使用成像装置来成像对象图像；经由位置传感器获得该成像设备的位置信息；基于该位置传感器的检测信息来发送扫描角速度的适当值的通知；禾口当该扫描角速度超出适当范围时，输出警告信号。
全文摘要
一种成像设备包括成像装置，用于通过光学系统成像对象图像；图像信号处理部分，具有将多个成像图像组合为一幅组合图像的功能，所述成像图像是在扫描成像设备的同时获得的；位置传感器，能够获得该成像设备的位置信息；和控制器，用于处理该位置传感器的信息，其中该控制器基于该位置传感器的检测信息来发送扫描角速度的适当值的通知，并且当扫描角速度超出适当范围时，输出警告信号。
文档编号H04N5/225GK101753818SQ20091025380
公开日2010年6月23日 申请日期2009年12月8日 优先权日2008年12月8日
发明者山下纪之, 藤田俊史 申请人:索尼株式会社