专利名称：成像装置的制作方法
技术领域：
本发明涉及一种成像装置，尤其涉及一种能够将对待检查的物 体进行拍摄的摄像机所产生的移动画面图像显示在比摄像机实际视场更宽的视 场中的镶嵌图像上的成像装置。
背景技术：
在相关领域中，图像镶嵌通常指的是这样的技术通过在改变视场的同时组合多 个所拍摄的静止图像来产生一张视场比摄像机实际视场更宽的宽视场图像。在诸如对由物 镜放大的拍摄对象进行拍摄的放大观察装置之类的成像装置的情况下，可以通过移动其上 固定了待检查物体的可移动载物台来改变视场。这种宽视场图像被称为镶嵌图像，其通过 在根据图像之间的相对位置以这种方式改变视场的同时对多个所拍摄的静止图像进行耦 合来生成。 例如，在配备了对可移动载物台的位置进行检测的传感器并自动拍摄由用户指定 的拍摄范围的已知成像装置的情况下，通过可移动载物台的控制信息判断图像之间的相对 位置关系并进行静止图像的组合。在这种成像装置中，当指定了拍摄范围并一旦开始拍摄 时，该流程中间不能改变拍摄范围。另外，需要高度准确地检测可移动载物台的位置，因此 存在系统配置变得复杂和成本很高的问题。 另一方面，还有一种通过组合图像与静止图像间的图案匹配来判断图像间相对位 置关系的成像装置。然而，还没有这样一种成像装置，其能够在使用户确定在拍摄期间的视 场与在显示单元上图像生成期间的镶嵌图像之间的位置关系的同时获取静止图像并将静 止图像与镶嵌图像耦合。因此，能够想象一种成像装置，其中在将拍摄过程中的视场显示为 镶嵌图像上的移动图像的同时，在用户指定的定时处获取静止图像并将该静止图像合成到 镶嵌图像。 此外，已知一种技术，其在改变摄像头焦点位置的同时拍摄多个静止图像，将这些 静止图像结合，并相应地生成多焦点图像(omnifocal image)和表面形状数据。多焦点图 像的景深比摄像头的实际视场的景深和在整个视场内正确对焦的合成图像更深。通过对焦 点位置不同的多个静止图像之间的像素值进行比较，以及通过提取正确对焦的焦点位置的 像素值，来生成多焦点图像。另一方面，表面形状数据是示出了待检查物体表面的凹凸或者 台阶的高度信息的差值，并且通过比较静止图像之间的像素值并确定正确对焦的焦点位置 来产生表面形状数据。 通常，在多焦点图像和表面形状数据中，可以识别正确对焦的范围，S卩，比景深大 的凹凸或台阶。因此，正确对焦的范围越小，则能够得到的图像数据质量越高；然而摄像头 的实际视场变得越窄。因此，如果对多个以这种方式产生的多焦点图像进行组合，则可以 获得具有宽视场的多焦点图像作为镶嵌图像。然而，为了在这样的镶嵌图像上的适当位置 处显示拍摄期间的视场作为移动画面图像，当试图通过图像间的图案匹配执行帧图像定位 时，存在有时由于重叠部分中对焦不准的模糊导致的不能定位的问题。作为消除重叠部分
4中对焦不准的模糊的方法，可以想到使用用于在预定范围内改变摄像头的焦点位置并搜索 正确对焦的焦点位置的功能的方法，即，使用自动对焦功能的方法。然而，在该方法中，当对 帧图像定位时，需要控制摄像头来改变焦点位置，并且每次改变了焦点位置时都必须通过 执行图案匹配来搜索能够定位的焦点位置；因此，存在定位所需时间过长的问题。
发明内容
已经考虑到上述情况做出了本发明，本发明的目的是提供一种能够获取静止图像 并将其耦合到镶嵌图像同时使得用户能识别拍摄期间的视场与图像生成期间的镶嵌图像 之间的位置关系的成像装置。更具体地，本发明另一个目的是提供一种能够将拍摄期间的 视场显示在由多焦点图像构成的镶嵌图像上的适当位置处却不增加系统配置复杂性的成 像装置。此外，本发明的又一个目的是提供一种成像装置，其能够防止图像间重叠部分中产 生对焦不准的模糊，于是提高了定位准确度，而不会增加在将拍摄期间的视场作为移动画 面图像显示在镶嵌图像上的适当位置处时用于定位帧图像所需的时间。 本发明第一方面的成像装置包括可移动载物台，能够在固定待检查物体的同时 在两个不同方向上移动；摄像头，其与可移动载物台相对布置，对待检查物体进行拍摄并产 生由多个连续帧图像构成的移动画面图像；焦点位置改变单元，其改变摄像头的焦点位置； 静止图像获取单元，其控制摄像头和焦点位置改变单元，并获取焦点位置不同的不少于两 个的静止图像；多焦点图像产生单元，其将不少于两个的静止图像进行结合，并产生比摄像 头的实际视场的景深更深的多焦点图像；高度形状数据产生单元，其根据在多焦点图像的 每个像素中的对焦位置来产生待检查物体的高度形状数据；焦点位置控制单元，其从高度 形状数据获取与多焦点图像的至少一部分对应的对焦位置，并控制焦点位置改变单元以使 帧图像的焦点位置与对焦位置实质上一致；特征量提取单元，其从通过控制焦点位置改变 单元所获取的帧图像以及多焦点图像或参考图像中提取特征量，所述参考图像是根据构成 多焦点图像的多个静止图像而提取的图像；相对位置确定单元，其通过比较特征量来确定 帧图像与参考图像之间的相对位置；活动图像显示单元，其根据相对位置的确定结果来更 新帧图像相对于多焦点图像的显示位置，并将移动画面图像显示在多焦点图像上；和镶嵌 图像产生单元，其获取与被活动图像显示单元显示为移动画面图像的帧图像相对应的新的 多焦点图像，并产生与多焦点图像耦合的镶嵌图像。 在所述成像装置中，通过将从帧图像与从参考图像提取的特征量进行比较来确定 帧图像与参考图像之间的相对位置，并根据确定结果将移动画面图像显示在多焦点图像上 的适当位置处。根据这种配置，拍摄期间的视场作为移动画面图像被显示为在多焦点图像 上的适当位置处；因此，可以获取静止图像并将其耦合到镶嵌图像，同时使得用户确定拍摄 期间的视场与图像生成期间的镶嵌图像之间的位置关系。更具体地说，通过比较从帧图像 与从参考图像提取的特征量，判断帧图像与参考图像之间的相对位置关系；因此，可以将 拍摄期间的视场显示在多焦点图像上的适当位置处而不会使系统配置复杂。另外，从高度 形状数据获取多焦点图像的对焦位置的至少一部分，并控制焦点位置改变单元以获取帧图 像，从而使得帧图像的焦点位置实质上与对焦位置一致；因此，可以防止在图像间的重叠部 分中产生对焦不准的模糊而不会增加对帧图像定位所需的时间。 在本发明的第二方面的成像装置中，除了上述配置外，相对位置确定单元根据过去的相对位置的确定结果来估计帧图像与参考图像之间的重叠区域；并且焦点位置控制单 元从高度形状数据获取重叠区域的对焦位置，并控制焦点位置改变单元以使得帧图像的焦 点位置与对焦位置实质一致。根据这种配置，预先调节摄像头的焦点位置以使得与帧图像 和参考图像之间的重叠区域的对焦位置一致从而获取帧图像，并执行参考图像的定位；因 此，可以提高定位准确度。 在本发明的第三方面的成像装置中，除了上述配置外，在获取重叠区域的对焦位 置的情况下，焦点位置控制单元将帧图像与参考图像的重叠区域中的对焦部分中看起来面 积最大的焦点位置判定为对焦位置。 在本发明的第四方面的成像装置中，除了上述配置外，特征量提取单元通过将构 成多焦点图像的焦点位置不同的多个静止图像之中在重叠区域中对焦部分面积最大的静 止图像设置为参考图像来提取特征量。 本发明的第五方面的成像装置除了上述配置外还包括参考图像候选获取单元， 其获取焦点位置不同而与帧图像拍摄条件相同的多个参考图像候选，并且其中特征量提取 单元通过将参考图像候选之中在重叠区域中的对焦部分面积最大的参考图像候选设置为 参考图像来提取特征量。 在本发明的第六方面的成像装置中，除了上述配置外，特征量提取单元通过将多 焦点图像设置为参考图像来提取特征量。 本发明的第七方面的成像装置除了上述配置外，还包括镶嵌形状数据产生单元，
其耦合高度形状数据，并产生具有比摄像头实际视场宽的范围的镶嵌形状数据。 本发明的第八方面的成像装置除了上述配置外，还包括参考图像产生单元，其根
据镶嵌图像和镶嵌形状数据来产生参考图像作为在对焦部分面积最大的焦点位置的图像。
根据该配置，图像区域面积最大的正确对焦的焦点位置的图像被用作参考图像并执行帧图
像的定位；因此，可改善帧图像和参考图像的定位精度。 在本发明的第九方面的成像装置中，除了上述配置外，在通过重叠区域中的特征
量不能确定相对位置的情况下，相对位置确定单元通过将整个帧图像的特征量与整个参考
图像的特征量进行比较来确定相对位置，并且在通过将整个帧图像的特征量与整个参考图
像的特征量进行比较不能确定相对位置的情况下，参考图像产生单元产生新的参考图像作
为其焦点位置与能够确定相对位置的最后帧图像的焦点位置实质相同的图像。根据该配
置，其焦点位置与能够确定相对位置的最后帧图像的焦点位置实质相同的图像被用作新的
参考图像，并且执行帧图像的定位；因此，可改善帧图像和参考图像的定位精度。 本发明的第十方面的成像装置除了上述配置外，还包括定位减小部分，其通过减
小构成移动画面图像的帧图像来产生定位帧图像，并通过减小参考图像来产生定位参考图
像；和显示减小单元，其通过减小构成移动画面图像的帧图像来产生显示帧图像，并通过减
小镶嵌图像来产生显示镶嵌图像，并且其中特征量提取单元从定位帧图像和定位参考图像
提取特征量；相对位置确定单元确定定位帧图像与定位参考图像之间的相对位置；活动图
像显示单元将显示帧图像构成的移动画面图像作为活动图像显示在显示镶嵌图像上；以及
镶嵌图像产生单元以高于定位参考图像的分辨率来对多焦点图像与镶嵌图像之间的相对
位置进行估计，将多焦点图像组合到镶嵌图像，并产生新的镶嵌图像。 根据本发明的成像装置，将拍摄期间的视场作为移动画面图像显示在多焦点图像上的适当位置处；因此，可以获取静止图像并将其耦合到镶嵌图像，而同时使用户确认拍摄 期间的视场与图像生成期间的镶嵌图像之间的位置关系。更具体地说，通过比较从帧图像 与从参考图像提取的特征量，来判断帧图像与参考图像之间的相对位置关系；因此，可以将 拍摄期间的视场显示在多焦点图像上的适当位置处而不会使系统配置变得复杂。另外，从 高度形状数据获取多焦点图像的对焦位置的至少一部分，控制焦点位置改变单元以使得帧 图像的焦点位置与对焦位置实质一致从而获取帧图像；因此，可以防止图像间的重叠部分 中产生对焦不准的模糊，而不会增加用于对帧图像定位所需的时间。因此，可以防止图像间 的重叠部分中产生对焦不准的模糊并且提高定位准确度，而不会增加在将拍摄期间的视场 作为移动画面图像显示在镶嵌图像上的适当位置处的情况下对帧图像定位所需的时间。
图1是示出根据本发明一个优选实施例的成像装置的示意配置的示例并示出一 个放大观察装置来作为成像装置的示例的示图； 图2是示出图1所示放大观察装置的相关部分的配置示例并示出系统主体中功能 配置的示例的框图； 图3是示出在图2所示系统主体中的活动定位单元的配置示例并示出匹配处理部 分中的功能配置的框图； 图4是示例性地示出在图l所示放大观察装置中显示活动图像期间的操作示例并 示出了移动画面图像Al和显示镶嵌图像A3的说明示图； 图5是示例性地示出在图1所示放大观察装置中显示活动图像期间的操作示例并 示出了一个活动屏幕的说明示图； 图6A和图6B是每一个示出了图1所示放大观察装置中图案匹配操作示例并示出 了其中通过比较整体特征点B3来提取特征点之间的正确对应的状态的示图；
图7A和图7B是示出在图1所示放大观察装置中图案匹配操作的示例并示出比较 重叠区域B5和B6中的特征点的状态的示图； 图8是示出在图1所示放大观察装置中显示活动图像期间的操作的示例流程图；
图9是示出在图1所示放大观察装置中显示活动图像期间的操作的示例流程图。
具体实施例方式
优选实施例1〈放大观察装置〉 图1是示出根据本发明优选实施例1的成像装置的示意配置的示例的系统示图， 并且示出一个放大观察装置1作为成像装置的示例，其包括系统主体100、摄像机单元200 和控制板300。放大观察装置1是一个数字显微镜，其通过对由物镜放大的拍摄对象进行拍 摄来产生移动画面图像，并可以在系统主体100的显示单元110上显示移动画面图像。
摄像机单元200是用于在改变视场的同时拍摄待检查物体的拍摄单元，其包括摄 像头210、可移动支持器220和可移动载物台230。摄像头210是读取装置，其拍摄作为拍 摄对象的待检查物体并产生由以恒定帧速持续的多个帧图像构成的移动画面图像，并包括 可拆卸镜头单元、布置在圆筒形外壳中的电荷耦合器件(CCD)图像传感器、照明装置、作为
7改变摄像头210的对焦位置的单元的对焦机构，等。可移动支持器220是将摄像头210可移动地保持在与物镜中轴平行的方向上的保持单元。在这种情况下，平行于摄像头210的物镜的中轴的方向被称为z轴方向，可以通过旋转位置调节旋钮221来调节摄像头210在z轴方向上的位置。 可移动载物台230是保持待检查物体的保持单元，并且其在待检查物体被固定的状态下在与z轴相交的平面内是可移动的。在这种情况下，与z轴垂直的平面被称为xy平面，可以通过旋转位置调节旋钮231和232来调节可移动载物台230在xy平面内的位置。即，可移动载物台230是在固定了待检查物体的同时通过旋转位置调节旋钮231和232可以在两个不同方向上移动的载物台。 更具体地说，通过旋转位置调节旋钮231来调节x轴方向上的位置，通过旋转位置调节旋钮232可以调节y轴方向上的位置。将摄像头210布置成与该可移动载物台230面对。 控制板300是用于指示拍摄的开始和结束、将拍摄图像数据等获取到系统主体IOO中的输入装置。 系统主体100是图像处理装置，其将摄像头210所拍摄的移动画面图像作为活动图像显示在显示单元110上，对由多个静止图像构成的多焦点图像进行组合，并产生视场比摄像头210的实际视场宽的镶嵌图像。
〈系统主体> 图2是示出图1所示放大观察装置1的相关部分的配置示例并示出系统主体100中功能配置的示例的框图。系统主体IOO包括显示减小单元121和134、显示镶嵌图像存储单元122、活动图像更新单元123、保持镶嵌图像存储单元124、镶嵌形状数据存储单元125、参考图像产生单元126、参考图像存储单元127、活动定位单元128、静止图像获取单元129、多焦点图像产生单元130、镶嵌图像产生单元131、高度形状数据产生单元132、镶嵌形状数据产生单元133、焦点位置控制单元135以及显示单元110。 显示减小单元121操作来处理从摄像头210获得的移动图像数据，并产生减小了图像尺寸的减小移动图像数据。更具体地说，执行操作以使显示减小单元121以预定减小比率将从摄像头210连续获得的帧图像减小、产生显示帧图像并将该显示帧图像输出到活动图像更新单元123。例如，通过像素跳过处理和像素值平均步骤来执行帧图像的减小。在这种情况下，执行减小处理而不改变高宽比，即，帧图像的高宽比在减小之前和之后不变。
显示镶嵌图像存储单元122是镶嵌图像保持单元，其保持显示镶嵌图像，并例如由易失性半导体存储器来构成。活动图像更新单元123操作以根据从显示减小单元121发送的减小比率信息来控制显示单元IIO，并且更新从显示减小单元121连续获得的显示帧图像相对于显示镶嵌图像的显示位置，并相应地在显示镶嵌图像上显示活动图像。活动图像是由多个连续显示帧图像构成的移动画面图像。 保持镶嵌图像存储单元124是镶嵌图像保持单元，其保存保持镶嵌图像，并由例如硬盘驱动(HDD)之类的非易失性存储元件来构成。镶嵌形状数据存储单元125是图像数据保持单元，其保存镶嵌形状数据并由例如硬盘驱动(HDD)之类的非易失性存储元件来构成。 参考图像产生单元126操作来从保持镶嵌图像存储单元124和镶嵌形状数据存储单元125分别读出保持镶嵌图像和镶嵌形状数据，并根据这些图像数据产生帧图像的定位参考图像。参考图像是用于确定帧图像与镶嵌图像之间的相对位置关系的图像，也是与保持镶嵌图像的一部分对应的特定焦点位置处的图像。参考图像存储单元127是参考图像保持单元，其保存由参考图像产生单元126产生的参考图像。 活动定位单元128包括定位减小部分128a和128b以及匹配处理部分128c。活动定位单元128操作来减小分别从摄像头210连续得到的帧图像以及从参考图像存储单元127读出的参考图像，并拽行匹配处理。 定位减小部分128a操作来以用于定位的恒定减小比率减小从摄像头210获得的帧图像，以产生定位帧图像并将该定位帧图像输出到匹配处理部分128c。定位减小部分128b操作来以用于定位的恒定减小比率减小从参考图像存储单元127读出的参考图像，以产生定位镶嵌图像并将该定位镶嵌图像输出到匹配处理部分128c。 匹配处理部分128c操作来利用定位帧图像与定位镶嵌图像之间的图案匹配确定
它们之间的相对位置，以产生相对位置信息并将其输出到活动图像更新单元123。 活动图像更新单元123操作来根据从活动定位单元128接收的相对位置信息来确
定显示帧图像与显示参考图像之间的相对位置，并更新显示帧图像相对于用于显示的帧图
像的显示镶嵌图像的相对位置。 静止图像获取单元129操作来根据来自控制板300的获取指令控制摄像头210，以在改变摄像头210的焦点位置的同时得到多个静止图像，并将多个静止图像输出到多焦点图像产生单元130。更具体地说，根据来自静止图像获取单元129的对焦(F)控制信号来控制摄像头210的对焦机构，并且从摄像头210获取焦点位置不同的多个静止图像作为静止图像数据。 多焦点图像产生单元130操作来通过对由静止图像获取单元129获取的多个静止图像进行组合来产生多焦点图像。多焦点图像的景深比摄像头210的实际视场以及在整个视场内正确对焦的合成图像的景深更深。更具体地说，通过比较焦点位置不同的多个静止图像之间的像素值以及通过提取正确对焦的焦点位置的像素值，来产生多焦点图像。顺便地说，在这种情况所示的多焦点图像中，还包括了其中含有大约还差几个像素而没有正确对焦的像素的图像。 镶嵌图像产生单元131包括保持定位部分131a和图像耦合部分131b，并操作来通过组合多个多焦点图像产生保持镶嵌图像。 保持定位部分131a操作来确定由多焦点图像产生单元130产生的多焦点图像与从保持镶嵌图像存储单元124读出的保持镶嵌图像之间的相对位置。通过多焦点图像与保持镶嵌图像之间的图案匹配来执行相对位置的确定，并以比定位参考图像更高的分辨率来估计多焦点图像与保持镶嵌图像之间的相对位置。 图像耦合部分131b操作来根据保持定位部分131a的确定结果组合多焦点图像和保持镶嵌图像，以产生新的保持镶嵌图像，并且更新保持镶嵌图像存储单元124中的保持镶嵌图像。更具体地说，根据由保持定位部分131a所估计的图像之间的相对位置来对由多焦点图像产生单元130所产生的多焦点图像与从保持镶嵌图像存储单元124读出的保持镶嵌图像进行组合，从而产生新的保持镶嵌图像。 通过根据多焦点图像与保持镶嵌图像之间的相对位置来耦合这两种图像以执行组合。此外，在耦合多焦点图像与保持镶嵌图像的情况下，对这两种图像的重叠部分执行像素值的混合处理，以使得接合处更不明显。 混合处理是执行图像间像素值的混合的图像处理，S卩，其执行加权平均并得到合成图像的像素值，并且响应于像素位置来适当地改变执行加权平均情况中的权重；因此，其使得接合处更不明显。在执行图像间像素值混合的情况下采用的权重被设置来响应于与重叠部分图像区域的图像末端的距离而增加。 高度形状数据产生单元132操作来根据由静止图像获取单元129获取的多个静止图像来产生待检查物体的高度形状数据。高度形状数据是示出例如待检查物体的表面的凹凸或台阶的高度信息的差值，由距离参考面的高度的二维分布所提供。更具体地说，通过比较焦点位置不同的多个静止图像之间的像素值并通过确定正确对焦的焦点位置来产生高度形状数据。 镶嵌形状数据产生单元133操作来通过对由高度形状数据产生单元132产生的多个高度形状数据进行耦合，来产生具有比摄像头210的实际视场更宽范围的镶嵌形状数据。更具体地说，首先，根据保持定位部分131a对相对位置确定结果，判断处在将由高度形状数据产生单元132产生的高度形状数据耦合到从镶嵌形状数据存储单元125读出的镶嵌形状数据的情况下的相对位置关系。随后，根据相对位置关系执行对来自高度形状数据产生单元132的高度形状数据与镶嵌形状数据进行耦合的操作，产生新的镶嵌形状数据，并更新镶嵌形状数据存储单元125中的镶嵌形状数据。 焦点位置控制单元135操作来根据高度形状数据确定与多焦点图像的至少一部分对应的对焦位置，并控制摄像头210的对焦机构，从而使帧图像的焦点位置实质上与对
焦位置一致。 显示减小单元134操作来在每次更新保持镶嵌图像时，从保持镶嵌图像存储单元124中读出更新之后的保持镶嵌图像，以预定的减小比率减小所读出的保持镶嵌图像，并产生显示镶嵌图像。 在这种情况下，活动定位单元128是以比保持定位部分131a低的准确度进行匹配处理并输出低准确度坐标数据作为相对位置信息的处理单元。 在参考图像产生单元126中，例如，从保持镶嵌图像提取与最后组合的多焦点图像对应的图像区域，并通过所提取的图像区域和对应的镶嵌形状数据来产生定位参考图像。在这种情况下，执行操作来产生参考图像，作为焦点位置的图像，所述焦点位置的图像是在包括正确对焦的邻近像素的单个图像区域中面积最大的图像。即，在正确对焦的图像区域中面积最大的焦点位置的图像用作参考图像；因此，可以提高帧图像的定位准确度。
另外，在构成镶嵌图像的多焦点图像是比帧图像具有更高亮度分辨率的高分辨率图像或者是比帧图像具有更宽亮度动态范围的高动态范围(HDR)图像的情况下，参考图像产生单元126执行转换图像数据格式的处理，例如，在产生与镶嵌图像的一部分对应的参考图像的情况下，从16位图像数据转换到8位图像数据的处理。 顺便地说，在本优选实施例中，参考图像产生单元126从存储的多焦点图像和镶嵌形状数据产生作为针对帧图像待定位的对象的参考图像；然而，参考图像可以从构成多焦点图像的多个静止图像之中选择在正确对焦的图像区域中面积最大的静止图像；或者多焦点图像本身可以用作参考图像。
此外，当在拍摄多焦点图像的时刻获取的静止图像和帧图像中成像条件(亮度的色调值等等)不同并且不能执行下文将要描述的匹配处理时，在相同成像条件下获取焦点位置不同的多个静止图像作为拍摄多焦点图像时的帧图像，以用作参考图像的候选图像；可以从这些候选图像之中选择在正确对焦的图像区域中面积最大的静止图像作为参考图像。〈匹配处理部分> 图3是示出在图2所示系统主体100中的活动定位单元128的配置示例并示出在匹配处理部分128c中的功能配置示例的框图。匹配处理部分128c包括特征量提取单元141和相对位置确定单元142。 特征量提取单元141操作来分别从定位帧图像和定位参考图像中提取特征量。作为特征量，只要特征量成为比较图像时的标记，就可以使用任何特征量；不过，在这种情况下，提取多条边相交的顶点作为特征点。 相对位置确定单元142包括比较部分143、相对位置计算部分144和重叠区域估计部分145。相对位置确定单元142操作来通过比较特征点确定定位帧图像和定位镶嵌图像之间的相对位置。比较部分143操作来将从定位帧图像提取的特征点与从定位镶嵌图像提取的特征点进行比较，并将其比较结果输出到相对位置计算部分144。 通过例如从一个像素中提取包括特征点的区域作为模板并通过从其它图像搜索与模板区域最相似的区域来执行特征点的比较。作为用于测量区域间相似度的指标，可以想到从区域中的像素得到亮度值的误差平方和的方法以及使用归一化相关的方法，其中以平均亮度对区域中每个像素的亮度值归一化。 相对位置计算部分144操作来根据比较部分143的比较结果确定定位帧图像与定位参考图像之间的相对位置，将其确定结果输出到重叠区域估计部分145，并且将相对位置信息输出到活动图像更新单元123。 重叠区域估计部分143操作来根据过去相对于定位帧图像的相对位置的确定结
果来估计当前定位帧图像和定位参考图像的重叠区域。例如，执行操作以使得根据由一个
帧先前提供的相对于定位帧图像的相对位置的确定结果来设置帧图像与定位参考图像之
间的重叠区域，并将重叠区域判断为当前帧图像与参考图像的重叠区域。 比较部分143操作来对由重叠区域估计部分145所估计的重叠区域中的特征点进
行比较，并将其比较结果输出到相对位置计算部分144。随后，在作为比较的结果不能确定
相对位置的情况下，对重叠区域中的特征点执行操作，对整个定位帧图像中包括的所有特
征点和整个定位参考图像中包括的所有特征点进行比较(这是定位镶嵌图像的匹配处理
的目的)，并将其比较结果输出到相对位置计算部分144。 S卩，相对位置计算部分144操作来根据从过去的相对位置的确定结果所估计的在帧图像与参考图像之间的重叠区域中的特征点的比较结果，来确定相对位置。另一方面，在不能通过比较这种重叠区域中的特征点来确定相对位置的情况下，相对位置计算部分144
操作来根据整个定位帧图像的特征点和整个参考图像的特征点的比较结果确定相对位置。
此外，对第一帧处的定位帧图像执行操作来比较整个定位帧图像包括的所有特征点与整个参考图像包括的所有特征点，并将其比较结果输出到相对位置计算部分144。艮卩，对于第一定位帧图像，将帧图像的所有特征点与参考图像的所有特征点进行比较，并确定
11相对位置。另一方面，对于第二帧以后的定位帧图像，首先，对根据过去的相对于帧图像的相对位置的确定结果所估计的重叠区域中的特征点进行比较并确定相对位置。此时，如果不能确定相对位置，则对帧图像的所有特征点和参考图像的所有特征点进行比较并确定相对位置。 在这种情况下，第一帧图像例如是在产生镶嵌图像期间一旦停止了拍摄并随后重新开始拍摄的情况下在重新拍摄之后首次获得的帧图像。 —般而言，在从两个静止图像(其中图像的每个部分都重叠并且在这些图像之间搜索对应的特征点的组)中提取每个特征点的情况下，从两个图像的重叠区域提取特征点并搜索对应特征点的组的方式在错误响应出现概率方面比通过从整个图像提取特征点来进行搜索的错误响应出现概率更低。即，优选地对重叠区域中的特征点进行比较来确定相对位置；相应地，可以提高定位帧图像的定位成功概率。另外，与对屏幕中所有特征点进行比较的情况相比，提高了定位速度。 在这种情况下，当特征量提取单元141从当前定位帧图像提取特征点时，从由重叠区域估计部分145估计的重叠区域中提取特征点。随后，在不能仅通过重叠区域中的特征点确定相对位置的情况下，也对除了重叠区域以外的区域中的特征点进行提取操作。
在由显示帧图像构成的移动画面图像作为活动图像被显示在显示镶嵌图像上的情况下，活动图像更新单元123操作来根据由相对位置计算部分144得到的相对位置确定结果，来更新显示定位，并将其显示数据输出到显示单元110。 此外，针对由重叠区域估计部分145估计的重叠区域，特征量提取单元141根据与重叠区域对应的镶嵌形状数据来在定位参考图像中确定焦点位置，所述焦点位置是在重叠区域中包括了正确对焦的相邻像素的单个图像区域中面积最大的区域。随后，执行操作以使得根据焦点位置确定结果来控制摄像头210，并相应地得到焦点位置与参考图像实质相同的帧图像。根据从特征量提取单元141提供的F控制信号来控制摄像头210的对焦机构。
如上所述，在本优选实施例中，由于由重叠区域估计部分145所估计的帧图像与参考图像的重叠区域中的对焦位置是根据镶嵌形状数据确定的，因此，即使用户移动了可移动载物台230以及改变了作为帧图像定位对象的参考图像的相对位置，摄像头210的焦点位置也总是与重叠区域中的对焦位置一致。因此，即使当待成像的对象中存在凹凸并且改变了对焦位置时，也可以避免定位所需的重叠区域中对焦不准的模糊。
除此之外，从焦点位置不同的至少两个静止图像中自动选择具有所估计的重叠区域中的镶嵌形状的、对焦最准确的静上图像作为参考图像，可以相对于参考图像定位帧图像。因此，可以相对于重叠区域中的镶嵌形状来对对焦最准确的参考图像和对焦最准确的帧图像进行定位。 此外，在即使通过将整个帧图像的特征量与整个参考图像的特征量相比较也不能
确定相对位置的情况下，参考图像产生单元126操作来产生新的参考图像作为与能够确定
其中的相对位置的最后帧图像焦点位置实质上相同的图像。这使得可以提高帧图像和参考
图像的定位准确度，因为帧图像的定位是通过使用其焦点位置与能够确定相对位置的最后
帧图像的焦点位置实质相同的图像作为新参考图像来执行的。〈活动屏幕> 图4和图5是示例性地示出在图1所示放大观察装置1中显示活动图像期间的操作示例的说明示图。图4示出了摄像头210拍摄的移动画面图像Al和显示镶嵌图像A3。另外，图5示出了其中移动画面图像A 1布置为在镶嵌图像A3之上的活动图像的活动屏幕111。 移动画面图像A1由以恒定帧速重复产生的显示帧图像A2构成。例如，显示帧图像A2以每秒15帧(fps)来产生。 显示镶嵌图像A3是通过减小用于显示活动屏幕的保持镶嵌图像所产生的镶嵌图像，并由多个多焦点图像构成。 活动屏幕111是显示在显示单元110上的监视器屏幕，并且其上显示了在图像生成期间的显示镶嵌图像A3和移动画面图像A1。在活动屏幕lll中，将移动画面图像A1布置到根据由当前定位帧图像与定位参考图像之间的图案匹配确定的相对位置所决定的显示位置处。 S卩，将拍摄期间的移动画面图像Al显示为在图像生成期间的显示镶嵌图像A3上的恰当位置处的活动图像，因此，用户在对拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系进行确认的同时，可以获取静止图像并将其耦合到保持镶嵌图像。
〈图案匹配> 图6A和图6B是每个示出在图1所示放大观察装置1中的图案匹配操作的示例的示意图，其示出了这种状态其中通过对每个从参考图像B1和定位帧图像B2提取的所有特征点B3进行比较来提取这些特征点之间的正确对应。图6A示出了将从参考图像Bl提取的特征点B3与帧图像B2中的每个特征点B3进行比较的状态；图6B示出了根据特征点B3的比较所提取的特征点之间的正确对应。 参考图像B1是与图像生成期间的镶嵌图像的一部分对应的图像，并预先从保持镶嵌图像中提取作为图案匹配的处理对象。例如，将最后耦合的多焦点图像提取作为参考图像B1。作为替换，当相对于保持镶嵌图像最后耦合的多焦点图像与当前帧图像的重叠区域的尺寸小于恒定水平并且不能确定这些图像之间的相对位置时，则将与相对于保持镶嵌图像最后耦合的多焦点图像相邻的其它多焦点图像提取来作为参考图像B1。
在参考图像Bl与帧图像B2之间的位置关系不清楚的情况下，通过将图像整体设置为一个对象来提取特征点B3。随后，通过比较这些特征点来判断对于从参考图像B1提取的各个特征点B3是否在帧图像B2中存在类似的特征点。 可以通过包括特征点B3的预定区域来测量特征点之间的相似度，例如，对5像素X5像素的矩形区域计算的亮度值的误差平方和或归一化相关。 根据这样的比较结果来提取特征点之间的正确对应。例如，将相同方向上平行移动的特征点之间的对应提取为正确对应。通过根据所提取特征点之间的正确对应以判断特征点在图像中的移动量并且通过由所述移动量判断帧图像B2相对于参考图像B1的移动量，来确定参考图像Bl与帧图像B2之间的相对位置。 图7A和图7B是每个示出在图1所示放大观察装置1中图案匹配操作的示例的示图，并示出其中对从参考图像与第(n-l)帧图像之间的相对位置所估计的重叠区域B5和B6中的特征点B3进行比较的状态。图7A示出从参考图像与第(n-l)帧图像之间的相对位置所得到的这两种图像的重叠区域B4。此外，图7B示出从参考图像与第(n-l)帧图像之间的相对位置所估计的参考图像与第n帧图像的重叠区域B5和B6。
在知道了参考图像Bl与帧图像B2之间的大致位置关系的情况下，从一个图像适当地提取模板区域并搜索对应于其它图像的区域的相邻部分；从而可以高准确度地确定这些图像之间的相对位置。 S卩，根据由一个帧预先提供的第(n-1)帧图像与所述参考图像之间相对位置的确
定结果，得到这些图像的重叠区域B4。重叠区域B4被判断为当前第n帧图像和参考图像的
重叠区域B5和B6。随后，针对参考图像的重叠区域B5中的各个特征点B3从第n帧图像的
重叠区域B6提取相似的特征点；因此可以确定这些图像之间的相对位置。 通过针对参考图像的重叠区域B5中的各个特征点B3从第n帧图像的重叠区域B6
中提取在对应于特征点的位置附近的预定区域并且通过搜索所述区域的内部，来进行相似
特征点的提取。 在本优选实施例中，对于跟随第二帧之后的定位帧图像以及定位参考图像的定位，采取了如图7所示的对重叠区域中的特征点进行比较的方法。另一方面，在通过第一帧的定位帧图像以及定位参考图像的定位并通过重叠区域中特征点的比较而不能确定相对位置的情况下，或者在根据获取指令所获取的静止图像以及保持镶嵌图像的定位的情况下，采取了如图6所示的对所有特征点进行比较的方法。 图8和图9中所示的步骤S101到S124是每个示出图1所示放大观察装置1中的显示活动图像期间的操作的示例的流程图。首先，参考图像产生单元126从保持镶嵌图像提取与最后组合的多焦点图像对应的图像区域，并产生参考图像作为单个图像区域中面积最大的焦点位置的图像，所述单个图像区域包括了来自所提取图像区域的正确对焦的相邻像素和相应镶嵌形状数据(步骤S101)。 接下来，特征量提取单元141控制摄像头210的对焦机构，调整焦点位置，并获取焦点位置与参考图像实质相同的定位帧图像(步骤S102和S103)。随后，如果所获取的定位帧图像是第一帧图像，则从整个图像提取特征点(步骤S104和S105)。
接着，相对位置确定单元142对每个图像的所有特征点进行比较，并确定当前定位帧图像与定位参考图像之间的相对位置(步骤S106)。此时，如果，不能确定相对位置，则将参考图像改为定位成功的最后帧图像和焦点位置实质相同的图像，并通过比较整个改变的参考图像中包括的所有特征点与帧图像的所有特征点来确定相对位置(步骤S107、S112和S113)。 随后，如果可以确定相对位置并在步骤S107中成功定位了帧图像，则根据相对位置的确定结果改变帧图像相对于镶嵌图像的显示位置，并更新活动图像(步骤S114、 S116和S117)。当即使通过比较整个所改变的参考图像的特征点与整个帧图像的特征点也不能确定相对位置并且定位失败时，告知匹配错误(步骤S14和S115)。 当能够确定相对位置并且在步骤S107中帧图像定位成功时，根据相对位置确定结果来改变帧图像相对于镶嵌图像的显示位置，并更新活动图像(步骤S107、 S116和S117)。 另一方面，如果所获取的定位帧图像不是第一帧图像，则相对位置确定单元142引用之前的定位结果，即，由一个帧之前所提供的定位帧图像与定位参考图像之间的相对位置的确定结果，并估计当前定位帧图像与定位参考图像之间的重叠区域(步骤S104、S108和S109)。特征量提取单元141从所估计的重叠区域中提取特征点。
接着，相对位置确定单元142对当前定位帧图像与定位参考图像之间的重叠区域 中的特征点进行比较，并确定这些图像之间的相对位置(步骤S110)。此时，如果不能确定 相对位置，则执行步骤S105之后的处理程序(步骤Sill)。 当能够确定相对位置并且在步骤Sill中定位成功时，根据相对位置确定结果来 改变帧图像相对于镶嵌图像的显示位置，并更新活动图像(步骤Slll、 S116和S117)。
如果在更新活动图像之后给出组合静止图像的获取指令，静止图像获取单元129 根据获取指令来获取焦点位置不同的多个静止图像(步骤S118和S120)。多焦点图像产生 单元130将这些静止图像进行结合并产生多焦点图像(步骤S121)。 镶嵌图像产生单元131通过多焦点图像与保持镶嵌图像之间的图案匹配来估计 这些图像之间的相对位置，根据它的估计结果执行处理来耦合这两种图像，并更新保持镶 嵌图像(步骤S122到S124)。 重复从步骤S102到步骤SI 18的处理程序，直到指示拍摄完成(步骤SI 19)。
根据本优选实施例，将拍摄期间的视场作为活动图像显示在图像生成期间的镶嵌 图像上的适当位置处；因此，可以获取静止图像并将其耦合到镶嵌图像，而同时使得用户确 定拍摄期间的视场与图像生成期间的镶嵌图像之间的位置关系。更具体地说，通过比较从 帧图像与从参考图像提取的特征量，判断帧图像与镶嵌图像之间的相对位置关系；因此，可 以在由多焦点图像所构成的镶嵌图像上的适当位置处显示拍摄期间的视场，而不会使系统 构造变得复杂。另外，获取了其焦点位置与定位参考图像的焦点位置实质上相同的帧图像， 并且执行了帧图像定位；因此，可以防止在图像间的重叠部分中产生对焦不准的模糊，而与 采用自动对焦功能的方法相比不会增加用于定位所需的时间。 除此之外，在比较特征量的情况下，根据过去的相对位置的确定结果来估计帧图 像与参考图像之间的重叠区域，并比较重叠区域中的特征量；因此，可以提高帧图像与参考 图像之间的定位准确度。 另外，在本优选实施例中，描述了通过控制摄像头210的对焦机构来获取焦点位 置不同的多个静止图像的示例；然而，本发明不限于此。例如，在本发明中，还可以包括能够 在z轴方向上移动的可移动载物台；配备一个检测可移动载物台230在z轴方向上的位置 的位置传感器；并且在z轴方向上移动可移动载物台230的同时获取焦点位置不同的静止 图像。 此外，在本优选实施例中，描述了其中在比较定位帧图像与定位参考图像的情况 下多条边相交的顶点作为特征量的示例；然而，本发明不限于此。例如，对于图像上的预定 区域，分别从定位帧图像和定位参考图像提取区域中的对比度值作为特征量；并且在这些 图像间进行比较。此外，对于重叠区域中的预定区域，可以根据该区域中的特征量而无需提 取边和对比度来执行模板匹配。
权利要求
一种成像装置，包括可移动载物台，能够在固定待检查物体的同时在两个不同方向上移动；摄像头，其与可移动载物台相对布置，对待检查物体进行拍摄并产生由多个连续帧图像构成的移动画面图像；焦点位置改变单元，其改变摄像头的焦点位置；静止图像获取单元，其控制摄像头和焦点位置改变单元，并获取焦点位置不同的不少于两个的静止图像；多焦点图像产生单元，其将不少于两个的静止图像进行结合，并产生比摄像头的实际视场的景深更深的多焦点图像；高度形状数据产生单元，其根据在多焦点图像的每个像素中的对焦位置来产生待检查物体的高度形状数据；焦点位置控制单元，其从高度形状数据获取与多焦点图像的至少一部分对应的对焦位置，并控制焦点位置改变单元以使帧图像的焦点位置与对焦位置实质上一致；特征量提取单元，其从通过控制焦点位置改变单元所获取的帧图像以及多焦点图像或参考图像中提取特征量，所述参考图像是根据构成多焦点图像的多个静止图像而提取的图像；相对位置确定单元，其通过比较特征量来确定帧图像与参考图像之间的相对位置；活动图像显示单元，其根据相对位置的确定结果来更新帧图像相对于多焦点图像的显示位置，并将移动画面图像显示在多焦点图像上；和镶嵌图像产生单元，其获取与被活动图像显示单元显示为移动画面图像的帧图像相对应的新的多焦点图像，并产生与多焦点图像耦合的镶嵌图像。
2. 如权利要求l所述的成像装置，其中相对位置确定单元根据相对位置过去的确定结果来估计帧图像与参考图像之间的重 叠区域；和焦点位置控制单元从高度形状数据获取重叠区域的对焦位置，并控制焦点位置改变单 元以使得帧图像的焦点位置与对焦位置实质一致。
3. 如权利要求2所述的成像装置，其中在获取重叠区域的对焦位置的情况下，焦点位置控制单元将帧图像与参考图像的重叠 区域中的对焦部分面积最大的焦点位置判定为对焦位置。
4. 如权利要求2或3所述的成像装置，其中特征量提取单元通过将构成多焦点图像的焦点位置不同的多个静止图像之中在重叠 区域中对焦部分面积最大的静止图像设置为参考图像来提取特征量。
5. 如权利要求2或3所述的成像装置，还包括参考图像候选获取单元，其获取焦点位置不同而与帧图像拍摄条件相同的多个参考图 像候选，并且其中特征量提取单元通过将参考图像候选之中在重叠区域中的对焦部分面积最大的参考 图像候选设置为参考图像来提取特征量。
6. 如权利要求1到3中任一个所述的成像装置，其中 特征量提取单元通过将多焦点图像设置为参考图像来提取特征量。
7. 如权利要求1到3中任一个所述的成像装置，还包括镶嵌形状数据产生单元，其耦合高度形状数据，并产生具有比摄像头实际视场宽的范 围的镶嵌形状数据。
8. 如权利要求7所述的成像装置，还包括参考图像产生单元，其根据镶嵌图像和镶嵌形状数据来产生参考图像作为在对焦部分 面积最大的焦点位置的图像。
9. 如权利要求8所述的成像装置，其中在通过重叠区域中的特征量不能确定相对位置的情况下，相对位置确定单元通过将整 个帧图像的特征量与整个参考图像的特征量进行比较来确定相对位置，以及在通过将整个帧图像的特征量与整个参考图像的特征量进行比较不能确定相对位置 的情况下，参考图像产生单元产生新的参考图像来作为其焦点位置与能够确定相对位置的 最后帧图像的焦点位置实质相同的图像。
10. 如权利要求1所述的成像装置，还包括定位减小部分，其通过减小构成移动画面图像的帧图像来产生定位帧图像，并通过减小参考图像来产生定位参考图像；禾口显示减小单元，其通过减小构成移动画面图像的帧图像来产生显示帧图像，并通过减小镶嵌图像来产生显示镶嵌图像，并且其中特征量提取单元从定位帧图像和定位参考图像提取特征量； 相对位置确定单元确定定位帧图像与定位参考图像之间的相对位置； 活动图像显示单元将显示帧图像构成的移动画面图像作为活动图像显示在显示镶嵌图像上；以及镶嵌图像产生单元以高于定位参考图像的分辨率来对多焦点图像与镶嵌图像之间的 相对位置进行估计，将多焦点图像组合到镶嵌图像，并产生新的镶嵌图像。
全文摘要
本发明提供了一种成像装置，包括静止图像获取单元，其获取多个静止图像；多焦点图像产生单元，其结合静止图像，并产生多焦点图像；焦点位置控制单元，其从高度形状数据获取多焦点图像的至少一部分的对焦位置，并控制焦点位置从而帧图像的焦点位置与对焦位置实质一致；特征量提取单元，其从帧图像和多焦点图像或参考图像提取特征量；相对位置确定单元，其确定帧图像与参考图像之间的相对位置；和活动图像显示单元，其更新帧图像的显示位置，并将移动画面图像显示在多焦点图像上。
文档编号H04N1/028GK101753775SQ20091024695
公开日2010年6月23日 申请日期2009年12月11日 优先权日2008年12月12日
发明者康宇范, 猪俣政宽 申请人:株式会社其恩斯