抖动测定系统及抖动测定方法

专利名称：抖动测定系统及抖动测定方法
技术领域：
本发明涉及一种测定数码相机等的摄影机或其他光学设备的抖动 的抖动测定系统及抖动测定方法。
背景技术：
过去，数码相机所具备的手抖动校正装置，通过对由陀螺仪传感 器检测出的加速度进行积分来求出抖动量，使透镜或顶角棱镜、摄像 元件等移位以抵消该抖动量。
作为这种手抖校正装置的一例，在专利文献1所公开的发明中具
备检测手抖的顶角传感器43、 44(陀螺仪传感器等)、使光轴变化而可 变形的可变顶角棱镜41、使该可变顶角棱镜41变形的促动器48、 49、 向该促动器施加驱动电压的控制电路等，按照由上述顶角传感器43、 44检测出的信号，通过上述促动器48、 49使可变顶角棱镜41变形而
使光轴变化。
而且，在该专利文献1公开了如下发明具备用于检测光轴变化 角度的受光单元8(二维位置传感器)或检测顶角传感器43、44的输出信 号的电路等，根据上述驱动电压和光轴变化角度的关系、顶角检测传 感器输出和光轴变化角度的关系等来评价手抖校正装置的性能。
于是，可考虑利用该发明评价在市场出售的数码相机的手抖，但 是，如果在这种情况下，需要将用于检测上述光轴变化角度的单元附 加在数码相机本身或者连接到数码相机，难以适用于任意数码相机的 手抖测定，且不现实。
5而且，在上述情况下，由陀螺仪传感器的安装方向限制可检测的 手抖方向，而且难以观测手抖方向及手抖量的时序列变化。
然而， 一般用静物相机拍摄被摄体时所产生的手抖有以下3种
成为绕摆动(pan)轴(垂直轴)的旋转运动的手抖、成为绕俯仰(pitch)轴(水 平轴)的旋转运动的手抖、成为绕翻滚(roll)轴(与摆动轴和俯仰轴双方垂 直的轴)的旋转运动的手抖。另外，上述俯仰(pitch)轴还有被称为倾斜 (tilt)轴的情况。
这3种手抖根据快门按钮的位置、相机的形状、使用者的男女差 异、使用者是专业人员或是非专业人员等各种条件而不同。
用一般的市场出售的数码相机的手抖校正功能仅检测绕俯仰轴和 摆动轴这2轴的抖动量进行校正，对绕翻滚轴(光轴)的手抖未进行检测 和校正(例如，参照专利文献1的图9)。
这是因为，为了检测绕翻滚轴的手抖，需要向数码相机的厚度方 向安装陀螺仪传感器，这成为阻碍数码相机的小型化及低成本化的原
因之一。
从而，即使对过去的数码相机连接专利文献1的检测光轴变化角 度的单元，也仅获得绕俯仰轴和摆动轴这2轴的光轴变化角度，难以 检测实际手抖现象的3轴旋转运动。
而且，作为其他相关技术，例如有专利文献2所记载的抖动校正 测定装置。在该现有技术中，使从光源101投射的激光L通过具有抖 动校正功能的光学系统103之后投影到标尺106，通过测定被投影的像 在标尺上的移动量，评价上述抖动校正功能的性能。
在这现有技术中，所获得的仅是投影到上述标尺106的单一的点
6或者二维平面上的直线轨迹，无法检测对应于实际手抖现象的3轴旋 转运动或抖动方向及抖动量的时序列变化。
而且，作为其他相关技术，例如在专利文献3所记载的相机摆动 校正方法及图像监视系统中，将由监视相机拍摄的图像中的2帧的一 个作为基准图像，将另一个作为处理图像，使用由上述基准图像作成 的模板图案进行上述处理图像的图案匹配，利用由相机摆动造成的图 像偏移的规则性选择特定的匹配区域，根据其移动矢量算出相机摆动 量来校正图像偏移。
然而，在这现有技术中，将由监视相机拍摄的单一的任意图像作 为基准图像，使用由该基准图像作成的模板图案进行上述处理图像的 图案匹配，通过这种构成获得的相机摆动量仅是二维平面上的直线轨 迹，与其他专利文献所记载的发明同样地，无法检测对应于静物相机 的手抖现象的3轴旋转运动或抖动方向及抖动量的时序列变化。
专利文献l: JP特许第3143527号公报 专利文献2: JP特开2002-195815号公报 专利文献3: JP特开平10-23322号公报

发明内容
本发明是鉴于上述现有技术的情况而提出的，其课题在于提供 一种对任意的摄影机不需要附加装置便可检测出摄影机的抖动的变 化，而且能检测出绕摄影机的3轴的抖动的抖动测定系统及抖动测定 方法。
用于解决上述课题的技术手段，其特征在于，具备显示单元， 依次显示能够区别的多种测试图案；第1存储单元，将显示的上述多 种测试图案分别作为模板存储；第2存储单元，存储合成图像，该合
7成图像是用摄影机对依次显示的上述多种测试图案内的2个以上的测 试图案进行静像拍摄而形成；和图案识别单元，从上述第1存储单元 呼出上述多种模板，并且从上述第2存储单元呼出上述合成图像，对 于呼出的每个上述模板，使该模板相对于上述合成图像重合的同时移 动，根据上述合成图像识别与上述各模板一致的图像，将通过上述图 案识别单元得到的上述各模板的移动方向及移动量作为上述静像拍摄
时的上述摄影机的抖动方向及抖动量，而获得至少2个以上的该抖动
方向及抖动量。
另外，上述"能够区别的多种测试图案"是在多个测试图案内可 以将任意的测试图案与其他测试图案区别的构成即可。
因此，该"能够区别的多种测试图案"包括使任意的测试图案与 其他测试图案相比在颜色、形状、位置、角度、花纹、这些的组合等 方面不同的构成。
艮p，上述多种测试图案即使假设图形轮廓本身为相同类型，若其 颜色、形状、位置、角度、花纹、这些的组合等不同，则图案的功能 可以同样地使用(作为不同的图案使用)。
而且，上述摄影机只要能记录静像即可，该摄影机包括通常的静 物相机或数码相机等。
另外，该摄影机中包括通常的数码摄像机。s卩，在数码摄像机中，
1帧的图像为静像。
而且，上述模板是指上述各测试图案的图像数据被存储在上述第 l存储单元的状态。
此外，上述图案识别单元包括例如进行图案匹配处理或模板匹配
8处理等的公知的图像处理的构成。
根据上述技术手段，用摄影机对依次显示的测试图案内2个以上 的测试图案进行静像拍摄而形成的1个摄影图像，成为将摄影机的抖 动作为多种测试图案的变化信息写入的合成图像。
若根据该合成图像图案识别与各模板一致的图像，则可检测出该 图案识别时的各模板的移动方向及移动量。即，可检测出依次显示的 各测试图案在合成图像上朝哪个方向移动了多少。
按每个模板检测出的移动方向及移动量与上述静像拍摄时的摄影 机的抖动方向及抖动量相对应。
若至少获得2个以上的上述移动方向及移动量，则可知摄影机的 抖动方向及抖动量怎样变化。
而且，在进一步的技术手段中，其特征在于，上述多种测试图案 分别是具有在测试图案之间实质上互不重合的部分的图形。
此处，"上述多种测试图案分别具有在测试图案之间实质上互不 重合的部分"的构成也可设为使上述多种测试图案内的任意的测试图 案和其他测试图案在一部分重合，而在其他部分不重合的方式，但是， 更优选设为使上述多种测试图案内的任意的测试图案和其他测试图案 完全不重合的方式。
另外，换言而之，"互不重合"可表达为"相互垂直"或者"互 不干涉"。
根据上述技术手段，可更加容易地进行根据合成图像图案识别与 各模板一致的图像的处理。艮P，在多种测试图案内，任意的测试图案和其他测试图案具有至 少不重合的一部分。因此，在根据合成图像图案识别与对应于上述任 意的测试图案的模板一致的图像时，可防止错误识别上述其他测试图 案的情况。
而且，在进一步的技术手段中，其特征在于，上述移动方向包括 上述合成图像的平面上的垂直方向、水平方向、旋转方向，上述移动 量在每个上述方向上进行检测。
根据该技术手段，分别与垂直方向、水平方向和旋转方向对应而 检测上述移动量。
而且，在进一步的技术手段中，其特征在于，将上述垂直方向的 移动量、上述水平方向的移动量、上述旋转方向的移动量分别换算成 绕上述摄影机的俯仰轴的抖动量、绕摆动轴的抖动量、绕翻滚轴的抖
根据该技术手段分别检测出绕摄影机的3轴(俯仰轴、摆动轴、翻 滚轴)的抖动量。即，可知摄影机实际上朝哪个旋转方向抖动的情况。
而且，在进一步的技术手段中，其特征在于，按照上述测试图案 的显示顺序排列上述3个抖动量，求出抖动轨迹。
根据该技术手段，上述3个旋转角按时序列顺序排列而求出抖动 轨迹。由此可知摄影机的抖动在时序列上以怎样的轨迹变化。
而且，在进一步的技术手段中，其特征在于，上述各测试图案为 平面显示的2个以上的图形。
10此处，作为上述"2以上的图形"的优选具体例为2个点状图形、 3个点状图形、4个以上的点状图像等多个点状图形。
而且，作为该构成的其他例也可以为将线、3角形、多边形等图 形多个配设的构成。
根据上述技术手段，可以更加容易地进行根据合成图像图案识别 各测试图案的处理。尤其，容易检测在各测试图案中的旋转方向的移
而且，在其他技术手段中，其特征在于，按照上述测试图案的显 示顺序排列上述移动方向及上述移动量，而求出摄影机的抖动轨迹。
根据该技术手段，通过将各模板的移动方向及移动量直接按照模 板显示顺序排列的简单的处理，可表现对应于摄影机的抖动而时序列 变化的抖动轨迹。
而且，在其他技术手段中，其特征在于，具备第1存储单元， 将能够区别的多种测试图案分别作为模板存储；第2存储单元，存储
合成图像，该合成图像是用摄影机对依次显示的上述多种测试图案内
的2个以上的测试图案进行静像拍摄而形成；和图案识别单元，从上
述第1存储单元呼出上述多种模板，并且从上述第2存储单元呼出上
述合成图像，对呼出的每个上述模板，使该模板相对于上述合成图像 重合的同时移动，根据上述合成图像识别与上述各模板一致的图像， 将通过上述图案识别单元得到的上述各模板的移动方向及移动量作为
上述摄影机的抖动方向及抖动量，获得至少2个以上的该抖动方向及
抖动量。
而且，在其他技术手段的抖动测定方法中，包括以下步骤显示 单元依次显示能够区别的多种测试图案；第1存储单元将显示的上述
11多种测试图案分别作为模板存储；第2存储单元存储合成图像，该合 成图像是用摄影机对上述测试图案内的2个以上的测试图案进行静像 拍摄而形成；以及图案识别单元从上述第1存储单元呼出上述多种模 板，并且从上述第2存储单元呼出上述合成图像，对呼出的每个上述 模板，使该模板相对于上述合成图像重合的同时移动，根据上述合成 图像识别与上述模板一致的图像，将通过上述图案识别单元得到的上 述各模板的移动方向及移动量作为上述摄影机的抖动方向及抖动量， 获得至少2个以上的该抖动方向及抖动量。
发明效果
本发明如上构成，所以其具有以下所记载的作用效果。
根据本发明，摄影机不需要特别的附加装置，在实际摄影环境下， 不论摄影机或使用者的差异，可容易地检测出任意的摄影机的抖动。
而且，可根据多个移动方向及移动量数据检测摄影机的抖动变化。
另外，若在各模板的每个移动方向检测移动量，以便对应于摄影 机的3轴抖动方向，则可知摄影机的3轴周围的抖动时序列地怎样变 化。
而且，通过多个测试图案的显示间隔的设定，能够容易地使测定 分解能力可变。即，例如若使测试图案的显示间隔狭小，则在摄影机 的快门速度(快门开放时间)内检测出的每个移动方向的移动量的数据 数变多，提高测定分解能力。在使测试图案的显示间隔宽时，与此相 反测定分解能力下降。
进而，对多个摄影机进行手抖程度、或手抖校正性能的比较、或 掌握根据摄影机形状的不同的手抖倾向，或者可以掌握通过使用者的 个人差异的手抖倾向，而且，反馈如上述的手抖的评价，可以对快门按钮的位置或形状的研究、摄影机本体的形状的研究、手抖校正装置 的功能或结构的研究等更强于手抖的摄影机的开发有益。


图1是表示本发明所涉及的抖动测定系统的一例的框图。
图2是表示在该抖动测定系统中，用静像摄影机对依次显示的测 试图案进行拍摄并构成合成图像的概念的说明图。
图3是表示在该抖动测定系统中，根据拍摄的合成图像图案识别 各测试图案的概念的说明图。
图4是表示在该抖动测定系统中，将每个移动方向成分的移动量 换算成静像摄影机的旋转角的概念的说明图。
图5是表示该抖动测定系统的顺序的流程图。
图6是表示具体实施本发明所涉及的抖动测定系统的实验例的说明图。
图7是表示由该抖动测定系统实验性地求出检测精度的结果的说明图。
图8是表示由该抖动测定系统求出抖动轨迹的结果的说明图。 图9是表示关于通过该抖动测定系统检测出的数据中被验者的差 异和抖动量的关系的表，上表表示将摄影机的手抖校正功能设为OFF 时的数据，下表表示将摄影机的手抖校正功能设为ON时的数据。
图10是表示关于通过该抖动测定系统检测出的数据中被验者的 差异和抖动轨迹长度的关系的表，上表表示将摄影机的手抖校正功能 设为OFF时的数据，下表表示将摄影机的手抖校正功能设为ON时的 数据。
图11是表示关于通过该抖动测定系统检测出的数据中摄影机的 机型差异和抖动量的关系的表，上表表示将摄影机的手抖校正功能设 为OFF时的数据，下表表示将摄影机的手抖校正功能设为ON时的数 据。
图12是表示关于通过该抖动测定系统检测出的数据中摄影机的 机型错误和抖动轨迹长度的关系的表，上表表示将摄影机的手抖校正功能设为OFF时的数据，下表表示将摄影机的手抖校正功能设为ON
时的数据。
标号说明
1- 抖动测定系统
2- 摄影机
io-测试图案显示部(显示单元)
20- 运算处理部
21- 图像存储器(第2存储单元)
22- 图像存储器(第1存储单元)
23- 图案识别处理部(图案识别单元) Pl Pn、 Px-测试图案
a、 a'-基准框
b、 b'-点状图形 c-被摄体
d、 d'-合成图像
具体实施例方式
以下，根据图面说明本发明的实施方式。
图1是表示本发明所涉及的抖动测定系统的一例的框图。
该抖动测定系统1具备测试图案显示部IO(显示单元)，依次显
示种类不同的多个测试图案Pl Pn;和运算处理部20，从通过用摄影 机2静像拍摄这些测试图案Pl Pn内的2个以上的测试图案而形成的 合成图像d(参照图2及图3)中，图案识别出与上述测试图案Pl Pn分 别一致的图像，并且在该图案识别时检测各测试图案的每个移动方向 的相对移动量。
测试图案显示部10包括具备CPU、存储装置、输入输出装置等的一般的计算机ll;用于使该计算机11发挥功能的程序；用于显示 该计算机11的处理结果的显示装置12等。
计算机11将由测试图案生成器11a生成的测试图案Pl Pn与其 顺序数据一起存储到图像存储器llb，而且，将存储到该图像存储器 11b的测试图案Pl Pn经由视频图像适配器llc(所谓视频卡等)依次输出。
测试图案生成器lla是例如生成图3所示的测试图案Pl Pn的程序。
该测试图案生成器lla也可以设为根据计算式求出上述多个点状 图形b的位置并依次生成且输出测试图案Pl Pn的程序，或设为将预 先人为作成且存储的测试图案Pl Pn依次输出的程序。
测试图案Pl Pn是在平面上显示的2个以上的图形，根据图3 所示的优选一例，由显示在后述的显示装置12的画面中央侧的大致正 方形状的基准框a、和分散显示在该显示装置12的画面中的上述基准 框a内的多个点状图形b构成。
在测试图案Pl Pn中，任意的测试图案中的各点状图形b的坐标 被决定为与其他测试图案中的多个点状图形b不重合(换言而之，使之 成为不同的坐标位置)。
而且，显示装置12根据图示例是计算机用显示装置，在画面上依 次显示经由视频图像适配器11c输出的测试图案Pl Pn。
因为切换测试图案Pl Pn的速度比摄影机2的快门速度(快门开 放时间)快，所以，测试图案Pl Pn内的至少2个以上的测试图案由摄 影机2静像拍摄。根据本实施方式的优选一例，将测试图案Pl Pn的各自作成1 帧的动态图像，使该动态图像显示在显示装置12。从而，测试图案P1
Pn的切换速度成为由上述动态图像的帧频(例如60fps)决定的速度(例 如1/60秒)。
测试图案Pl Pn的数至少比在摄影机2的最大快门速度(最大快 门开放时间)中可显示的个数多。
更优选的是，将这些测试图案Pl Pn显示为无限环状，以便测试 图案Pl Pn的显示不会在摄影机2的快门开放时间内结束。
另外，作为其他例，也可以是个数少于比上述可显示的个数的测 试图案Pl Pn显示成无限环状。
因此，在显示装置12中高速地切换显示的图像，在视觉上作为多 个测试图案Pl Pn的基准框a及点状图形b被合成放映的1个被摄体 c(参照图2)被识别。
而且，摄影机2是具有手抖校正功能的通常的市场出售的数码相机。
由该摄影机2拍摄上述被摄体c的图像，在该摄影机2的快门速 度(快门开放时间)内成为拍摄测试图案Pl Pn内的任意2个以上的合 成图像d(参照图2及图3)。
在由上述摄影机2进行拍摄时，若用被验者的手保持摄影机2， 通常如图2所示，产生成为绕摆动(pan)轴(垂直轴)的旋转运动的手抖、 成为绕俯仰(pitch、也称为tilt)轴(水平轴)的旋转运动的手抖、绕翻滚(ro11) 轴(与摆动轴和俯仰轴双方垂直的轴)的旋转运动的手抖的3种手抖。从而，上述合成图像d中，测试图案Pl Pn内的被拍摄的测试图
案中的基准框a及点状图形b，因绕摄影机2的3轴的手抖而朝垂直方 向、水平方向、旋转方向微动，作为图2所示的基准框a'及点状图形 b'被复制。
而且，运算处理部20与测试图案显示部IO大致类似地包括具 备CPU、存储装置、输出输入装置等的一般的计算机；和用于使该计 算机发挥功能的程序。
该运算处理部20具备图像存储器21(第2存储单元)，存储由摄 影机2拍摄的合成图像d;图像存储器22(第1存储单元)，将从测试图 案显示部10传送的测试图案Pl Pn的副本与其显示顺序的信息一起 作为后述的模板存储；图案识别处理部23(图案识别单元)，关于存储在 图像存储器21的合成图像d进行图案识别等处理；3轴旋转角算出部 24，将该图案识别处理部23的处理结果变换成摄影机2的3轴旋转角； 以及抖动轨迹计算部25，通过按测试图案Pl Pn的显示顺序排列上述 3轴旋转角而求出抖动轨迹。
图案识别处理部23是用于进行称为所谓图案匹配处理或模板匹 配处理等的公知的图像处理的程序。
而且，3轴旋转角算出部24是用于将由图案识别处理部23求出 的每个垂直、水平方向、旋转方向的各测试图案的移动量变换成摄影 机2的3轴周围的旋转角的程序。
而且，抖动轨迹计算部25是用于按照上述静像拍摄时的时序列顺 序排列上述3种旋转角而求出抖动轨迹的程序。
关于这些程序下的处理，根据图5所示的流程图(参照图5)在以下
17进行详述。
图5的流程图表示运算处理部20处理合成图像d的顺序。
首先，在图中根据步骤l，运算处理部20将从摄影机2传送的合
成图像d存储在图像存储器21。
接着，在步骤2中，根据存储在图像存储器21的合成图像d的大 小调整用于图案识另lj的模板的大小。
此处，所谓模板是从测试图案显示部10向运算处理部20的图像 存储器22传送的测试图案Pl Pn的副本。而且，该模板在图案识别 时朝合成图像d的平面上的垂直方向、水平方向、旋转方向每次移动 规定大小。
该模板的大小的调整，例如只要使存储在图像存储器22的测试图 案Pl Pn的基准框a的大小和存储在图像存储器21的合成图像d中 的基准框a'的大小一致即可。
而且，在步骤3中，计算与测试图案Pl Pn中的l个对应的模板 中的基准框a及点状图形b、和合成图像d中的基准框a'及点状图形b' 的一致度。该一致度是在使上述模板和合成图像d重合时数值表示图 形之间一致的程度。
另夕卜，在该步骤3最初使用的模板，例如在测试图案Pl Pn中取 顺序为前头的即可，但也可取其他任意的模板。
接着，在步骤4a中，对上述l个模板判断是否达到了预定的水平 移动量，在达到的情况下将处理转移到下一个步骤5a，否则将处理转 移到步骤4b。在步骤4b中，将上述模板仅水平移动一定大小幅度(步长)，并 将处理返回到上述步骤3。
在步骤5a中，对上述一个模板判断是否达到了预定的垂直移动 量，在达到的情况下将处理转移到下一个步骤6a，否则将处理转移到 步骤5b。
在步骤5b中，将上述模板仅垂直移动一定步长，并将处理返回到 上述步骤3。
在步骤6a中，对上述一个模板判断是否达到了预定的旋转移动 量，在达到的情况下将处理转移到下一个步骤7a，否则将处理转移到 步骤6b。
上述旋转移动时，可使其中心例如为构成各测试图案的基准框a 的中心。
在步骤6b中，使上述模仅旋转移动一定大小角度，并将处理返回 到上述步骤3。
艮P，根据上述步骤4a 6b，使与测试图案Pl Pn中1个对应的 模板向水平、垂直、旋转方向分别以一定的大小移动或者旋转，并且 随时计算该模板中的图形和合成图像d中的图形的一致度。
接着，在步骤7a中，对于至预定的移动量、旋转量为止而对应计 算的一系列一致度，判断成为最大的值是否为基准值以上，在判断为 基准值以上时将处理转移到下一个步骤8，否则将处理转移到步骤7b。
在步骤7b中， 一致度的最大值比基准值小，从而判断该模板中的图形不包含在合成图像d中，将该模板更换成其他模板(S卩，测试图案 Pl Pn中的还未用于图案识别的模板)，并将处理返回到上述步骤2。
而且，在步骤8中，对于在上述步骤7a中一致度的最大值判断为 基准值以上的模板，读取该一致度成为最大时的每个移动方向的移动 量，将处理转移到下一个步骤9。
更详细地说，在该步骤8中，在每个模板的移动方向(水平、垂直、 旋转方向)，对于上述一致度成为最大的时刻的模板检测相对于移动之 前的时刻的该模板的位置的相对移动量。
在步骤9中，根据图4所示的计算式，将在上述步骤8中读取的 水平移动量、垂直移动量、旋转量分别换算成绕摄影机2的3轴的旋 转角。
更详细地说，图4所示的水平移动量a除以从显示装置12到摄影 机2的距离L的数值，用以距离L为底边以水平移动量a为垂线的正 切函数tan9pan表示。此处，e为微小量，所以epan"tanepan，从而绕 摄影机2的摆动轴的旋转角6 ，大致为a/L。
同样地，垂直移动量b除以上述距离L的数值为正切函数tan9 pitch,所以绕摄影机2的俯仰轴的旋转角0 pi她大致为b/L。
而且，绕摄影机2的翻滚轴的旋转角、。n仍然使用在上述步骤8 中所读取的旋转角。
另夕卜，作为其他例，也能够从tane，的反函数、tan9pitch的反函 数分别求出9，和epitch。
根据上述步骤9，通过上述距离L的调整，根据因保持摄影机2的被验者或摄影机2的机型等引起的抖动量的大小，可适当地设定e
pan、 pitch
及9r。u的测定灵敏度。
艮P，例如，上述抖动量比较小时，通过摄影机2的变焦功能大致 一定地保持合成图像d上的基准框a'及点状图形b'的大小，若使摄影机 2从显示装置12远离而增大距离L(望远摄影状态)，则摄影机2的抖动 在合成图像d上反映得比较大，所以可提高测定灵敏度。
而且，例如，上述抖动量比较大时，通过摄影机2的变焦功能大 致一定地保持合成图像d上的基准框a'及点状图形b'的大小，若使摄影 机2靠近显示装置12而縮短距离L，则摄影机2的抖动在合成图像d 上反映得比较小，所以可降低测定灵敏度。
接着，在步骤10中，对于与测试图案Pl Pn对应的所有的模板 判断是否进行了上述步骤7a(—致度的最大值是否为基准值以上的判 断)，若对所有的模板进行完了，则将处理进行到下一个步骤11，否则 将处理转移到步骤7b。
在步骤11中，通过按照由摄影机2静像拍摄时的时序列顺序排列 epan、 epitch、 e鋪这3个旋转角，从而求出摄影机2的抖动轨迹，结 束根据运算处理部20的处理。
更具体地说，每个测试图案Pl Pn的epan、epiteh、 9r。u这3个
旋转角按照由测试图案显示部10上的测试图案的显示顺序(静像拍摄 时的时序列顺序)，例如在图8所示的三维图形上标绘，该三维图形输 出到未图示的显示器或打印机等。从而，摄影机2的抖动轨迹作为上 述三维图形上的点的轨迹而表现。
接着，对使用上述的抖动测定系统的实验例进行说明。
21图6中，使通过分散多个点状图形构成的1个测试图案Px每次 旋转10度，从而作成合计9个测试图案，作成使这9个测试图案分别 为1帧的动态图像，以帧频60fps将该动态图像显示在显示装置12, 由将快门速度(快门开放时间)大约设定为1/10秒的摄影机2拍摄该显 示的测试图案，从而获得合成图像d'。因此，在合成图像d'中上述9 个测试图案内的6 7个被复制。
另外，在图6所示的一例中，使得在摄影机2不产生抖动而表示 三脚固定该摄影机2时的合成图像d'。
接着在图7中表示，在图6所示的抖动测定系统中使显示装置12 上的9个测试图案朝垂直、水平、旋转方向移动预定量并且由三脚固 定的摄影机2拍摄该显示图像的结果。即，进行与在摄影机2产生抖 动的现象同等的模拟。
在图7中，符号d'是由摄影机2所拍摄的合成图像。
而且，该图中，符号T是表示9个测试图案内通过图案识别而一 致度的最大值成为基准以上的测试图案的图像。
该图中，符号Td'是重合两者的图像。
如该图中的表所示，根据本实验可确认相对于垂直及水平方向的 移动为土O.l pixel (像素)、相对于旋转方向的移动为士0.01度的精度。
而且，在图8中表示使用图6所示的抖动测定系统，实际由被验 者用手保持摄影机2并检测手抖量及手抖轨迹的结果。
图8中的三维图形是作为与绕摄影机2的3轴(摆动轴、俯仰轴、 翻滚轴)的旋转角直交的3个坐标，并在这些坐标上按时序列顺序标绘绕各轴的旋转角数据的图表。从而，由该图形可知绕摄影机2的3轴 的抖动怎样时序列变化。
而且，图9表示关于通过图6所示的抖动测定系统测定的数据中
被验者的差异和手抖量的关系，上表表示使摄影机2的手抖校正功能 设为OFF时的数据，下表表示使摄影机2的手抖校正功能设为ON时 的数据。
通过图9中的上下表的比较可知，通过摄影机2的手抖校正功能， 关于俯仰(tilt)、摆动轴减轻了 1/3 1/2左右的手抖量，而与之相对，关 于翻滚轴几乎没有手抖量的减轻效果。
而且，图10表示关于通过图6所示的抖动测定系统测定的数据中 被验者的差异和手抖量的关系，上表表示使摄影机的手抖校正功能设 为OFF时的数据，下表表示使摄影机的手抖校正功能设为ON时的数 据。
从该图10中的上下表的比较也可知，通过摄影机2的手抖校正功 能，关于俯仰(tilt)、摆动轴手抖轨迹的长度縮短，而与之相对，关于翻 滚轴几乎没有缩短手抖轨迹的长度的效果。
图9及图10所示的上下表的比较结果是由于摄影机2为一般在市 场出售的数码相机，不具有校正绕翻滚轴的手抖的功能。
而且，图11和图12分别表示关于通过图6所示的抖动测定系统 检测的数据，对摄影机2的机型的差异和抖动量的关系(图11)、和摄影 机2的机型的差异和手抖轨迹的长度的关系(图12)分别表示手抖校正 OFF的情况(上表)和手抖校正ON的情况(下表)。
由这些图11及图12中的表可知，根据摄影机2的机型的不同，
23在手抖校正能力上产生差异。
另外，根据上述构成，摄影机2为一般在市场出售的具有手抖校 正功能的数码相机，但作为该摄影机2的其他例也可以是不具备手抖 校正功能的数码相机，也可以通过摄像机使用静像拍摄功能。而且， 也可以将由摄像机动画摄影的图像的1帧(静像)作为上述合成图像 d(或者d')使用。
而且，测试图案显示部IO不限于上述的方式，例如，也可以使多 个LED闪烁且依次显示上述测试图案Pl Pn。根据这构成， 一般LED 的响应速度比液晶显示器快，所以可以使测试图案Pl Pn的切换速度 更加高速化，且提高测定分解能力。
而且，通过机械单元使上述测试图案Pl Pn移动或旋转，从而可 在外观上高速切换这些测试图案Pl Pn。
此外，上述测试图案P1不限于在平面上显示，也可为朝深度方向 扩大的图案(用空间配置的LED等平面形成图案)。
而且，根据上述实施方式，设为由运算处理部20求出绕摄影机2 的3轴的旋转角的构成，但作为更简化的构成也可以省略3轴旋转角 算出部24，而通过将在图案识别处理部23的图案识别时检测出的各模 板的移动方向及移动量直接用作与摄影机2的抖动对应的值并时序列 顺序排列，求出抖动轨迹。
此外，根据上述实施方式，通过设为具有多个测试图案Pl Pn 互不重合的部分的不同的图形，从而从合成图像d容易识别抖动移动 后的各测试图案，但是作为其他例也可将测试图案Pl Pn分别设为不 同颜色的图形，根据该颜色信息从合成图像d识别抖动移动后的各测 试图案。而且，上述实施方式表示使用不同的计算机构成测试图案显示部 10和运算处理部20的一例，但也可以使用同一的计算机或3个以上的 计算机而构成这些测试图案显示部10。
另外，上述测试图案生成器lla、图案识别处理部23、 3轴旋转 角算出部24、及抖动轨迹计算部25的一部分或全部可为作为程序而被 记录的计算机可读取的记录介质。
而且，本发明的抖动测定系统及抖动测定方法，根据上述实施方 式是关于摄影机2的手抖测定的发明，但不仅仅是摄影机2的手抖测 定，其原理也可以应用于以通常的摄影机的动画摄影或静像连拍摄影 等中的摄像帧频过快而不能观测(赶不上)的各种抖动测量、图像分析。
权利要求
1.一种抖动测定系统，其特征在于，具备显示单元，依次显示能够区别的多种测试图案；第1存储单元，将显示的上述多种测试图案分别作为模板存储；第2存储单元，存储合成图像，该合成图像是用摄影机对依次显示的上述多种测试图案内的2个以上的测试图案进行静像拍摄而形成；和图案识别单元，从上述第1存储单元呼出上述多种模板，并且从上述第2存储单元呼出上述合成图像，对于呼出的每个上述模板，使该模板相对于上述合成图像重合的同时移动，根据上述合成图像识别与上述各模板一致的图像，将通过上述图案识别单元得到的上述各模板的移动方向及移动量作为上述静像拍摄时的上述摄影机的抖动方向及抖动量，而获得至少2个以上的该抖动方向及抖动量。
2. 如权利要求l所述的抖动测定系统，其特征在于， 上述多种测试图案分别是具有在测试图案之间实质上互不重合的部分的图形。
3. 如权利要求2所述的抖动测定系统，其特征在于， 上述移动方向包括上述合成图像的平面上的垂直方向、水平方向、旋转方向，上述移动量在每个上述方向上进行检测。
4. 如权利要求3所述的抖动测定系统，其特征在于， 将上述垂直方向的移动量、上述水平方向的移动量、上述旋转方向的移动量分别换算成绕上述摄影机的俯仰轴的抖动量、绕摆动轴的 抖动量、绕翻滚轴的抖动量。
5. 如权利要求4所述的抖动测定系统，其特征在于， 按照上述测试图案的显示顺序排列上述3个抖动量，求出抖动轨迹。
6. 如权利要求5所述的抖动测定系统，其特征在于，上述各测试图案为平面显示的2个以上的图形。
7. 如权利要求1所述的抖动测定系统，其特征在于，按照上述测试图案的显示顺序排列上述移动方向及上述移动量， 而求出摄影机的抖动轨迹。
8. 如权利要求1所述的抖动测定系统，其特征在于， 上述移动方向包括上述合成图像的平面上的垂直方向、水平方向、旋转方向，上述移动量在每个上述方向上进行检测。
9. 如权利要求l所述的抖动测定系统，其特征在于， 上述移动方向包括上述合成图像的平面上的垂直方向、水平方向、旋转方向，在每个上述方向上检测上述移动量，将上述垂直方向的移动量、 上述水平方向的移动量、上述旋转方向的移动量分别换算成绕上述摄 影机的俯仰轴的抖动量、绕摆动轴的抖动量、绕翻滚轴的抖动量。
10. 如权利要求l所述的抖动测定系统，其特征在于， 上述各测试图案为平面显示的2个以上的图形。
11. 一种抖动测定系统，其特征在于，具备第1存储单元，将能够区别的多种测试图案分别作为模板存储；第2存储单元，存储合成图像，该合成图像是用摄影机对依次显示的上述多种测试图案内的2个以上的测试图案进行静像拍摄而形成; 和图案识别单元，从上述第1存储单元呼出上述多种模板，并且从 上述第2存储单元呼出上述合成图像，对呼出的每个上述模板，使该 模板相对于上述合成图像重合的同时移动，根据上述合成图像识别与 上述各模板一致的图像，将通过上述图案识别单元得到的上述各模板的移动方向及移动量作为上述摄影机的抖动方向及抖动量，获得至少2个以上的该抖动方向及抖动量。
12. —种抖动测定方法，其特征在于，包括以下步骤显示单元依次显示能够区别的多种测试图案； 第1存储单元将显示的上述多种测试图案分别作为模板存储； 第2存储单元存储合成图像，该合成图像是用摄影机对上述测试图案内的2个以上的测试图案进行静像拍摄而形成；以及图案识别单元从上述第1存储单元呼出上述多种模板，并且从上述第2存储单元呼出上述合成图像，对呼出的每个上述模板，使该模板相对于上述合成图像重合的同时移动，根据上述合成图像识别与上述模板一致的图像，将通过上述图案识别单元得到的上述各模板的移动方向及移动量作为上述摄影机的抖动方向及抖动量，获得至少2个以上的该抖动方向及抖动量。
全文摘要
本发明提供一种抖动测定系统及抖动测定方法，对任意的摄影机不需要附加装置便可检测摄影机的抖动的时序列变化，进一步可以检测绕摄影机的3轴的抖动。依次显示种类不同的多个测试图案(P1～Pn)，从用摄影机(2)对这些测试图案(P1～Pn)内的2个以上的测试图案进行静像拍摄而形成的合成图像(d)中，图案识别与对应于上述各测试图案的模板一致的图像，将该图案识别时的各模板的移动方向及移动量作为上述摄影机(2)的抖动方向及抖动量。
文档编号H04N5/232GK101601276SQ200780047538
公开日2009年12月9日 申请日期2007年12月10日 优先权日2006年12月22日
发明者政木康生, 西一树, 追田真也 申请人:国立大学法人电气通信大学;船井电机株式会社