本发明涉及用于图像的位置对准(配准：registration；对齐：alignment)的装置。
背景技术：
：：在专利文献1中，记载有推定受试者正在注视的点(注视点)以及该受试者的个人参数的装置。该装置取得包含受试者的眼球的像在内的图像(眼球图像)，根据该眼球图像推定眼球的姿势(即眼球的光轴的方向)，并且推定受试者的视线的方向(注视的方向)。然后，该装置将眼球的光轴的方向与视线的方向之间的偏差量作为个人参数进行定量化。现有技术文献专利文献专利文献1：国际公开第2014/021169号小册子技术实现要素：发明所要解决的课题在对眼球进行拍摄而得到的图像(眼球图像)中一般包含由眼球的角膜进行了镜面反射的光的像(角膜表面反射像)。该角膜表面反射像与受试者实际正在看的景象相对应。利用这一点，近年来正积极地进行例如以下尝试：使用包含这种角膜表面反射像在内的眼球图像、和受试者周围的风景的图像(场景图像)，试图对受试者的眼睛所看到的景象进行复原。在由这种研究及其成果派生出的各种应用中，眼球图像、和与眼球图像不同地对受试者的周围的风景进行拍摄而取得的场景图像的位置对准(配准)是极为重要的技术。但是，由于在角膜表面反射像中包含大量的噪声分量，因此很难稳健地进行眼球图像和场景图像的位置对准(配准、对齐)。本发明提供一种例如能够在眼球图像和场景图像这样的2个或者2个以上的图像间稳健地进行相互的位置对准(配准、对齐)的装置。用于解决课题的手段本发明的一个方式是图像位置对准装置，该图像位置对准装置具有：取得部，取得第1图像的数据和第2图像的数据；存储部，保存第1图像的数据和第2图像的数据；映射决定部，决定作为使第1图像向球面光线图迁移的映射的第1映射、和作为使第2图像向球面光线图迁移的映射的第2映射；对应点对提取部，通过检测第1图像中的一点、和与该一点相对应的第2图像中的一点来提取对应点对；旋转映射导出部，基于构成对应点对的第1图像中的一点的位置以及局部特征量、和构成对应点对的第2图像中的一点的位置以及局部特征量，导出使球面光线图中的第1图像的像与球面光线图中的第2图像的像位置匹配的旋转映射；和配准部，基于第1映射、旋转映射、和第2映射，使存储部中保存的第1图像的数据相对于存储部中保存的第2图像的数据位置对准并生成相对于第2图像位置对准后的第1图像的数据。发明的效果基于本发明的实施方式的图像位置对准装置能够在2个或者2个以上的图像间稳健地进行相互的位置对准(配准、对齐)。附图说明图1为表示眼睛摄像机以及场景摄像机的配置例的图图2为表示眼睛摄像机拍摄到的眼球图像的例子(a)、以及场景摄像机拍摄到的场景图像的例子(b)的图。图3为表示基于实施方式的图像位置对准方法的概况的图。图4为表示基于实施方式的图像位置对准装置的结构的框图。图5为表示图像位置对准装置执行的图像位置对准的处理的流程的流程图。图6为表示所取得的眼球图像以及场景图像和实施了左右翻转的眼球图像的例子的图。图7为说明使用了弱透视投影模型的眼球姿势推定的方法的图。图8为表示眼球图像以及场景图像中的初始对应点对的例子的图。图9为表示眼球图像以及场景图像中的多组初始对应点对的例子的图。图10为表示图5的步骤S5中的处理(RANRESAC处理)的详细情况的流程图。图11为表示第i组的初始对应点对的图。图12为表示在眼球图像中随机地描绘次要的对应点的例子的图。图13为表示基于按照第i组的初始对应点对的对应关系导出的翘曲函数(Warpingfunction)，对与在眼球图像上随机描绘出的次要的对应点相对应的场景图像上的次要的对应点进行了描绘的例子的图。图14为表示配准后的眼球图像的例子、以及精密配准(微调整)的执行的例子的图。图15为表示使用了基于实施方式的位置对准装置的应用例(视点推定)的图。图16为表示使用了基于实施方式的位置对准装置的应用例(周边视野推定)的图。图17为表示使用了基于实施方式的位置对准装置的应用例(虹膜认证用图像的生成)的图。具体实施方式1.实现发明的过程以图1所示的系统为例，对实现本发明的过程进行说明。该图的系统具有：对受试者的眼球20(之内主要为角膜21)进行拍摄的眼睛摄像机911e；和对受试者正在看的景象(场景)进行拍摄(设置成拍摄的方向与受试者的视线方向大致一致)的场景摄像机911s。在该系统中，还包括未图示的计算机，该计算机根据由眼睛摄像机911e拍摄到的图像(眼球图像)来推定受试者的视线的方向，并且尝试使用由场景摄像机911s拍摄到的图像(场景图像)对受试者的眼睛正在看的景象高精度地进行复原。图2为表示图1的系统的眼睛摄像机911e以及场景摄像机911s拍摄的眼球图像以及场景图像的例子的图。图2(a)为眼睛摄像机911e拍摄到的受试者的眼球的图像(眼球图像)Ie9的例子。图2(b)为场景摄像机911s拍摄到的受试者的眼睛所看到的景象(场景)的图像(场景图像)Is9的例子。上述的计算机根据(例如区域I930e中所能看到的那样的)角膜表面的反射光的像来推定受试者正在看的景象(场景)。然后，计算机根据场景图像Is9的例如区域I930s来求取与该场景对应的影像，基于该结果，试图使用高精度的场景图像Is9对受试者的眼睛所看到的景象进行复原。但是，如果观察眼球图像Ie9，则角膜表面反射像的对比度较低，并且在角膜表面反射像中充满虹膜的纹理Iit、睫毛Iel以及睫毛的影子Isel之类的噪声。进而，由于角膜具有曲面状的表面，因而映到角膜的场景的影像受到非线性的变形。因此，在以往的图像位置对准的方法中，难以稳健地使眼球图像Ie9与场景图像Is9位置对准。2.本发明的实施方式的概要因此，本申请发明者提出了以下说明的新的用于图像位置对准的装置以及方法。首先，在此参照图3，对基于本发明的实施方式的图像位置对准装置执行的图像位置对准方法的概要进行说明。基于本发明的实施方式的图像位置对准装置取得眼球图像Ie和场景图像Is的数据并保存在存储器等存储部件中。然后，图像位置对准装置决定使场景图像Is以及眼球图像Ie分别向球面光线图(球面光线环境：EnvironmentalMap(EM))迁移的映射(第1映射以及第2映射)。在此的“球面光线图”是指以对拍摄了图像的部件作为中心将向该中心入射的光向具有规定的半径的球面进行了映射时生成的、与包围摄像部件的光线环境相关的图(map)。图3(c)为针对场景图像Is的球面光线图EMs的例子，在该图中示出球面光线图EMs中的场景图像的像。图3(d)为针对眼球图像Ie的球面光线图EMe的例子，在该图中，示出球面光线图EMe中的眼球图像的像。在此，将使场景图像Is向球面光线图EMs迁移(变换)的映射(变换函数)设为As()，将使眼球图像Ie的角膜表面反射像向球面光线图EMe迁移(变换)的映射(函数)设为L()。例如，场景图像Is的像素x1通过映射As向球面光线图EMs上的As(x1)迁移，眼球图像Ie的像素x2通过映射L向球面光线图EMe上的L(x2)迁移。接下来，图像位置对准装置在场景图像Is(第1图像)与眼球图像Ie(第2图像)(的角膜表面反射像)之间求取对应的特征点的至少一对配对(以下也称作“初始对应点对”的点对)(例如点p与点q这一对)。图像位置对准装置为了进行这里的对应点检测，能够采用已有的方法(SIFT(Scale-InvariantFeatureTransform)、SURF(SpeededUpRobustFeatures)等)。在SIFT、SURF之类的已有的特征点检测的方法中，能够算出方向(方位：orientation)的信息(θp、θq)作为针对所检测到的对应点对的各特征点(点p、点q)的每一个的局部特征量。图像位置对准装置利用该方位的信息(θp以及θq)和对应点(特征点)(点p、点q)的位置的信息，决定使球面光线图EMs上的场景图像的像相对于球面光线图EMe上的角膜表面反射像进行位置匹配的旋转映射R。在此，因为假设球面光线图EMs和球面光线图EMe实质上相等，所以假设了上述的位置匹配能通过旋转映射R来表现。(即，例如，场景图像Is的像素q1通过映射As向球面光线图EMs上的As(q)迁移，球面光线图EMs上的场景图像的像的像素As(q)处的方位的信息被表现为As’(q，θq)，眼球图像Ie的像素p通过映射L向与球面光线图EMs共同的球面光线图EMs上的L(p)迁移，球面光线图EMe上的眼球图像(的角膜表面反射像)的像的像素L(p)处的方位的信息被表现为L’(p，θp)。)最后，图像位置对准装置通过对眼球图像Ie的各像素应用映射L()、旋转映射R的逆映射R-1、映射As()的逆映射As()-1(图中的翘曲函数W(W＝As()-1·R-1·L()))，从而使眼球图像Ie的各像素相对于场景图像Is位置对准(配准、对齐)。即，根据本实施方式，图像位置对准的问题归结到球面光线图上的2个像的位置匹配的问题。通过归结到球面上的位置匹配的问题，从而起到使配准所需的、应求取的参数的数目减少这样的效果。因此，本图像位置对准装置通过求取仅一组初始对应点对(由特征点p和特征点q构成的配对)，就能实现位置对准。即，在本图像位置对准装置执行的图像位置对准方法中，只要能决定仅一组初始对应点对(的各特征点的位置以及局部特征量(方位))，就能正确地执行配准。在该含意下，本图像位置对准装置执行的图像位置对准是稳健的。即，在难以提取多组正确的初始对应点对的情况下，在本图像位置对准装置只要能决定仅一组初始对应点对就能正确地执行配准这样的含意下，本方法也是稳健的。此外，图像位置对准装置在初始对应点对的检测以及构成该初始对应点对的各点处的局部特征量(例如方位的信息)的计算中，除了上述的SIFT以及SURF之外，还能采用MSER(MaximallyStableExternalRegions)这样的方法。此外，图像位置对准装置在上述的决定“一组初始对应点对”的步骤中也具有新的特征。在本说明书中，将该新的特征性的初始对应点对提取的步骤称作“RANRESAC”(RANdomRESAmpleConsensus)。RANRESAC如果用一句话来说就是：从二图像的多个初始对应点对的候补中决定对应最佳的一组初始对应点对，并基于该一组初始对应点对进行图像的位置对准。RANRESAC在基于最合适的仅一组最合适的初始对应点对进行图像的位置对准这一点上，与在位置对准中需要大量适当(对应佳)的对应点对的RANSAC(RANdomSAmpleConsensus)有很大不同。此外，能应用该RANRESAC的二图像不限定于眼球图像和场景图像的组合。以下，以眼球图像(的角膜表面反射像)与场景图像之间的图像位置对准(配准)为例，说明本发明的实施方式的图像位置对准装置以及方法。但是，不言而喻，本发明并不限于眼球图像以及场景图像，而能够对各种图像进行相互的位置对准(配准、对齐)。3.图像位置对准装置的结构图4为表示本发明的实施方式的图像位置对准装置10的结构的示意图。图像位置对准装置10具备：用于从对受试者的眼球20(之内主要为角膜21)进行拍摄的眼睛摄像机11e取得图像数据(“眼球图像”的数据)的第1映像界面3e；和用于从对受试者正在看的景象(场景)进行拍摄(设置成拍摄的方向以及视角与受试者的视线方向(眼球的光轴的方向)大致一致(或者包含视线方向))的场景摄像机11s取得图像数据(“场景图像”的数据)的第2映像界面3s。进一步地，图像位置对准装置10具备：使用经由第1以及第2映像界面3e、3s向装置10输入并保存在存储部2中的场景图像以及眼球图像的数据来进行两图像的位置对准的运算部1(控制部)；和保存眼球图像的数据、场景图像的数据这样的各种数据以及运算部1执行的程序等的存储部2。此外，图像位置对准装置10与眼睛摄像机11e和场景摄像机11s一起构成图像位置对准系统。运算部1通过执行规定的程序(图像位置对准程序)，从而作为图像位置对准装置的映射决定部、对应点提取部、旋转映射导出部、以及配准部进行动作。输入部5包括针对外部的运算装置的数据接口以及受理来自用户的数据输入的用户接口，用户接口包括鼠标、键盘这样的输入装置。此外，运算部1也作为对装置10的整体的动作进行控制的控制部进行动作。作为该控制动作之一，运算部1也可以控制场景摄像机11s以及眼睛摄像机11e的动作(拍摄等)。运算部1为所谓的中央处理装置(CPU：CentralProcessingUnit)。但是，运算部1的结构并不限定于CPU及其周边的辅助电路。运算部1也可以是专用于规定的运算处理的GPU(GraphicsProcessingUnit)等。或者，运算部1也能作为ASIC(ApplicationSpecificIntegratedCircuit)、FPGA(Field-ProgrammableGateArray)这样的可编程逻辑器件、微型控制器之类的处理器来安装。也可以将多个CPU等上述要素组合来构成运算部1，并且构成运算部1的要素不限定于上述的例子。运算部1通过执行在存储部2中保存的图像位置对准程序，从而能够执行本发明的实施方式的图像位置对准方法。此外，图像位置对准程序也可以记录于软盘、光盘、闪速存储器等中，此外也可以经由互联网等网络来发送。存储部2保存各种数据以及运算部1执行的图像位置对准程序等。存储部2例如是ROM(Read-Onlymemory)以及RAM(RandomAccessMemory)。存储部2中除了图像位置对准程序之外，还保持场景摄像机11s以及眼睛摄像机11e的摄像机内部矩阵(camerainternalmatrix)。(所谓摄像机内部矩阵是指在其要素中包括摄像机内部参数的矩阵形式的数据。)摄像机内部矩阵的数据也可以在图像位置对准之前从外部向存储部2加载并保存到存储部2，或者，摄像机内部矩阵的数据也可以包含在图像位置对准程序中。或者，图像位置对准装置10也可以在图像位置对准之前在运算部1(CPU)的控制下进行动作，以便通过针对场景摄像机11s以及眼睛摄像机11e进行摄像机校准来求取各个摄像机内部矩阵并将它们保存在存储部2中。输出部4输出运算部1进行的图像位置对准的结果。输出部4例如是监视显示器，或者是打印机。或者，输出部4也可以具备硬盘、闪速存储器之类的外部存储装置、用于实现与经由网络连接的其他计算机之间的连接的接口机构。4.图像位置对准的流程接下来，参照图5～图14，对图像位置对准装置10的运算部1(图4)执行图像位置对准程序时进行的处理进行说明。图5为表示图像位置对准装置10(图4)执行的图像位置对准的处理的流程的流程图。在步骤S1中，运算部1(图4)作为取得部进行动作，取得眼睛摄像机11e拍摄到的眼球图像以及场景摄像机11s拍摄到的场景图像。图6(a)为如上那样取得的场景图像Is的例子，图6(b)为以同样的方式取得的眼球图像Ie’的例子。所取得的场景图像Is以及眼球图像Ie’被保存在存储部2(图4)。在步骤S2中，运算部1(图4)继续作为取得部进行动作，使所取得的眼球图像Ie在左右方向上翻转。这是为了使在眼球图像Ie的角膜表面反射像中包含的场景的朝向与场景图像Is中的场景的像的朝向一致。图6(c)为如上那样翻转后的眼球图像Is的例子。翻转后的眼球图像Is被保存在存储部2中(图4)。以下，运算部1使用翻转后的眼球图像Is来进行处理。此外，图像的翻转处理也可以代替眼球图像Ie而对场景图像Is实施。在步骤S3中，运算部1(图4)作为映射决定部进行动作，决定使场景图像Is向球面光线图EMs迁移的映射As()(图3)、和使眼球图像Ie(的角膜表面反射像)向球面光线图EMe迁移的映射L()(图3)。使场景图像Is向球面光线图EMs迁移的映射As()(图3)如以下那样被决定。运算部1(图4)读出被保存在存储部2(图4)中的、场景摄像机11s的3×3摄像机内部矩阵Ks。然后，运算部1按照下式决定映射As()【数学式1】。(在此，矢量q是指定场景图像Is中的点(像素)的矢量。场景图像Is中的点q通过映射As()而迁移到矢量As(q)所指定的球面光线图EMs上的点。)运算部1将这样决定的映射As()(变换函数)保存在存储部2中。另一方面，运算部1如以下那样决定使眼球图像Ie向球面光线图EMe迁移的映射L()(图3)。关于映射L()的决定方法，主要参照图7进行说明。图7(a)为由被视作为球面(角膜球21SPH的表面)的一部分的角膜21和眼睛摄像机11e(原点O)构成的非刚体反射折射成像系统(non-rigidcatadioptricimagingsystem)的弱透视投影模型。图7(b)为从原点O侧观察的情况下的投影面IP的例图。图7(c)为说明眼球的光轴方向矢量g与角度φ以及τ的关系的图。在该弱透视投影模型中，角膜21能够视作以角膜缘21L将角膜球21SPH切取的部分球面。此外，在此，作为角膜21的代表尺寸(半径rL、角膜缘中心I与球面21SPH的中心C之间的距离dLC)，采用固定值(人的平均值)。眼球的姿势能够由角膜缘中心I的位置和眼球光轴方向g决定。关于Zcam轴方向，如果假设角膜21的厚度充分薄，则作为大致正圆的角膜缘21L在投影面IP中成为(包括正圆)椭圆21LP。该椭圆21LP能够由中心iI、长轴的长度rmax、短轴的长度rmin、以及旋转角φ这四个参数决定。角膜缘21L的中心的位置能够由投影面IP中的椭圆21LP的中心iI以及角膜21与摄像机(原点O)之间的距离d(d＝rL·f/rmax，(f为焦点距离))决定。即，如果将指示角膜21L的中心的位置矢量设为矢量I，则能够表示为I＝d·Ke-1iI，在此，Ke为场景摄像机11s的3×3摄像机内部矩阵。接下来，眼球光轴方向g(该方向与受试者的视线的方向大致一致。)能够表示为方向矢量g＝[sin(τ)sin(φ)-sin(τ)cos(φ)-cos(τ)]T，在此，角度τ为角膜缘21L相对于眼睛摄像机11e的成像面(投影面IP)的斜率即τ＝±arccos(rmin/rmax)，角度φ为相对于同一成像面的椭圆21LP的旋转角。(参照图7(a)～(c)。)接下来，针对角膜球21SPH的中心C的位置进行考察。如果将角膜球21SPH的半径rC设定为大致7.7毫米(人的平均值)，则可知角膜球中心C处于沿着光轴方向g的负方向距角膜缘中心I大致5.6毫米(dLC2＝rC2-rL2)的位置。基于以上内容，考虑被成像为眼球图像Ie(图6(c))的光的路径的相反路径(从眼球图像Ie的像素p出来的光在角膜21上的点P处反射而往场景内的光源去的路径)。如果将眼睛摄像机11e(图4)的3×3摄像机内部矩阵设为Ke，则眼睛摄像机11e的标准化逆投影矢量Ae(p)能够表示为【数学式2】，在此，矢量p为眼球图像中的像素p的位置矢量。在角膜21上的点P处反射的光成像于眼球图像的像素p时，点P的位置矢量能够表示为P＝t1×Ae(p)。将角膜球21SPH的中心作为C，针对t1求解关系式||P-C||2＝rC2。【数学式3】在此，根据定义，由于||Ae(p)||2＝1，因此得到【数学式4】。由于对角膜表面处的反射光感兴趣，因此采用2个t1中值小的一方。由此，确定成像于眼球图像的像素p的光的、角膜21上的反射点P。根据以上，能够由下式求取表示成像于眼球图像的像素p的光的路径的场景中的点的矢量L(p)、和角膜表面上的点P处的法线矢量N(p)【数学式5】L(p)＝2(-Ae(p)·N(p))N(p)+Ae(p)(5)。通过使用上式，能够针对眼球图像Ie的至少瞳孔的区域的像素的影像确定在角膜表面进行了反射的光的光源的方向。即，能够根据上式来构成针对角膜表面反射像的球面光线图EMe(图3)。换句话说，式(5)的L()是使眼球图像Ie(图6)的角膜表面反射像迁移到针对上述非刚体反射折射成像系统的球面光线图的映射(变换函数)。运算部1(图4)作为映射决定部进行动作，通过进行相当于从上述式(2)到(5)的运算，从而决定使眼球图像Ie的角膜表面反射像向球面光线图EMe迁移的映射L()(图3)。在该运算中使用的计算算法被保存在图像位置对准程序内。(在此，矢量p是指定眼球图像Is的角膜表面反射像中的点(像素)的矢量。眼球图像Is的角膜表面反射像中的点p通过映射L()而迁移到矢量L(p)所指定的球面光线图EMe上的点。)运算部1将这样决定的映射L()保存在存储部2中。返回到图5，在步骤S4中，运算部1作为对应点提取部进行动作，如图8以及图9所示，在场景图像Is(图6(a))以及眼球图像Ie(图6(c))中检测旋转尺度(scale)不变的特征点(LPs1以及LPe1等)，算出这些特征点的每一个的局部特征量。特征点的检测以及局部特征量的计算例如按照SIFT即可。特征点的检测以及局部特征量的计算中所需的算法被保存在存储部2中保存的图像位置对准程序内。例如在使用SIFT特征量的情况下，运算部1算出的局部特征量由1.位置的信息(矢量x)、2.方位的信息(θx)、3.特征矢量(矢量F(x))、4.尺度参数(sx)这四个分量构成。因此，对于局部特征量来说，针对眼球图像Ie的第i个特征点p，能够表现为【数学式6】{pi，F(pi)，θip，sip}，针对场景图像Is的第i个特征点q，能够表现为【数学式7】{qi，F(qi)，θiq，siq}。运算部1将检测到的特征点的位置以及局部特征量保存在存储部2中。接下来，运算部1继续作为对应点提取部进行动作，基于按照SIFT等检测到的特征点以及计算出的局部特征量，进行场景图像Is中的特征点(LPs1等)与眼球图像Ie中的特征点(LPs1等)的对应点匹配(CP1等)。图8例示第1个初始对应点对CP1。运算部1如图9所示，进行多次对应点匹配，求取多组(M组)初始对应点对(CP1～CPM)。然后，运算部1将对应点(LPs1～LPsM以及LPe1～LPeM)的位置以及初始对应点对(CP1～CPM)的对应关系的信息保存在存储部2中。接下来，在步骤S5中，运算部1针对由步骤S4求取到的初始对应点对(CP1～CPM)的每一个，基于各初始对应点对(CP1、CP2、...CPM-1、或者CPM)的对应关系，按照下式导出使球面光线图EMs上的场景图像Is的像与球面光线图EMe上的眼球图像Ie(的角膜表面反射像)的像位置匹配的(3×3矩阵)旋转映射R【数学式8】L(p)＝RAs(q)(6)，并使用旋转映射R导出将眼球图像Ie的像素与场景图像Is的像素进行配准的变换函数(翘曲函数W)。式(6)中的矢量p以及矢量q是构成初始对应点对(CP1、CP2、...CPM-1、或者CPM)的场景图像Is以及眼球图像Ie的点(LPs1、LPs2、...、LPsM-1、或者LPsM、以及LPe1、LPe2、...、LPeM-1、或者LPeM)。此外，假设构成场景摄像机11s的光学系统和由眼睛摄像机11e以及角膜21构成的成像系统两者均处于实质上相同的光线环境。(根据该假设，眼球图像Ie与场景图像Is的配准(翘曲函数W的导出)被归结到旋转映射R的导出。)运算部1按照如下那样表现的计算算法来导出旋转映射R。根据式(1)及式(6)以及图3等可以明确，遵循由场景图像Is的第i个对应点LPsi和眼球图像Ie的第i个对应点LPei构成的初始对应点对(CPi)的对应关系的旋转映射Ri是【数学式9】，在此，【数学式10】【数学式11】【数学式12】u(θ)＝[cos(θ)sin(θ)]T(8c)。式(7)的顶部记号(“^”)表示标准化后的矢量，L’()以及As’()是将以二维表示的方位的信息变换为球面光线图中的三维的方位信息的函数。如果使用遵循第i个初始对应点对(CPi)的对应关系的旋转映射Ri，则由下式【数学式13】来确定遵循第i个初始对应点对(CPi)的对应关系的变换映射(翘曲函数Wi)。翘曲函数Wi是按照第i个初始对应点对(CPi)的对应关系将眼球图像Ie的像素相对于场景图像Is的像素进行配准的映射。运算部1使翘曲函数Wi(i：1～M)与初始对应点对(CP1～CPM)建立对应地保存在存储部2中。返回到图5，在步骤S6中，运算部1(图4)作为对应点对提取部进行动作，对M组的初始对应点对的每一个的对应关系进行评价，将由评价最高的点对构成的初始对应点对作为对应点对来提取(“RANRESAC”处理)。更具体来说，运算部1在RANRESAC处理中，以遵循上述初始对应点对之中的1组点对的对应关系的方式，在上述第1图像以及上述第2图像中确定多个次要的对应点对，并对这些次要的对应点对的对应关系进行评价，由此对上述初始对应点对的1组点对的对应关系进行评价。然后，将由评价最高的点对构成的初始对应点对作为最合适的初始对应点对来提取。即，运算部1使用在步骤S5中与初始对应点对(CPi)对应地求取到的翘曲函数Wi在眼球图像Ie以及场景图像Is中进一步求取次要的对应点对，计算与这些次要的对应点对相关的图像相关，通过对翘曲函数Wi的正确度进行评价，从而从多个(M个)翘曲函数Wi中决定最合适的翘曲函数W。图10为表示用于决定最合适的初始对应点对的处理(RANRESAC的处理)的详细情况的流程图。运算部1作为对应点对提取部进行动作，执行图10所示的处理。在步骤S61中，运算部1作为对应点对提取部进行动作，使用基于第i个对应点对CPi(图11)求取到的翘曲函数Wi来生成次要的对应点对。具体来说，运算部1检测眼球图像Ie的角膜的区域，在角膜的区域内随机地设定K个点SLPei(图12)。然后，运算部1使用翘曲函数Wi提取与角膜的区域内的K个点SLPei的每一个对应的场景图像Is中的点SLPsi(图13)，从而提取K组次要的对应点对。这些次要的对应点对也能够表现为【数学式14】，在此，矢量pj*是指定在眼球图像Ie的角膜的区域内随机选出的点的位置矢量。接下来，在步骤S62中，运算部1作为对应点对提取部进行动作，针对上述的次要的对应点对的群(按照翘曲函数Wi(i为提供的整数(i＝1～M))求取的次要的对应点对群)，将局部的纹理的相关性以及方向的类似度作为尺度来评价类似度。具体来说，运算部1使用以下的评价函数来评价类似度。【数学式15】上式的右边第1项表示纹理的类似度，右边第2项表示方向的类似度。同一项的σt、σo、α是对纹理的相关性和方向的类似度的权重进行定义的正常数。(·，·)为矢量的内积。qj*表示W(pj*)。运算部1针对M组初始对应点对的每一个的次要的对应点对的群，使用式(10)进行评价(步骤S63)。然后，运算部1在步骤S64中作为对应点对提取部进行动作，确定评价为类似度最高的次要的对应点对的群，即，确定由下式【数学式16】确定的第i’个初始对应点对(CPi’)及其翘曲函数Wi’。此外，适当地设定构成次要的对应点对的各点处的局部特征的尺度参数很重要。理想的情况下，只要调整为尺度参数在球面光线图中占据相同大小(空间体积)即可。在此，按照下式【数学式17】来求取各图像中的点(p、q)处的尺度参数的比率。在此，sip是用户设定的角膜表面反射像中的尺度参数，siq是对应的场景图像中的点q处的尺度参数。返回到图5，在步骤S7中，运算部1作为配准部进行动作，使用由步骤S6决定的翘曲函数Wi’，使眼球图像Ie(的角膜表面反射像)相对于场景图像Is位置对准(配准、对齐)，生成位置对准后的眼球图像的数据。图14(a)为如上那样求取到的位置对准后的眼球图像(的角膜表面反射像)IeR。在图5的步骤S8中，运算部1作为配准部进行动作，进行由步骤S6决定的翘曲函数Wi’的微调整(精密配准：fineregistration)。实施了微调整的眼球图像的数据被保存在存储部2(图4)中。在本步骤中，运算部1使角膜球中心C的位置(图7)即距离dLC的长度以及投影面IP中的椭圆的旋转角φ发生微小变动并反复进行遵照式(10)的评价，使评价值收敛。在收敛中采用内点法。图14(c)为使精密配准前的图像IeR与场景图像Is叠加后得到的图像。图14(d)为使精密配准后的图像IeR与场景图像Is叠加后得到的图像。如果观察图14(c)以及(d)则可知，配准的精度通过精密配准处理进一步得到提高。如上那样，图像位置对准装置10(图4)能够基于仅一组对应点对(由步骤S6决定的最合适的初始对应点对)决定变换映射(翘曲函数Wi’())。通过这样，能够稳健地执行眼球图像Ie相对于场景图像Is的位置对准(配准)。此外，图像位置对准装置10(图4)进行RANRESAC处理，能适当地决定上述仅一组对应点对。即，本图像位置对准装置通过RANRESAC处理来适当地决定一组初始对应点对，能正确地执行配准。在该含意下，本图像位置对准装置执行的图像位置对准是稳健的。即，在难以提取多组正确的初始对应点对的情况下，在本图像位置对准装置只要能决定仅一组初始对应点对就能正确地执行配准这样的含意下，本手法也是稳健的。此外，在上述实施方式中，示出了使眼球图像Ie相对于场景图像Is位置对准的例子，但当然也可以相反地使场景图像Is相对于眼球图像Ie位置对准。此外，能由本实施方式的图像位置对准装置10进行位置对准的图像并不限定于眼球图像Ie和场景图像Is的组合。此外，在上述实施方式中，图像位置对准装置10从与自身连接的摄像装置(眼睛摄像机11e以及场景摄像机11s(图4))取得要进行位置对准的图像的数据。但是，图像位置对准装置10能够从这样的摄像装置以外的装置(图像数据库等)取得1个或者2个以上的图像的数据，针对该图像执行位置对准。例如，图像位置对准装置10也可以经由网络从GoogleStreetView这样的开放式数据库取得图像的数据，在该图像与眼睛摄像机11e拍摄到的眼球图像Ie(图6)之间进行位置对准。或者，图像位置对准装置10也可以从1个或者多个外部装置(例如，图像的数据库)、光盘、闪速存储器这样的记录介质取得多个图像的数据，在该多个图像之间进行位置对准。这些情况下，图像位置对准装置10也只要适当地在图像位置对准处理之前预先准备使所取得的各图像向球面光线图迁移的映射即可。该准备的方法对本领域技术人员来说是显而易见的。此外，图像位置对准装置10将图像位置对准程序保存在存储部2(图4)中，该程序包含有上面说明的各量的计算所需的计算算法。(但是，当然计算算法的一部分或者全部也可以与图像位置对准程序不同地保存在存储部2中。)5.实验结果示出使用了本实施方式的图像位置对准装置10(图4)的图像位置对准实验的结果。在本实验中，为了同时对角膜表面反射像(眼球图像Ie)以及场景图像Is稳定地进行拍摄，作为眼睛摄像机11e(图4)以及场景摄像机11s(图4)，构成了由2台小型板式摄像机(boardcamera)(IDSUI-1241LE-C-HQ，1/1.8″CMOS，1280x1024pixel)以及头戴式系统构成的系统。在该系统中，眼睛摄像机11e(f＝12mm，(H，V)＝(33.3，24.8)deg)位于从眼球20离开70～110毫米程度的距离，以约400～450像素程度的大小对瞳孔直径进行拍摄。在低照度环境下的拍摄时，对眼睛摄像机11e的增益以及曝光参数进行调整。眼睛摄像机11e以及场景摄像机11s在与图像位置对准装置10(个人计算机：PC)连接的状态下，以10fps来取得图像。针对4个受试者中的每一个人在屋外以及屋内的环境下进行各3处数据的取得。在取得后，将眼睑闭合的帧手动去除，之后，每次10帧地进行瞳孔轮廓提取。在PC中安装基于本实施方式的图像位置对准方法(1-pointRANRESAC)，并且为了比较而安装2-pointRANSAC以及2-pointRANRESAC，并进行实验。在2-pointRANSAC中，从初始对应点对中随机地选择2组初始对应点对，根据该2组对应点对推定翘曲函数。此后，使用剩余的初始对应点对，对多少组正确地完成了变换(配准)进行计数。将该过程反复进行500次，将其中得到的解(翘曲函数)之中最优的解决定为翘曲函数。在2-pointRANRESAC中，与2-pointRANSAC同样地推定翘曲函数。此后，按照RANRESAC法进行评价。与2-pointRANSAC同样地将该过程反复进行500次，选择出最优的解。在所有的实验中，使用在MATLAB2013b的ComputerVisionSystemToolbox上安装的SURF局部特征，并使用PC(IntelCorei73.2GHz，16GBRAM)。此外，对参数设定(σt，σo，α，sp)＝(0.2，0.2，0.3，0.5)。本实施方式的方法(1-pointRANRESAC)以及2-pointRANRESAC中的随机采样的采样点数(点对的组数)K设为200。表1～表7示出位置对准的精度(成功率)。位置对准所需要的时间为每1帧37.0秒(实施方式的图像位置对准方法(1-pointRANRESAC))、14.47秒(2-pointRANSAC)、180.47秒(2-pointRANRESAC)。【表1】[表1]屋外环境下的实验结果1【表2】[表2]屋外环境下的实验结果2【表3】[表3]屋外环境下的实验结果3【表4】[表4]屋内环境下的实验结果1【表5】[表5]屋外环境下的实验结果2【表6】[表6]屋外环境下的实验结果3【表7】[表7]实验结果的总结在实施方式的图像位置对准方法中，在屋外场景下为85.5％(表1～表3)的成功率，在屋内场景(表4～表6)下为86.3％的成功率，大幅超过2-pointRANSAC以及2-pointRANRESAC。2-pointRANRESAC的成功率不如1-pointRANRESAC(本实施方式)，但与进行相同的旋转矩阵推定的2-pointRANSAC相比，在成功率的点上超出。由此，能够确认到RANRESAC法关于噪声状况是稳健的。6.应用例本实施方式的图像位置对准装置以及图像位置对准方法能进行眼球图像Ie的角膜表面反射像与场景图像Is的匹配。以下，介绍使用本实施方式实现的应用用途的例子。6.1.注视点的推定说明使用了本实施方式的图像位置对准装置的注视点推定。通过该注视点的推定，例如提取用户正在用眼睛看的风景的图像，通过参照Google街景等的图像，能够确定用户正在看的物体、场所。该技术例如能应用到AR(AugmentedReality)系统。在使用了本实施方式的图像位置对准装置的注视点推定中，与现有的例子不同，不需要眼睛摄像机与场景摄像机的相对的位置关系的校准。此外，也不需要将眼睛摄像机与场景摄像机的相对的位置关系固定化。首先，运算部1作为视点提取部进行动作，通过采用公知的手法从眼球图像检测眼球的姿势从而检测受试者的注视反射点GRP(图15)。所谓这里的注视反射点GRP是指从与受试者的眼球的光轴大致一致的视线的方向到来的光在角膜表面进行反射的点。(关于公知的手法例如参照国际公开小册子WO2014/021169A1。)然后，运算部1导出将眼球图像Ie配准到场景图像Is的翘曲函数W。而且最后，运算部1求取场景图像Is中的与眼球图像Ie的注视反射点GRP相对应的点GRP’(图15)。场景图像Is中的点GRP’相当于受试者正在注视的景象(注视点)。这样，通过本实施方式的图像位置对准装置，能够从场景图像Is中提取受试者正在注视的景象(注视点)。即，如以上那样，本实施方式的图像位置对准装置也作为注视点提取系统来进行动作。6.1.1对显示装置的应用对使用了作为上述注视点提取系统进行动作的图像位置对准装置的显示装置进行说明。该技术能应用到例如AR(AugmentedReality)系统。在该显示装置(AR系统)中，与现有的例子不同，不需要眼睛摄像机与场景摄像机的相对的位置关系的校准。此外，也不需要将眼睛摄像机与场景摄像机的相对的位置关系固定化。该显示装置与本实施方式的图像位置对准装置同样地具有图4所示的结构。输出部4是显示图像的监视显示器。运算部1使场景图像Is显示于输出部4，并且将规定的图像重叠在如上述那样提取出的场景图像Is中的场景图像中的任意的点的位置处来显示。由此，能够进行基于AR系统的重叠显示。6.2.周边视野的推定进一步地，通过本实施方式的图像位置对准装置以及图像位置对准方法，也能够将受试者的周边视野复原为场景图像Is。首先，运算部1作为视野推定部进行动作，使用眼球图像Ie来确定眼球的姿势(光轴)，并确定从相对于眼球的光轴构成规定的角度(例如10度、20度、...90度)的方向到来的光在角膜表面中进行了反射的点(图16)。这些点在眼球图像Ie中以描绘曲线的方式分布。接下来，运算部1使用由本实施方式决定的翘曲函数W从场景图像Is内检测与这些点相对应的点。所检测到的点群形成受试者的周边视野(将注视点作为中心以规定的角度扩展的区域)的区域。这样，通过本实施方式的图像位置对准装置，能够从场景图像Is中提取受试者的周边视野的区域。即，图像位置对准装置能在场景图像Is中推定受试者的周边视野的区域，即，图像位置对准装置也能作为周边视野的推定系统进行动作。6.3.对虹膜识别的应用在已有的虹膜识别的方法中，为了抑制角膜表面处的镜面反射而使用红外线照明来取得眼球的图像。与此相对，如果使用本实施方式的图像位置对准装置，则使用场景图像就能够去除眼球图像中包含的镜面反射(角膜表面反射像)。首先，本实施方式的图像位置对准装置的运算部1导出眼球图像Ie(图17)与场景图像Is(图17)之间的翘曲函数W。运算部1使用该翘曲函数W，使场景图像Is相对于眼球图像Ie位置对准。运算部1作为虹膜图像生成部进行动作，通过从眼球图像Ie中的与场景图像Is相对应的部分减去位置对准后的场景图像Is，从而将眼球图像Is的角膜表面反射像去除，由此生成虹膜图像。图17的图像Iit是如上那样有效地将角膜的镜面反射去除后的眼球图像，即虹膜图像。这样，根据本实施方式的图像位置对准装置，能够有效地去除眼球图像Is中包含的角膜的镜面反射，能够得到无噪声的虹膜图像Iit。由此，不必为了抑制角膜表面处的镜面反射而在照明中使用红外光。此后，运算部1作为识别部进行动作，采用公知的方法对虹膜图像进行虹膜识别处理。这样，本实施方式的图像位置对准装置，不仅是红外线照明，而且在使用可见光区域的照明取得了眼球图像的情况下，也能有效地去除角膜的镜面反射，能够得到高精度的虹膜图像。通过使用这样得到的虹膜图像，从而能够使虹膜识别的精度提高。即，本实施方式的图像位置对准装置也可以作为虹膜识别系统进行动作。根据以上的点，本实施方式也公开了以下的系统以及方法。(1)一种注视点提取系统，具有：取得部，取得作为对受试者的眼球进行拍摄而得到的图像的第1图像、和作为对受试者的视线方向的被拍摄体进行拍摄而得到的图像的第2图像；映射决定部，决定作为使上述第1图像向球面光线图迁移的映射的第1映射、和作为使上述第2图像向球面光线图迁移的映射的第2映射；对应点对提取部，通过检测上述第1图像中的一点、和与该一点相对应的上述第2图像中的一点来提取对应点对；旋转映射导出部，基于构成上述对应点对的上述第1图像中的一点的位置以及局部特征量、和构成上述对应点对的上述第2图像中的一点的位置以及局部特征量导出使上述球面光线图中的上述第1图像的像与上述球面光线图中的上述第2图像的像位置匹配的旋转映射；和视点提取部，通过从上述第1图像检测眼球的姿势从而在上述第1图像上检测注视反射点，基于上述第1映射、上述旋转映射、和上述第2映射，求取上述第2图像中的与上述注视反射点相对应的点，作为受试者正在注视的点。(2)具备(1)的注视点提取系统的显示系统(AR系统)。(3)一种周边视野推定系统，具有：取得部，取得作为对受试者的眼球进行拍摄而得到的图像的第1图像、和作为对受试者的视线方向的被拍摄体进行拍摄而得到的图像的第2图像；映射决定部，决定作为使上述第1图像向球面光线图迁移的映射的第1映射、和作为使上述第2图像向球面光线图迁移的映射的第2映射；对应点对提取部，通过检测上述第1图像中的一点、和与该一点相对应的上述第2图像中的一点来提取对应点对；旋转映射导出部，基于构成上述对应点对的上述第1图像中的一点的位置以及局部特征量、和构成上述对应点对的上述第2图像中的一点的位置以及局部特征量，导出使上述球面光线图中的上述第1图像的像与上述球面光线图中的上述第2图像的像位置匹配的旋转映射；和视野推定部，根据上述第1图像确定眼球的光轴，并确定从相对于上述光轴构成规定的角度的方向到来的光在角膜表面进行反射的点，基于上述第1映射、上述旋转映射、和上述第2映射，从上述第2图像中检测进行上述确定而确定出的反射点群，作为形成受试者的周边视野的区域的点群。(4)一种虹膜识别系统，具有：取得部，取得作为对受试者的视线方向的被拍摄体进行拍摄而得到的图像的第1图像、和作为对受试者的眼球进行拍摄而得到的图像的第2图像；存储部，保存上述第1图像的数据以及上述第2图像的数据；映射决定部，决定作为使上述第1图像向球面光线图迁移的映射的第1映射、和作为使上述第2图像向球面光线图迁移的映射的第2映射；对应点对提取部，通过检测上述第1图像中的一点、和与该一点相对应的上述第2图像中的一点来提取对应点对；旋转映射导出部，基于构成上述对应点对的上述第1图像中的一点的位置以及局部特征量、和构成上述对应点对的上述第2图像中的一点的位置以及局部特征量，导出使上述球面光线图中的上述第1图像的像与上述球面光线图中的上述第2图像的像位置匹配的旋转映射；配准部，基于上述第1映射、上述旋转映射、和上述第2映射，使上述存储部中保存的上述第1图像的数据相对于上述存储部中保存的上述第2图像的数据位置对准并生成相对于上述第2图像位置对准后的上述第1图像的数据；虹膜图像生成部，从上述第2图像减去位置对准后的上述第1图像来生成虹膜图像；和识别部，使用上述虹膜图像进行虹膜识别。(5)一种注视点提取方法，具有以下步骤：取得作为对受试者的眼球进行拍摄而得到的图像的第1图像、和作为对受试者的视线方向的被拍摄体进行拍摄而得到的图像的第2图像；运算部决定作为使上述第1图像向球面光线图迁移的映射的第1映射、和作为使上述第2图像向球面光线图迁移的映射的第2映射；运算部通过检测上述第1图像中的一点、和与该一点相对应的上述第2图像中的一点来提取对应点对；运算部基于构成上述对应点对的上述第1图像中的一点的位置以及局部特征量、和构成上述对应点对的上述第2图像中的一点的位置以及局部特征量，导出使上述球面光线图中的上述第1图像的像与上述球面光线图中的上述第2图像的像位置匹配的旋转映射；运算部通过从上述第1图像检测眼球的姿势来在上述第1图像上检测注视反射点；和运算部基于上述第1映射、上述旋转映射、和上述第2映射，求取上述第2图像中的与上述注视反射点相对应的点，作为受试者正在注视的点。(6)一种周边视野推定方法，具有以下步骤：运算部取得作为对受试者的眼球进行拍摄而得到的图像的第1图像、和作为对受试者的视线方向的被拍摄体进行拍摄而得到的图像的第2图像；运算部决定作为使上述第1图像向球面光线图迁移的映射的第1映射、和作为使上述第2图像向球面光线图迁移的映射的第2映射；运算部通过检测上述第1图像中的一点、和与该一点相对应的上述第2图像中的一点来提取对应点对；运算部基于构成上述对应点对的上述第1图像中的一点的位置以及局部特征量、和构成上述对应点对的上述第2图像中的一点的位置以及局部特征量，导出使上述球面光线图中的上述第1图像的像与上述球面光线图中的上述第2图像的像位置匹配的旋转映射；和运算部根据上述第1图像确定眼球的光轴，并确定从相对于上述光轴构成规定的角度的方向到来的光在角膜表面进行反射的点，基于上述第1映射、上述旋转映射、和上述第2映射，从上述第2图像中检测进行上述确定而确定出的反射点群，作为形成受试者的周边视野的区域的点群。(7)一种虹膜识别方法，具有以下步骤：取得作为对受试者的视线方向的被拍摄体进行拍摄而得到的图像的第1图像、和作为对受试者的眼球进行拍摄而得到的图像的第2图像；保存上述第1图像的数据以及上述第2图像的数据；运算部决定作为使上述第1图像向球面光线图迁移的映射的第1映射、和作为使上述第2图像向球面光线图迁移的映射的第2映射；运算部通过检测上述第1图像中的一点、和与该一点相对应的上述第2图像中的一点来提取对应点对；运算部基于构成上述对应点对的上述第1图像中的一点的位置以及局部特征量、和构成上述对应点对的上述第2图像中的一点的位置以及局部特征量，导出使上述球面光线图中的上述第1图像的像与上述球面光线图中的上述第2图像的像位置匹配的旋转映射；运算部基于上述第1映射、上述旋转映射、和上述第2映射，使上述存储部中保存的上述第1图像的数据相对于上述存储部中保存的上述第2图像的数据位置对准并生成相对于上述第2图像位置对准后的上述第1图像的数据；运算部从上述第2图像减去位置对准后的上述第1图像来生成虹膜图像；和运算部使用上述虹膜图像进行虹膜识别。以上，与特定的实施方式相关联地对本发明进行了说明，但对于本领域技术人员来说可以明确其他很多变更、修正、置换、删除、应用。正因为这个原因，本发明并不限定于在此的特定的公开，而仅由添附的权利要求书来限定。当前第1页1 2 3 当前第1页1 2 3