专利名称：瞳孔检测装置和虹膜认证装置的制作方法
技术领域：
本发明涉及用于个人认证等的虹膜认证装置，特别是涉及从包括眼睛的图像(以下，称为“眼睛图像”)中检测出瞳孔的位置的瞳孔检测装置。
背景技术：
一直以来，提出有从眼睛图像中检测出瞳孔的位置的各种方法。例如，已知有将眼睛图像的图像数据(以下，称为“眼睛图像数据”)2值化(黑白化)、并检测低亮度区域中的圆形区域的方法。此外，已知有对于半径为r而中心坐标为(x0，y0)的圆的弧计算图像强度I(x，y)的环圆周积分、并计算随着半径r增加而与r有关的该量的部分的导函数的方法等。上述以往的结构，例如已在特表平8-504979号公报中公开。
为了使用这些方法精度良好地检测瞳孔，需要高速地处理庞大的图像数据，即使是使用处理能力高的大CPU、大容量存储器等，在现有的状况下，也可能难以实时地处理眼睛图像的图像数据。此外，如果将CPU的处理量减少到能够实时地处理图像数据的程度，则可能会出现检测精度降低等问题。
发明内容
本发明提供能够高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置。
本发明的瞳孔检测装置，具备图像数据提取部、环圆周积分部和瞳孔位置检测部。图像数据提取部，其将多个同心圆状的圆分别作为积分圆设定在眼睛图像上，并提取位于上述积分圆的圆周上的眼睛图像的图像数据。环圆周积分部，其沿着积分圆的每一者的圆周对图像数据提取部所提取的图像数据进行积分。瞳孔位置检测部，其检测环圆周积分部的积分值相对于积分圆的半径阶跃状地变化的积分圆的中心坐标作为瞳孔位置坐标。此外，同心圆状的多个积分圆以半径越大就变得越稀疏的方式设定。
图1是使用本发明实施例的瞳孔检测装置的虹膜认证装置的电路框图；图2A是示出包括瞳孔的图像的一个例子的图示；图2B是示出对于积分圆的半径的积分值的图示；图2C是示出用积分圆的半径对积分值进行微分后的值的图示；图2D是示出在眼睛图像上移动的积分圆的图示；图3A是示出积分圆位于虹膜区域的情况下的眼睛图像和此时的亮度的一个例子的图示；图3B是示出积分圆位于眼镜框的情况下的眼睛图像和此时的亮度的一个例子的图示；图4是同一瞳孔检测装置的电路框图；图5是同一瞳孔检测装置的图像数据提取部的电路框图；图6是用于说明同一瞳孔检测装置的图像数据提取部的动作的图示；图7是用于说明同一瞳孔检测装置的图像数据提取部的动作的图示；图8是概括地示出从同一瞳孔检测装置的图像数据提取部应当提取出的图像数据的配置的图示；图9是同一瞳孔检测装置的瞳孔位置检测部的电路框图；图10是用于说明同一瞳孔检测装置的瞳孔选择部的动作的图示；图11是示出同一瞳孔检测装置的瞳孔选择部的动作的流程图；图12A是示出对于积分圆的半径的积分值及其差值的图示；图12B是示出对于积分圆的半径的积分值及其差值的图示；以及图13是示出同一瞳孔检测装置的眼睛图像1帧的动作的流程图。
符号说明120 拍摄部130 照明部140 认证处理部200 瞳孔检测装置220 图像数据提取部222 部分帧存储器2241～224L行存储器2251～225L存储器控制部226 多路转换器2281～228n选择器229 选择器控制部230 环圆周积分部240 亮度差计算部250 变化圆检测部260 指针部270 瞳孔位置检测部280 瞳孔候补保持部290 瞳孔选择部具体实施方式
本发明的瞳孔检测装置提供可高速且精度良好地进行瞳孔位置的检测的瞳孔检测装置。
本发明的瞳孔检测装置，具备图像数据提取部、环圆周积分部和瞳孔位置检测部。图像数据提取部将同心圆状的多个圆分别作为积分圆设定在眼睛图像上，并提取位于积分圆的圆周上的眼睛图像的图像数据。环圆周积分部，沿着积分圆中的每一者的圆周对图像数据提取部所提取的图像数据进行积分。瞳孔位置检测部，检测环圆周积分部的积分值相对于积分圆的半径阶梯跃状地变化的积分圆的中心坐标，作为瞳孔位置坐标。此外，同心圆状的多个积分圆以半径越大就变得越稀疏的方式来设定。采用该结构，能够高速且精度良好地进行瞳孔位置的检测。
此外，本发明的瞳孔检测装置，也可以以同心圆状的多个积分圆的半径的增加量相对于该积分圆的半径按指数函数增大的方式来设定。采用该结构，也能够高速且精度良好地进行瞳孔位置的检测。
此外，优选地，本发明的瞳孔检测装置的图像数据提取部同时提取与各个积分圆对应的多个图像数据。采用该结构，可以并列地进行对各个积分圆的运算，可以进行高速的瞳孔检测。
此外，本发明的虹膜认证装置具备本发明的瞳孔检测装置。采用该结构，可以提供能够精度良好且高速地进行瞳孔位置的检测的虹膜认证装置。
以下，利用附图对使用本发明实施例的瞳孔检测装置的虹膜认证装置进行说明。
(实施例)图1是使用本发明实施例的瞳孔检测装置200的虹膜认证装置的电路框图。在图1中，除了瞳孔检测装置200之外，还示出构成虹膜认证装置100所需要的拍摄部120、照明部130和认证处理部140。
本实施例的虹膜认证装置100，具备有拍摄部120、瞳孔检测装置200、认证处理部140和照明部130。拍摄部120对使用者的眼睛图像进行拍摄。瞳孔检测装置200从眼睛图像中检测出瞳孔位置及其半径。认证处理部140将从眼睛图像得到的虹膜代码与已经登记的虹膜代码进行比较从而进行个人认证。照明部130照射适于眼睛图像获取的光量的近红外线，并对使用者的眼睛及其周边部分进行照明。
拍摄部120，具有引导反射镜121、可见光截止滤光器122、透镜123、拍摄元件124和前处理部125。在本实施例中，通过使用固定焦点透镜作为透镜123，来实现光学系统的小型、轻量化和低成本化。引导反射镜121通过使用者映入自己的眼睛而将眼睛向正确的拍摄位置引导。然后，使用者的眼睛通过透镜123、可见光截止滤光器122而被拍摄元件124拍摄。前处理部125，从拍摄元件124的输出信号获取图像数据成分，在作为增益调整等的图像数据进行了必要的处理的基础上，作为使用者的眼睛图像数据进行输出。
瞳孔检测装置200，具有图像数据提取部220、环圆周积分部230、亮度差计算部240、变化圆检测部250、指针部260和瞳孔位置检测部270。瞳孔检测装置200从眼睛图像中检测出瞳孔位置及其半径，向认证处理部140进行输出。对于瞳孔检测装置200的详细情况在后面进行描述。
认证处理部140，根据瞳孔检测装置200检测出的瞳孔中心坐标和瞳孔半径，从眼睛图像数据中分出虹膜图像。然后，通过将虹膜图像变换成表示虹膜的模样的固有的虹膜代码并与已登记的虹膜代码进行比较，来执行认证动作。
接着，对瞳孔检测装置200的瞳孔检测方法进行说明。图2A～2D是用来说明本发明实施例的瞳孔检测装置的瞳孔检测方法的图。图2A示出了包括瞳孔的图像的一个例子。图2B示出了对于积分圆的半径的积分值。图2C示出了用积分圆的半径对积分值进行微分后的值。图2D示出了在眼睛图像上移动的积分圆。
包括瞳孔的图像，如图2A所示，存在表示瞳孔的圆盘状的低亮度区域和在其外侧的表示虹膜的圆环状的中亮度区域。因此，当以瞳孔中心的位置坐标(Xo，Yo)为中心，沿着半径R的积分圆C的圆周对图像数据进行环圆周积分时，如图2B所示，形成积分值I在瞳孔半径Ro的位置阶跃状地变化。因此，如图2C所示，通过求出当用半径R对积分值I进行微分后的值dI/dR超过阈值(以下称为“差阈值”)ΔIth时的积分圆的半径，就能够知道瞳孔半径Ro。
瞳孔检测装置200，根据以上的思考方法，检测瞳孔的位置坐标(Xo，Yo)和瞳孔半径Ro。首先，如图2D所示，在眼睛图像上假定中心坐标相等而半径不同的n个积分圆C1～Cn，并对于各个积分圆Ci(i＝1～n)对位于其圆周上的图像数据进行积分。实际上，计算位于各个积分圆Ci的圆周上的像素的图像数据的平均值，或者，从位于圆周上的像素中选择一定数量(m个)的像素并对其图像数据进行加法运算。
在本实施例中，设同心圆状的积分圆的数量n为20，从位于各个积分圆Ci的圆周上的像素中选择m＝8个像素，对其图像数据进行加法运算而作为环圆周积分的积分值I。当积分圆C1～Cn的中心与瞳孔中心一致时，如上所述，则对于各个积分圆Ci的积分值Ii阶跃状地进行变化。因此，当求积分值Ii对于半径R的差值ΔIi时，在与瞳孔半径Ro相等时，表示出大的极大值ΔI。
另一方面，当积分圆C1～Cn的中心与瞳孔中心不一致时，由于积分值Ii缓慢地变化，所以其差值ΔIi不表示大的值。因此，通过求出差值ΔIi表示比差阈值ΔIth大的值的积分圆Ci，就能够求出瞳孔的位置及其半径。
然后，使积分圆C1～Cn向眼睛图像上的各个位置移动，反复进行上述的动作。这样，通过求出差值ΔIi表示大的值时的积分圆Ci的中心坐标(X，Y)和此时的半径R，就能够求出瞳孔的位置坐标(Xo，Yo)和瞳孔半径Ro。
然而，由于图像的原因存在偶发性地差值ΔIi表示出大的值的可能性。当减小积分圆的数量n或在各个积分圆上选择的像素的数量m时，能够减少计算量，从而能够进行高速的瞳孔检测。相反，偶发性地差值ΔIi表示出大的值的可能性增高，而瞳孔检测精度降低。为此，在瞳孔检测装置200中设置亮度差计算部240，对于积分圆Ci中的每一者求出圆周上的亮度的最大值与最小值之差Bi。通过仅仅在该差Bi小于指定的阈值(以下称为“亮度差阈值”)Bth的情况下，使积分值Ii或其差值ΔIi有效，来防止瞳孔检测精度的降低。
图3A和图3B是用于说明亮度差计算部240的动作的图。图3A是示出积分圆位于虹膜区域时的眼睛图像及此时的亮度的一例的图。图3B是示出积分圆位于眼镜框上时的眼睛图像及此时的亮度的一例的图。当积分圆C1～Cn的中心与瞳孔中心一致时，由于各个积分圆Ci位于瞳孔区域内部、虹膜区域内部等亮度比较均匀的区域，所以圆周上的图像数据的亮度偏差小。在图3A中示出位于作为圆环状的中亮度区域的虹膜区域的积分圆。在该情况下，圆周上的亮度的最大值与最小值之差Bi小，成为小于等于亮度差阈值Bth。
但是，例如图3B所示，当积分圆C1～Cn的中心位于黑的眼镜框的一部分上时，由于圆周上的亮度在眼镜框上低而在皮肤的部分上变高，所以亮度的最大值与最小值之差Bi就变大。这样，求出各个积分圆Ci的圆周上的亮度的最大值与最小值之差Bi，并且仅仅在该差Bi比亮度差阈值Bth小的情况下，使积分值Ii或其差值ΔIi有效。由此，能够防止将眼镜框等误判定为瞳孔等的误判定，从而能够防止瞳孔检测精度的降低。
另外，优选地作为亮度差阈值Bth设定得比圆周上的亮度数据的所预料的偏差稍大。就是说，设定为比虹膜的平均亮度与瞳孔的平均亮度之差大，而比皮肤的平均亮度与瞳孔的平均亮度之差小即可。例如，在256灰度级的图像信号的情况下，由于瞳孔的平均亮度为40灰度级左右，虹膜的平均亮度为100灰度级左右，而皮肤的平均亮度为200灰度级左右，所以作为亮度差阈值Bth设定在60～160之间即可。
此外，积分圆位于瞳孔上时的积分值I大致为40×8＝320，而积分圆位于虹膜上时的积分值I大致为100×8＝800。所以，作为差阈值ΔIth，设定为其差480的一半左右，即设定为240左右即可。
图4是本发明的实施例的瞳孔检测装置200的电路框图。瞳孔检测装置200，具备有图像数据提取部220、环圆周积分部230、亮度差计算部240、变化圆检测部250、指针部260和瞳孔位置检测部270。图像数据提取部220，将积分圆C1～Cn设定到眼睛图像上，并提取各个积分圆Ci的圆周上的图像数据。环圆周积分部230，对于每个积分圆Ci对所提取的图像数据进行环圆周积分。亮度差计算部240对各个积分圆中的每一者求出图像数据的最大值与最小值之差Bi。变化圆检测部250求出积分值Ii对于半径Ri的差值ΔIi，并输出差值的最大值ΔI大于差阈值ΔIth时的差值ΔIi和积分圆的半径R。指针部260指示积分圆C1～Cn的中心坐标(X，Y)。瞳孔位置检测部270，由瞳孔候补保持部280和瞳孔选择部290构成。
瞳孔候补保持部280，在变化圆检测部250输出比差阈值ΔIth大的差值ΔIi时，将其看作检测瞳孔候补的结果，并存储多个瞳孔候补的位置坐标(X，Y)和半径R。瞳孔选择部290从多个瞳孔候补中选择出1个瞳孔。这样，瞳孔位置检测部270就从眼睛图像中检测出瞳孔的位置坐标和瞳孔的半径。
图5是图像数据提取部220的电路框图。图像数据提取部220由部分帧存储器222和多路转换器226构成。多路转换器226将从部分帧存储器222读出的图像数据汇总并输出到各个积分圆Ci中的每一者。部分帧存储器222是将多个可随机存取的行存储器2241～224L连接而构成的。在本实施例中，使用L＝101个行存储器2241～224101来构成部分帧存储器222。
存储器控制部2251～225L，控制对应的行存储器2241～224L的读出、写入。多路转换器226由与n个积分圆C1～Cn对应的n个选择器2281～228n和选择器控制部229构成。选择器228i选择并输出从部分帧存储器222输出的图像数据之中位于对应的积分圆Ci的圆周上的图像数据。图像数据提取部220，对于每一个积分圆汇总而同时提取并输出所读出的图像数据。
图6和图7是用于说明图像数据提取部220的动作的图。以下，为了简单起见，假定7条行存储器2241～2247构成部分帧存储器222，且在其上设定3个同心圆状的积分圆C1～C3。然后，作为分别从位于各个积分圆C1～C3的圆周上的像素中各选4个像素而提取其像素数据的情况进行说明。图6示出了设定在部分帧存储器222上的3个积分圆C1～C3和应当从各个积分圆上提取的12个图像数据Di，j。在这里，图像数据Di，j的i是用于识别行存储器2241～2247的下标，而j是用于识别积分圆C1～C3的下标。
图7是示出从前处理部125传送的图像数据Sig和从行存储器2241～2247输出的图像数据的时序图。在这里，假定在从前处理部125传送1个图像数据的期间Tsig期间，设置行存储器2241～2247总共进行6次读出写入动作的期间T1～T6。
在最初的期间T1，各个行存储器224i向下一行存储器224i+1输出已写入的最久的图像数据。在下一期间T2，则向已经空出的数据区写入从前一行存储器224i-1输出的图像数据。这时，第一个行存储器2241向空出的区域写入从前处理部125输出的图像数据。如上所述，最初的2个期间T1、T2用于使行存储器2241～2247作为部分帧存储器222发挥作用。
接下来的4个期间T3～T6用于提取图像数据Di，j。行存储器2241输出与积分圆C1对应的1个图像数据D1，1。行存储器2242输出1个图像数据D2，2。行存储器2243输出2个图像数据D3，2和D3，3。然后，行存储器2244输出图像数据D4，1、D4，3每者各2个，合计输出4个数据。
行存储器2245输出2个图像数据D5，2、D5，3。行存储器2246输出1个图像数据D6，2。行存储器2247输出1个图像数据D7，1。在图像数据的输出中，各个行存储器在哪一定时输出哪一图像数据可某种程度自由地来设定。但是，以不在同一定时输出与同一积分圆对应的图像数据的方式来确定。
下面，作为各个行存储器按照图6所示的顺序输出各自的图像数据的情况，对多路转换器226的动作进行说明。与积分圆C1对应的选择器2281，在期间T3，选择行存储器2244的输出，输出图像数据D4，1。在期间T4，也选择行存储器2244的输出，输出另一图像数据D4，1。在期间T5，选择行存储器2241的输出，输出图像数据D1，1。在期间T6，选择行存储器2247的输出，输出图像数据D7，1。
这样，能够从选择器2281恰好输出积分圆C1的圆周上的图像数据D4，1、D4，1、D1，1、D7，1。选择器2282，在期间T3选择行存储器2243的输出。在期间T4选择行存储器2245的输出。在期间T5选择行存储器2242的输出。在期间T6选择行存储器2246的输出。由此，输出积分圆C2的圆周上的图像数据D3，2、D5，2、D2，2、D6，2。
选择器2283也同样，在期间T3选择行存储器2245的输出。在期间T4选择行存储器2243的输出。在期间T5和T6选择行存储器2244的输出。这样，输出积分圆C3的圆周上的图像数据D5，3、D3，3、D4，3、D4，3。这样，多路转换器226对每一个积分圆汇总并输出从部分帧存储器222读出的图像数据。
然后，每当向部分帧存储器222每1个像素地输入图像数据Sig时，存储器控制部2251～225L，以使应当输出的图像数据Di，j移动一个像素的方式来控制行存储器2241～224L的地址。其结果是，在向部分帧存储器222输入1帧的图像数据期间，在眼睛图像上，积分圆C1～Cn扫描眼睛图像全体。这时的积分圆的中心坐标(X，Y)由X计数器262和Y计数器264的输出表示。
在以上的说明中，虽然说明的是行存储器的数量L＝7、积分圆的数量n＝3、从1个积分圆的圆周上应当提取出的图像数据的数量m＝4的情况，但是，优选地，这些数量兼顾检测精度、处理时间、电路规模等来决定。图8概括地示出了本实施例的眼睛图像上的积分圆，假定行存储器的数量L＝101、积分圆的数量n＝20、从1个积分圆的圆周上应当提取出的图像数据的数量m＝8。
如上所述，虽然从图像数据提取部220应当提取出的图像数据的总数多，但是，这些图像数据以不集中于特定的行存储器的方式来配置。这是因为在传送1个图像数据的期间Tsig内在能够对行存储器进行存取的次数上存在着上限，因而将所有的行存储器的存取次数抑制到该总数以下的缘故。以上是图像数据提取部220的结构及其动作。
环圆周积分部230具备相对于积分圆C1～Cn中的每一者独立的加法器2301～230n，其加算位于各个积分圆Ci的圆周上的m个图像数据，并将各自的加算结果作为积分值Ii向变化圆检测部250输出。
亮度差计算部240，具备相对于积分圆C1～Cn中的每一者独立的亮度差计算器2401～240n。各个亮度差计算器240i都检测位于积分圆Ci的圆周上的m个像素数据的最大值和最小值、对其差Bi及亮度差阈值Bth进行比较而向变化圆检测部250输出n个比较结果。
变化圆检测部250，具备减法器2521～252n-1、选择器253、比较器254。减法器252i求针对各个积分圆Ci的积分值Ii相对于半径R的差。即，求对于积分圆C1～Cn之中的半径一个数不同的积分圆Ci与Ci-1的积分值Ii与Ii-1的差值ΔIi。但是，在对于积分圆Ci的图像数据的最大值与最小值之差Bi大于亮度差阈值Bth的情况下，则强制性地将差值ΔIi设为0。
然后，选择器253和比较器254，向瞳孔候补保持部280输出差值ΔIi大于差阈值ΔIth的积分圆C的半径R，并且作为评价值Jo也向瞳孔候补保持部280输出该差值ΔI。这时，在对于积分圆Ci的图像数据的最大值与最小值之差Bi比亮度差阈值Bth大的情况下，减法器252i就强制性地将差值ΔIi设定为0。因此，在差Bi比亮度差阈值Bth大的情况下，就不会向瞳孔候补保持部280输出半径Ri。
如使用图3所说明的那样，在积分圆C1～Cn的中心与瞳孔的中心一致的情况下，图像数据的最大值与最小值之差Bi就将小于等于某一有限的值。但是，在与瞳孔的中心不一致的情况下，差Bi将增大。因此，通过去掉差Bi比亮度差阈值Bth大的情况下的信息，就能够减小误检测的可能性，从而能够提高瞳孔检测精度。
图9是瞳孔位置检测部270，即瞳孔候补保持部280与瞳孔选择部290的电路框图。瞳孔候补保持部280是多个最大值检测器2801～280k分别被串联连接。最大值检测器280i中的每一者都具备有寄存器282i、283i、284i和285i、比较器281i及选择器286i、287i、288i和289i。
寄存器282i、283i、284i和285i保持瞳孔候补的X坐标、Y坐标、半径R和评价值J的最大值。比较器281i对输入的评价值Ji-1和保持在寄存器285i内的评价值Ji进行比较。选择器286i、287i、288i和289i选择输入的X坐标、Y坐标、半径R以及评价值J和所保持的X坐标、Y坐标、半径R以及评价值J中的任意一者。
向开头的最大值检测器2801中输入表示积分圆的坐标的X计数器262和Y计数器264的输出Xo、Yo，并输入变化圆检测部250的输出Ro。然后，当从变化圆检测部250输出的评价值Jo比寄存器2851所保持的评价值J1大时，则通过选择器2861～2891向第2个最大值检测器2802输出到此为止保持在寄存器2821～2851中的X坐标X1、Y坐标Y1、半径R1和评价值J1。并且，将新输入的X坐标Xo、Y坐标Yo、半径Ro和评价值Jo保持在寄存器2821～2851内。
当评价值Jo小于等于评价值J1时，则通过选择器2861～2891向第2个最大值检测器2802输出新输入的X坐标Xo、Y坐标Yo、半径Ro和评价值Jo。
第2个最大值检测器2802，当从第1个最大值检测器2801输出的评价值J1大于寄存器2852所保持的评价值J2时，则向第3个最大值检测器2803输出到此为止保持在寄存器2822～2852中的X坐标X2、Y坐标Y2、半径R2和评价值J2。并且，寄存器2822～2852保持新输入的X坐标X1、Y坐标Y1、半径R1和评价值J1。当评价值J1小于等于评价值J2时，则向第3个最大值检测器2803输出新输入的X坐标X1、Y坐标Y1、半径R1和评价值J1。
以下同样，第i个最大值检测器280i，当从上游侧的最大值检测器280i-1输出的评价值Ji-1比到此为止所保持的评价值Ji大时，则向下游侧的最大值检测器280i+1输出到此为止所保持的数据。并且，保持上游侧的数据。当评价值Ji-1小于等于评价值Ji时，则向下游侧输出上游侧的数据。
其结果，在开头的最大值检测器2801内保持对于评价值最大的瞳孔候补的X坐标X1、Y坐标Y1、半径R1和评价值J1，在第2个最大值检测器2802内保持对于第2个评价值大的瞳孔候补的X坐标X2、Y坐标Y2、半径R2和评价值J2。并且，在第i个最大值检测器280i内保持对于第i个评价值大的瞳孔候补的X坐标Xi、Y坐标Yi、半径Ri和评价值Ji。
另外，本实施例的变化圆检测部250的选择器253，具有选择差值ΔIi的最大值和此时的积分圆C的半径R的功能。但是，瞳孔候补保持部280原本就具有检测最大值的功能。因此，作为选择器253，也可以形成为以单纯地分时的方式输出减法器2521～252n-1的输出和积分圆的半径的结构。
瞳孔选择部290，从保持在瞳孔候补保持部280内的多个瞳孔候补中选出1个，将其位置坐标和半径作为瞳孔的位置坐标和半径向认证处理部140输出。
图10是用于说明瞳孔选择部290的动作的图。瞳孔候补P1、P2是错误地将睫毛检测为瞳孔的瞳孔候补，瞳孔候补P3～P11是检测出真的瞳孔的瞳孔候补。这样，通常被误检测出的瞳孔候补几乎不会密集，但却有在真的瞳孔的周围瞳孔候补密集的倾向。这依赖于瞳孔候补的检测精度，检测精度越好则密集的瞳孔候补的数量就越少。
但是，即使提高了精度，由于还会存在依赖于拍摄元件的1个像素左右的误差，所以在与真的瞳孔的中心位置相邻的像素位置上存在其它的瞳孔候补的中心的可能性高。此外，因照明光在角膜处反射等的影响，也存在在真的瞳孔的周围产生瞳孔候补的情况。因此，通过将在周围存在其它的瞳孔候补的瞳孔候补选择为真的瞳孔，能够消除错将睫毛等检测为瞳孔等的误检测，从而能够提高瞳孔检测精度。
在本实施例中，如下所述那样，从多个瞳孔候补中选择出一个瞳孔候补。对于多个瞳孔候补，将相互距离接近的瞳孔候补作为1个组来进行分组。并且，将各自的组所包含的瞳孔候补的数量多的组或所含有的瞳孔候补的评价值的总和高的组作为线索，来选择真的瞳孔。图11是示出根据这样的思考方法从瞳孔候补中选择瞳孔的动作的流程图。
首先，瞳孔选择部290取入1个瞳孔候补。设取入的瞳孔候补的X坐标、Y坐标、半径和评价值分别为Xi、Yi、Ri和Ji(S71)。接着，针对X坐标、Y坐标和半径中的每一者，查找是否存在瞳孔候补的值Xi、Yi和Ri与组的平均值Xgj、Ygj和Rgj(j是正整数)之差比指定的阈值Xth、Yth和Rth小的组。
也就是说，查找是否存在满足|Xi-Xgj|＜Xth、|Yi-Ygj|＜Yth、|Ri-Rgj|＜Rth的组(S72)。当存在时，将在步骤S71取入的瞳孔候补添加到该组中(S73)。当不存在时，则创建仅包括在步骤S71取入的瞳孔候补的新的组(S74)。
接着，对于在步骤S73添加了瞳孔候补的组或在步骤S74新创建的组，进行平均值Xgj、Ygj和Rgj的再计算(S75)。当残存有尚未分组的瞳孔候补时，则返回步骤S71(S76)。当所有的瞳孔候补的分组结束后，对于各个组求包含在该组内的各个瞳孔候补的评价值的总和∑J(S77)。然后，将评价值的总和∑J为最大的组的X坐标、Y坐标和半径的平均值Xgj、Ygj和Rgj作为瞳孔的X坐标、Y坐标和半径向认证处理部140输出(S78)。
如果采用以上的方法，在原理上，由于瞳孔候补的顺序而存在分组的结果发生变化等的不稳定性。但是，被误检测出的瞳孔候补是孤立的，而包含真的瞳孔的瞳孔候补的集合是密集的。因此，只要例如将Xth、Yth的值设定为所预计的瞳孔半径的1/2左右，实际上就不会出现问题。虽然瞳孔选择部290也可以使用进行以上的动作的专用电路来构成，但在本实施例中，使用设置在认证处理部140内的CPU(未图示)来进行上述的处理。此外，如果采用该流程，数据处理比较简单，从而适合于高速动作。
下面，对作为本实施例的特征的、同心圆状的积分圆以半径越大就变得越稀疏的方式来设定这一点，详细地进行说明。如图8所示，在半径小的位置积分圆被密集地设置，随着半径增大，积分圆被稀疏地设置。其理由是使被拍摄的瞳孔的大小不会对瞳孔检测精度造成影响。
图12A、12B是用于说明该理由的图，其示出了对于积分圆的半径的积分值及其差值。在这里，横轴表示积分圆的半径R，纵轴表示积分值I和差值ΔI。在图12A中，在半径范围R(1)中，由于积分圆位于瞳孔内部的低亮度区域，所以积分值I呈现小的值I(1)。此外，在半径范围R(2)中，由于积分圆位于表示虹膜的圆环状的中亮度区域，所以积分值I呈现比较大的值I(2)。然而，在半径范围R(3)中，由于积分圆位于瞳孔与虹膜的边界部分，所以其积分值呈现I(1)与I(2)之间的值。
如上所述，在图12A中，半径范围R(3)(以下称作“边界范围”)对应于瞳孔与虹膜的边界区域，边界范围是在拍摄眼睛图像时未调好焦距的情况下产生或因光学系统的像差等的失真而产生的。此外，由于瞳孔或积分圆不是正圆，或者由于拍摄元件的像素是离散性的，所以也会因积分圆跨接瞳孔与虹膜两个区域而产生。如上所述，虽然边界范围因各种各样的理由而产生，但是，均存在着所拍摄的瞳孔越大边界范围就变得越宽的倾向。
标注在图12A的横轴上的箭头符号表示积分圆的半径。如上所述，在边界范围比由箭头符号表示的积分圆的半径间隔小的情况下，虽然存在着1个积分圆进入边界范围的可能性，但是，不会存在2个以上的积分圆进入的可能性。另一方面，如图12B中所示，在所拍摄的瞳孔变大、边界范围变得比积分圆的半径间隔宽的情况下，2个以上的积分圆进入边界范围的可能性升高。
在图12A中，对于瞳孔被拍摄得较小的情况，还同时示出了积分值I的差值ΔIi。此外，在图12B中，对于瞳孔被拍摄得较大的情况，也同时示出了积分值Ii的差值ΔIi。但是，在图12A、12B中，为了便于说明，假定同心圆状的积分圆C1～Cn的半径被等间隔地设定，其位置由箭头符号表示。
在瞳孔被拍摄得较小的情况下，如图12A所示，差值ΔIi在瞳孔与虹膜的边界位置处呈现大的值。然而，在瞳孔被拍摄得较大的情况下，则如图12B所示，存在着差值ΔIi变小的倾向。这是因为在瞳孔被拍摄得较大时，瞳孔与虹膜的边界区域也变宽，当在该边界区域包含多个积分圆时，差就会涉及到、分散在这些积分圆上，从而与各个积分圆对应的差值ΔIi变小。其结果是，如图12所示，当等间隔地设定积分圆的半径时，与大的瞳孔的图像对应的差值ΔIi即评价值Jo变小，从而存在着瞳孔检测精度降低的可能性。
于是，在本实施例中，如图8所示，半径小的积分圆C20～C14是半径各差一个像素的同心圆。此外，半径稍大的积分圆C13～C19是半径各差二个像素的同心圆。半径更大的积分圆C8～C1是半径各差4个像素的同心圆。如上所述，在实施例的部分帧存储器222上，在眼睛图像上，同心圆状的多个积分圆C1～C20以半径越大就变得越稀疏的方式来设置。
因此，如上所述，存在着瞳孔越大边界范围就变得越宽的倾向。但是，例如在以使边界范围与积分圆的半径成比例地扩展、使积分圆的半径与积分圆的半径间隔形成比例的方式来设置积分圆的情况下，只要以使积分圆的半径的增加量相对于半径按指数函数增大的方式来设置即可。这样，通过密集地设置半径小的积分圆，并随着半径增大而稀疏地设置积分圆，而使瞳孔检测精度不受瞳孔的大小的影响。
下面，对瞳孔检测装置200的动作进行说明。在以下的说明中，设眼睛图像数据是依次扫描数据，设1帧由例如480行×640像素的数字数据构成。图13是示出本发明的实施例的瞳孔检测装置的眼睛图像1帧的量的动作的流程图。
首先，瞳孔检测装置200，取入1个像素量的图像数据(S51)。如果所取入的图像数据是1帧的开头的数据(S52)，则使Y计数器263复位，并且使瞳孔候补保持部280的各个寄存器282～285复位(S53)。如果所取入的图像数据是1行的开头的数据(S54)，则使X计数器262复位，使Y计数器264加1(S55)。然后，使X计数器262加1(S56)。
接着，将所取入的图像数据取入到部分帧存储器222内。之后，在眼睛图像上，从与n个积分圆C1～Cn对应的像素之中的各个积分圆Ci中每m个地取出n×m个图像数据。然后，与各个积分圆Ci对应的加法器230i，分别计算图像数据的积分值Ii，亮度差计算器240i计算图像数据的最大值与最小值之差Bi。变化圆检测部250计算各个积分值Ii的差值ΔIi。但是，此时，当差Bi比亮度差阈值Bth大时，则强制性地使差值ΔIi为0(S57)。
然后，比较器254对差值ΔIi和差阈值ΔIth进行比较(S58)。当差值ΔIi比差阈值ΔIth大时，瞳孔候补保持部280将此时的X计数器262、Y计数器264和积分圆的半径Ro作为瞳孔候补保持。并且，也将其差值ΔIi作为评价值Jo保持。这时，瞳孔候补保持部280，按照评价值大的顺序重新排列瞳孔候补并保持最多k个瞳孔候补(S59)。接着，判定取入的数据是否是1帧的末尾的数据(S60)，如果不是末尾，则返回步骤S51。
当输入的图像数据到达1帧的最后的像素时，瞳孔选择部290，针对各个瞳孔候补，计算在与其中心坐标相邻的像素位置上存在的其它瞳孔候补的数量。此外，将该值最大的瞳孔候补的X坐标、Y坐标和半径的值作为真的瞳孔的X坐标Xo、Y坐标Yo和瞳孔半径Ro向认证处理部140输出(S61)。
以上从步骤S51到步骤S60的一连串的动作，每当向部分帧存储器222输入1个像素的量的图像数据后被执行。例如，在帧频为30Hz，眼睛图像由640×480像素构成的情况下，是以小于等于1/(30×640×480)秒的时间执行上述一连串的动作。然后，由于向部分帧存储器222输入了1个像素后，积分圆在图像上移动1个像素的量，所以在输入1帧的图像的期间内，积分圆在图像上进行一次扫描。这样，就能够使用比较小规模的电路，对于由拍摄部120所拍摄的图像数据实时地进行瞳孔检测。
另外，在本实施例中，虽然将同心圆状的积分圆的数量设为20，将从1个积分圆取出的图像数据的数量设为8个，但优选地这些数量兼顾检测精度、处理时间、电路规模等来决定。此外，对于所有的积分圆，无需使从1个积分圆取出的图像数据的数量都相同。在此情况下，为了进行归一化，可以用从该积分圆取出的图像数据的数量除各个积分圆的积分值。
此外，在本实施例中，虽然对使用行存储器和多路转换器构成图像数据提取部的情况进行了说明，但是，本发明并不依赖于图像数据提取部的具体的电路结构。例如，既可以是使用移位寄存器构成的图像数据提取部，也可以是其它结构的图像数据提取部。
如果采用本发明，能够提供出能够精度良好且高速地进行瞳孔位置的检测的瞳孔检测装置和虹膜认证装置。
工业上利用的可能性由于本发明能够提供出能够精度良好且高速地进行瞳孔位置的检测的瞳孔检测装置，所以作为用于个人认证等的虹膜认证装置等是有用的。
权利要求
1.一种瞳孔检测装置，具备图像数据提取部，其将同心圆状的多个圆分别作为积分圆设定在眼睛图像上，并提取位于上述积分圆的圆周上的眼睛图像的图像数据；环圆周积分部，其沿着上述积分圆的每一者的圆周对上述图像数据提取部所提取的图像数据进行积分；以及瞳孔位置检测部，其检测上述环圆周积分部的积分值相对于上述积分圆的半径阶跃状地变化的积分圆的中心坐标作为瞳孔位置坐标；其中，上述同心圆状的多个积分圆以半径越大就变得越稀疏的方式设定。
2.根据权利要求1所述的瞳孔检测装置，其中，上述同心圆状的多个积分圆的半径的增加量以相对于该积分圆的半径按指数函数增大的方式设定。
3.根据权利要求1所述的瞳孔检测装置，其中，上述图像数据提取部同时提取与上述积分圆的每一者对应的多个图像数据。
4.一种虹膜认证装置，具备权利要求1～3中任意一项所述的瞳孔检测装置。
全文摘要
本发明的瞳孔检测装置，具备将同心圆状的多个圆分别作为积分圆C
文档编号G06T1/00GK1842819SQ20058000081
公开日2006年10月4日 申请日期2005年5月24日 优先权日2004年8月2日
发明者杉田守男, 若森正浩, 藤松健 申请人:松下电器产业株式会社