一种基于多阈值的瞳孔分割方法
【专利摘要】本发明提出了一种基于多阈值分割瞳孔的方法，其过程包括预处理、候选阈值的选取、眼睛的分割和瞳孔分割四个步骤。本发明对不同状态的眼睛的瞳孔进行处理分割，提高了瞳孔定位的精确性。在视线追踪、医疗检测、心理评定、人机交互，残疾人辅助等多领域都有广泛的应用前景。
【专利说明】
一种基于多阈值的瞳孔分割方法
技术领域
[0001] 本发明涉及计算机视觉技术领域，具体涉及一种基于多阈值和信息熵的融合，快 速精确分割瞳孔的方法。
【背景技术】
[0002] 视线跟踪系统是利用摄像机实时捕获人眼图像，然后准确定位和跟踪图像中眼睛 瞳孔中心位置，从而实现使用视线与计算机进行人机交互的技术。该系统作为一种非常方 便而又自然的交流方式，被广泛地应用到各种领域。在视线跟踪系统中，瞳孔的分割与定位 是其核心，其准确程度将直接影响视线跟踪的精度。
[0003] 目前，瞳孔分割定位的方法有很多种，例如模版匹配法，投影积分法，利用颜色域 的方法。其中，模板匹配方法是通过构建眼睛模型，递归的定位到眼睛，但只有当模板的位 置和眼睛或瞳孔的位置接近时，该方法的定位效果才会比较好，并且这种方法的由经验确 定，难以泛化，计算代价很大。在投影积分的方法中，对所处理图片的质量要求较高，对光照 敏感，并且该方法容易受到眉毛、睫毛，以及瞳孔张开程度的影响。而颜色域的方法对光照 敏感，对图片的质量要求较高，鲁棒性不够强。当眼睛处于不同的开张状态时，以上方法对 精确地定位分割瞳孔效果不理想。因此快速准确的分割定位瞳孔仍是需要解决的问题。
【发明内容】
[0004] 为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种基于多阈值的瞳 孔分割方法。解决现有技术中不能快速准确分割瞳孔的问题。
[0005] 为实现本发明的上述目的，本发明提供了一种基于多阈值的瞳孔分割方法，其包 括如下步骤：
[0006] S1，预处理:获得待处理图像的灰度图像，并对所述灰度图像进行直方图均衡化， 对所述图像进行增强；
[0007] S2,对所述灰度图像中的眼睛区域进行分割：
[0008] S21，获取预处理步骤后的图像灰度直方图，将灰度直方图中的每一个波谷作为候 选阈值Tj，具体为： 'T, h(rt) - n., _9] /4H)' h{rk)<h(rt-n)
[0010] 其中，h(rk)表示灰度直方图离散函数，rk是第k级灰度值，nk代表k级灰度值的像素 点个数；
[0011] 将所有的候选阈值按照其值的大小进行升序或降序排序，得到候选阈值集合TS，
[0012] TS={T〇,Ti,. . . ,Tj,. . . ,Tn} ,0<n<256；
[0013] S22，从To开始依次利用候选阈值对预处理后的图像进行二值化，得到对应阈值的 二值图，由满足灰度小于阈值的像素构成的区域称之为有效区域；
[0014] S23,在利用候选阈值获取二值图的同时，根据二值图对候选阈值进行筛选，筛除 有效区域面积占图像面积的比例大于a的二值图对应的候选阈值，得到有效阈值，其中，a为 正数且〇〈a〈l;
[0015] S24,对经过步骤S23处理后剩余二值图中的有效区域取并集，根据候选区域中有 效区域的个数确定有效候选区域；
[0016] S25,利用候选区域的灰度概率分布，分别对有效候选区域求熵，灰度概率分布计 算公式为：
[0017] p(Xi)=xi/N
[0018] 其中，^表示在图像中灰度值为Xi的像素个数，N代表图像的大小，熵的计算公式 为：
[0019] "(A'-) = ) logf '、
[0020] 熵值最大的有效候选区域即为眼睛；
[0021] S3,获取瞳孔位置:根据瞳孔在眼睛中所占的比例，以及眼睛各个部分灰度信息的 特征，确定瞳孔分割阈值，利用确定的瞳孔分割阈值对眼睛区域进行处理得到二值图，在二 值图中对瞳孔进行拟合、实现分割。
[0022] 本发明利用不同的阈值对眼睛和瞳孔依次进行分割，两个分割的过程有机结合， 分割快速;同时，本发明在分割时，对有效区域取并集，得到有效候选区域，保证分割的准确 进行;本发明在眼睛看不同的角度以及不同的张开程度状态下，都能快速准确的分割瞳孔。 在视线追踪、医疗检测、心理评定、人机交互，残疾人辅助等多领域都有广泛的应用前景。 [0023]在本发明的一种优选实施方式中，所述步骤S22中图像二值化的定义式表示为： J255, g(x,y)<T
[0024] 、、丁 ，
[0, g(x,y)^ r
[0025] 其中，T表示阈值，g(x，y)表示像素灰度值。
[0026] 通过二值化，得到有效区域，进而实现眼睛的快速分割。
[0027] 在本发明的另一种优选实施方式中，所述步骤S23中，若由候选阈值Ti处理得到的 二值图中存在有效区域的面积大于图像面积的3/4,说明该候选阈值偏大，则该候选阈值及 其后比其值大的候选阈值认为无效。
[0028] 通过对候选阈值进行筛选，得到有效区域，提高了眼睛分割的速度。
[0029]在本发明的一种优选实施方式中，所述步骤S24中，对经过步骤S23处理后剩余二 值图中，对具有完全包含关系的有效区域取并集得到候选区域，并根据候选区域中有效区 域的个数大于b的确定为有效候选区域，所述b为大于2的正整数。
[0030] 在本发明的另一种优选实施方式中，候选区域中有效区域的个数大于2则认为该 候选区域有效，即为有效候选区域。
[0031] 通过有效区域取并集得到候选区域，并根据候选区域中有效区域的个数大于b的 确定为有效候选区域，筛除了某些只出现1次或者2次的噪声点，提高了分割的准确性。
[0032] 在本发明的一种优选实施方式中，所述步骤S3中确定瞳孔分割阈值的方法为:对 眼睛图像中所有的像素按照灰度值的大小进行升序排列，在排序后的序列中选取一定比例 的灰度值小的像素，求其灰度均值，该均值即为瞳孔分割阈值，计算公式为：
[0034] 其中，A为选取的比例，取8%，N为图像像素总个数，0为选取的像素个数，kpi表示排 序后的像素灰度值，T表示瞳孔分割阈值。
[0035] 根据瞳孔在眼睛中的比例以及眼睛各部分的灰度值信息，设置瞳孔分割阈值，实 现快速的瞳孔分割。
[0036] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0037] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得 明显和容易理解，其中：
[0038] 图1是本发明一种实施方式中预处理前后的图像，其中，图1(a)、图1(b)分别表示 采集的面部区域图像(预处理前）以及预处理后得到的图像；
[0039] 图2是图像灰度直方图；
[0040]图3是二值图像中的有效区域；
[0041]图4是由不同候选阈值处理得到的二值图像；
[0042]图5是有效区域关系示例图；
[0043]图6是有效区域的融合原理示意图；
[0044] 图7是本发明一种优选实施方式中有效区域的融合合并示意图；
[0045] 图8中（a)、（b)分别表示有最佳阈值对眼睛区域阈值化处理得到的二值图以及对 瞳孔的分割；
[0046] 图9是使用本方法对眼睛看不同方向以及不同张开程度的瞳孔分割结果。
【具体实施方式】
[0047] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0048] 本发明提供了一种基于多阈值的瞳孔分割方法，其包括如下步骤：
[0049] S1，预处理:获得待处理图像的灰度图像，如图1中（a)所示，具体获取灰度图像的 方法可以现有方法;然后对灰度图像进行直方图均衡化(也是采用现有技术），对图像进行 增强，如图1中（b)所示，由图中可见，经过直方图均衡化以后，图像得到增强，眉毛与皮肤， 以及眼睛各个部分的边缘更加明显。
[0050] S2,对灰度图像中的眼睛区域进行分割，具体包括以下步骤：
[0051] S21，在步骤S1获得的灰度直方图中，如图2所示，选择直方图中的每一个波谷所在 的灰度级作为候选阈值，候选阈值公式定义为： Tj = rk rmM JA(7)) =~ h{rk) < h{rkA ) Mn、<h{rM)
[0053]其中，j为正整数，h(rk)表示灰度直方图离散函数，rk是第k级灰度值，n k代表k级灰 度值的像素点个数，k为正整数；
[0054] 将所有的候选阈值按照其值的大小进行升序或降序排序，优选采用升序排序，得 到候选阈值集合TS(Threshold Setting)，候选阈值集合定义公式表示为：
[0055] TS={T〇,Ti,. . . ,Tj,. . . ,Tn} ,0<n<256；
[0056] S22,从To开始依次利用候选阈值对预处理后的图像进行二值化，得到对应阈值的 二值图，如图4所示，从图4(a)至图4(h)，采用的候选阈值逐渐增大，这里没有给出具体数 值，只是定性描述。由满足灰度小于阈值的像素构成的区域称之为有效区域，图像二值化公 式为：
[255， g(x,y)<T
[0057] = < ,
[0, g(x,v)>T
[0058]其中，T表示阈值，g(x，y)表示像素灰度值，如图3所示，图中包含A、B、C、D、E这5个 不同的有效区域。
[0059] S23,在利用候选阈值获取二值图的同时，根据二值图对候选阈值进行筛选，筛除 有效区域面积占图像面积的比例大于a的二值图对应的候选阈值，得到有效阈值，其中，a为 正数且〇〈a〈l。
[0060] 在本实施方式中，a取值为3/4。若由候选阈值Ti阈值化得到的二值图中存在有效 区域的面积大于图像面积的3/4,说明该候选阈值偏大，则该候选阈值及比其大的候选阈值 认为无效。如图4(h)所示，该二值图对应的候选阈值偏大，则该阈值以及其后比其值大的候 选阈值均无效。
[0061] 在本实施方式中，步骤S22和步骤S23可以合并为一个步骤，在利用某一个候选阈 值对预处理后的图像进行二值化后，接着判断该阈值是不是有效阈值，从而提高了速度。 [0062] S24,对经过步骤S23处理后获得的有效阈值对应的二值图中的有效区域取并集， 根据候选区域中有效区域的个数确定有效候选区域。
[0063] 在由不同有效候选阈值处理得到的二值图中，对具有完全包含关系的有效区域取 并集得到候选区域，并根据候选区域中有效区域的个数确定有效候选区域，在本发明中，候 选区域中有效区域的个数大于2则认为该候选区域有效，即为有效候选区域。如图7所示，7 (a) -7 (d)为不同的有效候选阈值对应的二值图，7 (e) -7 (f)表示用矩形对有效区域的有效 区域进行轮廓描述，7(i)表示对有效区域取并集，7(j)表示根据并集中有效区域的个数得 到的有效候选区域。
[0064] 在本发明中，用矩形对有效区域进行轮廓描述，有效区域的面积，即对应轮廓描述 矩形的面积。如图5所示，有效区域A与有效区域B属于完全包含关系，有效区域B与有效区域 C，有效区域A与有效区域C均不属于完全包含关系。
[0065] 图6中(a)、（b)、（c)分别代表由不同候选阈值处理得到的二值图，对具有完全包含 关系有效区域A，B1，C1合并取并集得到候选区域Cl，如图6(d)所示;并根据候选区域中所含 有有效区域的个数进行判断，最终得到有效候选区域C1，如图6(e)所示；同理可得有效候选 区域C2,如图6(e)所示;有效区域C3不存在与其有完全包含关系的其他有效区域，则候选区 域就是其本身，该候选区域中有效区域的个数小于等于2,所以该候选区域不属于有效候选 区域。
[0066] S25,利用候选区域的灰度概率分布，分别对有效候选区域求熵，灰度概率分布计 算公式为：
[0067] p(Xi) =Xi/N
[0068]其中，^表示在图像中灰度值为Xi的像素个数，N代表图像的大小，熵的计算公式 为：
[0069] H{X)=
[0070] 熵值最大的有效候选区域即为眼睛；
[0071] S3,获取瞳孔位置:根据瞳孔在眼睛中所占的比例，以及眼睛各个部分灰度信息的 特征，确定瞳孔分割阈值，利用确定的瞳孔分割阈值对眼睛区域进行处理得到二值图，在二 值图中对瞳孔进行拟合、实现瞳孔分割。
[0072] 选取瞳孔分割阈值的方法为:对眼睛图像中所有的像素按照灰度值的大小进行升 序排列，在排序后的序列中选取一定比例的灰度值小的像素，求其灰度均值，该均值即为瞳 孔分割阈值。
[0073] 在本实施方式中，像素值按照灰度值进行升序排列或者降序排列，在排序后的序 列中，从灰度值最小的像素开始按照取灰度值逐渐增大的方向选取一定比例的像素，优选 的比例选取为8%，求其灰度均值，该均值既为最佳阈值，最佳阈值的计算公式为：
[0075]其中，A为选取的比例，取8%，N为图像像素总个数，0为选取的像素个数，kpi表示排 序后的像素灰度值，T表示瞳孔分割阈值。
[0076]将选取的最佳阈值对眼睛区域进行处理得到二值图即图8(a)所示，在二值图中利 用椭圆拟合的方法对瞳孔进行拟合分割如图8(b)所示。
[0077] 图9表示在眼球看不同的角度以及眼睛张开度不同的状态下，利用本发明的对瞳 孔分割的结果。从图中可见，本发明在眼睛看不同的角度以及眼睛处于不同的张开程度的 状态下，都能够很好的分割瞳孔图像出来。
[0078] 本发明解决了在光照不均匀情况下，眼睛看不同的方向以及眼睛处于不同的张开 程度时，快速而又精确的分割瞳孔的问题。
[0079] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。
[0080]尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解:在不 脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本 发明的范围由权利要求及其等同物限定。
【主权项】
1. 一种基于多阔值的瞳孔分割方法，其特征在于，包括如下步骤： 51, 预处理:获得待处理图像的灰度图像，并对所述灰度图像进行直方图均衡化，对所 述图像进行增强； 52, 对所述灰度图像中的眼睛区域进行分割： S21，获取预处理步骤后的图像灰度直方图，将灰度直方图中的每一个波谷作为候选阔 值L，具体为：其中，h(rk)表示灰度直方图离散函数，rk是第k级灰度值，nk代表k级灰度值的像素点个 数； 将所有的候选阔值按照其值的大小进行升序或降序排序，得到候选阔值集合TS， TS= {T〇,Ti,. . . ,Tj,. . . ,Tnl ,0<n<256； 522, 从To开始依次利用候选阔值对预处理后的图像进行二值化，得到对应候选阔值的 二值图，由满足灰度小于阔值的像素构成的区域称之为有效区域； 523, 在利用候选阔值获取二值图的同时，根据二值图对所述候选阔值进行筛选，筛除 有效区域面积占图像面积的比例大于a的二值图对应的候选阔值，得到有效候选阔值，其 中，a为正数且0<日<1; 524, 对经过步骤S23处理后剩余有效候选阔值对应的二值图中的有效区域取并集，根 据候选区域中有效区域的个数确定有效候选区域； S25，利用候选区域的灰度概率分布，分别对有效候选区域求赌，灰度概率分布计算公 式为： p(Xi) =xi/N 其中，Xi表示在图像中灰度值为Xi的像素个数，N代表图像的大小，赌的计算公式为： 赌值最大的有效候选区?^巧叩户」H民H目； 53, 获取瞳孔位置:根据瞳孔在眼睛中所占的比例，W及眼睛各个部分灰度信息的特 征，确定瞳孔分割阔值，利用确定的瞳孔分割阔值对步骤S2获得的眼睛区域进行处理得到 二值图，在二值图中对瞳孔进行拟合、实现瞳孔分割。2. 如权利要求1所述的基于多阔值的瞳孔分割方法，其特征在于，所述步骤S22中图像 二值化的定义式表示为：其中，T表示阔值，g(x，y)表示像素灰度值。3. 如权利要求1所述的基于多阔值的瞳孔分割方法，其特征在于，所述步骤S23中，若由 候选阔值Ti处理得到的二值图中存在有效区域的面积大于图像面积的3/4,说明该候选阔 值偏大，则该候选阔值及其后比其值大的候选阔值认为无效。4. 如权利要求1所述的基于多阔值的瞳孔分割方法，其特征在于，所述步骤S24中，对经 过步骤S23处理后剩余有效候选阔值对应的二值图中，对具有完全包含关系的有效区域取 并集得到候选区域，并根据候选区域中有效区域的个数大于b的确定为有效候选区域，所述 b为大于2的正整数。5. 如权利要求4所述的基于多阔值的瞳孔分割方法，其特征在于，候选区域中有效区域 的个数大于2则认为该候选区域有效，即为有效候选区域。6. 如权利要求1所述的基于多阔值的瞳孔分割方法，其特征在于，所述步骤S3中确定瞳 孔分割阔值的方法为:对眼睛图像中所有的像素按照灰度值的大小进行升序排列，在排序 后的序列中选取一定比例的灰度值小的像素，求其灰度均值，该均值即为瞳孔分割阔值，计 算公式为：其中，A为选取的比例，取8%，N为图像像素总个数，0为选取的像素个数，kp康示排序后 的像素灰度值，T表示瞳孔分割阔值。
【文档编号】G06T7/00GK105913418SQ201610211689
【公开日】2016年8月31日
【申请日】2016年4月6日
【发明人】文静, 陈默涵, 朱宇, 房斌
【申请人】重庆大学