背景去除方法、影像模块及光学指纹辨识系统与流程

本申请涉及一种背景去除方法、影像模块及光学指纹辨识系统，尤其涉及一种可有效消除干扰的背景去除方法、影像模块及光学指纹辨识系统。

背景技术：

随着科技日新月异，移动电话、数字相机、平板计算机、笔记本电脑等越来越多携带型电子装置已经成为了人们生活中必备的工具。由于携带型电子装置一般为个人使用，而具有一定的隐私性，因此其内部储存的数据，例如电话簿、相片、个人信息等等为私人所有。若电子装置一旦丢失，则这些数据可能会被他人所利用，而造成不必要的损失。虽然目前已有利用密码保护的方式来避免电子装置为他人所使用，但密码容易泄露或遭到破解，具有较低的安全性。并且，用户需记住密码才能使用电子装置，若忘记密码，则会带给使用者许多不便。因此，目前发展出利用个人指纹识别系统的方式来达到身份认证的目的，以提升数据安全性。

另一方面，随着指纹辨识技术的进步，隐形指纹传感器(invisiblefingerprintsensor，ifs)已逐渐受到消费者的青睐。在隐形指纹传感技术中，光学指纹传感器可设置于触控屏幕的下方，即屏幕下(underdisplay)指纹感测。换句话说，用户可透过按压触控屏幕以进行指纹辨识。

此外，现有技术已发展出背景去除(backgroundsubtraction)技术，其可将背景影像去除，使得有用信号的影像更加显著。然而，于光学指纹辨识的应用中，触控屏幕除了排列成阵列的显示元件(如有机发光二极管(oled))之外，触控屏幕于显示元件之上还设置有氧化铟锡(ito)透明导电膜、导电银胶、ito基板、oca(opticalclearadhesive)光学胶等相关于触控功能的元件或材质。由于指纹影像中纹蜂(fingerridge)与纹谷(fingervalley)之间的信号相当微小，而前述触控相关元件/材质对光的穿透率在每个像素位置皆不尽相同，再加上使用者手指对光的反射率与建立背景影像时的背景物件对光的反射率不同，导致在进行光学指纹辨识时对指纹影像造成干扰。换句话说，因使用者手指的反射率与建立背景影像时的背景物件的反射率不同，若仅使用现有的背景去除技术，无法有效消除干扰，而使光学指纹判断的精准度降低。

因此，如何有效消除干扰的背景去除技术，也就成为业界所努力的目标之一。

技术实现要素：

因此，本申请部分实施例的目的即在于提供一种可有效消除干扰的背景去除方法、影像模块及光学指纹辨识系统，以改善现有技术的缺点。

为了解决上述技术问题，本申请实施例提供了一种背景去除方法，应用于背景去除模块，所述背景去除方法包括取得对应于第一物件的第一背景影像，其中所述第一物件具有均匀颜色且具有第一反射率；取得对应于第二物件的第二背景影像，其中所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；取得目标影像；将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像。

例如，计算所述第一背景影像相对于所述第二背景影像的所述多个相对值，以取得所述遮罩影像的步骤包括将所述第一背景影像中多个第一像素值的一次方或多次方与所述第二背景影像中多个第二像素值的一次方或多次方相除，以取得所述多个相对值。

例如，根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算所述第二背景去除影像的步骤包括将所述第一背景去除影像与所述遮罩影像相乘，以取得第一遮罩相乘影像；根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算补偿系数；将所述第一遮罩相乘影像乘以所述补偿系数，以取得补偿影像；以及将所述第一背景去除影像加上所述补偿影像，以产生所述第二背景去除影像。

例如，根据所述第一背景去除影像、所述遮罩影像以及所述第一遮罩相乘影像，计算所述补偿系数的步骤包括将所述第一遮罩相乘影像与所述遮罩影像相乘，以取得第二遮罩相乘影像；根据所述遮罩影像，产生反遮罩影像；将所述第一背景去除影像与所述反遮罩影像相乘，以取得第一反遮罩相乘影像；将所述第一反遮罩相乘影像与所述反遮罩影像相乘，以取得第二反遮罩相乘影像；以及根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数。

例如，根据所述遮罩影像，产生所述反遮罩影像的步骤包括将全白影像减去所述遮罩影像，以产生所述反遮罩影像。

例如，所述多个相对值经过正规化运算后，使得所述遮罩影像中每个遮罩像素值介于0与1之间，所述全白影像中每一个像素值为1。

例如，根据所述第一遮罩相乘影像、所述第二遮罩相乘影像、所述第一反遮罩相乘影像以及所述第二反遮罩相乘影像，计算所述补偿系数的步骤包括取得对应于所述第一遮罩相乘影像的第一遮罩平均值；取得对应于所述第一反遮罩相乘影像的第一反遮罩平均值；将所述第一遮罩平均值与所述第一反遮罩平均值相减，以产生第一相减结果；取得对应于所述第二遮罩相乘影像的第二遮罩平均值；取得对应于所述第二反遮罩相乘影像的第二反遮罩平均值；将所述第二遮罩平均值与所述第二反遮罩平均值相减，以产生第二相减结果；计算所述补偿系数正比于所述第一相减结果与所述第二相减结果的比值。

例如，所述背景去除模块设置于光学指纹辨识系统的触控屏幕之下。

为了解决上述技术问题，本申请实施例提供了一种影像模块，所述影像模块包括影像撷取单元，用来撷取第一物件的至少一第一影像、第二物件的至少一第二影像以及目标影像，其中所述第一物件具有均匀颜色且具有第一反射率，所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；背景去除单元，用来根据所述至少一第一影像，取得第一背景影像，并根据所述至少一第二影像，取得第二背景影像；计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像。

为了解决上述技术问题，本申请实施例提供了一种光学指纹辨识系统，设置于电子装置中，所述光学指纹辨识系统包括指纹辨识模块以及影像模块，所述影像模块设置于所述电子装置的触控屏幕之下，耦接于所述指纹辨识模块，所述影像模块包括影像撷取单元，用来撷取第一物件的至少一第一影像、第二物件的至少一第二影像以及目标影像，其中所述第一物件具有均匀颜色且具有第一反射率，所述第二物件具有均匀颜色且具有第二反射率，所述第一反射率与所述第二反射率不同；背景去除单元，用来根据所述至少一第一影像，取得第一背景影像，并根据所述至少一第二影像，取得第二背景影像；计算所述第一背景影像相对于所述第二背景影像的多个相对值，以取得遮罩影像；将所述目标影像与所述第二背景影像相减，以取得第一背景去除影像；以及根据所述第一背景影像、所述第二背景影像、所述第一背景去除影像以及所述遮罩影像，计算并输出第二背景去除影像；其中，所述指纹辨识模块接收所述第二背景去除影像，以根据所述第二背景去除影像进行指纹辨识。

本申请利用具有不同反射率/颜色的物件建立第一背景影像以及第二背景影像，并利用根据第一背景影像及第二背景影像所产生的遮罩影像，对第一阶段背景去除运算(现有背景去除技术)所产生的第一背景去除影像进一步地进行第二阶段背景去除运算。相较于现有技术，本申请可进一步消除影像上的干扰。

附图说明

图1为本申请实施例一光学指纹辨识系统的示意图；

图2为本申请实施例一影像模块的示意图；

图3为本申请实施例一背景去除流程的示意图；

图4为本申请实施例多个影像的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本申请说明书以及权利要求中，影像a与影像b之间进行加减乘除运算代表影像a及影像b进行元素与元素之间的加减乘除运算。详细来说，影像a乘以影像b(记为a*b)代表将影像a的第(i,j)个像素值ai,j乘以影像b的第(i,j)个像素值bi,j；影像a除以影像b(记为a/b)代表将影像a的第(i,j)个像素值ai,j除以影像b的第(i,j)个像素值bi,j；影像a加影像b(记为a+b)代表将影像a的第(i,j)个像素值ai,j加影像b的第(i,j)个像素值bi,j；影像a减影像b(记为a-b)代表将影像a的第(i,j)个像素值ai,j减影像b的第(i,j)个像素值bi,j。影像a的平均值代表对影像a所有的像素值行平均运算而得到的像素值。

请参考图1及图2，图1为本申请实施例一电子装置1的示意图，图2为本申请实施例一影像模块14的示意图。电子装置1包括光学指纹辨识系统10以及触控屏幕12，光学指纹辨识系统10包括影像模块14以及指纹辨识模块16，影像模块14包括影像撷取单元140及背景去除单元142。影像模块14设置于触控屏幕12之下，而耦接于指纹辨识模块16。光学指纹辨识系统10可进行屏幕下(underdisplay)的指纹感测，即用户可透过按压触控屏幕14以进行指纹辨识。

详细来说，影像模块14的影像撷取单元140直接设置于触控屏幕12之下，而背景去除单元142可设置于影像撷取单元140的下方或其他位置(但仍在触控屏幕12之下)。影像撷取单元140可包括排列成阵列的多个感光元件(如感光二极管(photodiode，pd))，影像撷取单元140用来撷取触控屏幕12反射自区域rgn的光线而于该多个感光元件上形成的影像。背景去除单元142可由数字电路或数字信号处理器(digitalsignalprocessor，dsp)实现，背景去除单元142接收影像撷取单元140所撷取的影像，并对影像撷取单元140所撷取的目标影像f进行背景影像去除(backgroundsubtraction)运算，以产生背景去除影像r，以消除目标影像f上的干扰，如此一来，指纹辨识模块16可针对背景去除影像r进行指纹辨识。其中，目标影像f上的干扰可能是由于触控屏幕12中触控相关元件/材质/电路(如氧化铟锡(ito)透明导电膜、导电银胶、ito基板、oca(opticalclearadhesive)光学胶等)的穿透率在每个像素位置皆不尽相同，再加上使用者手指对光的反射率与建立背景影像时的背景物件对光的反射率不同，导致在进行光学指纹辨识时对指纹影像造成的干扰。

请参考图3，图3为本申请实施例一背景去除流程30的示意图，背景去除流程30可由影像模块14来执行，以产生背景去除影像r，背景去除流程30包括以下步骤：

步骤300：录制第一背景影像b1以及第二背景影像b2，其中第一背景影像b1及第二背景影像b2分别对应于第一物件及第二物件，第一物件及第二物件皆具有均匀颜色且分别具有第一反射率及第二反射率，第一反射率与第二反射率不同。

步骤302：计算第一背景影像b1相对于第二背景影像b2的多个相对值，以取得遮罩影像m。

步骤304：撷取目标影像f。

步骤306：将目标影像f与第二背景影像b2相减，以取得第一背景去除影像x。

步骤308：根据第一背景影像b1、第二背景影像b2、第一背景去除影像x以及遮罩影像m，计算并输出第二背景去除影像r。

于步骤300中，影像模块14录制对应于第一物件及第二物件的第一背景影像b1及第二背景影像b2。于一实施例中，电子装置1的操作人员可将第一物件(其可为颜色均匀的全黑色物件而具有第一反射率)覆盖于触控屏幕12上的指纹感测区(即影像模块14上方的区域rgn)，此时影像撷取单元140可撷取对应于第一物件/全黑色物件的至少一第一影像；另外，操作人员可将颜色均匀的第二物件(其可为颜色均匀的全白色物件而具有第二反射率)覆盖于触控屏幕12上的指纹感测区(即影像模块14上方的区域rgn)，此时影像撷取单元140可撷取对应于全白色物件/第二物件的至少一第二影像。影像撷取单元140撷取该至少一第一影像以及该至少一第二影像后，背景去除单元142可计算该至少一第一影像的平均，以去除第一影像中的噪声，而产生第一背景影像b1，另外，背景去除单元142计算该至少一第二影像的平均，以去除第二影像中的噪声，而产生第二背景影像b2。其中，第一背景影像b1及第二背景影像b2分别对应反射率不同(或物件颜色不同)的第一物件及第二物件，即第一反射率与第二反射率不同，而第一物件及第二物件可视为背景物件。

于步骤302中，背景去除单元142计算第一背景影像b1相对于第二背景影像b2的多个相对值，以取得遮罩影像m。于一实施例中，背景去除单元142可计算遮罩影像m为第一背景影像b1除以第二背景影像b2，遮罩影像m的第(i,j)个遮罩像素值mi,j即代表第一背景影像b1与第二背景影像b2于第(i,j)个像素位置的相对值，即mi,j＝b1i,j/b2i,j，其中b1i,j及b2i,j分别代表第一背景影像b1及第二背景影像b2的第(i,j)个像素值。遮罩影像m中多个像素值(即第一背景影像b1相对于第二背景影像b2的多个相对值)反映出不同背景物件反射率以及触控相关元件/材质于不同像素位置的不同穿透率的综合效果。于一实施例中，遮罩影像m可经过一正规化(normalization)运算，使得遮罩影像m中每个遮罩像素值介于0与1之间。

于步骤304中，影像撷取单元140撷取目标影像f。于光学指纹辨识系统10进行光学指纹辨识时，用户将其手指按压于触控屏幕12上的指纹感测区(即影像模块14上方的区域rgn)，影像撷取单元140所撷取到的目标影像f包括指纹影像。

于步骤306中(其可视为第一阶段背景去除运算)，背景去除单元142将目标影像f与第二背景影像b2相减，以取得第一背景去除影像x，第一背景去除影像x可表示为x＝f-b2。

于步骤308中(其可视为第二阶段背景去除运算)，背景去除单元142根据第一背景影像b1、第二背景影像b2、第一背景去除影像x以及遮罩影像m，计算并输出第二背景去除影像r。详细来说，背景去除单元142将第一背景去除影像x乘以遮罩影像m，以取得第一遮罩相乘影像w(第一遮罩相乘影像w可表示为w＝x*m)，接着，背景去除单元142根据第一背景去除影像x以及第一遮罩相乘影像w，计算补偿影像c，最后，背景去除单元142将第一背景去除影像x加上补偿影像c，即为第二背景去除影像r，第二背景去除影像r可表示为r＝x+c。于一实施例中，补偿影像c可正比于第一遮罩相乘影像w，即补偿影像c可表示为c＝g*w，而背景去除单元142可根据第一背景去除影像x以及第一遮罩相乘影像w，计算补偿系数g，即可计算出补偿影像c。

详细来说，为了计算补偿影像c，背景去除单元142可根据遮罩影像m，产生反遮罩影像n，反遮罩影像n为遮罩影像m的反白影像，换句话说，若遮罩影像m在第(i,j)个像素位置很亮，则反遮罩影像n在第(i,j)个像素位置很暗，反之亦然。于一实施例中，背景去除单元142可将一均匀全白影像awh减去遮罩影像m，以产生反遮罩影像n，反遮罩影像n可表示为n＝awh-m。在遮罩影像m中每个遮罩像素值介于0与1之间的情况下，全白影像awh中每一个中每一个像素值为1。背景去除单元142可将第一背景去除影像x乘以反遮罩影像n，以取得第一反遮罩相乘影像b(第一反遮罩相乘影像b可表示为b＝x*n)。于一实施例中，背景去除单元142可计算补偿影像c/补偿系数g，使得于影像r*m中任意区块的像素平均值为一固定值，或于影像r*n中任意区块的像素平均值为另一固定值。

为了达成此目的，背景去除单元142可将第一反遮罩相乘影像b再次乘以反遮罩影像n，以取得第二反遮罩相乘影像bn，第二反遮罩相乘影像bn可表示为bn＝b*n＝x*n*n，另一方面，背景去除单元142可将第一遮罩相乘影像w再次乘以遮罩影像m，以取得第二遮罩相乘影像wm，第二遮罩相乘影像wm可表示为wm＝w*m＝x*m*m。背景去除单元142可补偿系数g为公式1，即背景去除单元142根据第一遮罩相乘影像w、第二遮罩相乘影像wm、第一反遮罩相乘影像b以及第二反遮罩相乘影像bn，计算补偿系数g。其中，mean(w)、mean(b)、mean(wm)、mean(bn)分别代表对应于第一遮罩相乘影像w、第一反遮罩相乘影像b、第二遮罩相乘影像wm、第二反遮罩相乘影像bn的第一遮罩平均值、第一反遮罩平均值、第二遮罩平均值、第二反遮罩平均值。

如此一来，于背景去除单元142计算出补偿系数g后，背景去除单元142即可计算补偿影像c为c＝g*w，以及计算并输出第二背景去除影像r为r＝x+g*w＝x(1+g*m)。

请参考图4，图4为本申请实施例背景影像b1、b2、遮罩影像m、反遮罩影像n、目标影像f1、f2、第一背景去除影像x1、x2、第二背景去除影像r1、r2的示意图。其中，目标影像f1为当电子装置1的操作人员将一横条纹物件覆盖于触控屏幕12上的指纹感测区(区域rgn)时所撷取到的目标影像f，目标影像f2为操作人员实际将手指按压在指纹感测区(区域rgn)时所撷取到的目标影像f，第一背景去除影像x1、x2分别为对目标影像f1、f2执行步骤306的执行结果，第二背景去除影像r1、r2分别为对第一背景去除影像x1、x2执行步骤308的执行结果。

由图4可知，遮罩影像m及反遮罩影像n呈现菱形结构，其反映出触控相关元件/材质/电路所形成的影像，其中，遮罩影像m中某些像素位置较暗(其遮罩像素值较低)而某些像素位置较亮(其遮罩像素值较高)，反遮罩影像n于遮罩像素值较低的像素位置具有较高的反遮罩像素值，而于遮罩像素值较高的像素位置具有较低的反遮罩像素值。目标影像f1中具有微小的横纹信号，而目标影像f2中具有微小的指纹信号。第一背景去除影像x1包括菱形电路结构所成的影像与横纹信号的合成影像，而第一背景去除影像x2包括菱形电路结构所成的影像与指纹信号的合成影像。由第二背景去除影像r1、r2可知，影像模块14透过执行步骤308可有效地将第一背景去除影像x1、x2中对应于菱形电路结构的影像消除，使得第二背景去除影像r1仅具有横纹信号，而第二背景去除影像r2仅具有指纹信号。

另外，第一阶段背景去除运算所产生的第一背景去除影像x1、x2其实为现有背景去除技术的执行结果。本申请除了第一阶段背景去除运算之外，还进行第二阶段背景去除运算(即步骤308)，由图4可知，本申请第二阶段背景去除运算所产生的第二背景去除影像r1、r2相较于现有技术，可进一步消除影像上的干扰。

另外，为了增加使用便利性，影像模块14可于产品出厂前的校正阶段，先计算背景影像b1、b2、遮罩影像m以及反遮罩影像n并将其储存于存储单元(未绘示于图1)中，当出厂后使用者将手指按压在指纹感测区/区域rgn时，影像模块14可实时地撷取目标影像f，并计算第一背景去除影像x及第二背景去除影像r。

需注意的是，前述实施例用以说明本发明之概念，本领域具通常知识者当可据以做不同的修饰，而不限于此。举例来说，遮罩影像m不限于为第一背景影像b1与第二背景影像b2的相除结果，于一实施例中，遮罩影像m可为m＝(b1*b1)/(b2*b2)＝b1²/b2²，或是m＝b1ⁿ/b2ⁿ，其中b1ⁿ(b2ⁿ)代表b1(b2)的n次方，只要遮罩影像m中的遮照相素质可展现/代表算第一背景影像b1相对于第二背景影像b2的相对值，皆属于本申请的范畴。另外，在录制背景影像b1、b2时，影像模块14可先进行一温度补偿操作，以降低温度对背景影像b1、b2的影响。另外，为了考虑使用者并未将其手指按压在整个指纹感测区/区域rgn，影像模块14可先对影像撷取单元140所撷取的影像先进行影像分割(segmentation)，分割后的影像及可成为目标影像f。另外，背景去除单元142可对遮罩影像m执行二值化(binarization)运算，并利用二值化后的遮罩影像m，计算第二背景去除影像r，亦属于本申请的范畴。另外，第一物件及第二物件不限于黑白两色，其可为其他颜色，只要第一物件及第二物件对光具有不同反射率，即属于本申请的范畴。

综上所述，本申请利用具有不同反射率/颜色的物件建立第一背景影像以及第二背景影像，并利用根据第一背景影像及第二背景影像所产生的遮罩影像，对第一阶段背景去除运算(现有背景去除技术)所产生的第一背景去除影像进一步地进行第二阶段背景去除运算。相较于现有技术，本申请可进一步消除影像上的干扰。

以上所述仅为本申请的部分实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。