一种指纹图像补全模拟方法及其系统与流程
本发明涉及指纹识别技术领域，尤其涉及一种指纹图像补全模拟方法及其系统。
背景技术：
指纹识别即指通过比较不同指纹的细节特征点来进行身份鉴别。由于每个人的指纹不同，就是同一人的十指之间，指纹也有明显区别，因此指纹可用于身份鉴定。随着指纹识别技术不断地成熟，很多移动终端上设置指纹识别系统，指纹识别系统一般包括指纹图像获取、处理、特征提取和比对等模块；指纹图像获取通过专门的指纹采集仪可以采集指纹图像。指纹采集仪用到的指纹传感器按采集方式主要分为划擦式和按压式两种，按信号采集原理目前有光学式、压敏式、电容式、电感式、热敏式和超声波式等。另外，也可以通过扫描仪、数字相机等获取指纹图像。指纹形态特征包括中心(上、下)和三角点(左、右)等，指纹的细节特征点主要包括纹线的起点、终点、结合点和分叉点。从预处理后的图像中提取指纹的特征点信息(终结点、分叉点)，信息主要包括类型、坐标、方向等参数。指纹中的细节特征，通常包括端点、分叉点、孤立点、短分叉、环等。而纹线端点和分叉点在指纹中出现的机会最多、最稳定，且容易获取。这两类特征点就可对指纹特征匹配：计算特征提取结果与已存储的特征模板的相似程度。指纹匹配是用现场采集的指纹特征与指纹库中保存的指纹特征相比较，判断是否属于同一指纹。可以根据指纹的纹形进行粗匹配，进而利用指纹形态和细节特征进行精确匹配，给出两枚指纹的相似性得分。根据应用的不同，对指纹的相似性得分进行排序或给出是否为同一指纹的判决结果。
随着指纹识别技术发展的日新月异，具有指纹识别功能的设备和应用也越来越多，极大地方便了人们的生活。但是，社会群体中有一部分人群由于某种原因而造成指纹信息的缺失，如因为某次事故失去了某个手指受伤后指纹被破坏，同时已经无法获取该手指的原始完整指纹，这时，该用户就在使用很多设备的时候，就会有障碍。
技术实现要素：
本发明的主要目的在于提出一种指纹图像补全模拟方法及其系统，旨在解决用户指纹残缺时无法获得完整的指纹图像的技术问题。
为实现上述目的，本发明提供的一种指纹图像补全模拟方法，该方法包括以下步骤：
采集同一用户的多个指纹图像信息，并判断与区分残缺指纹图像信息和完整指纹图像信息；
对所述残缺指纹图像信息提取卷积网络响应，并对所述残缺指纹图像信息进行超像素分割；
根据所述卷积网络响应和所述超像素分割的结果提取超像素的卷积网络响应汇总特征；
利用与未知区域相邻的超像素结构进行超像素邻接图相似结构图匹配，得到与所述未知区域相似的中层结构区域；
对所述完整指纹图像信息中具有结构特性的图像块进行匹配，获得相似区域之间的仿射映射关系；
结合所述仿射映射关系和马尔科夫随机场能量最小化模型优化获取用于补全所述未知区域的最优图像块，并通过图像融合生成所述补全指纹图像信息。
进一步的，所述提取超像素的卷积网络响应汇总特征的步骤具体为：
将各层卷积响应结合需要表征的超像素对应区域，通过将所述卷积相响应和所述超像素对应区域相交后覆盖指定大小的网格进行汇总，再通过对超像素所覆盖的卷积网络响应进行逐层汇总，表征超像素在各层响应上的特征。
进一步的，使用泊松图像编辑对优化选择得到的各个最优图像块进行融合：首先对所述最优图像块按马尔科夫随机场中的行逐个使用泊松图像编辑相互融合，然后按列进行相同操作，最后对补全区域与初始图像进行融合，以此生成最终的所述补全指纹图像信息。
进一步的，设定所述残缺指纹图像信息的卷积网络相应为
选择前ki小的距离作为第i层筛选结果；然后进行超像素分割。
超像素分割的过程为：
对种子坐标为中心的2s*2s(或者3s*3s，s表示簇尺寸)范围内所有像素，求这些像素到种子坐标像素的距离度量因子dist，相邻簇之间的重叠区域像素按照距离最小的种子编号(blockindex)标记。整幅图像扫描一遍之后，每个像素点都对应一个blockindex，相同blockindex的像素属于同一个簇。接下来进入迭代，对上一次划分的每一个簇，求出每一个簇的labxy均值，作为新的簇心(种子)，按照上述规则重新标记，当迭代一定次数之后，分簇结果基本不发生改变即划分完成，迭代结束。迭代部分算法描述如下：
foriter＝0：iter；
初始化width*height大小的距离度量因子矩阵。
forblockindex＝0：num//num＝blockwidth*blockheight
对每个簇心周围2s*2s范围内的像素分别与当前簇心五维向量求距离度量因子，并将此度量因子与初始值比较，若比初始值小，则更新当前的度量因子，并将当前处理像素标记更新为当前簇号label[i*width+j]＝blockindex；end//根据上述更新的簇心标记label矩阵计算新的簇心(种子坐标)
forblock＝0：num
fori＝0：height-1
forj＝0：width-1
对图像从头到尾扫描一遍，重新计算簇心坐标。根据上一步已经更新的标记。将同样标记的像素的labxy五维向量分别累加起来，然后根据各个标记的数量求出均值，便可以计算出新的总共num个簇心的五维向量。
进一步的，所述未知区域相似的中层结构区域描述为：
其中：
将各层卷积网络响应区分计算得到：
其中：spi为目标超像素。
进一步的，所述相似区域之间的仿射映射关系描述为：
π＝{x|x∈{0，1}n1*n2，xij＝π{spj∈λi}}
其中п为指示函数，当输入为真时输出1，否则为0；λi为超像素spi的筛选结果。
进一步的，基于马尔科夫随机场对图像进行补全能量表达式为：
在最优图像块求解过程中将具有结构特性的图像块的置信度confidenceai*加入顶点能量ev中，即：
进一步的，所述指纹图像补全模拟方法还包括：通过云端服务器对所述残缺指纹图像信息进行补全，存储对应的所述补全指纹图像信息并将所述补全指纹图像信息发送到移动终端。
此外，为实现上述目的，本发明还提出了一种指纹图像补全模拟系统，包括设置在云端服务器的指纹补全模块和设置在移动终端的指纹识别模块，所述指纹识别模块用于获得用户残缺指纹图像信息和完整指纹图像信息，并将所述残缺指纹图像信息和所述完整指纹图像信息传输到所属云端服务器；所述指纹补全模块利用上述的指纹图像补全模拟方法获得所述残缺指纹图像信息对应的补全指纹图像信息，并将所述补全指纹图像信息发送到所述移动终端。
进一步的，所述指纹图像补全模拟系统还包括假肢指纹加载模块，用于将所述补全指纹图像信息加载设置在用户的假肢上。
本发明提出的指纹图像补全模拟方法及其系统，从残缺指纹图像的中层信息提取方式出发，利用深层卷积神经网络的响应输出作为主要中层信息提取的工具，同时结合图像分割与轮廓提取方法对提取得到的中层信息有效表达，并且通过人体个性差异的其余健康手指的完整指纹图像，用模板匹配和图匹配的思路将图像中层信息精确结合到图像补全算法的线索当中，从而补全缺失的指纹图像。使用基于采样的图像补全方式也使得算法具有更好的适应性，通过精确控制样本合成的处理过程，避免了传统纹理补全算法中的模糊问题，使得补全区域与原始图像能够较为完美地融合。
附图说明
图1为实现本发明各个实施例的移动终端的硬件结构示意图；
图2为如图1所示的移动终端的无线通信系统示意图；
图3为本发明的一种指纹图像补全模拟方法流程框图；
图4为relus激励函数图；
图5为本发明的一种指纹图像补全模拟系统结构框图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端的硬件结构示意。
移动终端100可以包括无线通信单元110、a/v(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括tv广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与tv或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(dmb)的电子节目指南(epg)、数字视频广播手持(dvb-h)的电子服务指南(esg)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(dmb-t)、数字多媒体广播-卫星(dmb-s)、数字视频广播-手持(dvb-h)，前向链路媒体(mediaflo@)的数据广播系统、地面数字广播综合服务(isdb-t)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
移动通信模块112将无线电信号发送到基站(例如，接入点、节点b等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括wlan(无线lan)(wi-fi)、wibro(无线宽带)、wimax(全球微波互联接入)、hsdpa(高速下行链路分组接入)等等。
短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙tm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、紫蜂tm等等。
位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是gps(全球定位系统)。根据当前的技术，gps模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，gps模块115能够通过实时地连续计算当前位置信息来计算速度信息。
a/v输入单元120用于接收音频或视频信号。a/v输入单元120可以包括相机121和麦克风1220，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机1210。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。
感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器1410将在下面结合触摸屏来对此进行描述。
接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(uim)、客户识别模块(sim)、通用客户识别模块(usim)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。
另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。
显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(ui)或图形用户界面(gui)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的ui或gui等等。
同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(lcd)、薄膜晶体管lcd(tft-lcd)、有机发光二极管(oled)显示器、柔性显示器、三维(3d)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为toled(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。
警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incomingcommunication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。
存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。
控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块1810，多媒体模块1810可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
生物信息识别单元1100，通过生物信息所具有的独有性来实现对移动终端100的加密，以提升移动终端100中包含的个人私密信息的安全性。移动终端100日益普及，特别是智能移动终端的功能越来越多，移动终端100的各种附加配件和配套设备也越来越多，各种设备间的互联和数据交换共享的需求随之也越来越多。如何更好的提升移动终端100使用的安全性，如何有效限制和防止非授权认证的用户对移动终端100进行操作和控制，已经受到越来越多用户的重视。随着基于指纹、面部、虹膜、语音等人体生物特征信息的生物识别技术越来越成熟，现有的移动终端100越来越普遍的运用生物信息识别来实现对用户的认证和管理，一般通过在移动终端100预先设置指纹识别模块1110，人脸识别模块1120，语音识别模块1130、虹膜识别模块等等，通过预先采集用户的人体生物特征信息并存储在移动终端100，然后采集用户的生物信息进行匹配校验；特别是指纹识别模块1110已经逐步成为了移动终端100的常规配置，指纹识别模块1110通过比较不同指纹的细节特征点来进行身份鉴别。移动终端100一般通过在背面或者正面设置指纹采集部件，通过多种形式对指纹进行采集以及匹配，从而实现通过指纹进行身份识别。为了进一步地提升指纹识别技术的运用和体验，将指纹识别模块1110集成设置在移动终端100的显示屏中，开发具有指纹识别功能的显示屏，已经成为移动终端的一个热点技术，直接轻触移动终端屏幕的指定区域实现指纹识别。如今指纹识别已成标配，不少指纹识别芯片厂商都向着“全屏指纹”方向发展，屏幕任何一个地方都能够实现指纹识别。本发明涉及的移动终端至少具有指纹身份识别功能。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。
至此，已经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。
现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。
这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(fdma)、时分多址(tdma)、码分多址(cdma)和通用移动通信系统(umts)(特别地，长期演进(lte))、全球移动通信系统(gsm)等等。作为非限制性示例，下面的描述涉及cdma通信系统，但是这样的教导同样适用于其它类型的系统。
参考图2，cdma无线通信系统可以包括多个移动终端100、多个基站(bs)270、基站控制器(bsc)275和移动交换中心(msc)280。msc280被构造为与公共电话交换网络(pstn)290形成接口。msc280还被构造为与可以经由回程线路耦接到基站270的bsc275形成接口。回程线路可以根据若干己知的接口中的任一种来构造，所述接口包括例如e1/t1、atm，ip、ppp、帧中继、hdsl、adsl或xdsl。将理解的是，如图2中所示的系统可以包括多个bsc2750。
每个bs270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离bs270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个bs270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25mhz，5mhz等等)。
分区与频率分配的交叉可以被称为cdma信道。bs270也可以被称为基站收发器子系统(bts)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个bsc275和至少一个bs270。基站也可以被称为"蜂窝站″。或者，特定bs270的各分区可以被称为多个蜂窝站。
如图2中所示，广播发射器(bt)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由bt295发送的广播信号。在图2中，示出了几个全球定位系统(gps)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的gps模块115通常被构造为与卫星300配合以获得想要的定位信息。替代gps跟踪技术或者在gps跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个gps卫星300可以选择性地或者额外地处理卫星dmb传输。
作为无线通信系统的一个典型操作，bs270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定bs270内进行处理。获得的数据被转发给相关的bsc275。bsc提供通话资源分配和包括bs270之间的软切换过程的协调的移动管理功能。bsc275还将接收到的数据路由到msc280，其提供用于与pstn290形成接口的额外的路由服务。类似地，pstn290与msc280形成接口，msc与bsc275形成接口，并且bsc275相应地控制bs270以将正向链路信号发送到移动终端100。
基于上述具有指纹识别功能的移动终端硬件结构以及通信系统，能够进行指纹信息的采集；提出本发明方法各个实施例。
参考附图3，本发明提供的一种指纹图像补全模拟方法，该方法包括以下步骤：
s101、采集同一用户的多个指纹图像信息，并判断与区分残缺指纹图像信息和完整指纹图像信息；
当用户的手指由于某种意外而残缺时，如因为烫伤、刀伤等意外破坏了手指的指纹，如常用的拇指、食指、中指等，会对用户进行指纹识别操作带来很多的不便，那么，通过移动终端的指纹识别功能可以采集用户多个手指的指纹图像，包括残指的残缺指纹图像，通过移动终端预设的比较判断模块区分残缺指纹图像和完整指纹图像。
其中，残缺指纹图像信息和完整指纹图像信息区别判断方法：比较采集的多个指纹图像信息，比较指纹图像区域的大小，获取指纹图像的外部轮廓，当指纹图像的区域小而且外部轮廓不完整时，判断为残缺指纹图像信息。
s102、对所述残缺指纹图像信息提取卷积网络响应，并对所述残缺指纹图像信息进行超像素分割；
本发明的图像补全主要运用到图像的中层信息，中层信息的定义是来源于计算机视觉技术领域的。如果将基于图像像素值的统计与分析结果称为计算机视觉的低层信息，而最终对于世界的认知与描述作为高层信息，那么当前研究所取得的突破，很大程度上是在低层图像特征提取与高层语义信息之间构建起了一座桥梁——即视觉的中层信息。这些信息大多表现为物体的形状、部分与轮廓，在视觉信息的表达上起到了十分关键的作用。由于图像补全在许多情况下需要处理的正是物体部分的补全与去除，因此中层信息对于图像补全而言十分关键。
卷积神经网络是一种共享权值的神经网络，即对于同一数据输入的不同部分通常使用相同的权值进行处理。相此经典的神经网络将图像整体作为高维输入，卷积神经网络将图像作为一系列的图像块对待，每个神经元节点对应不同颜色的系数，这些系数与局部图像块进行作用，并且作用区域在整个图像上平移，随着区域的移动，系数与图像进行卷积产生响应图，每个神经元对应均生成对应的响应图。相当于将权值作为卷积核在图像上进行卷积运算，具体运算形式如下：
其中
这种处理方法既保留了输入数据的局部相关性，又避免了权值过多所造成的训练困难；同时，常见的卷积神经网络将上一层卷积的响应输出作为下一层卷积的输入，从而形成了多尺度的层次响应，有效地逐渐扩大当前响应在原始图像数据上的相关范围，能够将图像的结构和纹理信息通过反向传播算法分层级学习到卷积核——亦即各个卷积层的系数当中，从而实现了从图像中获取各层信息的效果，第一层卷积核直接作用于彩色图像，因此色彩信息丰富，并且包含了丰富的线条与纹理检测单元；第二层卷积核示意图中，结构信息相比第一层更加丰富；第三层卷积核示意图中，包含了中层信息检测单元。在卷积神经网络中，另外一种常见的数据处理流程是汇总(pooling)，通过下采样(subsampling)的方式实现。汇总层的具体形式如下：
其中down(x)表示下采样函数。wjl和bjl分别表示权值和偏置。
卷积层虽然能够较好地学习到图像的结构信息，但会产生大量的数据，使得神经网络的学习非常缓慢，同时难以抑制不必要的响应。卷积神经网络中的汇总层的作用在于弥补卷积层对于响应的无差别对待所产生的数据爆炸，提高网络有效汇聚图像中结构信息的能力。但是，通过场景标记算法中，三层卷积神经网络结构有效地提取出了图像中的中层特征。
在计算机视觉领域，图像分割(lmagesegmentation)通常是指使用不同的标签标记图像中具有不同属性的区域，并且给出不同标记区域的边界。其中，不同属性可以是指不同的颜色，不同的纹理，不同的亮度，或者不同的物体部分。自然图像中的场景通常由各种各样的物体构成，而这些物体往往对图像的结构有着关键的影响。
图像分割算法经常采用区域分裂合并的方法对图像进行处理。这类算法通常先将图像整体通过一些简单的低层特征将图像分裂成许多像素值接近的小区域。另外，利用pb边缘描述子和n-cut聚类算法将图像过分割(over-segment)成为形状与大小类似的超像素(superpixel)，然后通过学习人工分割中的轮廓信息训练分割算法。其中超像素不但在颜色和纹理上具有均一性，而且它们的边缘与图像的轮廓重合度较高，具有很好的性质。通过分割得到的超像素可以有效地作为图像中层信息的准确表达。
本技术方案中，设定所述残缺指纹图像信息的卷积网络相应为
选择前ki小的距离作为第i层筛选结果；然后进行超像素分割。
超像素分割的过程为：
对种子坐标为中心的2s＊2s(或者3s＊3s，s表示簇尺寸)范围内所有像素，求这些像素到种子坐标像素的距离度量因子dist，相邻簇之间的重叠区域像素按照距离最小的种子编号(blocklndex)标记。整幅图像扫描一遍之后，每个像素点都对应一个blocklndex，相同blocklndex的像素属于同一个簇。接下来进入迭代，对上一次划分的每一个簇，求出每一个簇的labxy均值，作为新的簇心(种子)，按照上述规则重新标记，当迭代一定次数之后，分簇结果基本不发生改变即划分完成，迭代结束。迭代部分算法描述如下：
foriter＝0：iter；
初始化width＊height大小的距离度量因子矩阵。
forblocklndex＝0：num//num＝blockwidth＊blockheight
对每个簇心周围2s＊2s范围内的像素分别与当前簇心五维向量求距离度量因子，并将此度量因子与初始值比较，若比初始值小，则更新当前的度量因子，并将当前处理像素标记更新为当前簇号label[i＊width+j]＝blocklndex；end//根据上述更新的簇心标记label矩阵计算新的簇心(种子坐标)
forblock＝0：num
fori＝0：height-1
forj＝0：width-1
对图像从头到尾扫描一遍，重新计算簇心坐标。根据上一步已经更新的标记。将同样标记的像素的labxy五维向量分别累加起来，然后根据各个标记的数量求出均值，便可以计算出新的总共num个簇心的五维向量。
s103、根据所述卷积网络响应和所述超像素分割的结果提取超像素的卷积网络响应汇总特征；
s104、利用与未知区域相邻的超像素结构进行超像素邻接图相似结构图匹配，得到与所述未知区域相似的中层结构区域；
将从图像的中层信息提取方式出发，利用深层卷积神经网络的响应输出作为主要中层信息提取的工具，同时结合图像分割与轮廓提取方法对提取得到的中层信息有效表达。随后，利用模板匹配和图匹配的思路将图像中层信息精确结合到图像补全算法的线索当中。
将未知区域相似的中层结构区域描述为：
其中：
将各层卷积网络响应区分计算得到：
其中：spi为目标超像素。
其中，所述提取超像素的卷积网络响应汇总特征的步骤具体为：
将各层卷积响应结合需要表征的超像素对应区域，通过将所述卷积相响应和所述超像素对应区域相交后覆盖指定大小的网格进行汇总，再通过对超像素所覆盖的卷积网络响应进行逐层汇总，表征超像素在各层响应上的特征。
s105、对所述完整指纹图像信息中具有结构特性的图像块进行匹配，获得相似区域之间的仿射映射关系；
最优图像块的获取隐含了补全区域对于结构的假设，因此在诸多利用中层信息进行补全的算法当中，需要从算法假设的结构区域进行最优图像块的采样，并且保证合适的样本数量充足。为了能够充分利用所构建的中层信息得到合适的最优图像块，还需要结合图像自身的信息对范例图像块的获取进行考虑。通过之前所得到的相似超像素图匹配，已经可以有效地寻找图像中相似结构的分布，但这些分布遍布整张图，并且结构之间包含了复杂的仿射变换，并不能够从中直接获取范例图像块，需要先对这些相似结构进行预处理。
对于图像的仿射变换的处理方式，可以考虑通过图像块的位置分布估计得到的相似结构线索当中对应的仿射变换矩阵(也就是仿射关系)。首先需要得到适合用于匹配的图像块。由于相似结构部分主要是超像素之间的边界和轮廓关系所构成的，因此优先考虑超像素的边界部分的图像块。
仿射矩阵对邻接图各个顶点的匹配进行了整合，给出了相似结构部分在图像像素空间中的映射，得到了局部像素匹配关系，这一关系可以直接用于获取图像补全所需要的最优图像块。仿射关系基于mrf的能量最小化模型通过全局能量最小化对候选图像块进行选择，将补全信息从边界扩散到整个未知区域。通过配合线索选出的图像块，有效地结合了图像补全的线索和局部图像的相似信息。
所述相似区域之间的仿射映射关系描述为：
π＝{x|x∈{0，1}n1*n2，xij＝π{spj∈λi}}
其中п为指示函数，当输入为真时输出1，否则为0；λi为超像素spi的筛选结果。
s106、结合所述仿射映射关系和马尔科夫随机场能量最小化模型优化获取用于补全所述未知区域的最优图像块，并通过图像融合生成所述补全指纹图像信息。
基于马尔科夫随机场对图像进行补全能量表达式为：
在最优图像块求解过程中将具有结构特性的图像块的置信度confidenceai*加入顶点能量ev中，即：
其中x表示顶点选择图像块的指标集；ev表示各个顶点的能量，通常包括其所覆盖的图像块与未知区域边界部分重叠的差异，以及与根据线索所能够推断得到的理想结构之间的距离；ee表示边的能量，通常由边所连接的两顶点之间重合的图像块差异构成。
马尔科夫随机场作为模式识别中结构化学习的重要分支，概率图模型在计算机视觉领域有着极为广泛的应用。它通过将图模型概率化的方式成功地构建了一套成熟的结构化的学习、推断与决策的方法。而在图像补全算法中，最为常见的概率图模型要数马尔科夫随机场(markovrandomfield，mrf)了，这种基于产生式概率分布构建的模型通常用于表达候选图像块在未知区域中出现的可能性，以及它们的相关参数。当然，由于图像补全问题的特性，这些算法构建得到的mrf缺少训练样本，只能通过人工设定的参数进行非监督的能量最小化，从而退化成为基于图的能量最小化模型进行求解，给出图像块的最佳推断。
其中，使用泊松图像编辑对优化选择得到的各个最优图像块进行融合：首先对所述最优图像块按马尔科夫随机场中的行逐个使用泊松图像编辑相互融合，然后按列进行相同操作，最后对补全区域与初始图像进行融合，以此生成最终的所述补全指纹图像信息。
泊松图像编辑的基本思想是将两个需要融合的图像部分分别视作两个函数，并利用这两个函数在边界处的梯度场的插值函数加以约束并求解，得到梯度一致的边界。其中的约束被称为指导梯度场，而求解过程可以转化为求解狄利克雷边界条件(dirichletboundarycondition)下的泊松方程(possionequation)，因此被称为泊松图像编辑。
泊松图像编辑实质上充分考虑了两张需要融合的图像的边界处的拉普拉斯算子的连续性，因此从视觉效果上可以形成较为自然的融合结果。在泊松图像编辑中，边界区域的大小可以任意指定，因此这种方法可以适应不同的应用场合。
实施例2
此外，为实现上述目的，参考附图5，本发明还提出了一种指纹图像补全模拟系统，包括设置在云端服务器的指纹补全模块和设置在移动终端的指纹识别模块，所述指纹识别模块用于获得用户残缺指纹图像信息和完整指纹图像信息，并将所述所述残缺指纹图像信息和所述完整指纹图像信息传输到所属云端服务器；所述指纹补全模块利用上述的指纹图像补全模拟方法获得所述残缺指纹图像信息对应的补全指纹图像信息，并将所述补全指纹图像信息发送到所述移动终端。
其中，所述指纹图像补全模拟系统还包括假肢指纹加载模块，用于将所述补全指纹图像信息加载设置在用户的假肢上。
本发明提出的指纹图像补全模拟方法及其系统，从残缺指纹图像的中层信息提取方式出发，利用深层卷积神经网络的响应输出作为主要中层信息提取的工具，同时结合图像分割与轮廓提取方法对提取得到的中层信息有效表达，并且通过人体个性差异的其余健康手指的完整指纹图像，用模板匹配和图匹配的思路将图像中层信息精确结合到图像补全算法的线索当中，从而补全缺失的指纹图像。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！