一种基于扭曲指纹的触控方法与电子设备与流程

文档序号:26138871发布日期:2021-08-03 14:22阅读:56来源:国知局
一种基于扭曲指纹的触控方法与电子设备与流程

本申请涉及终端技术领域,尤其涉及一种基于扭曲指纹的触控方法与电子设备。



背景技术:

目前,用户对电子设备的控制主要依赖触摸屏。触摸屏可用于检测触摸操作,比如滑动、单击或双击等操作,电子设备根据触摸操作产生相应的响应,并提供视觉输出。

用户手指在触摸屏上的触摸操作有一定的局限性,尤其是大屏幕电子设备。比如,用户右手单手握持电子设备时,右手大拇指在触摸屏上能够触摸到的区域有限,假如用户想要触摸远离右手大拇指的区域时,需要调整握姿才能触摸到,操作不够便捷;而且调整握姿的过程中,电子设备握持不稳定,还有可能掉落,影响用户体验。总之,单纯依赖于触摸屏的触摸检测实现对电子设备的触控,有一定局限性。



技术实现要素:

本申请的目的在于提供了一种基于扭曲指纹的触控方法与电子设备,用以提升用户操作电子设备的便捷性。

上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。

第一方面,提供一种基于扭曲指纹的触控方法,该方法可以应用于具有指纹传感器的电子设备,例如,手机、平板电脑等。电子设备检测第一指纹图像,确定第一指纹图像上第一扭曲指纹所指示的第一扭曲方向;然后基于该第一扭曲方向,操作所述电子设备。

因此,电子设备可以不再单纯依赖触摸屏实现相应的操作,而是通过指纹传感器检测到的用户指纹图像上的扭曲指纹识别扭曲指纹指示的第一扭曲方向,该第一扭曲方向可以体现用户意图,即用户手指意图向哪个方向扭曲,因此,电子设备可以基于第一扭曲方向操作电子设备,以满足用户意图,方便操作,用户体验度较高。

电子设备可以包括指纹认证场景和非指纹认证场景。其中,指纹认证场景可以理解为需要指纹认证的场景。非指纹认证场景可以理解为不需要进行指纹认证的场景。例如,指纹认证场景可以包括指纹解锁场景、指纹支付场景等等。除去指纹认证场景之外的其它场景即非指纹认证场景。

示例性的,电子设备在确定所述第一扭曲指纹指示第一扭曲方向之前,还可以判断所述电子设备当前的使用场景是否为无需使用指纹进行认证的非指纹认证场景;若确定所述当前的使用场景为非指纹认证场景,说明用于意图通过扭曲指纹操作电子设备,则确定所述第一扭曲指纹所指示的第一扭曲方向,基于该第一扭曲方向操作电子设备。若所述当前的使用场景为需要进行指纹认证的指纹认证场景,将所述第一指纹图像与预存的指纹图像进行匹配,即对第一指纹图像进行指纹认证(即身份认证)即可,可以无需确定第一扭曲指纹的扭曲方向,提升效率。

在一种可能的设计中,电子设备在所述基于所述第一扭曲方向,操作所述电子设备之前,还可以等待预设时长之后,检测到第二指纹图像;若所述第二指纹图像内包括第二扭曲指纹,且所述第二扭曲指纹指示的第二扭曲方向与所述第一扭曲方向一致,基于所述第一扭曲方向操作电子设备,有助于避免用户误触指纹传感器而导致控制电子设备。

示例1,电子设备还可以在所述预设时长达到之前,确定用户手指与所述指纹传感器持续接触。以屏下指纹传感器为例,触摸屏检测到用户手指持续接触触摸屏,即确定用户手指与指纹传感器持续接触。也就是说,用户手指持续接触指纹传感器的过程中,指纹传感器采集的第一指纹图像和第二指纹图像所指示的扭曲方向一致,则基于所述扭曲方向操作电子设备,有助于避免用户手指误触指纹传感器而导致对电子设备的控制。

示例2,电子设备确定在所述预设时长达到之前,用户手指与指纹传感器持续接触,且接触位置不变。也就是说,用户手指持续接触指纹传感器的过程中,无需挪动手指位置或者说无需大幅度挪动手指位置,只需小幅度搓动手指,就可以操作电子设备。例如,用户手指小幅度向左搓动时,电子设备检测到扭曲指纹,识别该扭曲指纹指示第一扭曲方向为向左,则电子设备基于第一扭曲指纹操作电子设备,操作便捷,尤其便于对大屏电子设备的操作。

在一些可能的设计中,电子设备基于所述第一扭曲方向操作电子设备的场景有多种,包括但不限定于如下场景:

场景1:电子设备确定当前显示界面内包括光标时,按照所述第一扭曲方向调整所述光标的位置。

场景2:电子设备确定当前显示界面为游戏界面时,按照所述第一扭曲方向调整所述游戏界面中的游戏人物的位置。

场景3:电子设备确定当前显示界面内包括3d图像时,按照所述第一扭曲方向调整所述3d图像内3d模型的旋转方向。

场景4:电子设备基于第一扭曲方向,控制显示界面的翻阅、电影快进或快退、显示屏亮度变化或音量变化。

可以理解的是,当电子设备确定用户手指抬起不接触指纹传感器时,可以停止操作电子设备。以屏下指纹传感器为例,tp检测到用户手指抬起不接触触摸屏时,确定用户手指抬起不接触指纹传感器,所以电子设备停止基于第一扭曲指纹操作电子设备。

或者,用户手指持续接触指纹传感器的过程中,指纹传感器周期性的不断采集指纹图像,在第一指纹图像之后的某个时刻采集到包含正常指纹的第三指纹图像则停止操作电子设备。也就是说,用户手指向某个方向倾斜着按压指纹传感器(指纹传感器采集到扭曲指纹)时,采集到包含扭曲指纹的指纹图像,操作电子设备,用户手指不抬起,但手指恢复正常按压状态(指纹传感器采集到正常指纹)时,停止操作电子设备。通常,用户手指接触指纹传感器的过程中,用户手指在同一接触位置向不同方向扭曲(例如,小幅度搓动)即可产生扭曲指纹,所以本申请实施例提供的基于扭曲指纹的触控方法中,无需用户大幅度移动手指即可操作电子设备,操作便捷,用户体验高,尤其对大屏电子设备的操作。

在一种可能的设计中,电子设备确定所述第一扭曲指纹指示的第一扭曲方向的方式有多种,包括但不限定于如下方式:

方式1,通常,由于扭曲指纹的形状发生扭曲变化,所以扭曲指纹上的第一特征点相对于正常指纹图像上第二特征点发生偏移,所以,所述第二特征点相对于所述第一特征点的方向用于指示所述第一扭曲方向。因此,电子设备可以确定所述第一扭曲指纹上的第一特征点,并确定与所述第一扭曲指纹相匹配的正常指纹上与所述第一特征点对应的第二特征点;所述第一扭曲指纹和所述正常指纹在同一坐标系中;则所述第二特征点相对于所述第一特征点的方向用于指示所述第一扭曲方向。

方式2,通常,用户手指倾斜着按压指纹传感器时,倾斜方向上用户手指力度较大,纹理被拉伸导致纹理之间的间隔增大,与倾斜方向相对的方向上的纹理被挤压导致纹理之间的间隔缩小。因此,电子设备可以确定所述第一扭曲指纹上纹理间隔大于预设间隔第一区域,以及纹理间隔小于所述预设间隔的第二区域,所述第二区域与所述第一区域内的纹理平行;则所述第二区域内纹理的第一法线方向为所述第一扭曲方向,所述第一法线方向指向所述第一区域。

方式3,通常,用户手指倾斜着按压指纹传感器时,指纹传感器采集的指纹图像上纹理不完整。例如,假设用户手指向左倾斜按压指纹传感器,手指左侧区域(例如指纹漩涡中心的左侧区域)接触指纹传感器,右侧区域(例如指纹漩涡中心的右侧区域)可能不接触指纹传感器或接触区域较少;因此指纹传感器采集的指纹图像上指纹不完整,例如不包含手指漩涡中心右侧区域的纹理或者手指漩涡中心右侧区域的纹理数量较少。因此,电子设备可以确定所述第一扭曲指纹上的第一区域和第二区域,所述第一区域相对于所述第一扭曲指纹上漩涡的第一方位与所述第二区域相对于所述漩涡的第二方位相反;若所述第一区域中的指纹条数大于所述第二区域内的指纹条数,确定所述第一方位为所述第一扭曲方向。

上述三种方式仅是举例,而非限定,其它的用于确定扭曲指纹所指示的第一扭曲方向的方式也是可行的。无论何种方式,电子设备确定出扭曲指纹指示的第一扭曲方向之后,基于第一扭曲方向操作电子设备,方便用户操作,提升用户体验。

第二方面,还提供一种电子设备,包括:一个或多个处理器;存储器;多个应用程序;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧执行如下步骤:

检测第一指纹图像,所述第一指纹图像上包含指纹形状发生扭曲的第一扭曲指纹;

确定所述第一扭曲指纹所指示的第一扭曲方向;所述第一扭曲方向用于指示用户手指接触所述指纹传感器时的扭动方向;

基于所述第一扭曲方向,操作所述电子设备。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:

判断所述电子设备当前的使用场景是否为无需使用指纹进行认证的非指纹认证场景;

若确定所述当前的使用场景为非指纹认证场景,确定所述第一扭曲指纹所指示的第一扭曲方向。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:

若确定所述当前的使用场景为需要进行指纹认证的指纹认证场景,将所述第一指纹图像与预存的指纹图像进行匹配;

若所述第一指纹图像与预存的指纹图像进行匹配成功,确定认证通过;

若所述第一指纹图像与预存的指纹图像进行匹配失败,确定认证不通过。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:

等待预设时长之后,检测到第二指纹图像;

若所述第二指纹图像内包括第二扭曲指纹,且所述第二扭曲指纹所指示的第二扭曲方向与所述第一扭曲方向一致,基于所述第一扭曲方向操作电子设备。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:在所述预设时长达到之前,确定用户手指与所述指纹传感器持续接触。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:在所述预设时长达到之前,确定用户手指与指纹传感器持续接触,且接触位置不变。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:

所述电子设备确定当前显示界面内包括光标时,按照所述第一扭曲方向调整所述光标的位置;或者,

所述电子设备确定当前显示界面为游戏界面时,按照所述第一扭曲方向调整所述游戏界面中的游戏人物的位置;或者,

所述电子设备确定当前显示界面内包括3d图像时,按照所述第一扭曲方向调整所述3d图像内3d模型的旋转方向。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:基于所述第一扭曲方向控制显示界面的翻阅、电影快进或快退、显示屏亮度变化或音量变化。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:确定用户手指停止接触所述指纹传感器,或者,确定用户手指持续接触所述指纹传感器,并检测到第三指纹图像,且所述第三指纹图像中包括指纹形状未发生扭曲的正常指纹,停止操作电子设备。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:确定所述第一扭曲指纹上的第一特征点,并确定与所述第一扭曲指纹相匹配的正常指纹上与所述第一特征点对应的第二特征点;所述第一扭曲指纹和所述正常指纹在同一坐标系中;所述第二特征点相对于所述第一特征点的方向用于指示所述第一扭曲方向。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:

确定所述第一扭曲指纹上纹理间隔大于预设间隔第一区域,以及纹理间隔小于所述预设间隔的第二区域,所述第二区域与所述第一区域内的纹理平行;

所述第二区域内纹理的第一法线方向为所述第一扭曲方向,所述第一法线方向指向所述第一区域。

在一种可能的设计中,当所述指令被所述电子设备执行时,使得所述电子设备中的系统侧还执行如下步骤:

确定所述第一扭曲指纹上的第一区域和第二区域,所述第一区域相对于所述第一扭曲指纹上漩涡的第一方位与所述第二区域相对于所述漩涡的第二方位相反;

若所述第一区域中的指纹条数大于所述第二区域内的指纹条数,确定所述第一方位为所述第一扭曲方向。

第三方面,还提供一种电子设备,包括:执行上述第一方面或第一方面的任意一种可能的设计的方法的模块/单元;这些模块/单元可以通过硬件实现,也可以通过硬件执行相应的软件实现。

第四方面,还提供一种芯片,所述芯片与电子设备中的存储器耦合,使得所述芯片在运行时调用所述存储器中存储的程序指令,实现如上述第一方面提供的方法。

第五方面,还提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如上述第一方面提供的方法。

第六方面,还提供一种计算机程序产品,包括指令,当所述指令在计算机上运行时,使得所述计算机及执行如上述第一方面提供的方法。

以上第二方面到第六方面的有益效果,请参考第一方面的有益效果,不再赘述。

附图说明

图1为本申请一实施例提供的正常指纹与扭曲指纹的示意图;

图2a为本申请一实施例提供的电子设备的硬件结构示意图;

图2b为本申请一实施例提供的电子设备的软件结构示意图;

图3为本申请一实施例提供的基于扭曲指纹的触控方法的流程示意图;

图4为本申请一实施例提供的电子设备上指纹传感器设置位置的示意图;

图5为本申请一实施例提供的正常指纹形状与扭曲指纹形状的示意图;

图6为本申请一实施例提供的指纹图像上特征点的示意图;

图7为本申请一实施例提供的第二特征点向第一特征点的指示方向的示意图;

图8为本申请一实施例提供的正常指纹对应的第一网格、扭曲指纹对应的第二网格的示意图;

图9为本申请一实施例提供的不同扭曲指纹对应的网格的示意图;

图10为本申请一实施例提供的扭曲指纹所指示的扭曲方向的示意图;

图11为本申请一实施例提供的tp检测的电容信号的示意图;

图12-图15为本申请一实施例提供的电子设备的显示界面的示意图;

图16为本申请一实施例提供的电子设备的结构的示意图。

具体实施方式

下面将结合本申请以下实施例中的附图,对本申请实施例中的技术方案进行详尽描述。

以下,先对本申请实施例中涉及的部分用语进行解释说明,以便于本领域技术人员容易理解。

1)、正常指纹,可以理解为指纹形状未发生扭曲的指纹。参见图1(a)所示,通常用户手指正对指纹传感器按压时,指纹传感器采集到的指纹图像上包括正常指纹。通常,正常指纹上纹理分布较为均匀,比如,参见图1(a),指纹漩涡处于纹理中相对居中的位置。

2)、扭曲指纹,可以理解为指纹形状发生扭曲的指纹。参见图1(b)所示,用户手指倾斜着按压指纹传感器或者在用户手指在指纹传感器上向某个方向搓动时,指纹传感器采集的指纹图像上包括扭曲指纹。通常,扭曲指纹上纹理分布不均匀,比如,指纹漩涡处于不在纹理中间位置,例如图1(b)中,指纹漩涡在指纹图像右下角。

本申请实施例涉及的至少一个,包括一个或者多个;其中,多个是指大于或者等于两个。另外,需要理解的是,在本申请的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。

本申请实施例提供的基于扭曲指纹的触控方法可以适用于任何具有指纹传感器的电子设备,诸如手机、平板电脑、笔记本电脑、穿戴设备(例如手环、手表、头盔、耳机等)、车载设备、智能家居设备等。以笔记本电脑为例,指纹传感器可以设置于触摸板。以手机为例,指纹传感器可以设置在手机上的任意位置,例如手机上与显示屏所在平面相对的一面(即背面),或者设置在显示屏中(简称,屏下指纹传感器);或者设置在手机侧面等等。手机可以是全面屏手机、曲面屏手机、折叠手机等等,本申请实施例不作限定。

示例性的,图2a示出了电子设备100的结构示意图。如图2a所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserialbus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentificationmodule,sim)卡接口195等。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(applicationprocessor,ap),调制解调处理器,图形处理器(graphicsprocessingunit,gpu),图像信号处理器(imagesignalprocessor,isp),控制器,存储器,视频编解码器,数字信号处理器(digitalsignalprocessor,dsp),基带处理器,和/或神经网络处理器(neural-networkprocessingunit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

usb接口130是符合usb标准规范的接口,具体可以是miniusb接口,microusb接口,usbtypec接口等。usb接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoiseamplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalareanetworks,wlan)(如无线保真(wirelessfidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(globalnavigationsatellitesystem,gnss),调频(frequencymodulation,fm),近距离无线通信技术(nearfieldcommunication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。

在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications,gsm),通用分组无线服务(generalpacketradioservice,gprs),码分多址接入(codedivisionmultipleaccess,cdma),宽带码分多址(widebandcodedivisionmultipleaccess,wcdma),时分码分多址(time-divisioncodedivisionmultipleaccess,td-scdma),长期演进(longtermevolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(globalpositioningsystem,gps),全球导航卫星系统(globalnavigationsatellitesystem,glonass),北斗卫星导航系统(beidounavigationsatellitesystem,bds),准天顶卫星系统(quasi-zenithsatellitesystem,qzss)和/或星基增强系统(satellitebasedaugmentationsystems,sbas)。

显示屏194用于显示应用的显示界面,例如相机应用的取景界面等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay,lcd),有机发光二极管(organiclight-emittingdiode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的,amoled),柔性发光二极管(flexlight-emittingdiode,fled),miniled,microled,micro-oled,量子点发光二极管(quantumdotlightemittingdiodes,qled)等。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n为大于1的正整数。

电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。

isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupleddevice,ccd)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。

数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(movingpictureexpertsgroup,mpeg)1,mpeg2,mpeg3,mpeg4等。

npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,以及至少一个应用程序(例如爱奇艺应用,微信应用等)的软件代码等。存储数据区可存储电子设备100使用过程中所产生的数据(例如拍摄的图像、录制的视频等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflashstorage,ufs)等。

外部存储器接口120可以用于连接外部存储卡,例如microsd卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将图片,视频等文件保存在外部存储卡中。

电子设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。

其中,传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。

压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。

陀螺仪传感器180b可以用于拍摄防抖。气压传感器180c用于测量气压。在一些实施例中,电子设备100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。

距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180f测距以实现快速对焦。接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。

环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。

指纹传感器180h用于采集指纹图像。电子设备100可以利用采集的指纹图像实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等功能。例如,指纹传感器180h采集到指纹图像之后,将所述指纹图像发送给处理器110进行处理。例如,处理器110从内部存储器121中读取预存的指纹图像,然后将指纹传感器180h采集的指纹图像与所述预存的指纹图像比对,若一致,则指纹认证通过,若不一致,则指纹认证不通过。

在一些实施例中,指纹传感器180h采集到第一指纹图像,并将第一指纹图像发送给处理110。处理器110可以识别第一指纹图像中扭曲指纹所指示的第一扭曲方向,基于该第一扭曲方向操作电子设备100。例如,处理器110响应于所述第一扭曲方向实现对显示屏中光标的控制(例如位置移动)、电子书翻页、电影快进/快退等。

温度传感器180j用于检测温度。在一些实施例中,电子设备100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,电子设备100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。

触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。

骨传导传感器180m可以获取振动信号。在一些实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。

按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195,或从sim卡接口195拔出,实现与电子设备100的接触和分离。

可以理解的是,图2a所示的部件并不构成对电子设备100的具体限定,电子设备100还可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。此外,图2a中的部件之间的组合/连接关系也是可以调整修改的。

图2b示出了本申请一实施例提供的电子设备的软件结构框图。如图2b所示,电子设备的软件结构可以是分层架构,例如可以将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层(framework,fwk),安卓运行时(androidruntime)和系统库,以及内核层。

应用程序层可以包括一系列应用程序包。如图2b所示,应用程序层可以包括相机、设置、皮肤模块、用户界面(userinterface,ui)、三方应用程序等。其中,三方应用程序可以包括微信、qq、图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息等。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramminginterface,api)和编程框架。应用程序框架层可以包括一些预先定义的函数。如图2b所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。

androidruntime包括核心库和虚拟机。androidruntime负责安卓系统的调度和管理。

核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(surfacemanager),媒体库(medialibraries),三维图形处理库(例如:opengles),2d图形引擎(例如:sgl)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。

三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。

2d图形引擎是2d绘图的绘图引擎。

此外,系统库还可以包括图像处理库,用于对图像进行处理,以实现摇、移、升、降的拍摄效果。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。

硬件层可以包括各类传感器,例如本申请实施例中涉及的加速度传感器、陀螺仪传感器、触摸传感器等。

下面结合本申请实施例的,示例性说明电子设备的软件以及硬件的工作流程。

指纹传感器180h采集到第一指纹图像,产生相应的硬件中断,该硬件中断被发给内核层,经由内核层发送给系统库。系统库识别第一指纹图像中扭曲指纹所指示的第一扭曲方向,将识别出的第一扭曲方向发送给应用程序层中当前运行的应用。所述当前运行的应用例如为电子设备显示屏中正在显示的应用(简称前台应用)。假设当前运行应用为word应用,显示屏上显示word应用的显示界面,该显示界面中包括光标。再假设第一扭曲方向为向左,所述当前运行的应用响应于所述第一扭曲方向,将光标向左移动等等。

图3示出了本申请一实施例提供的基于扭曲指纹的触控方法的流程示意图。如图3所示,该方法的流程包括:

301,电子设备检测到第一指纹图像。

电子设备中包括指纹传感器,用于检测指纹图像。指纹传感器在电子设备上的位置本申请实施例不作限定。例如,参见图4(a),指纹传感器设置于home按键所在位置。或者,参见图4(b),指纹传感器设置于显示屏内的全部或部分区域(即屏下指纹传感器)。或者,参见图4(c),指纹传感器设置在电子设备侧边上。或者,参见图4(d),指纹传感器设置在电子设备背面(与显示屏相对的一面),等等。用户手指接触指纹传感器时,指纹传感器检测到第一指纹图像。

302,电子设备判断当前场景是指纹认证场景还是非指纹认证场景。若当前场景属于非指纹验证场景,执行303;若当前场景处于指纹认证场景,对所述第一指纹图像进行指纹认证。这里提到的指纹认证场景可以理解为需要指纹认证的场景。非指纹认证场景可以理解为不需要进行指纹认证的场景。例如,指纹认证场景可以包括指纹解锁场景、指纹支付场景等等。除去指纹认证场景之外的其它场景即非指纹认证场景。

电子设备可以通过当前的状态(例如是否锁屏状态)、显示界面等判断当前场景属于指纹认证场景还是非指纹认证场景。例如,电子设备确定当前处于锁屏状态,则确定当前场景为指纹认证场景。再例如,电子设备确定当前显示界面中包括提示信息,该提示信息用于提示用户输入指纹进行解锁、支付等,确定当前场景为指纹认证场景。当电子设备确定当前场景不属于指纹认证场景时,确定属于非指纹认证场景。

也就是说,在本申请实施例中,电子设备检测到第一指纹图像之后,若确定当前场景是非指纹认证场景,则进行执行后续处理。若确定当前场景是指纹认证场景,则对第一指纹图像进行指纹认证(即身份认证)。其中,对第一指纹图像进行指纹认证的过程包括将第一指纹图像和预存的指纹图像进行匹配,若匹配成功,确定认证通过,若匹配失败,确定认证不通过。

303,电子设备判断所述第一指纹图像中的指纹是扭曲指纹还是正常指纹,所述扭曲指纹可以理解为指纹形状发生扭曲的指纹;所述正常指纹可以理解为指纹形状未发生扭曲的指纹;关于扭曲指纹和正常指纹的介绍参见前文,在此不重复赘述。若第一指纹图像中包括扭曲指纹,执行304,若第一指纹图像中包括正常指纹,可以不作响应。可以理解的是,当前场景是非指纹认证场景的情况下,若第一指纹图像中包括正常指纹,可能是用户误触指纹传感器,所以可以不作响应。若第一指纹图中包括扭曲指纹,可能是用户期望通过扭曲指纹触控电子设备,所以电子设备继续执行304。

示例性的,电子设备可以通过第一指纹图像中的指纹形状是第一指纹图像上包括正常指纹还是扭曲指纹。

作为一种示例,指纹形状可以理解为指纹图像上指纹的边缘轮廓所围成的区域的形状。电子设备中可以存储的正常指纹形状,将第一指纹图像上的指纹的边缘轮廓所围成的形状与存储的正常指纹形状比较,若一致,则确定第一指纹图像上的指纹是正常指纹,否则为扭曲指纹。以图1中的正常指纹为例,其对应的正常指纹形状请参见图5(a)中虚线所围成的形状。以图1中扭曲指纹为例,其对应的指纹形状请参见图5(b)中虚线所围成的形状。电子设备确定第一指纹图像上指纹的边缘轮廓所围成的形状,将该形状与存储的正常指纹形状比较,若不一致,则确定第一指纹图像上包括扭曲指纹。

作为另一些示例,指纹形状还可以包括指纹上纹理的分布情况,例如漩涡位置。如前文所述,正常指纹上漩涡位于纹理中间位置。因此,电子设备还可以判断第一指纹图像上的指纹漩涡是否处于纹理中间位置,若是在,则确定第一指纹图像上包括正常指纹,若否,则判断第一指纹图像上包括扭曲指纹。假设第一指纹图像是图1(b)所示的指纹图像,电子设备确定指纹漩涡处于纹理右下角位置,确定第一指纹图像上包括扭曲指纹。

以上是电子设备通过指纹形状判断第一指纹图像上是正常指纹还是扭曲指纹的两种示例,其它的方式也是可行的,本申请实施例不再一一列举。

可以理解的是,上述电子设备通过指纹形状判断第一指纹图像上包括正常指纹还是扭曲指纹的过程可以由机器学习算法实现,所述机器学习算法例如分类算法,所述分类算法例如支持向量机(supportvectormachine,svm)分类器。所述分类算法是可以经过训练的,能够确定出满足条件的正常指纹(例如指纹形状与正常指纹形状一致的指纹),则输出分类结果为正常指纹;能够确定出不满足条件的扭曲指纹(例如指纹形状与正常指纹形状不一致的指纹),则输出结果为扭曲指纹。当然,除去所述分类器之外,还可以使用其它机器学习算法例如卷积神经网络算法来区分,本申请实施例不作限定。

304,确定所述扭曲指纹所指示的第一扭曲方向。所述第一扭曲方向用于指示用户手指接触指纹传感器时的扭动(或称为搓动)方向。如前文关于图1的描述,用户手指在指纹传感器上向某个方向搓动时,指纹传感器采集到扭曲指纹。因此,电子设备通过识别扭曲指纹所指示的第一扭曲方向,识别用户意图即用户手指意图扭动的扭动方向,进而根据该扭动方向操作电子设备。

其中,电子设备确定所述扭曲指纹所指示的第一扭曲方向的方式有多种,包括但不限定于如下方式1-方式4。

方式1:

电子设备中存储有一个或多个正常指纹图像。电子设备可以判断存储的一个或多个正常指纹图像中是否存在与所述第一指纹图像相匹配的正常指纹图像。若存在,可以根据所述第一指纹图像以及与所述第一指纹图像相匹配的正常指纹图像确定第一指纹图像中的扭曲指纹所指示的第一扭曲方向。上述的电子设备在存储的正常指纹图像中确定与第一指纹图像相匹配的正常指纹图像的过程,也可以理解为对第一指纹图像的指纹认证过程。若存在与第一指纹图像相匹配的正常指纹图像,即认证通过,根据所述第一指纹图像以及与所述第一指纹图像相匹配的正常指纹图像确定第一指纹图像中的扭曲指纹所指示的第一扭曲方向。若不存在与第一指纹图像相匹配的正常指纹图像,即认证不通过,无法确定扭曲指纹所指示的第一扭曲方向。也就是说,方式1中,只有指纹认证通过的用户可以通过基于本申请实施例提供的扭曲指纹的触控方式来操作电子设备,一定程度上有助于提升电子设备的安全性。

以下实施例介绍电子设备根据所述第一指纹图像以及与所述第一指纹图像相匹配的正常指纹图像确定第一指纹图像中的扭曲指纹所指示的第一扭曲方向的过程。

具体而言,电子设备可以先统一所述第一指纹图像以及相匹配的正常指纹图像的坐标系,使得第一指纹图像和所述正常指纹图像在同一坐标系中。然后,电子设备确定所述第一指纹图像上的扭曲指纹上的第一特征点,并确定正常指纹图像上与所述第一特征点对应的第二特征点。这里提到的特征点也可以称为细节点。通常,指纹由于其唯一性可用作用户身份。所述唯一性可以理解为不同手指的指纹上的特征点不同,即指纹上的特征点可用于唯一标识用户,可以理解为用户的特定属性。换句话说,同一手指产生的两张指纹图像上存在相同的特征点,两个不同手指各自产生一张指纹图像,这两张指纹图像上通常不存在相同的特征点。

示例性的,特征点例如可以是指纹上的末梢点、分叉点、毛刺、疤痕、汗孔等等,本申请实施例不作限定。参见图6所示,为本申请实施例提供的各个特征点的示意图。如图6所示,末梢点可以理解为纹理的端点。分叉点可以理解为一条纹理分叉成两条纹理的分叉点。汗孔可以理解为一条纹理上的中断点或者说一条纹理上的空白点。疤痕是指纹图像上较为明显的纹理中断部分。

由于扭曲指纹的形状发生扭曲变化,所以扭曲指纹上的第一特征点相对于正常指纹图像上第二特征点发生偏移。电子设备确定第一特征点相对于所述第二特征点的方向,或者也可以理解为,第二特征点指向第一特征点的方向向量,该方向即所述第一扭曲方向。参见图7(a)和(b)所示,为扭曲指纹图像上第一特征点与正常指纹图像上第二特征点的示意图,其中,第一特征点与第二特征点对应。当扭曲指纹图像和正常指纹图像位于同一坐标系时,第二特征点指向第一特征点的方向向量如图7(c)所示,该方向向量为第一扭曲方向。

应当理解的是,上述第一特征点可以是一个特征点,也可以是多个特征点。若是多个特征点,那么对应的第二特征点也可以是多个,即第一特征点相对于第二特征点的方向可能有多个,可以取所述多个方向之和为所述第一扭曲方向。可以理解的是,当第一特征点是多个特征点时,有助于提升确定的第一扭曲方向的准确性。

在另一些实施例中,电子设备可以根据正常指纹图像确定第一指纹图像的扭曲场,该扭曲场用于指示的所述第一扭曲方向。以下实施例介绍电子设备确定扭曲指纹的扭曲场的过程。

图8(a)示出了正常指纹图像对应的第一网格。第一网格是电子设备建立的覆盖正常指纹图像上所有特征点,且未发生扭曲的正方形网格。其中,第一网格可以在第一坐标系x-o-y中建立,第一坐标系可以是任意的坐标系。第一网格中的网格数量、网格大小本申请实施例不作限定。电子设备识别正常指纹图像上的一个或多个特征点(简称第二特征点),并确定所述一个或多个特征点在第一网格中的第一位置并进行标记,例如,特征点在第一网格中的第几行第几列的方格中。以图8(a)为例,电子设备识别出5个特征点,以及每个特征点在第一网格中的位置。例如,特征点1在第一网格中的第5行第5列的方格中。

电子设备将第一指纹图像进行坐标转换为上述第一坐标系x-o-y中。电子设备识别第一指纹图像中与正常指纹图像上的第二特征点对应的第一特征点。电子设备绘制用于覆盖第一指纹图像上所有特征点的、与所述第一网格对应的第二网格。其中,第一指纹图像上第二特征点在第二网格中的第二方格与第一特征点在第一网格中的第一方格对应。图8(b)示出第一指纹图像对应的第二网格的示意图,该第二网格即第一指纹图像对应的扭曲场。

继续以图8(a)为例,假设正常指纹图像上的第二特征点是图中的特征点1。正常指纹图像上特征点1在第一网格中的第5行第5列的方格中。参见图8(b)所示,第一指纹图像上与特征点1对应的特征点2仍然位于第二网格中的第5行第5列的方格中,但是由于第一指纹图像上特征点2相对于特征点1位置发生偏移,第二网格中的第5行第5列的方格相对于第一网格中的第5行第5列的方格的位置发生偏移。因此,对比图8(a)和图8(b)可知,第二网格发生扭曲。第二网格即第一指纹图像对应的扭曲场。电子设备可以确定扭曲场所指示的第一扭曲方向,也可以理解为第二网格相对于第一网格的扭曲方向。例如,电子设备可以确定第一网格中每个方格指向第二网格中与所述每个方格对应的方格的方向,例如,第一网格中第一行第一列的方格指向第二网格中第一行第一列的方格,第一网格中第一行第二列的方格指向第二网格中第二行第二列的方格的方向,以此类推。因此,电子设备可以得到多个方向,然后取多个方向之和为所述第一扭曲方向。

为了方便理解,图9示出了用户手指向左扭曲或向右扭曲时产生的指纹图像以及对应的扭曲场的示意图。图9(a)中,用户手指接触指纹传感器(图9中用户手指的指甲盖朝向外)。指纹传感器采集到正常指纹图像,电子设备确定正常指纹图像对应的第一网格。图9(b)中,用户手指向右扭曲(也可以称为搓动或扭动等)时,电子设备采集到第一指纹图像,第一指纹图像中包括扭曲指纹。电子设备识别该第一指纹图像对应的第二网格。电子设备确定第二网格相对于第一网格的扭曲方向为向左扭曲。因此,电子设备可以判断出用户手指向右扭动。图9(c)中,用户手指向左扭曲时,电子设备采集到另一个指纹图像,其中包括扭曲指纹。电子设备识别所述另一个指纹图像对应的第三网格。电子设备确定第三网格相对于第一网格的扭曲方向为向右扭曲。因此,电子设备可以判断出用户手指向左扭动。

方式2

通常,用户手指倾斜着按压指纹传感器时,倾斜方向上用户手指力度较大,纹理被拉伸导致纹理之间的间隔增大,与倾斜方向相对的方向上的纹理被挤压导致纹理之间的间隔缩小。因此,电子设备可以通过第一指纹图像上扭曲指纹的纹理之间的间隔确定扭曲指纹所指示的第一扭曲方向。具体而言,电子设备确定所述扭曲指纹上纹理间隔大于预设间隔第一区域,以及纹理间隔小于所述预设间隔的第二区域,所述第二区域与所述第一区域内的纹理平行;所述预设间隔的具体取值可以是预先设置的,也可以是第一指纹图像上的平均间隔,本申请实施例不作限定。示例性的,参见图10所示,第一区域内的纹理与第二区域内的纹理平行,这里所谓的平行可以是近似平行(或者称为不完全平行)。第一区域内的纹理间隔较大(例如大于前述预设间隔),第二区域内的纹理间隔较小(例如小于前述预设间隔)。电子设备确定第二区域内的纹理的、朝向第一区域的第一法线方向(图7中箭头方向)为所述第一扭曲方向。

方式3

通常,用户手指倾斜着按压指纹传感器时,指纹传感器采集的指纹图像上纹理不完整。例如,假设用户手指向左倾斜按压指纹传感器,手指左侧区域(例如指纹漩涡中心的左侧区域)接触指纹传感器,右侧区域(例如指纹漩涡中心的右侧区域)可能不接触指纹传感器或接触区域较少;因此指纹传感器采集的指纹图像上指纹不完整,例如不包含手指漩涡中心右侧区域的纹理或者手指漩涡中心右侧区域的纹理数量较少。因此,电子设备可以通过扭曲指纹上不同区域的纹理数量(或称纹理条数)判断扭曲指纹所指示的第一扭曲方向。具体而言,电子设备确定所述扭曲指纹上相对于指纹漩涡中心方位相反的第一区域和第二区域;若所述第一区域中的指纹数量大于所述第二区域内的指纹数量,确定所述第一方位为所述第一扭曲方向。继续以图1(b)为例,扭曲指纹上相对于漩涡中心的左上方区域内的纹理较多,右下方区域内的纹理较少,则确定第一扭曲方向为向左上。

可以理解的是,不同于上述方式1的是,方式2和方式3中电子设备无需事先存储用户的正常指纹图像,也可以确定第一指纹图像中的扭曲指纹所指示的第一扭曲方向。以上仅是示例性的列举三种确定扭曲指纹指示的扭曲方向的示例,其它的方式也是可行的,本申请实施例不作限定。

方式4

电子设备具备触摸屏(touchpad,tp),以电容式触摸屏为例。用户接触触摸屏时,触摸屏产生第一电容信号。第一电容信号中包括用户手指与触摸屏接触点的电容信号。在用户手指未抬起,且发生扭动的情况下,tp产生第二电容信号。第二电容信号包括用户手指扭动之后,与触摸屏接触点的电容信号。电子设备通过比较第一电容信号和第二电容信号,判断用户接触点的变化情况,进而判断用户意图即用户手指扭动方向。示例性的,图11(a)示出第一电容信号的示意图。第一电容信号包括电容信号为1的4*6的矩阵,表征该矩阵内是用户手指与触摸屏的接触点。图11(b)示出第二电容信号的示意图。第二电容信号包括电容信号为1的4*4矩阵。也就是说,用户手指与触摸屏的接触点由4*6的矩阵变为4*4矩阵的矩阵,其中第二电容信号相对于第一电容信号缺少靠下两行的电容信号,所以,电子设备确定用户手指向上扭动。

上述方式4中,电子设备上触摸屏可以判断用户手指的扭动方向,无需指纹传感器。在一些实施例中,电子设备可以将方式1-方式3中的任一种方式与方式4结合使用。以屏下指纹传感器为例,用户手指接触触摸屏时,屏下指纹传感器用于检测到指纹图像,触摸屏用于检测电容信号。电子设备通过指纹图像得到一个扭曲方向,通过电容信号得到另一个扭曲方向。若通过指纹图像得到的扭曲方向与通过电容信号得到的扭曲方向一致,基于所述扭曲方向操作电子设备,有助于以提升对电子设备触控操作的准确性。

在一些实施例中,电子设备默认采用上述方式2或方式3确定第一扭曲方向。当电子设备确定已启动安全操作功能之后,使用方式1,即先进行指纹认证,认证通过之后再确定第一扭曲方向。其中,所述“启动安全操作功能”可以是电子设备判断用于指示安全操作功能的控件是否被激活,若是,则确定已启动安全操作功能,若否,则确定未启动安全操作功能。所述控件可以在电子设备中设置应用中提供,或者其它快捷方式提供,本申请实施例不作限定。

305,电子设备基于所述第一扭曲方向,操作电子设备。

在一些实施例中,电子设备确定第一扭曲方向之后,可以立即执行305。在另一些实施例中,为了防止误触,电子设备确定第一扭曲方向之后,等待预设时长,预设时长达到之后,再次采集第二指纹图像,若所述第二指纹图像内也包括扭曲指纹,且所述扭曲指纹所指示的第二扭曲方向与所述第一扭曲方向一致,基于所述第一扭曲方向操作电子设备。所述预设时长可以是事先设置好,并存储在电子设备中的,本申请实施例不作限定。

可选的,所述预设时长到达之前,电子设备还可以确定用户手指与所述指纹传感器持续接触。以屏下指纹传感器为例,触摸屏检测到用户手指持续接触触摸屏,即确定用户手指与指纹传感器持续接触。也就是说,用户手指持续接触指纹传感器的过程中,指纹传感器采集的第一指纹图像和第二指纹图像所指示的扭曲方向一致,则基于所述扭曲方向操作电子设备,有助于避免用户手指误触指纹传感器而导致对电子设备的控制。

或者,所述预设时长到达之前,电子设备还可以确定用户手指与指纹传感器持续接触,且接触位置不变。以屏下指纹传感器为例,触摸屏可以检测用户手指与触摸屏的接触位置,若预设时长内所述接触位置不变,则确定用户手指与指纹传感器接触位置不变。这里提到的接触位置不变可以理解为触摸屏每次检测到的接触区域有重叠即可。例如,在第一时刻触摸屏检测到接触区域s1,在第二时刻检测到接触面积s2,s1和s2有部分区域重叠即确定接触位置不变。也就是说,用户手指持续接触指纹传感器的过程中,无需挪动手指位置或者说无需大幅度挪动手指位置,只需小幅度搓动手指,即可产生扭曲指纹,电子设备基于扭曲指纹指示的扭曲方向操作电子设备,操作便捷,尤其便于对大屏电子设备的操作。

电子设备处于不同的场景时,基于第一扭曲方向操作电子设备的方式可以不同。因此,电子设备可以确定当前的场景,在该场景下,基于第一扭曲方向使用适合当前场景的操作方式操作电子设备。以下实施例给出所述场景的几种示例。

示例1:电子设备的显示屏上包括光标。电子设备可以按照第一扭曲方向移动所述光标的位置。例如,第一扭曲方向为向左,则向左移动光标。具体而言,光标可以每次移动预设距离,该预设距离可以是事先设置好存储在电子设备中的。

上述电子设备的显示屏上包括光标的情况可以有多种。图12(a)示出电子设备的一种gui的示意图。所述gui可以理解为主界面,其中包括光标(图中的箭头)。用户手指接触指纹传感器(例如屏下指纹传感器),指纹传感器采集第一指纹图像,第一指纹图像如图12(a)中的指纹。电子设备判断第一指纹图像所指示的第一扭曲方向,基于该第一扭曲方向控制所述光标移动位置。

图12(b)示出电子设备的一种gui的示意图。所述gui可以理解为电子设备中文档编辑界面,例如word、备忘录等。gui中包括光标(图中的“说明书”文字间的竖线)。用户手指接触指纹传感器(例如屏下指纹传感器),指纹传感器采集第一指纹图像,第一指纹图像例如图12(b)中的指纹。电子设备判断第一指纹图像中包括第一扭曲指纹,并判断该第一扭曲指纹指示的第一扭曲方向,基于该第一扭曲方向控制所述光标移动位置。假设第一扭曲方向为向左扭曲,则将光标向左移动,例如从虚线位置移动到实线位置。

在一些实施例中,电子设备可以设置光标触摸模式和无光标触控模式。以图12(a)为例,若在光标触摸模式下,电子设备的显示屏中包括光标。若在无光标触摸模式下,显示屏中不包括光标。示例性的,电子设备可以提供用于设置光标触摸模式或无光标触控模式的入口,例如,在设置应用中提供。当电子设备进入光标触摸模式时,显示的界面中包括光标(即图12(a)中的箭头)。

示例2:电子设备运行游戏应用,显示屏上显示游戏应用的游戏界面,所述游戏界面中包括游戏人物。电子设备可以按照第一扭曲方向移动游戏人物的位置。例如,第一扭曲方向为向左,则向左移动游戏人物。具体而言,游戏人物可以每次移动预设距离,该预设距离可以是事先设置好存储在电子设备中的。

示例3:电子设备的显示屏上显示3d图像。3d图像中包括可旋转的3d模型(或者称为3d物体)。在一些实施例中,第一扭曲方向包括但不限定于向上,下,左,右,左上,右上,左下,右下等。电子设备按照所述第一扭曲方向旋转所述3d模型。举例来说,参见图13(a)所示,假设所述第一扭曲方向为向左,则将3d模型以图中虚线轴为中心轴顺时针旋转,旋转角度可以是预设角度,即事先设置好的角度。所述虚线轴可以是3d模型的中心轴。参见图13(b)所示,假设所述第一扭曲方向为向上,则将3d模型以图中虚线轴为中心轴顺时针旋转预设角度。因此,本申请实施例中,用户手指接触指纹传感器后搓动手指,扭曲发生扭曲,电子设备基于扭曲指纹旋转3d模型,方便用户查看3d模型的正视图、俯视图、仰视图等等,操作便捷。

在另一些实施例中,电子设备的显示屏上显示3d图像时,若电子设备检测用户手指指尖接触显示屏,且用户指尖在显示屏上旋转时,可以将3d模型以显示屏所在的平面的中垂线为轴旋转预设角度。示例性的,参见图14(a)和图14(b)所示,用户指尖与显示屏接触,假设用户指尖在显示屏上逆时针旋转时,将3d图像以显示屏所在的平面的中垂线(图中虚线)为轴逆时针轴旋转预设角度。其中,以屏下指纹传感器为例,电子设备检测用户指尖与显示屏接触的方式可以是,指纹传感器检测到指纹图像,所述指纹图像中指纹的纹理数小于阈值,和/或,tp检测到用户手指与显示屏的接触面积小于预设面积,这里的预设面积可以是事先设置好的取值。电子设备判断用户指尖在显示屏上旋转的方式可以包括:电子设备判断用户手指与触摸屏的接触面的变化情况,若电子设备下一时刻检测到的接触面相对于上一时刻检测到的接触面顺时针旋转,则将3d图像以与显示屏所在的平面的中垂线为轴顺时针旋转预设角度。若电子设备下一时刻检测到的接触面相对于上一时刻检测到的接触面逆时针旋转,则将3d图像以与显示屏所在的平面的中垂线为轴逆时针旋转预设角度。

应理解,除去上述示例1-示例3所示的场景之外,本申请实施例提供的基于扭曲指纹的触控方法还可以适用于其它场景。例如,电子设备基于扭曲指纹指示的第一扭曲方向控制显示界面的翻阅;例如,参见图15(a)所示,电子设备根据指纹传感器检测到的指纹实现主界面到负一屏的翻阅,或者电子书相邻页码的翻阅,或者,相册应用中不同图像的翻阅,等等。

再例如,参见图15(b)所示,电子设备基于扭曲指纹指示的第一扭曲方法控制电影快进或快退,例如,电子设备的显示界面显示电影播放界面,若第一扭曲方向为向左,则控制电影快退,第一扭曲方向为向右,控制电影快进。

再例如,参见图15(c)所示,电子设备基于扭曲指纹指示的第一扭曲方向控制显示屏亮度或音量的变化;若第一扭曲方向为向上,增加显示屏亮度或音量,若第一扭曲方向为向下,降低显示屏亮度或音量,等等。

可以理解的是,指纹传感器可以实时的、不断地采集指纹图像。也就是说,在图3所示的实施例中的第一指纹图像之后,指纹传感器继续采集到第二指纹图像。其中,针对每次采集的图像指纹可以执行一次图3所示的流程。或者,电子设备采集到第一指纹图像之后,若确定用户手指持续接触指纹传感器,则在检测到用户手指抬起之前采集的其它指纹图像无需再经过指纹认证场景或非指纹认证场景的判断过程。电子设备可以继续基于第二指纹图像中包括的扭曲指纹所指示的第二扭曲方向操作电子设备。因此,本申请实施例中,用户接触指纹传感器的过程中,手指向不同方向小幅度搓动,导致指纹传感器检测到的包含不同扭曲方向的指纹图像,基于所述扭曲方向操作电子设备。也就是说,用户手指无需大幅度移动也可操控电子设备,操作便捷,尤其是针对大屏电子设备。

当电子设备确定用户手指抬起不接触指纹传感器时,可以停止操作电子设备。例如,指纹传感器以一定的周期不断地采集的指纹图像,当某个周期到达但未采集到指纹图像时,确定用户手指抬起不接触指纹传感器。再例如,以屏下指纹传感器为例,tp检测到用户手指抬起不接触触摸屏时,确定用户手指抬起不接触指纹传感器。

或者,用户手指持续接触指纹传感器的过程中,指纹传感器周期性的不断采集指纹图像,在第一指纹图像之后的某个时刻采集到包含正常指纹的第三指纹图像(或者,持续一定时长内采集到包含正常指纹的指纹图像),则停止操作电子设备。也就是说,用户手指向某个方向倾斜着按压指纹传感器(指纹传感器采集到扭曲指纹)时,采集到包含扭曲指纹的指纹图像,操作电子设备,用户手指不抬起,但手指恢复正常按压状态(指纹传感器采集到正常指纹)时,停止操作电子设备。

本申请的各个实施方式可以任意进行组合,以实现不同的技术效果。

上述本申请提供的实施例中,从电子设备(比如手机)作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,电子设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。

如图16所示,本申请另外一些实施例公开了一种电子设备,该电子设备比如为手机、ipad等该电子设备可以包括:触摸屏1601,其中,所述触摸屏1601包括触敏表面16906和显示屏1607;一个或多个处理器1602;多个应用程序1608;指纹传感器1609;上述各器件可以通过一个或多个通信总线1605连接。所述显示屏1607可以用于显示主界面,或者多个应用程序1608中的某个应用程序的显示界面比如相机的界面(即取景界面),还可以用于显示电子设备拍摄的图像等。所述指纹传感器1609用于采集指纹图像。

其中,所述一个或多个计算机程序1604被存储在上述存储器1603中并被配置为被该一个或多个处理器1602执行,该一个或多个计算机程序1604包括指令,上述指令可以用于执行如图3及相应实施例中的各个步骤。

当图16所示的电子设备是图2a所示的电子设备100时,触摸屏1601可以是上述显示屏194;处理器1602可以是处理器110;指纹传感器1609可以是指纹传感器180h;存储器1603可以是内部存储器121。

需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。本发明实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。例如,上述实施例中,第一获取单元和第二获取单元可以是同一个单元,也不同的单元。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

以上实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。

以上实施例中所用,根据上下文,术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。另外,在上述实施例中,使用诸如第一、第二之类的关系术语来区份一个实体和另一个实体,而并不限制这些实体之间的任何实际的关系和顺序。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要指出的是,本专利申请文件的一部分包含受著作权保护的内容。除了对专利局的专利文件或记录的专利文档内容制作副本以外,著作权人保留著作权。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1