移动终端软件假界面识别方法及装置与流程

本发明涉及移动通讯领域，特别是涉及一种移动终端软件假界面识别方法及装置。

背景技术：

手机在用户的生活中扮演者越来越重要的角色，用户会在手机中安装各种各样的软件，在使用手机软件时，经常会遇到伪装界面的钓鱼软件，这些钓鱼软件的界面做的和原版软件界面非常逼真，非常容易让用户信以为真，从而被诈骗钱财或泄露个人隐私。在智能手机和移动互联网飞速发展的今天，各类媒体上披露的类似的被钓鱼诈骗的案例非常多，从技术上对钓鱼界面进行识别具有重要意义。

在现有技术中，已有防钓鱼技术主要针对钓鱼网站的URL地址信息的安全性进行比对，以及是否有木马进行判断。也就是说，已有防钓鱼主要是解决网站中是否有木马、是否有病毒，网址是否安全等问题，但对手机软件运行时的界面进行防钓鱼鉴别并未涉及。因此，目前急需一种对假界面进行鉴别，并对用户进行预警提醒，从而解决智能手机中伪装软件的欺诈问题的技术方案。

技术实现要素：

鉴于现有技术中智能手机上伪装软件欺诈的问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的移动终端软件假界面识别方法及装置。

本发明提供一种移动终端软件假界面识别方法，包括：

建立图像特征库和附加特征库，其中，图像特征库中包括：软件用户界面 UI的图像特征信息，附加特征库包括：除图像特征信息之外的软件附加信息；

获取软件的UI截图，提取UI截图的图像特征信息以及UI截图上的软件附加信息；

将UI截图的图像特征信息与图像特征库进行特征匹配，在匹配成功的情况下，将UI截图的软件附加信息与附加特征库进行特征匹配，如果匹配成功，则确定UI截图是正规界面；否则，确定UI截图为疑似伪装的假界面，对用户进行盗版软件的提醒。

本发明还提供了一种移动终端软件假界面识别装置，包括：

建立模块，用于建立图像特征库和附加特征库，其中，图像特征库中包括：软件用户界面UI的图像特征信息，附加特征库包括：除图像特征信息之外的软件附加信息；

提取模块，用于获取软件的UI截图，提取UI截图的图像特征信息以及UI截图上的软件附加信息；

匹配模块，用于将UI截图的图像特征信息与图像特征库进行特征匹配，在匹配成功的情况下，将UI截图的软件附加信息与附加特征库进行特征匹配，如果匹配成功，则确定UI截图是正规界面；否则，确定UI截图为疑似伪装的假界面，对用户进行盗版软件的提醒。

本发明有益效果如下：

通过建立图像特征库以及包含图像特征外其他信息的附加特征库与软件相关界面的截图进行对比来判断是否为疑似假界面，解决了现有技术中智能手机上伪装软件欺诈的问题，能够快速的对钓鱼软件进行识别，提高了用户手机的安全性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的移动终端软件假界面识别方法的流程图；

图2是本发明实施例的移动终端软件假界面识别方法的详细处理的流程图；

图3是本发明实施例的移动终端软件假界面识别装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了解决现有技术中智能手机上伪装软件欺诈的问题，本发明提供了一种移动终端软件假界面识别方法及装置，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

方法实施例

根据本发明的实施例，提供了一种移动终端软件假界面识别方法，图1是本发明实施例的移动终端软件假界面识别方法的流程图，如图1所示，根据本发明实施例的移动终端软件假界面识别方法包括如下处理：

步骤101，建立图像特征库和附加特征库，其中，图像特征库中包括：软件用户界面UI的图像特征信息，附加特征库包括：除图像特征信息之外的软件附加信息；其中，图像特征库中的图像特征信息具体为：包括统计特征和原 始像素特征的多层次特征向量集，其中，统计特征包括：对图像的预定特征进行计算所得到的数值统计值，原始像素特征包括原始图像像素数据或经过图像大小调整和抽样处理的归一化像素数据；

附加特征库中的软件附加信息具体为：包括简单信息、和原始数据特征的多层次特征向量集，其中，简单信息包括：软件基本信息，原始数据特征包括：软件深度信息。

优选地，在本发明实施例中，图像特征库包括：信任图像特征库、以及伪装图像特征库；附加特征库包括：信任附加特征库、以及伪装附加特征库。其中，信任图像特征库中保存着信任的图像特征，伪装图像特征库中保存着伪装的图像特征，信任附加特征库保存着信任的附加特征，伪装附加特征库保存着伪装的附加特征。

步骤102，获取软件的UI截图，提取UI截图的图像特征信息以及UI截图上的软件附加信息；需要说明的是，在本发明实施例中，上述软件可以为任何软件，为了更好的保护用户的隐私，上述软件也可以为涉及用户隐私或理财类等常用高风险智能手机软件。

其中，获取软件的UI截图具体包括：

在软件被启动运行时、软件运行过程中界面切换时、或包含敏感控件元素的界面被打开时，自动对相关界面进行截图，获取UI截图；或者，根据用户的调用，对用户当前显示的应用界面进行截图，获取UI截图。

步骤103，将UI截图的图像特征信息与图像特征库进行特征匹配，在匹配成功的情况下，将UI截图的软件附加信息与附加特征库进行特征匹配，如果匹配不成功则确定所述UI截图为疑似伪装的假界面；如果匹配成功，则确定UI截图是正规界面。

在执行完步骤103之后，还可以对用户进行盗版软件的提醒。

在本发明实施例中，在UI截图的图像特征信息与图像特征库匹配失败的情况下，根据用户的选择，将UI截图的图像特征信息添加到图像特征库，并 将UI截图的软件附加信息添加到附加特征库，如果用户不添加则结束操作。

在步骤103中，将UI截图的图像特征信息与图像特征库进行特征匹配具体包括：将UI截图的图像特征信息与伪装图像特征库进行特征匹配，如果匹配失败，则将UI截图的图像特征信息与信任图像特征库继续进行特征匹配；

在步骤103中，将UI截图的软件附加信息与附加特征库进行特征匹配具体包括：将UI截图的软件附加信息与伪装附加特征库进行特征匹配，如果匹配失败，则将UI截图的软件附加信息与信任附加特征库继续进行特征匹配。

此外，在步骤103中，具体的匹配操作包括如下处理：

一、将UI截图的图像特征信息与图像特征库进行特征匹配：

将UI截图的图像特征信息中的统计特征与图像特征库中的统计特征进行匹配，在匹配度小于第一预定阈值的情况下，确认特征匹配失败，在匹配度大于或等于第一预定阈值的情况下，对所述UI截图的图像特征信息中的原始像素特征与所述所述图像特征库中的原始像素特征进行相关计算、和匹配，如果匹配度大于或等于第二预定阈值，则确认特征匹配成功，否则，确认特征匹配失败；

二、将UI截图的软件附加信息与附加特征库进行特征匹配：

将UI截图的软件附加信息中的简单信息与附加特征库中的简单信息进行匹配，在匹配度小于第三预定阈值的情况下，确认特征匹配失败，在匹配度大于或等于第三预定阈值的情况下，将所述UI截图的软件附加信息中的原始数据特征与所述附加特征库中的原始数据特征进行匹配进行相关计算、和匹配，如果匹配度大于或等于第四预定阈值，则确认特征匹配成功，否则，确认特征匹配失败。

此外，在本发明实施例中，可以通过互联网获取用户反馈的软件用户界面UI的图像特征信息和软件附加信息，并对图像特征库和附加特征库进行更新和完善。

通过上述处理可以看出，在本发明实施例中，预先对涉及用户隐私或理财 类等常用高风险智能手机软件建立图像特征库以及包含图像特征外其他信息的附加特征库。当某个软件被启动运行时、运行过程中界面切换时或包含敏感控件元素的界面被打开时等场景，对其相关界面进行截图，并对截图提取图像特征信息。对截图的图像特征信息与预先建立的图像特征库的信息进行比对，若匹配则疑似正规界面或钓鱼假界面，再通过附加特征库进行进一步辨别，若匹配则说明是正版软件界面不作处理，若图像特征匹配但附加特征不匹配，则说明很可能是钓鱼的假界面，此时提示用户当前界面疑似钓鱼假界面。

此外，图像特征库和附加特征库可以预先建立部分样本，在运行过程中，图像特征库和附加特征库可在用户使用过程中可根据用户的操作和判断进一步完善和扩充。

在具体特征匹配时，本发明实施例在对图像特征及附加特征进行提取时可建立多层次特征向量集，其中一些初步的统计值或直接的简单特征用于特征提取时进行快速比对粗选，而对一些原始抽样数据特征，将特征库中的原始数据与应用软件的相关数据相关计算，进行深度特征匹配。这种多层次特征向量特征匹配方式可显著提高防钓鱼界面识别的计算效率。

以下结合附图，对本发明实施例的上述技术方案进行详细说明。

图2是本发明实施例的移动终端软件假界面识别方法的详细处理的流程图，如图2所示，具体包括如下处理：

步骤1，预先对涉及用户隐私或理财类等常用高风险智能手机软件建立包含一定样本数的UI界面图像特征库和图像信息外的附加特征库。图像特征库包含的信息能区分图像的常用图像特征信息，包括但不限于归一化的图像亮度、色彩、纹理、边缘、焦点、线条、直方图、灰度图等。图像信息外的附加特征库包含的信息包括但不限于软件名称、版本信息、签名信息、文件字节码抽样特征等其它能附加信息。

对于图像特征库样本的图像特征信息，一种典型的实施方式是建立包含统计特征和原始像素特征的多层次特征向量集。统计特征是指对图像的某些特征 进行计算，得到直接、简单的数值统计值，例如各颜色分量在各个区间段的分布比率、图像特定局部空间位置或全域像素灰度值的均值、方差等；原始像素特征是指对图像进行特定的归一化、抽样等简单处理后直接存储相关像素数据。统计特征用于后续特征比对时与应用软件截图进行快速比对粗步筛选，而原始像素特征用于后续特征比对时与应用软件截图进行相关计算深度匹配。

对于图像信息外的附加特征库，一种典型的实施方式可采用类似上面图像特征库的方式，建立包含简单信息、和原始数据特征的多层次特征向量集。简单信息包括软件名称、版本信息、文件大小等粗略信息，原始数据特征包括签名文件、字节码抽样信息的数据。简单信息用于应用软件进行快速比，原始数据特征用于与应用软件进行相关计算深度匹配。

步骤2，当监控到应用软件界面被打开运行时，对该软件的UI界面进行截图，并提取截图的图像特征信息以及界面本身的其它附加信息。图像特征信息和附加信息提取的参数类型完全参照步骤1所述的相关特征信息。由于手机应用软件通常包含多个界面，在界面切换也可重新截图，按步骤3启动新的图像特征匹配。此外，也可自动检测系软件界面控件属性，只对包含有密码输入框、付款字符等敏感属性的界面才启动截图和图像特征匹配。对于同一软件运行过程中可能涉及界面的切换的重新截图等场景，如之前已对相同界面进行过特征截图和识别，则直接根据上一次鉴别结果得到判断结论，而不需要重新截图和识别。

步骤3，对截图的图像特征信息与图像特征库的信息进行特征匹配，如特征匹配，则界面本身可能是正规软件，也可能是钓鱼假界面，则执行步骤4；若不匹配，则特征库本身不包含该界面的匹配信息，此时如用户选择手动添加进特征库，则将该界面提取到的特征信息添加进特征库进一步完善库信息，如用户不添加，则结束本次监控。

对于图像特征的匹配，典型实施方式是基于步骤1的多层次特征向量集的方式，先对统计特征等简单信息进行快速匹配用于初选，在初选满足匹配相似 度的前提下，再对软件截图的原始像素特征与特征库各样本的原始像素特征进行相关计算，进而精确的计算出相似度。统计特征只是对图像自身进行计算得到一个数值统计结果，特征库中的数据在与应用软件截图进行比对是只是直接的数值比较即可，而原始像素特征在匹配时需要与应用软件截图的相关特征进行相关计算，例如双方直接的像素差、方差、相关系数、PSNR、品质因数等。

步骤4，对界面涉及的附加信息与附加信息库进行匹配，若与特征库信息匹配，说明该界面是正规界面，结束监控；否则，该界面为疑似伪装的假界面，对用户进行伪装假界面提醒。对于同一软件运行过程中可能涉及界面的切换的重新截图的场景，如之前已经进行过附加信息识别，则直接根据上一次鉴别结果得到判断结论，而不需要重新识别。

对于附加信息的匹配，典型实施方式是基于步骤1的多层次特征向量集的方式，先对简单信息进行快速匹配用于初选，在初选满足匹配相似度的前提下，再对软件的原始数据特征与特征库各样本的原始数据特征进行相关计算，进而精确的计算出相似度。

在本发明实施例中，图像特征库和附加信息库，可通过联网的方式并结合海量的用户反馈操作进行不断的更新和完善。图像特征库和附加特征库本身也可进一步再区分为信任特征库和伪装恶意特征库，在进行识别时，对恶意特征库可提高优先顺序进行先期比对以进一步加快匹配速度。

此外，本发明实施例是在监控到手机应用软件启动运行后自动进行截图检测的，在实际实施时也可以特定的UI展现方式，例如以悬浮窗按钮、手机系统控件、系统特定按键响应、语音指令等方式让用户显示的对应用界面进行防伪装鉴别，而不启用自动特征鉴别功能，这样检测效率更高，对于多界面切换的应用来说也不存在冗余截图的问题。

综上所述，本发明实施例以界面截图的图像特征为主要的识别依据，并结合界面外的其他附加信息进一步判断界面是否为疑似假界面。本发明实施例的技术方案解决了目前经常出现的钓鱼假界面，非法获取用户诸如银行卡密码、 个人身份隐私数据等问题。基于本发明实施例的安全类软件具有重要的实用价值和广阔的应用前景。

装置实施例

根据本发明的实施例，提供了一种移动终端软件假界面识别装置，图3是本发明实施例的移动终端软件假界面识别装置的结构示意图，如图3所示，根据本发明实施例的移动终端软件假界面识别装置包括：建立模块30、提取模块32、以及匹配模块34，以下对本发明实施例的各个模块进行详细的说明。

建立模块30，用于建立图像特征库和附加特征库，其中，图像特征库中包括：软件用户界面UI的图像特征信息，附加特征库包括：除图像特征信息之外的软件附加信息；图像特征库包括：信任图像特征库、以及伪装图像特征库；附加特征库包括：信任附加特征库、以及伪装附加特征库。

优选地，图像特征库中的图像特征信息具体为：包括统计特征和原始像素特征的多层次特征向量集，其中，统计特征包括：对图像的预定特征进行计算所得到的数值统计值，原始像素特征包括原始图像像素数据或经过图像大小调整和抽样处理的归一化像素数据；附加特征库中的软件附加信息具体为：包括简单信息、和原始数据特征的多层次特征向量集，其中，简单信息包括：软件基本信息，原始数据特征包括：软件深度信息。

提取模块32，用于获取软件的UI截图，提取UI截图的图像特征信息以及UI截图上的软件附加信息；提取模块32具体用于：

在软件被启动运行时、软件运行过程中界面切换时、或包含敏感控件元素的界面被打开时，自动对相关界面进行截图，获取UI截图；或者，根据用户的调用，对用户当前显示的应用界面进行截图，获取UI截图。

匹配模块34，用于将UI截图的图像特征信息与图像特征库进行特征匹配，在匹配成功的情况下，将UI截图的软件附加信息与附加特征库进行特征匹配，如果匹配不成功则确定所述UI截图为疑似伪装的假界面，如果匹配成功，则确定UI截图是正规界面。优选地，匹配模块34在确定UI截图为疑似伪装的 假界面后，可以对用户进行盗版软件的提醒。

匹配模块34具体用于：

将UI截图的图像特征信息与伪装图像特征库进行特征匹配，如果匹配失败，则将UI截图的图像特征信息与信任图像特征库继续进行特征匹配；

将UI截图的软件附加信息与伪装附加特征库进行特征匹配，如果匹配失败，则将UI截图的软件附加信息与信任附加特征库继续进行特征匹配；

将UI截图的图像特征信息中的统计特征与图像特征库中的统计特征进行匹配，在匹配度小于第一预定阈值的情况下，确认特征匹配失败，在匹配度大于或等于第一预定阈值的情况下，对所述UI截图的图像特征信息中的原始像素特征与所述所述图像特征库中的原始像素特征进行相关计算、和匹配，如果匹配度大于或等于第二预定阈值，则确认特征匹配成功，否则，确认特征匹配失败；

将UI截图的软件附加信息中的简单信息与附加特征库中的简单信息进行匹配，在匹配度小于第三预定阈值的情况下，确认特征匹配失败，在匹配度大于或等于第三预定阈值的情况下，将所述UI截图的软件附加信息中的原始数据特征与所述附加特征库中的原始数据特征进行匹配进行相关计算、和匹配，如果匹配度大于或等于第四预定阈值，则确认特征匹配成功，否则，确认特征匹配失败。

在本发明实施例中，上述装置还可以进一步包括：

添加模块，用于在UI截图的图像特征信息与图像特征库匹配失败的情况下，根据用户的选择，将UI截图的图像特征信息添加到图像特征库，并将UI截图的软件附加信息添加到附加特征库，如果用户不添加则结束操作。

更新模块，用于通过互联网获取用户反馈的软件用户界面UI的图像特征信息和软件附加信息，并对图像特征库和附加特征库进行更新和完善。

本发明实施例各个模块的具体处理可以参照方法实施例的相关描述进行理解，在此不再赘述。

本发明实施例的技术方案通过建立图像特征库以及包含图像特征外其他信息的附加特征库与软件相关界面的截图进行对比来判断是否为疑似假界面，解决了现有技术中智能手机上伪装软件欺诈的问题，能够快速的对钓鱼软件进行识别，提高了用户手机的安全性。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的客户端中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个客户端中。可以把实施例中的模块组合成一个模块，以及此外可以把它们分成多个子模块或子 单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者客户端的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的加载有排序网址的客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名 称。