自助设备的安全使用方法、装置和计算机设备与流程

本申请涉及到计算机领域，特别是涉及到一种自助设备的安全使用方法、装置和计算机设备。

背景技术：

随着银行精简人力、释放柜员，让柜员走出网点进行营销活动。各家银行都在极力推广自助设备，让客户在家或公司通过线上渠道预填数据，到网点后操作自助设备(ctm)自行办理业务，缩短客户的现场办理业务时间，提高客户体验。自助设备应用的对公业务场景越来越多，但对公业务比较复杂，涉及到类型的外设操作很多，比如扫描仪、读卡器、密码键盘、指纹仪、usb口等。其中涉及到的usb口操作的场景较多，而且信息很敏感，如果没有针对usb口操作的移动设备进行可靠的技术安全管控和有效的授权机制，将会出现很多无法预料的潜在风险，比如通过usb口插入移动设备拷贝敏感数据，从而造成银行的数据泄漏；或者通过usb口插入移动设备恶意或者无意的传播病毒和木马，造成银行损失等。

技术实现要素：

本申请的主要目的为提供一种自助设备的安全使用方法、装置和计算机设备，旨在通过技术手段降低现有自助设备在使用过程存在的风险。

为了实现上述发明目的，本申请提出一种自助设备的安全使用方法，包括：

读取与所述自助设备连接办理业务的终端设备的第一设备号；

在预设的白名单中查找所述第一设备号；

若查找到，则连续采集用户的人脸图像；

识别出每一张所述人脸图像对应的微表情类型，其中，不同张的所述人脸图像对应的微表情类型可以相同；

判断多个所述微表情类型中属于预设的危险表情的比例是否大于预设的预设比例，其中，所述危险表情至少包括一种；

若是，则在所述自助设备上呈现对应办理业务的预设的第一交互界面，以及向指定的后台终端发送报警信息，其中，所示自助设备中针对每一种业务均设置有不同的第一交互界面和第二交互界面，所述第一交互界面对应的操作流程复杂度大于所述第二交互界面的操作流程复杂度。

成所述连续采集用户的人脸图像的步骤，包括：

在所述自助设备的界面上显示输入密码的交互界面；

当接收到用户输入第一位密码的时候，启动预设的摄像头开始连续采集所述用户的人脸图像；

当用户输入完成密码后，并且密码验证成功的时候，开始倒计时指定时间长度，当倒计时结束后停止采集用户的人脸图像。

进一步地，所述在预设的白名单中查找所述第一设备号的步骤之后，还包括：

若未查找到所述第一设备号，则发送呼叫信息给所述后台终端，所述呼叫信息用于告知所述后台终端对应的工作人员所述自助设备需要进行人工复核处理；

接收所述工作人员输入的登录信息，并判断所述登录信息是否正确；

若是，且接收到工作人员输入的确认命令，则将所述第一设备号加入到所述白名单中，以及生成连续采集用户的人脸图像的指令。

进一步地，所述判断所述登录信息是否正确的步骤之后，还包括：

若所述登录信息正确，则在所述白名单中添加所述工作人员的信息和所述第一设备号；

将所述工作人员的信息与所述第一设备号在所述白名单中进行一对一的映射关联。

进一步地，所述自助设备上设置有物理按键，所述确认命令是按照预设规律的按压所述物理按键产生的命令；上述接收到工作人员输入的确认命令的步骤，包括：

判断所述物理按键是否按照预设规律被按压，以及按压过程中是否持续读取到所述工作人员对应的指纹信息；

若是，则接收所述物理按键按照预设规律被按压产生的所述确认命令。

进一步地，所述读取与所述自助设备连接办理业务的终端设备的第一设备号的步骤之前，包括：

判断所述终端设备的连接方式是否为通过物理接口进行的数据连接；

若是，则对所述移动终端进行杀毒处理。

在本实施例中，上述杀毒处理是指对移动终端中的数据、程序等进行软件杀毒，将比如木马、传播病毒等杀掉，当杀完毒之后，才读取终端设备的第一设备号，防止自助设备中毒而发送风险的发生，风险主要是指资源泄露、病毒传播等等，进一步地，提高自助设备的使用安全性。

本申请还提供一种自助设备的安全使用装置，包括：

读取单元，拥有读取与所述自助设备连接办理业务的终端设备的第一设备号；

查找单元，用于在预设的白名单中查找所述第一设备号；

采集单元，用于若在预设的白名单中查找所述第一设备号，则连续采集用户的人脸图像；

识别单元，拥有识别出每一张所述人脸图像对应的微表情类型，其中，不同张的所述人脸图像对应的微表情类型可以相同；

判断单元，拥有判断多个所述微表情类型中属于预设的危险表情的比例是否大于预设的预设比例，其中，所述危险表情至少包括一种；

执行单元，用于若多个所述微表情类型中属于预设的危险表情的比例大于预设的预设比例，则在所述自助设备上呈现对应办理业务的预设的第一交互界面，以及向指定的后台终端发送报警信息，其中，所示自助设备中针对每一种业务均设置有不同的第一交互界面和第二交互界面，所述第一交互界面对应的操作流程复杂度大于所述第二交互界面的操作流程复杂度。

进一步地，所述采集单元，包括：

显示模块，用于在所述自助设备的界面上显示输入密码的交互界面；

采集模块，用于当接收到用户输入第一位密码的时候，启动预设的摄像头开始连续采集所述用户的人脸图像；

停止模块，用于当用户输入完成密码后，并且密码验证成功的时候，开始倒计时指定时间长度，当倒计时结束后停止采集用户的人脸图像。

本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本申请的的自助设备的安全使用方法、装置和计算机设备，在使用过程中通过设备号进行第一重验证，只有设备号在白名单中的终端设备才可以使用自助设备。进一步地，对通过第一重验证的终端设备的用户进行验证，验证的方式是通过微表情识别，在微表情的判断过程中，获取多张人脸图像对应的多个微表情，然后根据微表情中危险表情的占比确定用户是否可能是危险用户，从而进行相应的处理，如果可能是危险用户，则提供操作复杂的交互界面，同时报警给后台终端，通过人工实现最终的复核，提高自助设备的使用安全。

附图说明

图1为本申请一实施例的自助设备的安全使用方法的流程示意图；

图2为本申请一实施例的自助设备的安全使用装置的结构示意框图；

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参照图1，本申请实施例提供一种自助设备的安全使用方法，包括步骤：

s1、读取与所述自助设备连接办理业务的终端设备的第一设备号；

s2、在预设的白名单中查找所述第一设备号；

s3、若查找到，则连续采集用户的人脸图像；

s4、识别出每一张所述人脸图像对应的微表情类型，其中，不同张的所述人脸图像对应的微表情类型可以相同；

s5、判断多个所述微表情类型中属于预设的危险表情的比例是否大于预设的预设比例，其中，所述危险表情至少包括一种；

s6、若是，则在所述自助设备上呈现对应办理业务的预设的第一交互界面，以及向指定的后台终端发送报警信息，其中，所示自助设备中针对每一种业务均设置有不同的第一交互界面和第二交互界面，所述第一交互界面对应的操作流程复杂度大于所述第二交互界面的操作流程复杂度。

如上述步骤s1所述，上述终端设备是指与自助设备连接的电子设备，包括手机、u盘、移动硬盘、ukey等；上述自助设备是指可以供用户独立完成业务办理的计算机设备，在本实施例中，可以是银行的ctm(collaborativetraceablemanagement)自助设备。每个终端设备都会含有一个独一无二的第一设备号。上述终端设备与所述自助设备连接的方式会根据终端设备的不同而不同，比如，u盘、移动硬盘、ukey等通过对应的接口与自助设备连接，手机等具有无线通讯功能和连接数据线功能的终端设备，可以通过无线的方式与自助设备连接，也可以通过数据线与自助设备连接。读取终端设备的第一设备号的方法可以采用任何一种现有的读取方法，在此不再赘述。

如上述步骤s2所述，上述白名单是预设的，其中存储有多个设备号，如果在白名单中查找到第一设备号，则说明终端设备与自助设备连接过，可以进一步地办理后续的业务。如果没有在白名单中查找到第一设备号，则说明终端设备没有权限办理后续的业务，需要工作人员核实开通权限，或者需要进行指定的开通权限操作后才能继续办理业务。上述白名单中的设备号是大量用户在第一次使用自助设备并开通权限后，将自己的设备号存入到白名单列表中形成的。在一个具体实施例中，同一系统中的多个自助设备共享同一张白名单，比如，在银行系统中不同的营业网点均设置有自助设备，为了便于用户的使用，通用同一张白名单，那么在a城市开通权限后将对应的设备号更新到上述白名单中，在b城市使用自助设备时，则无需进行过再次的权限开通，提高同一系统的使用效率和使用便利性。

如上述步骤s3所述，上述连续采集用户的人脸图像是指现场拍摄用户的多张人脸图像，用于后续的微表情识别。在本申请中可以按照指定时间间隔连续的采集用户的人脸图像，比如每间隔1秒钟拍摄一张人脸图像，连续拍摄10秒钟等。上述用户是当前办理业务的用户，自助设备上会预先设置有摄像系统，该摄像的系统具有人体头像追踪功能，已适配各种身高的用户使用。

如上述步骤s4所述，通过预设的微表情识别模型识别出每一张人脸图像的微表情类型，微表情的识别可以使用现有技术中的任意一种模型，比如，采用深度神经网络训练的微表情识别模型进行人脸的微表情识别，上述深度神经网络有卷积神经网络(cnn)和长短时记忆模型(lstm)递归神经网络组合而成，cnn负责提取微表情的静态图像特征，lstm层将提取到的卷积特征进行整合，从而得到这些特征在时域上的信息，进而对这些信息进行分类训练，最终得到微表情识别模型等。上述微表情的种类包括多种，比如快乐、悲伤、恐惧、愤怒、轻蔑、惊讶、迟疑、掩饰、退缩、犯错、羞愧等。在本实施例中，不同的人脸图像识别出的微表情可以相同，也可以不相同，即当上述的多张人脸图像进行微表情识别时候，至少会得到一种类型的微表情，或者，最多得到与人图像图像张数相同数量的多种类型的微表情。

如上述步骤s5所述，上述危险表情是预设的，其可以包括多种，比如将上述的恐惧、愤怒、轻蔑、惊讶、迟疑、掩饰、退缩、犯错、羞愧等均设置为危险表情，因为人在犯错的过程中心理过程极其复杂，会不经意间的流露出紧张、害怕、掩饰等不同的微表情，所以，本申请中并没有使用某一张人脸图像作为判定的依据，而是使用多张人脸图像的综合表现(危险表情的数量占全部微表情数量的比值)，最终判定出用户当前是否属于危险操作(比如非账号本人的操作，或者非账号本人意愿的操作)等。因为人的微表情是一闪即过的表情，最短的保持时间可以是二十五分之一秒的时间，所以仅用一张图片中识别到的微表情并不能真实的反映出用户的真实情况，所说本申请采集多张人脸图像，并且对多张人脸图像全部进行微表情识别，得到用户的综合表现，判断的结果更加准确。

如上述步骤s6所述，虽然多个所述微表情类型中属于预设的危险表情的比例大于预设的预设比例，但是这种情况仅能说明用户可能是危险用户，出现这种情况可能是用户在使用自助设备办理业务之前就产生的情绪。所以，为了不打扰用户正常的办理业务，同时又防止用户是危险用户快速办理完成业务，提供一套操作流程复杂的第一交互界面给用户处理业务，这样就会提高用户办理业务的难度，使用户无感知的情况下继续办理业务，但是延长其办理业务的时间长度。本申请中，还会发送报警信息给后台终端，后台终端接到报警后，其对应的工作人员可以根据报警信息找到上述的用户，然后人工复核，而提供第一交互界面给用户操作得到的延长时间，就是为了给工作人员足够的时间反应以及找到用户。

在一个实施例中，所述连续采集用户的人脸图像的步骤s3，包括：

s31、在所述自助设备的界面上显示输入密码的交互界面；

s32、当接收到用户输入第一位密码的时候，启动预设的摄像头开始连续采集所述用户的人脸图像；

s33、当用户输入完成密码后，并且密码验证成功的时候，开始倒计时指定时间长度，当倒计时结束后停止采集用户的人脸图像。

如上述步骤s31所述，上述密码可以是用户的账户密码等，只要是输入正确才能进行下一步操作的密码类输入即可，在此不做限定。本申请中，并不是给出指纹或者人脸等验证登录，因为指纹验证和人脸验证的操作较为简单，而且仅适用于本人操作，而本申请的自助设备还允许非本人操作的业务，如打印公司流水等等，所以需要输入密码。另外，输入密码可以有效的延长操作时间，进而提供足够长的时间连续的采集多张一段时间长度内的人脸图像。

如上述步骤s32所述，当用户输入第一位密码的时候，就开始采集用户的人脸图像。因为在输入密码的时候，是操作业务过程中比较重要的过程，如果是非法人员进行业务操作，会担心密码错误等，脸上的微表情会更加丰富，以及难以控制住其微表情，所以在输入第一位密码的时候开始采集用户的人脸图像。

如上述步骤s33所述，当密码输入完成并且验证成功之后，如果用户是危险用户，则会产生激动、兴奋、掩饰、担心等微表情，激动、兴奋是因为终于可以办理业务了，而掩饰、担心则是担心他人发现其在非法操作等，而这样的微表情变化会持续一段时间，所以本申请并不是密码验证成功后立刻停止采集人脸图像，而是在延长一段时间后停止采集人脸图像，可以得到更多反映用户真实情况的微表情。

在一个实施例中，上述在预设的白名单中查找所述第一设备号的步骤s2之后，还包括：

s21、若未查找到所述第一设备号，则发送呼叫信息给所述后台终端，所述呼叫信息用于告知所述后台终端对应的工作人员所述自助设备需要进行人工复核处理；

s22、接收所述工作人员输入的登录信息，并判断所述登录信息是否正确；

s23、若是，且接收到工作人员输入的确认命令，则将所述第一设备号加入到所述白名单中，以及生成连续采集用户的人脸图像的指令。

在本实施例中，如果在白名单中没有查找到上述第一设备号，则说明上述终端设备是第一次在自助设备上使用，所以需要进行验证等处理。在本实施例中，并不是用户通过输入身份证、人脸验证等，而是通过现场的工作人员进行人工复核，人工复核的过程不是本申请的重点，所以不再赘述。上述呼叫信息是用于告知所述后台终端对应的工作人员所述自助设备需要进行人工复核处理，呼叫信息可以语音信息、语音结合显示的信息等，告知工作人员是那一台自助设备需要人工复核等。当人工复核结束，确认用户可以继续进行自助业务办理的后，将上述第一设备号更新到白名单中，以便于用户下一次使用自助设备时可以直接在白名单中读取到相关的信息，提高下一次的使用便利性。虽然进行了人工复核，但是工作人员为了工作效率，并不会细致入微的进行复核(如仅检查用户的相关证件等)，比如不会通过微表情进行判断等，同时工作人员也不能通过用户的微表情准确的判断出用户是否为危险用户。所以，在将第一设备包加入到白名单之后，继续从步骤s3开始，完成微表情识别等后续步骤。如果自助设备最终还是判定用户可能是危险用户，此时会进行更为严格的人工复核。

在一个实施例中，上述判断所述登录信息是否正确的步骤s22之后，还包括：

s24、若所述登录信息正确，则在所述白名单中添加所述工作人员的信息和所述第一设备号；

s25、将所述工作人员的信息与所述第一设备号在所述白名单中进行一对一的映射关联。

在本实施例中，将工作人员的信息与第一设备号关联，当第一设备号在使用过程中存在违规操作等问题的时候，可以通过关联关系找到当时将第一设备号更新到白名单中的工作人员，便于对事情的调查。具体的关联方法可以是，在白名单中设置一列与设备号对应的工作人员信息列，然后将设备号与工作人员信息进行一对一的映射处理，从而建立第一设备和工作人员信息的关联关系。

在一个实施例中，上述自助设备上设置有物理按键，所述确认命令是按照预设规律的按压所述物理按键产生的命令；上述接收到工作人员输入的确认命令的步骤，包括：

判断所述物理按键是否按照预设规律被按压，以及按压过程中是否持续读取到所述工作人员对应的指纹信息；

若是，则接收所述物理按键按照预设规律被按压产生的所述确认命令。

在本实施例中，上述自助设备上设置有验证工作人员的指纹模块，在工作人员输入确认命令的时候需要保持指纹模块持续的读取到工作人员的指纹信息，以确保当前要输入到确认命令是工作人员输入的命令，以防止工作人员只输入一次指纹后，就可以输入确认命令而产生不良的后果，比如工作人员在输入一次指纹后，由于其它事情需要紧急处理而将自助设备保留在确认界面，此时非工作人员就可以输入确认命令，影响自助设备的安全使用。进一步地，上述确认命令不是在触摸屏上点击确定按钮，也不是在物理按键上点击确认键，而是按照一定的规律按压物理按键，当不知道该按压规律的非工作人员想要非法确认时，无法实现确认操作，进一步地提高自助设备的使用安全。上述物理按键可以是一个指纹识别传感器和压力传感器的组合，指纹识别传感器固定设置在压力传感器上用于识别工作人员的指纹，而压力传感器识别工作人员的按压规律(按压的力大小变化等)等。

在一个实施例中，上述读取与所述自助设备连接办理业务的终端设备的第一设备号的步骤s1之前，包括：

s101、判断所述终端设备的连接方式是否为通过物理接口进行的数据连接；

s102、若是，则对所述移动终端进行杀毒处理。

在本实施例中，上述杀毒处理是指对移动终端中的数据、程序等进行软件杀毒，将比如木马、传播病毒等杀掉，当杀完毒之后，才读取终端设备的第一设备号，防止自助设备中毒而发送风险的发生，风险主要是指资源泄露、病毒传播等等，进一步地，提高自助设备的使用安全性。

本申请实施例的自助设备的安全使用方法，在使用过程中通过设备号进行第一重验证，只有设备号在白名单中的终端设备才可以使用自助设备。进一步地，对通过第一重验证的终端设备的用户进行验证，验证的方式是通过微表情识别，在微表情的判断过程中，获取多张人脸图像对应的多个微表情，然后根据微表情中危险表情的占比确定用户是否可能是危险用户，从而进行相应的处理，如果可能是危险用户，则提供操作复杂的交互界面，同时报警给后台终端，通过人工实现最终的复核，提高自助设备的使用安全。

参照图2，本申请还提供一种自助设备的安全使用装置，包括：

读取单元10，拥有读取与所述自助设备连接办理业务的终端设备的第一设备号；

查找单元20，用于在预设的白名单中查找所述第一设备号；

采集单元30，用于若在预设的白名单中查找所述第一设备号，则连续采集用户的人脸图像；

识别单元40，拥有识别出每一张所述人脸图像对应的微表情类型，其中，不同张的所述人脸图像对应的微表情类型可以相同；

判断单元50，拥有判断多个所述微表情类型中属于预设的危险表情的比例是否大于预设的预设比例，其中，所述危险表情至少包括一种；

执行单元60，用于若多个所述微表情类型中属于预设的危险表情的比例大于预设的预设比例，则在所述自助设备上呈现对应办理业务的预设的第一交互界面，以及向指定的后台终端发送报警信息，其中，所示自助设备中针对每一种业务均设置有不同的第一交互界面和第二交互界面，所述第一交互界面对应的操作流程复杂度大于所述第二交互界面的操作流程复杂度。

在一个实施例中，上述采集单元30，包括：

显示模块，用于在所述自助设备的界面上显示输入密码的交互界面；

采集模块，用于当接收到用户输入第一位密码的时候，启动预设的摄像头开始连续采集所述用户的人脸图像；

停止模块，用于当用户输入完成密码后，并且密码验证成功的时候，开始倒计时指定时间长度，当倒计时结束后停止采集用户的人脸图像。

在一个实施例中，上述自助设备的安全使用装置，还包括：

发送单元，用于若未查找到所述第一设备号，则发送呼叫信息给所述后台终端，所述呼叫信息用于告知所述后台终端对应的工作人员所述自助设备需要进行人工复核处理；

输入判断单元，用于接收所述工作人员输入的登录信息，并判断所述登录信息是否正确；

加入执行单元，用于若所述工作人员输入的登录信息正确，且接收到工作人员输入的确认命令，则将所述第一设备号加入到所述白名单中，以及生成连续采集用户的人脸图像的指令。

在一个实施例中，上述自助设备的安全使用装置，还包括：

添加单元，用于若所述登录信息正确，则在所述白名单中添加所述工作人员的信息和所述第一设备号；

关联单元，用于将所述工作人员的信息与所述第一设备号在所述白名单中进行一对一的映射关联。

在一个实施例中，所述自助设备上设置有物理按键，所述确认命令是按照预设规律的按压所述物理按键产生的命令；上述加入执行单元，包括：

判断模块，用于判断所述物理按键是否按照预设规律被按压，以及按压过程中是否持续读取到所述工作人员对应的指纹信息；

生成单元，用于接收所述物理按键按照预设规律被按压产生的所述确认命令。

在一个实施例中，上述自助设备的安全使用装置，还包括：

接口判断单元，用于判断所述终端设备的连接方式是否为通过物理接口进行的数据连接；

杀毒单元，用于对所述移动终端进行杀毒处理。

本申请中上述的各单元、模块等是执行上述各自助设备的安全使用方法的实施例的装置，因此不在一一赘述。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储白名单等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一实施例的自助设备的安全使用方法。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一实施例的自助设备的安全使用方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram一多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。