一种基于多模态特征识别和融合比对的安检方法及系统与流程

1.本发明涉及信息安全技术领域，尤其是涉及一种基于多模态特征识别和融合比对的安检方法及系统。


背景技术：

2.安检过程中，需要对人员的信息进行快速确认，用以使人员快速通过，目前采用的手段多是查看身份证等证件照信息，这种方式需要人工比对照片，确认速度慢，并且身份证上的照片与使用者的实际面貌的误差也不可控，导致安检人员需要反复确认，或者为了避免堵塞而选择允许通过。
3.当然，也有一些终端设备能够通过获取人脸图像和指纹等生物特征的方式也能够完成安检，这些方式涉及到拍照、录像和获取人体生物特征等内容，例如一些手持终端可以通过身份证号得到证件照和身份信息，图像采集终端会记录人脸图像并在本地保存，部分识别设备在识别过程中需要对证件拍摄后获取信息。这些方式如果发生泄漏会产生不可控的负面影响，如何进行信息的安全管理，用以保证安检过程中信息的安全性是一个重要的研究课题。


技术实现要素：

4.本发明提供一种基于多模态特征识别和融合比对的安检方法及系统，过程中仅使用部分碎片化的信息来进行对比，用以完成安检过程，有助于提高信息的安全性和降低信息发生泄漏后造成的影响。
5.本发明的上述目的是通过以下技术方案得以实现的：第一方面，本发明提供了一种基于多模态特征识别和融合比对的安检方法，包括：响应于获取到的连接信息，与客户端建立数据通讯关系；与信息管理服务器建立数据通讯关系，同时确认客户端与信息管理服务器建立数据通讯关系；向客户端发出安检请求将收到的客户端发送的安检信息发送至信息管理服务器；以及根据信息管理服务器的反馈给出安检结果；其中，客户端同时向信息管理服务器发送用于验证安检信息的安检核验信息；安检信息和安检核验信息包括证件照信息、指纹信息、虹膜信息、人脸信息、手机侦码、车辆信息中的至少三种。
6.在第一方面的一种可能的实现方式中，信息管理服务器安检过程中，与信息管理服务器的数据通讯关系断开或者客户端与信息管理服务器的数据通讯关系断开，安检过程结束。
7.在第一方面的一种可能的实现方式中，客户端发送的安检信息和安检核验信息均包括多个安检文件组，时间序列上，安检文件组中的子安检文件按照发出顺序排列；
同一个安检文件组中的子安检文件归属于一个安检信息；安检文件组中子安检文件的数量小于一个安检信息中子安检文件的总数量。
8.在第一方面的一种可能的实现方式中，时间序列上，两个相邻且归属于同一个安检信息的子安检文件间具有空白时间段，每一个空白时间段上存在第一随机安检码；第一随机安检码同时发送至信息管理服务器。
9.在第一方面的一种可能的实现方式中，与客户端连接后，向客户端发送安检过程指令，并在接收到客户端发送的安检完成指令后与客户端建立数据通讯关系。
10.在第一方面的一种可能的实现方式中，每收到一个第一随机安检码，向客户端和信息管理服务器发送一个第二随机安检码，客户端需要将收到的第二随机安检码发送至信息管理服务器。
11.在第一方面的一种可能的实现方式中，时间序列上，每一组对应的第一随机安检码的收到时间和第二随机安检码的产生时间的间隔均相同。
12.第二方面，本发明提供了一种基于多模态特征识别和融合比对的安检系统，包括：连接单元，用于响应于获取到的连接信息，与客户端建立数据通讯关系；第一通讯单元，用于与信息管理服务器建立数据通讯关系，同时确认客户端与信息管理服务器建立数据通讯关系；第二通讯单元，用于向客户端发出安检请求将收到的客户端发送的安检信息发送至信息管理服务器；向客户端发出安检请求并接收客户端发送的安检信息；以及反馈单元，用于根据信息管理服务器的反馈给出安检结果；安检信息和安检核验信息包括证件照信息、指纹信息、虹膜信息、人脸信息、手机侦码、车辆信息中的至少三种。
13.第三方面，本发明提供了一种基于多模态特征识别和融合比对的系统，所述系统包括：一个或多个存储装置，用于存储指令；一个或多个处理装置，用于从所述存储装置中调用并运行所述指令，执行如第一方面及第一方面任意可能的实现方式中所述的方法；以及一个或多个显示装置，用于安检信息呈现，支持触控方式进行人机交互。
14.第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质包括：程序，当所述程序被处理器运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
15.第五方面，本发明提供了一种计算机程序产品，包括程序指令，当所述程序指令被计算设备运行时，如第一方面及第一方面任意可能的实现方式中所述的方法被执行。
16.第六方面，本发明提供了一种安检设备，该安检设备包括处理器，用于实现上述各方面中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
17.该安检设备，可以由芯片构成，也可以包括芯片和其他分立器件。
18.在一种可能的设计中，该安检设备还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，或者处理器和该存储器也可以耦合在同一个设备上。
附图说明
19.图1是本发明提供的一种安检方法的流程示意框图。
20.图2是本发明提供的一个完整的安检过程中的信息流向示意图，图中箭头表示信息流向。
21.图3是本发明提供的一种安检文件组的生成过程示意图。
22.图4是本发明提供的一种相邻的子安检文件间插入第一随机安检码的示意图。
23.图5是本发明提供的一种基于第一随机安检码生成第二随机安检码的示意图。
具体实施方式
24.以下结合附图，对本发明中的技术方案作进一步详细说明。
25.请参阅图1，为本发明公开的一种基于多模态特征识别和融合比对的安检方法，方法包括以下步骤：s101，响应于获取到的连接信息，与客户端建立数据通讯关系；s102，向客户端发出安检请求将收到的客户端发送的安检信息发送至信息管理服务器；s103，将安检信息发送至信息管理服务器；以及s104，根据信息管理服务器的反馈给出安检结果。
26.其中，客户端同时向信息管理服务器发送用于验证安检信息的安检核验信息；安检信息和安检核验信息包括证件照信息、指纹信息、虹膜信息、人脸信息、手机侦码、车辆信息中的至少三种。
27.本发明公开的基于多模态特征识别和融合比对的安检方法，应用于安检系统中，如图2所示，安检系统由安检端、客户端和信息管理服务器三部分组成，安检人员使用安检端，被安检人员使用客户端，信息管理服务器作为第三方，根据与安检端和客户端之间的数据通讯来给出安检结果。
28.三方参与的方式能够避免安检端和客户端中任意一方的造假行为，因为在安检过程中，安检端和客户端都需要保持与信息管理服务器的连接，在无法访问信息管理服务器的情况下，安检过程无法进行。
29.对于安检端和客户端的安全保证，通过官方渠道下载和实名安检的方式来保证，安检端和客户端都运行于手机等智能终端，在安装安检端和客户端时，二者均需要通过官网下载安装，安装完成后，需要进行注册和实名安检。
30.客户端的作用是调用被安检人员的安检信息，被安检人员的安检信息存储在手机上cpu上的一块加密区域。以苹果手机为例，指纹等信息保存在本地的soc中的安全隔区。安全隔区是一个和cpu之间有物理隔离的区域，只有它有权访问指纹识别硬件中的传感器。
31.或者，使用附加nfc芯片的方式来保存被安检人员的安检信息，附加nfc芯片只允许手机上的客户端访问，在不使用时，还可以使用关闭手机上的nfc功能或者分开手机和附加nfc芯片的方式来实现物理层面上的断开。
32.具体而言，在步骤s101中，安检端会响应于获取到的连接信息，与客户端建立数据通讯关系，也就是说，安检过程由客户端主动发起，安检端不会主动发起安检过程。这样可以将主动权交到被安检人员手中，保证安检过程是在被安检人员知晓的情况下进行的。
33.接着执行步骤s102，该步骤中，安检端会与信息管理服务器建立数据通讯关系，数据通讯关系建立完成后，同时还需要确认客户端与信息管理服务器建立数据通讯关系，当客户端与信息管理服务器建立数据通讯关系时，不进行安检。
34.也就是说，在一个完整的安检过程中，安检端与信息管理服务器之间和客户端与信息管理服务器之间，始终保持数据通讯关系，当其中的任意一个数据通讯关系断开时，安检过程自动结束。这样做的目的是避免可能发生的入侵情况，保证在一个完整的安检过程中，与信息管理服务器进行数据通讯的安检端和客户端保持不变。
35.在步骤s103中，安检端会向客户端发出安检请求并接收客户端发送的安检信息，收到安检信息后，安检端会将安检信息发送给信息管理服务器。安检过程中安检端与客户端之间也会进行数据通讯，用来保证二者在一个完整的安检过程中不会发生变化。
36.客户端同时向信息管理服务器发送用于验证安检信息的安检核验信息，举例说明，安检信息的基础源包括证件照信息、指纹信息、虹膜信息、人脸信息、手机侦码、车辆信息等，安检信息是基础源的一部分，安检核验信息也是基础源的一部分，安检信息和安检核验信息均来自基础源但是无法推导出基础源。
37.同时，安检信息和安检核验信息还具有相互参考的关系，二者必须一一对应才能够得到安检成功的结果。也就是仅有信息管理服务器收到安检端发送的安检信息和客户端发送的安检核验信息配对成功时，才能够通过信息管理服务器的安检。
38.以人脸图像为例，安检信息和安检核验信息是图像上的一个区域，这个区域内的信息分为两个部分，一个是安检信息，一个是安检核验信息。
39.在步骤s104中，安检端根据信息管理服务器的反馈给出安检结果。前文中提到，信息管理服务器同时收到安检端和客户端发送的安检信息并且这两个安检信息保持一致时，会通过信息管理服务器的安检，此时信息管理服务器会向安检端发出通过安检的结果，反之则发出未通过安检的结果。
40.由安检端将安检信息发送至信息管理服务器的作用是保证在一个完整的安检过程中，安检端、客户端和信息管理服务器都能够参与到其中。
41.举例说明，如果安检端不参与到安检过程，那么客户端可以将消息发送至一个伪信息管理服务器，然后由这个伪信息管理服务器反馈一个通过安检的安检信息。如果客户端不参与到安检过程中，那么安检端同样可以将消息发送至一个伪信息管理服务器，然后由这个伪信息管理服务器反馈一个通过安检的安检信息。
42.安检端和客户端的同时参与，可以进行双向监督，因为基于这种双向监督设置的安检方式，其中的任意一方出现问题，都会导致信息管理服务器安检过程的中断。
43.在使用安检信息的过程中，还可以根据安检信息调取信息（健康码、行程卡等），用以辅助进行其他方式的信息查询。
44.整体而言，本发明提供的基于多模态特征识别和融合比对的安检方法，使用了三方（安检端、客户端和信息管理服务器）参与的安检方式，安检过程中，安检端与信息管理服务器、客户端与信息管理服务器以及安检端与客户端之间均保持数据通讯。
45.三方参与的方式能够保证安检过程中安检端、客户端和信息管理服务器的真实性，因为三方安检过程中的真实身份能够相互认可，当相互认可不出现时，安检过程无法继续。并且，安检信息的网络式传递（非固定存储）也会大幅度杜绝泄漏的产生。
46.在一些可能的实现方式中，安检端收到客户端发送的安检信息后，进行身份标记和二次加密后传递。
47.在一些可能的实现方式中，安检端发送安检信息后立即删除本地信息。
48.作为申请提供的基于多模态特征识别和融合比对的安检方法的一种具体实施方式，信息管理服务器安检过程中，与信息管理服务器的数据通讯关系断开或者客户端与信息管理服务器的数据通讯关系断开，安检过程结束。
49.这样可以保证安检过程的唯一性，也就是在发生数据通讯关系断开的情况时，安检过程需要重新开始，用以避免数据通讯关系断开时可能产生的网络变化和潜在的侵入风险。
50.请参阅图3，作为申请提供的基于多模态特征识别和融合比对的安检方法的一种具体实施方式，客户端发送的安检信息和安检核验信息均包括多个安检文件组，时间序列上，安检文件组中的子安检文件按照发出顺序排列，并且，同一个安检文件组中的子安检文件归属于一个安检信息。
51.同时，安检文件组中子安检文件的数量小于一个安检信息中子安检文件的总数量。
52.具体而言，对于一个安检信息，需要将其划分为多个部分，例如照片或者指纹，需要进行分割，经过分割后的碎片化的安检信息称为子安检文件，多个子安检文件组成一个安检文件组。一个安检文件组中的子安检文件从全部的子安检文件中随机挑选，此处可以认为安检文件组是一个安检信息的子集。
53.使用子安检文件的目的是避免信息泄漏，因为完整的发送安检信息，如果发生了泄漏情况，会导致个人信息的丢失，但是子安检文件仅仅是安检信息的一部分，即使发生了泄漏情况，也不会导致个人信息的丢失。
54.并且，本发明还使用了多安检信息互相参考的安检方式（一次使用至少两个安检信息），可以进一步降低单次安检过程中子安检文件的使用数量。
55.在一些可能的方式中，每一次的安检过程中都需要对安检信息进行随机分割，这样可以使每一次的分割方式都不相同，同时在使用随机选取的方式在随机分割生成的子安检文件中进行随机选择。
56.请参阅图4，作为申请提供的基于多模态特征识别和融合比对的安检方法的一种具体实施方式，时间序列上，两个相邻且归属于同一个安检信息的子安检文件间具有空白时间段，每一个空白时间段上存在第一随机安检码。
57.在一些可能的实现方式中，第一随机安检码使用数值概率算法、蒙特卡洛算法、拉斯维加斯算法或者舍伍德算法等进行生成。
58.进一步地，两个在时间序列上使用的第一随机安检码使用不同的算法生成。
59.在一些可能的实现方式中，空白时间段的长度中至少存在两个的时间长度不同。
60.使用插入第一随机安检码的方式后，可以进一步提高信息传递过程中的安全性。第一随机安检码的出现能够增加传递信息的复杂度，例如第一随机安检码可以伪装成与相邻的子安检文件的格式与大小均相同。
61.另外，第一随机安检码也可以作为一种验证手段，使信息管理服务器可以确认从安检端接收到的数据是由客户端发送的。
62.请参阅图4，进一步地，每收到一个第一随机安检码，安检端会向信息管理服务器客户端发送一个第二随机安检码，客户端需要将收到的第二随机安检码发送至信息管理服务器。
63.第二随机安检码的作用与第一随机安检码的相同，另外，这两个随机安检码的配合使用，可以使得上述内容中提到的三方参与过程中数据通讯，均可以通过这两个随机安检码进行相互的身份确认。
64.应理解，子安检文件的接收、解析和对比需要花费一定的时间，但是第一随机安检码和第二随机安检码可以进行快速对比，这样在接收子安检文件时，信息管理服务器就可以通过第一随机安检码和第二随机安检码对子安检文件进行预接收，并在全部接收完成后再进行统一处理。
65.请参阅图5，进一步地，时间序列上，每一组对应的第一随机安检码的收到时间和第二随机安检码的产生时间的间隔均相同。也就是说，第二随机安检码的产生时间仅与对应的第一随机安检码的收到时间有关。
66.应了解，安检端收到第一随机安检码的时间可能发生变化，也就是每一个第二随机安检码的产生时间并不固定，这会增加第二随机安检码产生的复杂性，因为第二随机安检码的产生是基于安检端内的时钟，而不是客户端内的时钟，无法通过获取客户端内的时钟的方式来获取第二随机安检码的产生时间。
67.作为申请提供的基于多模态特征识别和融合比对的安检方法的一种具体实施方式，安检端与客户端连接后，会向客户端发送安检过程指令，并在接收到客户端发送的安检完成指令后与客户端建立数据通讯关系。
68.在这种设计中，客户端的启动需要被唤醒，这样可以确认被安检人员必须在安检人员的观察下启动客户端，避免了换人操作的可能。客户端接收到安检过程指令后，会开启，并提醒被安检人员进行进入操作，进入操作可以是面部识别和指纹等，进入到客户端后，客户端向安检端发送安检完成指令，安检端与客户端建立数据通讯关系。
69.进入操作优先选用面部识别的方式，因为在面部识别过程中，可以通过瞬时拍摄的方式获取到被安检人员的面部信息，然后生成瞬时证照，这样就可以对被安检人员的瞬时证照进行动态更新，更新的瞬时证照存储在上述内容提到的手机上cpu上的一块加密区域或者附加nfc芯片上。
70.本发明还提供了一种基于多模态特征识别和融合比对的安检系统，包括：连接单元，用于响应于获取到的连接信息，与客户端建立数据通讯关系；第一通讯单元，用于与信息管理服务器建立数据通讯关系，同时确认客户端与信息管理服务器建立数据通讯关系；第二通讯单元，用于向客户端发出安检请求并接收客户端发送的安检信息；第三通讯单元，用于将安检信息发送至信息管理服务器；以及反馈单元，用于根据信息管理服务器的反馈给出安检结果；其中，客户端同时向信息管理服务器发送同样的安检信息；安检信息和安检核验信息包括证件照信息、指纹信息、虹膜信息、人脸信息、手机侦码、车辆信息中的至少三种。
71.进一步地，信息管理服务器安检过程中，与信息管理服务器的数据通讯关系断开
或者客户端与信息管理服务器的数据通讯关系断开，安检过程结束。
72.进一步地，客户端发送的安检信息和安检核验信息均包括多个安检文件组，时间序列上，安检文件组中的子安检文件按照发出顺序排列；同一个安检文件组中的子安检文件归属于一个安检信息；安检文件组中子安检文件的数量小于一个安检信息中子安检文件的总数量。
73.进一步地，时间序列上，两个相邻且归属于同一个安检信息的子安检文件间具有空白时间段，每一个空白时间段上存在第一随机安检码。
74.进一步地，与客户端连接后，向客户端发送安检过程指令，并在接收到客户端发送的安检完成指令后与客户端建立数据通讯关系。
75.进一步地，每收到一个第一随机安检码，向客户端和信息管理服务器发送一个第二随机安检码，客户端需要将收到的第二随机安检码发送至信息管理服务器。
76.进一步地，时间序列上，每一组对应的第一随机安检码的收到时间和第二随机安检码的产生时间的间隔均相同。
77.在一个例子中，以上任一装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个专用集成电路(application specific integratedcircuit，asic)，或，一个或多个数字信号处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)，或这些集成电路形式中至少两种的组合。
78.再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，cpu)或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。
79.在本发明中可能出现的对各种消息/信息/设备/网元/系统/装置/动作/操作/流程/概念等各类客体进行了赋名，可以理解的是，这些具体的名称并不构成对相关客体的限定，所赋名称可随着场景，语境或者使用习惯等因素而变更，对本发明中技术术语的技术含义的理解，应主要从其在技术方案中所体现/执行的功能和技术效果来确定。
80.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
81.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
82.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
83.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单
元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
84.还应理解，在本发明的各个实施例中，第一、第二等只是为了表示多个对象是不同的。例如第一时间窗和第二时间窗只是为了表示出不同的时间窗。而不应该对时间窗的本身产生任何影响，上述的第一、第二等不应该对本发明的实施例造成任何限制。
85.还应理解，在本发明的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
86.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
87.本发明还提供了一种基于多模态特征识别和融合比对的系统，所述系统包括：一个或多个存储装置，用于存储指令；一个或多个处理装置，用于从所述存储装置中调用并运行所述指令，执行如上述内容中所述的方法；以及一个或多个显示装置，用于安检信息呈现，支持触控方式进行人机交互。
88.本发明还提供了一种计算机程序产品，该计算机程序产品包括指令，当该指令被执行时，以使得该安检设备执行对应于上述方法的安检设备的操作。
89.本发明还提供了一种安检设备，该安检设备包括处理器，用于实现上述内容中所涉及的功能，例如，生成，接收，发送，或处理上述方法中所涉及的数据和/或信息。
90.该安检设备，可以由芯片构成，也可以包括芯片和其他分立器件。
91.上述任一处提到的处理器，可以是一个cpu，微处理器，asic，或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。
92.在一种可能的设计中，该安检设备还包括存储器，该存储器，用于保存必要的程序指令和数据。该处理器和该存储器可以解耦，分别设置在不同的设备上，通过有线或者无线的方式连接，以支持该安检设备实现上述实施例中的各种功能。或者，该处理器和该存储器也可以耦合在同一个设备上。
93.可选地，该计算机指令被存储在存储器中。
94.可选地，该存储器为该芯片内的存储单元，如寄存器、缓存等，该存储器还可以是该终端内的位于该芯片外部的存储单元，如rom或可存储静态信息和指令的其他类型的静态存储设备，ram等。
95.可以理解，本发明中的存储器可以是易失性存储器或非易失性存储器，或可包括
易失性和非易失性存储器两者。
96.非易失性存储器可以是rom、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。
97.易失性存储器可以是ram，其用作外部高速缓存。ram有多种不同的类型，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器。
98.本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。