隐私数据处理方法、装置及电子设备与流程

1.本技术涉及数据安全领域，具体而言，涉及一种隐私数据处理方法、装置及电子设备。


背景技术：

2.随着物联网技术的发展与大规模应用，个人隐私和数据保护问题日渐凸显。尤其在智能家居中，物联网设备的应用通常需要进行用户身份验证以及语音图像识别等过程，其广泛涉及用户个人身份和个人生物特征信息等隐私数据的传输及处理过程的安全问题。
3.相关技术中，家用物联网设备的隐私数据的传输及处理过程主要依赖于物联网设备和云端设备之间的数据传输协议自带的加密功能，并通过物联网设备端和云端设备端的加密算法来保障，这些公用的加密协议和加密算法由于其公开性，很容易造成有针对性的拦截和破解，从而导致加密协议和算法失效，最终造成隐私数据容易泄露的问题。
4.因此，提出一种能够有效提高隐私数据的传输及处理的安全性是目前亟待解决的问题。


技术实现要素：

5.为解决上述问题，即解决隐私数据处理过程中容易泄露的技术问题。本技术提供一种隐私数据处理方法、装置及电子设备。
6.根据本技术的一方面，提供一种基于神经网络模型的隐私数据处理方法，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述方法应用于物联网设备，包括：
7.响应于隐私数据的处理信号，基于所述第一分割模型对所述隐私数据进行加密，得到加密数据；
8.向云端设备传输所述加密数据，以使所述云端设备基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；
9.从所述云端设备获取所述隐私数据的处理结果，并基于所述隐私数据的处理结果执行对应的应用操作。
10.在一种实施方式中，所述神经网络模型是基于深度可分离卷积方法训练出轻量化深度神经网络dnn结构后，对所述轻量化深度神经网络dnn结构进行预处理后得到的。
11.在一种实施方式中，所述神经网络模型包括输入层、m层卷积层以及输出层，所述第一分割模型和所述第二分割模型是根据所述物联网设备和/或所述云端设备的计算处理能力对所述神经网络模型进行分割得到的，其中所述第一分割模型包括所述输入层及前k(1≤k≤m-1)层卷积层，所述第二分割模型包括第k+1层卷积层至所述输出层。
12.在一种实施方式中，所述基于所述第一分割模型对所述隐私数据进行加密，得到加密数据，包括：
13.将所述隐私数据输入至所述第一分割模型的输入层中，并基于所述第一分割模型
中的前k层卷积层提取所述隐私数据的特征矩阵；
14.基于所述第一分割模型中的预设加密算法对所述特征矩阵进行加密，得到加密数据。
15.在一种实施方式中，在提取所述隐私数据的特征矩阵之后，以及基于预设加密算法对所述特征矩阵进行加密之前，还包括：
16.基于所述前k层卷积层对应的池化层对所述特征矩阵进行特征矩阵压缩提取；
17.所述基于预设加密算法对所述特征矩阵进行加密，包括：基于预设加密算法对经过压缩提取后的特征矩阵进行加密。
18.根据本技术实施例的另一方面，提供另一种基于神经网络模型的隐私数据处理方法，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述方法应用于云端设备，包括：
19.接收物联网设备传输的加密数据，所述加密数据是所述物联网设备响应于隐私数据的处理信号，并基于所述第一分割模型对所述隐私数据进行加密得到的；
20.基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；
21.向所述物联网设备传输所述隐私数据的处理结果，以使所述物联网设备基于所述隐私数据的处理结果执行对应的应用操作。
22.在一种实施方式中，所述基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，包括：
23.将所述加密数据输入至所述第二分割模型中，并基于所述第二分割模型中的预设解密算法对所述加密数据进行解密，得到解密结果，所述解密结果为经过第一分割模型的前k层卷积层提取的所述隐私数据的特征矩阵；
24.基于所述第二分割模型的第k+1层卷积层至输出层对所述解密结果进行训练，得到所述隐私数据的处理结果。
25.根据本技术的又一方面，提供一种基于神经网络模型的隐私数据处理装置，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述装置应用于物联网设备，包括：
26.模型加密模块，其设置为响应于隐私数据的处理信号，基于所述第一分割模型对所述隐私数据进行加密，得到加密数据；
27.传输处理模块，其设置为向云端设备传输所述加密数据，以使所述云端设备基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；
28.获取模块，其设置为从所述云端设备获取所述隐私数据的处理结果，并基于所述隐私数据的处理结果执行对应的应用操作。
29.根据本技术的再一方面，提供另一种基于神经网络模型的隐私数据处理装置，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述装置应用于云端设备，包括：
30.接收模块，其设置为接收物联网设备传输的加密数据，所述加密数据是所述物联网设备响应于隐私数据的处理信号，基于所述第一分割模型对所述隐私数据进行加密得到
的；
31.解密处理模块，其设置为基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；
32.数据传输模块，其设置为向所述物联网设备传输所述隐私数据的处理结果，以使所述物联网设备基于所述隐私数据的处理结果执行对应的应用操作。
33.根据本技术的再一方面，提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述的隐私数据处理方法，或者所述的另一种隐私数据处理方法。
34.可以理解的，根据本技术提供的隐私数据处理方法、装置及电子设备，通过响应于隐私数据的处理信号，基于所述第一分割模型对所述隐私数据进行加密，得到加密数据；向云端设备传输所述加密数据，以使所述云端设备基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；从所述云端设备获取所述隐私数据的处理结果，并基于所述隐私数据的处理结果执行对应的应用操作。通过上述方法，可以有效解决隐私数据处理过程中容易泄露的问题，并达到有效提高隐私数据处理过程中的安全性的技术效果。
附图说明
35.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
36.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1是根据本技术实施例提供的一种的硬件环境示意图；
38.图2为本技术实施例提供的一种隐私数据处理方法的流程示意图；
39.图3为本技术实施例中神经网络模型的结构示意图；
40.图4为本技术实施例中对dnn结构进行剪枝的示意图；
41.图5为本技术实施例提供的另一种隐私数据处理方法的流程示意图；
42.图6为本技术实施例提供的一种隐私数据处理装置的结构示意图；
43.图7为本技术实施例提供的另一种隐私数据处理装置的结构示意图；
44.图8为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
46.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
47.在介绍本技术的实施例之前，首先对本技术实施例的技术背景进行解释：相关技术中，家用物联网设备的隐私数据例如身份数据的传输及处理过程主要通过物联网设备端和云端数据加密算法来保障，在传输过程中往往依赖于http(hyper text transfer protocol，超文本传输协议)、mqtt(message queuing telemetry transport，消息队列遥测传输)、nb-iot(narrow band internet of things，窄带物联网)等传输协议自带的加密功能。这些加密协议和加密算法由于其公开性，很容易造成有针对性的拦截和破解，从而导致加密协议和算法失效。此外，由于物联网设备的数据处理能力受限，往往依赖于把数据上传至云端完成较复杂智能应用的实现，在此过程中用户的身份数据例如个人图像数据和个人语音数据通常以简单对称加密或源数据格式的方式进行存储，而云端作为中心化的数据管理与服务响应方，一旦被攻破或密钥被盗取，这些个人数据很容易造成大规模的集中泄漏，给个人信息安全带来了隐患和风险。
48.对于以上缺点和不足，本技术提出一种隐私数据处理方法、装置及电子设备，是基于神经网络模型的数据加密及处理方法，其轻量化和灵活的网络分割模型可以广泛适用于不同计算能力的智能家电物联网设备的应用场合。通过在物联网数据例如语音识别和图像处理过程中对所涉及的个人隐私数据利用物联网设备中的神经网络分割模型进行特征数据提取、压缩及加密，并利用云端设备中神经网络分割模型进行特征数据的解密及训练，实现隐私数据的处理，物联网设备端进而根据处理结果完成对应的应用操作，此过程利用神经网络模型中间层数据的随机散列性和不可逆性，以及分割后神经网络模型自身的网络模型结构的不可知性，从而完成了数据传输和处理全过程的隐私数据安全闭环，有效提高用户隐私数据在传输及处理过程中的安全性。
49.根据本技术实施例的一个方面，提供了一种隐私数据处理方法。该隐私数据处理方法可以广泛应用于智慧家庭(smart home)、智能家居、智能家用设备生态、智慧住宅(intelligence house)生态等全屋智能数字化控制应用的开发场景。
50.可选地，在本实施例中，上述隐私数据处理方法可以应用于如图1所示的由iot(internet of things，物联网)家电设备端和云端组成的硬件环境中，包括物联网设备110和云端设备120，其中物联网设备110和云端设备120之间进行网络连接。可以理解的，上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：wifi(wireless fidelity，无线保真)，蓝牙。
51.与相关技术不同的，本实施例中的物联网设备110和云端设备120中分别部署了神经网络模型的第一分割模型和第二分割模型，如图1所示，该第一分割模型包括输入层(未画出)、(k层)卷积层以及(k层)池化层，第二分割模型包括(k+1层)卷积层、(k+1层)池化层以及输出层，其中，物联网设备(即iot端侧设备)在接收到用户语音图像数据之后，将用户语音图像数据转化为编码数据输入至第一分割模型中，利用卷积层提取特征(地图)矩阵数
据，并经由池化层进行压缩提取处理，进而对处理后的特征矩阵数据进行加密，经由边缘网关路由传输至云端设备，在该过程中，可以首先传输至云端设备的数据存储装置，例如数据库等，然后输入至第二分割模型中，首先对经过第一分割模型加密的特征矩阵数据进行解密，并利用卷积层对解密后的特征矩阵数据进行训练，获取用户语音图像数据的识别结果，然后在输出层对数据结果进行数据表征化通过网关路由(利用物联网tls安全传输层协议)输出给物联网设备。整个过程完成了物联网设备端和云端中数据传输、存储和应用全过程的个人信息安全闭环，有效保障用户声音和图像信息在传输、存储和应用过程中的密文特性与数据隐蔽性。
52.上面对本技术的场景示意图进行了简单说明，下面以应用于图1中的物联网设备110、云端设备120为例，来详细说明本技术实施例提供的隐私数据处理方法、装置及电子设备。
53.请参照图2，图2为本技术实施例提供一种隐私数据处理方法的流程示意图，提供一种基于神经网络模型的隐私数据处理方法，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述方法应用于物联网设备，包括步骤s201-s203。
54.在一种实施方式中，通过采用轻量化神经网络模型，以适用于一些计算能力有限的边缘物联网设备，提高方案的整体适用性。具体地，所述神经网络模型是基于深度可分离卷积方法训练出轻量化深度神经网络dnn结构后，对所述轻量化深度神经网络dnn结构进行预处理后得到的。
55.本实施例中，采用深度可分离卷积(depth-wise convolution)方法，设计卷积核(kernel)类型和激活函数并训练轻量化dnn(deep neural networks，深度神经网络)神经网络结构，使神经网络的结构至少可以满足以下轻量化指标之一或者组合：
①
限定的网络宽度w和深度d，如图3中的神经网络模型结构所示；
②
神经元节点权重值和激活函数等操作数位宽；
③
dnn网络计算所需算力与响应时间；
④
dnn识别准确率与漏检率；
⑤
dnn模型泛化指标和其他超参数要求等。
56.本实施例中，对轻量化深度神经网络dnn结构的预处理方式可以包括剪枝(pruning)，通过对所训练模型进行剪枝，对神经网络神经元节点的权重(weights)设定阈值，并修剪掉权重较轻的神经元节点连接。再次对模型进行搜索，找到没有输入输出的冗余节点，并剪枝掉与其相连的分支。将修剪过的模型进行二次训练，在满足上述的各指标的前提下，对各个节点权重值进行微调。剪枝后的模型能大幅度减低计算量和内存单元的占用率，并节省边缘侧计算资源，其中剪枝步骤和效果如图4所示，从左至右分别为剪枝前、剪枝中间过程、剪枝后的图片，其中剪枝前到剪枝中间过程为权重阈值的修建，剪枝中间过程到剪枝后为冗余节点的修剪。在一些实施例中，除了对模型进行剪枝外还可以包括其它的预处理方式，例如稀疏训练等方式。
57.本实施例通过将神经网络模型设置为轻量化dnn结构，可以应用于具有受限算力的智能家电及iot终端设备系统中，可普遍适用于gpu、arm系统或具备更小并行计算能力的cpu、dsp、pfga和mcu系统中，其特点是具有结构化的内存和并发的加法和乘法计算单元，具备实现神经网络运算的基本系统构成。
58.在一种实施方式中，通过在进行神经网络模型分割时考虑了物联网设备的计算处
理能力，以有效提高隐私数据的处理效率。具体地，所述神经网络模型包括输入层、m层卷积层以及输出层，所述第一分割模型和所述第二分割模型是根据所述物联网设备和/或所述云端设备的计算处理能力对所述神经网络模型进行分割得到的，其中所述第一分割模型包括所述输入层及前k(1≤k≤m-1)层卷积层，所述第二分割模型包括第k+1层卷积层至所述输出层。
59.可以理解的，神经网络中卷积层越多，能够训练的特征也越多，其中最小为2层，即分别在第一分割模型和第二分割模型中仅设置1层卷积层，在实际应用中，本领域技术人员可以结合现有技术对卷积层数量m进行适应性设定，例如，根据语音图像数据的复杂程度对m进行设定，可以将m的取值范围设置在20～60之间。
60.示例性的，根据物联网端侧设备的计算处理能力，即并行计算处理能力，对神经网络模型进行分割(结合图3所示)，对第神经网络的分割原则可以考虑以下参数之一或组合：
①
物联网设备侧计算所需时间
②
模型所占用的边缘侧计算单元快速内存空间(memory footprint)大小；
③
数据散列度和随机性熵系数等数据不可还原性指标等。
④
本实施例为包括池化层的神经网络模型，还考虑了特征地图数据池化(最大池化)效果与下采样压缩比率。
61.在一些实施例中，针对dnn网络模型的分割过程中，可以根据不同种类神经网络的模型结构进行定制化的分割。如可灵活实现卷积核卷积运算、池化运算以及sigmoid、relu等激活函数运算以及输出层softmax归一化函数等运算的顺序和组成，还可根据alexnet、lenet、googlenet、resnet和其他asr模型如rnn、lstm、gan和基于transformer编码的bert网络等模型的结构，进行定制化的分割方法与策略。本实施例对于神经网络模型的分割过程并不作具体限定。
62.本实施例中，针对智能家电和iot设备受限的算力和内存空间设计的轻量化的dnn网络结构和训练方法，给出了中间层数据提取方式，其中模型的分割方式，依照设备端和云端的算力资源配比，实现了神经网络模型的定制化分割和灵活部署。
63.步骤s201、响应于隐私数据的处理信号，基于所述第一分割模型对所述隐私数据进行加密，得到加密数据。
64.本实施例中，隐私数据可以为涉及用户身份信息的数据信息，例如人脸识别、声音识别、指纹识别等信息。在一些实施例中，隐私数据还可以为其他数据信息，本领域技术人员可以结合实际应用对隐私数据进行相应设定。
65.具体地，物联网设备在进行数据处理时识别对应的隐私数据，并响应于对应的隐私数据的处理信息号，根据第一分割模型执行隐私数据的加密操作。可以理解的，响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
66.在一种实施方式中，步骤s201中基于所述第一分割模型对所述隐私数据进行加密，得到加密数据，可以包括以下步骤：
67.将所述隐私数据输入至所述第一分割模型的输入层中，并基于所述第一分割模型中的前k层卷积层提取所述隐私数据的特征矩阵；
68.基于所述第一分割模型中的预设加密算法对所述特征矩阵进行加密，得到加密数
据。
69.需要说明的是，本领域技术人员可以结合现有技术和实际应用对预设加密算法进行设定，例如在本实施例中，采用对称加密算法对特征矩阵进行加密，具体地，利用加密芯片生成的加密秘钥对对经过卷积层提取的特征矩阵进行加密，其中加密秘钥对包括加密秘钥和解密秘钥，在第一分割模型中采用加密秘钥加密，并在第二分割模型中采用解密秘钥解密。
70.示例性地，物联网设备首先将隐私数据转换为编码数据输入至第一分割模型中，然后利用第一分割模型中的卷积层、池化层对编码数据进行特征矩阵的提取及压缩处理，并基于加密芯片生成的加密秘钥对特征矩阵进行加密，得到加密数据。
71.在一种实施方式中，为了降低计算量，神经网络模型中还添加了池化层。具体地，在提取所述隐私数据的特征矩阵之后，以及基于预设加密算法对所述特征矩阵进行加密之前，还可以包括以下步骤：
72.基于所述前k层卷积层对应的池化层对所述特征矩阵进行特征矩阵压缩提取；
73.所述基于预设加密算法对所述特征矩阵进行加密，包括：基于预设加密算法对经过压缩提取后的特征矩阵进行加密。
74.本实施例中，利用池化层对卷积层所提取的信息做更一步降维，减少计算量，并加强特征地图矩阵的不变性，使之增加图像的偏移、旋转等方面的鲁棒性。
75.本实施例中，经过前k段dnn网络训练加密的特征矩阵数据经过边缘侧网关和路由被发送和存储在云端，等待云端服务和识别应用功能接口的调用。此处存储于云端并等待被调用的用户数据，由被前k段dnn网络和加密芯片两次加密后的特征地图数据(即特征地图矩阵、特征矩阵)以及由加密芯片产生的加密密钥组成，其源数据格式和特征无法由云端或用户端(即物联网设备端)进行还原而得到，这些数据具备不可恢复性与不可逆性，有效降低了隐私数据在传输过程中被破解的可能性。
76.步骤s202、向云端设备传输所述加密数据，以使所述云端设备基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果。
77.在一可实现中，在经过物联网设备完成基于第一分割模型的数据加密后，向云端设备发起应用请求，并在该应用请求中携带该加密数据，以进行加密数据的传输。云端设备接收到加密数据后，利用第二分割模型对加密数据进行解密及还原，对特征矩阵进行训练，输出结果即为隐私数据的处理结果，其中隐私数据的处理可以为人脸识别等。
78.具体地，当iot端设备通过云端应用接口调用数据时，云端服务器对物联网设备当前传输的或者经过存储的加密数据进行提取，并对加密数据进行一次解密并还原得到特征地图矩阵，随后特征矩阵被输入至嵌入在云端或应用端的dnn模块完成剩余dnn(k+1层至输出层)的处理，该模块包含k+1层至输出层dnn网络模型。最后通过输出层的softmax归一化模型进行识别结果的表征化输出，通过网关路由完成云到端数据交换，将识别结果发送至端侧设备，完成对用户身份识别或语音和图像识别功能的实现，完整流程可以结合图1所示。
79.步骤s203、从所述云端设备获取所述隐私数据的处理结果，并基于所述隐私数据的处理结果执行对应的应用操作。
80.本实施例中，物联网设备通过网关路由(基于物联网tls安全传输层协议)获取云端针对隐私数据的处理结果，其中，基于隐私数据的处理结果执行对应的应用操作，以智能门锁为例，在人脸识别通过后，智能门锁自动开关。
81.本实施例通过将神经网络模型分割并分别部署于云端和iot设备端，通过抽取物联网设备端神经网络中间层特征数据来实现云和端之间的协同、分步计算，应用了神经网络的中间层特征数据的密文特性和不可逆性，以及底层加密芯片的对称加密操作，实现对用户语音及图像信息的采集和多层加密处理，从而实现用户数据在传输、存储和应用全过程的数据加密与保护，有效解决了隐私数据处理过程中容易泄露的技术问题，提高了隐私数据处理的安全性。
82.请参照图5，图5为本技术实施例提供的另一种基于神经网络模型的隐私数据处理方法的流程示意图，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述方法应用于云端设备，所述方法包括步骤s501-s503。
83.步骤s501、接收物联网设备传输的加密数据，所述加密数据是所述物联网设备响应于隐私数据的处理信号，并基于所述第一分割模型对所述隐私数据进行加密得到的；
84.步骤s502、基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；
85.步骤s503、向所述物联网设备传输所述隐私数据的处理结果，以使所述物联网设备基于所述隐私数据的处理结果执行对应的应用操作。
86.在一种实施方式中，所述神经网络模型是基于深度可分离卷积方法训练出轻量化深度神经网络dnn结构后，对所述轻量化深度神经网络dnn结构进行预处理后得到的。
87.在一种实施方式中，所述神经网络模型包括输入层、m层卷积层以及输出层，所述第一分割模型和所述第二分割模型是根据所述物联网设备和/或所述云端设备的计算处理能力对所述神经网络模型进行分割得到的，其中所述第一分割模型包括所述输入层及前k(1≤k≤m-1)层卷积层，所述第二分割模型包括第k+1层卷积层至所述输出层。
88.在一种实施方式中，所述基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，包括：
89.将所述加密数据输入至所述第二分割模型中，并基于所述第二分割模型中的预设解密算法对所述加密数据进行解密，得到解密结果，所述解密结果为经过第一分割模型的前k层卷积层提取的所述隐私数据的特征矩阵；
90.基于所述第二分割模型的第k+1层卷积层至输出层对所述解密结果进行训练，得到所述隐私数据的处理结果。
91.相应地，上述加密数据可以是经过第一分割模型进行池化操作后的加密数据，第二分割模型中也可以设置对应的池化层对特征矩阵数据进行池化操作，本实施例不再多作赘述。
92.本实施例中，针对智能家电及物联网终端设备设计的轻量化dnn神经网络的数据加密实现方法，利用物联网设备边缘侧计算资源受限的特点，以专用数据加密算法和分布式神经网络计算的方式对用户图片和语音数据进行批量加密上传和存储，在保证云端和边缘侧的智能应用和计算的基础上，对云端和iot设备端的计算负载进行灵活分配，使用户个
人数据在具备信息安全保障的前提下完成各种应用调用，如身份验证以及图像和语音识别算法的实现。本实施例中所涉及的数据安全解决方案，在未来物联网终端设备智能化和小型化趋势以及aiot技术的引领下有着广阔的应用前景。
93.在此需要说明的是，本实施例提供的上述方法未述及的实现原理部分已在上述实施例中进行详述，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
94.本技术实施例相应还提供一种基于神经网络模型的隐私数据处理装置，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述装置应用于物联网设备，如图6所示，该装置包括：
95.模型加密模块61，其设置为响应于隐私数据的处理信号，基于所述第一分割模型对所述隐私数据进行加密，得到加密数据；
96.传输处理模块62，其设置为向云端设备传输所述加密数据，以使所述云端设备基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；
97.获取模块63，其设置为从所述云端设备获取所述隐私数据的处理结果，并基于所述隐私数据的处理结果执行对应的应用操作。
98.在一种实施方式中，所述神经网络模型是基于深度可分离卷积方法训练出轻量化深度神经网络dnn结构后，对所述轻量化深度神经网络dnn结构进行预处理后得到的。
99.在一种实施方式中，所述神经网络模型包括输入层、m层卷积层以及输出层，所述第一分割模型和所述第二分割模型是根据所述物联网设备和/或所述云端设备的计算处理能力对所述神经网络模型进行分割得到的，其中所述第一分割模型包括所述输入层及前k(1≤k≤m-1)层卷积层，所述第二分割模型包括第k+1层卷积层至所述输出层。
100.在一种实施方式中，所述模型加密模块，包括：
101.输入提取单元，其设置为将所述隐私数据输入至所述第一分割模型的输入层中，并基于所述第一分割模型中的前k层卷积层提取所述隐私数据的特征矩阵；
102.加密单元，其设置为基于所述第一分割模型中的预设加密算法对所述特征矩阵进行加密，得到加密数据。
103.在一种实施方式中，所述模型加密模块还包括：
104.压缩提取单元，其设置为基于所述前k层卷积层对应的池化层对所述特征矩阵进行特征矩阵压缩提取；
105.所述加密单元具体设置为，基于预设加密算法对经过压缩提取后的特征矩阵进行加密。
106.在此需要说明的是，本实施例提供的上述装置，能够相应地实现上述方法实施例中物联网设备所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
107.本技术实施例相应还提供另一种基于神经网络模型的隐私数据处理装置，所述神经网络模型包括第一分割模型和第二分割模型，所述第一分割模型设置于物联网设备中，所述第二分割模型设置于云端设备中，所述装置应用于云端设备，如图7所示，该装置包括：
108.接收模块71，其设置为接收物联网设备传输的加密数据，所述加密数据是所述物
联网设备响应于隐私数据的处理信号，基于所述第一分割模型对所述隐私数据进行加密得到的；
109.解密处理模块72，其设置为基于所述第二分割模型对所述加密数据进行解密，并根据解密结果处理所述隐私数据，得到所述隐私数据的处理结果；
110.数据传输模块73，其设置为向所述物联网设备传输所述隐私数据的处理结果，以使所述物联网设备基于所述隐私数据的处理结果执行对应的应用操作。
111.在一种实施方式中，所述解密处理模块，包括：
112.输入解密单元，其设置为将所述加密数据输入至所述第二分割模型中，并基于所述第二分割模型中的预设解密算法对所述加密数据进行解密，得到解密结果，所述解密结果为经过第一分割模型的前k层卷积层提取的所述隐私数据的特征矩阵；
113.处理单元，其设置为基于所述第二分割模型的第k+1层卷积层至输出层对所述解密结果进行训练，得到所述隐私数据的处理结果。
114.在一种实施方式中，所述神经网络模型是基于深度可分离卷积方法训练出轻量化深度神经网络dnn结构后，对所述轻量化深度神经网络dnn结构进行预处理后得到的。
115.在一种实施方式中，所述神经网络模型包括输入层、m层卷积层以及输出层，所述第一分割模型和所述第二分割模型是根据所述物联网设备和/或所述云端设备的计算处理能力对所述神经网络模型进行分割得到的，其中所述第一分割模型包括所述输入层及前k(1≤k≤m-1)层卷积层，所述第二分割模型包括第k+1层卷积层至所述输出层。
116.在此需要说明的是，本实施例提供的上述装置，能够相应地实现上述方法实施例中云端设备所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
117.本技术实施例相应还提供一种电子设备，如图8所示，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述的隐私数据处理方法，或者所述的另一种隐私数据处理方法。
118.在此需要说明的是，本实施例提供的上述电子设备，能够相应地实现上述方法实施例中物联网设备或者云端设备所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
119.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。
120.如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他
磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
121.此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
122.在本技术实施例的描述中，术语“和/或”仅仅表示一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，术语“至少一种”表示多种中的任一种或多种中的至少两种的任意组合，例如，包括a、b、中的至少一种，可以表示包括a、b和c沟通的集合中选择的任意一个或多个元素。此外，术语“多个”的含义是两个或两个以上，除非是另有精确具体地规定。
123.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。