用于处理卸载的数据的方法、服务器设备和系统

本公开涉及一种用于处理卸载的数据的方法、服务器设备和系统，更具体地说，涉及一种用于处理卸载的数据的方法、服务器设备及系统，通过其可联合训练解码器模型和深度神经网络模型。

背景技术：

1、最近，基于深度神经网络的服务已在能够执行无线通信的设备中广泛使用，如物联网(iot)设备或智能电话。

2、卸载正在出现，以解决此类设备计算资源不足的问题。然而，来自众多设备的过度卸载请求会在网络带宽利用率方面造成严重问题。

3、在具有大网络带宽的地区，如城市地区，为深度神经网络(dnn)卸载传输的数据量是可管理的，但是，此类数据占据了网络带宽的很大一部分，因此，用户可使用的可用网络带宽减少，从而降低了用户体验。

4、在具有小网络带宽的地区，如棚户区，此类问题变得更加严重。在这样的区域中，网络带宽从一开始就不能充分覆盖为dnn卸载而传输的数据量，导致无法正确提供dnn服务，并且可用网络带宽被消除，这大大降低了网络用户体验。

5、为了解决这些问题，有必要使用带宽，一个很有前途的解决方案是卸载压缩数据。

6、然而，相关技术的图像压缩技术被设计为使得人眼能够识别结果图像，因此在压缩率方面存在限制。

7、图1是用于描述其中图像被压缩以使得其恢复的图像在人眼观看时与原始图像没有差异的情况的概念图。

8、如图1所示，压缩图像以使恢复的图像在人眼观看时与原始图像没有差异意味着压缩的结果包括人眼观看所需的信息，而不是dnn处理所需的信息。

9、图2是用于描述裁剪图像以获得关注区域并为了期望目的压缩关注区域以输入到dnn的方法的概念图。

10、参考图2，通过从空间信息中去除由dnn处理的不必要信息，可以实现比图2所示方法更高的压缩比。

11、然而，在图2所示的方法中，仅从作为原始图像的小部分的空间信息中标识由dnn处理的不必要信息，因此，实际恢复的图像可由人眼识别。

技术实现思路

1、本公开旨在提供一种基于深度神经网络的数据压缩方法和系统，该方法和系统能够将基于深度神经网的编码器与深度神经网络连接起来，并通过使用深度神经网络的损耗函数来执行联合训练。

2、本公开旨在提供一种用于处理卸载的数据的方法、服务器设备和系统，通过该方法可以联合训练提取器模型、解码器模型和深度神经网络模型。

3、本公开的技术目标不限于前述内容，并且本领域技术人员将从以下描述中更清楚地理解本公开的其他未提及的目标。

4、附加方面将在下面的描述中部分阐述，并且部分将从描述中显而易见，或者可以通过实践本公开的所呈现的实施例来了解。

5、根据实施例，可以提供一种基于深度神经网络的方法，该方法使用深度神经网络来压缩要用于应用服务的数据，其中，将要使用的基于机器学习的编码器和用于应用服务的深度神经网络彼此连接，然后通过使用用于深度神经网络性能的损耗函数来联合训练。

6、根据实施例的编码器可以包括用于编码器的深度学习技术，例如自动编码器、用作生成模型的自动编码器、或生成模型。

7、根据实施例的数据可以包括要用于应用服务的图像、视频、文本和传感器值中的至少一个。

8、根据实施例的用于联合训练的损耗函数可以是单独的深度神经网络的损耗函数，也可以是深度神经网络损耗函数和另一损耗函数的组合。

9、根据实施例，用于应用服务的深度神经网络可以用作解码器，而不是编码器中包含的解码器。

10、根据实施例，解码器可以被完全或部分移除。

11、根据实施例，可以进一步包括用于将压缩数据转换为深度神经网络的输入值的格式的输入结构修改器。

12、根据实施例的输入结构修改器可以包括基于非机器学习的技术，例如上采样和整形(reshaping)，以及涉及卷积层的基于机器学习的技术。

13、根据实施例，可以提供一种压缩要用于应用服务的数据的基于深度神经网络的方法，该方法包括一种压缩技术，用于将基于要使用的机器学习的编码器连接到用于应用服务的深度神经网络，然后通过使用用于深度神经网络性能的损耗函数来联合训练它们。

14、根据实施例的处理卸载的数据的方法可以包括从终端设备接收卸载的数据，通过使用解码器模型对卸载的数据进行解码，以及通过使用已接收解码数据作为输入的深度神经网络模型输出与卸载的数据相对应的推断数据。根据实施例，卸载的数据可以包括由已接收到原始数据作为输入的提取器模型生成的潜在代表数据。根据实施例，可以通过使用深度神经网络模型的损耗信息，来联合训练提取器模型、解码器模型和深度神经网络模型。

15、根据实施例的用于处理卸载的数据的服务器设备可以包括存储一个或多个指令的存储器，以及被配置为执行存储在存储器中的一个或多个指令的至少一个处理器。所述至少一个处理器还可以被配置为执行所述一个或多个指令以从终端设备接收所述卸载的数据，通过使用解码器模型对所述卸载的数据进行解码，并且通过使用已经接收到所述解码数据作为输入的深度神经网络模型，来输出与所述卸载的数据相对应的推断数据。根据实施例，卸载的数据可以包括由已接收到原始数据作为输入的提取器模型生成的潜在代表数据。根据实施例，可以通过使用深度神经网络模型的损耗信息，来联合训练提取器模型、解码器模型和深度神经网络模型。

16、根据实施例的卸载系统可以包括终端设备和服务器设备。终端设备可以包括被配置为获得与原始数据相对应的图像的相机、存储一个或多个指令的第一存储器、以及被配置为执行存储在第一存储器中的一个或多个指令的至少一个第一处理器。所述至少一个第一处理器可以进一步被配置为执行存储在所述第一存储器中的所述一个或多个指令，以通过使用已经接收到所述原始数据作为输入的提取器模型来生成潜在代表数据，并将所述潜在代表数据卸载到所述服务器设备上。服务器设备可以包括存储一个或多个指令的第二存储器，以及被配置为执行存储在第二存储器中的一个或多个指令的至少一个第二处理器。所述至少一个第二处理器还可以被配置为执行所述一个或多个指令以从所述终端设备接收所述卸载的数据，通过使用解码器模型来解码所述卸载的数据，并且通过使用已经接收到所述解码数据作为输入的深度神经网络模型，来输出与所述卸载的数据相对应的推断数据。根据实施例，卸载的数据可以包括由已经接收到所述原始数据作为输入的提取器模型生成的潜在代表数据。根据实施例，可以通过使用深度神经网络模型的损耗信息，来联合训练提取器模型、解码器模型和深度神经网络模型。

技术特征：

1.一种用于处理卸载的数据的方法，所述方法包括：

2.根据权利要求1所述的方法，其中，所述提取器模型和所述解码器模型被实现为自动编码器模型。

3.根据权利要求1所述的方法，其中，所述潜在代表数据的大小是预定义的。

4.根据权利要求1所述的方法，其中，所述解码包括将所述卸载的数据转换为所述深度神经网络模型的输入值的格式。

5.根据权利要求4所述的方法，其中所述解码器模型包括单个上采样层和单个卷积层。

6.根据权利要求1所述的方法，其中所述深度神经网络模型是第一深度神经网络模型，

7.根据权利要求1所述的方法，其中通过使用知识精炼技术来训练所述提取器模型。

8.根据权利要求1所述的方法，其中，所述原始数据包括要在使用所述深度神经网络模型的应用中使用的图像、视频、音频、文本和传感器值中的至少一个。

9.根据权利要求1所述的方法，其中，所述深度神经网络模型是基于所述原始数据执行图像分类、图像分割、图像字幕说明、对象检测、深度估计、定位或姿势估计的模型。

10.根据权利要求1所述的方法，还包括向所述终端设备发送所述推断数据。

11.一种用于处理卸载的数据的服务器设备，所述服务器设备包括：

12.根据权利要求11所述的服务器设备，其中，所述提取器模型和所述解码器模型被实现为自动编码器模型。

13.根据权利要求11所述的服务器设备，其中，所述潜在代表数据的大小是预定义的。

14.根据权利要求11所述的服务器设备，其中，所述至少一个处理器还被配置为执行所述一个或多个指令，以在所述解码中将所述卸载的数据转换为所述深度神经网络模型的输入值的格式。

15.根据权利要求14所述的服务器设备，其中所述解码器模型包括单个上采样层和单个卷积层。

16.根据权利要求11所述的服务器设备，其中所述深度神经网络模型是第一深度神经网络模型，

17.根据权利要求11所述的服务器设备，其中通过使用知识精炼技术来训练所述提取器模型。

18.根据权利要求11所述的服务器设备，其中，所述原始数据包括要在使用所述深度神经网络模型的应用中使用的图像、视频、音频、文本和传感器值中的至少一个。

19.根据权利要求11所述的服务器设备，其中，所述深度神经网络模型是基于所述原始数据执行图像分类、图像分割、图像字幕说明、对象检测、深度估计、定位或姿势估计的模型。

20.一种卸载系统，包括：

技术总结
提供了一种用于处理卸载的数据的方法、服务器设备和系统，该方法包括从终端设备接收卸载的数据，通过使用解码器模型对卸载的数据进行解码，以及通过使用已经接收到解码数据作为输入的深度神经网络模型，输出与卸载的数据相对应的推断数据，其中，所述卸载的数据包括由已经接收到原始数据作为输入的提取器模型生成的潜在代表数据，并且通过使用所述深度神经网络模型的损耗信息，来联合训练所述提取器模型、所述解码器模型和所述深度神经网络模型。

技术研发人员：李经汉,李诚涌
受保护的技术使用者：首尔大学校产学协力团
技术研发日：
技术公布日：2024/1/12