一种多媒体数据传输控制方法及系统与流程

本技术涉及图像数据处理领域，具体而言，涉及一种多媒体数据传输控制方法及系统。

背景技术：

1、多媒体数据在进行传输时，对数据内容进行脱敏是保护个人隐私和敏感信息的重要环节。例如，通过监控设备采集的特定区域的监控视频时，被监控人员的人脸信息、敏感部位等需要进行脱敏。在进行脱敏前，针对清晰度不足的视频帧图像需要进行增强操作，目前，采用机器学习模型对图像进行增强时，如果模型性能没有优化完善，可能造成增强泛化性差，不仅没有达到增强的效果，还令原图像的信息丢失，影响后续脱敏的准确性。

技术实现思路

1、本发明的目的在于提供一种多媒体数据传输控制方法及系统以改善上述问题。

2、本技术实施例是这样实现的：

3、第一方面，本技术实施例提供了一种多媒体数据传输控制方法，包括：

4、获取待传输视频数据的频谱描述子，并确定为第一视频表征载体；

5、对于所述第一视频表征载体进行更新优化操作；每一次更新优化操作包括：

6、通过所述第一视频表征载体确定拟增强表征载体，并通过对于过往待传输视频数据得到的过往拟增强表征载体，得到当前更新优化对应的增强状态结果，以及通过所述增强状态结果对所述拟增强表征载体进行增强操作，得到当前更新优化对应的备选表征载体；其中，在首次更新优化操作中，所述拟增强表征载体为所述第一视频表征载体，在第n次更新优化操作中，所述拟增强表征载体通过所述第一视频表征载体和已得到的备选表征载体整合得到，n＞1；

7、将末次更新优化得到的备选表征载体确定成目标表征载体，以及通过对于所述目标表征载体进行实体对象检测得到的目标图像增强变量，对所述第一视频表征载体进行增强操作，得到第二视频表征载体；

8、根据所述第二视频表征载体，进行图像敏感内容识别，获得所述待传输视频数据的敏感内容识别结果；

9、根据所述敏感内容识别结果对所述待传输视频数据进行脱敏处理后传输。

10、可选的实施方式中，所述获取待传输视频数据的频谱描述子，包括：

11、对待传输视频数据进行小波变换，获得所述待传输视频数据的小波描述子；

12、对于所述待传输视频数据的小波描述子进行卷积平滑操作，得到对应的频谱描述子；

13、对于一次更新优化操作：

14、如果是首次更新优化操作，则将所述第一视频表征载体确定成拟增强表征载体，以及通过对于过往待传输视频数据得到的相应过往拟增强表征载体，得到对应的增强状态结果，并通过所述增强状态结果对所述拟增强表征载体进行增强操作，得到所述首次更新优化操作对应的备选表征载体；

15、如果是第二次更新优化操作，则将所述第一视频表征载体和当前更新优化的上一次更新优化操作得到的一个备选表征载体整合成拟增强表征载体，以及通过对于所述过往待传输视频数据得到的相应过往拟增强表征载体，得到对应的增强状态结果，并通过所述增强状态结果对所述拟增强表征载体进行增强操作，得到所述第二次更新优化操作对应的备选表征载体；

16、如果是第三次更新优化操作，则将所述第一视频表征载体和当前更新优化的上两次更新优化得到的两个备选表征载体整合成拟增强表征载体，以及通过对于所述过往待传输视频数据得到的相应过往拟增强表征载体，得到对应的增强状态结果，并通过所述增强状态结果对所述拟增强表征载体进行增强操作，得到所述第三次更新优化操作对应的备选表征载体。

17、可选的实施方式中，所述拟增强表征载体的整合策略，包括：

18、根据预设的组合先后顺序对已得到的各备选表征载体和所述第一视频表征载体进行表征载体组合操作，得到拟增强表征载体；

19、或者；

20、根据已得到的各备选表征载体分别对应的整合调节变量，以及所述第一视频表征载体对应的整合调节变量，对所述各备选表征载体和所述第一视频表征载体进行偏心调节整合，获得拟增强表征载体；其中，每个所述整合调节变量用于指示相应的备选表征载体或所述第一视频表征载体对所述拟增强表征载体的牵涉强度；

21、所述对于所述目标表征载体进行实体对象检测得到的目标图像增强变量，对所述第一视频表征载体进行增强操作，得到第二视频表征载体，包括：

22、对所述目标表征载体进行维数调节处理，获得表征载体维数与所述第一视频表征载体对应的过渡表征载体；

23、对所述过渡表征载体进行标准化操作，得到标准化结果，将所述标准化结果确定成目标图像增强变量；

24、根据所述目标图像增强变量求取与所述第一视频表征载体的数量积，得到第二视频表征载体。

25、可选的实施方式中，所述根据所述第二视频表征载体，进行图像敏感内容识别，获得所述待传输视频数据的敏感内容识别结果，包括：

26、对于所述第二视频表征载体进行视频表征载体预测，得到所述第二视频表征载体中具有图像敏感内容的识别置信度；

27、如果所述识别置信度大于预设的敏感临界置信度，则确定所述待传输视频数据中具有所述图像敏感内容。

28、可选的实施方式中，所述根据所述第二视频表征载体，进行图像敏感内容识别，获得所述待传输视频数据的敏感内容识别结果，包括：

29、获取待传输视频数据和敏感内容拓扑图；

30、将所述待传输视频数据输入视频识别神经网络进行语义理解，得到所述待传输视频数据的多个视频帧图像分块的分块表征载体；

31、通过表征载体解析网络，对所述敏感内容拓扑图进行表征载体解析，得到所述敏感内容拓扑图的敏感内容表征载体，所述敏感内容表征载体表征所述敏感内容拓扑图的敏感层级语义表征向量；

32、对所述敏感内容表征载体、所述分块表征载体和所述第二视频表征载体进行载体整合，得到目标整合结果；

33、将所述目标整合结果输入敏感信息分类网络进行敏感信息分类，得到所述待传输视频数据对应的分类敏感信息。

34、可选的实施方式中，所述表征载体解析网络包括与所述敏感内容拓扑图中的多个拓扑点具有匹配结果的多个表征载体组合算子，所述通过表征载体解析网络，对所述敏感内容拓扑图进行表征载体解析，得到所述敏感内容拓扑图的敏感内容表征载体，包括：

35、对所述多个拓扑点中每个拓扑点的敏感信息进行语义理解，得到所述每个拓扑点对应的拓扑点语义向量；

36、将所述敏感内容拓扑图的底层拓扑点对应的拓扑点语义向量输入与所述底层拓扑点对应的表征载体组合算子，得到所述底层拓扑点对应的拓扑点组合表征载体信息；

37、从所述底层拓扑点的上级拓扑点出发，遍历所述多个拓扑点；将当次浏览到的拓扑点的下级拓扑点对应的拓扑点组合表征载体信息和所述当次浏览到的拓扑点对应的拓扑点语义向量输入与所述当次浏览到的拓扑点对应的表征载体组合算子，得到所述当次浏览到的拓扑点对应的拓扑点组合表征载体信息；

38、遍历完所述多个拓扑点后，将所述敏感内容拓扑图中顶层拓扑点对应的拓扑点组合表征载体信息确定为所述敏感内容表征载体；

39、所述视频识别神经网络包括视频帧分块算子、语义理解算子和语义整合算子，所述将所述待传输视频数据输入视频识别神经网络进行语义理解，得到所述待传输视频数据的多个视频帧图像分块的分块表征载体，包括：

40、将所述待传输视频数据输入所述视频帧分块算子进行视频帧分块操作，得到所述多个视频帧图像分块；

41、将所述多个视频帧图像分块输入所述语义理解算子进行语义理解，得到所述多个视频帧图像分块对应的初始语义向量、分布向量和区域向量；

42、将所述初始语义向量、所述分布向量与所述区域向量输入所述语义整合算子对所述多个视频帧图像分块进行互相关语义整合，得到所述分块表征载体；

43、所述对所述敏感内容表征载体、所述分块表征载体和所述第二视频表征载体进行载体整合，得到目标整合结果包括：

44、将所述敏感内容表征载体和所述分块表征载体输入载体整合算子进行载体整合，得到初始整合结果；

45、将所述初始整合结果、所述第二视频表征载体和所述敏感内容表征载体输入载体组合算子进行载体组合，得到所述目标整合结果。

46、可选的实施方式中，所述载体整合算子包括相关性解析模块、归一映射模块和偏心调节模块，所述将所述敏感内容表征载体和所述分块表征载体输入载体整合算子进行载体整合，得到初始整合结果包括：

47、将所述分块表征载体与所述敏感内容表征载体输入所述相关性解析模块进行相关性解析，得到目标相关性向量；

48、将所述目标相关性向量输入所述归一映射模块进行归一映射，得到所述分块表征载体的相关性偏心系数；

49、将所述相关性偏心系数和所述分块表征载体输入所述偏心调节模块进行偏心调节，得到所述初始整合结果。

50、可选的实施方式中，所述方法依据调试完成的视频识别神经网络执行，所述视频识别神经网络通过以下步骤调试得到：

51、获取多媒体学习样例库，所述多媒体学习样例库中的每个多媒体学习样例包括：对一待增强学习样例视频数据挖掘的第一学习样例视频表征载体和相应的学习样例标识信息，所述学习样例标识信息包括学习样例敏感图像内容注释信息，所述学习样例敏感图像内容注释信息用于指示所述图像敏感内容是否分布于相应的学习样例待传输视频数据中；

52、在所述多媒体学习样例库中选取多媒体学习样例，以及将对应的第一学习样例视频表征载体加载到所述视频识别神经网络中，获得对所述图像敏感内容识别的预测敏感图像内容信息；

53、至少根据所述预测敏感图像内容信息与相应敏感图像内容注释信息之间的误差，对所述视频识别神经网络中的网络内部配置变量进行优化。

54、可选的实施方式中，所述网络内部配置变量包括用于增强操作的第一配置变量和用于置信度确定的第二配置变量；所述对所述图像敏感内容识别的预测敏感图像内容信息，包括：

55、根据所述第一配置变量对所述第一学习样例视频表征载体进行增强操作，得到相应的第二学习样例视频表征载体；

56、根据所述第二配置变量，对于所述第二学习样例视频表征载体进行视频表征载体预测，得到具有所述图像敏感内容的识别置信度，以及通过所述识别置信度与预设的敏感临界置信度之间的大小关系，得到预测敏感图像内容信息；

57、所述学习样例标识信息还包括对于相应待增强学习样例视频数据挖掘的标准学习样例视频表征载体，所述标准学习样例视频表征载体为不用增强处理的频谱描述子，所述网络内部配置变量包括用于增强操作的第一配置变量和用于置信度确定的第二配置变量；所述至少根据所述预测敏感图像内容信息与相应敏感图像内容注释信息之间的误差，对所述视频识别神经网络中的网络内部配置变量进行优化，包括：

58、根据所述第二学习样例视频表征载体与相应标准学习样例视频表征载体之间的第一误差，优化所述第一配置变量；

59、获得所述预测敏感图像内容信息与相应敏感图像内容注释信息之间的第二误差，以及通过所述第一误差和所述第二误差之间的相关性变量，得到综合误差；

60、根据所述综合误差，分别优化所述第一配置变量与所述第二配置变量。

61、第二方面，本技术提供了一种多媒体数据传输控制系统，包括：

62、一个或多个处理器；

63、存储器；

64、一个或多个计算机程序，其中，所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被所述处理器执行时，实现以上所述的方法。

65、本技术至少具有的有益效果：

66、本技术实施例提供的多媒体数据传输控制方法及系统，涉及过对频谱描述子进行增强及图像敏感内容识别，具体地，获取待传输视频数据的频谱描述子，并确定为第一视频表征载体，然后对第一视频表征载体执行更新优化操作完成视频图像增强，一次更新优化包括：通过第一视频表征载体确定拟增强表征载体，并通过对于过往待传输视频数据得到的过往拟增强表征载体，得到当前更新优化对应的增强状态结果，之后根据增强状态结果对拟增强表征载体进行增强操作，得到当前更新优化对应的备选表征载体，在首次更新优化操作中，拟增强表征载体为第一视频表征载体，在第n次更新优化操作中，拟增强表征载体为第一视频表征载体和已得到的备选表征载体整合得到的，n＞1。

67、本技术实施例中，每次更新优化的增强操作均至少综合第一视频表征载体，即原始待增强的频谱描述子，则通过视频图像增强后，获得的第二视频表征载体可以最大限度维持待传输视频数据中的原始图像敏感内容，防止因为视频图像增强破坏图像敏感内容引起的敏感内容误识别的情况；此外，对多次更新优化而言，后一次更新优化综合了历史各次更新优化的视频图像增强结果（已得到的各个备选表征载体），基于此，可以增加视频图像增强效果，帮助提升对目标表征载体识别图像敏感内容的精度。之后根据通过更新优化增强操作的第二视频表征载体，进行图像敏感内容识别，获得待传输视频数据对于图像敏感内容的敏感内容识别结果，再进行脱敏传输，综上，本技术实施例具有高稳定性和泛化性，不仅维持视频图像增强的效果，还令视频图像增强后的第二视频表征载体可以维持原始图像敏感内容，增强对图像敏感内容识别精度和可靠性。并且，对于硬件环境的要求不高，适于多场景多媒体数据传输。

68、在后面的描述中，将部分地陈述其他的特征。在检查后面内容和附图时，本领域的技术人员将部分地发现这些特征，或者可以通过生产或运用了解到这些特征。通过实践或使用后面所述详细示例中列出的方法、工具和组合的各个方面，当前申请中的特征可以被实现和获得。