用于数据处理的方法、电子设备和计算机程序产品与流程

1.本公开的实施例一般地涉及数据处理系统，并且更特别地，涉及一种用于数据处理的方法、电子设备和计算机程序产品。


背景技术：

2.已经知道，增强实现技术(ar)和虚拟现实技术(vr)是第五代移动通信技术(5g)和移动边缘计算(mec)中的关键用例之一。随着5g/mec的发展，可以利用5g网络和边缘服务器来实现上述目标，以实现高带宽和低延迟。
3.从边缘服务器到终端设备(如ar眼镜或vr头盔)所传输的大量数据，例如3d模型，动画以及交互内容等，通常会占用大量带宽，并且往往还会引入延迟。此外，在分发内容的过程中，一些冗余的内容，即已经被传输到终端设备的内容，仍然会从边缘服务器重复地向终端设备进行传输。


技术实现要素：

4.本公开的实施例涉及一种用于数据处理的改进方案。
5.在本公开的第一方面，提供了一种用于数据处理的方法。该方法包括基于目标数据内容段的类别而为所述目标数据内容段生成目标标签；获取参考标签集合，所述参考标签集合中的参考标签基于历史数据内容段的类别而被生成；基于所述目标标签与所述参考标签集合的比较确定所述目标数据内容段的冗余性。
6.在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储有计算机程序指令的至少一个存储器，至少一个存储器和计算机程序指令被配置为与至少一个处理器一起使电子设备执行动作。动作包括基于目标数据内容段的类别而为所述目标数据内容段生成目标标签；获取参考标签集合，所述参考标签集合中的参考标签基于历史数据内容段的类别而被生成；基于所述目标标签与所述参考标签集合的比较确定所述目标数据内容段的冗余性。
7.在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令。机器可执行指令在被执行时使设备执行第一方面的方法。
8.应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其他特征通过以下的描述将变得容易理解。
附图说明
9.通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得容易理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例，其中：
10.图1示出了本公开的实施例可以在其中被实现的示例系统的框图；
11.图2示出了根据本公开的实施例的用于数据处理的方法200的流程图；
12.图3示出了根据本公开的实施例的处理目标数据内容段的实例的示意图；
13.图4示出了根据本公开的实施例的处理历史处理内容段的示意图；
14.图5示出了可以被用来实施本公开的实施例的设备的示意性框图。
15.贯穿所有附图，相同或者相似的参考标号被用来表示相同或者相似的组件。
具体实施方式
16.下面将参考附图中所示出的若干示例性实施例来描述本公开的原理和精神。应当理解，描述这些具体的实施例仅是为了使本领域的技术人员能够更好地理解并实现本公开，而并非以任何方式限制本公开的范围。
17.图1示出了本公开的实施例可以在其中被实现的示例性系统100 的示意图。
18.如图1所示，系统100可以包括远程设备110。在下文中，远程设备110也可以被称作边缘服务器110。远程设备110可以获取由图像采集设备或音频采集设备采集的图像和音频内容。该图像和音频内容可以被视作用于ar/vr技术的图像和音频内容。
19.系统100还可以包括终端设备120。终端设备120可以接收来自远程设备110的数据信息。例如，终端设备120可以与远程设备110 进行有线或无线通信。在本公开的实施例中，终端设备120可以被视作基于ar/vr技术的可穿戴设备。例如终端设备120可以是ar头戴式显示设备，vr头戴式显示设备以及耳机等等。
20.系统100还可以包括计算设备102。计算设备102可以对由远程设备110获取到的图像和音频内容进行处理。在一些实施例中，计算设备102可以被集成在远程设备110中。在一些实施例中，计算设备 102也可以被视作独立于远程设备110的外部设备。
21.对于当前的ar/vr内容管理，大多数解决方案仍基于本地，这意味着内容已预先存储在终端设备上，然后在终端设备上进行处理。这种方法大大增加了终端设备存储和处理大量数据的负担，这影响了终端设备的轻量化设计，同时不利于节省电池寿命。
22.随着5g和边缘计算的发展，可以将数据和内容卸载到边缘服务器，并通过高带宽5g网络实现从边缘服务器到终端设备的数据传输。例如，可以首先使用边缘服务器来处理数据，然后再将数据分发到终端设备。通过这种方式可以实现终端设备的轻量化设计并节省电池寿命。
23.然而，上述方案仍然存在一定局限性。例如，上文已经提到，从边缘服务器到终端设备所传输的大量数据，例如3d模型，动画以及交互内容等，通常会占用大量带宽，并且往往还会引入延迟。此外，在分发内容的过程中，一些冗余的内容，即已经被传输到终端设备的内容，仍然会从边缘服务器重复地向终端设备进行传输。
24.由于上述基于ar/vr技术的数据传输具有极低的延迟要求，带宽和延迟的限制将影响内容的交付，并降低用户对体验内容的满意度。
25.一般而言，随着数据的增长和24x7全天候服务可用性的要求，数据存储以及处理设备在管理和保护数据方面面临挑战。通常，许多冗余数据分布在物联网(iot)或5g或边缘/云服务器中，这增加了数据管理和备份窗口的大小，还导致不必要的资源消耗，例如数据存储，处理和备份存储空间以及网络带宽。在远程边缘站点或云上存储大量重复数据以
进行数据管理和处理也需要大量带宽。
26.因此，已经引入重复数据删除技术来实现对图像和音频数据内容的处理。常见的重复数据删除过程包括三个步骤，即对数据集进行分块，识别重复的分块和消除冗余的分块。为了识别冗余块，重复数据删除系统为每个数据块创建一个哈希值或数字签名，例如指纹。同时还可以为给定的存储库创建签名的索引。索引提供了参考列表，以确定存储库中是否存在该数据块。然而，基于哈希的重复数据删除过程计算量很大，并且智能程度无法达到需求。
27.因此，本公开的实施例提出一种数据处理方法。该方法能够基于当前数据内容段的类别而为该当前数据内容段生成语义标签。将该语义标签与先前获得的参考标签集合进行比较，从而确定当前数据内容段是否属于冗余的数据内容段。
28.图2示出了根据本公开的一些实施例的用于数据处理的方法200 的流程图。方法200可以被实现在图1所示的系统100中。方法200 例如可以由设置在图1示出的系统100中的远程设备110(计算设备 102被集成在远程设备110中)来实施，也可以由系统100中的计算设备102来实施。可以结合图1来描述方法200。
29.如图2所示，在框210，如果获取到目标数据内容段，计算设备 102可以基于该目标数据内容段的类别而为目标数据内容段生成目标标签。
30.在一些实施例中，可以从目标数据内容段中提取特征参数。如果该目标数据内容段包括图像数据，特征参数可以包括图像的视觉特征，例如颜色、形状、大小、纹理等。此外，特征参数还可以与图像中所包括的对象相关联。例如，特征参数可以是对象类型或对象行为等。
31.在一些实施例中，如果目标数据内容段包括音频数据，特征参数也可以是该音频数据中的音频元素。例如，该音频元素可以是该音频数据中的重复播放的音频片段。
32.在提取到特征参数之后，计算设备102可以基于上述特征参数中的至少一项来确定目标数据内容段的类别并基于该类别来生成与获取到的目标数据内容段相对应的目标标签。
33.在一些实施例中，对于目标数据内容段的特征参数的提取、目标内容段的分类以及为目标内容段生成标签可以通过计算机视觉和机器学习算法。这些方法例如可以包括yolo，simplecv以及tensorflow 等。通过这些算法可以识别出数据内容段的对象、场景和行为，并将它们进行分类。经过分类的对象、场景和行为可以通过语义标签来定义。
34.在一些实施例中，如果该目标数据内容段包括图像数据，为了识别出图像的对象、场景和行为，可以采用背景减法，以将图像的背景层与前景层分离。该背景减法例如可以是基于高斯混合模型的背景减法。此外，能够实现将图像的前景层与背景层分离的方法是运动检测。采用该方法能够基于光流的运动检测方法来检测前景移动物体。
35.图3示出了根据本公开的实施例处理目标数据内容段的实例的示意图。图3示出了目标数据内容段310。经过对目标数据内容段310 进行背景减法，可以获得经处理后的目标数据内容段320。在经处理后的目标数据内容段320中可以看出，目标数据内容段310中的前景对象301被提取出来。
36.可以通过训练好的机器学习模型，例如yolo来处理提取出的目标数据内容段的前景图层、前景对象或背景图层。例如，可以将前景图层、前景对象或背景图层作为机器学习
模型的输入。机器学习模型可以生成描述用于前景图层、前景对象或背景图层的语义标签，并将该标签作为机器学习模型的输出。
37.在一些实施例中，机器学习模型生成的与目标数据内容段对应的目标标签例如可以以如下形式来提供：
38.[前景层，视觉特征(如颜色)，对象类型(如马)，对象id)；
[0039]
[背景层，视觉特征(如颜色)，对象类型(如草原)，对象 id)。
[0040]
重新参见图2，在框220处，在生成与目标数据内容段对应的目标标签之后，计算设备102可以参考标签集合，该参考标签集合中的参考标签基于历史数据内容段的类别而被生成。
[0041]
在一些实施例中，参考标签集合可以基于多个历史数据内容段来生成。可以从历史数据内容段中提取特征参数。如果该历史数据内容段包括图像数据，特征参数可以包括图像的视觉特征，例如颜色、形状、大小、纹理等。此外，特征参数还可以与图像中所包括的对象相关联。例如，特征参数可以是对象类型或对象行为等。
[0042]
在一些实施例中，如果历史数据内容段包括音频数据，特征参数也可以是该音频数据中的音频元素。例如，该音频元素可以是该音频数据中的重复播放的音频片段。
[0043]
在提取到特征参数之后，计算设备102可以基于上述特征参数中的至少一项来确定历史数据内容段的类别并基于该类别来生成与获取到的历史数据内容段相对应的参考标签。
[0044]
计算设备102基于一个或多个历史数据内容段生成参考标签集合。图4示出了根据本公开的实施例的处理历史处理内容段的示意图。
[0045]
如图4所示，计算设备102可以获取到多个历史数据组410、420 以及430。多个历史数据组410、420以及430中的每个历史数据组分别包括多个历史数据内容段。例如，历史数据组410包括历史数据内容段411至416，历史数据组420包括历史数据内容段421至425，历史数据组430包括历史数据内容段431至435。
[0046]
通过对多个历史数据内容段进行特征参数的识别，历史数据内容段的分类以及生成用于描述历史数据内容段的标签之后，将具有重复标签历史数据内容段删除，从而得到要被发送到终端设备120的历史数据内容段集合440。该历史数据内容段集合440可以包括历史数据内容段441至443。
[0047]
在一些实施例中，对于历史数据内容段的特征参数的提取、历史内容段的分类以及基于该分类生成参考标签集合可以通过计算机视觉和机器学习算法。这些方法例如可以包括yolo，simplecv以及 tensorflow等。该过程与在上文中已经描述的处理目标数据内容段的过程和方法类似，故在此不再赘述。
[0048]
在一些实施例中，与经处理后保留的历史数据内容段441至443 相关联的标签集合可以被视作参考标签集合，以用于处理后续的数据内容段。该参考标签集合可以作为元数据被存储在远程设备110处。
[0049]
在一些实施例中，参考标签集合可以作为元数据连同经处理后保留的历史数据内容段441至443一起被发送至终端设备120处。
[0050]
可以看出，相较于未经处理的历史数据内容段的数目，经处理后保留的历史数据内容段的数目被显著减小。由此可以改善数据传输中的延迟情况。与此同时，可以节约传输
带宽。对于终端设备的节电以及系统性能的改善也是有益的。
[0051]
再次回到图2，在框230处，计算设备102可以基于目标标签与参考标签集合的比较确定目标数据内容段的冗余性。
[0052]
在一些实施例中，计算设备102可以通过将目标标签和参考标签集合来进行比较，以确定在与参考标签集合相对应的历史数据内容段集合中是否存在与目标数据内容段匹配的历史数据内容段。
[0053]
如果计算设备102确定不存在匹配的历史数据内容段，将该目标数据内容段确定为非冗余数据内容段。如果计算设备102确定存在匹配的历史数据内容段，将该目标数据内容段确定为冗余数据内容段。
[0054]
在一些实施例中，如果确定目标数据内容段为非冗余数据内容段，该目标数据内容段可以被发送到终端设备。
[0055]
在一些实施例中，基于目标数据内容段生成的目标标签可以被添加到基于历史数据内容段生成的参考标签集合中。
[0056]
在一些实施例中，如果确定目标数据内容段为非冗余数据内容段，该目标数据内容段将被删除。
[0057]
本公开的实施例中实现了利用mec/5g环境来管理ar/vr内容的框架，以实现高效的数据处理、内容管理和分发。通过该框架，可以减轻终端设备的计算负担，也可以提高移动性、效率和沉浸式体验的客户体验。
[0058]
此外，本公开的实施例引入了重复数据删除概念。并非将所有数据分发到所有终端设备，而是利用数据存储和数据生产中的数据重复删除概念来检查数据块之前是否已经分发过。如果已经分发，将避免重新分配以减少冗余。该重复数据删除过程可以利用计算机视觉处理和机器学习算法来实现。例如，通过机器学习模型理解和分类ar/vr 中的内容，然后添加标签作为去重的元数据。与传统的哈希库去重不同，本公开的实施例的方法能够充分理解内容的含义，为ar/vr内容分发提供更高效的数据处理。
[0059]
图5示意性示出能够被用来实施本公开的实施例的设备500的框图。设备500可以被实现为或者被包括于图1的远程设备110或计算设备102。
[0060]
如图5中所示出的，设备500包括中央处理单元(cpu)501，其可以根据存储在只读存储设备(rom)502中的计算机程序指令或者从存储单元508加载到随机访问存储设备(ram)503中的计算机程序指令，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。cpu 501、rom 502以及 ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0061]
设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元505，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/ 数据。
[0062]
上文所描述的各个过程和处理，例如过程200可由处理单元501 来执行。例如，在一些实施例中，过程200和/过程600可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/ 或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到ram 503并由
cpu 501执行时，可以执行上文描述的过程200 的一个或多个步骤。
[0063]
如本文所使用的，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。本文还可能包括其他明确的和隐含的定义。
[0064]
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可以包括运算、计算、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查明等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、选取、建立等。
[0065]
应当注意，本公开的实施例可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。
[0066]
此外，尽管在附图中以特定顺序描述了本公开的方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤组合为一个步骤执行，和/或将一个步骤分解为多个步骤执行。还应当注意，根据本公开的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。
[0067]
虽然已经参考若干具体实施例描述了本公开，但是应当理解，本公开不限于所公开的具体实施例。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等效布置。