一种控制方法和控制装置与流程

1.本技术涉及控制技术领域，尤其涉及一种控制方法和控制装置。


背景技术：

2.虚拟现实(virtual reality，vr)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。随着科学技术的不断发展，vr技术受到了越来越多人的认可，使用基于vr技术的vr设备，赋予用户更身临其境的带入感和沉浸感。
3.相关技术中，通常使用的vr设备主要分为主机式的vr设备和一体式的vr设备，然而，主机式的vr设备需要使用线缆将vr头显设备与vr主机连接，用户移动受限，降低了用户体验；一体式vr设备虽然能够解决主机式vr 设备移动受限的问题，但是由于体积限制，一体式vr设备的性能有限，在使用过程中会出现卡顿和延迟现象，用户体验感较差。


技术实现要素：

4.本技术技术方案是这样实现的：
5.本技术实施例提供一种控制方法，包括：
6.获得第一操作及其操作信息，所述第一操作用于向第一电子设备输入控制指令，以至少控制通过所述第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示；
7.至少基于所述操作信息控制第二电子设备渲染待输出内容中的至少部分，所述第二电子设备是与所述第一电子设备建立通信连接的设备；
8.将所述第二电子设备渲染的内容和至少基于所述第一操作生成的内容对应呈现在所述虚拟显示区域，其中，所述至少基于所述第一操作生成的内容中的至少部分由所述第一电子设备渲染生成。
9.本技术实施例提供一种控制装置，包括：
10.获取模块，用于获得第一操作及其操作信息，所述第一操作用于向第一电子设备输入控制指令，以至少控制通过所述第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示；
11.控制模块，用于至少基于所述操作信息控制第二电子设备渲染待输出内容中的至少部分，所述第二电子设备是与所述第一电子设备建立通信连接的设备；
12.显示模块，用于将所述第二电子设备渲染的内容和至少基于所述第一操作生成的内容对应呈现在所述虚拟显示区域，其中，所述至少基于所述第一操作生成的内容中的至少部分由所述第一电子设备渲染生成。
13.本技术实施例还提供了一种电子设备，包括：
14.存储器，存储有可执行控制指令；
15.处理器，能够在执行所述控制指令时，实现本技术所述的控制方法的实施例。
16.本技术实施例提供了一种控制方法和控制装置，采用本技术方案，首先，获得第一
操作及其操作信息，使得基于第一操作可以对第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示进行控制；然后，至少基于操作信息控制第二电子设备渲染待输出内容中的至少部分；最后，将第二电子设备渲染的内容和至少基于第一操作生成的内容对应呈现在虚拟显示区域。如此，通过操作信息控制第二电子设备渲染待输出内容中的至少部分，由第一电子设备渲染基于第一操作生成的内容中的至少部分，减少了第一电子设备的渲染工作量，提高了第一电子设备处理效率，进而保证在虚拟显示区域进行内容呈现的流畅性和连续性，提升用户的体验。
附图说明
17.图1为本技术实施例提供的一种控制方法的流程示意图；
18.图2为本技术实施例提供的一种控制第二电子设备渲染待输出内容的方法流程示意图；
19.图3为本技术实施例提供的一种基于边缘计算的vr架构示意图；
20.图4为本技术实施例提供的一种基于边缘计算的数据处理方法的流程示意图；
21.图5为本技术实施例提供的一种vr设备和边缘计算设备之间的数据交互示意图；
22.图6为本技术实施例提供的控制装置的一种结构示意图；
23.图7为本技术实施例提供的一种控制设备的结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
25.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
26.在以下的描述中，涉及到“一些实施例\另一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例\另一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
27.在以下的描述中，所涉及的术语“第一\第二\第三\”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
28.vr技术是一种利用计算机和图像实现的技术，目前已经广泛应用于游戏、商业、医疗、娱乐等各方面，基于vr技术，用户可以在vr世界体验到最真实的感受，vr技术模拟环境的真实性与现实世界难辨真假，让人产生身临其境的感觉；同时，vr具有一切人类所拥有的感知功能，比如听觉、视觉等感知系统；此外，vr技术具有超强的仿真系统，真正实现了人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈。正是由于vr技术的存在性、多感知性、交互性等特性，使它受到了更多认可和广泛使用。
29.然而，对于vr技术来说，vr设备是必不可少的，通过vr设备，实现对 vr数据的存储、渲染、显示等工作，其中，vr数据的渲染工作量较大，为保证用户在使用vr设备的过程中
有良好体验，在对vr数据进行渲染时需要确保vr设备有较高的处理性能。
30.本技术实施例提供一种控制方法，应用于vr设备、增强现实(augmentedreality，ar)设备或混合现实(mixedreality，mr)设备，能够避免各类设备出现延迟和卡顿现象，提升用户的体验。下面，将说明本技术实施例提供的控制方法，如图1所示，为本技术实施例提供的一种控制方法的流程示意图，该方法包括以下步骤：
31.s101、获得第一操作及其操作信息。
32.需要说明的是，第一操作用于向第一电子设备输入控制指令，以至少控制通过第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示。第一电子设备可以是vr设备、ar设备或mr设备，第一操作可以是用户与vr/ar/mr内容进行互动过程中执行的动作，例如用户通过与第一电子设备连接的控制设备的控件实现对应抬手、踢腿等动作，第一操作的操作信息可以是第一操作对应的信息，例如用户在进行抬手动作过程中，第一电子设备采集的力度、速度、方向、幅度等信息。在实际中，获取第一操作后，还可以继续获取其它操作。第一电子设备的光学透镜模组可以实现vr/ar/mr内容在一个或多个虚拟显示区域的显示。
33.在一些实施例中，通过第一操作可以向第一电子设备发送控制指令，可以控制第一电子设备的光学透镜模组在一个或多个虚拟显示区域的显示，虚拟显示区域可以是vr/ar/mr画面中的前景对象对应的显示区域，也可以是vr/ar/mr画面中前景对象所处背景环境对应的显示区域，其中，前景对象可以是，例如，vr游戏中的人物，前景对象所处的背景环境可以是vr游戏中人物所在的房间、街道、森林等。前景对象对应的显示区域可以划分为一个或多个，背景环境对应的显示区域也可以划分为一个或多个。
34.s102、至少基于操作信息控制第二电子设备渲染待输出内容中的至少部分。
35.需要说明的是，第二电子设备是与第一电子设备建立通信连接的设备，第二电子设备可以是边缘计算设备，例如边缘计算服务器、台式机、一体机、pc终端、工作站等。第一电子设备和第二电子设备之间可以进行无线传输，例如通过5g或wifi等无线连接方式进行通信。待输出内容可以是用于向用户展示的vr/ar/mr画面内容，在实际中待输出内容可以是vr/ar/mr画面中背景环境数据，例如，在vr/ar/mr游戏中，待输出内容可以是游戏中人物所处的场景环境，例如人物所在的房间；待输出内容还可以包括前景对象以及操作数据(第一操作等)引起前景对象执行的动作，例如vr/ar/mr游戏中的游戏人物，以及用户通过控制器件执行操作时，控制游戏人物进行相应的动作。此外，在ar场景中，待输出内容还可以包括对真实环境进行渲染的内容。第二电子设备渲染的待输出内容中的至少部分可以是待输出内容中需要进行渲染的内容(如背景数据或环境数据，以及一部分虚拟对象数据)，对待输出内容的渲染可以是通过3d软件(例如3dsmax和maya等)对待输出内容进行处理，得到更加立体和真实的图像内容。
36.在一些实施例中，第二电子设备可以有一个或多个，当第二电子设备为多个时，可以建立第一电子设备和多个第二电子设备之间的通信连接，在基于控制信息对第二电子设备渲染待输出内容的至少部分进行控制时，可以根据第二电子设备的负载情况或位置切换控制不同第二电子设备，或同时控制多个第二电子设备，执行各个第二电子设备各自对应的待输出内容部分的渲染。
37.在一些实施例中，对待输出内容的至少部分(如第一部分)的渲染工作可以由第二
电子设备来完成，基于操作信息可以控制第一电子设备渲染待输出内容的至少部分(如第二部分，也即待输出内容中除去所述第一部分的剩余部分)，当用户通过控制器件执行操作时，由第二电子设备渲染的待输出内容可以包括 vr/ar/mr画面中的背景环境数据，基于当前时刻获得的操作信息，可以预测前景对象下一时刻所处的背景环境，进而控制第二电子设备渲染前景对象下一时刻所处的背景环境数据。
38.在另一些实施例中，当用户通过控制器件执行操作时，第二电子设备渲染的待输出内容的至少一部分也可以包括vr/ar/mr画面中前景对象在未来时刻所处多个背景环境数据集，即与前景对象当前所处的背景环境临近的多个背景环境对应的数据，其中，每一个背景环境数据集对应一个背景环境，未来时刻可以是下一时刻、下下时刻等。通过获取的操作信息，可以预测前景对象在未来时刻对应的一个或多个背景环境，从而控制第二电子设备对一个或多个背景环境进行渲染。
39.在另一些实施例中，当用户没有通过手柄等控制器件执行操作时，前景对象不执行任何动作，此时由第二电子设备渲染的待输出内容的至少部分可以包括vr/ar/mr画面中的背景环境数据和前景对象，即此时第二电子设备渲染待输出内容中的全部，基于当前时刻获得的操作信息和所述操作信息作用的前景对象，可以预测前景对象下一时刻所处的背景环境，进而控制第二电子设备渲染前景对象，以及前景对象对应下一时刻所处的背景环境数据或前景对象在未来时刻所处多个背景环境数据集。
40.可以理解的是，通过使用第二电子设备对待输出内容的至少部分进行渲染，可以减轻第一电子设备的渲染工作量，提高第一电子设备的处理效率，同时，当第二电子设备是边缘计算设备时，第二电子设备靠近第一电子设备，可以就近提供最近端服务，在完成待输出内容的至少部分的渲染工作后，产生更快的网络服务响应，将渲染后的待输出内容的至少部分反馈给第一电子设备，满足了实时、安全与隐私保护等方面的需求，保证了第一电子设备在虚拟显示区域的流畅显示。
41.s103、将第二电子设备渲染的内容和至少基于第一操作生成的内容对应呈现在虚拟显示区域。
42.在一些实施例中，至少基于第一操作生成的内容中的至少部分由第一电子设备渲染生成。当用户通过控制器执行操作时，基于第一操作生成的内容可以是用户通过控制器件(如手柄、遥控器等)控制前景对象执行第一操作对应的动作；当用户未通过控制器执行操作时，基于第一操作生成的内容可以是前景对象。
43.在一些实施例中，当用户没有通过控制器件执行操作时，第一电子设备渲染的第一操作生成的内容的至少部分可以包括前景对象，前景对象对应的背景环境数据可以由第二电子设备进行渲染；在另一些实施例中，当用户通过控制器件执行操作时，第一电子设备渲染的第一操作生成的内容的至少部分可以只包括控制前景对象执行第一操作对应的动作，此时前景对象对应的背景环境数据和前景对象可以由第二电子设备完成；在另一些实施例中，当用户通过控制器件执行操作时，第一电子设备渲染的第一操作生成的内容的至少部分也可以是前景对象和控制前景对象执行第一操作对应的动作，此时前景对象对应的背景环境数据可以由第二电子设备完成。
44.第一电子设备将第一操作生成的内容中的至少部分渲染完成后，可以得到用于向用户显示的虚拟内容。在获得第二电子设备渲染后的内容，以及第一电子设备渲染第一操
作生成的内容之后，便可以将两部分内容在虚拟显示区域一起显示，以形成完整的vr/ar/mr画面并呈现给用户。
45.本技术实施例中，通过获得第一操作及其操作信息，使得基于第一操作可以对第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示进行控制；至少基于操作信息控制第二电子设备渲染待输出内容中的至少部分；将第二电子设备渲染的内容和至少基于第一操作生成的内容对应呈现在虚拟显示区域。通过操作信息控制第二电子设备渲染待输出内容中的至少部分，减少了第一电子设备的渲染工作量，提高了第一电子设备的处理效率，进而保证了在虚拟显示区域上进行内容呈现的流畅性和连续性，提升用户的体验。
46.在本技术的一些实施例中，获得第一操作及其操作信息，即步骤s101至少可以通过以下四种方式实现，以下分别对各个实现方式进行说明。
47.第一种实现方式、获得第一电子设备的设备信息，基于设备信息通过第一电子设备中的传感器或不同于第一电子设备的第三电子设备中的传感器获得第一操作及其操作信息。
48.需要说明的是，第一电子设备的设备信息，可以是ar、vr或mr等设备的设备类型，或各类设备配置信息等。传感器可以是速度传感器、力度传感器、方向传感器、6dof传感器、重力传感器、加速度传感器、图像传感器等等，传感器可以设置在第一电子设备中，例如vr头显设备可以通过头部动作进行操作控制，头显设备中的陀螺仪可以检测物体移动的方向和位移。传感器也可以设置在不同于第一电子设备的第三电子设备中，第三电子设备可以是手柄、遥控器等控制器。当传感器设置于第三电子设备中时，第三电子设备与第一电子设备进行通信连接，在实际中，第一电子设备可以通过有线或无限的通信方式，获得第三电子设备采集的第一操作和第一操作对应的操作信息。
49.在获取第一电子设备的设备信息之后，可以基于第一电子设备的设备信息，将第一电子设备中传感器获得的第一操作和第一操作的操作信息，传输给第一电子设备的存储模块进行存储，或基于第一电子设备的设备信息，建立第一电子设备和第三电子设备之间的通信连接，将第三电子设备中传感器采集到的第一操作和第一操作对应的操作信息，发送给第一电子设备的存储模块进行存储。
50.第二种实现方式、获得第一电子设备与目标操作体的相对位置关系，基于相对位置关系通过第一电子设备中的传感器或不同于第一电子设备的第三电子设备中的传感器获得第一操作及其操作信息。
51.需要说明的是，目标操作体可以是用户，用户可以与vr/ar/mr内容进行互动，相对位置关系可以是用户与第一电子设备之间的位置关系，位置关系可以是距离、方向等。在确定了第一电子设备和目标操作体之间的相对位置关系后，可以基于第一电子设备和目标操作体之间的相对位置关系，通过第一电子设备中的传感器或不同于第一电子设备的第三电子设备中的传感器，获得目标操作体执行的第一操作信息和第一操作对应的操作信息。
52.第三种实现方式、获得第一电子设备的使用参数，基于使用参数通过第一电子设备中的传感器或不同于第一电子设备的第三电子设备中的传感器获得第一操作及其操作信息。
53.需要说明的是，第一电子设备的使用参数可以是第一电子设备的使用状态、使用方式或使用场景等，第一电子设备的使用状态可以是第一电子设备正在使用、暂停使用或
未使用，使用方式可以是头部控制、眼部控制或遥控器件控制，使用场景可以是射击类游戏场景、冒险类游戏场景等，当获取了第一电子设备的使用参数后，可以基于第一电子设备的使用参数，例如确定第一电子设备的使用状态是未使用，使用方式是遥控器件控制，使用场景是射击类游戏场景后，获取第一电子设备中的传感器或不同于第一电子设备的第三电子设备的传感器采集的第一操作和第一操作对应的操作信息。
54.第四种实现方式、获得第一电子设备的操作体的身份信息，基于身份信息通过第一电子设备中的传感器或不同于第一电子设备的第三电子设备中的传感器获得第一操作及其操作信息。
55.第一电子设备的操作体的身份信息可以是用户的身份信息，例如用户的身高、体重等信息，操作体的身份信息与操作体执行的操作(例如基于遥控器件执行的第一操作或除去第一操作的其他操作)相对应，在获取了操作体的身份信息之后，就可以基于操作体的身份信息，从第一电子设备中的传感器或不同于第一电子设备的第三电子设备中的传感器获得第一操作和第一操作对应的操作信息。
56.如图2所示，为本技术实施例提供的一种控制第二电子设备渲染待输出内容中的至少部分的方法流程示意图，在本技术的一些实施例中，至少基于操作信息控制第二电子设备渲染待输出内容中的至少部分，即步骤s102可以通过下述的步骤s1021a至步骤s1022a实现，以下对各步骤进行说明。
57.s1021a、基于操作信息确定第二时刻的待输出内容。
58.需要说明的是，第二时刻晚于第一时刻，第一时刻是获得第一操作的时刻。第二时刻的待输出内容可以包括vr/ar/mr画面中前景对象在第二时刻所处的背景环境数据，在第一时刻，可以基于第一电子设备获得操作以及第一操作对应的操作信息，该操作信息可以预测前景对象在第二时刻所处的背景环境，也即基于该操作信息可以确定第二时刻的待输出内容。
59.示例性地，在vr游戏中，游戏中的人物为前景对象，人物在第一时刻所处的当前场景为背景环境，在实际中，人物的操作信息和人物所处场景的对应关系为vr游戏的设计规则，可以预先获得。当在第一时刻获得了操作信息后，可以基于操作信息，确定人物在第二时刻所处的场景(相对于当前场景的下一个场景)。例如，人物在第一时刻在所处的场景为房间a，基于人物在第一时刻的操作信息(例如抬手对应的速度、方向等信息)，便可以确定人物将进入下一场景为房间b，即在第二时刻人物将会在房间b中。
60.s1022a、控制第二电子设备在第三时刻渲染对应第二时刻的待输出内容的待渲染内容的至少部分。
61.需要说明的是，第三时刻不晚于第二时刻，即在第二时刻之前，便控制第二电子设备渲染对应第二时刻待输出内容的待渲染内容的至少部分，第二时刻待输出内容与第二操作对应，第二操作控制前景对象执行的动作和渲染后的第二时刻待输出内容在同一vr/ar/mr画面中显示。
62.可以理解的是，在第二时刻之前，便控制第二电子设备对第二时刻待输出内容的待渲染内容进行渲染，使得在第二时刻到来之前，便可以得到渲染完成后的第二时刻待输出内容，并在第二时刻到来后，将渲染完成后的第二时刻对应的待输出内容与第二操作控制指令对应的内容，在第一电子设备的虚拟现实区域一起显示，保证了第一电子设备的流
畅显示。
63.在一些实施例中，上述步骤s1021a“基于操作信息确定第二时刻的待输出内容”，可以通过下述步骤s21a1至步骤s21a3来实现。
64.s21a1、基于操作信息预测第二时刻的第二操作。
65.需要说明的是，第二操作是电子设备在第二时刻获得的操作，第二操作是第一操作之后的操作，第二操作的作用与第一操作类似，用于向第一电子设备输入控制指令，控制第一电子设备的光学透镜模组的至少一虚拟区域的显示，第二操作同样可以是用户与vr/ar/mr内容进行互动过程中执行的动作，例如用户通过与第一电子设备连接的控制设备的控件实现对应抬手、踢腿等动作。
66.在一些实施例中，第二操作可以和第一操作相同，例如第一操作和第二操作均为用户使用遥控器上的同一控件向第一电子设备发出相同的控制指令，在另一些实施例中，第一操作和第二操组也可以不同，例如，第一操作为用户使用遥控器上的控件a向第一电子设备发出控制指令a，第二操作为用户使用遥控器上的控件b向第一电子设备发出控制指令b。通过在第一时刻获得的第一操作及第一操作对应的操作信息，可以预测在第二时刻对应的第二操作，例如根据第一操作的力度、速度、方向、形成等信息，可以预测在第二时刻用户可能执行的第二操作，在实际中，例如在vr游戏中，第一时刻执行的一个或多个操作，以及第二时刻执行的一个或多个操作，在vr游戏开发时已经设定，根据第一时刻执行的第一操作和第一操作对应的操作信息，便可以预测第二时刻可能执行的一个或多个操作，即第二操作。
67.s21a2、确定第二操作与第一操作之间的第一关系、及第一操作与当前输出内容之间的第二关系。
68.在一些实施例中，操作体或用户在第一时刻执行第一操作后，基于第一操作，在第二时刻可能执行的操作(第二操作)，第一操作和第二操作具有连贯性，例如第一操作抬手，根据第一操作的的操作信息可以确定第二操作可能是向左转或向右转，第一操作和第二操作之间的第一关系可以是第一操作和第二操作之间的对应关系，一个第一操作可能对应多个第二操作。当前输出内容可以是基于第一操作，控制前景对象执行相应动作时所处的背景环境，第一操作与当前输出内容之间对应关系为第二关系。
69.s21a3、基于第一关系和第二关系确定第二时刻的待输出内容。
70.需要说明的是，第二时刻的待输出内容可以是第二时刻获取的第二操作对应的输出内容，例如第二时刻获取的第二操作是向左转，则第二时刻的待输出内容为控制前景对象执行向左转的这一操作时，前景对象所处的背景环境对应的数据。在确定了第二操作与第一操作之间的第一关系和第一操作与当前输出内容之间的第二关系，便可以确定第二时刻的待输出内容，实际中，由于第二时刻的操作可以有多个，因此，基于第一关系和第二关系确定的第二时刻的待输出内容可能为多个背景环境对应数据构成的数据集。
71.在本技术的一些实施例中，在步骤s21a3之后，还可以执行下述步骤s21a4。
72.s21a4、确定第一操作或第二操作在待输出内容中作用的目标对象，在对应时刻渲染目标对象对应的待渲染对象。
73.需要说明的是，在待输出内容中作用的目标对象可以是与操作体或用户进行互动的前景对象，第一操作和第二操作可以控制目标对象执行各自操作对应的动作。目标对象
对应的待渲染对象可以是目标对象本身，也可以是目标对象中的一部分，对第一时刻目标对象对应的待渲染对象和第二时刻目标对象对应的待渲染对象的渲染，均可以由第一电子设备来完成。
74.在本技术的另一些实施例中，上述步骤s102“至少基于操作信息控制第二电子设备渲染待输出内容中的至少部分”除了可以利用上述的步骤s1021a至步骤s1022a实现之外，也可以通过下述步骤s1021b、步骤s1021c或步骤 s1021d的其中之一实现，以下对各个步骤进行说明。
75.步骤s1021b、将基于操作信息确定的待渲染内容在第一时刻给到第二电子设备，以控制第二电子设备在第二时刻或之前渲染出对应第二时刻的待输出内容的至少部分。
76.需要说明的是，第一时刻是获得第一操作的时刻，第二时刻晚于第一时刻。在第一时刻获取了基于操作信息确定的待渲染内容(第二时刻的待输出内容) 之后，便可以立即将待渲染的内容发送给第二电子设备，以控制第二电子设备在第二时刻或第二时刻之前渲染出第二时刻的待输出内容的至少部分。当控制第二电子设备在第二时刻或第二时刻之前渲染出第二时刻的待输出内容后，控制第二电子设备立即将渲染完成后的第二时刻的待输出内容反馈给第一电子设备，以保证第一电子设备在第二时刻可以及时显示第二时刻的待输出内容。
77.步骤s1021c、至少将操作信息于第一时刻发送给第二电子设备，以使得第二电子设备基于操作信息在第二时刻或之前渲染出对应第二时刻的待输出内容的至少部分。
78.需要说明的是，第一时刻是获得第一操作的时刻，第二时刻晚于第一时刻。通过将第一操作对应的操作信息在第一时刻发送给第二电子设备，第二电子设备便可以基于第一操作对应的操作信息，确定第二操作，以及第二操作对应第二时刻的待输出内容，从而控制第二电子设备在第二时刻或第二时刻之前渲染出对应第二时刻的待输出内容的至少部分。
79.步骤s1021d、控制第三电子设备将采集到的操作信息给到第二电子设备，以使得第二电子设备基于操作信息在第二时刻或之前渲染出对应第二时刻的待输出内容的至少部分。
80.在一些实施例中，第一时刻是获得第一操作的时刻，第二时刻晚于第一时刻。第三电子设备可以是不同于第一电子设备和第二电设备的控制器件，例如遥控器或手柄等，通过第三电子设备中的传感器可以采集到第一操作对应的操作信息，将采集到的操作信息发送给第二电子设备，使得第二电子设备基于操作信息在第二时刻或之前渲染出对应第二时刻的待输出内容的至少部分。
81.在本技术的一些实施例中，在执行步骤s1021b，或步骤s1021c，或步骤 s1021d之后，还可以执行下述步骤s201或步骤s202。
82.s201、向第二电子设备发送待输出内容的数据请求，以控制第二电子设备反馈其渲染出的待输出内容的至少部分。
83.在基于控制信息控制第二电子设备渲染待输出内容中的至少部分之后，第一电子设备可以向第二电子设备发送待输出内容的数据请求，以使得基于输出内容的数据请求，接收第二电子设备反馈的渲染后的待输出内容。
84.在一些实施例中，对待输出内容进行渲染的第二电子设备可能有多个，当对待输出内容进行渲染的第二电子设备有多个时，需要将待输出内容的数据请求，发送给多个第
二电子设备，多个第二电子设备接收到该数据请求后，将各自渲染的待输出内容的对应部分反馈给第一电子设备。
85.s202、接收第二电子设备主动反馈的待输出内容的至少部分。
86.第二电子设备也可以主动反馈渲染后的待输出内容，在一些实施例中，第二电子设备在渲染完成后就立即发送给第一电子设备；在另一些实施例中，第二电子设备主动监控第一电子设备获取的操作(例如第一操作、第二操作，或其他操作)，对应发送该操作相关的已渲染内容到第一电子设备；在另一些实施例中，第二电子设备基于获得的操作信息计算或预测操作体或用户执行的真实动作(例如用户通过遥控器上的控件执行该控件的对应动作)，并将与计算或预测的真实动作相关的已渲染内容发送给第一电子设备。
87.可以理解的是，通过第二电子设备向第一电子设备主动反馈处理后的待输出内容，可以减少第一电子设备和第二电子设备之间的通信次数，从而加快第二电子设备向第一电子设备反馈的速度，使得第一电子设备在收到第二电子设备反馈的处理后的待输出内容后，能及时将处理后的待输出内容与第一操作生成的内容对应呈现在虚拟显示区域，保证在虚拟显示区域显示时的流畅性和连续性。
88.在本技术的一些实施例中，将第二电子设备渲染的内容和基于第一操作生成的内容对应呈现在虚拟显示区域，即步骤s103可以通过下述步骤s103a或步骤s103b实现，以下对各步骤分别进行说明。
89.s103a、将第二电子设备渲染的内容和基于第一操作生成的内容在虚拟显示区域同步显示。
90.第二电子设备渲染的内容为待输出内容中的至少部分，基于第一操作生成的内容为第一电子设备对第一操作对应内容渲染后得到的内容，包括各种操作 (第一操作、第二操作等)控制目标对象执行的动作，同步显示可以是将第二电子设备渲染的内容和基于第一操作生成的内容在虚拟显示区域同时显示，第一电子设备在收到第二电子设备反馈的渲染后的待输出内容的至少部分后，由第一电子设备确定渲染后的待输出内容的至少部分中，与第一操作匹配的内容，并将于第一操作匹配的内容与第一操作生成的内容在虚拟显示区域一起显示。
91.s103b、将第二电子设备渲染的内容和基于第一操作生成的内容分别显示在第一虚拟显示区域和第二虚拟显示区域。
92.在一些实施例中，第一虚拟显示区域和第二虚拟显示区域处于同一平面或不同平面，第一虚拟显示区域显示的内容可以是第二电子设备渲染的内容，例如对前景对象所处的背境环境进行渲染后的内容，第二虚拟显示区域显示的内容可以是基于第一操作生成的内容，例如对第一操作或第二操作控制前景对象执行的动作渲染后的内容。
93.在本技术的一些实施例中，上述步骤s103“将第二电子设备渲染的内容和至少基于第一操作生成的内容对应呈现在虚拟显示区域”，除了可以通过上述 s103a或s103b实现，还可以通过下述的s103c来实现。
94.s103c、将第二电子设备渲染的内容和基于第一操作生成的内容对应显示在第一虚拟显示区域和第一显示区域。
95.在一些实施例中，第一显示区域可以是第二电子设备驱动的显示区域，第二电子设备驱动的显示区域可以是第二电子设备配置的显示屏幕，或第二电子设备驱动的投影显
示区域等。
96.在一些实施例中，第二电子设备渲染的内容可以显示在第一虚拟显示区域，基于第一操作生成的内容可以对应显示在第一显示区域；或者，第二电子设备渲染的内容和基于第一操作生成的内容可以对应显示在第一虚拟显示区域；或这，第二电子设备渲染的内容和基于第一操作生成的内容显示在第一显示区域。
97.在一些实施例中，第一虚拟显示区域和第一显示区域处于同一平面或不同平面，在实际中，可以将第一虚拟区域显示的可以位于第二显示区域的同一平面的任意位置，例如第一显示区域的左上角、右下角等，也可以将第一虚拟区域显示的内容也可以位于第二显示区域的不同平面，例如第一显示区域的左前方、右后方等。
98.示例性地，在ar设备和边缘计算设备联动的场景中，ar设备对基于第一操作生成的内容渲染后生成的虚拟内容可以在第一虚拟显示区域显示，边缘计算设备渲染的内容可以在显示屏幕显示或第二设备的驱动投影显示区域显示。
99.本技术实施例通过获得第一操作及其操作信息，使得基于第一操作可以对第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示进行控制；至少基于操作信息控制第二电子设备渲染待输出内容中的至少部分；将第二电子设备渲染的内容和至少基于第一操作生成的内容对应呈现在虚拟显示区域。通过操作信息控制第二电子设备渲染待输出内容中的至少部分，减少了第一电子设备的渲染工作量，提高了第一电子设备处理效率，进而保证在虚拟显示区域进行内容呈现的流畅性和连续性，提升用户的体验。下面，对本技术实施例在实际应用场景中的实现过程进行介绍。
100.本技术实施例提供一种基于边缘计算的数据处理方法，该方法是基于边缘计算的vr架构1来实现的，图3为本技术实施例提供的一种基于边缘计算的 vr架构示意图，参见图3，基于边缘计算的vr架构1包括边缘计算设备11 和vr(vr或mr)设备12。
101.边缘计算设备11和vr(mr或mr)设备12之间通过5g、wifi等无线传输方式进行通信连接，边缘计算设备11和vr(ar或mr)设备12进行协同渲染，边缘计算设备11执行背景环境数据的渲染，vr(ar或mr)设备12 执行前景互动数据的渲染，并将边缘计算设备11渲染后得到的背景环境数据和 vr(ar或mr)设备12渲染后得到的前景互动数据进行同步显示。
102.如图4所示，为本技术实施例提供的一种基于边缘计算的数据处理方法的流程示意图，本技术实施例提供的基于边缘计算设备的数据处理方法基于边缘计算的vr架构，可以通过下述的s301至s304来实现。
103.s301、vr设备(第一电子设备)实时处理(渲染)将vr内容的前景互动数据(第一操作生成的内容)。
104.在一些实施例中，vr内容包含前景互动数据和背景环境数据(待输出内容的至少部分)。前景互动数据可以是用户与vr内容进行交互过程中对应产生的内容，例如，用户通过手柄的等控制器件控制vr画面中前景对象执行相应操作时产生的内容。前景互动数据是实时的、随机不可预测的，但是前景互动数据的渲染工作量较少，因此，前景互动数据的渲染工作可以由vr设备来实时处理，保证vr设备的性能。
105.s302、边缘计算设备(第二电子设备)提前处理vr内容的背景环境数据 (待输出内容中的至少部分)。
106.背景环境是连续可预测的，是可以提前预测的，但是对背景环境数据的渲染的工
作量较大，因此，对背景环境数据的渲染可以由边缘计算设备来完成。
107.在一些实施例中，边缘计算设备包括一个或多个，一个或多个边缘计算设备均具有各自对应的标识码，vr设备可以获取一个或多个边缘计算设备各自对应的标识码，并基于一个或多个边缘计算设备的标识码，在vr设备和一个或多个边缘计算设备之间建立无线连接(第二电子设备是与第一电子设备建立通信连接)。
108.图5为本技术实施例提供的一种vr设备和边缘计算设备之间的数据交互示意图，如图5所示，当边缘计算设备包括多个时，vr设备中的vr操作系统或vr平台可以根据多个边缘计算设备各自的负载信息，确定多个边缘计算设备中可用的至少一个边缘计算设备，确定可用的至少一个边缘计算设备的负载能力，根据各个可用的边缘计算设备的负载能力，将背景环境数据对应的背景环境源数据拆分为至少一个背景源数据子集，使得具有负载能力的各个可用的边缘计算设备，可以处理各自对应的背景源数据子集，并将至少一个背景源数据子集发送至对应的边缘计算设备，各个边缘计算设备受到各自对应的背景源数据子集后，进行相应的渲染处理。
109.s303、边缘计算设备将处理后得到的临近背景环境数据(第二电子设备渲染的内容)提前传输给vr设备。
110.在一些实施例中，如图5所示，vr设备可以向边缘计算设备发送数据获取请求，以获得边缘计算设备反馈的处理后得背景环境数据。在实际中，vr 设备可以获取前景互动数据中前景对象对应的当前场景，基于前景对象、vr 内容对应场景的预设规则和前景对象对应的当前场景；然后，确定前景对象对应的至少一个待输出场景，并确定至少一个待输出场景各自对应的待输出背景源数据，待输出背景源数据即临近背景环境数据对应的背景源数据；接着，从一个或多个边缘计算设备中，确定处理待输出背景源数据的边缘计算设备为候选边缘计算设备，候选边缘计算设备可能为一个或多个；之后，将数据获取请求发送至一个或多个候选边缘计算设备，以获得对待输出背景源数据处理后的待输出背景数据，待输出背景数据即边缘电子设备处理后得到的临近背景环境数据。
111.s304、vr设备接收到边缘计算设备反馈的处理后的背景环境数据(第二电子设备渲染的内容)后，将处理后的前景互动数据和处理后的背景环境数据进行协同显示。
112.vr设备接收到边缘计算设备发送的背景环境数据后，可以确定与前景互动内容对应的背景环境数据，并将与当前前景互动内容对应的背景环境数据和前景互动数据同步显示(将第二电子设备渲染的内容和至少基于第一操作生成的内容对应呈现在虚拟显示区域)。
113.在一些实施例中，当确定的候选边缘计算设备有多个时，可以得到多份处理后得背景环境数据，例如如图5所示，边缘计算设备a可以处理背景源数据子集a得到一份背景环境数据，边缘计算设备b可以处理背景源数据子集b得到另一份背景环境数据，vr设备在接收到多份背景环境数据后，确定多份背景环境数据中与前景互动匹配的背景环境数据，并将前景互动数据和背景环境数据同步显示。
114.在一些实施例中，vr设备向边缘计算设备发送的需要处理的背景环境数据(背景源数据或者背景源数据子集)，可以经过压缩处理后再发送给边缘计算设备，如图5所示，通过vr设备将要发送至边缘计算设备的背景环境源数据进行压缩，边缘计算设备接收后，对压缩后的数据进行解压后再基于边缘计算设备进行渲染处理。对应地，边缘计算设备向vr
设备反馈的处理后的背景环境数据也可以是经过边缘计算设备的智能加速平台压缩处理后得到的，经过压缩处理后得背景环境数据，可以保证数据在vr设备和边缘计算设备之间安全、高效的传输。
115.在本技术实施例中，通过vr设备实时处理将vr内容的前景互动数据，边缘计算设备提前处理vr内容的背景环境数据，边缘计算设备将处理后得到的临近背景环境数据提前传输给vr设备，vr设备接收到边缘计算设备反馈的背景环境数据后，进行协同显示，解决了vr设备对于低延迟的需求，实现了 vr设备的超高清实时互动，解决了当前一体式vr性能不够的问题。
116.本技术还提供一种控制装置，图6为本技术实施例提供的控制装置的一种结构示意图，如图6所示，控制装置600包括：获取模块601，用于获得第一操作及其操作信息，所述第一操作用于向第一电子设备输入控制指令，以至少控制通过所述第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示；
117.控制模块602，用于至少基于所述操作信息控制第二电子设备渲染待输出内容中的至少部分，所述第二电子设备是与所述第一电子设备建立通信连接的设备；
118.显示模块603，用于将所述第二电子设备渲染的内容和至少基于所述第一操作生成的内容对应呈现在所述虚拟显示区域，其中，所述至少基于所述第一操作生成的内容中的至少部分由所述第一电子设备渲染生成。
119.在本技术的一些实施例中，所述获取模块601，还用于获得第一电子设备的设备信息，基于所述设备信息通过所述第一电子设备中的传感器或不同于所述第一电子设备的第三电子设备中的传感器获得所述第一操作及其操作信息；或，获得第一电子设备与目标操作体的相对位置关系，基于所述相对位置关系通过所述第一电子设备中的传感器或不同于所述第一电子设备的第三电子设备中的传感器获得所述第一操作及其操作信息；或，获得第一电子设备的使用参数，基于所述使用参数通过所述第一电子设备中的传感器或不同于所述第一电子设备的第三电子设备中的传感器获得所述第一操作及其操作信息；或，获得第一电子设备的操作体的身份信息，基于所述身份信息通过所述第一电子设备中的传感器或不同于所述第一电子设备的第三电子设备中的传感器获得所述第一操作及其操作信息。
120.在本技术的一些实施例中，所述控制模块602，还用于基于所述操作信息确定第二时刻的待输出内容，所述第二时刻晚于第一时刻，所述第一时刻是获得所述第一操作的时刻；控制所述第二电子设备在第三时刻渲染对应所述第二时刻的待输出内容的待渲染内容的至少部分，所述第三时刻不晚于所述第二时刻。
121.在本技术的一些实施例中，所述控制模块602，还用于基于所述操作信息预测第二时刻的第二操作；确定所述第二操作与所述第一操作之间的第一关系、及所述第一操作与当前输出内容之间的第二关系；基于所述第一关系和所述第二关系确定第二时刻的待输出内容。
122.在本技术的一些实施例中，所述控制模块602，还用于将基于所述操作信息确定的待渲染内容在第一时刻给到所述第二电子设备，以控制所述第二电子设备在第二时刻或之前渲染出对应所述第二时刻的待输出内容的至少部分，所述第一时刻是获得所述第一操作的时刻，所述第二时刻晚于所述第一时刻；或，至少将所述操作信息于第一时刻发送给所述第二电子设备，以使得所述第二电子设备基于所述操作信息在第二时刻或之前渲染出对应
所述第二时刻的待输出内容的至少部分，所述第一时刻是获得所述第一操作的时刻，所述第二时刻晚于所述第一时刻；或，控制第三电子设备将采集到的操作信息给到所述第二电子设备，以使得所述第二电子设备基于所述操作信息在第二时刻或之前渲染出对应所述第二时刻的待输出内容的至少部分，所述第一时刻是获得所述第一操作的时刻，所述第二时刻晚于所述第一时刻。
123.在本技术的一些实施例中，所述控制模块602，还用于向第二电子设备发送待输出内容的数据请求，以控制所述第二电子设备反馈其渲染出的待输出内容的至少部分；或，接收所述第二电子设备主动反馈的待输出内容的至少部分。
124.在本技术的一些实施例中，所述控制模块602，还用于确定所述第一操作或第二操作在所述待输出内容中作用的目标对象，在对应时刻渲染所述目标对象对应的待渲染对象。
125.在本技术的一些实施例中，所述显示模块603，还用于将所述第二电子设备渲染的内容和基于所述第一操作生成的内容在所述虚拟显示区域同步显示；或，将所述第二电子设备渲染的内容和基于所述第一操作生成的内容分别显示在第一虚拟显示区域和第二虚拟显示区域，其中，所述第一虚拟显示区域和所述第二虚拟显示区域处于同一平面或不同平面。
126.在本技术的一些实施例中，所述显示模块603，还用于将所述第二电子设备渲染的内容和基于所述第一操作生成的内容对应显示在第一虚拟显示区域和第一显示区域，其中，所述第一显示区域是所述第二电子设备驱动的显示区域，所述第一虚拟显示区域和所述第一显示区域处于同一平面或不同平面。
127.本技术实施例还提供一种控制设备，图7为本技术实施例提供的一种控制设备的结构示意图，如图7所示，控制设备700包括：存储器701，用于存储可执行控制指令；处理器702，用于执行存储器中存储的可执行控制指令时，实现本技术实施例提供的方法，例如，实现本技术实施例提供的控制方法。
128.在本技术实施例中，上述处理器702可以为特定用途集成电路(applicationspecific integrated circuit，asic)、数字信号处理器(digital signal processor， dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(fieldprogrammable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。可以理解的是，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例对此不作具体限定。
129.在本技术实施例中，上述处理器702，用于获得第一操作及其操作信息，使得基于第一操作可以对第一电子设备的光学透镜模组显示的至少一虚拟显示区域的显示进行控制；至少基于操作信息控制第二电子设备渲染待输出内容中的至少部分；将第二电子设备渲染的内容和至少基于第一操作生成的内容对应呈现在虚拟显示区域。
130.本技术实施例还提供一种计算机可读存储介质，存储有可执行控制指令，用于引起处理器702执行时，实现本技术实施例提供的方法，例如，本技术实施例提供的可执行控制方法。示例性的，本实施例中的控制方法指令可以被存储在光盘，硬盘，u盘等存储介质上，当存储介质中的与一种控制方法对应的程序指令被一电子设备读取或被执行时，可以
实现如上述任一实施例所述的控制方法。
131.本领域内的技术人员应明白，本技术的实施例可提供为方法、设备或计算机程序产品。因此，本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
132.本技术是参照根据本技术实施例的方法、设备或计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能的装置。
133.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
134.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
135.以上所述，仅为本技术的实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本技术的保护范围之内。