实现多终端联网同步的方法、系统和云端服务器与流程

本公开涉及增强现实领域，尤其涉及一种实现多终端联网同步的方法、系统和云端服务器。

背景技术：

ar(augmentedreality，增强现实)是借助计算机视觉和ai(artificialintelligence，人工智能)等技术，将虚拟对象与现实世界有机结合，通过自然的虚实交互方式，提升感知效果。

ar技术是作为人性化交互机制变革的手段，并随着作为智能手机的售卖亮点，带动了整个产业的发展，预计到2021年全球市场将超1200亿美元(易观数据)，其中游戏是主要的创新娱乐方式和重要的增值来源。

因为ar本身需要具备将实时实景获取、识别、建模和定位，并同步完成虚拟场景和物品添加、匹配和交互融合，给运行终端带来较大的能力挑战；同时由于本地化实景获取的限制，从而也影响了多人、分区域的联网对战，造成了当前ar游戏尚处于单机模式，而且覆盖终端范围也存在较大限制。

技术实现要素：

本公开要解决的一个技术问题是提供一种实现多终端联网同步的方法、系统和云端服务器，无ar能力的终端通过利用主导终端的ar能力，实现多终端联网互动。

根据本公开一方面，提出一种实现多终端联网同步的方法，包括：获取主导终端上传的实景视频和实景界面逻辑，其中，主导终端基于本地增强现实ar技术根据实景视频生成实景界面逻辑；基于实景界面逻辑生成对应的虚拟内容逻辑；将虚拟内容逻辑发送至主导终端，以便主导终端根据虚拟内容逻辑生成虚拟内容，基于ar技术将虚拟内容与实景视频进行融合；将虚拟内容逻辑、实景界面逻辑和实景视频同步至参与终端，以便参与终端根据虚拟内容逻辑生成虚拟内容，并基于实景界面逻辑将虚拟内容与实景视频进行融合，从而生成与主导终端一致的内容。

可选地，响应于主导终端完成相关内容操控，将更新后的实景界面逻辑和基于内容操控引起的虚拟内容逻辑同步至参与终端；或者响应于参与终端完成相关内容操控，将基于内容操控引起的虚拟内容逻辑同步至主导终端。

可选地，虚拟内容与实景视频融合输出为ar游戏内容。

可选地，虚拟内容逻辑包括虚拟物的坐标和属性信息；其中，基于实景界面逻辑生成对应的虚拟内容逻辑包括：根据游戏规则，在实景界面逻辑中建立虚拟物，并确定各虚拟物的坐标信息、个体属性和相关虚拟物之间的相关属性。

根据本公开的另一方面，还提出一种云端服务器，包括：数据获取单元，用于获取主导终端上传的实景视频和实景界面逻辑，其中，主导终端基于本地增强现实ar技术根据实景视频生成实景界面逻辑；逻辑生成单元，用于基于实景界面逻辑生成对应的虚拟内容逻辑；数据同步单元，用于将虚拟内容逻辑发送至主导终端，以便主导终端根据虚拟内容逻辑生成虚拟内容，基于ar技术将虚拟内容与实景视频进行融合，并上传融合状态；以及将虚拟内容逻辑、实景界面逻辑和实景视频同步至参与终端，以便参与终端根据虚拟内容逻辑生成虚拟内容，并基于实景界面逻辑将虚拟内容与实景视频进行融合，从而生成与主导终端一致的内容。

可选地，数据获取单元还用于响应于主导终端完成相关内容操控，更新实景界面逻辑；数据同步单元还用于将更新后的实景界面逻辑和基于内容操控引起的虚拟内容逻辑同步至参与终端；或者数据获取单元还用于响应于参与终端完成相关内容操控；数据同步单元还用于将基于内容操控引起的虚拟内容逻辑同步至主导终端。

可选地，虚拟内容与实景视频融合输出为ar游戏内容。

可选地，虚拟内容逻辑包括虚拟物的坐标和属性信息；逻辑生成单元还用于根据游戏规则，在实景界面逻辑中建立虚拟物，并确定各虚拟物的坐标信息、个体属性和相关虚拟物之间的相关属性。

根据本公开的另一方面，还提出一种云端服务器，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行如上述的实现多终端联网同步的方法。

根据本公开的另一方面，还提出一种实现多终端联网同步的系统，包括主导终端、参与终端和云端服务器；主导终端用于获取实景视频，基于ar技术根据实景视频生成实景界面逻辑，并将实景视频和实景界面逻辑发送至云端服务器，接收云端服务器发送的虚拟内容逻辑，根据虚拟内容逻辑生成虚拟内容，基于ar技术将虚拟内容与实景视频进行融合；参与终端用于接收云端服务器下发的虚拟内容逻辑、实景界面逻辑和实景视频，根据虚拟内容逻辑生成虚拟内容，基于实景界面逻辑将虚拟内容与实景视频进行融合，从而生成与主导终端一致的内容。

根据本公开的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的实现多终端联网同步的方法的步骤。

与现有技术相比，本公开利用云端服务器的分享和逻辑同步，实现主导终端ar能力面向其他终端分享和同步的有效机制，无ar能力的终端通过利用主导终端的ar能力，实现多终端联网互动，解决了现有技术中终端能力限制而无法实现多终端内容同步问题。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开实现多终端联网同步的方法的一个实施例的流程示意图。

图2为本公开实现多终端联网同步的方法的另一个实施例的流程示意图。

图3为本公开云端服务器的一个实施例的结构示意图。

图4为本公开实现多终端联网同步的系统的一个实施例的结构示意图。

图5为本公开云端服务器的另一个实施例的结构示意图。

图6为本公开云端服务器的一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

图1为本公开实现多终端联网同步的方法的一个实施例的流程示意图。该实施例由云端服务器执行。

在步骤110，获取主导终端上传的实景视频和实景界面逻辑。其中，主导终端为具有ar能力的终端，主导终端可以通过摄像头等拍摄实景视频，并基于arkit或arcore等第三方本地化ar技术框架机制根据实景视频生成实景界面逻辑。其中，主导终端还可以利用artoolkit、bazar等ar技术生成实景界面逻辑。

在一个实施例中，实景界面逻辑为实际场景的三维数字化地图，可以包括地面、桌面和墙面等实景平面信息，还包括实际场景与相机之间距离及实际物品彼此间距离等距离信息，以及实景前后上下左右等位置关系等。

在步骤120，基于实景界面逻辑生成对应的虚拟内容逻辑。其中，虚拟内容逻辑包括虚拟物的坐标和属性信息。虚拟物例如为虚拟场景、虚拟人物、虚拟装备等。在一个实施例中，虚拟内容逻辑具体可以包括虚拟物的坐标位置、虚拟物生成逻辑、数值逻辑以及事件触发逻辑等。

在步骤130，将虚拟内容逻辑发送至主导终端，以便主导终端根据虚拟内容逻辑生成虚拟内容，基于ar技术将虚拟内容与实景视频进行融合。其中，主导终端基于arkit或arcore等ar组件将虚拟内容与实景视频进行融合输出，例如，输出ar游戏内容，此时主导终端可以将融合状态发送至云端服务器。

在步骤140，将虚拟内容逻辑、实景界面逻辑和实景视频同步至参与终端，以便参与终端根据虚拟内容逻辑生成虚拟内容，并基于实景界面逻辑将虚拟内容与实景视频进行融合，从而生成与主导终端一致的内容。其中，参数终端可以不具备ar能力，其根据实景界面逻辑，并基于自身应用处理能力实现虚拟内容与实景视频的融合，生成与主导终端一致的内容，例如为ar游戏内容。

其中，步骤130和步骤140可以同时执行。

在该实施例中，利用云端服务器的分享和逻辑同步，实现主导终端ar能力面向其他终端分享和同步的有效机制，无ar能力的终端通过利用主导终端的ar能力，实现多终端联网互动，解决了现有技术中终端能力限制而无法实现多终端内容同步问题。

在另一个实施例中，当终端进行内容操控时，云端服务器能够将终端操控同步，并更新逻辑，实现多终端之间内容同步。例如，主导终端完成相关内容操控，云端服务器将更新后的实景界面逻辑和基于内容操控引起的虚拟内容逻辑同步至参与终端，使得参与终端呈现内容与主导终端呈现内容一致。参与终端完成相关内容操控，云端服务器将基于内容操控引起的虚拟内容逻辑同步至主导终端，使得主导终端呈现内容与参与终端呈现内容一致。

图2为本公开实现多终端联网同步的方法的另一个实施例的流程示意图。该实施例以ar游戏为例进行介绍。

在步骤210，主导终端通过摄像头拍摄实景视频。

在步骤220，主导终端基于本地ar技术根据实景视频生成实景界面逻辑。例如，具备ar能力的主导终端，依靠arkit、arcore或其他第三方ar中间件，针对摄像头拍摄的实景视频采用slam(simultaneouslocalizationandmapping，即时定位与地图构建)，也称为cml(concurrentmappingandlocalization，并发映射与定位)，获得实际场景的三维数字化地图。该实际场景的三维数字化地图即实景界面逻辑。该实景界面逻辑可以看作是实体场景的数字逻辑化，目的是提取实景的界面信息、距离信息和网格坐标等。其中，可以采用在实景逻辑上标注坐标，明确虚拟物品添加的方位。

在步骤230，主导终端将实景视频和实景界面逻辑发送至云端服务器。其中，主导终端上传的实景视频可以采用标准的h.265等格式。

在步骤240，云端服务器基于实景界面逻辑生成对应的虚拟内容逻辑。例如生成虚拟场景、虚拟人物、虚拟装备及相关数据逻辑等。

在一个实施例中，云端服务器根据游戏规则，在实景界面逻辑中建立虚拟物，并确定各虚拟物的坐标信息、个体属性和相关虚拟物之间的相关属性。虚拟内容逻辑具体可以包括坐标位置、物品生成逻辑、数值逻辑和事件触发逻辑。例如，坐标位置包括npc(non-playercharacter，非玩家角色)、虚拟物品等虚拟内容相关组成元素的摆放位置，其中，根据实景的界面和位置信息等确定实景中实时定位。物品生成逻辑即生成npc、虚拟物品的类型、数量等。数值逻辑即相应的虚拟物品对应的战斗力、防御能力等数据指数。事件触发逻辑例如为在击打过程中出现对应光影特效和声效等。

在步骤250，云端服务器将虚拟内容逻辑发送至主导终端，将虚拟内容逻辑、实景界面逻辑和实景视频同步至参与终端。

在步骤260，主导终端根据虚拟内容逻辑生成虚拟内容，基于ar技术将虚拟内容与实景视频融合输出游戏内容，并将状态同步至云端服务器。虚拟内容即基于虚拟内容逻辑生成的虚拟物品、虚拟人物和虚拟场景等，可以采用自动生成的虚拟内容逻辑脚本，通过调用终端本地的场景素材、粒子特效等构建游戏虚拟世界。

在步骤270，参与终端根据虚拟内容逻辑生成虚拟内容，并基于实景界面逻辑利用自身游戏处理能力将虚拟内容与实景视频进行融合，从而生成与主导终端一致的游戏内容，并将状态同步至云端服务器。

该实施例中，通过主导终端内置的ar本地化技术解决方案，实现对其所属实景的获取、解析、定位和虚拟融合能力，通过云端服务器分享到其他终端，拓展了传统机制下ar能力的覆盖面及ar实景本地化对联网的限制。另外，将传统的ar实现机制中虚拟逻辑部分主导权，从终端移到云端，有效确保在ar联网互动过程中，多方对战的虚实内容同步，并通过调动各终端本地能力，同时降低了云端服务器的运行压力。

在一个实施例中，还可以包括以下步骤。

在步骤280，主导终端完成相关游戏操控后，向云端服务器发送更新后的实景界面逻辑和基于游戏操控引起的虚拟游戏逻辑。其中，更新后的实景界面逻辑和更新前的实景界面逻辑可以相同也可以不相同，例如，主导终端进行了移动或者现场出现改变，则实景界面逻辑会出现变化。

在步骤290，云端服务器确认后，将更新后的实景界面逻辑和基于游戏操控引起的虚拟游戏逻辑同步至参与终端，以便参与终端进行游戏更新。

例如，主导终端用户在打怪游戏时进行鼠标操作，游戏中的怪兽出现掉血，则将该画面上传至云端服务器，云端服务器将该画面同步至参与终端。

在步骤281，参与终端完成相关游戏操控，向云端服务器发送基于游戏操控引起的虚拟游戏逻辑。

在步骤291，云端服务器确认后，将基于游戏操控引起的虚拟游戏逻辑同步至主导终端，以便主导终端进行游戏更新。

其中，步骤280和步骤281的执行顺序可以不分前后。

在该实施例中，相对满足单一终端的ar游戏机制限制，通过云端传递和分享具备高端主导终端ar现实场景、ar虚拟形象和游戏逻辑等方式，实现其他无ar能力的参与终端上呈现与主导终端一样的ar游戏，并通过云端逻辑机制同步，实现多人ar游戏对战。从根本上解决ar游戏联网化和终端能力限制等瓶颈，增加ar游戏的趣味性和可玩性。

图3为本公开云端服务器的一个实施例的结构示意图。该云端服务器包括数据获取单元310、逻辑生成单元320和数据同步单元330。

数据获取单元310用于获取主导终端上传的实景视频和实景界面逻辑。其中，主导终端为具有ar能力的终端，主导终端可以通过摄像头等拍摄实景视频，基于本地ar技术根据实景视频生成实景界面逻辑。ar本地化底层实现技术可采用任何具备本地化ar能力的中间件，例如artoolkit、bazar、arcore、arkit等。

逻辑生成单元320用于基于实景界面逻辑生成对应的虚拟内容逻辑。其中，虚拟内容逻辑包括虚拟物的坐标和属性信息。虚拟物例如为虚拟场景、虚拟人物、虚拟装备等。在一个实施例中，虚拟内容逻辑具体可以包括虚拟物的坐标位置、虚拟物生成逻辑、数值逻辑以及事件触发逻辑等。

数据同步单元330用于将虚拟内容逻辑发送至主导终端，以便主导终端根据虚拟内容逻辑生成虚拟内容，基于ar技术将虚拟内容与实景视频进行融合，并上传融合状态；以及将虚拟内容逻辑、实景界面逻辑和实景视频同步至参与终端，以便参与终端根据虚拟内容逻辑生成虚拟内容，并基于实景界面逻辑将虚拟内容与实景视频进行融合，从而生成与主导终端一致的内容。其中，参数终端可以不具备ar能力，其根据实景界面逻辑，并基于自身应用处理能力实现虚拟内容与实景视频的融合，生成与主导终端一致的内容，例如为ar游戏内容。

在该实施例中，利用云端服务器的分享和逻辑同步，实现主导终端ar能力面向其他终端分享和同步的有效机制，解决了现有技术中终端能力限制等瓶颈，拓展了传统机制下ar能力的覆盖面及ar实景本地化对联网的限制。

在本公开的另一个实施例中，对于多人完成ar游戏对战，当主导终端完成相关游戏操控时，会向云端服务器发送更新后的实景界面逻辑和基于游戏操控引起的虚拟游戏逻辑，数据获取单元310更新实景界面逻辑并获取虚拟游戏逻辑，数据同步单元330将更新后的实景界面逻辑和虚拟游戏逻辑同步至参与终端，以便参与终端进行游戏更新。或者，当参与终端完成相关游戏操控时，会向云端服务器发送基于游戏操控引起的虚拟游戏逻辑，数据获取单元310获取虚拟游戏逻辑，数据同步单元330将虚拟游戏逻辑同步至主导终端，以便主导终端进行游戏更新。

在该实施例中，能够从根本上解决ar游戏联网化和终端能力限制等瓶颈，实现多人基于同一实际场景、远距离进行游戏对战，增加ar游戏的趣味性和可玩性。

图4为本公开实现多终端联网同步的系统的一个实施例的结构示意图。该系统包括主导终端410、参与终端420和云端服务器430，其中，参与终端420均可以有多个，云端服务器430已在上述实施例中进行了详细介绍。

主导终端410用于获取实景视频，基于ar技术根据实景视频生成实景界面逻辑，并将实景视频和实景界面逻辑发送至云端服务器430，接收云端服务器430发送的虚拟内容逻辑，根据虚拟内容逻辑生成虚拟内容，基于ar技术将虚拟内容与实景视频进行融合，并将状态同步至云端服务器430。

参与终端420用于接收云端服务器430下发的虚拟内容逻辑、实景界面逻辑和实景视频，根据虚拟内容逻辑生成虚拟内容，基于实景界面逻辑将虚拟内容与实景视频进行融合，从而生成与主导终端一致的内容。

在进行ar游戏时，主导终端410和参与终端420能够直接在游戏中对抗或共同完成相关游戏操控。

在该实施例中，通过主导终端内置的ar本地化技术，实现对其所属实景的获取、解析、定位，并建立相应的坐标体系；之后，将实景视频上传云端服务器，同时将实景解析结果同步到云端服务器；最终，通过云端服务器将实景和虚景逻辑下发，实现参与终端的ar同步和交互。该实施例中，将传统的ar实现机制中虚拟逻辑部分主导权，从终端移到云端，有效确保在ar联网互动过程中，多方对战的虚实内容同步。另外，借助主导终端能力，云端服务器无需对实景视频进行slam计算，直接获得主导终端的实体场景界面逻辑；借助参与终端自身的游戏生成能力，实现按照逻辑生成虚拟内容与实景视频的融合，不必依靠云端生成后在下发到各个终端；在操控同步过程，依托的是终端侧的处理能力，云端仅需要确认和游戏效果逻辑同步而已。即该实施例，通过调动各终端本地能力，同时降低了云端的运行压力。

将本公开应用在ar实时竞技，能够提升娱乐增值收入。

图5为本公开云端服务器的另一个实施例的结构示意图。该云端服务器包括存储器510和处理器520，其中：

存储器510可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1、2所对应实施例中的指令。处理器620耦接至存储器510，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器520用于执行存储器中存储的指令。

在一个实施例中，还可以如图6所示，该云端服务器600包括存储器610和处理器620。处理器620通过bus总线630耦合至存储器610。该云端服务器600还可以通过存储接口640连接至外部存储装置650以便调用外部数据，还可以通过网络接口660连接至网络或者另外一台计算机系统(未标出)，此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，借助云端分享和逻辑同步，实现主导终端ar能力面向其他终端分享和同步的有效机制，使得多终端能够联网呈现内容同步。

另外本公开通过所有终端互动操作和云端结果同步实现多人ar联网对战，解决了现有ar游戏无法有效多人联网对战，只有高端手机终端能够运行等问题。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1、2所对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。