一种电视终端AR场景的实现方法及系统与流程

本申请涉及增强现实技术领域，尤其涉及一种电视终端ar场景的实现方法及系统。

背景技术

ar(augmentedreality，增强现实)技术能够在真实场景中添加虚拟场景，使得真实场景与虚拟场景融为一体，并且能够实现虚拟场景和真实场景的实时同步，形成ar场景，使用户能够在现实世界中真实地感受虚拟场景中模拟的事物，增强用户对真实环境的理解与体验。因此，ar技术在教育、医疗、娱乐、传媒、工业等领域的应用均非常广泛。

目前，电视终端的ar场景通常需要借助专用的外部辅助设备实现。具体地，如图1所示，为了在电视终端上呈现ar场景，通常需要在该电视终端之外设置专用的摄像头和ar机顶盒，该摄像头与该ar机顶盒连接，该ar机顶盒与该电视终端连接，并且该ar机顶盒内预先存储有图像识别库以及与该图像识别库对应的虚拟场景信息。该摄像头用于实时获取现实场景图像，并将该现实场景图像发送至该ar机顶盒。该ar机顶盒需要对该现实场景图像不断进行识别，根据识别结果实时确定对应的虚拟场景信息，并将该虚拟场景信息与现实场景图像结合，得到ar场景。随后，将该ar场景发送至电视终端，由电视终端进行显示，以供用户观看。

在上述过程中，为了保证虚拟场景信息与现场图像的一致性，该机顶盒需要频繁地识别现实场景图像并处理虚拟场景模型。然而，通常情况下ar机顶盒的数据处理能力相对较弱，当对现实场景图像的识别频率较高时，该ar机顶盒将无法对现实场景内容进行快速且准确地识别和注册跟踪，导致现实场景与虚拟场景不匹配，使ar场景出现异常。

技术实现要素：

本申请提供了一种电视终端ar场景的实现方法及系统，用于解决现有技术无法对现实场景内容进行快速且准确地识别和注册跟踪，导致现实场景与虚拟场景不匹配，使ar场景出现异常的问题。

第一方面，本申请实施例提供一种电视终端ar场景的实现方法，应用于移动终端，所述方法包括：实时获取现实场景图像；将所述现实场景图像发送至云端服务器，所述现实场景图像用于确定虚拟场景信息；接收所述虚拟场景信息；将所述虚拟场景信息实时与所述现实场景图像结合，获得ar场景；将所述ar场景发送至电视终端。

第二方面，本申请实施例提供一种电视终端ar场景的实现方法，应用于云端服务器，所述方法包括：接收移动终端发送的现实场景图像；根据所述现实场景图像确定虚拟场景信息；将所述虚拟场景信息发送给移动终端，所述虚拟场景信息用于所述移动终端将所述虚拟场景信息实时与所述现实场景图像结合，获得ar场景，并将所述ar场景发送至电视终端。

第三方面，本申请实施例提供一种电视终端ar场景的现方法，应用于移动终端，包括：实时获取现实场景图像，所述现实场景图像包括电视终端显示的特征图像，所述特征图像根据运维服务器的配置确定；将所述现实场景图像发送至云端服务器，所述现实场景图像用于确定虚拟场景信息；接收所述虚拟场景信息；将所述虚拟场景信息实时与所述现实场景图像结合，获得并显示ar场景。

第四方面，本申请实施例提供一种电视终端ar场景的实现方法，应用于云端服务器，包括：接收移动终端发送的现实场景图像，所述现实场景图像包括电视终端显示的特征图像，所述特征图像根据运维服务器的配置确定；根据所述现实场景图像确定虚拟场景信息；将所述虚拟场景信息发送给移动终端，所述虚拟场景信息用于所述移动终端将所述虚拟场景信息实时与所述现实场景图像结合，获得并显示ar场景。

第五方面，本申请实施例提供一种电视终端ar场景的实现系统，包括：移动终端，用于实时获取现实场景图像；将所述现实场景图像发送至云端服务器；云端服务器，用于根据所述现实场景图像确定虚拟场景信息，并将所述虚拟场景信息发送给所述移动终端；所述移动终端，还用于接收所述虚拟场景信息；将所述虚拟场景信息实时与所述现实场景图像结合，获得ar场景；以及将所述ar场景发送至电视终端；电视终端，用于接收并显示所述ar场景。

第六方面，本申请实施例提供一种电视终端ar场景的实现系统，包括：运维服务器，用于配置电视终端显示的特征图像；电视终端，用于根据运维服务器的配置显示所述特征图像；移动终端，用于实时获取现实场景图像，所述现实场景图像包括电视终端显示的特征图像，所述特征图像根据运维服务器的配置确定；将所述现实场景图像发送至云端服务器；云端服务器，用于根据所述现实场景图像确定虚拟场景信息，并将所述虚拟场景信息发送给所述移动终端；所述移动终端，还用于接收所述虚拟场景信息；并将所述虚拟场景信息实时与所述现实场景图像结合，获得并显示ar场景。

在本申请实施例示出的电视终端ar场景的实现方法及系统中，移动终端能够将获取到的现实场景图像发送至云端服务器，由云端服务器进行图像识别和虚拟场景信息调取，减少了对移动终端资源的占用，使移动终端能够快速且准确地生成ar场景，避免ar场景出现异常。此外，通过移动终端、云端服务器和电视终端的共同作用，即可在电视终端上显示ar场景，或者实现与电视终端显示内容的互动，无需额外配置专用的摄像头和机顶盒，降低了电视终端ar场景生成的成本，具有更强的市场适应性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中电视终端ar场景实现系统的结构示意图。

图2为本申请实施例提供的电视终端ar场景的实现方法的流程图一。

图3为本申请实施例提供的电视终端ar场景的实现方法的流程图二。

图4为本申请实施例提供的电视终端ar场景的实现系统的示意图一。

图5为本申请实施例提供的电视终端ar场景的实现系统的示意图二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图2，本申请实施例提供的一种电视终端ar场景的实现方法的流程图一，该方法包括步骤s201-s206，具体如下所示。

步骤s201，移动终端实时获取现实场景图像。

在本申请实施例中，该移动终端包括但不限于手机、平板电脑、ar眼镜、mr(mixedreality，混合现实)眼镜、智能手表等具有显示屏幕、摄像头和信息处理功能的设备。以手机为例，通过手机自身配备的摄像头即可实时获取现实场景图像，如游戏场景图像、互动场景图像等，而无需购置专用的图像获取设备。

步骤s202，移动终端将该现实场景图像发送至云端服务器，该现实场景图像用于确定虚拟场景信息。

在一种可能的实现方式中，为了使云端服务器能够及时识别现实场景图像的变化，移动终端每间隔预设的时间，直接将当前时刻的一帧现实场景图像发送至云端服务器。其中，该预设的时间间隔具体根据移动终端预先的配置确定，本申请对此不进行限制。

在另一种可能的实现方式中，可通过如下步骤s202a-s202c将现实场景图像发送至云端服务器。

步骤s202a，移动终端根据本地图像库识别该现实场景图像。

在一个现实场景中，通常会包括环境部分和特征部分。例如，在一个基于游戏卡片的游戏场景中，通常会包括放置该游戏卡片的桌面，即环境部分，以及该游戏卡片本身，即特征部分。因此，移动终端实时获取的现实场景图像通常也包括该环境部分对应的环境图像和该特征部分对应的特征图像。

该移动终端内设置有本地图像库和本地模型库，该本地图像库中预设有第一标准图像，并且每一个第一标准图像均在本地模型库中有对应的虚拟场景信息。其中，需要说明的是，该本地图像库和本地模型库为现实场景图像第一次通过云端服务器成功识别后，下载缓存到移动终端的。

在该步骤中，移动终端在实时获取到现实场景图像之后，每间隔预设的时间，提取当前时刻的现实场景图像的特征，并将该特征与本地图像库中的第一标准图像进行特征匹配。如果该特征与该第一标准图像之间特征匹配成功，则识别成功。如果该特征与该第一标准图像之间特征匹配失败，则识别失败。

其中，如果现实场景图像的特征与第一标准图像的特征具有较高的相似度则认为匹配成功，反之则认为匹配失败。另外，该预设的时间间隔具体根据移动终端预先的配置确定，本申请对此不进行限制。

根据用户使用场景的不同，一个现实场景图像中可能包括多个特征图像。例如，同样在上述游戏卡片的现实场景中，可能包括多个游戏卡片，每一个游戏卡片都是一个特征图像。因此，通过本地图像库可能会识别出该现实场景图像中的多个特征图像。

步骤s202b，如果识别失败，则将该现实场景图像发送至该云端服务器。

如果识别失败，则说明本地图像库中不存在与该现实场景图像匹配的第一标准图像，因而在本地模型库中也没有对应的虚拟场景信息。因此，将该现实场景图像发送至云端服务器，以便从云端服务器中调取对应的虚拟场景信息。

步骤s202c，如果识别成功，则在本地模型库中调取对应的虚拟场景信息。

如果识别成功，则说明本地图像库中存储有与该现实场景图像匹配的第一标准图像，并且在本地模型库中也存储有对应的虚拟场景信息。因此，移动终端可以直接根据该第一标准图像在本地模型库中调取对应的虚拟场景信息。

如果仅识成功该现实场景图像中的一个特征图像，可以直接根据该特征图像对应的第一标准图像调取对应的虚拟场景信息。如果识别成功至少两个特征图像，可以根据这几个特征图像对应的第一标准图像分别调取一个对应的虚拟场景信息。当然，也可以调取移动终端最先识别到的特征图像对应的虚拟场景信息。具体根据移动终端预先的配置确定，本申请对此不进行限制。

为了避免移动终端重复调取相同的虚拟场景信息，在一种可能的实现方式中，移动终端在识别成功之后，需要确定该第一标准图像和当前使用的虚拟场景信息对应的第二标准图像是否相同。如果该第一标准图像和该第二标准图像不同，则说明现实场景图像中的特征图像发生了变化，此时，在本地模型库中重新调取该第一标准图像对应的虚拟场景信息。如果该第一标准图像和该第二标准图像相同，则说明现实场景图像中的特征图像并没有发生变化，继续使用当前使用的虚拟场景信息，无需重新调取虚拟场景信息。

步骤s203，云端服务器根据该现实场景图像确定虚拟场景信息。

具体地，云端服务器根据如下步骤s203a-s203b确定虚拟场景信息。

步骤s203a，云端服务器根据云端图像库识别该现实场景图像。

首先，需要说明的是，该云端服务器预设有云端图像库和云端模型库，该云端图像库中也预设有第一标准图像，并且每一个第一标准图像均在云端模型库中有对应的虚拟场景信息。

云端服务器在接收到现实场景图像之后，提取当前时刻的现实场景图像的特征，并将该特征与云端图像库中的第一标准图像进行特征匹配。如果该特征与该第一标准图像之间特征匹配成功，则识别成功；如果该特征与该第一标准图像之间特征匹配失败，则识别失败。

步骤s203b，如果识别成功，则从云端模型库调取对应的虚拟场景信息。

如果识别成功，则说明云端图像库预先存储有与该现实场景图像匹配的第一标准图像，并且在云端模型库中也存储有对应的虚拟场景信息。因此，云端服务器可以直接根据该第一标准图像在云端模型库中调取对应的虚拟场景信息。

如果仅识别成功该现实场景图像中的一个特征图像，可以根据直接该特征图像对应的第一标准图像调取对应的虚拟场景信息。如果识别成功至少两个特征图像，可以根据这几个特征图像对应的第一标准图像分别调取一个对应的虚拟场景信息。当然，也可以调取云端服务器最先识别到的特征图像对应的虚拟场景信息。具体根据云端服务器预先的配置确定，本申请对此不进行限制。

为了避免云端服务器重复调取相同的虚拟场景信息，在一种可能的实现方式中，云端服务器在识别成功之后，判断该第一标准图像与当前使用的虚拟场景信息对应的第二标准图像是否相同。如果该第一标准图像和该第二标准图像不同，则说明现实场景图像中的特征图像发生了变化，此时，在云端模型库中重新调取该第一标准图像对应的虚拟场景信息。如果该第一标准图像和该第二标准图像相同，则说明现实场景图像中的特征图像并没有发生变化，继续使用当前使用的虚拟场景信息，无需重新调取虚拟场景信息。

可选的，如果识别成功，还可以将与该现实场景图像对应的该第一标准图像以及与该第一标准图像对应的虚拟场景信息发送至该移动终端，以便移动终端可以直接对现实场景图像进行本地识别，并从本地调取对应的虚拟场景信息。

在上述方法中，移动终端先对现实场景图像进行了本地识别，识别成功则直接调取本地存储的虚拟场景信息，识别失败再将其发送给云端服务器调取虚拟场景信息。因此，在本申请实施例示出的方法不仅能够保证图像的识别成功率，还具有较高的虚拟场景信息获取速度。

随着移动终端的频繁使用，移动终端中可能会存储有较多的第一标准图像和对应的虚拟场景信息，占据移动终端的内存，影响其运行速度。因此，可以对移动终端中的第一标准图像和虚拟场景信息进行清理。

示例性的，当移动终端的本地图像库和本地模型库的存储量达到存储量阈值时，或者，每间隔预设的时间，可以删除本地图像库中的所有第一标准图像和本地模型库中的所有虚拟场景信息。当然，也可以删除使用频率较低的第一标准图像和虚拟场景信息。或者，也可以删除存储时间大于存储时间阈值的第一标准图像和虚拟场景信息。具体根据移动终端预先的配置确定，本申请对此不进行限制。

步骤s203c，如果识别失败，则执行步骤s203a。

如果识别失败，则说明云端图像库中不存在与该现实场景图像匹配的第一标准图像，因而在云端模型库中也没有对应的虚拟场景信息。

在本申请实施例中，运营管理人员可直接在云端服务器侧对虚拟场景信息进行管理，如更新、维护、扩展虚拟场景信息等。并且，移动终端可直接从云端服务器获取最新的虚拟场景信息。

步骤s204，移动终端接收虚拟场景信息。

在本申请实施例中，该虚拟场景信息不仅包括虚拟场景的3d模型，还可以包括ui(userinterface，用户界面)素材、图像、视频、特效粒子文件等。

步骤s205，移动终端将虚拟场景信息实时与现实场景图像结合，获得ar场景。

由于移动终端实时获取的现实场景图像是一个视频图像，在该视频图像中的特征图像可能不断处于运动变化的状态，包括大小的变化、图像角度的变化等。因此，移动终端在接收到虚拟场景信息之后，需要先对该视频图像中的特征图像进行动态注册跟踪。如果当前动态注册跟踪失败，则持续进行动态注册跟踪，直至成功之后，计算该特征图像的变换矩阵，并根据该变换矩阵进行虚拟场景3d模型的位置匹配，并配置ui素材、图像、视频、特效粒子文件等相关信息。最后，将该3d模型和该相关信息与当前视频图像中的特征图像结合，获得ar场景。

步骤s206，移动终端将ar场景发送至电视终端。

在该步骤中，可以在移动终端显示该ar场景，也可以通过投屏的方式将该ar场景同时显示于电视终端上。

在本申请实施例示出的电视终端ar场景的实现方法中，移动终端能够将获取到的现实场景图像发送至云端服务器，由云端服务器进行图像识别和虚拟场景信息调取，减少了对移动终端资源的占用，使移动终端能够快速且准确地生成ar场景，避免ar场景出现异常。

此外，通过移动终端、云端服务器和电视终端的共同作用，即可在电视终端上显示ar场景，无需额外配置专用的摄像头和机顶盒，降低了电视终端ar场景生成的成本，具有更强的市场适应性。以该移动终端是手机为例，用户通过手机实时获取现实场景图像，即可在电视终端上呈现对应的ar场景，使用方便且成本较低。

请参阅图3，本申请实施例示出的一种电视终端ar场景的实现方法的流程图，该方法包括如下步骤s301-s306。

步骤s301，电视终端根据运维服务器的配置实时显示特征图像。

该运维服务器用于向电视终端提供特征图像，该特征图像可以为教学场景、游戏场景等，并且该特征图像可以预先从运维服务器下载获得，也可以通过实时发送请求获得，本申请对此不进行限制。

步骤s302，移动终端实时获取现实场景图像。

在该步骤中，该现实场景图像包括电视终端显示的特征图像。

步骤s303，移动终端将该现实场景图像发送至云端服务器，该现实场景图像用于确定虚拟场景信息。

在一种可能的实现方式中，为了使云端服务器能够及时识别现实场景图像的变化，移动终端每间隔预设的时间，直接将当前时刻的一帧现实场景图像发送至云端服务器。

在另一种可能的实现方式中，可通过步骤s303a-s303c实现将现实场景图像发送至云端服务器。步骤s303a-s303c的执行过程具体参见步骤s202a-s202c，本申请实施例在此将不再赘述。

步骤s304，云端服务器根据该现实场景图像确定虚拟场景信息。

该步骤s304包括步骤s304a-304c，其执行过程具体参见步骤s203a-s203c，本申请实施例在此将不再赘述。

步骤s305，移动终端接收该虚拟场景信息。

步骤s306，移动终端将虚拟场景信息实时与现实场景图像结合，获得并显示ar场景。

在该步骤s306中，该ar场景的实质为该电视终端上的特征图像与对应的虚拟场景信息的结合。移动终端在获得ar场景之后，还需要将其显示在该移动终端的屏幕上。

具体地，该步骤s302～s306的具体实施过程请参阅步骤s301～s305示出的内容，本申请实施例在此将不再赘述。

在本申请实施例示出的电视终端ar场景的实现方法中，移动终端能够将获取到的现实场景图像发送至云端服务器，由云端服务器进行图像识别和虚拟场景信息调取，减少了对移动终端资源的占用，使移动终端能够快速且准确地生成ar场景，避免ar场景出现异常。

此外，通过运维服务器、移动终端、云端服务器和电视终端的共同作用，即可通过移动终端与电视终端显示的内容进行实时互动，不仅使用成本低，而且能够提高用户体验。

请参阅图4，本申请实施例示出的一种电视终端ar场景实现系统，用于执行上述步骤s201-s206示出的方法，包括移动终端、云端服务器和电视终端。

该移动终端包括：图像获取单元，用于实时获取现实场景图像。本地发送单元，用于将现实场景图像发送至云端服务器，该现实场景图像用于确定虚拟场景信息；以及，将ar场景发送至电视终端。本地接收单元，用于接收虚拟场景信息。计算处理单元，用于将虚拟场景信息实时与现实场景图像结合，获得ar场景。

可选的，该移动终端还包括：本地识别单元，用于根据本地图像库识别现实场景图像。本地调取单元，用于如果识别成功，则在本地模型库中调取对应的虚拟场景信息。并且，该本地发送单元，还用于如果识别失败，则将现实场景图像发送至云端服务器。

该云端服务器包括：云端接收单元，用于接收移动终端发送的现实场景图像。云端识别单元，用于识别现实场景图像。云端调取单元，用于如果识别成功，则根据现实场景图像在云端图像库调取对应的虚拟场景信息。云端发送单元，用于将虚拟场景信息发送给移动终端。

该电视终端，用于接收并显示ar场景。

在本申请实施例示出的电视终端ar场景的实现系统中，移动终端能够将获取到的现实场景图像发送至云端服务器，由云端服务器进行图像识别和虚拟场景信息调取，减少了对移动终端资源的占用，使移动终端能够快速且准确地生成ar场景，避免ar场景出现异常。

此外，通过移动终端、云端服务器和电视终端的共同作用，即可在电视终端上显示ar场景，无需额外配置专用的摄像头和机顶盒，降低了电视终端ar场景生成的成本，具有更强的市场适应性。

请参阅图5，本申请实施例示出的一种电视终端ar场景实现系统，用于执行上述步骤s301-s306示出的方法，包括运维服务器、电视终端、移动终端和云端服务器和电视终端。

该运维服务器，用于配置电视终端显示的特征图像。

该电视终端，用于根据运维服务器的配置显示该特征图像。

该移动终端包括：图像获取单元，用于实时获取现实场景图像，该现实场景图像包括电视终端显示的特征图像。本地发送单元，用于将现实场景图像发送至云端服务器，该现实场景图像用于确定虚拟场景信息；以及，将ar场景发送至电视终端。本地接收单元，用于接收虚拟场景信息。计算处理单元，用于将虚拟场景信息实时与现实场景图像结合，获得ar场景。显示单元，用于显示ar场景。

可选的，该移动终端还包括：本地识别单元，用于根据本地图像库识别现实场景图像。本地调取单元，用于如果识别成功，则在本地模型库中调取对应的虚拟场景信息。并且，该本地发送单元，还用于如果识别失败，则将现实场景图像发送至云端服务器。

该云端服务器包括：云端接收单元，用于接收移动终端发送的现实场景图像。云端识别单元，用于识别现实场景图像。云端调取单元，用于如果识别成功，则根据该现实场景图像在云端图像库调取对应的虚拟场景信息。云端发送单元，将虚拟场景信息发送给移动终端。

在本申请实施例示出的电视终端ar场景的实现系统中，移动终端能够将获取到的现实场景图像发送至云端服务器，由云端服务器进行图像识别和虚拟场景信息调取，减少了对移动终端资源的占用，使移动终端能够快速且准确地生成ar场景，避免ar场景出现异常。

此外，通过运维服务器、移动终端、云端服务器和电视终端的共同作用，即可通过移动终端与电视终端显示的内容进行实时互动，不仅使用成本低，而且能够提高用户体验。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

应当理解的是，本申请并不局限于上面已经描述的内容，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。