一种显示数据处理方法及装置与流程

本发明的实施例涉及图像处理技术领域，尤其涉及一种显示数据处理方法及装置。

背景技术：

增强现实(augmentedreality，简称ar)画面的渲染是指在场景画面上(例如：2d视频画面)上叠加增强现实画面(如：3d的模型、动画、文字等)并合成为一个新的画面的图形处理过程。

现有的增强现实画面的渲染方式可分为两种：本地渲染和云端渲染。本地渲染是将场景画面采集、增强现实画面的叠加合成放在本地进行，适合场景画面以及带叠加的增强现实画面较为简单，对计算量要求不大的单个渲染应用；云端渲染将渲染任务放在计算能力较强的云端服务器进行，可以针对场景画面以及带叠加的增强现实画面较为复杂的方案，此外可以同时处理多用户的渲染需求。

现有技术中提供的画面渲染方式，主要是针对电影特效等场景，渲染多为离线进行，且针对不同渲染任务设置单独的渲染进程进行渲染，而开启过多的渲染进程时会占用大量的系统资源。

技术实现要素：

本发明的实施例提供一种显示数据处理方法及装置，能够实现在同一渲染进程中处理多个渲染任务，节约了系统资源。

第一方面，提供一种显示数据处理方法，包括：

根据接收的用户渲染请求获取所述用户渲染请求的用户数据，其中所述用户数据包括：场景画面和增强现实画面；

设置对所述场景画面和增强现实画面进行图像渲染的虚拟相机在渲染进程中的层信息以及所述场景画面和增强现实画面在渲染进程中的层信息，其中所述虚拟相机以及所述虚拟相机渲染的场景画面和增强现实画面对应所述渲染进程中的同一层信息；

根据层信息在渲染进程通过所述层信息对应的虚拟相机渲染所述场景画面和增强现实画面。

第二方面，提供一种显示数据处理装置，包括：

获取单元，用于根据接收的用户渲染请求获取所述用户渲染请求的用户数据，其中所述用户数据包括：场景画面和增强现实画面；

处理单元，用于设置对所述场景画面和增强现实画面进行图像渲染的虚拟相机在渲染进程中的层信息以及所述场景画面和增强现实画面在渲染进程中的层信息，其中所述虚拟相机以及所述虚拟相机渲染的场景画面和增强现实画面对应所述渲染进程中的同一层信息；

所述处理单元，还用于根据层信息在渲染进程通过所述层信息对应的虚拟相机渲染所述场景画面和增强现实画面。

第三方面，提供一种显示数据处理装置，包括：存储器、通信接口和处理器，存储器以及通信接口耦合至处理器；所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行上述任一显示数据处理方法，所述通信接口用于所述显示数据处理装置与外部设备的数据传输。

第四方面，提供一种计算机存储介质，用于储存为显示数据处理装置所用的计算机软件指令，其包含上述任一显示数据处理方法所设计的程序代码。

第五方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现上述任一显示数据处理方法。

在上述方案中，显示数据处理装置能够根据接收的用户渲染请求获取所述用户渲染请求的用户数据，其中用户数据包括：场景画面和增强现实画面；设置对场景画面和增强现实画面进行图像渲染的虚拟相机在渲染进程中的层信息以及场景画面和增强现实画面在渲染进程中的层信息，其中所述虚拟相机以及所述虚拟相机渲染的场景画面和增强现实画面对应所述渲染进程中的同一层信息；根据层信息在渲染进程通过层信息对应的虚拟相机渲染场景画面和增强现实画面。这样通过上述方案的处理，针对用户渲染请求请求处理的渲染任务，由于针对虚拟相机以及场景画面和增强现实画面在渲染进程中设置了同一个层信息，在渲染时可以在渲染进程中设置对应的层进行渲染；而当针对不同的渲染任务，可以在渲染进程中设置不同的层进行渲染，因此能够实现在同一渲染进程中处理多个渲染任务，节约了系统资源。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种显示系统的结构图；

图2为本发明的实施例提供的一种显示系统的结构图；

图3为本发明的实施例提供的一种显示数据处理方法的流程图；

图4为本发明的实施例提供的一种显示数据处理方法中的渲染进程示意图；

图5为本发明的另一实施例提供的一种显示数据处理方法的流程图；

图6为本发明的另一实施例提供的一种显示数据处理方法中的渲染进程示意图；

图7为本发明的实施例提供的一种显示数据处理装置的结构图；

图8a为本发明的另一实施例提供的一种显示数据处理装置的结构图；

图8b为本发明的又一实施例提供的一种显示数据处理装置的结构图。

具体实施方式

本发明实施例描述的系统架构以及业务场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本发明实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

本发明的实施例提供的客户端可以为个人计算机((英文全称：personalcomputer，缩写：pc)、上网本、个人数字助理(英文：personaldigitalassistant，简称：pda)等，或者上述客户端可以为安装有可执行本发明实施例提供的方法的软件客户端或软件系统或软件应用的pc等，具体的硬件实现环境可以通用计算机形式，或者是asic的方式，也可以是fpga，或者是一些可编程的扩展平台例如tensilica的xtensa平台等等。本发明的实施例提供的服务器包括本地域名服务器、本地代理服务器，网络服务器，本发明的实施例提供服务器用于响应服务请求提供计算服务。基本构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。

本发明的基本原理为在针对用户发送的用户渲染请求请求处理的渲染任务，针对虚拟相机以及场景画面和增强现实画面在渲染进程中设置同一个层信息，在渲染时可以在渲染进程中设置对应的层进行渲染；而当针对不同的渲染任务，可以在渲染进程中设置不同的层进行渲染，因此能够实现在同一渲染进程中处理多个渲染任务，节约了系统资源。

参照图1所示，本发明的实施例提供的方案可应用于如下显示系统，该系统包括本发明的实施例提供的显示数据处理装置。

其中实现形式包括以下两种架构，架构一：包括前端设备d1以及与前端设备连接的客户端d2，其中客户端d2为本发明的实施例提供的显示数据处理装置或者包括本发明的实施例提供的显示数据处理装置；当前端设备d1采集的场景画面较为简单，且将要与场景画面叠加的增强现实画面较为简单时，本发明的实施例提供的显示数据处理方法可以直接在客户端d2的计算资源下进行，并将渲染后的数据由客户端d2的显示设备显示。

当然，客户端d2也可只做数据采集，并不具备数据处理功能，这样可以仅为客户端d2配置较少的计算资源以降低其成本，这样本发明的实施例提供了另一种系统架构，参照图2所示，架构二：包括前端设备d1、服务器s以及客户端d2，前端设备d1以及客户端d2连接服务器s，这样服务器s为本发明的实施例提供的显示数据处理装置或者包括本发明的实施例提供的显示数据处理装置；这样即使前端设备d1采集的场景画面较为复杂，和/或，将要与场景画面叠加的增强现实画面较为复杂的情况下，服务器s也可以为其提供足够的计算资源实施本发明的实施例提供的显示数据处理方法，这样前端设备d1采集场景画面后发送至服务器s，由服务器s执行本发明的实施例提供的显示数据处理方法，并将渲染后的数据由发送至客户端d2的显示设备显示。其中，前端设备可以为一种便携式终端设备，如可佩带的头盔、头戴；移动设备如手机、平板电脑等。即本发明的实施例可以是通过服务器执行，也可以由客户端单独执行。前端设备携带的传感器可以包含图像传感器、声音传感器、超声雷达传感器等能够采集场景画面的器件。

基于上述的系统，参照图3所示，本发明的实施例提供一种显示数据处理方法，包括如下步骤：

101、根据接收的用户渲染请求获取所述用户渲染请求的用户数据，其中所述用户数据包括：场景画面和增强现实画面。

具体的，显示数据处理装置在接收到用户渲染请求后获取所述用户渲染请求的用户数据，示例性的，用户数据包括场景画面和增强现实画面，用户数据可以携带在用户渲染请求中，或者显示数据处理装置在接收到用户渲染请求后在相应的服务器下载，其中场景画面可以为通过携带采集装置的前端设备直接在用户所处的环境中实时采集或者通过离线采集后预先存储在客户端或者云服务器中的，增强现实画面可以为客户端或者云服务器针对场景画面中的预定目标进行分析后自动生成或者是用户根据场景画面对场景画面中的预定目标主动配置的，示例性如对前端设备采集的场景画面，在场景画面中的交通设施或障碍物配置增强现实画面。

102、设置对场景画面和增强现实画面进行图像渲染的虚拟相机在渲染进程中的层信息以及所述场景画面和增强现实画面在渲染进程中的层信息。

其中所述虚拟相机以及所述虚拟相机渲染的场景画面和增强现实画面对应所述渲染进程中的同一层信息，其中所述层信息可以用一个数字或字符串标识。

103、根据层信息在渲染进程通过层信息对应的虚拟相机渲染所述场景画面和增强现实画面。

针对步骤102、103举例说明如下，如图4所示，针对第一用户渲染请求，在渲染进程(renderprocess)中配置layer1对应第一虚拟相机以及第一用户渲染请求请求的用户数据中的场景画面和增强现实画面，这样，第一虚拟相机渲染的场景画面和增强现实画面则只在renderprocess中layer1进行；对于另外一个第二用户渲染请求，在渲染进程renderprocess中配置layer2对应第二虚拟相机以及第二用户渲染请求请求的用户数据中的场景画面和增强现实画面，这样，第二虚拟相机渲染的场景画面和增强现实画面则只在renderprocess中layer2进行渲染，从而实现了将两个用户渲染请求发起的渲染任务在同一个渲染进程中实现，其中图4中，layer1中作为背景的环境为场景画面的示例；turnleft、5m、danger！作为增强现实画面的示例。layer2中作为背景的环境为场景画面的示例；stop、ped作为增强现实画面的示例，当然根据实际情况，该进程中还可以包含layer3、layer4……。

在上述方案中，在上述方案中，显示数据处理装置能够根据接收的用户渲染请求获取所述用户渲染请求的用户数据，其中用户数据包括：场景画面和增强现实画面；设置对场景画面和增强现实画面进行图像渲染的虚拟相机在渲染进程中的层信息以及场景画面和增强现实画面在渲染进程中的层信息，其中虚拟相机以及场景画面和增强现实画面对应唯一的层信息；根据层信息在渲染进程通过层信息对应的虚拟相机渲染场景画面和增强现实画面。这样通过上述方案的处理，针对用户渲染请求请求处理的渲染任务，由于虚拟相机以及场景画面和增强现实画面在渲染进程中设置了同一层信息，在渲染时可以在渲染进程中设置对应的层进行渲染；而当针对不同的用户渲染请求请求处理的渲染任务，可以在渲染进程中设置不同的层进行渲染，因此能够实现在同一渲染进程中处理多个用户渲染请求请求处理的渲染任务，节约了系统资源。

具体的，参照图5所示，本发明的实施例提供另一种显示数据处理方法，包括如下步骤：

201、接收用户渲染请求。

202、根据接收的用户渲染请求获取所述用户渲染请求的用户数据。

其中，用户数据包括：场景画面和增强现实画面。

203、将场景画面的纹理映射至预定平面的纹理，并设置预定平面的深度和增强现实画面的深度。

具体的，可以将场景画面的纹理映射至一个矩形平面的纹理，或者其他形状的平面。在渲染过程中，通过步骤203的设置将增强现实画面的深度设置为小于预定平面的深度，可以使得增强现实画面呈现在场景画面之前，从而实现增强现实画面增强场景画面显示的作用。此外，为使得场景画面以及增强现实画面能够以预定视角呈现，该方法还包括步骤204。

204，设置虚拟相机的参数，以使得虚拟相机以预定视角渲染场景画面和增强现实画面。

示例性的，可以通过设置虚拟相机的参数使的场景画面以及增强现实画面能够以第一人称视角或第三人称视角呈现。

205、设置对用户数据进行图像渲染的虚拟相机在渲染进程中的层信息以及场景画面和增强现实画面在渲染进程中的层信息，其中所述虚拟相机以及所述虚拟相机渲染的场景画面和增强现实画面对应所述渲染进程中的同一层信息。

206、根据不同的层信息在渲染进程通过所述层信息对应的虚拟相机渲染场景画面和增强现实画面。

在步骤206中针对用户数据的渲染具体包括针对场景画面以及增强现实画面中的每一帧画面的渲染。

207、将对用户数据中的每一帧画面的渲染结果渲染到纹理并输出。

由207输出的一个虚拟相机对应的画面可以在显示设备上实时显示。此外，当应用于3d或vr显示场景时，由于观察者的左右眼观察的图像有一定视差，此时该方案中，用户数据包括第一用户数据和第二用户数据，其中所述第一用户数据包含第一场景画面和第一增强现实画面；其中所述第二用户数据包含第二场景画面和第二增强现实画面；所述第一场景画面和所述第二场景画面之间形成有预定视差，所述第一增强现实画面和第二增强信息之间形成有所述预定视差。其中在渲染进程中第一场景画面和第一增强现实画面及其对应的虚拟相机设置为第一层信息，第二场景画面和第二增强现实画面及其对应的虚拟相机设置为第二层信息。

当然3d或vr显示场景也可以通过两个用户渲染请求发起，例如通过第一用户渲染请求请求第一用户数据，第一用户数据包含第一场景画面和第一增强现实画面；通过第二用户渲染请求请求第二用户数据，其中所述第二用户数据包含第二场景画面和第二增强现实画面；所述第一场景画面和所述第二场景画面之间形成有预定视差，所述第一增强现实画面和第二增强信息之间形成有所述预定视差。其中在渲染进程中第一场景画面和第一增强现实画面及其对应的虚拟相机设置为第一层信息，第二场景画面和第二增强现实画面及其对应的虚拟相机设置为第二层信息。示例性的，如图6所示，layer1中场景画面与layer2中场景画面存在一定视差；layer1中turnleft、5m、danger！等增强现实画面与layer2中turnleft、5m、danger！等增强现实画面存在一定视差。

对于不同的用户渲染请求对应的用户数据，当不同的用户渲染请求对应的用户数据中包含有相同的场景画面和/或增强现实画面时，可以将场景画面和/或增强现实画面复用，即为场景画面和/或增强现实画面设置多个层信息；这样降低了获取重复的用户数据的工作量，节约了数据传输资源。

可以理解的是，显示数据处理装置通过其包含的硬件结构和/或软件模块实现上述实施例提供的功能。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对显示数据处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图7示出了上述实施例中所涉及的显示数据处理装置的一种可能的结构示意图，显示数据处理装置包括：获取单元71、处理单元72。获取单元71，用于根据接收的每个用户渲染请求获取所述用户渲染请求的用户数据，其中所述用户数据包括：场景画面和增强现实画面；处理单元72，用于设置对所述场景画面和增强现实画面进行图像渲染的虚拟相机在渲染进程中的层信息以及所述场景画面和增强现实画面在渲染进程中的层信息，其中所述虚拟相机以及所述虚拟相机渲染的场景画面和增强现实画面对应所述渲染进程中的同一层信息；还用于根据不同的层信息在渲染进程通过所述层信息对应的虚拟相机渲染所述场景画面和增强现实画面。可选的，处理单元72还用于将所述场景画面的纹理映射至预定平面的纹理，并设置所述预定平面的深度和所述增强现实画面的深度，其中所述增强现实画面的深度小于所述预定平面的深度。所述处理单元还用于设置所述虚拟相机的参数，以使得所述虚拟相机以预定视角渲染所述场景画面和增强现实画面。处理单元72，还用于将对所述用户数据中的每一帧画面的渲染结果渲染到纹理并通过输出单元73输出。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图8a示出了本申请的实施例所涉及的一种电子设备的可能的结构示意图。电子设备包括：通信模块81和处理模块82。处理模块82用于对显示数据处理动作进行控制管理，例如，处理模块82用于支持显示数据处理装置执行处理单元72执行的方法。通信模模块81用于支持显示数据处理装置与其他设备的数据传输，实施获取单元71、输出单元73执行的方法。电子设备还可以包括存储模块83，用于存储显示数据处理装置的程序代码和数据。例如存储处理单元72执行的方法。

其中，处理模块82可以是处理器或控制器，例如可以是中央处理器(centralprocessingunit，cpu)，通用处理器，数字信号处理器(digitalsignalprocessor，dsp)，专用集成电路(application-specificintegratedcircuit，asic)，现场可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块81可以是收发器、收发电路或通信接口等。存储模块可以是存储器。

当处理模块82为处理器，通信模块81为通信接口，存储模块83为存储器时，本发明实施例所涉及的电子设备可以为图8b所示的渲染装置。

参阅图8b所示，该电子设备包括：处理器91、通信接口92、存储器93，存储器93以及通信接口92耦合至处理器91。例如，通信接口92、处理器91以及存储器93通过总线94相互连接；存储器93用于存储计算机执行代码，处理器91用于执行所述计算机执行代码控制执行上述任一显示数据处理方法，通信接口92用于电子设备与外部设备的数据传输。总线94可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8b中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(randomaccessmemory，ram)、闪存、只读存储器(readonlymemory，rom)、可擦除可编程只读存储器(erasableprogrammablerom，eprom)、电可擦可编程只读存储器(electricallyeprom，eeprom)、寄存器、硬盘、移动硬盘、只读光盘(cd-rom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。