一种显示数据处理方法及装置与流程

本发明的实施例涉及图像处理技术领域，尤其涉及一种显示数据处理方法及装置。

背景技术：

近年来，虚拟现实(virtualreality，简称：vr)产品已应用于各个领域。

在众多的vr应用中，用户可以穿戴vr显示设备通过在真实空间中来回走动，来改变自己在vr显示设备构建的虚拟空间中的位置和姿态，得到更好的沉浸感和交互体验。然而出于增强用户浸入感的需要，vr显示设备构建的虚拟空间一般会覆盖住用户的视角，使用户看不到真实场景。这样会给用户带来一定困扰，比如，在虚拟场景中用户面前是一片可以自由移动的空旷地带，而真实场景中其面前是一个用户没看到的障碍物，若用户按照自己看到的虚拟场景向前移动，障碍物则会使其移动受阻，甚至导致一些危险情况的发生，因而造成了vr显示设备的用户体验不高。

技术实现要素：

本发明的实施例提供一种显示数据处理方法及装置，能够在设备获取的虚拟空间中匹配真实环境中的特征，优化用户体验。

第一方面，提供一种显示数据处理方法，包括：

获取vr设备显示的虚拟环境模型；

采集佩戴所述vr设备的用户所处环境的数据，生成真实环境模型；

匹配所述真实环境模型与所述虚拟环境模型，当匹配结果为所述真实环境模型中的指定目标在所述虚拟环境中未匹配到虚拟物体时，在所述虚拟环境模型增加所述指定目标对应的虚拟目标。

第二方面，提供一种显示数据处理装置，包括：

处理单元，用于获取vr设备显示的虚拟环境模型；

采集单元，用于采集佩戴所述vr设备的用户所处环境的数据，并通过所述处理单元生成真实环境模型；

所述处理单元，还用于匹配所述真实环境模型与所述虚拟环境模型，当匹配结果为所述真实环境模型中的指定目标在所述虚拟环境中未匹配到虚拟物体时，在所述虚拟环境模型增加所述指定目标对应的虚拟目标。

第三方面，提供一种显示数据处理装置，包括：存储器、通信接口和处理器，存储器以及通信接口耦合至处理器；所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行上述任一显示数据处理方法，所述通信接口用于所述显示数据处理装置与外部设备的数据传输。

第四方面，提供一种计算机存储介质，用于储存为显示数据处理装置所用的计算机软件指令，其包含上述任一显示数据处理方法所设计的程序代码。

第五方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现上述任一显示数据处理方法。

第六方面，一种vr设备，包括上述的显示数据处理装置。

在上述方案中，显示数据处理装置获取vr设备显示的虚拟环境模型；采集佩戴vr设备的用户所处环境的数据，生成真实环境模型；匹配所述真实环境模型与所述虚拟环境模型，当匹配结果为所述真实环境模型中的指定目标在所述虚拟环境中未匹配到虚拟物体时，在所述虚拟环境模型增加所述指定目标对应的虚拟目标。通过上述的技术方案，由于在虚拟环境模型中增加了用于指示真实环境模型中指定目标的虚拟目标，例如在虚拟环境模型中增加用于指示真实环境模型中的障碍物、人物、交通设施等的虚拟目标，这样用户按照自己看到的虚拟场景移动是可以避开真实环境中的物体，避免发生危险情况，从而实现了在设备获取的虚拟空间中匹配真实环境中的特征，优化用户体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的实施例提供的一种显示数据处理方法的流程图；

图2-4本申请的实施例提供的一种显示数据处理方法的过程示意图；

图5为本申请的实施例提供的一种显示数据处理装置的结构图；

图6a为本申请的另一实施例提供的一种显示数据处理装置的结构图；

图6b为本申请的又一实施例提供的一种显示数据处理装置的结构图。

具体实施方式

本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本申请实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

本申请的实施例提供的方案可应用于如下vr设备，如智能头盔、眼罩等产品。本申请的实施例提供的显示数据处理装置可以为vr设备本身或者vr设备中的功能实体。基于上述的产品形式，参照图1所示，本申请的实施例提供一种显示数据处理方法，包括如下步骤：

101、获取vr设备显示的虚拟环境模型。

其中，该虚拟环境模型可以为开发人员预先构建的，用于供佩戴vr设备的用户观看的。

102、采集佩戴所述vr设备的用户所处环境的数据，生成真实环境模型。

本方案中对步骤101和102的顺序并不做限定，其中在步骤102中，可以通过离线或在线方式通过图像传感器采集佩戴所述vr设备的用户所处环境的数据。关于图像传感器的设置，第一种方式为：直接将图像传感器(例如深度摄像头、双目摄像头等)与vr设备或者vr定位设备固定；另一种方式为将图像传感器固定设置于真实环境中的任意位置。

103、匹配真实环境模型与所述虚拟环境模型，当匹配结果为所述真实环境模型中的指定目标在所述虚拟环境中未匹配到虚拟物体时，在所述虚拟环境模型增加所述指定目标对应的虚拟目标。

具体的步骤103包括如下步骤：

s1、将所述虚拟环境模型的坐标系与所述真实环境模型的坐标系绑定。

其中，通过图像传感器采集到用户所处环境的数据后根据预设算法构建真实环境模型。为了实现在步骤103中真实环境模型与所述虚拟环境模型进行匹配，需要绑定两者的坐标系使得两者在位置上形成对应关系；因此若采用第一种方式设置图像传感器，由于图像传感器与vr设备或者vr定位设备固定，因此匹配过程中直接将真实环境模型的坐标系标定为虚拟环境模型的坐标系，即可实现两者在位置上形成对应关系；若采用第二种方式设置图像传感器，则需要在步骤102中根据用户的位置和视角方向，利用采集的所述用户所处环境的数据生成真实环境模型。这样由于虚拟环境模型通常是按照用户位置和视角方向虚拟的现实环境，因此可以实现两者在位置上形成对应关系。

s2、检测所述真实环境模型中的指定目标。

s3、确认所述虚拟环境模型中与所述指定目标在所述真实环境模型的位置对应位置未包含虚拟物体时，则检索与所述指定目标的近似值满足预定条件的虚拟目标。

其中在步骤s3中，近似值满足预定条件可以为近似值小于预定阈值。生成的真实环境模型可以包含指定目标的材质信息，这样，在检索指定目标近似的虚拟目标时可以按照材质信息进行检索，此外，在本地服务器检索不到指定目标近似的虚拟目标时，也可以通过云端数据库检索。若未检索到与指定目标的近似值满足预定条件的虚拟目标，则将所述指定目标用作虚拟目标。

s4、将所述虚拟目标复制到所述虚拟环境模型中与所述指定目标在所述真实环境模型的位置对应的位置。

其中，虚拟环境模型的尺寸比例用于表示虚拟环境模型中的虚拟物体与对应的真实物体的缩放比例关系。若真实环境模型与虚拟环境模型的尺寸比例不一致，或者检索到的虚拟目标与虚拟环境模型的尺寸比例不一致，则将虚拟目标复制到虚拟环境模型中时，并不能真实向用户提示真实环境模型中指定目标的真实状态，因此在步骤s4之前，需要按照所述虚拟环境模型的尺寸比例缩放所述虚拟目标，示例性的，若虚拟目标与指定目标的尺寸相同，则需要按照指定目标在真实环境模型的比例，设置虚拟目标在虚拟环境模型中的比例；若虚拟目标与指定目标的尺寸不相同，则需要将虚拟目标调整为与指定目标为相同尺寸比例后，按照指定目标在真实环境模型的比例，设置虚拟目标在虚拟环境模型中的比例。

进一步的，该方案还包括将虚拟目标与虚拟环境模型中的其他虚拟物体的融合过程，以使得用户体验增强，这样该方案还包括如下步骤：

104、确定所述虚拟环境模型中与所述指定目标在所述真实环境模型的位置对应的位置周围包含其他虚拟物体时，则将所述虚拟目标与所述其他虚拟物体做融合处理。

在步骤104中的融合处理过程中，可同时考虑高级语义信息，如虚拟目标的类别属性。该过程中可能涉及将虚拟目标的形状做变形，保证虚拟目标于周边的其他虚拟物体相连接并保证连接处几何连续；将其材质与周围物体的材质通过纹理合成进行融合，最后将修改后的虚拟环境模型输出至vr设备的显示设备，以实现用户更好的vr体验。

如图2所示，用户通过vr设备观看虚拟环境模型m1。而如果用户在如图3所示的家庭的客厅中使用时，可能会有其他家庭成员同时在客厅中活动，或者客厅中可能摆放有桌椅沙发等物品，在用户移动过程中，由于用户在m1中并不能看到客厅中的人和物品，因此其他家庭成员以及客厅中可能摆放的物品都有可能会对用户的移动造成危险。本申请中通过图像传感器采集客厅中的数据，形成客厅环境的真实环境模型m2，示例性的，m2中包含茶几mw，在将虚拟环境模型m1与真实环境模型m2的坐标系绑定后，人在客厅中移动相当于在m1中移动，在将m1与m2匹配过程中，如果发现m1中与茶几mw在m2中对应的位置处没有虚拟物体，则由于用户走到对应位置时可能会与客厅中的茶几mw相撞，因此需要在m1中与茶几mw在m2中对应的位置设置虚拟物体，以提示用户避开该位置。这样可以检索一个与茶几mw类似的虚拟物品，如材质或规格类似的虚拟物品复制到m1中与茶几mw在m2中对应的位置，如图4所示，在m1中增加了位于中部的桌案。为使得用户体验更好还需要将桌案进行缩放，并在m1中与其周围的虚拟物体进行融合处理。

在上述方案中，显示数据处理装置获取vr设备显示的虚拟环境模型；采集佩戴vr设备的用户所处环境的数据，生成真实环境模型；匹配所述真实环境模型与所述虚拟环境模型，当匹配结果为所述真实环境模型中的指定目标在所述虚拟环境中未匹配到虚拟物体时，在所述虚拟环境模型增加所述指定目标对应的虚拟目标。通过上述的技术方案，由于在虚拟环境模型中增加了用于指示真实环境模型中指定目标的虚拟目标，例如在虚拟环境模型中增加用于指示真实环境模型中的障碍物、人物、交通设施等的虚拟目标，这样用户按照自己看到的虚拟场景移动是可以避开真实环境中的物体，避免发生危险情况，从而实现了在设备获取的虚拟空间中匹配真实环境中的特征，优化用户体验。

可以理解的是，显示数据处理装置通过其包含的硬件结构和/或软件模块实现上述实施例提供的功能。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对显示数据处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图5示出了上述实施例中所涉及的显示数据处理装置的一种可能的结构示意图，显示数据处理装置包括：处理单元21、采集单元22。处理单元21用于执行上述方法实施例中的步骤101、103-104、s1-s5，采集单元22用于采集佩戴所述vr设备的用户所处环境的数据并交于处理单元21生成真实环境模型。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图6a示出了本申请的实施例中所涉及的一种电子设备可能的结构示意图。电子设备包括：通信模块31和处理模块32。处理模块32用于对显示数据处理装置的动作进行控制管理，例如，处理模块32用于支持显示数据处理装置执行处理单元21执行的方法。通信模块31用于支持电子设备与其他设备的数据传输，实施采集单元22执行的方法。电子设备还可以包括存储模块33，用于存储显示数据处理装置的程序代码和数据，例如存储处理单元21执行的方法。

其中，处理模块32可以是处理器或控制器，例如可以是中央处理器(centralprocessingunit，cpu)，通用处理器，数字信号处理器(digitalsignalprocessor，dsp)，专用集成电路(application-specificintegratedcircuit，asic)，现场可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块81可以是收发器、收发电路或通信接口等。存储模块可以是存储器。

当处理模块32为处理器，通信模块31为通信接口，存储模块33为存储器时，本申请实施例所涉及的电子设备可以为图6b所示的电子设备。

参阅图6b所示，该电子设备包括：处理器41、通信接口42、存储器43，存储器43以及通信接口42耦合至处理器41。例如，通信接口42、处理器41以及存储器43通过总线44相互连接；存储器43用于存储计算机执行代码，处理器41用于执行所述计算机执行代码控制执行上述任一显示数据处理方法，通信接口42用于显示数据处理装置与外部设备的数据传输。总线44可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6b中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(randomaccessmemory，ram)、闪存、只读存储器(readonlymemory，rom)、可擦除可编程只读存储器(erasableprogrammablerom，eprom)、电可擦可编程只读存储器(electricallyeprom，eeprom)、寄存器、硬盘、移动硬盘、只读光盘(cd-rom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。