一种显示数据处理方法及装置与流程

本申请的实施例涉及图像处理技术领域，尤其涉及一种显示数据处理方法及装置。

背景技术：

在基于视频的人工导航等服务系统中，通常可以通过用户携带的前端设备采集用户所处环境中的局部场景，并对采集到的局部场景的场景信息在后端客户端以图像、位置等形式呈现给后台服务人员，后台服务人员根据客户端呈现的图像和位置等信息中判断用户当前的方位、姿态以及所处的环境信息，进而根据这些环境信息对用户或机器人进行监控和发送指令等操作。

然而在这种方式中，受制于前端图像采集的视角、以及后台的呈现方式等因素，后台服务人员无法全局性的了解用户所处的环境，影响其对前端用户及其周围信息的判断。

技术实现要素：

本申请的实施例提供一种显示数据处理方法及装置，能够生成包含全局性环境信息的显示数据，从而向后台服务人员展现用户所处环境的全局，使得后台服务人员能够全局性的了解用户所处的环境，从而提高了后台服务人员对用户信息判断的准确性。

第一方面，一种显示数据处理方法，包括：

采集用户所在环境中的局部场景的场景信息；

在所述场景信息中检测所述局部场景中的预定目标并生成可视化数据，其中所述可视化数据包含所述预定目标；

将所述可视化数据与所述环境的环境模型叠加并生成指定视角的显示数据，所述显示数据包含所述环境模型以及所述预定目标。

第二方面，提供一种显示数据处理装置，包括：

采集单元，用于采集用户所在环境中的局部场景的场景信息；

处理单元，在所述采集单元采集的场景信息中检测所述局部场景中的预定目标并生成可视化数据，其中所述可视化数据包含所述预定目标；

所述处理单元还用于将所述可视化数据与所述环境的环境模型叠加并生成指定视角的显示数据，所述显示数据包含所述环境模型以及所述预定目标。

第三方面，提供一种电子设备，包括：存储器、通信接口和处理器，存储器和通信接口耦接至处理器，所述存储器用于存储计算机执行代码，所述处理器用于执行所述计算机执行代码控制执行上述的显示数据处理方法，所述通信接口用于所述显示数据处理装置与外部设备的数据传输。

第四方面，提供一种计算机存储介质，用于储存为显示数据处理装置所用的计算机软件指令，其包含执行上述的显示数据处理方法所设计的程序代码。

第五方面，提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现上述显示数据处理方法。

在上述方案中，显示数据处理装置采集用户所在环境中的局部场景的场景信息；在场景信息中检测局部场景中的预定目标并生成可视化数据，可视化数据包含预定目标标识的标记；将可视化数据与环境的环境模型叠加并生成显示数据，显示数据包括环境模型以及预定目标。相比于现有技术，由于显示数据中同时包含指示用户所在环境中的局部场景的场景信息中预定目标的可视化数据以及用户所在环境的环境模型，将显示数据显示在后台客户端时，由于显示数据包含全局性环境信息，从而能够向后台服务人员展现用户所处环境的全局，后台服务人员根据显示数据可以全局性的了解用户所处的环境，提高了后台服务人员对用户信息判断的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的实施例提供的一种通讯系统的结构图；

图2为本申请的实施例提供的一种显示数据处理方法的流程图；

图3为本申请的实施例提供的第一人称用户视角的虚拟模型图；

图4为本申请的实施例提供的第一人称观察视角的虚拟模型图；

图5为本申请的实施例提供的第三人称固定视角的虚拟模型图；

图6a-6c为本申请的实施例提供的第三人称自由视角的虚拟模型图；

图7为本申请的实施例提供的一种显示数据处理装置的结构图；

图8a为本申请的另一实施例提供的一种电子设备的结构图；

图8b为本申请的又一实施例提供的一种电子设备的结构图。

具体实施方式

本申请实施例描述的系统架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本申请实施例中，“的(英文：of)”，“相应的(英文：corresponding，relevant)”和“对应的(英文：corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的，此外可以理解的是，本申请的实施例中的“a和/或b”至少包含a、b、a和b三种情况。

本申请的基本原理为在显示数据中同时叠加用户自身及其所在环境中的局部场景的场景信息中预定目标的可视化数据以及用户所在环境的环境模型，从而使得将显示数据显示在后台客户端时，由于显示数据包含全局性环境信息，从而能够向后台服务人员展现用户所处环境的全局，后台服务人员根据显示数据可以全局性的了解用户所处的环境，提高了后台服务人员对用户信息判断的准确性。

具体的本申请的实施例可以应用于如下通讯系统，参照图1所示该系统包括用户携带的前端设备11、后台服务器12、以及后台客户端13，其中在本方案中前端设备11用于采集用户所处环境的环境数据、以及用户所在环境中的局部场景的场景信息。本申请的实施例提供的显示数据处理装置应用于后台服务器12，作为后台服务器12本身或其上配置的功能实体。后台客户端13用于接收并向后台服务人员展示显示数据，与后台服务人员进行人机交互，如接收后台服务人员的操作生成对前端设备11或后台服务器12的控制指令或交互的数据流，实现对携带前端设备11的用户的行为指导，如导航、周边信息提示等。

具体的本申请的实施例提供一种显示数据处理方法，应用于上述的通讯系统参照图2所示，包括：

201、采集用户所在环境中的局部场景的场景信息。

其中，为实现对用户行为指导的实时性，步骤201通常是以在线方式实时进行，步骤201的一种实现方式为通过至少一个传感器采集用户所在环境中的局部场景的场景信息，传感器为：图像传感器、超声雷达或声音传感器。此处的场景信息可以为图像、声音；以及图像、声音所对应的用户周边物体的方位、距离等。

202、在场景信息中检测局部场景中的预定目标并生成可视化数据。

其中，可视化数据包含预定目标，步骤202中具体可以采用机器智能和视觉技术对场景信息进行分析，判断出局部场景中的预定目标，如局部场景中的人、物体等等。预定目标至少包括以下各项中的一项或多项：用户位置、用户姿态、用户周围的特定目标、所述用户的行进路线等，可视化数据可以为文字和/或实物模型，示例性的文字和实物模型均可以为3d图形。

203、将可视化数据与环境的环境模型叠加并生成显示数据。

其中，显示数据可以包含环境模型以及步骤202中得到的预定目标。203中，环境模型可以为环境的3d模型，其中由于环境的包含的数据量较大，并且用户进入的环境根据人的意志具有不确定性，因此需要通过离线方式对环境进行学习，具体的环境模型的获取方法为，获取在环境中采集的环境数据，对环境数据进行空间重建生成环境模型。具体可以通过至少一个传感器在环境中采集环境数据，传感器为：深度传感器、激光雷达或图像传感器等。

为进一步的提高后台服务人员对用户信息判断的准确性，可以利用虚拟显示技术在后台服务人员的后台客户端呈现不同视角的显示数据。具体的在步骤203之前还包括：接收客户端(后台客户端)发送的视角指令。步骤203具体为将可视化数据与环境的环境模型叠加并生成指定视角的显示数据，包括将可视化数据与环境的环境模型叠加并依据视角指令生成指定视角的显示数据。

指定视角包括以下任一：第一人称用户视角、第一人称观察视角、第一人称自由视角、第一人称全景视角、第三人称固定视角以及第三人称自由视角；其中，在指定视角包括第一人称观察视角、第三人称固定视角以及第三人称自由视角中任一时，显示数据中包含虚拟的用户模型。

示例性的，参照图3所示，以第一人称用户视角生成显示数据时，后台服务人员在客户端上看到的图像为前端用户视角看到的虚拟模型，显示数据包括环境模型和步骤202中的可视化数据。

示例性的，参照图4所示，以第一人称观察视角生成显示数据时，后台服务人员在客户端上看到的图像为虚拟摄像机位于用户后方并与用户视角同步变化的虚拟模型，该虚拟模型中包括环境模型和步骤202中的可视化数据以及虚拟的用户模型；如图4中包含虚拟的用户模型u。以第一人称自由视角生成显示数据时，后台服务人员在客户端上看到的图像为虚拟摄像机随用户移动，但观察视角为可以在用户四周转换。该虚拟模型中包括环境模型和步骤202中的可视化数据。与第一人称观察视角的不同是：第一人称观察视角仅可以观察用户视角同步的图像，第一人称自由视角可以在观察视角为可以在用户四周转换。以第一人称全景视角生成显示数据时，后台服务人员在客户端上看到的图像为虚拟摄像机随用户移动，但观察视角为用户周围的360度。该虚拟模型中包括环境模型和步骤202中的可视化数据。与第一人称观察视角的不同是：第一人称观察视角仅可以观察用户视角同步的图像，第一人称全景视角的观察视角为用户周围的360度。

示例性的，参照图5所示，以第三人称固定视角生成显示数据时，后台服务人员在客户端上看到的图像为虚拟摄像机位于用户任一固定侧并且随用户运动的虚拟模型，示例性如图5所示，为一种从用户的(侧)上方俯视重建后的虚拟模型，该虚拟模型中包括环境模型和步骤202中的可视化数据以及虚拟的用户模型；如图5中包含虚拟的用户模型u。其中图4和图5的区别为图4兼顾考虑了用户视角，图5为一种虚拟的机器视角。

示例性的，参照图6a-6c所示，以第三人称自由视角生成显示数据时，后台服务人员在客户端上看到的图像为虚拟摄像机初始位置位于用户周边的固定位置(如用户上方)并且可随后台服务人员输入的视角指令如输入设备(鼠标、键盘、操纵杆等)的操作生成的指令任意变换角度，其中图6a-6c中分别示出了三个角度，可从任意角度看到用户周围的信息示例性如图6a-6c所示，为一种从用户的(侧)上方俯视重建后的虚拟模型，该虚拟模型中包括环境模型和步骤202中的可视化数据以及虚拟的用户模型；如图6a-6c中包含虚拟的用户模型u。

在上述方案中，显示数据处理装置采集用户所在环境中的局部场景的场景信息；在场景信息中检测局部场景中的预定目标并生成可视化数据；将可视化数据与环境的环境模型叠加并生成显示数据。相比于现有技术，由于显示数据中同时包含指示用户所在环境中的局部场景的场景信息中预定目标的可视化数据以及用户所在环境的环境模型，将显示数据显示在后台客户端时，由于显示数据包含全局性环境信息，从而能够向后台服务人员展现用户所处环境的全局，后台服务人员根据显示数据可以全局性的了解用户所处的环境，提高了后台服务人员对用户信息判断的准确性。

可以理解的是，显示数据处理装置通过其包含的硬件结构和/或软件模块实现上述实施例提供的功能。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对显示数据处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图7示出了上述实施例中所涉及的显示数据处理装置的一种可能的结构示意图，显示数据处理装置包括：采集单元71、处理单元72。采集单元71，用于采集用户所在环境中的局部场景的场景信息；处理单元72，用于在所述采集单元71采集的场景信息中检测所述局部场景中的预定目标并生成可视化数据，可视化数据包含预定目标，将所述可视化数据与所述环境的环境模型叠加并生成显示数据，显示数据包含环境模型以及预定目标；可选的，还包括接收单元73，用于接收客户端发送的视角指令。处理单元72具体用于将所述可视化数据与所述环境的环境模型叠加并依据所述视角指令生成指定视角的显示数据。所述指定视角包括以下任一：第一人称用户视角、第一人称观察视角、第三人称固定视角以及第三人称自由视角；其中，在所述指定视角包括所述第一人称观察视角、第三人称固定视角以及第三人称自由视角中任一时，所述显示数据中包含虚拟的用户模型。可视化数据包括文字和\或实物模型。预定目标至少包括以下各项中的一项或多项：用户位置、用户姿态、用户周围的特定目标、所述用户的行进路线。

此外可选的，还包括获取单元74，用于获取在所述环境中采集的环境数据，所述处理单元还用于对所述获取单元获取的所述环境数据进行空间重建生成所述环境模型。其中获取单元74具体用于通过至少一个传感器在所述环境中采集环境数据，所述传感器为：深度传感器、激光雷达或图像传感器。所述采集单元71具体用于通过至少一个传感器采集用户所在环境中的局部场景的场景信息，所述传感器为：图像传感器、超声雷达或声音传感器。其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

图8a示出了本申请一个实施例中所涉及的一种电子设备的一种可能的结构示意图。电子设备包括：通信模块81和处理模块82。处理模块82用于对显示数据处理动作进行控制管理，例如，处理模块82用于支持显示数据处理装置执行处理单元72执行的方法。通信模模块81用于支持显示数据处理装置与其他设备的数据传输，实施采集单元71、接收单元73以及获取单元74执行的方法。电子设备还可以包括存储模块83，用于存储显示数据处理装置的程序代码和数据，例如缓存处理单元72执行的方法。

其中，处理模块82可以是处理器或控制器，例如可以是中央处理器(centralprocessingunit，cpu)，通用处理器，数字信号处理器(digitalsignalprocessor，dsp)，专用集成电路(application-specificintegratedcircuit，asic)，现场可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块81可以是收发器、收发电路或通信接口等。存储模块可以是存储器。

当处理模块82为处理器，通信模块81为通信接口，存储模块83为存储器时，本申请实施例所涉及的电子设备可以为图8b所示的显示数据处理装置。

参阅图8b所示，该电子设备包括：处理器91、通信接口92、存储器93以及总线94。存储器93和通信接口92通过总线94耦接至处理器91；总线94可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8b中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

结合本申请公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(randomaccessmemory，ram)、闪存、只读存储器(readonlymemory，rom)、可擦除可编程只读存储器(erasableprogrammablerom，eprom)、电可擦可编程只读存储器(electricallyeprom，eeprom)、寄存器、硬盘、移动硬盘、只读光盘(cd-rom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于核心网接口设备中。当然，处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。