数据处理方法及装置、MEC服务器及存储介质与流程

本发明涉及信息技术领域但不限于技术信息技术领域，尤其涉及一种数据处理方法及装置、mec服务器及存储介质。

背景技术：

三维视频建模的过程中，可能需要同时采集二维(2d)图像和深度图像。但是在相关技术中发现，基于这种2d图像和深度图像进行三维建模的过程中，很容易出现建模失败或者建模异常。

技术实现要素：

本发明实施例提供了种一种数据处理方法及装置、mec服务器及存储介质。

一种数据处理方法，应用于移动边缘计算mec服务器中，包括：

匹配第一二维2d图像与第二2d图像，获得第一2d图像和至少两帧所述第二2d图像均包括的第一对象；

结合与所述第一2d图像对应的第一深度值，及与所述第二2d图像对应的第二深度值，确定出所述第一对象的第三深度值；

结合所述第一2d图像及所述第三深度值，建立所述第一对象的三维视频。

基于上述方案，所述方法包括：

确定三维视频数据是否符合深度值校准条件，其中，所述三维视频数据包括：所述第一2d图像和所述第二2d图像；

所述匹配第一二维2d图像与第二2d图像包括：

若所述三维视频数据符合所述深度值校准条件，匹配所述第一2d图像及与所述第二2d图像。

基于上述方案，所述确定三维视频数据是否符合深度值校准条，包括：

若在所述第一2d图像中对应的所述第一深度值中所述第一对象的深度值存在缺失，确定所述三维视频符合所述深度值校准条件。

基于上述方案，所述确定三维视频数据是否符合深度值校准条件，包括：

若在所述第一2d图像中的所述第一对象被第二对象遮挡，确定所述三维视频数据符合所述深度值校准条件。

基于上述方案，所述结合与所述第一2d图像对应的第一深度值，及与所述第二2d图像对应的第二深度值，确定出所述第一对象的第三深度值，包括：

将所述第一深度值与m帧深度图像的第二深度值分别进行比较；其中，所述m帧深度图像对应于m帧所述第二2d图像，所述m为不小于2的正整数；

若所述第一深度值与n个所述第二深度值满足预设相似条件，则确定所述第一深度值为所述第三深度值，其中，所述n为不大于m的正整数。

基于上述方案，所述n大于m-n。

基于上述方案，所述结合与所述第一2d图像对应的第一深度值，及与所述第二2d图像对应的第二深度值，确定出所述第一对象的第三深度值，包括：

若所述第一深度值与n个所述第二深度值不满足所述预设相似条件，则根据n个所述第二深度值确定所述第三深度值。

基于上述方案，所述方法还包括：

获取与所述第一2d图像对应的至少两个深度图像，其中，所述两个深度图像包括所述第一深度值；所述两个所述深度图像为利用不同编码光采集的。

一种数据处理装置，应用于移动边缘计算mec服务器中，包括：

匹配模块，用于匹配第一二维2d图像与第二2d图像，获得第一2d图像和至少两帧所述第二2d图像均包括的第一对象；

第一确定模块，用于结合与所述第一2d图像对应的第一深度值，及与所述第二2d图像对应的第二深度值，确定出所述第一对象的第三深度值；

建模模块，用于结合所述第一2d图像及所述第三深度值，建立所述第一对象的三维视频。

基于上述方案，所述装置还包括：

第二确定模块，用于确定三维视频数据是否符合深度值校准条件；

所述匹配模块，具体用于若所述三维视频数据符合所述深度值校准条件，匹配所述第一2d图像及与所述第二2d图像。

基于上述方案，所述第二确定模块，具体用于若在所述第一2d图像中对应的所述第一深度值中所述第一对象的深度值存在缺失，确定所述三维视频符合所述深度值校准条件。

基于上述方案，所述第二确定模块，还用于若在所述第一2d图像中的所述第一对象被第二对象遮挡，确定所述三维视频数据符合所述深度值校准条件。

基于上述方案，所述第一确定模块，包括：

比较子模块，用于将所述第一深度值与m帧深度图像的第二深度值分别进行比较；其中，所述m帧深度图像对应于m帧所述第二2d图像，所述m为不小于2的正整数；

确定子模块，用于若所述第一深度值与n个所述第二深度值满足预设相似条件，则确定所述第一深度值为所述第三深度值，其中，所述n为不大于m的正整数。

基于上述方案，所述n大于m-n。

基于上述方案，所述确定子模块，还用于若所述第一深度值与n个所述第二深度值不满足所述预设相似条件，则根据n个所述第二深度值确定所述第三深度值。

基于上述方案，所述装置还包括：

获取模块，用于获取与所述第一2d图像对应的至少两个深度图像，其中，所述两个深度图像包括所述第一深度值；所述两个所述深度图像为利用不同编码光采集的。

一种计算机存储介质，所述计算机存储介质上存储有计算机指令，其特征在于，该指令被处理器执行时实现前述一个或多个技术方案提供的数据处理方法的步骤。

一种mec服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时前述一个或多个技术方案提供的数据处理方法的步骤。

本发明实施例提供的技术方案，在进行三维视频建模时，会结合至少两帧2d图像的图像内容的匹配，确定出两帧2d图像均包含的且相同的第一对象；然后结合至少两帧2d图像对应的深度图像中第一对象的深度值，确定第一对象的第三深度值。如此，在第一对象的深度值因采集失败或者传输异常等原因缺失、异常或者精准度低的情况下，可以结合之前采集的深度值确定出第三深度值。即便在当前帧三维视频数据中深度值缺失的情况下，也可以成功基于之前采集的深度图像，进行三维视频建模，在当前帧三维视频数据中深度值异常或精准度低的情况下，可以结合之前采集的深度值进行校准，提升深度值的精准度，从而实现三维视频的精准建模。

附图说明

图1为本发明实施例提供的一种数据传输方法应用的系统架构示意图；

图2为本发明实施例提供的一种数据处理方法的流程示意图；

图3a至3c为本发明实施例提供的三帧2d图像的效果示意图；

图4为本发明实施例提供的另一种数据处理方法的流程示意图；

图5为本发明实施例提供的一种数据处理装置的结构示意图；

图6为本发明实施例提供的一种mec服务器的结构示意图。

具体实施方式

在对本发明实施例的技术方案进行详细说明之前，首先对本发明实施例的数据处理方法应用的系统架构进行简单说明。本发明实施例的数据处理方法应用于三维视频数据的相关业务，该业务例如是三维视频数据分享的业务，或者基于三维视频数据的直播业务等等。在这种情况下，由于三维视频数据的数据量较大，分别传输的深度数据和二维视频数据在数据传输过程中需要较高的技术支持，因此需要移动通信网络具有较快的数据传输速率，以及较稳定的数据传输环境。

图1为本发明实施例的数据传输方法应用的系统架构示意图；如图1所示，系统可包括终端、基站、mec服务器、业务处理服务器、核心网和互联网(internet)等；mec服务器与业务处理服务器之间通过核心网建立高速通道以实现数据同步。

以图1所示的两帧终端交互的应用场景为例，mec服务器a为部署于靠近终端a(发送端)的mec服务器，核心网a为终端a所在区域的核心网；相应的，mec服务器b为部署于靠近终端b(接收端)的mec服务器，核心网b为终端b所在区域的核心网；mec服务器a和mec服务器b可与业务处理服务器之间分别通过核心网a和核心网b建立高速通道以实现数据同步。

其中，终端a发送的三维视频数据传输到mec服务器a后，由mec服务器a通过核心网a将数据同步至业务处理服务器；再由mec服务器b从业务处理服务器获取终端a发送的三维视频数据，并发送至终端b进行呈现。

这里，如果终端b与终端a通过同一个mec服务器来实现传输，此时终端b和终端a直接通过一个mec服务器实现三维视频数据的传输，不需要业务处理服务器的参与，这种方式称为本地回传方式。具体地，假设终端b与终端a通过mec服务器a实现三维视频数据的传输，终端a发送的三维视频数据传输到mec服务器a后，由mec服务器a发送三维视频数据至终端b进行呈现。

这里，终端可基于网络情况、或者终端自身的配置情况、或者自身配置的算法选择接入4g网络的演进型基站(enb)，或者接入5g网络的下一代演进型基站(gnb)，从而使得enb通过长期演进(longtermevolution，lte)接入网与mec服务器连接，使得gnb通过下一代接入网(ng-ran)与mec服务器连接。

这里，mec服务器部署于靠近终端或数据源头的网络边缘侧，所谓靠近终端或者靠近数据源头，不仅是逻辑位置上，还在地理位置上靠近终端或者靠近数据源头。区别于现有的移动通信网络中主要的业务处理服务器部署于几个大城市中，mec服务器可在一个城市中部署多个。例如在某写字楼中，用户较多，则可在该写字楼附近部署一个mec服务器。

其中，mec服务器作为具有融合网络、计算、存储、应用核心能力的边缘计算网关，为边缘计算提供包括设备域、网络域、数据域和应用域的平台支撑。其联接各类智能设备和传感器，就近提供智能联接和数据处理业务，让不同类型的应用和数据在mec服务器中进行处理，实现业务实时、业务智能、数据聚合与互操作、安全与隐私保护等关键智能服务，有效提升业务的智能决策效率。

如图2所示，本实施例提供一种数据处理方法，应用于移动边缘计算mec服务器中，包括：

步骤201：匹配第一二维2d图像与第二2d图像，获得第一2d图像和至少两帧所述第二2d图像均包括的第一对象；

步骤202：结合与所述第一2d图像对应的第一深度值，及与所述第二2d图像对应的第二深度值，确定出所述第一对象的第三深度值；

步骤203：结合所述第一2d图像及所述第三深度值，建立所述第一对象的三维视频。

在一些实施例中，所述三维视频数据包括：二维图像及深度图像。其中，所述二维图像中包含颜色像素。所述颜色像素的像素值为颜色值。例如，所述颜色值是红/绿/蓝(rgb)值或者是明亮度/色度/浓度(yuv)值。

所述深度图像包含深度像素，所述深度像素的像素值为深度值。所述三维视频数据及深度图像可以在三维图像空间内搭建出三维图像。所述二维图像和所述深度图像，为同一个时刻采集的图像。

在一些实施例中，所述二维图像和深度图像的图像尺寸是一致，例如，所述二维图像和深度图像所包含的像素均为w*h个；w表示第一方向上包括的像素个数，h表示第二方向上包括的像素个数。w和h均为正整数。

在一些实施例中，所述二维图像和所述深度图像，可为同一个时刻采集的图像；为了减少数据量，所述二维图像和所述深度图像的图像尺寸，满足预设关系。例如，深度图像所包含的像素为w*h个，深度图像包含的像素为(w/a)*(h/b)。如此，一个深度像素对应了a*b个颜色像素。在进行三维视频搭建时，可以根据一个深度像素的像素值应用于a*b个相邻颜色像素的像素值。譬如，(w/a)*(h/b)等于(w/2)*(h/2)。如此，一个深度像素对应了4个颜色像素。在进行三维视频搭建时，可以根据一个深度像素的像素值应用于4个相邻颜色像素的像素值；如此，就减少了深度图像的图像数据量。由于通常一个物体相邻的很小区域内的凹凸感是基本上一致的，故若深度图像的图像尺寸小于所述二维图像的图像尺寸，也可以维持较高精度的三维视频的还原和搭建；同时减少的终端和mec服务器需要交互的数据量和/或mec服务器需要处理的数据量。

在一些实施例中，在生成图像尺寸小于所述二维图像时，可具有以下方式中的至少一种：直接利用所述深度图像的图像尺寸采集所述深度图像；利用所述二维图像的图像尺寸采集原始深度图像；再根据深度图像的图像尺寸，根据相邻的a*b个像素的像素值生成所述深度图像。例如，根据相邻的a*b个像素值的均值或中值生成所述深度图像。

在本发明实施例中终端每一个时刻都采集有2d图像和对应的深度图像。2d图像的颜色像素和深度图像的深度像素值具有对应关系，如此，可以根据这种对应关系，确定出每一个颜色像素对应的深度值。

在本实施例中，所述第一深度值为所述第一2d图像对应的深度图像中的深度值；所述第二深度值为第二2d图像对应的深度图像中的深度值。

所述第一深度值和第二深度值均是泛指，是指的多个深度值，而非但一个深度值。

所述第三深度值为第一对象的深度值，同样为第一对象的所有深度值的统称，并不具体指哪一个深度值。例如，第一对象的表面存在一定的凹凸不并，此时，第一对象与终端之前的距离，在各个部分就存在差异，如此，第三深度值将通过多个深度值表征这种距离差异。

在当前采集场景中可能至少有一个采集目标是相对运动的，可能会干扰其他采集目标的深度信息的采集。例如，采集目标运动导致有一些采集目标的结构光投射、反射或者基于结构光的图像采集受到干扰；从而导致深度图像中有些对象的深度值缺失或异常。

为了至少部分解决上述问题，所述第一2d图像和所述第二2d图像是不同采集时刻采集的图像。在一些实施例中，所述第二2d图像为在第一2d图像之前采集的图像。例如，第一2d图像为第一时刻采集的图像；第二2d图像可为第二时刻采集的图像。所述第二时刻早于所述第一时刻。如此，在步骤201中会将两帧采集时刻的2d图像进行匹配。在一些实施例中所述第一时刻和所述第二时刻可为：相邻采集时刻，在还有些实施例中，所述第一时刻和第二时刻可为间隔一个或2个等有限个数采集时刻的两帧采集时刻，第一时刻为第n个采集时刻，第二时刻为第n+x个采集时刻，所述x的取值可为1或2等较小的取值，第n+x个采集时刻距离第n个采集时刻很远，两帧时刻采集的2d图像中都没有相同的部分导致的匹配失败的问题。

在运动场景下，基于运动场景下运动连续性，在第一时刻和第二时刻采集的2d图像中会有相同对象的成像。例如，运动中的用户持终端边走边采集用户和用户身后的风景为例。用户的运动是连续的，若运动速度不过于快，会使得相邻两帧采集时刻摄像头对准的风景完全不同，则相邻两次采集的图像中至少部分风景是重叠的。

在一些实施例中，2d图像的可能相比于深度图像的采集间隔更小，或者，在运动场景中采集的效果更好。如此，在运动场景下，有可能采集了清晰的2d图像，但是深度图像采集并不精确或者甚至有可能完全没有采集到。在本实施例中，为了获得深度信息或者获取更加精准的深度信息；会匹配至少两帧时刻采集的2d图像；若匹配了有相同对象，该相同对象在本实施例中可称之为第一对象；则可以结合至少两帧2d图像对应的深度图像中的深度值，来确定该第一对象相对于相机的距离。

如3a至图3c所示，摄像头和被采集的人保持同步运动，如此，摄像头与人体之间的距离是保持不变，人体的尺寸在图3a至图3c中所示的2d图像中的尺寸也是维持不变的。在默认平行运动的情况下，实质上人背后的背景也是和终端保持等距的。但却是运动场景下，人体运动会遮挡背景对象，这种若采用结构光采集或者基于发射的无线波及反射波进行举例深度值的采集，则可能会导致有些对象出现在2d图像中，由于前景对象的遮挡导致其深度值缺失或者异常。故此时结合多帧三维视频图像的深度图像确定相同对象的第三深度值，来构建三维视频。

在步骤203中，由于第三深度值的引入，并结合二维图像，可以利用三模建模等方式可以得到第一对象在三维空间内的立体影像，如此，可以结合2d图像和深度值建立三维图像，呈现出立体图像效果。三维视频的建立为：在时域上基于连续采集的2d图像及其对应的深度值，连续构建三维图像；并利用视觉暂留效果呈现出视频效果。在一些实施例中，如图4所示，所述方法包括：

步骤200：确定三维视频数据是否符合深度值校准条件；

所述步骤201，包括：

若所述三维视频数据符合所述深度值校准条件，匹配所述第一2d图像及与所述第二2d图像。

在一些实施例中，mec服务器会先判断三维视频数据是否符合深度值校准条件，若符合深度值校准条件才会执行步骤201；否则不执行步骤201，减少不必要的匹配和深度值提取等操作。

例如，所述步骤200可包括：确定所述第一2d图像对是否符合深度值校准条件，和/或，确定与所述第一2d图像同步采集的深度图像是否符合深度值校准条件。此处，与第一2d图像同步采集的深度图像，即为：所述第一2d图像对应的深度图像。

例如，所述步骤200可包括：确定与所述第一2d图像对应的深度图像是否出现异常深度值，若出现异常深度值可认为：所述三维视频数据符合所述深度值校准条件。所述异常深度值可包括：明显位于异常取值范围内的深度值。例如，深度图像的采集摄像头的具有最大深度值采集范围，若在深度图像中包含有超过所述最大深度值的深度值，可认为出现深度图像异常。再例如，若深度图像中包括为负值的深度值，同样可认为深度图像异常。这些时候，就需要结合之前采集的深度图像来确定于所述第一2d图像中一个或多个对象的深度值。

在一些实施例中，所述步骤200可包括：

若在所述第一2d图像中对应的所述第一深度值中所述第一对象的深度值存在缺失，确定所述三维视频符合所述深度值校准条件。

例如，所述第一对象的第一深度值存在缺失，包括：第一对象在第一2d图像对应的第一深度值中深度值全部缺失，还可包括：第一对象在第一2d图像对应的第一深度值中深度值部分缺失。此处的至少部分缺失的原因可能是未采集到或者传输过程中丢失了。

为了获取第一对象的第一深度值，可能需要通过从前些采集时刻采集的深度图像中获得该第一对象的深度值。

在一些实施例中，所述步骤200可包括：

若在所述第一2d图像中的所述第一对象被第二对象遮挡，确定所述三维视频数据符合所述深度值校准条件。

此处的存在遮挡，包括第一对象在第一2d图像中被另一个对象(即所述第二对象)部分遮挡或者全部遮挡。

在一些实施例中，若第二对象为第一对象的前景对象，而第一对象为第二对象的背景对象，此时，则运动场景下可能会出现第一对象被第二对象遮挡的情况。若第一对象在第一2d图像中被第二对象遮挡，则第一对象的深度图像可能因为第一对象的阻挡导致第一对象的至少部分深度值或者全部深度值采集失败，从而若需要获得第一对象的深度值，可能需要结合之前采集的深度图像来确定。

总之，在本实施例中可以不用逐帧校准每一个2d图像对应的深度值，可以需要进一步校准深度值时，才结合两帧或两帧以上的三维视频数据进行校准。

在一些实施例中，所述步骤202可包括：

将所述第一深度值，与m帧深度图像的第二深度值分别进行比较；其中，所述m帧深度图像对应于m帧所述第二2d图像，所述m为不小于2的正整数；

若所述第一深度值与n个所述第二深度值满足预设相似条件，则确定所述第一深度值为所述第三深度值；所述n为不大于m的正整数。

若第一深度值与n个第二深度值均不满足预设相似条件，则显然第一深度值中关于第一对象的深度值不可以作为第三深度值使用。

若第一深度值与至少一个第二深度值满足预设相似条件，可以将第一深度值中第一对象的深度值直接作为第三深度值使用；或者，进一步确定第一深度值中第一对象的深度值是否可以作为第三深度值使用或者用于生成第三深度值。例如，所述n大于m-n，如此，若第一深度值需要直接作为第三深度值使用，则需要满足n大于m-n；否则可以会基于m个第二深度值生成所述第三深度值，或者，基于所述第一深度值及m个所述第二深度值生成所述第三深度值。

在另一些实施例中，所述结合与所述第一2d图像对应的第一深度值，及与所述第二2d图像对应的第二深度值，确定出所述第一对象的第三深度值，包括：

若所述第一深度值与n个所述第二深度值不满足所述预设相似条件，则根据n个所述第二深度值确定所述第三深度值。

在本实施例中，所述第一2d图像对应的深度图像采集到了第一对象的深度值，但是为了提升第一对象的深度值的精准度，在本实施例中，会将第一2d图像与至少两帧第二2d图像进行匹配，然后若n帧第二2d图像均包括所述第一对象的深度值，则可以基于第一深度值及n帧第二2d图像对应的深度图像来获取所述第三深度值。例如，第一2d图像与2个第二2d图像进行匹配，发现3个2d图像均包括对象a，则分别从这3个2d图像对应的深度图像中提取出对象a的深度值，然后比对3个深度值，发现其中2个的深度值一样，另一个深度值有差异，由于采集时间间隔很小，可以认为2个相同的深度值可为对象a的第三深度值。

在一些实施例中，若第一2d图像对应的第一对象的深度值缺失，则可以根据第一2d图像前一个采集时刻采集的深度图像确定所述第三深度值，此时，所述第三深度值可为直接从前一个采集时刻提取的第二2d图像的深度值，也可以是基于前一个采集时刻采集深度图像中第一对象的深度值及终端设备的运动状况，计算得到所述第三深度值。

在还有一些实施例中，若第一2d图像对应的第一对象的深度值缺失，则可以根据前两帧采集时刻采集的深度图像中第一对象的第二深度值，计算出所述第三深度值。例如，结合两帧采集时刻的第二深度值确定出第一对象的深度变化趋势，根据相邻两帧采集时刻的时间间隔，计算出所述第三深度值。

在一些实施例中，所述方法还包括：

所述方法还包括：获取与所述第一2d图像对应的至少两个深度图像，其中，所述两个深度图像包括所述第一深度值；所述两个所述深度图像为利用不同编码光采集的。

为了减少第一2d图像对应的深度图像中至少部分深度值的缺失，终端可能会通过不同编码光采集的深度图像。

一种方式中：不同的编码光可为：深度摄像头向采集对象投射的不同形状和/或纹理的结构光，该结构光可为非可见光，从而不干扰基于可见光成像的2d图像的采集。不同形状和/或纹理的结构光，投射到采集对象之后，由于采集对象表面的凹凸及距离深度摄像头的远近不同，使得深度摄像头基于结构光采集的深度图像是不同的。如此，终端结合投射的结构光的形状和/或纹理，与采集到结构光的图像中所呈现的形状和/或纹理的比对，可以确定出每一个结构光投射点的深度值，基于所述深度值构建深度图像。由于利用不同结构光采集了至少两帧深度图像，终端可以根据结合至少两帧深度图像得到采集目标同一个位置的至少两帧深度值。如此，mec服务器可以从终端获得与第一2d图像对应的至少两帧深度图像，可以结合这两帧深度图像中深度值得到更加精准的深度值，或者，减少第一2d图像中部分对象在一帧所述三维视频数据中深度值缺失的现象。在本实施例中，所述不同编码光可为：不同波长的编码光，则此时，与第一2d图像对应的至少两帧深度图像可以同时采集，也可以不同时采集。

在还有一些实施例中，所述不同编码光可为：相同波长的编码光；则此时，与第一2d图像对应的至少两帧深度图像可以通过时分复用的方式，在同一帧三维视频数据采集过程中的不同时刻采集；从而实现深度图像的时分复用。

另一种实施例中，利用不同发射波长的编码光，编码光遇到采集目标之后被反射形成反射光，可以基于发射光的发射时间及反射光的反射时间、及光传播速度，可以求解出深度值。此时，不同形状和/或纹理的编码光，会使得光传输路径不一致，如此在某一个编码光被遮挡了，另一个编码光发射之后可能会形成反射光返回，从而采集到深度值；或者，两帧编码光都反射形成了反射光并达到了深度摄像头的接收器，也可以分别生成两帧深度图像。

若采用不同波长的编码光，则可以同步采集两帧深度图像；若利用相同波长的编码光，则可采用时分复用进行处理。

如图5所示，本实施例提供一种数据处理装置，应用于移动边缘计算mec服务器中，包括：

匹配模块501，用于匹配第一二维2d图像与第二2d图像，获得第一2d图像和至少两帧所述第二2d图像均包括的第一对象；

第一确定模块502，用于结合与所述第一2d图像对应的第一深度值，及与所述第二2d图像对应的第二深度值，确定出所述第一对象的第三深度值；

建模模块503，用于结合所述第一2d图像及所述第三深度值，建立所述第一对象的三维视频。

在一些实施例中，所述匹配模块501、第一确定模块502及建模模块503可为程序模块，对应于计算机可执行代码，该计算机可执行代码被执行后，能够实现前述像素编码数据及三维视频数据的发送。

在另一些实施例中，所述匹配模块501、第一确定模块502及建模模块503还可为硬件模块及程序模块的组合，例如，复杂可编程阵列或者现场可编程阵列。

在还有一些实施例中，所述匹配模块501、第一确定模块502及建模模块503可对应于硬件模块，例如，所述匹配模块501、第一确定模块502及建模模块503可为专用集成电路。

在一些实施例中，所述装置还包括：

第二确定模块，用于确定三维视频数据是否符合深度值校准条件，其中，所述三维视频数据包括：所述第一2d图像和所述第二2d图像；

所述匹配模块501，具体用于若所述三维视频数据符合所述深度值校准条件，匹配所述第一2d图像及与所述第二2d图像。

在一些实施例中，所述第二确定模块，具体用于若在所述第一2d图像中对应的所述第一深度值中所述第一对象的深度值存在缺失，确定所述三维视频符合所述深度值校准条件。

在一些实施例中，所述第二确定模块，还用于若在所述第一2d图像中的所述第一对象被第二对象遮挡，确定所述三维视频数据符合所述深度值校准条件。

在一些实施例中，所述第一确定模块502，包括：

比较子模块，用于将所述第一深度值与m帧深度图像的第二深度值分别进行比较；其中，所述m帧深度图像对应于m帧所述第二2d图像，所述m为不小于2的正整数；

确定子模块，用于若所述第一深度值与n个所述第二深度值满足预设相似条件，则确定所述第一深度值为所述第三深度值，其中，所述n为不大于m的正整数。

在一些实施例中，所述n大于m-n。

在一些实施例中，所述确定子模块，还用于若所述第一深度值与n个所述第二深度值不满足所述预设相似条件，则根据n个所述第二深度值确定所述第三深度值。

本实施例提供一种计算机存储介质，所述计算机存储介质上存储有计算机指令，该指令被处理器执行时实现应用于终端或者mec服务器中的数据处理方法的步骤，例如，如图2或图4所示的方法中的一个或多个。

如图6所示，本实施例提供一种mec服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现应用于终端或者mec服务器中的数据处理方法的步骤，例如，可执行如图2或图4所示的方法中的一个或多个。

在一些实施例中，所述mec服务器还包括：通接口，该通信接口可用于与其他设备信息交互。例如，若所述mec服务器为终端，该通信接口至少可与mec服务器进行信息交互。若所述mec服务器为mec服务器，则该通信接口至少可与终端进行信息交互。

以下结合上述任意实施例提供一个具体示例：

本示例提供一种基于空分复用编码(spatialmultiplexingcoding)的深度值的信息处理方法，包括：

深度信息(即为前述的深度信息)的确认，具体可包括：结合不同rgb信息中的相同部分，基于多帧三维视频数据的深度图像得到最终的深度信息。从而将最终得到的深度信息与对应时刻采集的rgb信息进行配对。此处的相同部分可对应于前述第一对象。

在一些实施例中，通过时分复用将利用不同的编码光下，获得的深度信息，分时传输到mec，供mec获得精确的深度信息。通过将不同时间内的rgb信息的比对，确定出运动的目标对象所在的位置，从而获得精确的深度信息；以搭建精确的模型。

若采用者方法，则对采集深度信息的结构光摄像头的要求低，可以实现运动物体的深度信息采集；获得精确的深度信息，进一步提升了基于深度信息的建模准确性。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两帧或两帧以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。