模型校验方法及服务器、计算机存储介质与流程

本申请涉及三维建模技术领域，尤其涉及一种模型校验方法及服务器、计算机存储介质。

背景技术：

随着移动通信网络的不断发展，移动通信网络的传输速率飞速提高，从而给三维视频业务的产生和发展提供了有力的技术支持。三维视频数据包括二维图像数据(例如rgb数据等)和深度数据(depth数据)，而三维视频数据的传输是分别传输二维视频数据和深度数据。

三维视频数据的数据采集量非常大，所以服务器端对三维视频数据的建模耗时很长，因此，服务器可以采用预置的模型进行建模，来减少建模的时长。然而，当选择的预置模型不准确时，容易出现部位组合建模失败。

技术实现要素：

本申请实施例提供了一种模型校验方法及服务器、计算机存储介质。

本申请实施例提供的模型校验方法，包括：

获取三维数据，所述三维数据包括二维数据和深度数据；

采用至少一个预置模型建立所述三维数据对应的至少一个特征部位模型；

根据处理能力确定校验模式，根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验。

本申请实施例提供的服务器，包括：

获取单元，用于获取三维数据，所述三维数据包括二维数据和深度数据；

建模单元，用于采用至少一个预置模型建立所述三维数据对应的至少一个特征部位模型；

确定单元，用于根据处理能力确定校验模式；

校验单元，用于根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验。

本申请实施例提供的计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型校验方法。

本申请实施例提供的服务器包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述的模型校验方法。

本申请实施例的技术方案，采用至少一个预置模型建立所述三维数据对应的至少一个特征部位模型；根据处理能力确定校验模式，根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验，采用本申请实施例的技术方案，结合处理器当前的处理能力选择合适的校验模式，从而实现快速有效地对三维组合模型进行校验，校验结果为准确建模提供了依据，另一方面，可以验证所采用的预置模型的准确性。

附图说明

图1为本申请实施例的模型校验方法应用的系统架构示意图；

图2为本申请实施例的模型校验方法的流程示意图；

图3为本申请实施例的服务器的结构组成示意图一；

图4为本申请实施例的服务器的结构组成示意图二。

具体实施方式

在对本申请实施例的技术方案进行详细说明之前，首先对本申请实施例的数据处理方法应用的系统架构进行简单说明。本申请实施例的数据处理方法应用于三维视频数据的相关业务，该业务例如是三维视频数据分享的业务，或者基于三维视频数据的直播业务等等。在这种情况下，由于三维视频数据的数据量较大，分别传输的深度数据和二维视频数据在数据传输过程中需要较高的技术支持，因此需要移动通信网络具有较快的数据传输速率，以及较稳定的数据传输环境。

图1为本申请实施例的模型校验方法应用的系统架构示意图；如图1所示，系统可包括终端、基站、mec服务器、业务处理服务器、核心网和互联网(internet)等；mec服务器与业务处理服务器之间通过核心网建立高速通道以实现数据同步。

以图1所示的两个终端交互的应用场景为例，mec服务器a为部署于靠近终端a(发送端)的mec服务器，核心网a为终端a所在区域的核心网；相应的，mec服务器b为部署于靠近终端b(接收端)的mec服务器，核心网b为终端b所在区域的核心网；mec服务器a和mec服务器b可与业务处理服务器之间分别通过核心网a和核心网b建立高速通道以实现数据同步。

其中，终端a发送的三维视频数据传输到mec服务器a后，由mec服务器a通过核心网a将数据同步至业务处理服务器；再由mec服务器b从业务处理服务器获取终端a发送的三维视频数据，并发送至终端b进行呈现。

这里，如果终端b与终端a通过同一个mec服务器来实现传输，此时终端b和终端a直接通过一个mec服务器实现三维视频数据的传输，不需要业务处理服务器的参与，这种方式称为本地回传方式。具体地，假设终端b与终端a通过mec服务器a实现三维视频数据的传输，终端a发送的三维视频数据传输到mec服务器a后，由mec服务器a发送三维视频数据至终端b进行呈现。

这里，终端可基于网络情况、或者终端自身的配置情况、或者自身配置的算法选择接入4g网络的演进型基站(enb)，或者接入5g网络的下一代演进型基站(gnb)，从而使得enb通过长期演进(longtermevolution，lte)接入网与mec服务器连接，使得gnb通过下一代接入网(ng-ran)与mec服务器连接。

这里，mec服务器部署于靠近终端或数据源头的网络边缘侧，所谓靠近终端或者靠近数据源头，不仅是逻辑位置上，还在地理位置上靠近终端或者靠近数据源头。区别于现有的移动通信网络中主要的业务处理服务器部署于几个大城市中，mec服务器可在一个城市中部署多个。例如在某写字楼中，用户较多，则可在该写字楼附近部署一个mec服务器。

其中，mec服务器作为具有融合网络、计算、存储、应用核心能力的边缘计算网关，为边缘计算提供包括设备域、网络域、数据域和应用域的平台支撑。其联接各类智能设备和传感器，就近提供智能联接和数据处理业务，让不同类型的应用和数据在mec服务器中进行处理，实现业务实时、业务智能、数据聚合与互操作、安全与隐私保护等关键智能服务，有效提升业务的智能决策效率。

图2为本申请实施例的模型校验方法的流程示意图，如图2所示，所述模型校验方法包括以下步骤：

步骤201：获取三维数据，所述三维数据包括二维数据和深度数据。

这里，由emc服务器获取三维数据，具体地，emc服务器接收终端发送的三维数据。本申请实施例中的三维数据可以是三维视频数据，也可以是三维图像数据。这里，终端将三维数据分成两路数据，分别为：二维数据和深度数据。其中，二维数据中的每帧rgb图像需要与深度数据中的每帧深度图像对齐，一帧rgb图像对应一帧深度图像，这样，对应的rgb图像和深度图像才可以最终合成正确的三维图像。终端利用第一接入通道向mec服务器发送二维数据，以及利用第二接入通道向mec发送深度数据。相应地，mec服务器利用第一接入通道接收终端发送的二维数据，以及利用第二接入通道接收终端发送的深度数据。

在一实施方式中，所述第一接入通道对应第一移动网络，所述第二接入通道对应第二移动网络；或者，所述第一接入通道对应无线局域网络，所述第二接入通道对应第三移动网络；其中，所述第一移动网络和所述第二移动网络为相同类型的接入网或者不同类型的接入网。例如：所述第一接入通道对应wifi网络，所述第二接入通道对应lte网络。再例如：所述第一接入通道对应5g网络，所述第二接入通道对应4g网络。mec服务器通过两个接入通道(对应两种接入方式)分别接收到二维数据和深度数据。

上述方案中，二维数据用于表征平面图像，例如可以是rgb数据；深度数据表征采集组件所针对的采集对象的表面与采集组件之间的距离。

步骤202：采用至少一个预置模型建立所述三维数据对应的至少一个特征部位模型。

本申请实施例中，三维数据的数据量较大，分别传输的深度数据和二维数据在数据传输过程中需要较高的技术支持，因此需要移动通信网络具有较快的数据传输速率(即高速带宽)，以及较稳定的数据传输环境。此外，由于网络开销较大，因此需要专用承载来满足高速低延迟的传输要求。

本申请实施例中，mec服务器采用预置模型进行建模，来减少建模的时长。这里，预置模型是一个三维的粗略模型，以人头部模型为例，预置模型为球状三维结构，这个球状三维结构大致反映出头部的轮廓。以人胳膊模型为例，预置模型为圆柱状三维结构，这个圆柱状三维结构大致反映出胳膊的轮廓。emc服务器端预先存储多个预置模型，每个预置模型用于一个特征部分的建模。

在一实施方式中，emc服务器端存储一个或多个预置模型集合，不同的预置模型集合对应不同的对象，例如人体对应的预置模型集合包括人体各个身体结构对应的预置模型，再例如人脸对应的预置模型集合包括人脸五官对应的预置模型，又例如桌子对应的预置模型集合包括桌子各个组件对应的预置模型。

本申请实施例中，emc服务器获取到三维数据后，可以先确定该三维数据对应的预置模型，然后，利用预置模型建立该三维数据对应的特征部位模型。具体地，可以对三维数据中的二维数据或深度数据进行解析，确定该三维数据对应哪个特征部位，然后选择相应的预置模型，利用预置模型建立该三维数据对应的特征部位模型。

举个例子，emc服务器在某个时间段内获取到两帧数据，分别为第一帧数据和第二帧数据，这里的帧数据为所述三维数据，对第一帧数据解析确定对应人眼特征部位，选择人眼特征部位对于的预置模型，利用该预置模型建立人眼特征部位模型。对第二帧数据解析确定对应鼻子特征部位，选择鼻子特征部位对于的预置模型，利用该预置模型建立鼻子特征部位模型。

步骤203：根据处理能力确定校验模式，根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验。

在一实施方中，对所述至少一个特征部位模型中的各个特征部位模型进行校验正确后，对所述至少一个特征部位模型形成的三维组合模型进行校验。这里，对所述至少一个特征部位模型中的各个特征部位模型进行校验是指对单一的特征部位模型进行独立校验，例如校验人眼特征部位模型是否发生了畸变，再例如校验人眼特征部位模型与标准人眼模型(也称为参考人眼模型)的相似度是否大于等于预设阈值。这里，对所述至少一个特征部位模型形成的三维组合模型进行校验是指对所述至少一个特征部位模型形成的三维组合模型中的各个特征部位模型之间的拼接关系进行校验。

举个例子：有5个特征部位模型，分别对应人脸的五个器官，对这5个特征部位模型分别校验正确后，对这5个特征部位模型组成的人脸五官模型进行校验。

本申请实施例中，根据处理器当前的处理能力确定校验模式，根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验。

在一实施方式中，确定处于空闲状态的处理资源的资源量，所述处理资源能够处理所述三维组合模型的校验操作，其中，不同的资源量对应不同的处理能力；基于所述处于空闲状态的处理资源的资源量，确定校验模式。进一步，1)所述处理资源的资源量大于等于第一门限值，则确定校验模式为第一校验模式；根据所述第一校验模式，对所述三维组合模型中的全部特征部位模型之间的拼接关系进行校验。2)所述处理资源的资源量小于第一门限值，则确定校验模式为第二校验模式；根据所述第二校验模式，对所述三维组合模型中的部分特征部位模型之间的拼接关系进行校验。

具体实现时，可以预先建立资源量与校验模式的对应关系，当服务器自身的资源量很充足，可以选择第一校验模式(也即整体校验模式)，当服务器自身的资源量中等时，可以选择第二校验模式(也即关键部位的校验模式)；不限于此，还可以具有其他更多的校验模式，例如当服务器自身的资源量紧张时，可以选择再少数量的关键部位的校验模式(称为第三校验模式)。

本申请实施例中，如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则通知终端重新采集所述至少一个特征部位模型对应的三维数据。或者，如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则确定所述三维组合模型中发生错误的第二特征部位模型，通知终端重新采集所述第二特征部位模型对应的三维数据。

这里，在对三维组合模型进行校验的过程中，如果发现该三维组合模型错误，则emc服务器通知终端重新采集该三维组合模型对应的全部三维数据；或者，emc服务器根据拼接关系确定出拼接错误的特征部位模型，通知终端重新采集该拼接错误的特征部位模型对应的三维数据；从而为建模提供更准确的三维数据。

为实现本申请实施例的方法，本申请实施例还提供了一种服务器。图3为本申请实施例的服务器的结构组成示意图一，如图3所示，所述服务器包括：

获取单元301，用于获取三维数据，所述三维数据包括二维数据和深度数据；

建模单元302，用于采用至少一个预置模型建立所述三维数据对应的至少一个特征部位模型；

确定单元303，用于根据处理能力确定校验模式；

校验单元304，用于根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验。

在一实施方式中，所述确定单元303，用于确定处于空闲状态的处理资源的资源量，所述处理资源能够处理所述三维组合模型的校验操作，其中，不同的资源量对应不同的处理能力；基于所述处于空闲状态的处理资源的资源量，确定校验模式。

在一实施方式中，所述确定单元303，用于如果所述处理资源的资源量大于等于第一门限值，则确定校验模式为第一校验模式；

所述校验单元304，用于根据所述第一校验模式，对所述三维组合模型中的全部特征部位模型之间的拼接关系进行校验。

在一实施方式中，所述确定单元303，用于如果所述处理资源的资源量小于第一门限值，则确定校验模式为第二校验模式；

所述校验单元304，用于根据所述第二校验模式，对所述三维组合模型中的部分特征部位模型之间的拼接关系进行校验。

在一实施方式中，所述服务器还包括：

通知单元305，用于如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则通知终端重新采集所述至少一个特征部位模型对应的三维数据。

在一实施方式中，所述服务器还包括：

通知单元305，用于如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则确定所述三维组合模型中发生错误的特征部位模型，通知终端重新采集所述发生错误的特征部位模型对应的三维数据。

本申请实施例中，所述服务器中的建模单元、确定单元以及校验单元，在实际应用中可由所述服务器中的处理器，比如中央处理器(cpu，centralprocessingunit)、数字信号处理器(dsp，digitalsignalprocessor)、微控制单元(mcu，microcontrollerunit)或可编程门阵列(fpga，field－programmablegatearray)等实现；所述服务器中的获取单元以及通知单元，在实际应用中可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现。

需要说明的是：上述实施例提供的服务器在进行模型校验时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将服务器的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的服务器与模型校验方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于上述设备的硬件实现，本申请实施例还提供了一种服务器，图4为本申请实施例的服务器的硬件组成结构示意图，如图4所示，服务器40包括存储器42、处理器41及存储在存储器42上并可在处理器41上运行的计算机程序；作为第一种实施方式，位于服务器40的处理器41执行所述程序时实现：获取三维数据，所述三维数据包括二维数据和深度数据；采用至少一个预置模型建立所述三维数据对应的至少一个特征部位模型；根据处理能力确定校验模式，根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验。

在一实施例中，位于服务器40的处理器41执行所述程序时实现：确定处于空闲状态的处理资源的资源量，所述处理资源能够处理所述三维组合模型的校验操作，其中，不同的资源量对应不同的处理能力；基于所述处于空闲状态的处理资源的资源量，确定校验模式。

在一实施例中，位于服务器40的处理器41执行所述程序时实现：所述处理资源的资源量大于等于第一门限值，则确定校验模式为第一校验模式；根据所述第一校验模式，对所述三维组合模型中的全部特征部位模型之间的拼接关系进行校验。

在一实施例中，位于服务器40的处理器41执行所述程序时实现：所述处理资源的资源量小于第一门限值，则确定校验模式为第二校验模式；根据所述第二校验模式，对所述三维组合模型中的部分特征部位模型之间的拼接关系进行校验。

在一实施例中，位于服务器40的处理器41执行所述程序时实现：如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则通知终端重新采集所述至少一个特征部位模型对应的三维数据。

在一实施例中，位于服务器40的处理器41执行所述程序时实现：如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则确定所述三维组合模型中发生错误的特征部位模型，通知终端重新采集所述发生错误的特征部位模型对应的三维数据。

可以理解，服务器40还包括通信接口43；服务器40中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram，enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

上述本申请实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。

本申请实施例还提供了一种计算机存储介质，具体为计算机可读存储介质。其上存储有计算机指令，作为第一种实施方式，在计算机存储介质位于服务器时，该计算机指令被处理器执行时实现：获取三维数据，所述三维数据包括二维数据和深度数据；用至少一个预置模型建立所述三维数据对应的至少一个特征部位模型；根据处理能力确定校验模式，根据所述校验模式对所述至少一个特征部位模型形成的三维组合模型进行校验。

在一实施例中，该计算机指令被处理器执行时实现：确定处于空闲状态的处理资源的资源量，所述处理资源能够处理所述三维组合模型的校验操作，其中，不同的资源量对应不同的处理能力；基于所述处于空闲状态的处理资源的资源量，确定校验模式。

在一实施例中，该计算机指令被处理器执行时实现：所述处理资源的资源量大于等于第一门限值，则确定校验模式为第一校验模式；根据所述第一校验模式，对所述三维组合模型中的全部特征部位模型之间的拼接关系进行校验。

在一实施例中，该计算机指令被处理器执行时实现：所述处理资源的资源量小于第一门限值，则确定校验模式为第二校验模式；根据所述第二校验模式，对所述三维组合模型中的部分特征部位模型之间的拼接关系进行校验。

在一实施例中，该计算机指令被处理器执行时实现：如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则通知终端重新采集所述至少一个特征部位模型对应的三维数据。

在一实施例中，该计算机指令被处理器执行时实现：如果校验得到所述至少一个特征部位模型形成的三维组合模型错误，则确定所述三维组合模型中发生错误的特征部位模型，通知终端重新采集所述发生错误的特征部位模型对应的三维数据。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以至少两个单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。