一种数据处理方法、终端、服务器和计算机存储介质与流程

文档序号:15625249发布日期:2018-10-09 22:49阅读:115来源:国知局

本发明涉及数据处理技术,具体涉及一种数据处理方法、终端、服务器和计算机存储介质。



背景技术:

随着移动通信网络的不断发展,移动通信网络的传输速率飞速提高,从而给三维视频业务的产生和发展提供了有力的技术支持。三维视频数据包括二维图像数据(例如rgb数据)和深度数据(depth数据),而三维视频数据的传输是分别传输二维视频数据和深度数据。在三维视频数据的传输过程中出于各种原因(例如丢包)使得分别传输的二维视频数据和深度数据并非能一直保持对齐,从而使得接收端接收到的二维视频数据和深度数据在合成后会出现与原始数据不一致、图像重构错误、图像内容无法识别出等问题。



技术实现要素:

为解决现有存在的技术问题,本发明实施例提供一种数据处理方法、终端、服务器和计算机存储介质。

为达到上述目的,本发明实施例的技术方案是这样实现的:

本发明实施例提供了一种数据处理方法,应用于终端;所述方法包括:

获得至少包括深度数据的三维视频数据;

从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

上述方案中,所述获得三维视频数据之后,所述方法还包括:

确定第一配置信息;

则所述从所述三维视频数据中提取出与传输算法相关联的关键数据,发送所述关键数据,包括:按照所述第一配置信息从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

上述方案中,所述获得三维视频数据之后,所述方法还包括:

确定第二配置信息;

则所述方法还包括:将所述三维视频数据进行分割,按照所述第二配置信息发送分割后的所述三维视频数据。

上述方案中,所述将所述三维视频数据进行分割,按照所述第二传输方式发送分割后的所述三维视频数据,包括:

将所述三维视频数据分割为多个三维视频数据块,所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;

分别发送所述多个三维视频数据块。

上述方案中,所述三维视频数据包括二维视频数据和深度数据;所述将所述三维视频数据进行分割,按照所述第二传输方式发送分割后的所述三维视频数据,包括:

将所述二维视频数据分割为至少两个子二维视频数据,将所述深度数据分割为至少两个子深度数据;

分别发送所述至少两个子二维视频数据和所述至少两个子深度数据。

上述方案中,确定配置信息,包括:检测传输信道的第一参数;

基于所述第一参数查询预先配置的多组参数和配置信息的映射关系,获得与所述第一参数匹配的第一配置信息或第二配置信息。

上述方案中,所述获得至少包括深度数据的三维视频数据,包括:

所述终端从至少能够采集深度数据的采集组件获得三维视频数据;所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

本发明实施例还提供了一种数据处理方法,应用于移动边缘计算(mec)服务器;所述方法包括:

接收与传输算法相关联的关键数据;

分析所述关键数据,获得分析结果;

基于所述分析结果将预先接收到的深度数据和二维视频数据合成为三维视频数据。

上述方案中,所述分析所述关键数据,获得分析结果,包括:

获得接收时间间隔内接收到的关键数据的变化量,判断所述关键数据的变化量是否超过预设阈值;或者,

分析接收时间间隔内接收到的关键数据是否连续;

相应的,所述分析结果表明所述关键数据的稳定性未达到预设稳定性要求,包括:当所述关键数据的变化量超过预设阈值,或者接收时间间隔内接收到的关键数据不连续,表明所述关键数据的稳定性未达到预设稳定性要求。

上述方案中,所述方法还包括:当所述分析结果表明所述关键数据的稳定性未达到预设稳定性要求时,确定所述关键数据对应的三维视频数据,丢弃所述三维视频数据。

上述方案中,所述方法还包括:分别接收分割后的三维视频数据,按预设算法将分割后的三维视频数据合并为三维视频数据。

上述方案中,所述分别接收分割后的三维视频数据,包括:分别接收多个三维视频数据块;所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;

相应的,所述按预设算法将分割后的三维视频数据合并为三维视频数据,包括:按预设算法基于所述多个三维视频数据块中每个三维视频数据块携带有标记信息将所述多个三维视频数据块合并为三维视频数据。

上述方案中,所述分别接收分割后的三维视频数据,包括:分别接收至少两个子二维视频数据和至少两个子深度数据;

相应的,所述按预设算法将分割后的三维视频数据合并为三维视频数据,包括:按预设算法将所述至少两个子二维视频数据和至少两个子深度数据合并为三维视频数据。

本发明实施例还提供了一种终端,所述终端包括:获取单元、提取单元和第一通信单元;其中,

所述获取单元,用于获得至少包括深度数据的三维视频数据;

所述提取单元,用于从所述获取单元获得的所述三维视频数据中提取出与传输算法相关联的关键数据。

所述第一通信单元,用于按照所述传输算法发送所述关键数据。

上述方案中,所述终端还包括确定单元,用于确定第一配置信息;

所述提取单元,用于按照所述确定单元确定的所述第一配置信息从所述三维视频数据中提取出与传输算法相关联的关键数据;

所述第一通信单元,用于按照所述传输算法发送所述关键数据。

上述方案中,所述终端还包括确定单元和分割单元;其中,

所述确定单元,用于确定第二配置信息;

所述分割单元,用于将所述三维视频数据进行分割;

所述第一通信单元,用于按照所述确定单元确定的所述第二配置信息发送分割后的所述三维视频数据。

上述方案中,所述分割单元,用于将所述三维视频数据分割为多个三维视频数据块,所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;

所述第一通信单元,用于分别发送所述多个三维视频数据块。

上述方案中,所述三维视频数据包括二维视频数据和深度数据;

所述分割单元,用于将所述二维视频数据分割为至少两个子二维视频数据,将所述深度数据分割为至少两个子深度数据;

所述第一通信单元,用于分别发送所述至少两个子二维视频数据和所述至少两个子深度数据。

上述方案中,所述终端还包括检测单元,用于检测传输信道的第一参数;

所述确定单元,用于基于所述检测单元获得的所述第一参数查询预先配置的多组参数和配置信息的映射关系,获得与所述第一参数匹配的第一配置信息或第二配置信息。

上述方案中,所述第一通信单元,还用于从至少能够采集深度数据的采集组件获得三维视频数据;所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

本发明实施例还提供了一种mec服务器,所述服务器包括:第二通信单元、分析处理单元和合并单元;其中,

所述第二通信单元,用于接收与传输算法相关联的关键数据;

所述分析处理单元,用于分析所述第二通信单元接收的所述关键数据,获得分析结果;

所述合并单元,用于基于所述分析处理单元获得的所述分析结果将预先接收到的深度数据和二维视频数据合成为三维视频数据。

上述方案中,所述分析处理单元,用于获得接收时间间隔内接收到的关键数据的变化量,判断所述关键数据的变化量是否超过预设阈值;或者,分析接收时间间隔内接收到的关键数据是否连续;当所述关键数据的变化量超过预设阈值,或者接收时间间隔内接收到的关键数据不连续,表明所述关键数据的稳定性未达到预设稳定性要求。

上述方案中,所述服务器还包括丢弃处理单元,用于当所述分析处理单元获得的分析结果表明所述关键数据的稳定性未达到预设稳定性要求时,确定所述关键数据对应的三维视频数据,丢弃所述三维视频数据。

上述方案中,所述第二通信单元,还用于分别接收分割后的三维视频数据;

所述合并单元,用于按预设算法将所述第二通信单元接收的所述分割后的三维视频数据合并为三维视频数据。

上述方案中,所述第二通信单元,用于分别接收多个三维视频数据块;所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;

所述合并单元,用于按预设算法基于所述多个三维视频数据块中每个三维视频数据块携带有标记信息将所述多个三维视频数据块合并为三维视频数据。

上述方案中,所述第二通信单元,用于分别接收至少两个子二维视频数据和至少两个子深度数据;

所述合并单元,用于按预设算法将所述至少两个子二维视频数据和至少两个子深度数据合并为三维视频数据。

本发明实施例还提供了一种计算机存储介质,其上存储有计算机指令,该指令被处理器执行时实现本发明实施例所述的应用于终端的数据处理方法的步骤;或者,该指令被处理器执行时实现本发明实施例所述的应用于mec服务器的数据处理方法的步骤。

本发明实施例还提供了一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明实施例所述的应用于终端的数据处理方法的步骤。

本发明实施例还提供了一种mec服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明实施例所述的应用于mec服务器的数据处理方法的步骤。

本发明实施例提供的数据处理方法、终端、服务器和计算机存储介质,应用于终端的方法包括:获得至少包括深度数据的三维视频数据;从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。应用于服务器的方法包括:接收与传输算法相关联的关键数据;分析所述关键数据,获得分析结果;基于所述分析结果将预先接收到的深度数据和二维视频数据合成为三维视频数据。采用本发明实施例的技术方案,通过在终端发送与传输算法相关联的关键数据,使得服务器根据该关键数据进行分析处理,基于分析结果采用特定处理方式对二维视频数据和深度数据进行合成,避免三维视频数据在传输过程中由于传输异常或数据丢失导致图像重构错误、图像内容无法识别等问题,在一定程度上也通过避免数据重传提高了数据传输效率,提升了服务质量,也大大提升了用户体验。

附图说明

图1为本发明实施例的数据处理方法应用的系统架构示意图;

图2为本发明实施例的数据处理方法的一种流程示意图;

图3为本发明实施例的数据处理方法的另一种流程示意图;

图4为本发明实施例的终端的一种组成结构示意图;

图5为本发明实施例的终端的另一种组成结构示意图;

图6为本发明实施例的终端的又一种组成结构示意图;

图7为本发明实施例的服务器的一种组成结构示意图;

图8为本发明实施例的服务器的另一种组成结构示意图;

图9为本发明实施例的数据处理设备的硬件组成结构示意图。

具体实施方式

在对本发明实施例的技术方案进行详细说明之前,首先对本发明实施例的数据处理方法应用的系统架构进行简单说明。本发明实施例的数据处理方法应用于三维视频数据的相关业务,该业务例如是三维视频数据分享的业务,或者基于三维视频数据的直播业务等等。在这种情况下,由于三维视频数据的数据量较大,分别传输的深度数据和二维视频数据在数据传输过程中需要较高的技术支持,因此需要移动通信网络具有较快的数据传输速率,以及较稳定的数据传输环境。

图1为本发明实施例的数据处理方法应用的系统架构示意图;如图1所示,系统可包括终端、基站、移动边缘计算(mec,mobileedgecomputing)服务器、业务处理服务器、核心网和互联网(internet)等;mec服务器与业务处理服务器之间通过核心网建立高速通道以实现数据同步。

以图1所示的两个终端交互的应用场景为例,mec服务器a为部署于靠近终端a(发送端)的mec服务器,核心网a为终端a所在区域的核心网;相应的,mec服务器b为部署于靠近终端b(接收端)的mec服务器,核心网b为终端b所在区域的核心网;mec服务器a和mec服务器b可与业务处理服务器之间分别通过核心网a和核心网b建立高速通道以实现数据同步。

其中,终端a发送的三维视频数据传输到mec服务器a后,由mec服务器a通过核心网a将数据同步至业务处理服务器;再由mec服务器b从业务处理服务器获取终端a发送的三维视频数据,并发送至终端b进行呈现。

这里,如果终端b与终端a通过同一个mec服务器来实现传输,此时终端b和终端a直接通过一个mec服务器实现三维视频数据的传输,不需要业务处理服务器的参与,这种方式称为本地回传方式。具体地,假设终端b与终端a通过mec服务器a实现三维视频数据的传输,终端a发送的三维视频数据传输到mec服务器a后,由mec服务器a发送三维视频数据至终端b进行呈现。

这里,终端可基于网络情况、或者终端自身的配置情况、或者自身配置的算法选择接入4g网络的演进型基站(enb),或者接入5g网络的下一代演进型基站(gnb),从而使得enb通过长期演进(lte,longtermevolution)接入网与mec服务器连接,使得gnb通过下一代接入网(ng-ran)与mec服务器连接。

这里,mec服务器部署于靠近终端或数据源头的网络边缘侧,所谓靠近终端或者靠近数据源头,不仅是逻辑位置上,还在地理位置上靠近终端或者靠近数据源头。区别于现有的移动通信网络中主要的业务处理服务器部署于几个大城市中,mec服务器可在一个城市中部署多个。例如在某写字楼中,用户较多,则可在该写字楼附近部署一个mec服务器。

其中,mec服务器作为具有融合网络、计算、存储、应用核心能力的边缘计算网关,为边缘计算提供包括设备域、网络域、数据域和应用域的平台支撑。其联接各类智能设备和传感器,就近提供智能联接和数据处理业务,让不同类型的应用和数据在mec服务器中进行处理,实现业务实时、业务智能、数据聚合与互操作、安全与隐私保护等关键智能服务,有效提升业务的智能决策效率。

下面结合附图及具体实施例对本发明作进一步详细的说明。

本发明实施例提供了一种数据处理方法,应用于终端中,终端可以是例如手机、平板电脑等移动终端,也可以是电脑等类型的终端。图2为本发明实施例的数据处理方法的一种流程示意图;如图2所示,所述方法包括:

步骤101:获得至少包括深度数据的三维视频数据。

步骤102:从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

本实施例中,作为一种实施方式,所述获得三维视频数据,包括:所述终端从至少能够采集深度数据的采集组件获得三维视频数据;所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

具体的,本实施方式中,由于能够采集深度数据的采集组件相对比较昂贵,终端并不具备三维视频数据的采集功能,而是通过独立于终端的采集组件采集三维视频数据,再通过采集组件和终端中的通信组件建立通信链路,使得终端获得采集组件采集的三维视频数据。其中,所述采集组件具体可通过以下至少之一实现:深度摄像头、双目摄像头、3d结构光摄像模组、飞行时间(tof,timeofflight)摄像模组。

这里,采集组件能够与至少一个终端建立通信链路以将采集得到的三维视频数据传输至所述至少一个终端,以使对应终端获得三维视频数据,这样能够实现一个采集组件采集的三维视频数据共享给至少一个终端,从而实现采集组件的共享。

作为另一种实施方式,终端自身具备三维视频数据的采集功能,可以理解,终端设置有至少能够采集深度数据的采集组件,例如设置有以下组件至少之一:深度摄像头、双目摄像头、3d结构光摄像模组、tof摄像模组,以采集三维视频数据。

其中,获得的三维视频数据包括二维视频数据和深度数据;所述二维视频数据用于表征平面图像,例如可以是rgb数据;深度数据表征采集组件所针对的采集对象的表面与采集组件之间的距离。

本实施例中,终端从所述三维视频数据中提取出与传输算法相关联的关键数据,具体可包括:终端按照预设发送间隔从所述三维视频数据中提取出与传输算法相关联的关键数据,以及按照所述预设发送间隔采用所述传输算法发送所述关键数据。

这里,关键数据是与传输算法相关联的数据;在采用该传输算法传输数据的过程中,关键数据的稳定性通常是未达到预设稳定性需求的。可以理解,关键数据在采用该传输算法传输的过程中是容易发生错误的,也即关键数据为敏感数据、稳定性不佳的数据。例如,在采用h.265编码标准传输数据的过程中,深度数据发生错误的概率较高,也即深度数据的稳定性未达到预设稳定性需求。再例如,在采用一种编码标准传输数据过程中,二维视频数据发生错误的概率较高,则二维视频数据可作为关键数据。又例如,在采用另一种编码标准传输过程中,时间轴数据发生错误的概率较高,则时间轴数据可作为关键数据。

其中,所述关键数据还可以是在采用该传输算法传输的过程中稳定性未达到预设稳定性需求的数据的变化量。若深度数据的稳定性未达到预设稳定性需求,则关键数据可以是相邻两个深度数据的变化量。

在一实施例中,所述方法还包括:按照所述传输算法发送所述三维视频数据。可以理解为,终端除了发送关键数据以外,还需要发送获得的三维视频数据。

在一实施例中,所述获得三维视频数据之后,所述方法还包括:确定第一配置信息;则所述从所述三维视频数据中提取出与传输算法相关联的关键数据,发送所述关键数据,包括:按照所述第一配置信息从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

在另一实施例中,所述获得三维视频数据之后,所述方法还包括:确定第二配置信息;则所述方法还包括:将所述三维视频数据进行分割,按照所述第二配置信息发送分割后的所述三维视频数据。

具体的,本实施例中,至少具有两种配置方式,每种配置方式对应相应的数据传输内容及方式。例如第一种配置方式用于指示发送关键数据,第二种配置方式用于指示发送全部数据、但采用本实施例中的分割数据的方式发送分割后的数据,以减少每次数据传输的数据量。其中,两种配置方式可通过第一配置信息和第二配置信息实现,则确定第一配置信息后,确定选择第一种配置方式;相应的,确定第二配置信息后,确定选择第二种配置方式。

本实施例中,作为一种实施方式,确定配置信息,包括:检测传输信道的第一参数;基于所述第一参数查询预先配置的多组参数和配置信息的映射关系,获得与所述第一参数匹配的第一配置信息或第二配置信息。

具体的,终端中预先配置多组参数和配置信息的映射关系;其中,参数可表示传输信道的参数,例如可包括带宽大小;可以理解,参数可表征当前的网络环境。则本实施例中基于检测到的参数对配置信息进行自适应选择,在网络环境较好时选择第一配置信息;在网络环境较差时选择第二配置信息,减少每次发送的数据量。

作为另一种实施方式,可通过人工配置的方式确定配置信息,例如采用人工配置的方式选择第一配置信息或第二配置信息进行数据处理。

本实施例中,在确定第二配置信息后,作为一种实施方式,所述将所述三维视频数据进行分割,按照所述第二传输方式发送分割后的所述三维视频数据,包括:将所述三维视频数据分割为多个三维视频数据块,所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;分别发送所述多个三维视频数据块。

具体的,可将每个三维视频数据分割为多个三维视频数据块,例如分割为n*n个三维视频数据块,每个三维视频数据块对应携带有标记,该标记用于表示每个三维视频数据块所在的位置,便于后续的合并处理。进一步地,分别发送多个三维视频数据块,例如在t0时刻发送第一个三维视频数据块,在t1时刻发送第二个三维视频数据块,以此类推。

作为另一种实施方式,所述三维视频数据包括二维视频数据和深度数据;所述将所述三维视频数据进行分割,按照所述第二传输方式发送分割后的所述三维视频数据,包括:将所述二维视频数据分割为至少两个子二维视频数据,将所述深度数据分割为至少两个子深度数据;分别发送所述至少两个子二维视频数据和所述至少两个子深度数据。

具体的,可将三维视频数据包括的二维视频数据和深度数据分别分割为至少两个子二维视频数据和至少两个子深度数据。以将二维视频数据和深度数据分别分割为两个子二维视频数据为例,分割的方式可采用上下分割或左右分割的方式,但不限于上述两种分割方式。以上下分割方式为例,则将二维视频数据和深度数据平均分割为上下两个部分的数据,左右分割方式类似,这里不再赘述。进一步地,分别发送至少两个子二维视频数据和至少两个子深度数据。例如,以将二维视频数据和深度数据分别分割为两个子二维视频数据和两个深度子数据为例,在t0时刻,发送第一个二维视频子数据,在t1时刻,发送第二个二维视频子数据,在t2时刻,发送第一个子深度数据,在t3时刻,发送第二个子深度数据。

采用本发明实施例的技术方案,通过在终端发送与传输算法相关联的关键数据,使得服务器根据该关键数据进行分析处理,基于分析结果采用特定处理方式对二维视频数据和深度数据进行合成,避免三维视频数据在传输过程中由于传输异常或数据丢失导致图像重构错误、图像内容无法识别等问题,在一定程度上也通过避免数据重传提高了数据传输效率,提升了服务质量,也大大提升了用户体验。

对应地,本发明实施例还提供了一种数据处理方法,应用于服务器,该服务器具体为图1中所示的mec服务器。图3为本发明实施例二的数据处理方法的流程示意图;如图3所示,所述方法包括:

步骤201:接收与传输算法相关联的关键数据。

步骤202:分析所述关键数据,获得分析结果。

步骤203:基于所述分析结果将预先接收到的深度数据和二维视频数据合成为三维视频数据。

本实施例中,关键数据是与传输算法相关联的数据;在采用该传输算法传输数据的过程中,关键数据的稳定性通常是未达到预设稳定性需求的。可以理解,关键数据在采用该传输算法传输的过程中是容易发生错误的,也即关键数据为敏感数据、稳定性不佳的数据。例如,在采用h.265编码标准传输数据的过程中,深度数据发生错误的概率较高,也即深度数据的稳定性未达到预设稳定性需求。再例如,在采用一种编码标准传输数据过程中,二维视频数据发生错误的概率较高,则二维视频数据可作为关键数据。又例如,在采用另一种编码标准传输过程中,时间轴数据发生错误的概率较高,则时间轴数据可作为关键数据。

其中,所述关键数据还可以是在采用该传输算法传输的过程中稳定性未达到预设稳定性需求的数据的变化量。若深度数据的稳定性未达到预设稳定性需求,则关键数据可以是相邻两个深度数据的变化量。

本实施例中,所述分析所述关键数据,获得分析结果,包括:获得接收时间间隔内接收到的关键数据的变化量,判断所述关键数据的变化量是否超过预设阈值;或者,分析接收时间间隔内接收到的关键数据是否连续;

相应的,所述分析结果表明所述关键数据的稳定性未达到预设稳定性要求,包括:当所述关键数据的变化量超过预设阈值,或者接收时间间隔内接收到的关键数据不连续,表明所述关键数据的稳定性未达到预设稳定性要求。

具体的,以关键数据为深度数据为例,服务器分析相邻两个深度数据的变化量,或者分析一个接收间隔接收到的深度数据的变化;基于分析获得的变化量是否超过预设阈值判定在后的深度数据是否出现异常;若变化量超过预设阈值,可判定在后的深度数据出现异常;或者基于分析获得的一个接收间隔内的深度数据的变化是否满足特定规律从而判定该接收间隔内的至少部分深度数据是否出现异常。

或者,服务器分析接收时间间隔内接收到的关键数据是否连续,所谓是否连续,表示在接收时间间隔内接收的关键数据是否有缺失,例如t0时刻接收到关键数据,t1时刻未接收到关键数据,t2时刻接收到关键数据,这种情况则表明接收到的关键数据不连续。服务器分析确定接收时间间隔内接收到的关键数据不连续,或者确定接收时间间隔内不连续的关键数据的数量超过预设阈值,可表明所述关键数据的稳定性未达到预设稳定性要求。

本实施例中,服务器基于针对关键数据的分析结果采用特定的处理方式对预先接收到的深度数据和二维视频数据进行合成处理,合成三维视频数据。

作为一种实施方式,所述方法还包括:当所述分析结果表明所述关键数据的稳定性未达到预设稳定性要求时,确定所述关键数据对应的三维视频数据,丢弃所述三维视频数据。

本实施例中,在分析结果表明所述关键数据的稳定性未达到预设稳定性要求时,确定所述关键数据对应的三维视频数据,例如,若t0时刻-t1时刻对应的关键数据的稳定性未达到预设稳定性要求,则丢弃t0时刻-t1时刻对应的三维视频数据。

其中,三维视频数据由服务器预先从终端处获得,则在一实施例中,所述方法还包括:服务器接收到三维视频数据。

本实施方式中,服务器可采用预设卷积算法对待合并处理的深度数据和二维图像数据进行处理,从而实现图像质量的优化。尤其在深度数据在传输过程中部分丢失的情况下,采用预设卷积算法能够起到平滑数据的作用。当然,在其他实施方式中,还可采用插值拟合等方式对缺失帧数据的三维图像数据进行平滑处理。

基于前述实施例所述,终端至少具有两种配置方式,每种配置方式对应相应的数据传输内容及方式。例如第一种配置方式用于指示发送关键数据,第二种配置方式用于指示发送全部数据、但采用本实施例中的分割数据的方式发送分割后的数据,以减少每次数据传输的数据量。则本实施例上述技术方案针对终端采用第一配置信息进行数据处理及传输。

相应的,在一实施例中,在终端采用第二配置信息进行数据处理及传输的情况下,所述方法还包括:分别接收分割后的三维视频数据,按预设算法将分割后的三维视频数据合并为三维视频数据。

作为一种实施方式,所述分别接收分割后的三维视频数据,包括:分别接收多个三维视频数据块;所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;

相应的,所述按预设算法将分割后的三维视频数据合并为三维视频数据,包括:按预设算法基于所述多个三维视频数据块中每个三维视频数据块携带有标记信息将所述多个三维视频数据块合并为三维视频数据。

具体的,终端将每个三维视频数据分割为多个三维视频数据块后分别传输,相应的,服务器分别接收多个三维视频数据块,例如,在t0时刻接收到第一个三维视频数据块,在t1时刻接收到第二个三维视频数据块,以此类推。其中,每个三维视频数据块携带有标记,该标记用于表示每个三维视频数据块所在的位置,则服务器接收到针对于一个三维视频数据的所有三维视频数据块后,可通过每个三维视频数据块携带的标记对所有三维视频数据块进行合并,重构三维视频数据。

作为另一种实施方式,所述分别接收分割后的三维视频数据,包括:分别接收至少两个子二维视频数据和至少两个子深度数据;

相应的,所述按预设算法将分割后的三维视频数据合并为三维视频数据,包括:按预设算法将所述至少两个子二维视频数据和至少两个子深度数据合并为三维视频数据。

具体的,终端将每个三维视频数据中的二维视频数据和深度数据分别分割为至少两个子二维视频数据和至少两个子深度数据后分别传输,服务器分别接收到至少两个子二维视频数据和至少两个子深度数据。例如,以将二维视频数据和深度数据分别分割为两个子二维视频数据和两个深度子数据为例,在t0时刻,接收到第一个二维视频子数据,在t1时刻,接收到第二个二维视频子数据,在t2时刻,接收到第一个子深度数据,在t3时刻,接收到第二个子深度数据。进一步地,服务器将接收到的至少两个子二维视频数据和至少两个子深度数据进行合并,重构三维视频数据。

本实施例中,终端的三维视频数据的分割方式和服务器针对分割后的三维视频数据的合并方式可通过预先约定或者信令指示的方式预先配置。

本实施例中,服务器分批次接收分割后的三维视频数据、在将分割后的三维视频数据合并为三维视频数据。其中,作为一种实施方式,服务器可针对接收的分割后的三维视频数据进行关键数据的提取并分析,识别提取出的关键数据的稳定性是否达到预设稳定性要求,在未达到预设稳定性要求的情况下,丢弃与该分割后的三维视频数据相关的其他分割后的三维视频数据,也即丢弃与该分割后的三维视频数据属于同一三维视频数据的其他分割后的三维视频数据。作为另一种实施方式,服务器可针对合并后的三维视频数据进行关键数据的提取并分析,识别提取出的关键数据的稳定性是否达到预设稳定性要求,在未达到预设稳定性要求的情况下,丢弃该合并后的三维视频数据。

采用本发明实施例的技术方案,通过在终端发送与传输算法相关联的关键数据,使得服务器根据该关键数据进行分析处理,基于分析结果采用特定处理方式对二维视频数据和深度数据进行合成,避免三维视频数据在传输过程中由于传输异常或数据丢失导致图像重构错误、图像内容无法识别等问题,在一定程度上也通过避免数据重传提高了数据传输效率,提升了服务质量,也大大提升了用户体验。

为实现本发明实施例终端侧的方法,本发明实施例还提供了一种终端。图4为本发明实施例的终端的一种组成结构示意图;如图4所示,所述终端包括:获取单元31、提取单元32和第一通信单元33;其中,

所述获取单元31,用于获得至少包括深度数据的三维视频数据;

所述提取单元32,用于从所述获取单元31获得的所述三维视频数据中提取出与传输算法相关联的关键数据。

所述第一通信单元33,用于按照所述传输算法发送所述关键数据。

在一实施例中,如图5所示,所述终端还包括确定单元34,用于确定第一配置信息;

所述提取单元32,用于按照所述确定单元34确定的所述第一配置信息从所述三维视频数据中提取出与传输算法相关联的关键数据;

所述第一通信单元33,用于按照所述传输算法发送所述关键数据。

在一实施例中,如图6所示,所述终端还包括确定单元34和分割单元35;其中,

所述确定单元34,用于确定第二配置信息;

所述分割单元35,用于将所述三维视频数据进行分割;

所述第一通信单元33,用于按照所述确定单元34确定的所述第二配置信息发送分割后的所述三维视频数据。

作为一种实施方式,所述分割单元35,用于将所述三维视频数据分割为多个三维视频数据块,所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;

所述第一通信单元33,用于分别发送所述多个三维视频数据块。

作为另一种实施方式,所述三维视频数据包括二维视频数据和深度数据;

所述分割单元35,用于将所述二维视频数据分割为至少两个子二维视频数据,将所述深度数据分割为至少两个子深度数据;

所述第一通信单元33,用于分别发送所述至少两个子二维视频数据和所述至少两个子深度数据。

在一实施例中,所述终端还包括检测单元,用于检测传输信道的第一参数;

所述确定单元34,用于基于所述检测单元获得的所述第一参数查询预先配置的多组参数和配置信息的映射关系,获得与所述第一参数匹配的第一配置信息或第二配置信息。

本实施例中,所述第一通信单元33,还用于从至少能够采集深度数据的采集组件获得三维视频数据;所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

本发明实施例中,所述终端中的提取单元32、确定单元34和分割单元35,在实际应用中可由所述终端中的处理器,比如中央处理器(cpu,centralprocessingunit)、数字信号处理器(dsp,digitalsignalprocessor)、微控制单元(mcu,microcontrollerunit)或可编程门阵列(fpga,field-programmablegatearray)等实现;所述终端中的第一通信单元33,在实际应用中可通过通信模组(包含:基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现;所述终端中的获取单元31,在实际应用中可通过立体摄像头、双目摄像头或结构光摄像头实现,或者可通过通信模组(包含:基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现;所述终端中的检测单元,在实际应用中可由处理器比如cpu、dsp、mcu或fpga等结合通信模组实现。

需要说明的是:上述实施例提供的终端在进行数据处理时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将终端的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的终端与数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

相应地,为实现本发明实施例服务器侧的方法,本发明实施例还提供了一种服务器,具体为mec服务器。图7为本发明实施例的服务器的组成结构示意图;如图7所示,所述服务器包括:第二通信单元41、分析处理单元42和合并单元43;其中,

所述第二通信单元41,用于接收与传输算法相关联的关键数据;

所述分析处理单元42,用于分析所述第二通信单元41接收的所述关键数据,获得分析结果;

所述合并单元43,用于基于所述分析处理单元获得的所述分析结果将预先接收到的深度数据和二维视频数据合成为三维视频数据。

在一实施例中,所述分析处理单元42,用于获得接收时间间隔内接收到的关键数据的变化量,判断所述关键数据的变化量是否超过预设阈值;或者,分析接收时间间隔内接收到的关键数据是否连续;当所述关键数据的变化量超过预设阈值,或者接收时间间隔内接收到的关键数据不连续,表明所述关键数据的稳定性未达到预设稳定性要求。

在一实施例中,如图8所示,所述服务器还包括丢弃处理单元44,用于当所述分析处理单元42获得的分析结果表明所述关键数据的稳定性未达到预设稳定性要求时,确定所述关键数据对应的三维视频数据,丢弃所述三维视频数据。

在一实施例中,所述第二通信单元41,还用于分别接收分割后的三维视频数据;

所述合并单元43,用于按预设算法将所述第二通信单元41接收的所述分割后的三维视频数据合并为三维视频数据。

作为一种实施方式,所述第二通信单元41,用于分别接收多个三维视频数据块;所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;

所述合并单元43,用于按预设算法基于所述多个三维视频数据块中每个三维视频数据块携带有标记信息将所述多个三维视频数据块合并为三维视频数据。

作为另一种实施方式,所述第二通信单元41,用于分别接收至少两个子二维视频数据和至少两个子深度数据;

所述合并单元43,用于按预设算法将所述至少两个子二维视频数据和至少两个子深度数据合并为三维视频数据。

本发明实施例中,所述服务器中的分析处理单元42、丢弃处理单元44和合并单元43,在实际应用中可由所述服务器中的处理器,比如cpu、dsp、mcu或fpga等实现;所述服务器中的第二通信单元41,在实际应用中可通过通信模组(包含:基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现。

需要说明的是:上述实施例提供的服务器在进行数据处理时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将服务器的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的服务器与数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

基于上述设备的硬件实现,本发明实施例还提供了一种数据处理设备,图9为本发明实施例的数据处理设备的硬件组成结构示意图,如图9所示,数据处理设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;作为第一种实施方式,数据处理设备为终端时,位于终端的处理器执行所述程序时实现:获得至少包括深度数据的三维视频数据;从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

在一实施例中,位于终端的处理器执行所述程序时实现:获得三维视频数据后,确定第一配置信息;按照所述第一配置信息从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

在一实施例中,位于终端的处理器执行所述程序时实现:获得三维视频数据后,确定第二配置信息;将所述三维视频数据进行分割,按照所述第二配置信息发送分割后的所述三维视频数据。

在一实施例中,位于终端的处理器执行所述程序时实现:将所述三维视频数据分割为多个三维视频数据块,所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;分别发送所述多个三维视频数据块。

在一实施例中,位于终端的处理器执行所述程序时实现:将所述二维视频数据分割为至少两个子二维视频数据,将所述深度数据分割为至少两个子深度数据;分别发送所述至少两个子二维视频数据和所述至少两个子深度数据。其中,所述三维视频数据包括二维视频数据和深度数据。

在一实施例中,位于终端的处理器执行所述程序时实现:基于所述第一参数查询预先配置的多组参数和配置信息的映射关系,获得与所述第一参数匹配的第一配置信息或第二配置信息。

在一实施例中,位于终端的处理器执行所述程序时实现:从至少能够采集深度数据的采集组件获得三维视频数据;所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

作为第二种实施方式,数据处理设备为mec服务器时,位于服务器的处理器执行所述程序时实现:接收与传输算法相关联的关键数据;分析所述关键数据,获得分析结果;基于所述分析结果将预先接收到的深度数据和二维视频数据合成为三维视频数据。

在一实施例中,位于终端的处理器执行所述程序时实现:获得接收时间间隔内接收到的关键数据的变化量,判断所述关键数据的变化量是否超过预设阈值;或者,分析接收时间间隔内接收到的关键数据是否连续;当所述关键数据的变化量超过预设阈值,或者接收时间间隔内接收到的关键数据不连续,表明所述关键数据的稳定性未达到预设稳定性要求。

在一实施例中,位于终端的处理器执行所述程序时实现:当所述分析结果表明所述关键数据的稳定性未达到预设稳定性要求时,确定所述关键数据对应的三维视频数据,丢弃所述三维视频数据。

在一实施例中,位于终端的处理器执行所述程序时实现:分别接收分割后的三维视频数据,按预设算法将分割后的三维视频数据合并为三维视频数据。

在一实施例中,位于终端的处理器执行所述程序时实现:分别接收多个三维视频数据块;所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;按预设算法基于所述多个三维视频数据块中每个三维视频数据块携带有标记信息将所述多个三维视频数据块合并为三维视频数据。

在一实施例中,位于终端的处理器执行所述程序时实现:分别接收至少两个子二维视频数据和至少两个子深度数据;按预设算法将所述至少两个子二维视频数据和至少两个子深度数据合并为三维视频数据。

可以理解,数据处理设备(终端或服务器)还包括通信接口;数据处理设备(终端或服务器)中的各个组件通过总线系统耦合在一起。可理解,总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。

可以理解,本实施例中的存储器可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(rom,readonlymemory)、可编程只读存储器(prom,programmableread-onlymemory)、可擦除可编程只读存储器(eprom,erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom,electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram,ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom,compactdiscread-onlymemory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram,randomaccessmemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(sram,staticrandomaccessmemory)、同步静态随机存取存储器(ssram,synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram,dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram,synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram,doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram,enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram,synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram,directrambusrandomaccessmemory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、dsp,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成前述方法的步骤。

本发明实施例还提供了一种计算机存储介质,具体为计算机可读存储介质。其上存储有计算机指令,作为第一种实施方式,在计算机存储介质位于终端时,该计算机指令被处理器执行时实现:获得至少包括深度数据的三维视频数据;从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

在一实施例中,该计算机指令被处理器执行时实现:获得三维视频数据后,确定第一配置信息;按照所述第一配置信息从所述三维视频数据中提取出与传输算法相关联的关键数据,按照所述传输算法发送所述关键数据。

在一实施例中,该计算机指令被处理器执行时实现:获得三维视频数据后,确定第二配置信息;将所述三维视频数据进行分割,按照所述第二配置信息发送分割后的所述三维视频数据。

在一实施例中,该计算机指令被处理器执行时实现:将所述三维视频数据分割为多个三维视频数据块,所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;分别发送所述多个三维视频数据块。

在一实施例中,该计算机指令被处理器执行时实现:将所述二维视频数据分割为至少两个子二维视频数据,将所述深度数据分割为至少两个子深度数据;分别发送所述至少两个子二维视频数据和所述至少两个子深度数据。其中,所述三维视频数据包括二维视频数据和深度数据。

在一实施例中,该计算机指令被处理器执行时实现:基于所述第一参数查询预先配置的多组参数和配置信息的映射关系,获得与所述第一参数匹配的第一配置信息或第二配置信息。

在一实施例中,该计算机指令被处理器执行时实现:从至少能够采集深度数据的采集组件获得三维视频数据;所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

作为第二种实施方式,在计算机存储介质位于服务器时,该计算机指令被处理器执行时实现:接收与传输算法相关联的关键数据;分析所述关键数据,获得分析结果;基于所述分析结果将预先接收到的深度数据和二维视频数据合成为三维视频数据。

在一实施例中,该计算机指令被处理器执行时实现:获得接收时间间隔内接收到的关键数据的变化量,判断所述关键数据的变化量是否超过预设阈值;或者,分析接收时间间隔内接收到的关键数据是否连续;当所述关键数据的变化量超过预设阈值,或者接收时间间隔内接收到的关键数据不连续,表明所述关键数据的稳定性未达到预设稳定性要求。

在一实施例中,该计算机指令被处理器执行时实现:当所述分析结果表明所述关键数据的稳定性未达到预设稳定性要求时,确定所述关键数据对应的三维视频数据,丢弃所述三维视频数据。

在一实施例中,该计算机指令被处理器执行时实现:分别接收分割后的三维视频数据,按预设算法将分割后的三维视频数据合并为三维视频数据。

在一实施例中,该计算机指令被处理器执行时实现:分别接收多个三维视频数据块;所述多个三维视频数据块中的每个三维视频数据块携带有标记信息;按预设算法基于所述多个三维视频数据块中每个三维视频数据块携带有标记信息将所述多个三维视频数据块合并为三维视频数据。

在一实施例中,该计算机指令被处理器执行时实现:分别接收至少两个子二维视频数据和至少两个子深度数据;按预设算法将所述至少两个子二维视频数据和至少两个子深度数据合并为三维视频数据。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以至少两个单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是:本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1