一种基于层修复的分布式多视点视频传输的方法和系统与流程

本发明涉及视频传输领域，特别是一种基于层修复的分布式多视点视频传输的方法和系统。

背景技术：

分布式多视点视频编码(distributedmulti-viewvideocoding，dmvc)为无线环境下密集低功耗终端的多视点视频编码带来了新的曙光，其采用独立编码-联合解码的方式，具有编码复杂度低、误码鲁棒性高等特点。然而，编码后数据量大、无线带宽有限且波动大、无线信道传输误码率高等问题对dmvc数据的无线传输带来了新的挑战，使得开展针对dmvc视频数据无线传输技术的研究有着十分重要的学术价值和现实意义。

dmvc系统是独立编码-联合解码，视频数据中的k帧的正确解码有助于生成高质量的边信息，而边信息直接关系到整个dmvc系统的数据压缩率以及视频的恢复效果。基于多视点模型，在易丢失无线网络环境下，如何生成质量稳定、可靠的k帧是dmvc系统传输中的一个亟待解决的问题。

技术实现要素：

鉴于上述问题，本发明提供一种基于层修复的分布式多视点视频传输的方法和系统，在易丢失无线网络环境下，生成了质量更加稳定、可靠的k帧，极好的解决了上述问题。

本发明实施例提供了一种基于层修复的分布式多视点视频传输的方法，所述方法包括：

所述视频采集设备对采集到的视频数据中的k帧和wz帧并行地进行wz编码，并对所述k帧以帧内编码模式进行编码；

所述视频采集设备将wz编码后的k帧码流存储在缓存区；

所述视频采集设备将以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流发送给解码设备；

所述解码设备接收以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流；

所述解码设备检测所述以帧内编码模式进行编码后的k帧码流是否出现丢包或者错误；

在所述以帧内编码模式进行编码后的k帧码流出现丢包或者错误的情况下，所述解码设备向所述视频采集设备发送包信息，所述包信息包括：所述以帧内编码模式进行编码后的k帧码流中丢失的包或者错误的包的标识信息；

所述解码设备接收所述wz编码后的k帧码流中对应所述标识信息的k帧码流；

所述解码设备根据所述以帧内编码模式进行编码后的k帧码流和对应所述标识信息的k帧码流，纠错得到高质量的边信息；

所述解码设备根据所述高质量的边信息、所述以帧内编码模式进行编码后的k帧码流以及所述wz编码后的wz帧码流，解码构建所述采集到的视频数据。

可选地，所述视频采集设备对所述k帧进行wz编码，包括：

所述视频采集设备对所述k帧进行dwt变换，以量化变换后的各子带系数；

所述视频采集设备对量化后的所述k帧提取比特面，并对所述比特面进行信道编码，以实现对所述k帧进行wz编码。

可选地，在所述解码设备向所述视频采集设备发送包信息之后，所述方法还包括：

所述视频采集设备接收所述包信息；

所述视频采集设备根据所述标识信息，将所述wz编码后的k帧码流中对应所述标识信息的包发送给所述解码设备。

可选地，所述解码设备根据所述以帧内编码模式进行编码后的k帧码流和对应所述标识信息的k帧码流，纠错得到高质量的边信息，包括：

所述解码设备根据所述以帧内编码模式进行编码后的k帧码流进行解码，得到受损的k帧对应的受损边信息；

所述解码设备对所述受损边信息进行dwt变换，以量化变换后的各子带系数；

所述解码设备对量化后的所述受损边信息提取比特面，得到所述受损边信息对应的边信息比特面数据；

所述解码设备对所述对应所述标识信息的k帧码流进行信道解码，得到所述对应所述标识信息的k帧的比特面数据；

所述解码设备利用所述对应所述标识信息的k帧的比特面数据，对所述受损边信息比特面数据进行纠错，得到高质量的边信息。

可选地，所述解码设备根据所述以帧内编码模式进行编码后的k帧码流进行解码，得到受损的k帧对应的受损边信息，包括：

所述解码设备采用错误掩盖技术对所述以帧内编码模式进行编码后的k帧码流进行解码，重建出受损的k帧的图像；

所述解码设备采用差错隐藏技术得到质量稍好的所述受损的k帧的图像，确定该图像为所述受损的k帧对应的受损边信息。

可选地，所述视频采集设备将以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流发送给解码设备，所述方法还包括：

所述解码设备接收所述以帧内编码模式进行编码后的k帧码流和所述wz编码后的wz帧码流；

所述解码设备检测所述以帧内编码模式进行编码后的k帧码流没有出现丢包或者错误；

所述解码设备根据所述以帧内编码模式进行编码后的k帧码流和所述wz编码后的wz帧码流，解码构建所述采集到的视频数据。

本发明还提供了一种基于层修复的分布式多视点视频传输的系统，所述系统包括：视频采集设备和解码设备，所述视频采集设备包括：并行编码模块、缓存存储模块、发送码流模块；所述解码设备包括：接收码流模块、检测模块、发送包信息模块、接收对应码流模块、纠错模块、解码构建模块；

所述并行编码模块，用于对采集到的视频数据中的k帧和wz帧并行地进行wz编码，并对所述k帧以帧内编码模式进行编码；

所述缓存存储模块，用于将wz编码后的k帧码流存储在缓存区；

所述发送码流模块，用于将以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流发送给解码设备；

所述接收码流模块，用于接收以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流；

所述检测模块，用于检测所述以帧内编码模式进行编码后的k帧码流是否出现丢包或者错误；

所述发送包信息模块，用于在所述以帧内编码模式进行编码后的k帧码流出现丢包或者错误的情况下，向所述视频采集设备发送包信息，所述包信息包括：所述以帧内编码模式进行编码后的k帧码流中丢失的包或者错误的包的标识信息；

所述接收对应码流模块，用于接收所述wz编码后的k帧码流中对应所述标识信息的k帧码流；

所述纠错模块，用于根据所述以帧内编码模式进行编码后的k帧码流和对应所述标识信息的k帧码流，纠错得到高质量的边信息；

所述解码构建模块，用于根据所述高质量的边信息、所述以帧内编码模式进行编码后的k帧码流以及所述wz编码后的wz帧码流，解码构建所述采集到的视频数据。

可选地，所述并行编码模块包括：

变化量化子模块，用于对所述k帧进行dwt变换，以量化变换后的各子带系数；

提取编码子模块，用于对量化后的所述k帧提取比特面，并对所述比特面进行信道编码，以实现对所述k帧进行wz编码。

可选地，所述视频采集设备还包括：接收包信息模块、发送对应码流模块；

所述接收包信息模块，用于接收所述包信息；

所述发送对应码流模块，用于根据所述标识信息，将所述wz编码后的k帧码流中对应所述标识信息的包发送给所述解码设备。

可选地，所述纠错模块包括：

解码受损边信息子模块，用于根据所述以帧内编码模式进行编码后的k帧码流进行解码，得到受损的k帧对应的受损边信息；

受损边信息变化量化子模块，用于对所述受损边信息进行dwt变换，以量化变换后的各子带系数；

受损边信息提取子模块，用于对量化后的所述受损边信息提取比特面，得到所述受损边信息对应的边信息比特面数据；

对应码流解码子模块，用于对所述对应所述标识信息的k帧码流进行信道解码，得到所述对应所述标识信息的k帧的比特面数据；

纠错子模块，用于利用所述对应所述标识信息的k帧的比特面数据，对所述受损边信息比特面数据进行纠错，得到高质量的边信息。

可选地，所述解码受损边信息子模块具体用于：

采用错误掩盖技术对所述以帧内编码模式进行编码后的k帧码流进行解码，重建出受损的k帧的图像；

采用差错隐藏技术得到质量稍好的所述受损的k帧的图像，确定该图像为所述受损的k帧对应的受损边信息。

本发明提供的基于层修复的分布式多视点视频传输的方法，视频采集设备对采集到的视频数据中的k帧和wz帧并行地进行wz编码，并对k帧以帧内编码模式进行编码；之后将wz编码后的k帧码流存储在缓存区；视频采集设备将以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流发送给解码设备；解码设备在以帧内编码模式进行编码后的k帧码流出现丢包或者错误的情况下，向视频采集设备发送包信息，解码设备接收wz编码后的k帧码流中对应标识信息的k帧码流；解码设备根据以帧内编码模式进行编码后的k帧码流和对应标识信息的k帧码流，纠错得到高质量的边信息；解码设备根据高质量的边信息、以帧内编码模式进行编码后的k帧码流以及wz编码后的wz帧码流，解码构建采集到的视频数据。

本发明的方案，在k帧出现丢包或者错误的情况下，利用缓存中的wz编码的k帧来对其进行纠错，得到高质量的边信息，其充分利用了k帧无丢失的正确解码块，明显提升了k帧的传输质量，实现了dmvc系统的鲁棒传输，且具有不改变dmvc系统k帧压缩性的优势。并且本发明的方案极大的提高了k帧的解码质量，压缩了wz帧的码率，进而改善了dmvc系统的整体rd性能，使得本发明的方案的拓展性、适应性更强。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是目前基于djscc框架的分布式多视点视频传输模型的示意图；

图2是本发明实施例一种基于层修复的分布式多视点视频传输的方法的流程图；

图3是本发明实施例一种基于层修复的分布式多视点视频传输的传输模型的示意图；

图4是本发明实施例中对比三种码率情况下码率值的曲线图；

图5是本发明实施例中对比三种情况下的解码视频质量的解码psnr值曲线图；

图6是本发明实施例中对比三种情况下的k帧解码视频质量的率失真曲线示意图；

图7是本发明实施例中对比三种情况下的wz帧解码视频质量的率失真曲线示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。应当理解，此处所描述的具体实施例仅用以解释本发明，仅仅是本发明一部分实施例，而不是全部的实施例，并不用于限定本发明。

发明人发现dmvc系统的视频数据中的k帧的正确解码有助于生成高质量的边信息，而边信息直接关系到整个dmvc系统的数据压缩率以及视频的恢复效果。基于上述发现，发明人进一步研究如何提高k帧的质量，经过潜心研究，大量实验测试，结合dmvc系统层修复djscc理论框架，达到了k帧质量极大的提升，以下对本发明的方案进行详细解释和说明。

为了能更好的描述本发明的方案，首先对目前的dmvc系统所采用的编、解码方式进行简单描述。参照图1，示出了目前基于djscc框架的分布式多视点视频传输模型的示意图。

如图1，在分布式多视点视频编码框架中的每个视点根据预设的gop分成相应的k帧和wz帧，即，将视频系列分成相应的k帧和wz帧，其中k帧采用目前的压缩编码技术(例如：jpeg2000、h.264intra、hevc等)的帧内编码模式(i编码器)，wz帧采用wyner-ziv编码(wz编码器)。

在编码端各个视点间无需任何信息交互直接进行独立编码，然后将编码后的码流送入无线信道(丢包信道)中传输。

在解码端，首先k帧采用帧内解码；wz帧的解码首先需要生成视点内的时域边信息和视点间的空域边信息，即，以k帧为基础形成的边信息，然后通过一定的融合算法得到最优边信息，最后解码重构出wz帧。

最后将获得的k帧和wz帧按照最开始的gop设置顺序重组为已解码的视频序列，输出给播放设备进行播放。

上述即为目前基于djscc框架的分布式多视点视频传输的过程。参照图2，示出了本发明实施例一种基于层修复的分布式多视点视频传输的方法的流程图，该方法包括：

步骤101：视频采集设备对采集到的视频数据中的k帧和wz帧并行地进行wz编码，并对k帧以帧内编码模式进行编码。

本发明实施例中，视频采集设备同样根据预设的gop将采集到的视频数据分成相应的k帧和wz帧，之后对k帧和wz帧并行地进行wz编码，当然，也需要对k帧以帧内编码模式进行编码，例如：对k帧以hevc帧内编码进行编码等。

可选地，视频采集设备对所述k帧进行wz编码具体包括：

步骤s1：视频采集设备对k帧进行dwt变换，以量化变换后的各子带系数；

步骤s2：视频采集设备对量化后的k帧提取比特面，并对比特面进行信道编码，以实现对k帧进行wz编码。

本发明实施例中，视频采集设备首先对k帧进行dwt变换(discretewavelettransformation离散小波变换)，以量化变换后的各子带系数，之后再对量化后的k帧数据提取比特面，并对比特面进行信道编码，编码完成即实现对k帧进行wz编码。

步骤102：视频采集设备将wz编码后的k帧码流存储在缓存区。

步骤103：视频采集设备将以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流发送给解码设备。

本发明实施例中，在上述编码完成之后，视频采集设备将wz编码后的k帧码流存储在缓存区中，并不传输，而将以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流通过丢包信道发送给解码设备。

需要说明的是，缓存区中同样也可以暂时存储以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流，这样做的好处是：可以降低整个视频数据码流的传输码率，同时降低了无线传输网络的拥塞率。

步骤104：解码设备接收以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流。

步骤105：解码设备检测以帧内编码模式进行编码后的k帧码流是否出现丢包或者错误。

本发明实施例中，解码设备接收到以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流，就需要对其进行检测并解码的操作。在检测过程中，需要判断以帧内编码模式进行编码后的k帧码流是否出现丢包或者错误。

步骤106：在以帧内编码模式进行编码后的k帧码流出现丢包或者错误的情况下，解码设备向视频采集设备发送包信息，包信息包括：以帧内编码模式进行编码后的k帧码流中丢失的包或者错误的包的标识信息。

本发明实施例中，解码设备检测出以帧内编码模式进行编码后的k帧码流出现丢包或者错误，在这种情况下，解码设备向视频采集设备发送包信息，包信息中包括：以帧内编码模式进行编码后的k帧码流中丢失的包或者错误的包的标识信息。需要说明的是，一般情况下，编码后的k帧码流是以数据包的形式进行传输，一整段的k帧码流会被分成多个包来传输，每一个包均会有一个表征该包唯一性的标识信息，这样当某一个包出现丢包或者错误时，解码设备就可以根据这个标识信息知道具体是哪一个包丢失或者错误，则将该标识信息作为包信息发送给视频采集设备。

步骤107：解码设备接收wz编码后的k帧码流中对应标识信息的k帧码流。

本发明实施例中，在解码设备发送包信息后，解码设备会接收到视频采集设备的缓存区中的wz编码后的k帧码流中对应标识信息的k帧码流。

可选地，解码设备发送包信息后，视频采集设备需要执行以下步骤：

步骤t1：视频采集设备接收包信息；

步骤:2：视频采集设备根据标识信息，将wz编码后的k帧码流中对应标识信息的包发送给解码设备。

本发明实施例中，在视频采集设备的缓存区中存储的wz编码后的k帧码流也同样是以包的形式存储，其对应每一个标识信息，在视频采集设备接收到包信息之后，可以根据标识信息，将wz编码后的k帧码流中对应标识信息的包发送给解码设备。

步骤108：解码设备根据以帧内编码模式进行编码后的k帧码流和对应标识信息的k帧码流，纠错得到高质量的边信息。

本发明实施例中，解码设备接收到视频采集设备的缓存区中的wz编码后的k帧码流中对应标识信息的k帧码流之后，根据该码流以及前面已经接收到的以帧内编码模式进行编码后的k帧码流，进行纠错，从而得到高质量的边信息。该高质量的边信息对比于目前技术只基于k帧形成的边信息的质量更加优秀，图像更加清晰。

可选地，步骤108具体包括：

步骤v1：解码设备根据以帧内编码模式进行编码后的k帧码流进行解码，得到受损的k帧对应的受损边信息；

步骤v2：解码设备对受损边信息进行dwt变换，以量化变换后的各子带系数；

步骤v3：解码设备对量化后的受损边信息提取比特面，得到受损边信息对应的边信息比特面数据；

步骤v4：解码设备对对应标识信息的k帧码流进行信道解码，得到对应标识信息的k帧的比特面数据；

步骤v5：解码设备利用对应标识信息的k帧的比特面数据，对受损边信息比特面数据进行纠错，得到高质量的边信息。

本发明实施例中，解码设备在得到对应标识信息的k帧码流后，首先根据以帧内编码模式进行编码后的k帧码流进行解码，得到受损的k帧对应的受损边信息，具体的，解码设备采用错误掩盖技术对以帧内编码模式进行编码后的k帧码流进行解码，重建出受损的k帧的图像；之后解码设备采用差错隐藏技术得到质量稍好的受损的k帧的图像，确定该图像为受损的k帧对应的受损边信息。

之后解码设备再对受损边信息进行dwt变换，以量化变换后的各子带系数，对量化后的受损边信息提取比特面，得到受损边信息的比特面数据，然后，对接收到的对应标识信息的k帧码流进行信道解码，得到对应标识信息的k帧的比特面数据，最后，解码设备利用对应标识信息的k帧的比特面数据，对受损边信息比特面数据进行纠错，即，对受损的k帧的图像进行纠错，这种纠错就使得到的边信息相较于目前只基于k帧形成的边信息质量更高，图像更清晰。

步骤109：解码设备根据高质量的边信息、以帧内编码模式进行编码后的k帧码流以及wz编码后的wz帧码流，解码构建采集到的视频数据。

本发明实施例中，在得到高质量的边信息之后，解码设备根据该高质量的边信息、以帧内编码模式进行编码后的k帧码流以及wz编码后的wz帧码流，就可以解码构建采集到的视频数据，由于边信息的质量比之目前技术的更高，那么解码得到的wz编码后的wz帧的图像质量更高，更清晰，这样就使得最终重新构建出的视频数据对应的图像画面质量更高，更清晰。

可选地，上述过程中，假若解码设备接收以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流之后；检测以帧内编码模式进行编码后的k帧码流没有出现丢包或者错误；则解码设备按照目前已有技术相同的方式，根据以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流，解码构建采集到的视频数据。

上述整个过程可以以图3来更直观的得到展现，参照图3，示出了本发明实施例一种基于层修复的分布式多视点视频传输的传输模型的示意图，图中由于wz帧的wz编码与目前技术相同，因此并没有示出，只针对k帧的情况进行示出，k帧采用hevc帧内编码的同时，也用wz编码器对k帧进行dwt变化、量化以及信道编码，之后将其存储在缓存区中，hevc帧内编码的k帧通过丢包信道传输给解码端，解码端检测到hevc帧内编码的k帧有丢包或者错误时，解码端向编码端发送包信息，编码端接收到之后，将缓存区中对应包信息的wz编码的k帧发送给解密端；另外，编码端也可以根据解码端发送的码率，进行码率估计，得到对应丢失或者错误的k帧的wz编码的k帧；解码端采用错误掩盖技术对接收的hevc帧内编码的k帧解码重建出一幅质量受损图像；然后进行差错隐藏获得质量好一点的图像，将该质量好一点的图像作为当前k帧的边信息；同时解码端的wz解码器对当前k帧的边信息采用相同的dwt变换、量化和比特面提取后，得到与当前k帧比特面对应的边信息比特面数据，最后wz解码器根据接收到的对应标识信息的wz编码的k帧的比特面数据，来对受损的边信息比特面数据进行纠错，从而得到更高质量的边信息，这样就实现了本发明的技术方案。

以下，为了验证本发明的方法的有效性，分别进行了以下仿真测试：

参照图4，示出了本发明实施例中对比三种码率情况下码率值的曲线图，具体的：

方案一：最低码率；

方案二：实际码率；

方案三：本发明的方法。

图中纵轴表示码率大小(rate，单位为bps)，横轴表示视频序列的帧序号(no.ofkendo)，分别得到了第1帧到第50帧的码率情况。由加号和点划线组成的曲线为方案1的最低码率值，由方框和点划线组成的曲线为方案2的实际码率值，由星型和点划线组成的曲线为方案3的码率估计值。由此可知，本发明的方法的码率值更低、更好。

参照图5，示出了本发明实施例中对比三种情况下的解码视频质量的解码psnr值曲线图，具体的：

方案一：k帧无丢失情况；

方案二：k帧有丢失但无修复；

方案三：本发明的方法。

图中纵轴表示图像质量大小的psnr值，单位为db，横轴表示视频序列的帧序号，分别得到了第1帧到第20帧的解码质量psnr值。由星型和点划线组成的曲线为方案1的无丢失时解码psnr值，由三角形和点划线组成的曲线为方案2的有丢失但无修复时的解码psnr值，由圆形和点划线组成的曲线为方案3的利用了本发明的方法的解码psnr值。由此可知，本发明的方法的解码视频质量更高、也更好。

参照图6，示出了本发明实施例中对比三种情况下的k帧解码视频质量的率失真曲线示意图，具体的：

方案一：k帧无丢失情况；

方案二：k帧有丢失但无修复；

方案三：本发明的层修复方法。

图中纵轴表示图像质量大小的psnr值，单位为db，横轴表示视频序列传输所需的码率值。其中，虚线为方案1的k帧无丢失时的率失真曲线，圆形和虚线组成的曲线为方案2的k帧有丢失(丢失率5％)但无修复时的率失真曲线，方框和虚线组成的曲线为方案2的k帧有丢失(丢失率10％)但无修复时的率失真曲线。由圆形和实现组成的曲线为方案3的k帧有丢失(丢失率5％)有修复时的率失真曲线，由方框和实现组成的曲线为方案3的k帧有丢失(丢失率10％)时的率失真曲线。由此可知，本发明的方法的k帧解码视频质量更高、也更好。

参照图7，示出了本发明实施例中对比三种情况下的wz帧解码视频质量的率失真曲线示意图，具体的：

方案一：k帧无丢失情况；

方案二：k帧有丢失但无修复；

方案三：本发明的层修复方法。

图中纵轴表示图像质量大小的psnr值，单位为db，横轴表示视频序列传输所需的码率值。其中，虚线为方案1的k帧无丢失时的率失真曲线，圆形和虚线组成的曲线为方案2的k帧有丢失(丢失率5％)但无修复时的率失真曲线，方框和虚线组成的曲线为方案2的k帧有丢失(丢失率10％)但无修复时的率失真曲线。由圆形和实现组成的曲线为方案3的k帧有丢失(丢失率5％)有修复时的率失真曲线，由方框和实现组成的曲线为方案3的k帧有丢失(丢失率10％)时的率失真曲线。由此可知，本发明的方法的wz帧解码视频质量更高、也更好。

通过上述实施例，本发明提供的基于层修复的分布式多视点视频传输的方法，视频采集设备对采集到的视频数据中的k帧和wz帧并行地进行wz编码，并对k帧以帧内编码模式进行编码；之后将wz编码后的k帧码流存储在缓存区；视频采集设备将以帧内编码模式进行编码后的k帧码流和wz编码后的wz帧码流发送给解码设备；解码设备在以帧内编码模式进行编码后的k帧码流出现丢包或者错误的情况下，向视频采集设备发送包信息，解码设备接收wz编码后的k帧码流中对应标识信息的k帧码流；解码设备根据以帧内编码模式进行编码后的k帧码流和对应标识信息的k帧码流，纠错得到高质量的边信息；解码设备根据高质量的边信息、以帧内编码模式进行编码后的k帧码流以及wz编码后的wz帧码流，解码构建采集到的视频数据。本发明的方案，在k帧出现丢包或者错误的情况下，利用缓存中的wz编码的k帧来对其进行纠错，得到高质量的边信息，其充分利用了k帧无丢失的正确解码块，明显提升了k帧的传输质量，实现了dmvc系统的鲁棒传输，且具有不改变dmvc系统k帧压缩性的优势。并且本发明的方案极大的提高了k帧的解码质量，压缩了wz帧的码率，进而改善了dmvc系统的整体rd性能，使得本发明的方案的拓展性、适应性更强。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

上面结合附图对本发明的实施例进行了描述，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。