可变帧率音视频处理方法、设备及存储介质与流程

1.本技术涉及音视频技术领域，尤其涉及一种可变帧率音视频处理方法、 设备及存储介质。


背景技术：

2.随着视频平台，尤其是短视频平台的快速发展，越来越多的技术应用在 音视频处理的技术领域，由此也对音视频技术提出了更高的要求。
3.目前，由于可变帧率的视频编码具有减少视频文件的体积的优点，因此 采用可变帧率对视频文件进行编码被广泛应用。但由于帧率可变，解码端在 解码时，难以准确还原视频文件。


技术实现要素：

4.本技术的主要目的在于提供一种可变帧率音视频处理方法、设备及存储 介质，旨在解决现有技术中解码端难以准确还原采用可变帧率编码的视频文 件的技术问题。
5.为实现上述目的，本技术提供一种可变帧率音视频处理方法，应用于编 码端，所述可变帧率音视频处理方法包括：
6.确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少 连续的两帧，且所述第一类帧中不同帧的画面内容相同；
7.确定所述第一类帧的帧总数；
8.对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧进 行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧信 息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系。
9.可选地，所述视频文件包括文件头，所述编码信息包括所述文件头的编 码子信息；所述编码子信息中包括所述第一类帧中编码的帧信息和所述第一 类帧中编码的帧信息与所述帧总数之间的对应关系。
10.可选地，所述对视频文件进行编码，得到编码信息的步骤之前，所述方 法包括：
11.确定每个预设时长中非第一类帧；
12.确定各预设时长中第一类帧和非第一类帧的显示顺序信息；
13.基于所述第一帧总数和所述显示顺序信息，得到每个预设时长的播放矩 阵信息。
14.可选地，所述编码信息中还包括所述播放矩阵信息、所述非第一类帧中 的帧信息。
15.本技术还提供一种可变帧率音视频处理方法，应用于解码端，所述可变 帧率音视频处理方法包括：
16.获取视频文件的编码信息，其中，所述编码信息中包括每个预设时长中 第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间 的对应关系；所述第一类帧中包括至少连续的两帧，且所述第一类帧中不同 帧的画面内容相同；所述第一类帧
中仅一帧进行编码，其余帧不再编码；
17.基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和所述 第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到所述 视频文件。
18.可选地，所述编码信息中还包括每个预设时长的播放矩阵信息和非第一 类帧中的帧信息，所述播放矩阵信息由所述帧总数、第一类帧和非第一类帧 的显示顺序信息确定的；
19.所述基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和 所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到 所述视频文件的步骤，包括：
20.基于所述所述第一类帧中编码的帧信息与所述帧总数之间的对应关系、 所述第一类帧中编码的帧信息、所述显示顺序信息、非第一类帧中的帧信息， 还原第一类帧和非第一类帧；
21.基于还原的第一类帧和还原的非第一类帧得到所述视频文件。
22.可选地，所述基于还原的第一类帧得到所述视频文件的步骤之后，还包 括：
23.基于所述所述帧总数和非第一类帧的总数，对所述预设时长进行时间的 划分，得到单位播放时间；
24.确定所述预设时长对应的起始时间戳；
25.基于所述起始时间戳、所述单位播放时间、所述显示顺序信息、所述帧 总数和非第一类帧的总数，确定所述第一类帧的第一播放时间戳和所述非第 一类帧的第二播放时间戳；
26.将所述第一播放时间戳和第二播放时间戳作为所述视频文件的视频播放 时间戳；
27.确定所述视频文件的采样信息，基于所述采样信息确定所述视频文件中 音频的音频播放时间戳；
28.将所述音频播放时间戳与所述视频播放时间戳进行误差对比，得到第一 误差；
29.若所述第一误差在第一预设阈值范围内，则对所述视频文件进行音视频 同步播放；
30.若所述第一误差在第一预设阈值范围外，则通过预设第一阻塞调节流程， 以对所述视频文件进行音视频同步播放。
31.可选地，所述基于所述确定所述视频文件的采样信息，基于所述采样信 息确定所述视频文件中音频的音频播放时间戳的步骤之后，所述方法还包括：
32.确定所述视频文件的系统播放时间戳；
33.将所述系统播放时间戳分别和所述音频播放时间戳进行比对，得到第二 误差；
34.将所述系统播放时间戳分别和所述视频播放时间戳进行比对，得到第三 误差；
35.若所述第二误差在第二预设阈值范围内，且所述第三误差在第三预设阈 值范围内，则对所述视频文件进行音视频同步播放；
36.若所述第二误差不在第二预设阈值范围内，或者所述第三误差不在第三 预设阈值范围内，则通过预设第二阻塞调节流程，以对所述视频文件进行音 视频同步播放。
37.本技术还提供一种可变帧率音视频处理装置，应用于编码端，所述可变 帧率音视
频处理装置包括：
38.第一确定模块，用于确定视频文件的每个预设时长中的第一类帧，所述 第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
39.第二确定模块，用于确定所述第一类帧的帧总数；
40.编码模块，用于对视频文件进行编码，得到编码信息；其中，所述第一 类帧中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类 帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系。
41.本技术还提供一种可变帧率音视频处理装置，应用于解码端，所述可变 帧率音视频处理装置包括：
42.获取模块，用于获取视频文件的编码信息，其中，所述编码信息中包括 每个预设时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与 所述帧总数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述 第一类帧中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余 帧不再编码；
43.还原模块，用于基于所述第一类帧中编码的帧信息与所述帧总数之间的 对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第 一类帧得到所述视频文件。
44.本技术还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于编码 端的可变帧率音视频处理方法的程序，
45.所述存储器用于存储实现所述应用于编码端的可变帧率音视频处理方法 的程序；
46.所述处理器用于执行实现所述应用于编码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于编码端的可变帧率音视频处理方法的步骤。
47.本技术还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于解码 端的可变帧率音视频处理方法的程序，
48.所述存储器用于存储实现所述应用于解码端的可变帧率音视频处理方法 的程序；
49.所述处理器用于执行实现所述应用于解码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于解码端的可变帧率音视频处理方法的步骤。
50.本技术实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于编码端的可变帧率音视频处理方法 的步骤。
51.本技术实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于解码端的可变帧率音视频处理方法 的步骤。
52.本技术提供的一种可变帧率音视频处理方法、设备及存储介质，与现有 技术中解码端难以准确还原采用可变帧率编码的视频文件相比，在本技术中， 确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少连续 的两帧，且所述第一类帧中不同帧
的画面内容相同；确定所述第一类帧的帧 总数；对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧 进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧 信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，即在本 申请中，针对采用可变帧率编码的视频文件(视频文件中包括第一类帧，第 一类帧包括至少连续的两帧，且不同帧的画面内容相同，且第一类帧中只对 仅一帧进行编码，其余帧不再编码)，确定所述第一类帧的帧总数，确定第 一类帧中编码的帧信息，进而确定所述第一类帧中编码的帧信息与所述帧总 数之间的对应关系，并在视频文件的编码信息中保存所述第一类帧中编码的 帧信息，和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因 而，便于基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系， 将第一类帧中编码的帧信息还原为第一类帧，进而，实现准确还原采用可变 帧率编码的视频文件。
附图说明
53.图1是本技术实施例方案涉及的硬件运行环境的设备结构示意图；
54.图2为为本技术可变帧率音视频处理方法第一实施例的流程示意图；
55.图3为本技术可变帧率音视频处理方法第三实施例的流程示意图；
56.图4为本技术可变帧率音视频处理方法中编码端对视频文件进行编码后， 通过解码端进行解码的场景示意图；
57.图5为本技术可变帧率音视频处理方法中每个预设时长不同播放矩阵信 息的示意图。
58.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步 说明。
具体实施方式
59.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限 定本技术。
60.如图1所示，图1是本技术实施例方案涉及的硬件运行环境的终端结构 示意图。
61.本技术实施例终端可以是pc，也可以是智能手机、平板电脑、电子书阅 读器、mp3(moving picture experts group audio layer iii，动态影像专家压缩 标准音频层面3)播放器、mp4(moving picture experts group audio layer iv， 动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可 移动式终端设备。
62.如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004， 用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现 这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入 单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、 无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi 接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立 于前述处理器1001的存储装置。
63.可选地，终端还可以包括摄像头、rf(radio frequency，射频)电路， 传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感 器以及其他传感器。具体地，光
传感器可包括环境光传感器及接近传感器， 其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感 器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一 种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静 止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横 竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、 敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红 外线传感器等其他传感器，在此不再赘述。
64.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限 定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部 件布置。
65.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系 统、网络通信模块、用户接口模块以及网络操作控制应用程序。
66.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台 服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客 户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的网络 操作控制应用程序。
67.参照图2，本技术实施例提供一种可变帧率音视频处理方法，应用于编码 端，所述可变帧率音视频处理方法包括：
68.步骤s100，确定视频文件的每个预设时长中的第一类帧，所述第一类帧 中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
69.步骤s200，确定所述第一类帧的帧总数；
70.步骤s300，对视频文件进行编码，得到编码信息；其中，所述第一类帧 中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中 编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关 系。
71.具体步骤如下：
72.步骤s100，确定视频文件的每个预设时长中的第一类帧，所述第一类帧 中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
73.在本实施例中，需要说明的是，可变帧率音视频处理方法可以应用于编 码端，该编码端属于可变帧率音视频处理系统，该可变帧率音视频处理系统 从属于可变帧率音视频处理设备。
74.在本实施例中，具体的应用场景可以是：
75.由于可变帧率的视频编码具有减少视频文件的体积的优点，因此采用可 变帧率对视频文件进行编码被广泛应用。但由于帧率可变，解码端在解码时， 难以准确还原视频文件。
76.而在本技术中，对于可变帧率音视频处理系统而言，设置有编码端，该 编码端针对采用可变帧率编码的视频文件(视频文件中包括第一类帧，第一 类帧包括至少连续的两帧，且不同帧的画面内容相同，且第一类帧中只对仅 一帧进行编码，其余帧不再编码)，确定所述第一类帧的帧总数，确定第一 类帧中编码的帧信息，进而确定所述第一类帧中编码的帧信息与所述帧总数 之间的对应关系，并在视频文件的编码信息中保存所述第一类帧中编码的帧 信息，和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因而， 便于基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，将第 一类帧中编码的帧信息还原为第一类帧，进而，实现准确还原采用可变帧率 编码的视频文件。
77.也即，在本技术中，避免由于不明确可变帧率对应帧的播放次数，或者 预设时长，导致还原不准确。
78.在本实施例中，视频文件可以是wmv格式，也可以是mpeg格式，还 可以是mp4格式的视频文件，在本实施例中不做限定。
79.在本实施例中，首先接收视频文件，其中，编码端接收视频文件的方式 可以是：
80.方式一：接收客户端上传的视频文件，其中，视频文件是用户在客户端 选择的。
81.方式二：接收网页服务器端传输的视频文件，其中，视频文件是用户在 网页端下载的文件。
82.在本实施例中，第一类帧中包括至少连续的两帧，且所述第一类帧中不 同帧的画面内容相同(人视觉上看不出区别的帧，或者观感上无差别的帧)。
83.例如，视频文件由帧a1，b1，b2，b3，c1、c2，d1，e1，f1构成。
84.其中，b1，b2，b3为连续的帧，且b1，b2，b3的画面内容相同(观感上 无差别的帧)，则第一类帧为b1，b2，b3。
85.同样地，c1、c2为连续的帧，且c1、c2的画面内容相同(观感上无差别 的帧)，则第一类帧为c1、c2。
86.又例如，视频文件由帧a，b1，b2，c构成。
87.其中，b1，b2为连续的帧，且b1，b2的画面内容相同(观感上无差别的 帧)，则第一类帧为b1，b2。
88.步骤s200，确定所述第一类帧的帧总数；
89.具体地，若第一类帧为b1，b2，b3，则第一类帧的帧总数为3；
90.若第一类帧为c1、c2，则第一类帧的帧总数为2。
91.步骤s300，对视频文件进行编码，得到编码信息；其中，所述第一类帧 中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中 编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关 系。
92.需要说明的是，编码端在编码时，为节省空间提升性能，使用可变帧率 进行编码，即第一类帧中只对仅一帧进行编码，其余帧不再编码。
93.例如第一类帧为b1、b2、b3，则只对b1进行编码，得到第一类帧中编码 的帧信息；
94.或者例如第一类帧为b1、b2、b3，则只对b2进行编码，得到第一类帧中 编码的帧信息；
95.或者例如第一类帧为b1、b2、b3，则只对b2进行编码，得到第一类帧中 编码的帧信息。
96.或者例如第一类帧为c1、c2，则只对c1进行编码，得到第一类帧中编码 的帧信息；
97.例如第一类帧为c1、c2，则只对c2进行编码，得到第一类帧中编码的帧 信息。
98.在这样的情况下，若某一预设时长中未编码的帧为[a1，b1，b2，b3，c1、 c2，d1，e1，f1]，则实际只需编码的帧为：[a1，b1，c1，d1，e1，f1]进行编 码或者[a1，b2，c1，d1，e1，f1]等，而不是对全部的[a1，b1，b2，b3，c1、 c2，d1，e1，f1]进行编码，因而，可以节省内存空间，且可以加快视频传输 速度。
[0099]
而若另一预设时长中帧为[a2，b2，g1，h3，i1、j2，k1，m1，n1]，则 需要对全部的[a2，b2，g1，h3，i1、j2，k1，m1，n1]进行编码。
[0100]
也即，对同一预设时长中的帧，编码端是基于可变帧率进行编码的。
[0101]
在本实施例中，在对视频文件进行编码后，得到编码信息。
[0102]
其中，所述编码信息中包括所述第一类帧中编码的帧信息；
[0103]
具体地，由于视频文件中包括第一类帧，很显然，视频文件中的第一类 帧包括第一类帧中编码的帧信息，例如，视频文件中包括第一类帧b1、b2、 b3，则编码信息中包括第一类帧中编码的帧信息，该第一类帧中编码的帧信 息可以只为b1(对b1编码后得到)，可以只为b2(对b2编码后得到)，可 以为只b3(对b3编码后得到)。
[0104]
再例如，视频文件中包括第一类帧c1、c2，则编码信息中包括第一类帧 中编码的帧信息，该第一类帧中编码的帧信息可以只为c1(对c1编码后得 到)，可以只为c2(对c2编码后得到)，可以只为c3(对c3编码后得到)。
[0105]
在本实施例中，所述编码信息中包括所述第一类帧中编码的帧信息与所 述帧总数之间的对应关系。
[0106]
例如，第一类帧中编码的帧信息为b1，第一类帧为b1、b2、b3，则所述 第一类帧中编码的帧信息与所述帧总数之间的对应关系为：b1-3。
[0107]
需要说明的是，若任一帧(一般帧)的预设时长(播放1ms)是确定的， 所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，表明在播放时 第一类帧实际上要播放3次，或者第一类帧的预设时长，是3倍于一般帧的 预设时长(播放3ms)。
[0108]
例如，第一类帧中编码的帧信息为c1，第一类帧为c1、c2，则所述第一 类帧中编码的帧信息与所述帧总数之间的对应关系为：c1-2。
[0109]
若任一帧的预设时长(播放1ms)是确定的，建立的第一类帧中编码的 帧信息c1和帧总数2的对应关系，表明在播放时c帧实际上要播放2次，或 者c帧的预设时长，是2倍于基础帧的预设时长(播放2ms)。
[0110]
在本实施例中，由于存在多个多个不同的第一类帧，很显然，第一类帧 中编码的帧信息具有多个，所述第一类帧中编码的帧信息与所述帧总数之间 的对应关系也具有多个。
[0111]
例如b1-2，c1-3都是第一类帧中编码的帧信息与所述帧总数之间的对应 关系。
[0112]
在本实施例中，第一类帧中编码的帧信息与所述帧总数之间的对应关系 具体表现形式可以是矩阵形式。
[0113]
具体矩阵形式如下：
[0114]
第一类帧中编码的帧信息为[b1，c1]，则第一类帧中编码的帧信息与所 述帧总数之间的对应关系为[3，2]。
[0115]
在本实施例中，所述编码信息中包括所述第一类帧中编码的帧信息和所 述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因而，相应后续 解码端可以明确第一类帧中编码的帧信息对应的帧总数为3，明确c1对应的 对应关系为2，因而，便于将第一类帧中编码的帧信息还原为第一类帧。
[0116]
例如，第一类帧中编码的帧信息为b1，第一类帧中编码的帧信息对应的 帧总数为3，则基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关 系，则可以将b1还原为[b1，b2，b3]。
[0117]
整体地，例如，如图4所示，视频文件由帧[a，b1，b2，c]构成。
[0118]
其中，b1，b2为连续的帧，且b1，b2的画面内容相同(观感上无差别的 帧)，则第一类帧为b1，b2。a对应的编码的帧信息为a，b1，b2对应的编 码的帧信息为b，c对应的编码的帧信息为c。
[0119]
则视频文件的编码的帧信息为[a，b，c]，把视频文件的编码的帧信息为 [a，b，c]保存在编码信息中，并保存第一类帧中编码的帧信息与所述帧总数 之间的对应关系，便于后续把编码的帧信息[a，b，c]还原为视频文件[a，b1， b2，c]。
[0120]
本技术提供的一种可变帧率音视频处理方法、设备及存储介质，与现有 技术中解码端难以准确还原采用可变帧率编码的视频文件相比，在本技术中， 确定视频文件的每个预设时长中的第一类帧，所述第一类帧中包括至少连续 的两帧，且所述第一类帧中不同帧的画面内容相同；确定所述第一类帧的帧 总数；对视频文件进行编码，得到编码信息；其中，所述第一类帧中仅一帧 进行编码，其余帧不再编码；所述编码信息中包括所述第一类帧中编码的帧 信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，即在本 申请中，针对采用可变帧率编码的视频文件(视频文件中包括第一类帧，第 一类帧包括至少连续的两帧，且不同帧的画面内容相同，且第一类帧中只对 仅一帧进行编码，其余帧不再编码)，确定所述第一类帧的帧总数，确定第 一类帧中编码的帧信息，进而确定所述第一类帧中编码的帧信息与所述帧总 数之间的对应关系，并在视频文件的编码信息中保存所述第一类帧中编码的 帧信息，和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系，因 而，便于基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系， 将第一类帧中编码的帧信息还原为第一类帧，进而，实现准确还原采用可变 帧率编码的视频文件。
[0121]
基于上述第一实施例，本技术还提供另一实施例，在该实施例中，所述 视频文件包括文件头，所述编码信息包括所述文件头的编码子信息；所述编 码子信息中包括所述第一类帧中编码的帧信息和所述第一类帧中编码的帧信 息与所述帧总数之间的对应关系。
[0122]
在本实施例中，视频文件包括文件头和文件体，文件头包含视频格式、 版本等信息，文件体用于存储数据，其中包含了audio，video，scripts等元数 据，所述编码信息包括所述文件头的编码子信息；所述编码子信息中包括所 述第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之 间的对应关系。也即，在本实施例中，所述第一类帧中编码的帧信息和所述 第一类帧中编码的帧信息与所述帧总数之间的对应关系置于文件头的编码子 信息，由于文件头的编码子信息便于读取，因而，可以便于后续解码端提升 读取速度。
[0123]
在本实施例中，如图3所示，所述对视频文件进行编码，得到编码信息 的步骤之前，所述方法包括：
[0124]
步骤s001，确定每个预设时长中非第一类帧；
[0125]
步骤s002，确定各预设时长中第一类帧和非第一类帧的显示顺序信息；
[0126]
步骤s003，基于所述第一帧总数和所述显示顺序信息，得到每个预设时 长的播放矩阵信息。
[0127]
在本实施例中，非第一类帧是变化的帧，该非第一类帧的帧数为1；
[0128]
例如，视频文件由帧a1，b1，b2，b3，c1、c2，d1，e1，f1构成，帧a1， d1，e1，f1均为非第一类帧，也即，第一类帧外的其他帧是非第一类帧，非 第一类帧a1的帧数为1，非第一类
帧d1的帧数为1，非第一类帧e1的帧数为 1，非第一类帧f1的帧数为1。
[0129]
在本实施例中，直接读取第一类帧和非第一类帧的显示顺序信息，例如 某一预设时长中第一类帧和非第一类帧的显示顺序信息为[a1，b1，b2，b3， c1、c2，d1，e1，f1]，则先显示a1，然后显示b1，然后显示c1，然后显示d1， 然后显示e1，然后显示f1。
[0130]
基于所述第一帧总数(b1-3，c1-2)和所述显示顺序信息(先显示a1，然 后显示b1，然后显示c1，然后显示d1，然后显示e1，然后显示f)，得到每 个预设时长的播放矩阵信息，则矩阵信息为[1，3，2，1]。
[0131]
其中，所述编码信息中还包括所述播放矩阵信息(如图5所示)、所述 非第一类帧中的帧信息。
[0132]
在本实施例中，所述编码信息中还包括所述播放矩阵信息、所述非第一 类帧中的帧信息，因而，便于将非第一类帧中编码的帧信息还原为非第一类 帧。
[0133]
在本实施例中，通过所述对视频文件进行编码，得到编码信息的步骤之 前，所述方法包括：确定每个预设时长中非第一类帧；确定各预设时长中第 一类帧和非第一类帧的显示顺序信息；基于所述第一帧总数和所述显示顺序 信息，得到每个预设时长的播放矩阵信息。在本实施例中，将第一类帧中编 码的帧信息还原为第一类帧，将非第一类帧中编码的帧信息还原为非第一类 帧。进而，可以实现准确还原采用可变帧率编码的视频文件。
[0134]
基于上述第一实施例和第二实施例，本技术还提供另一实施例，在该实 施例中，参照图3，应用于解码端，所述可变帧率音视频处理方法包括：
[0135]
步骤a100，获取视频文件的编码信息，其中，所述编码信息中包括每个 预设时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述 帧总数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述第一 类帧中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余帧不 再编码；
[0136]
步骤a200，基于所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类 帧得到所述视频文件。
[0137]
在本实施例中，解码端可以是播放端。
[0138]
在本实施例中，解码端接收从编码端发送的视频文件的编码信息，其中， 解码端可以通过有线或无线的方式接收从编码端发送的视频文件的编码信 息。
[0139]
在本实施例中，所述编码信息中包括每个预设时长中第一类帧中编码的 帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应关系；所述 第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同； 所述第一类帧中仅一帧进行编码，其余帧不再编码。
[0140]
也即，视频文件是基于可变帧率进行编码的。
[0141]
由于所述编码信息中包括每个预设时长中第一类帧中编码的帧信息和所 述第一类帧中编码的帧信息与所述帧总数之间的对应关系，例如，对应关系 可以是：第一类帧中编码的帧信息为b1，第一类帧为b1、b2、b3，也即，第 一类帧中编码的帧信息b1和帧总数3之间存在对应关系，解码端可以读取到 第一类帧中编码的帧信息b1和帧总数3之间存在的对应关系。
[0142]
在本实施例中，解码端是从文件头的编码子信息中读取得到所述第一类 帧中编
码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系的。
[0143]
例如，文件头的编码子信息的第一类帧中编码的帧信息为b1、c1，其中， 对应关系为b1-3，c1-2。
[0144]
则基于上述编码子信息，将第一类帧中编码的帧信息还原成第一类帧。
[0145]
具体地，基于b1-3，将第一类帧中编码的帧信息还原为第一类帧为b1、 b2、b3。
[0146]
具体地，基于c1-2，将第一类帧中编码的帧信息还原为第一类帧为c1、 c2。
[0147]
在还原为第一类帧后，在本实施例中，基于还原的第一类帧为准确得到 所述视频文件奠定基础。
[0148]
基于上述第一实施例、第二实施例和第三实施例，本技术还提供另一实 施例，在该实施例中，所述编码信息中还包括每个预设时长的播放矩阵信息 和非第一类帧中的帧信息，所述播放矩阵信息由所述帧总数、第一类帧和非 第一类帧的显示顺序信息确定的；
[0149]
所述基于所述第一类帧中编码的帧信息与所述帧总数之间的对应关系和 所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第一类帧得到 所述视频文件的步骤，包括：
[0150]
步骤a201，基于所述所述第一类帧中编码的帧信息与所述帧总数之间的 对应关系、所述第一类帧中编码的帧信息、所述显示顺序信息、非第一类帧 中的帧信息，还原第一类帧和非第一类帧；
[0151]
步骤a202，基于还原的第一类帧和还原的非第一类帧得到所述视频文件。
[0152]
在本实施例中，非第一类帧是除第一类帧之外的帧，该非第一类帧的帧 数为1；
[0153]
例如，视频文件由帧a1，b1，b2，b3，c1、c2，d1，e1，f1构成，帧a1， d1，e1，f1均为非第一类帧，也即，第一类帧外的其他帧是非第一类帧，非 第一类帧a1的帧数为1，非第一类帧d1的帧数为1，非第一类帧e1的帧数为 1，非第一类帧f1的帧数为1。
[0154]
在本实施例中，所述编码信息中还包括每个预设时长的播放矩阵信息和 非第一类帧中的帧信息，所述播放矩阵信息由所述帧总数、第一类帧和非第 一类帧的显示顺序信息确定的。
[0155]
在本实施例中，对于编码端而言，直接读取所述所述第一类帧中编码的 帧信息与所述帧总数之间的对应关系、所述第一类帧中编码的帧信息、所述 显示顺序信息、非第一类帧中的帧信息，基于所述所述第一类帧中编码的帧 信息与所述帧总数之间的对应关系、所述第一类帧中编码的帧信息、所述显 示顺序信息、非第一类帧中的帧信息，还原第一类帧和非第一类帧。
[0156]
具体地，例如某一预设时长中第一类帧和非第一类帧的显示顺序信息为 [a1，b1，b2，b3，c1、c2，d1，e1，f1]，则显示顺序信息为：先显示a1，然 后显示b1，然后显示c1，然后显示d1，然后显示e1，然后显示f1。
[0157]
基于所述所述第一类帧中编码的帧信息(b1，c1)，第一类帧中编码的 帧信息与所述帧总数之间的对应关系(b1-3，c1-2)和所述显示顺序信息(先 显示a1，然后显示b1，然后显示c1，然后显示d1，还原第一类帧[b1，b2， b3]，以及[c1、c2]，和非第一类帧[a1]、[d1]、[e1]、[f1]、[a1]。
[0158]
基于还原的第一类帧和还原的非第一类帧得到所述视频文件[a1，b1，b2， b3，c1、c2，d1，e1，f1]。
[0159]
在本实施例中，实现视频文件的准确还原。
[0160]
基于上述第一实施例、第二实施例、第三实施例和第四实施例，本技术 还提供另一实施例，在该实施例中，
[0161]
所述基于还原的第一类帧得到所述视频文件的步骤之后，还包括：
[0162]
步骤a203，基于所述所述帧总数和非第一类帧的总数，对所述预设时长 进行时间的划分，得到单位播放时间；
[0163]
在本实施例中，基于所述所述帧总数和非第一类帧的总数，对所述预设 时长进行时间的划分，得到单位播放时间，其中，单位播放时间的计算公式 为：
[0164]
α/β
[0165]
其中α表示帧总数和非第一类帧的总数之和，β表示视频播放时实际的固 定帧率。
[0166]
例如，表示帧总数和非第一类帧的总数之和为6，预设时长为1s的时间， 对所述预设时长进行时间的划分，得到单位播放时间为1/6s。
[0167]
步骤a204，确定所述预设时长对应的起始时间戳；
[0168]
在本实施例中，预设时长对应的起始时间戳可以为0，也可以不是0。
[0169]
步骤a205，基于所述起始时间戳、所述单位播放时间、所述显示顺序信 息、所述帧总数和非第一类帧的总数，确定所述第一类帧的第一播放时间戳 和所述非第一类帧的第二播放时间戳；
[0170]
步骤a206，将所述第一播放时间戳和第二播放时间戳作为所述视频文件 的视频播放时间戳；
[0171]
例如，显示顺序信息为[a1，b1，b2，c1，c2，d1]，第一类帧分别为(b1， b2)和(c1，c2)，帧总数为：b1-2，以及c1-2，非第一类帧的总数为2，起 始时间戳为2分30秒，单位播放时间为1/6s，即可得到a帧时间戳为2分30 秒，d帧时间戳为2分30.83秒，即基于a帧时间戳和d帧时间戳确定非第一 类帧的第二播放时间戳；b1帧时间戳为2分30.16秒，b2帧时间戳为2分30.33 秒，c1帧时间戳为2分30.5秒，c2帧时间戳为2分30.67秒。
[0172]
在本实施例中，第一帧总数和显示顺序信息，保存在每个预设时长的播放矩阵信息（二维矩阵）中，则每一帧的时间戳的计算公式为：其中t为起始时间戳，初始值可以为0，n表示从t时间起，已播放的帧数，k表示帧在播放矩阵信息（二维矩阵）中的位次，α[k]表示每个可变帧率在二维矩阵中帧率变化的具体数值（即位次的具体数）。
[0173][0174][0175]
例如，起始时间戳为0分2秒，单位播放时间为1/7s，帧总数和非第一 类帧的总数为16(如图5所示，播放矩阵信息可以为[1，5，3，3，1，2，1])， 即β为16，k表示帧在播放矩阵信息(二维矩阵)中的位次，α[k]表示每个可 变帧率在二维矩阵中帧率变化的具体数值，若k为5(播放矩阵信息位次为5) 时，对应α[k]为1(播放矩阵信息在第二个位置处的具体数值为5)，则播放 到k位次对应帧的时候，该帧实际预设时长为12/16，即750毫秒，则该帧的 时间戳为2+750毫秒，即2.75秒。
[0176]
在本实施例中，可以通过用seek(定位)操作，直接检索到每个预设时 长的第一帧，即seek到需要播放的位置。
[0177]
步骤a207，确定所述视频文件的采样信息，基于所述采样信息确定所述 视频文件中音频的音频播放时间戳；
[0178]
在本实施例中，获取所述视频文件中的的采样信息，采样信息包括采样 率和采样样本个数，基于采样率和采样样本个数计算音频帧播放时间戳和预 设时长。
[0179]
具体地，可以根据音频的采样率，声道数，采样格式(即每次采样的大 小)，计算出音频的播放时间戳。
[0180]
步骤a208，将所述音频播放时间戳与所述视频播放时间戳进行误差对比， 得到第一误差；
[0181]
在本实施例中，基于视频播放时间戳，得到某一视频播放时间点，将某 一视频播放时间点与音频这一时间点的时间戳进行对比，得到第一误差。
[0182]
步骤a209，若所述第一误差在第一预设阈值范围内，则对所述视频文件 进行音视频同步播放；
[0183]
在本实施例中，其满足第一误差在第一预设阈值范围内的公式为：
[0184][0185]
其中，视频播放时间戳为tv,持续的预设时长为dv，读取到的音频播放 时间戳为ta,可接受的音视频前后误差为r。
[0186]
第一预设阈值范围可以是0～100毫秒，即r为0～100毫秒，第一误差在 此阈值范围内，人视觉上看不出区别的帧，或者人视觉上看到的是观感上无 差别的帧，即实现了音视频同步播放。
[0187]
步骤a210，若所述第一误差在第一预设阈值范围外，则通过预设第一阻 塞调节流程，以对所述视频文件进行音视频同步播放。
[0188]
在本实施例中，在第一误差大于预设阈值范围时，通过预设第一阻塞调 节流程，第一阻塞调节流程即当帧播放快于音频帧时，在帧数据播放结束不 立即返回，等到音频帧播放结束再返回；当音频帧播放快于帧时，在音频帧 数据播放结束不立即返回，等到帧播放结束再返回。
[0189]
在本实施例中，以视频时间为基准进行音频调节同步，即在保证视频的 播放流畅度情况下，实现音视频的同步操作。
[0190]
基于上述第一实施例、第二实施例、第三实施例、第四实施例和第五实 施例，本技术还提供另一实施例，在该实施例中，所述基于所述确定所述视 频文件的采样信息，基于所述采样信息确定所述视频文件中音频的音频播放 时间戳的步骤之后，所述方法还包括：
[0191]
步骤a211，确定所述视频文件的系统播放时间戳；
[0192]
在本实施例中，以系统时间为基准进行音频和视频调节同步，即根据系 统时间开始计时，实现音视频的同步操作。
[0193]
步骤a212，将所述系统播放时间戳分别和所述音频播放时间戳进行比对， 得到第二误差；
[0194]
步骤a213，将所述系统播放时间戳分别和所述视频播放时间戳进行比对， 得到第
三误差；
[0195]
步骤a214，若所述第二误差在第二预设阈值内，且所述第三误差在第三 预设阈值内，则对所述视频文件进行音视频同步播放；
[0196]
在本实施例中，将所述系统播放时间戳分别和所述音频播放时间戳进行 比对，得到第二误差，将所述系统播放时间戳分别和所述视频播放时间戳进 行比对，得到第三误差，若所述第二误差在第二预设阈值内，且所述第三误 差在第三预设阈值内，则对所述视频文件进行音视频同步播放，其中，确定 第二误差在第二预设阈值范围内，且第三误差在第三预设阈值范围内的公式 如下：
[0197][0198]
其中，当前的系统播放时间戳为t，读取到的音频播放时间戳为ta，视 频播放时间戳为tv，可接受的音视频前后误差为r，已播放的时间间隔为tr。
[0199]
需要说明的是，在本实施例中，第二预设阈值范围、第三预设阈值范围 与实施例五中的第一预设阈值范围相同，在此不做赘述。
[0200]
步骤a3525，若所述第二误差不在第二预设阈值范围内，或者所述第三 误差不在第三预设阈值范围内，则通过预设第二阻塞调节流程，以对所述视 频文件进行音视频同步播放。
[0201]
在本实施例中，若所述第二误差不在第二预设阈值范围内，或者所述第 三误差不在第三预设阈值范围内，则通过预设第二阻塞调节流程，第二阻塞 调节流程即当帧播放快于系统时间戳时，在帧数据播放结束不立即返回，等 到系统时间结束再返回；当音频帧播放快于系统时间戳时，在音频帧数据播 放结束不立即返回，等到系统时间结束再返回。
[0202]
需要说明的是，本实施例中的可变帧率音视频处理方法可以应用于可变 帧率音视频处理系统，该可变帧率音视频处理系统包括编码端和解码端，可 变帧率音视频处理系统对可变帧率音视频进行处理的过程可以是：
[0203]
编码端首先确定视频文件的每个预设时长中的第一类帧，其中，所述第 一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同， 确定第一类帧后，编码端确定所述第一类帧的帧总数，然后编码端对视频文 件进行编码，得到编码信息；在编码过程中，所述第一类帧中仅一帧进行编 码，其余帧不再编码；其中，编码端还把所述第一类帧中编码的帧信息和所 述第一类帧中编码的帧信息与所述帧总数之间的对应关系置于编码信息中。 具体地，由于视频文件包括文件头，所述编码信息包括所述文件头的编码子 信息；所述编码子信息中包括所述第一类帧中编码的帧信息和所述第一类帧 中编码的帧信息与所述帧总数之间的对应关系，因而，编码端把所述第一类 帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系置于文件头的编码子信息中。其中，上述可变帧率音视频处理过程在编 码端具体实现时，还确定每个预设时长中非第一类帧，具体地，在编码端对 视频文件进行编码，得到编码信息的步骤之前，还确定每个预设时长中非第 一类帧；并确定各预设时长中第一类帧和非第一类帧的显示顺序信息；进而 基于所述第一帧总数和所述显示顺序信息，得到每个预设时长的播放矩阵信 息。将每个预设时
长的播放矩阵信息置于视频文件的编码信息中，也即，所 述编码信息中还包括所述播放矩阵信息、所述非第一类帧中的帧信息。
[0204]
上述可变帧率音视频处理在编码端具体实现编码后，还在解码端具体实 现解码，具体采用如下实现方案：
[0205]
解码端获取视频文件的编码信息，其中，所述编码信息中包括每个预设 时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总 数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述第一类帧 中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余帧不再编 码；解码端基于编码信息中的所述第一类帧中编码的帧信息与所述帧总数之 间的对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原 的第一类帧得到所述视频文件。其中，所述编码信息中还包括每个预设时长 的播放矩阵信息和非第一类帧中的帧信息，所述播放矩阵信息由所述帧总数、 第一类帧和非第一类帧的显示顺序信息确定的；因而，解码端基于所述所述 第一类帧中编码的帧信息与所述帧总数之间的对应关系、所述第一类帧中编 码的帧信息、所述显示顺序信息、非第一类帧中的帧信息，还原第一类帧和 非第一类帧；基于还原的第一类帧和还原的非第一类帧得到所述视频文件。
[0206]
其中，解码端在还原视频文件后，解码端还基于所述所述帧总数和非第 一类帧的总数，对所述预设时长进行时间的划分，得到单位播放时间；解码 端确定所述预设时长对应的起始时间戳；基于所述起始时间戳、所述单位播 放时间、所述显示顺序信息、所述帧总数和非第一类帧的总数，确定所述第 一类帧的第一播放时间戳和所述非第一类帧的第二播放时间戳；解码端将所 述第一播放时间戳和第二播放时间戳作为所述视频文件的视频播放时间戳； 确定所述视频文件的采样信息，基于所述采样信息确定所述视频文件中音频 的音频播放时间戳；解码端将所述音频播放时间戳与所述视频播放时间戳进 行误差对比，得到第一误差；若所述第一误差在第一预设阈值范围内，则解 码端对所述视频文件进行音视频同步播放；若所述第一误差在第一预设阈值 范围外，则通过预设第一阻塞调节流程，以对所述视频文件进行音视频同步 播放。
[0207]
在本实施例中，还可以以系统播放时间戳作为播放的基准，具体地，解 码端确定所述视频文件的系统播放时间戳；将所述系统播放时间戳分别和所 述音频播放时间戳进行比对，得到第二误差；解码端将所述系统播放时间戳 分别和所述视频播放时间戳进行比对，得到第三误差；若所述第二误差在第 二预设阈值范围内，且所述第三误差在第三预设阈值范围内，则解码端对所 述视频文件进行音视频同步播放；若所述第二误差不在第二预设阈值范围内， 或者所述第三误差不在第三预设阈值范围内，则解码端通过预设第二阻塞调 节流程，以对所述视频文件进行音视频同步播放。
[0208]
本技术可变帧率音视频处理系统的具体实施方式与上述可变帧率音视频 处理方法各实施例基本相同，在此不再赘述。
[0209]
本技术还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于编码 端的可变帧率音视频处理方法的程序，
[0210]
所述存储器用于存储实现所述应用于编码端的可变帧率音视频处理方法 的程序；
[0211]
所述处理器用于执行实现所述应用于编码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于编码端的可变帧率音视频处理方法的步骤。
[0212]
本技术应用于编码端的可变帧率音视频处理设备具体实施方式与上述所 述应用于编码端的可变帧率音视频处理方法各实施例基本相同，在此不再赘 述。
[0213]
本技术还提供一种可变帧率音视频处理设备，所述可变帧率音视频处理 设备包括：存储器、处理器以及存储在存储器上的用于实现所述应用于解码 端的可变帧率音视频处理方法的程序，
[0214]
所述存储器用于存储实现所述应用于解码端的可变帧率音视频处理方法 的程序；
[0215]
所述处理器用于执行实现所述应用于解码端的可变帧率音视频处理方法 的程序，以实现上述所述应用于解码端的可变帧率音视频处理方法的步骤。
[0216]
本技术应用于解码端的可变帧率音视频处理设备具体实施方式与上述所 述应用于解码端的可变帧率音视频处理方法各实施例基本相同，在此不再赘 述。
[0217]
本技术还提供一种可变帧率音视频处理装置，应用于编码端，所述可变 帧率音视频处理装置包括：
[0218]
第一确定模块，用于确定视频文件的每个预设时长中的第一类帧，所述 第一类帧中包括至少连续的两帧，且所述第一类帧中不同帧的画面内容相同；
[0219]
第二确定模块，用于确定所述第一类帧的帧总数；
[0220]
编码模块，用于对视频文件进行编码，得到编码信息；其中，所述第一 类帧中仅一帧进行编码，其余帧不再编码；所述编码信息中包括所述第一类 帧中编码的帧信息和所述第一类帧中编码的帧信息与所述帧总数之间的对应 关系。
[0221]
本技术可变帧率音视频处理装置具体实施方式与上述应用于编码端的可 变帧率音视频处理方法各实施例基本相同，在此不再赘述。
[0222]
本技术还提供一种可变帧率音视频处理装置，应用于解码端，所述可变 帧率音视频处理装置包括：
[0223]
获取模块，用于获取视频文件的编码信息，其中，所述编码信息中包括 每个预设时长中第一类帧中编码的帧信息和所述第一类帧中编码的帧信息与 所述帧总数之间的对应关系；所述第一类帧中包括至少连续的两帧，且所述 第一类帧中不同帧的画面内容相同；所述第一类帧中仅一帧进行编码，其余 帧不再编码；
[0224]
还原模块，用于基于所述第一类帧中编码的帧信息与所述帧总数之间的 对应关系和所述第一类帧中编码的帧信息，还原第一类帧，并基于还原的第 一类帧得到所述视频文件。
[0225]
本技术可变帧率音视频处理装置具体实施方式与上述应用于解码端可变 帧率音视频处理方法各实施例基本相同，在此不再赘述。
[0226]
本技术实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于编码端的可变帧率音视频处理方法 的步骤。
[0227]
本技术存储介质具体实施方式与上述应用于编码端的可变帧率音视频处 理方法各实施例基本相同，在此不再赘述。
[0228]
本技术实施例提供了一种存储介质，且所述存储介质存储有一个或者一 个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器 执行以用于实现上述任一项所述的应用于解码端的可变帧率音视频处理方法 的步骤。
[0229]
本技术存储介质具体实施方式与上述应用于解码端的可变帧率音视频处 理方法各实施例基本相同，在此不再赘述。
[0230]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在 涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系 统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括 为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下， 由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物 品或者系统中还存在另外的相同要素。
[0231]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0232]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、 磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机， 服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0233]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是 利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间 接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。