震动生成、视频播放方法、装置、电子设备及存储介质与流程

1.本公开实施例涉及音视频处理技术，尤其涉及一种震动生成、视频播放方法、装置、电子设备及存储介质。


背景技术：

2.随着手持终端的普及，许多用户已经可以在终端上观看视频。现有的通用视频播放软件目前应用了屏幕和扩音器实现视觉和听觉输出。如果能够配合视频播放的同时提供一些触觉输出，将极大改善用户的观看视频的体验。
3.相关技术中，为了改善用户观看视频的体验，通过在播放某些视频的同时产生相应的震动，但是相关技术中产生的震动效果并不太好，影响用户的震动体验。


技术实现要素：

4.本公开实施例提供一种震动生成、视频播放方法、装置、电子设备及存储介质，可以达到较好的震动效果，提高用户的震动体验。
5.第一方面，本发明实施例提供了一种震动生成方法，包括：
6.获取视频中的音频信号；
7.基于所述音频信号的频域特征或者色度特征确定震动基底；
8.基于所述音频信号的节奏特征确定震动序列；
9.基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
10.第二方面，本公开实施例还提供了一种视频播放方法，包括：
11.后台服务器获取视频中的音频信号；
12.所述后台服务器基于所述音频信号的频域特征或者色度特征确定震动基底；
13.所述后台服务器基于所述音频信号的节奏特征确定震动序列；
14.所述后台服务器基于所述震动基底和所述震动序列生成震动脚本；
15.终端从所述后台服务器中获取所述震动脚本；
16.当所述终端播放所述视频时，调用所述震动脚本驱动所述终端进行震动。
17.第三方面，本公开实施例提供了一种震动生成装置，包括：
18.获取模块，用于获取视频中的音频信号；
19.震动基底确定模块，用于基于所述音频信号的频域特征或者色度特征确定震动基底；
20.震动序列确定模块，用于基于所述音频信号的节奏特征确定震动序列；
21.震动脚本生成模块，用于基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
22.第四方面，本公开实施例提供了一种电子设备，包括：
23.一个或多个处理器；
24.存储装置，用于存储一个或多个程序，
25.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例提供的方法。
26.第五方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例提供的方法。
27.本公开实施例提供的技术方案，通过获取视频中的音频信号，通过音频信号的频域特征或者色度频率特征确定震动基底，通过音频信号的节奏特征确定震动序列，通过震动基底和震动序列生成震动脚本；其中，震动脚本用于播放所述视频时，驱动终端进行震动，当播放视频时，可以通过音频信号的频域特征或者色度特征，以及节奏特征来控制震动，可以达到较好的震动效果，提高用户的震动体验。
附图说明
28.图1a是本公开实施例提供的一种震动生成方法流程图；
29.图1b是对音频信号进行预处理的流程；
30.图2a是本公开实施例提供的一种震动生成方法流程图；
31.图2b是对音频信号频域特征的处理
32.图2c是增强后的音频信号示意图；
33.图3a是本公开实施例提供的一种震动生成方法流程图；
34.图3b是一种音频信号的色度图谱；
35.图4是本公开实施例提供的一种视频播放方法流程图；
36.图5是本公开实施例提供的一种震动生成装置结构框图；
37.图6是本公开实施例提供的一种电子设备结构示意图。
具体实施方式
38.下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分而非全部结构。
39.图1a是本公开实施例提供的一种震动生成方法流程图，所述方法可以由震动生成装置来执行，所述装置可以由软件和/或硬件来实现，所述装置可以配置在后台服务器中，或者也可以配置在终端中，可选的，所述装置配置在后台服务器中。所述方法应用于根据视频可以产生震动的场景中，该视频可以是广告视频。
40.如图1a所示，本公开实施例提供的技术方案包括：
41.s110：获取视频中的音频信号。
42.在本公开实施例中，视频可以是广告视频，或者也可以是其他类型的视频。
43.s120：基于所述音频信号的频域特征或者色度特征确定震动基底。
44.在本公开实施例中，基于音频信号的频域特征确定震动基底可以是：将音频信号从时域转换至频域，得到频谱，可以通过滤波器对频谱进行处理，突出响度较高的高频以及冲击力较强的低频，最后将频谱再转换至时域，得到处理的音频信号，并基于处理后的音频信号的包络线确定震动基底。可选的，可以将处理后的音频信号的包络线形成震动基底。详
细介绍可以参考下述介绍。
45.在本公开实施例的一个实施方式中，基于色度特征(chromafeatures)确定震动基底，可以具体是：对音频信号进行色度特征分析，可以确定音频信号在各个时段的主频率，并对音频信号的主频率所处部分进行增益，得到增益后的音频信号，基于增益后的音频信号的包络线确定震动基底。其中，色度特征是色度向量(chromavector)和色度图谱(chromagram)的统称，色度向量是一个含有12个元素的向量，这些元素分别代表一段时间(如1帧)内12个音级中的能量，不同八度的同一音级能量累加，色度图谱则是色度向量的序列。其中，色度特征可以通过颜色信息反映音频信号在不同频率的强度信息。具体确定震动基底的方法可以参考下述实施例的介绍。
46.s130：基于音频信号的节奏特征确定震动序列。
47.在本公开实施例中，可选的，震动序列可以是由离散的峰值点形成的序列，各个峰值点为时域的震动幅度值。
48.在本公开实施例的一个实施方式中，所述基于音频信号的节奏特征确定震动序列，包括：从所述音频信号中提取背景音频信号；从所述背景音频信号中提取设定乐器的音频信号，并作为目标音频信号；将所述目标音频信号进行节奏检测，得到峰值点，并选择符合设定条件的峰值点形成震动序列。其中，设定乐器可以包括贝斯和鼓，或者还可以包括其他乐器。
49.具体的，可以将原始的音频信号进行预处理。其中，预处理的过程可以是：从音频信号中提取背景音频信号，去除人的音频信号，并从背景音频信号中提取贝斯和鼓的音频信号，并作为目标音频信号。可选的，可以将目标音频信号进行节奏检测得到多个峰值点。具体可以是通过onset函数对目标音频信号进行节奏检测，检测到各个多个峰值点，各个峰值点形成一个曲线，并通过峰值检测算法(peak-picking)检测合适的峰值点，检测到的峰值点形成震动序列。峰值点的确定过程可以参考相关技术中的节奏检测方法。
50.在本公开实施例的一个实施方式中，可选的，在将所述目标音频信号进行节奏检测之前，还包括：通过动态压缩器对所述目标音频信号的音量进行处理；通过激励器对所述目标音频信号中设定范围频率的信号进行处理，得到处理后的目标音频信号。其中，在动态压缩器中可以设置音量阈值，可以降低大于音量阈值的音频信号的音量，也可以提高小于音量阈值的音频信号的音量，通过动态压缩器对目标音频信号的音量进行处理，使目标音频信号的音量基本保持一致，可以避免音量大小对震动的影响。其中，激励器的功能可以具有增加音频信号的响度、穿透力、增加音频信号的空间感和立体感等作用功能，本公开实施例通过激励器可以对目标音频信号中的设定范围频率的信号增加饱和度，产生更多的泛音。其中，对音频信号进行预处理的流程也可以参考图1b。
51.s140：基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
52.在本公开实施例中的一个实施方式中，可选的，所述基于所述震动基底和所述震动序列生成震动脚本，包括：将所述震动基底和所述震动序列进行合成，生成震动脚本。其中，震动脚本可以是ahap(apple haptic audio pattern)格式。在本实施例中，终端可以获取震动脚本，当终端播放视频时，通过震动脚本驱动终端进行震动。
53.其中，震动脚本为包含震动基底和震动序列合成震动样式的文件，即将震动基底
和震动序列合在一起形成的震动样式的文件，该震动样式符合规范。若震动脚本中震动样式对应的时间与视频播放时间匹配，视频播放的同时调用震动脚本驱动马达触发震动。其中，终端震动时，按照震动样式震动的参数进行震动。具体的，针对震动脚本的震动样式中，若在一段时间内不存在震动序列中的峰值点，终端可以按照震动基底的频率、振幅等参数进行震动。当在峰值点对应的时间时，可以将震动序列中的该峰值点的震动幅度与此时震动基底的震动幅度进行叠加，终端基于叠加的震动幅度进行震动，或者基于终端按照该峰值点的震动幅度以及此时震动基底的震动幅度并行震动，或者还可以是其他震动方式。需要说明的是，基于震动基底和震动序列生成震动脚本的形式并不局限于上述的形式。
54.本公开实施例提供的技术方案，通过获取视频中的音频信号，通过音频信号的频域特征或者色度频率特征确定震动基底，通过音频信号的节奏特征确定震动序列，通过震动基底和震动序列生成震动脚本；其中，震动脚本用于播放所述视频时，驱动终端进行震动，当播放视频时，可以通过音频信号的频域特征或者色度特征，以及节奏特征来控制震动，可以产生手感较好的震动样式，可以达到较好的震动效果，触觉冲击力较强，可以提高用户的震动体验。
55.图2a是本公开实施例提供的一种震动生成方法流程图，本实施例中的方案可以与上述实施例中的一个或者多个可选方案组合，在本公开实施例中，可选的，基于所述音频信号的频域特征确定震动基底，包括：
56.对所述音频信号进行离散傅里叶变换，将所述音频信号从时域变换至频域，得到频谱；
57.通过滤波器对所述频谱中的目标频率点进行增益；
58.将增益的频谱通过离散傅里叶逆变换从频域转换至时域，得到增强后的音频信号；其中，目标频率点对应的时间与所述视频中目标对象的播放时间对应；
59.基于增强后的音频信号的包络线确定震动基底。
60.可选的，所述基于音频的节奏特征确定震动序列，包括：
61.从所述音频信号中提取背景音频信号；
62.从所述背景音频信号中提取设定乐器的音频信号，并作为目标音频信号；
63.将所述目标音频信号进行节奏检测，得到峰值点，并选择符合设定条件的峰值点形成震动序列。
64.可选的，在将所述目标音频信号进行节奏检测之前，还包括：
65.通过动态压缩器对所述目标音频信号的音量进行处理；
66.通过激励器对所述目标音频信号中设定范围频率的信号进行处理，得到处理后的目标音频信号。
67.如图2a所示，本公开实施例提供的技术方案包括：
68.s210：获取视频中的音频信号。
69.s220：对所述音频信号进行离散傅里叶变换，将所述音频信号从时域变换至频域，得到频谱。
70.s230：通过滤波器对所述频谱中的目标频率点进行增益。在本实施例中，目标频率点的频率大于第一频率阈值，或者小于第二频率阈值。其中，第一频率阈值大于第二频率阈值。通过滤波器可以对频谱中大于第一频率阈值，或者小于第二频率阈值的目标频率点进
行增益，从而可以突出响度较大的高频以及冲击力较强的低频。
71.s240：将增益的频谱通过离散傅里叶逆变换从频域转换至时域，得到增强后的音频信号；其中，目标频率点对应的时间与所述视频中目标对象的播放时间对应。
72.在本实施例中，对音频信号的离散傅里叶变换，以及对频谱的离散傅里叶逆变换可以参考相关技术。其中，对音频信号频域特征的处理也可以参考图2b，最后得到增强后的音频信号可以参考图2c。其中，目标对象可以是视频画面中展示的对象。
73.在本实施例中，在某些情况下为了使用户对视频中播放的目标对象更加印象深刻，或者更加引起用户对目标对象的注意，可以在目标对象播放时间处，将音频信号转换的频谱中的目标频率点进行增益，从而增加目标频率点处的震动幅度，从而引起用户对目标对象的注意，并且可以将震动和视频进行关联，播放不同视频时，产生不同的震动，提高用户体验。
74.举例说明，在广告视频中，为了引起用户对广告对象的注意，或者使用户对广告对象更加印象深刻，可以广告对象播放时间处，将广告视频中的音频信号中的目标频率点进行增益，从而可以在播放广告对象时，可以增加震动幅度。例如，若广告对象的播放时间是第5s-第10s，则将音频信号中在第5s-第10s之间的频率点进行增益，增加第5s-第10s之间的震动幅度，吸引用户注意。
75.s250：基于增强后的音频信号的包络线确定震动基底。
76.s260：从所述音频信号中提取背景音频信号。
77.s270:从所述背景音频信号中提取设定乐器的音频信号，并作为目标音频信号。
78.s280：通过动态压缩器对所述目标音频信号的音量进行处理。
79.s290：通过激励器对所述目标音频信号中设定范围频率的信号进行处理，得到处理后的目标音频信号。
80.s291：将目标音频信号进行节奏检测，得到峰值点，并选择符合设定条件的峰值点形成震动序列。
81.其中，s260-s291的介绍可以参考上述实施例，不再累述。
82.s292：基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
83.相关技术中，在播放某些视频时，终端可以展现随着音频信号节奏的震动。其中，相关技术中是通过ai技术识别出视频中相应的节奏点，并根据具体的音频功率确定相应的震动幅度，最终在支持的硬件上达到不同强度的震感效果。但是相关技术中的方案存在如下的缺陷：(1)震动和视频关联性不强，即使是在不同视频下，体验感觉也较为相似。视频播放时一直在震动，用户体验冲击感不强。(2)震动频率过高，握持时手感不好，有“痒”的感觉。(3)应用场景较为狭窄，主要是应用在mv音乐中。
84.本公开实施例通过离散傅里叶变换，将音频信号从时域变换至频域，得到频谱，通过滤波器对所述频谱中的目标频率点进行增益；其中，目标频率点对应的时间与视频中目标对象的播放时间对应；通过离散傅里叶逆变换从频域将频谱转换至时域，得到增强后的音频信号；基于增强后的音频信号的包络线确定震动基底，相对于机器学习的方法可解释性更强，可自定义程度更高，通过对目标频率点进行增益，使目标频率点对应的时间与视频中目标对象的播放时间对应，可以使震动和视频关联性较强，在播放不同视频时，产生不同
的震动体验，可以基于音频信号的频域特征以及节奏特征进行震动，即随着音频信号的变化进行震动，避免一直震动的情况以及震动频率过高的情况，本公开实施例提供的方法可以应用于广告视频，或者其他类型的视频中，应用场景广泛。
85.图3a是本公开实施例提供的一种震动生成方法流程图，本实施例中的方案可以与上述实施例中的一个或者多个可选方案组合，在本公开实施例中，可选的，基于色度特征确定震动基底，包括：
86.基于所述音频信号的色度特征确定所述音频信号在各个时段的主频率；
87.对所述音频信号的主频率所处部分进行增益，得到增益后的音频信号；
88.基于所述增益后的音频信号的包络线确定震动基底。
89.如图3a所示，本公开实施例提供的技术方案包括：
90.s310：获取视频中的音频信号。
91.s320：基于所述音频信号的色度特征确定所述音频信号在各个时段的主频率。
92.在本实施例中，色度特征是色度向量(chromavector)和色度图谱(chromagram)的统称，色度向量是一个含有12个元素的向量，这些元素分别代表一段时间(如1帧)内12个音级中的能量，不同八度的同一音级能量累加，色度图谱则是色度向量的序列。
93.在本实施例中，具体的，可以确定音频信号的色度特征，确定的方式可以参考相关技术中色度特征的确定方式，色度特征可以是色度图谱。在各个时段，通过色度谱图中的被颜色点亮部分，或者同一种颜色分布占比超过设定占比的部分(密集分布部分)对应的频率为各个时段的主频率。例如，图3b是一种音频信号的色度图谱，如图3b所示，横坐标为时间，纵坐标为音高等级(对应频率等级)，图中的颜色信息表示音频信号的强度信息(通过震动幅度进行反应)。如图3b所示，在不同的时段，音频信号包含的内容不同，音频信号在各个时段的颜色分布不同，在各个时段，可以将被颜色点亮部分，或者同一种颜色分布占比大于设定占比(密集分布)部分对应的频率作为主频率。如图3b所示，黑色横线所示的部分为在某个时段被同一种颜色密集分布部分，对应的频率为对应时段的主频率，黑色横线所示颜色对应的震动幅度为主频率对应的震动幅度。
94.s330：对所述音频信号的主频率所处部分进行增益，得到增益后的音频信号。
95.在本实施例中，将音频信号的主频率对应的震动幅度进行放大，得到增益后音频信号，可以重点突出各个时段较强的声音，可以基于较强的声音进行对应的震动，提高用户的体验。
96.s340：基于增益后的音频信号的包络线确定震动基底。
97.s350：从所述背景音频信号中提取设定乐器的音频信号，并作为目标音频信号。
98.s360：通过动态压缩器对所述目标音频信号的音量进行处理。
99.s370：通过激励器对所述目标音频信号中设定范围频率的信号进行处理，得到处理后的目标音频信号。
100.s380：将目标音频信号进行节奏检测，得到峰值点，并选择符合设定条件的峰值点形成震动序列。
101.其中，s350-s380的介绍可以参考上述实施例，不再累述。
102.s390：基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
103.上述本公开实施例提供的方法在应用于广告视频的情况下，可以在广告视频中更好地传达信息、传递情感，在广告指标上带来一定正向影响。本公开实施例提供的方法还可以根据视频特点以及广告主的需求进行相应调整，例如，可以仅仅根据震动基底或者震动序列生成脚本，或者根据视频特点以及广告主的需求来选择是通过频率特征确定震动基底，还是通过色度特征确定震动基底。
104.图4是本公开实施例提供的一种视频播放方法流程图，所述方法可以后台服务器和终端实现。所述方法应用于根据视频可以产生震动的场景中，该视频可以是广告视频。可选的，所述方法可以应用于播放广告视频的场景中。
105.如图4所示，本公开实施例提供的技术方案包括：
106.s410：后台服务器获取视频中的音频信号。
107.s420：所述后台服务器基于所述音频信号的频域特征或者色度特征确定震动基底。
108.s430：所述后台服务器基于所述音频信号的节奏特征确定震动序列。
109.s440：所述后台服务器基于所述震动基底和所述震动序列生成震动脚本。
110.s450：终端从所述后台服务器中获取所述震动脚本。
111.s460：当所述终端播放所述视频时，调用所述震动脚本驱动所述终端进行震动。
112.其中，上述s410-s460的介绍可以参考上述实施例的介绍，不再累述。
113.需要说明的是，上述任意一个实施例提供的方法可以应用于采用视频播放软件或者应用程序播放视频的场景中，可选的，上述任意一个实施例提供的方法可以应用于采用视频播放软件或者应用程序播放视频，且根据视频中的音频信号产生震动的场景中。
114.图5是本公开实施例提供的一种震动生成装置结构框图，如图5所示，所示装置，包括：获取模块510、震动基底确定模块520、震动序列确定模块530和震动脚本生成模块540。
115.其中，获取模块510，用于获取视频中的音频信号；
116.震动基底确定模块520，用于基于所述音频信号的频域特征或者色度特征确定震动基底；
117.震动序列确定模块530，用于基于所述音频信号的节奏特征确定震动序列；
118.震动脚本生成模块540，用于基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
119.可选的，震动基底确定模块520，用于：
120.对所述音频信号进行离散傅里叶变换，将所述音频信号从时域变换至频域，得到频谱；
121.通过滤波器对所述频谱中的目标频率点进行增益；
122.将增益的频谱通过离散傅里叶逆变换从频域转换至时域，得到增强后的音频信号；其中，目标频率点对应的时间与所述视频中目标对象的播放时间对应；
123.基于增强后的音频信号的包络线确定震动基底。
124.可选的，震动基底确定模块520，用于：
125.基于所述音频信号的色度特征确定所述音频信号在各个时段的主频率；
126.对所述音频信号的主频率所处部分进行增益，得到增益后的音频信号；
127.基于所述增益后的音频信号的包络线确定震动基底。
128.可选的，震动序列确定模块530，用于：
129.从所述音频信号中提取背景音频信号；
130.从所述背景音频信号中提取设定乐器的音频信号，并作为目标音频信号；
131.将所述目标音频信号进行节奏检测，得到峰值点，并选择符合设定条件的峰值点形成震动序列。
132.可选的，在所述将所述目标音频信号进行节奏检测之前，还包括：
133.通过动态压缩器对所述目标音频信号的音量进行处理；
134.通过激励器对所述目标音频信号中设定范围频率的信号进行处理，得到处理后的目标音频信号。
135.可选的，震动脚本生成模块540，用于将所述震动基底和所述震动序列进行合成，生成震动脚本。
136.上述装置可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
137.图6是本公开实施例提供的一种设备结构示意图，如图6所示，该设备包括：
138.一个或多个处理器610，图6中以一个处理器610为例；
139.存储器620；
140.所述设备还可以包括：输入装置630和输出装置640。
141.所述设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
142.存储器620作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本公开实施例中的一种震动生成方法对应的程序指令/模块(例如，附图5所示的获取模块510、震动基底确定模块520、震动序列确定模块530和震动脚本生成模块540)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种震动生成方法，即：
143.获取视频中的音频信号；
144.基于所述音频信号的频域特征或者色度特征确定震动基底；
145.基于所述音频信号的节奏特征确定震动序列；
146.基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
147.存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
148.输入装置630可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括输出接口等。
149.本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序
被处理器执行时实现如本公开实施例提供的一种震动生成方法：
150.获取视频中的音频信号；
151.基于所述音频信号的频域特征或者色度特征确定震动基底；
152.基于所述音频信号的节奏特征确定震动序列；
153.基于所述震动基底和所述震动序列生成震动脚本；其中，所述震动脚本用于播放所述视频时，驱动终端进行震动。
154.可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
155.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
156.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。
157.可以以一种或多种程序设计语言或其组合来编写用于执行本公开操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
158.注意，上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解，本公开不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此，虽然通过以上实施例对本公开进行了较为详细的说明，但是本公开不仅仅限于以上实施例，在不脱离本公开构思的情况下，还可以包括更多其他等效实施例，而本公开的范围由所附的权利要求范围决定。