一种spike信号的实时分类方法、装置、存储介质及电子设备

1.本技术涉及信号分类领域，尤其涉及一种spike信号的实时分类方法、装置、存储介质及电子设备。


背景技术：

2.大脑是我们人体的控制中心，是我们和外部世界交换信息的中枢。大脑里面最小的功能单元是神经元，神经元在大脑里面负责信息的传递和处理，而神经元传递和处理的信息就是动作电位(action potential)，也称为峰电位(spike)。对神经元信息的记录，主要是采用细胞外记录的方式，尤其是对在体的、多通道的神经元信息记录系统，细胞外记录几乎是唯一实用的记录技术。细胞外记录是把记录电极放在靠近细胞的地方来捕获神经元的放电信息。由于细胞的体积很小且经常黏连在一起，同一根电极就会记录到周围几个神经元的放电信息，把记录到的神经元信息(spike)分类出是由哪个神经元所产生的方法就是峰电位分类算法(spike sorting)。通过spike sorting，我们可以精确的得到单个神经元的放电信息，从而为解码神经电路或神经网络的功能打下基础。
3.随着神经元记录技术的发展，尤其是硅电极记的使用，神经元信息记录系统已经发展到上千通道。使用这些系统，一个小时的记录就会产生tbyte级别的信号，使用传统的spike信号分类算法需要花费几周、甚至几个月的时间来做spike sorting，而实时的spike sorting系统或硬件加速器则可以加速这个数据分析过程。同时，一类更加重要的应用像神经元的闭环控制系统(如对常见的神经系统疾病的治疗)，更是要求对spike信息进行毫秒级的处理。这些实际的应用都显示了对神经元信息实时分类系统的强烈需求。
4.对神经元峰电位实时分类系统来说，osorter是一个常用的实时分类算法，并且已被实现为不同形式的硬件架构来完成实时的spike sorting。osorter的工作流程包括：输入的spike首先和所有的组中心比较距离d，如果最小的距离(min(d))大于tc(spike分类阈值)，则距离较远，不靠近任何一组，说明此spike不属于任何一组，此时创建新组。如果min(d)《tc，此spike就会被分类到min(d)所在组。由于有新的spike进入，min(d)组的中心需要更新，接着计算更新之后的组中心跟其它的组中心之间的距离d
all
，如果存在d
all
小于tm(分类组之间的合并阈值)，说明存在两个中心距离很近的分类组，此时算法会合并这些非常靠近的组为新组，并更新新组的中心，接着继续计算新组中心到剩余组中心之间的距离，重复这个过程直到所有的组中心距离均大于tc。完毕之后算法接着对下一个输入spike进行分类，继续这个过程，直到所有的spike都已经分类完成。
5.通过对osorter算法的描述我们可以看到，在算法运行过程中会产生数量不确定的中间状态组，这些中间状态组再通过合并最终会收敛到最后的几组。然而在不同水平的噪音下，分类过程产生的中间状态组的数量是不同的。在数量较少的分类结果下会产生大量的中间状态组。中间状态组的存在不仅需要存储资源来保存他们，同时在分类过程中，输入的spike需要和所有的中间状态组计算距离来确定分类组。分类组确定之后，所有的中间状态组之间还需要进行计算，来合并相互之间距离较近的组，而且每一个输入的spike都要
经历这些计算过程。因此，中间状态组的存在，使得整个分类过程中需要大量的存储和计算资源，并且占用了大量的计算时间，同时对于便携式、低功耗、强实时要求的实现来说也不友好。
6.申请内容
7.本技术实施例提供了spike信号的实时分类方法、装置、存储介质及电子设备，可以解决现有技术对spike信号进行实时分类过程中存在资源消耗大和处理时间长的问题。所述技术方案如下：
8.第一方面，本技术实施例提供了一种spike信号的实时分类方法，所述方法包括：
9.通过spike探测装置采集当前spike信号；
10.统计所述当前spike信号的序号；
11.分别计算所述当前spike信号与m个组的组中心之间的相关系数，得到m个相关系数；其中，m为大于1的整数；
12.在所述m个相关系数中确定最大值；
13.判断所述最大值是否大于相关系数阈值；
14.若为是，将所述当前spike信号放入到所述最大值对应的组，更新该组的组中心并将该组的spike信号数量加1；
15.判断所述序号是否为第一循环次数阈值的整数倍；
16.若为是，查询所述m个组中是否存在spike信号数量小于第一数量阈值的组；
17.若为是，删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除查询到的组的组中心；
18.判断所述序号是否为第二循环次数阈值的整数倍；其中，所述第一循环次数阈值小于所述第二循环次数阈值；
19.若为是，查询所述m个组中是否存在spike信号数量小于第二数量阈值的组；其中，所述第一数量阈值小于第二数量阈值；
20.若为是，删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除查询到的组的组中心。
21.第二方面，本技术实施例提供了一种spike信号的实时分类装置，所述装置包括：
22.采集单元，用于通过spike探测装置采集当前spike信号；
23.统计单元，用于统计所述当前spike信号的序号；
24.分类单元，用于分别计算所述当前spike信号与m个组的组中心之间的相关系数，得到m个相关系数；其中，m为大于1的整数；在所述m个相关系数中确定最大值；判断所述最大值是否大于相关系数阈值；若为是，将所述当前spike信号放入到所述最大值对应的组，以及更新该组的组中心和将该组的spike信号数量加1；判断所述序号是否为第一循环次数阈值的整数倍；若为是，查询所述m个组中是否存在spike信号数量小于第一数量阈值的组；若为是，删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除查询到的组的组中心；判断所述序号是否为第二循环次数阈值的整数倍；其中，所述第一循环次数阈值小于所述第二循环次数阈值；若为是，查询所述m个组中是否存在spike信号数量小于第二数量阈值的组；其中，所述第一数量阈值小于第二数量阈值；若为是，删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除查询到的组的组中心。
25.第三方面，本技术实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
26.第四方面，本技术实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
27.本技术一些实施例提供的技术方案带来的有益效果至少包括：
28.本技术使用相关系数来进行spike信号的分类，分类过程不会产生中间状态组，从而节省了存储资源，并减少了计算过程，同时精简了实现架构，为便携式低功耗的应用场景奠定基础。
附图说明
29.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
30.图1是本技术实施例提供的spike信号分类系统的结构示意图；
31.图2是本技术实施例提供的spike信号的实时分类方法的流程示意图；
32.图3是本技术实施例提供的spike信号的实时分类装置的结构示意图；
33.图4是本技术提供的一种spike信号的实时分类装置的另一结构示意图；
34.图5是本技术提供的一种电子设备的结构示意图。
具体实施方式
35.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
36.需要说明的是，本技术提供的spike信号的实时分类方法一般由电子设备执行，相应的，spike信号的实时分类装置一般设置于电子设备中。
37.请参阅图1，本技术提供实施例的一种spike信号分类系统的结构示意图，系统包括：采集电极1、放大电路2、模数转换电路3和实时分类装置4。
38.其中，采集电极1与放大电路2相连，放大电路2与模数转换电路3相连，模数转换电路3与实时分类装置4相连。
39.其中，采集电路1用于采集测试对象的神经元信号，该神经元信号为模拟信号，放大电路2对神经元信号进行进行放大处理，模数转换电路3对放大处理的神经元信号进行模数转换得到数字形式的spike信号，实时分类装置4基于相关系数的分类算法对该spike信号进行分类。
40.下面将结合附图2，对本技术实施例提供的spike信号的实时分类方法进行详细介绍。其中，本技术实施例中的spike信号的实时分类装置可以是图1所示的电子设备。
41.请参见图2，为本技术实施例提供了一种spike信号的实时分类方法的流程示意图。如图2所示，本技术实施例的所述方法可以包括以下步骤：
42.s201、通过spike探测装置采集当前spike信号。
43.其中，spike探测装置周期性的采集来自神经元的spike信号，该spike信号为数字信号，实时分类装置获取当前spike信号。
44.s202、统计当前spike信号的序号。
45.其中，实时分类装置对每次采集的spike信号进行计数，该计数值即为序号。实时分类装置统计当前spike信号的序号，设为n
total
。
46.s203、分别计算当前spike信号和m个组的组中心之间的相关系数，得到m个相关系数。
47.其中，来自同一神经元发出的spike信号属于同一类，需要划分到同一组，因此可以根据神经元的数量确定组的数量m，m为大于1的整数。每个组具有一个组中心，组中心即该组的聚类中心，组中心可以将组内的各个成员进行加权平均得到。实时分类装置计算当前spike信号和m个组的组中心的相关系数(correlation coefficient)，得到m个相关系数。
48.s204、在m个相关系数中确定最大值。
49.其中，实时分类装置对m个相关系数进行排序，在m个相关系数中确定最大值。
50.s205、判断最大值是否大于相关系数阈值。
51.其中，实时分类装置预配置有相关系数阈值ρ
th
，设s204中确定的最大值为max(ρ)，若max(ρ)＞ρ
th
，执行s206，若max(ρ)≤ρ
th
，执行s212。
52.s206、将当前spike信号加入到最大值对应的组，以及更新该组的组中心，和将该组的spike信号数量加1。
53.例如：假设神经元的数量为4，那么m＝4，共需分为4个组，分别为组1、组2、组3和组4，假设最大值对应的组为组2，组2的spike信号数量为20，那么将当前的spike信号加入到组2中后，组2的spike信号数量增加为21，由于组2中成员发生更新，那么也相应的更新组2的组中心。
54.s207、判断当前spike信号的序号是否为第一循环次数阈值的整数倍。
55.其中，实时分类装置预配置有第一循环次数阈值，实时分类装置将当前spike信号的序号和第一循环次数阈值进行求模得到模值，设当前spike信号的序号为n
total
，第一循环次数阈值为n
loop1
，若n
total
％n
loop1
＝0，执行s208，若n
total
％n
loop1
≠0，继续执行s201，即通过spike探测装置获取下一spike信号，将下一spike信号的序号统计为n
total
+1，然后继续执行s202～s216。
56.s208、查询m个组中是否存在spike信号数量小于第一数量阈值的组。
57.其中，实时分类装置预配置有第一数量阈值，设为g
size1
，实时分类装置在m个组中遍历各个组的spike信号数量n，若n小于g
size1
，执行s209，否则，执行s201，即通过spike探测装置获取下一spike信号，将下一spike信号的序号统计为n
total
+1，然后继续执行s202～s216。
58.s209、删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除查询到的组的组中心。
59.其中，查询到的组的数量可能为一个或多个，实时分类装置删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除该组的组中心。
60.s210、判断当spike信号的序号是否为第二循环次数阈值的整数倍。
61.其中，实时分类装置预配置有第二循环次数阈值，第二循环次数阈值大于第一循环次数阈值，设第二循环次数阈值为n
loop2
，n
total
％n
loop2
＝0，执行s211；若n
total
％n
loop2
≠0，执行s201，通过spike探测装置获取下一spike信号，将下一spike信号的序号配置为n
total
+1。
62.s211、查询m个组中是否存在spike信号数量小于第二数量阈值的组。
63.其中，实时分类装置预配置有第二数量阈值g
size2
，第二数量阈值大于第一数量阈值。实时分类装置遍历m个组的spike信号数量n，若n＜g
size2
，执行s208；若n≥g
size2
，执行s201。查询到的组的数量可以为一个或多个。
64.s212、查询m个组中是否存在spike信号数量为0的组。
65.其中，实时分类装置遍历m个组的spike信号数量，查询是否存在spike信号数量为0的组，若为是，执行s213，若为否，执行s214。查询到的组的数量可能为一个或多个。
66.s213、将当前spike信号加入到任意一个查询到的组中，以及将当前spike信号作为该组的中心，将该组的spike信号数量加1。
67.s214、丢弃当前spike信号，以及统计丢弃的spike信号数量。
68.s215、判断丢弃的spike信号数量是否大于丢弃数量阈值。
69.其中，实时分类装置预配置有丢弃数量阈值d
size
，设丢弃的spike信号数量为d，若d＞d
size
，执行s216，若d≤d
size
，执行s201。
70.s216、删除m个组中的spike信号和组中心，以及将各个组的spike数量清零、丢弃的spike信号数量清零、spike信号的序号清零。这样m个组的spike信号数量为0，丢弃的spike信号为0，实时分类装置取下一次spike信号时，该spike信号的序号为1。
71.本技术采用相关系数来进行神经元峰电位(spike信号)的分类，因为相关系数衡量的是spike信号的形状而不是距离；而同一个神经元产生的spike信号通常认为形状是相对不变的。尽管受到记录噪音的影响，记录到的spike信号幅值可能会改变，但同组spike信号之间的形状有很高的相似性，因而会有较大的相关系数值；而不同组之间的spike信号形状是有差异的，其相关系数较低，甚至为负。在相关系数的指导下，分类过程就有可能会产生正确的分组，即使有干扰组的存在，也会在循环检测中去除，因此不会有大量的中间状态组的存在，因而极大的简化了硬件的实现，为未来开发的便携式、低功耗的大脑神经元信号分析设备奠定基础。
72.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
73.请参见图3所示的，spike信号的实时分类装置的结构示意图。
74.本技术的spike信号的实时分类装置用于对大脑神经元spike信号的实时分类，神经元记录系统用于记录大脑神经元信号并转换为数字信号；spike探测装置用于从接收到的数字神经元信号中提取spike信号；spike信号的实时分类装置把提取出的spike信号分类成不同的组。本技术中的spike信号的实时分类装置包括的各个单元和各个单元之间的连接关系参见图3所示，此处不再赘述，本技术所涉及到的三个模块可以用不同的硬件形式呈现如现场可编程门阵列(field-programmable gate array)fpga或者集成电路设计(integer circuit)ic，以减少处理时延。
75.其中，ρ
thrgsize1gsize2nloop1nloop2dsize
的含义在图2的流程图中已经说明，这些参数是
以寄存器的形式实现，可以根据实际工作情况做调整以达到优化的性能。分类组的数目在硬件设计中实现为固定的数值，对单通道记录系统来说一般4-6组即可满足大多数记录情况(即单根电极可以记录4-6个神经元信号)，多通道的实现可以以此为基数来扩充。在本技术的阐述中，以4组为例来说明硬件系统的工作流程。其它数目分类组的硬件实现也遵循流程图2。
76.在spike信号的实时分类装置(spike sorting system)开始工作时，接收到的spike信号进入两个模块：相关系数计算模块(computingcorrelationcoefficient)和输入spike计数模块(input spike counter)。相关系数计算模块计算输入spike和四组spike中心的相关系数ρ，然后比较器1(comparator 1)输出四个相关系数中最大的(max(ρ))。同时max(ρ)和ρ
th
在比较器2(comparator 2)中比较大小，如果max(ρ)＞ρ
th
，说明输入spike和max(ρ)组中心的spike形状有高度相似，此时使能更新spike组中心和spike组计数器模块(update spike center and counter)。具体的实现就是重新计算max(ρ)所在组的spike中心：spike center1-4(因为输入spike被分入了此组，组中心会改变)；同时把max(ρ)所在组的spike计数器(counter1-4)加1,最后输出spike的分类结果sortingresult(max(ρ)所在组的id)。如果max(ρ)＜ρ
th
，表明输入的spike和任一组中心spike的形状都不相似，此时判断组中心是否有空位：即对应的counter 1至counter4数值是否为0。如果有空位(counter1-4值为0)，则创建一个新组，并把输入spike放入到新组中心，新组对应的counter值加1，并且输出新组的id即sortingresult。如果相应的counter 1至counter 4的数值不为0，则输入spike不属于任何存在的组，丢弃这个spike,同时使能counter 5加1来统计丢弃的spike的个数。硬件同时也会比较丢弃的spike的个数(counter5值)是否超过了d
size
，如果counter5大于d
size
,表明系统丢弃的spike个数太多，这个时候需要重置所有的spike组中心(spike center1-4)、中心组计数器(counter1-counter4)和输入spike计数模块(input spike counter)，并重新开始整个分类过程。
77.输入spike计数模块(inputspikecounter)计算进入到分类系统中总的spike的个数n
total
，硬件同时计算n
total
是否整除n
loop1
和n
loop2
。设置n
loop1
是为了设定每输入n
loop1
个spike就检测一下4组分类中spike的个数；设置n
loop2
也是同样的目的，每隔n
loop2
个spike，检测一下4组分类中spike的个数。在实际使用中一般配置n
loop1
较小，且n
loop1
＜n
loop2
。设置比较小的n
loop1
的目的是为了尽早的发现一些时间上出现较早、但是异常情况下的spike占用了spike分类组中心(spike center1-4)：如偶尔出现的干扰、或者异常的记录噪音(这种干扰spike通常出现个数很少且不持续，由于出现时间较早而误占用了有限的spike组中心位置，从而被当作有效的分类组)。当输入spike数为n
loop1
整数倍时，检测counter1至counter4的值是否小于g
size1
，如果小于，则表明对应组spike的个数过少，有可能是存在的干扰组。这个时候需要从分类组中去掉干扰组，从而把spike center的位置让给正常放电的神经元spike组。去掉干扰组的过程是重置spike center和对应的counter的值为0。当输入spike数为n
loop2
整数倍时，同样对四个分类组spike个数(counter1至counter4)进行检测，目的也是为了消除干扰组对最终分类结果的干扰，只是适当的放大检测的阈值g
size2
。这样做的目是对那些偶然出现，但是又超越了g
size1
的干扰组进行清除。这样经过了两轮的循环检测(n
loop1
和n
loop2
)之后，本技术最终得到的就是放电率相对稳定且充分利用了4组硬件spike中心的分类结果。
78.从以上的实现过程可以看出，本技术提出的方法在整个工作过程中只有四个分类组在工作，不会产生其它的中间状态组，从而不要求额外的存储来处理中间状态组。这样不仅节省了内存要求，同时还减少了中间状态组分类和合并过程中需要的计算过程，因此简化了实现架构，同时加快了分类速度。
79.请参见图4，其示出了本技术一个示例性实施例提供的spike信号的实时分类装置的结构示意图，以下简称装置4。该装置4可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。装置4包括：采集单元401、统计单元402、分类单元403。
80.采集单元401，用于通过spike探测装置采集当前spike信号；
81.统计单元402，用于统计所述当前spike信号的序号；
82.分类单元403，用于分别计算所述当前spike信号与m个组的组中心之间的相关系数，得到m个相关系数；其中，m为大于1的整数；在所述m个相关系数中确定最大值；判断所述最大值是否大于相关系数阈值；若为是，将所述当前spike信号放入到所述最大值对应的组，以及更新该组的组中心和将该组的spike信号数量加1；判断所述序号是否为第一循环次数阈值的整数倍；若为是，查询所述m个组中是否存在spike信号数量小于第一数量阈值的组；若为是，删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除查询到的组的组中心；判断所述序号是否为第二循环次数阈值的整数倍；其中，所述第一循环次数阈值小于所述第二循环次数阈值；若为是，查询所述m个组中是否存在spike信号数量小于第二数量阈值的组；其中，所述第一数量阈值小于第二数量阈值；若为是，删除查询到的组中的spike信号，将查询到的组的spike信号数量清零，以及删除查询到的组的组中心。
83.在一个或多个可能的实施例中，分类单元403还用于：
84.若所述最大值小于或等于所述相关系数阈值，在所述m个组中查询是否存在spike信号数量为0的组；
85.若为是，将所述当前spike信号加入到任意一个查询到的组中，以及将所述当前spike信号作为该组的组中心，将该组的spike信号数量加1；
86.通过所述spike探测装置采集下一个spike信号，
87.将所述当前spike信号的序号加1作为所述下一个spike信号的序号。
88.在一个或多个可能的实施例中，分类单元403还用于：
89.若在所述m个组中不存在spike信号数量为0的组，丢弃所述当前spike信号，以及统计丢弃的spike信号数量；
90.判断所述丢弃的spike信号数量是否大于丢弃数量阈值；
91.若为是，删除所述m个组中的spike信号和组中心，以及将各个组的spike数量清零、丢弃的spike信号数量清零；
92.通过所述spike探测装置采集下一spike信号；
93.将所述下一spike信号的序号重置为1。
94.在一个或多个可能的实施例中，分类单元403还用于：
95.若所述丢弃的spike信号数量小于或等于丢弃数量阈值；
96.通过所述spike探测装置采集下一个spike信号，
97.将所述当前spike信号的序号加1作为所述下一个spike信号的序号。
98.在一个或多个可能的实施例中，分类单元403还用于：
99.若所述当前spike信号的序号不为所述第一循环次数阈值的整数倍，通过所述spike探测装置采集下一个spike信号，
100.将所述当前spike信号的序号加1作为所述下一个spike信号的序号。
101.在一个或多个可能的实施例中，分类单元403还用于：
102.若所述m个组中不存在spike信号数量小于第一数量阈值的组，通过所述spike探测装置采集下一个spike信号，
103.将所述当前spike信号的序号加1作为所述下一个spike信号的序号。
104.在一个或多个可能的实施例中，分类单元403还用于：
105.若所述当前spike信号的信号不为第二循环次数阈值的整数倍或所述m个组中不存在spike信号数量小于所述第二数量阈值的组，通过所述spike探测装置采集下一个spike信号，
106.将所述当前spike信号的序号加1作为所述下一个spike信号的序号。
107.需要说明的是，上述实施例提供的装置4在执行spike信号的实时分类方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成上述的全部或者部分功能。另外，上述实施例提供的spike信号的实时分类装置与spike信号的实时分类方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
108.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
109.本技术实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2所示实施例的方法步骤，具体执行过程可以参见图2所示实施例的具体说明，在此不进行赘述。
110.本技术还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的spike信号的实时分类方法。
111.请参见图5，为本技术实施例提供了一种电子设备的结构示意图。如图5所示，所述电子设备500可以包括：至少一个处理器501，至少一个网络接口504，用户接口503，存储器505，至少一个通信总线502。
112.其中，通信总线502用于实现这些组件之间的连接通信。
113.其中，用户接口503可以包括显示屏(display)、摄像头(camera)，可选用户接口503还可以包括标准的有线接口、无线接口。
114.其中，网络接口504可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。
115.其中，处理器501可以包括一个或者多个处理核心。处理器501利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器505内的指令、程序、代码集或指令集，以及调用存储在存储器505内的数据，执行电子设备500的各种功能和处理数据。可选的，处理器501可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field-programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器501可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)
和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器501中，单独通过一块芯片进行实现。
116.其中，存储器505可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。可选的，该存储器505包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器505可用于存储指令、程序、代码、代码集或指令集。存储器505可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器505可选的还可以是至少一个位于远离前述处理器501的存储装置。如图5所示，作为一种计算机存储介质的存储器505中可以包括操作系统、网络通信模块、用户接口模块以及应用程序。
117.在图5所示的电子设备500中，用户接口503主要用于为用户提供输入的接口，获取用户输入的数据；而处理器501可以用于调用存储器505中存储的应用程序，并具体执行如图2所示的方法，具体过程可参照图2所示，此处不再赘述。
118.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
119.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。