处理崩溃日志的方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种处理崩溃日志。


背景技术：

2.目前移动端采用获取崩溃日志信息，上报至数据库，然后基于正则表达式匹配进行分类整理。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：只是对上报的崩溃日志信息针对异常进行了归类，即只是简单的对崩溃日志进行分析，没有考虑页面、机型、应用系统等碎片化条件，不能确定产生具体原因，进而问题不能得到根本的解决，无法根据崩溃日志获得问题的规律和特征。


技术实现要素：

3.有鉴于此，本发明实施例提供一种处理崩溃日志的方法和装置，能够基于对崩溃日志的标签化，对崩溃日志进行聚类处理，可明确的确定出产生崩溃的原因，进而能够优先处理较为严重的崩溃。
4.为实现上述目的，根据本发明实施例的一个方面，提供了一种处理崩溃日志的方法。
5.本发明实施例提供的一种处理崩溃日志的方法包括：获取崩溃日志，以进行文本分析，得到每个崩溃日志的标签集；其中，所述标签集中至少包括一个标签属性信息；基于每个崩溃日志的标签集，对所述崩溃日志进行聚类处理，以得到至少一个崩溃簇类；根据得到的所述至少一个崩溃簇类，确定待处理任务的优先级；其中，所述待处理任务用于指示处理所述至少一个崩溃簇类中的崩溃日志。
6.可选的，所述对获取的多个崩溃日志进行文本分析，以得到每个崩溃日志的标签集，包括：调用动态循环神经网络接口；基于所述动态循环神经网络接口，对所述崩溃日志进行文本分析，以得到每个崩溃日志的标签集。
7.可选的，所述基于每个崩溃日志的标签集，对所述多个崩溃日志进行聚类处理，以得到至少一个崩溃簇类，包括：基于每个崩溃日志的标签集，通过k均值聚类算法对所述崩溃日志进行聚类处理，以得到至少一个崩溃簇类。
8.可选的，所述根据得到的所述至少一个崩溃簇类，确定待处理任务的优先级，包括：确定每个崩溃簇类中包括的崩溃日志的数量；根据所述数量，确定该崩溃簇类的待处理任务的优先级；
9.可选的，在根据得到的所述至少一个崩溃簇类，确定待处理任务的优先级之前，还包括：分析每个崩溃簇类中的崩溃日志，生成该崩溃簇类的待处理任务。
10.可选的，所述标签属性信息至少包括：调用栈信息、页面信息、应用系统信息或者机型信息。
11.为实现上述目的，根据本发明实施例的另一个方面，提供了一种处理崩溃日志的装置。
12.本发明实施例的提供的一种处理崩溃日志的装置包括：
13.标签处理模块，用于获取崩溃日志，以进行文本分析，得到每个崩溃日志的标签集；其中，所述标签集中至少包括一个标签属性信息；
14.聚类处理模块，用于基于每个崩溃日志的标签集，对所述崩溃日志进行聚类处理，以得到至少一个崩溃簇类；
15.优先级确定模块，用于得到的所述至少一个崩溃簇类，确定待处理任务的优先级；其中，所述待处理任务用于指示处理所述至少一个崩溃簇类中的崩溃日志。
16.可选的，所述标签处理模块，还用于：调用动态循环神经网络接口；基于所述动态循环神经网络接口，对所述多个崩溃日志进行文本分析，以得到每个崩溃日志的标签集。
17.可选的，所述聚类处理模块，还用于：基于每个崩溃日志的标签集，通过k均值聚类算法对所述崩溃日志进行聚类处理，以得到至少一个崩溃簇类。
18.可选的，所述优先级确定模块，还用于：确定每个崩溃簇类中包括的崩溃日志的数量；根据所述数量，确定该崩溃簇类的待处理任务的优先级。
19.可选的，所述待处理任务生成模块，还用于：在根据得到的所述至少一个崩溃簇类，确定待处理任务的优先级之前，分析每个崩溃簇类中的崩溃日志，生成该崩溃簇类的待处理任务。
20.为实现上述目的，根据本发明实施例的再一个方面，提供了一种处理崩溃日志的电子设备。
21.本发明实施例提供的一种处理崩溃日志的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的处理崩溃日志的方法。
22.为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读存储介质，所述程序被处理器执行时实现上述任一项所述的处理崩溃日志的方法。
23.上述发明中的一个实施例具有如下优点或有益效果：通过对崩溃日志进行标签化处理，即确定每个崩溃日志的页面、机型、应用系统等信息，然后对标签后的崩溃日志进行聚类处理，根据聚类的结果可确定产生崩溃的原因，以及能够优先处理较为严重的崩溃。
24.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
25.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
26.图1是根据本发明实施例的处理崩溃日志的方法的主要流程的示意图；
27.图2是根据本发明实施例的处理崩溃日志的方法的示意图；
28.图3是根据本发明实施例的处理崩溃日志的聚类处理的示意图；
29.图4是根据本发明实施例的处理崩溃日志的方法的示意图；
30.图5是根据本发明实施例的处理崩溃日志的装置的主要模块的示意图；
31.图6是本发明实施例可以应用于其中的示例性系统架构图；
32.图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
33.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
34.图1是根据本发明实施例的处理崩溃日志的方法的主要流程的示意图，如图1所示，本发明实施例的处理崩溃日志的方法的主要包括：
35.步骤s101：获取崩溃日志，以进行文本分析，得到每个崩溃日志的标签集；其中，标签集中至少包括一个标签属性信息。
36.步骤s102：基于每个崩溃日志的标签集，对崩溃日志进行聚类处理，以得到至少一个崩溃簇类。
37.步骤s103：根据得到的至少一个崩溃簇类，确定待处理任务的优先级；其中，待处理任务用于指示处理至少一个崩溃簇类中的崩溃日志。
38.崩溃信息中可能包含多个界面相关内容，比如商品详情，购物车等，这些都会对应上标签。在本发明实施例中，每个崩溃日志的标签集中至少包括一个标签属性信息，该标签属性信息是指崩溃日志的碎片化信息，例如调用栈信息、页面信息、应用系统信息或者机型信息等。进而基于崩溃日志中的调用栈信息、页面信息、应用系统信息、机型信息等多个方面的标签内容，以及根据聚类分析的方法获取崩溃日志内容的规律和特征，可以达到快速解决问题比较突出的崩溃。其中，在本发明中的应用系统指的是系统，例如android、ios等。移动端指的是应用程序app，如购物app、聊天app等。
39.最优的，在步骤s101中，在接收崩溃收集系统上报的多个崩溃日志的情况下，调用动态循环神经网络接口。基于动态循环神经网络接口，对多个崩溃日志进行文本分析，以得到每个崩溃日志的标签集。tensorflow中提供了循环神经网络rnn接口，在实现过程中，选择使用rnn接口中的动态接口，其没有中间体的生成，生成的过程所需时间相对较少，所占内存相对静态rnn更小，模型中保存的只有最后的状态。tensorflow是一个采用数据流图(data flow graphs)，用于数值计算的开源软件库。基于动态rnn进行文本分类主要基于以下几个步骤：1.数据预处理；2.用tensorflow写rnn网络结构了；3.训练模型。tensorflow中的rnn文本分类可以基于python实现。
40.其中，循环神经网络rnn(recurrent neural network)是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，rnn可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
41.最优的，在步骤s102中，基于每个崩溃日志的标签集，通过k均值聚类算法对多个崩溃日志进行聚类处理，以得到至少一个崩溃簇类。图3是根据本发明实施例的处理崩溃日志的聚类处理的示意图，如图3所示，k值可通过交叉验证选择一个合适的k值。在确定了k的个数后，需要选择k个初始化的质心，在实现过程中，k个初始化质心就是不同标签的点，每个标签的关联尽量的少，即质心的距离尽量的长，便于用于簇的划分。基于标签系统，可通过错误类型、机型、系统、等大纬度的标签进行初始化质心的确定。
42.k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响，这
些质心不能太近。其中，输入是样本集a＝{x1，x2，x3，......，x
m
},聚类的簇树k,最大迭代次数n，输出是簇划分c＝{c1，c2，c3，......，c
k
}。以及，样本集中为崩溃日志，xi表示第i个崩溃日志的标签向量。
43.1)从数据集a中随机选择k个样本作为初始的k个质心向量：{u1，u2，......u
k
}。
44.2)对于n＝1,2,...,n：
45.a)将簇划分(即本发明中的崩溃簇类的集合)c初始化为t＝1,2...k
46.b)对于i＝1,2...m,计算样本x
i
和各个质心向量u
j
(j＝1,2,...k)的距离：d
ij
＝||xi-uj||^2，将x
i
标记为最小的d
ij
所对应的类别λ
i
，即样本x
i
通过计算距离获得样本x
i
距离最近的类别。此时更新c
λi
＝c
λi
∪x
i
，c
λi
是簇的集合，一种类型的簇要包含距离较近的x
i
；
47.c)对于j＝1,2,...,k,对c
j
中所有的样本点重新计算新的质心，u_j代表质心，c_j代表第二部中新生成的簇；
[0048][0049]
e)判断：若if(o+1)-f(o)i<theta(f收敛)或者对象无类别变化，则算法结束，否则，返回b)步。
[0050]
3)输出簇划分c＝{c1，c2，c3，......，c
k
}。
[0051]
进一步，可优化k-means随机初始化质心。具体的：
[0052]
a)从输入的数据点集合中随机选择一个点作为第一个聚类中心μ1
[0053]
b)对于数据集中的每一个点x
i
，计算它与已选择的聚类中心中最近聚类中心的距离
[0054][0055]
c)选择一个新的数据点作为新的聚类中心，选择的原则是：a(x)较大的点，被选取作为聚类中心的概率较大
[0056]
d)重复b和c直到选择出k个聚类中心
[0057]
e)利用这k个质心来作为初始化质心去运行标准的k-means算法。
[0058]
最优的，在步骤s103中，确定每个崩溃簇类中包括的崩溃日志的数量；根据数量，确定该崩溃簇类的待处理任务的优先级。或者，在根据得到的至少一个崩溃簇类，确定待处理任务的优先级之前，还包括：分析每个崩溃簇类中的崩溃日志，生成该崩溃簇类的待处理任务。
[0059]
图2是根据本发明实施例的处理崩溃日志的方法的示意图；如图2所示，本发明实施例的处理崩溃日志的方法包括：
[0060]
步骤s201：在接收崩溃收集系统上报的多个崩溃日志的情况下，调用动态循环神经网络接口。
[0061]
在本发明另一实施例中，也可通过调用静态rnn接口对崩溃日志进行标签处理。其中，静态rnn一般需要将所有句子padding成等长处理，但动态rnn稍显灵活一点，动态rnn中，只要一个batch中的所有句子等长就可以。padding是将需要分类的语句等长处理，如：
history和love两个单词，需要将love填充位数和history等长便与程序处理。padding在tensorflow中有已存在的api使用。batch为批量处理，可以一次性处理所有语句的长度，处理为预设基准长度。以及，静态rnn的输入与输出是list或二维张量；动态rnn中输入输出的是三维张量，相对与textcnn，少了一维。静态rnn生成过程所需的时间更长，网络所占内存会更大，但模型中会带有每个序列的中间信息，利于调试；动态rnn生成过程所需时间相对少，所占内存相对更小，但模型中只有最后的状态。
[0062]
步骤s202：基于动态循环神经网络接口，对多个崩溃日志进行文本分析，以得到每个崩溃日志的标签集。
[0063]
步骤s203：基于每个崩溃日志的标签集，通过k均值聚类算法对多个崩溃日志进行聚类处理，以得到至少一个崩溃簇类。
[0064]
步骤s204：分析每个崩溃簇类中的崩溃日志，生成该崩溃簇类的待处理任务。针对每个崩溃簇类中崩溃日志的类型、产生原因等，相应的生成该崩溃簇类的待处理任务。在本发明实施例中，可基于预设的一些规则配置信息等，分析出每个崩溃簇类中崩溃日志的特征之后，可自动生成用于处理该崩溃日志的待处理任务。
[0065]
步骤s205：确定每个崩溃簇类中包括的崩溃日志的数量；根据数量，确定该崩溃簇类的待处理任务的优先级。由于产生崩溃的原因不同或者崩溃日志的特征信息不同，其处理的急需程度也不相同，因此，在本发明实施例中，可根据每个崩溃簇类中包括的崩溃日志的数量，确定出该崩溃日志的处理优先级。其中，崩溃簇类中包括的崩溃日志的数量较高，可在一定程度上说明产生该崩溃的频率比较高、产生的原因可以比较急。因此根据每个崩溃簇类中包括的崩溃日志的数量，确定崩溃日志的处理优先级，可快速有效的确定出解决崩溃问题的方案和及时处理崩溃的原因。
[0066]
对于本发明实施例，通过对崩溃日志进行标签化处理，即确定每个崩溃日志的页面、机型、应用系统等信息，然后对标签后的崩溃日志进行聚类处理，根据聚类的结果可确定产生崩溃的原因，以及能够优先处理较为严重的崩溃。
[0067]
图4是根据本发明实施例的处理崩溃日志的方法的示意图。如图4所示，本发明实施例的处理崩溃日志的方法包括：移动端捕获崩溃信息进行原始数据存储。移动端信息捕获分为上层应用信息、底层系统信息、中间层调用库信息、跳转页面信息等多个业务逻辑信息。客户端通过sdk(软件开发工具包)获取到崩溃信息后，基于崩溃收集系统上传至服务端，服务端存储数据源至服务器。
[0068]
然后，基于文本分析对崩溃信息作标签处理，标识具体问题，每个崩溃信息可能涉及多个标签。以及，基于k-means进行聚类分析，优化k-means随机初始化质心。并且，输出簇划分c。最后，对c进行分析，获取崩溃的规律及特征，优先处理较为严重的崩溃。得到的簇划分c结果后根据聚类内容的多少，问题的严重程度及问题的特征和规律可以较为简单的进行问题处理。在本发明实施例中，基于tensorflow中的rnn文本分类为崩溃信息进行标识，以及基于k-means对崩溃信息标识后的结果进行聚类分析，可以快速解决比较突出的崩溃的问题。
[0069]
图5是根据本发明实施例的处理崩溃日志的装置的主要模块的示意图，如图5所示，本发明实施例的处理崩溃日志的装置的主要模块包括：标签处理模块501、聚类处理模块502和优先级确定模块503。
[0070]
标签处理模块501用于，获取崩溃日志，以进行文本分析，以得到每个崩溃日志的标签集；其中，标签集中至少包括一个标签属性信息。标签处理模块，还用于：调用动态循环神经网络接口；基于动态循环神经网络接口，对崩溃日志进行文本分析，以得到每个崩溃日志的标签集。
[0071]
聚类处理模块502用于，基于每个崩溃日志的标签集，对多个崩溃日志进行聚类处理，以得到至少一个崩溃簇类。聚类处理模块，还用于：基于每个崩溃日志的标签集，通过k均值聚类算法对崩溃日志进行聚类处理，以得到至少一个崩溃簇类。
[0072]
优先级确定模块503用于，得到的至少一个崩溃簇类，确定待处理任务的优先级；其中，待处理任务用于指示处理至少一个崩溃簇类中的崩溃日志。优先级确定模块，还用于：确定每个崩溃簇类中包括的崩溃日志的数量；根据数量，确定该崩溃簇类的待处理任务的优先级。本发明实施例的处理崩溃日志的装置还包括待处理任务生成模块，用于：在根据得到的至少一个崩溃簇类，确定待处理任务的优先级之前，分析每个崩溃簇类中的崩溃日志，生成该崩溃簇类的待处理任务。
[0073]
根据本发明实施例的技术方案，通过对崩溃日志进行标签化处理，即确定每个崩溃日志的页面、机型、应用系统等信息，然后对标签后的崩溃日志进行聚类处理，根据聚类的结果可确定产生崩溃的原因，以及能够优先处理较为严重的崩溃。
[0074]
图6示出了可以应用本发明实施例的处理崩溃日志的方法和装置的示例性系统架构600。
[0075]
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0076]
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0077]
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0078]
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息
--
仅为示例)反馈给终端设备。
[0079]
需要说明的是，本发明实施例所提供的处理崩溃日志的方法一般由服务器605执行，相应地，处理崩溃日志的装置一般设置于服务器605中。
[0080]
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0081]
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0082]
如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而
执行各种适当的动作和处理。在ram 703中，还存储有系统700操作所需的各种程序和数据。cpu 701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0083]
以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0084]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本发明的系统中限定的上述功能。
[0085]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0086]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0087]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括标签处理模块、聚类处理模块和优先级确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，标签处理模块还可以被描述为“对获取的多个崩溃日志进行文本分析，以得到每个崩溃日志的标签集”。
[0088]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取崩溃日志，以进行文本分析，得到每个崩溃日志的标签集；其中，标签集中至少包括一个标签属性信息；基于每个崩溃日志的标签集，对崩溃日志进行聚类处理，以得到至少一个崩溃簇类；根据得到的至少一个崩溃簇类，确定待处理任务的优先级；其中，待处理任务用于指示处理至少一个崩溃簇类中的崩溃日志。
[0089]
根据本发明实施例的技术方案，通过对崩溃日志进行标签化处理，即确定每个崩溃日志的页面、机型、应用系统等信息，然后对标签后的崩溃日志进行聚类处理，根据聚类的结果可确定产生崩溃的原因，以及能够优先处理较为严重的崩溃。
[0090]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。