本发明涉及互联网
技术领域：
：，尤其涉及一种处理线上服务器的log数据的装置及方法。
背景技术：
：：服务器在运行的过程中会产生大量有用的日志(log)数据，这些log数据主要用来记录一些访问信息，以便在服务器出现状况时可以根据log数据来判断原因，帮助开发人员更好地定位并修复问题；或者，也可以通过对log数据的分析来了解用户的行为，从而根据用户的喜好为用户提供精准的个性化推荐。在日常的服务器开发工作中，由于服务器开发人员和运维工程师不能够实时地进行交流沟通，当线上服务器出问题之后，开发人员首先需要向运维工程师索要log数据，继而进行问题分析；这种方式对于开发人员不能够实时获取log数据，从而延长了修复线上服务器问题的进度，降低了工作效率。技术实现要素：有鉴于此，本发明实施例期望提供一种处理线上服务器的log数据的装置及方法，以实现实时获取线上服务器的log数据的目的，提高线上服务器的修复进度，进而提高工作效率。为达到上述目的，本发明的技术方案是这样实现的：本发明提供一种处理线上服务器的log数据的装置，所述装置包括：获取模块，用于获取线上服务器的日志log数据；处理模块，用于对所述线上服务器的log数据进行处理，得到处理后的log数据；存储模块，用于将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引；呈现模块，用于通过外部接口将查询时间范围内的log数据从所述数据库中呈现。上述方案中，所述获取模块，具体用于通过活动消息队列activemq系统获取所述线上服务器的log数据，所述线上服务器的log数据是由所述线上服务器的文件系统监控机制inotify客户端监控所述线上服务器得到的。上述方案中，所述处理模块，具体用于通过分布式实时计算系统storm系统将所述线上服务器的log数据进行过滤，将过滤后的所述线上服务器的log数据生成固定格式的log数据，将所述固定格式的log数据确定为所述处理后的log数据；所述固定格式为时间+log级别+log所属应用模块+log具体信息的格式。上述方案中，所述装置还包括：合并模块，用于通过所述storm系统根据预设条件合并所述固定格式的log数据，得到合并后的固定格式的log数据；所述预设条件包括如下至少之一：预设时间间隔、log数据级别、log数据所属的应用；所述处理模块，还具体用于将所述合并后的固定格式的log数据确定为所述处理后的log数据。上述方案中，所述存储模块，具体用于将所述处理后的log数据使用分布式文件系统hdfs存储到海杜普数据库hbase数据库的log数据表格table_log中，并对所述处理后的log数据建立时间字段索引。本发明提供一种处理线上服务器的log数据的方法，所述方法包括：获取线上服务器的日志log数据；对所述线上服务器的log数据进行处理，得到处理后的log数据；将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引；通过外部接口将查询时间范围内的log数据从所述数据库中呈现。上述方案中，所述获取线上服务器的log数据，包括：通过活动消息队列activemq系统获取所述线上服务器的log数据，所述线上服务器的log数据是由所述线上服务器的文件系统监控机制inotify客户端监控所述线上服务器得到的。上述方案中，所述对所述线上服务器的log数据进行处理，得到处理后的log数据，包括：通过分布式实时计算系统storm系统将所述线上服务器的log数据进行过滤，将过滤后的所述线上服务器的log数据生成固定格式的log数据，将所述固定格式的log数据确定为所述处理后的log数据；所述固定格式为时间+log级别+log所属应用模块+log具体信息的格式。上述方案中，在所述将过滤后的所述线上服务器的log数据生成固定格式的log数据之后，所述方法还包括：通过所述storm系统根据预设条件合并所述固定格式的log数据，得到合并后的固定格式的log数据；所述预设条件包括如下至少之一：预设时间间隔、log数据级别、log数据所属的应用；所述将所述固定格式的log数据确定为所述处理后的log数据，包括：将所述合并后的固定格式的log数据确定为所述处理后的log数据。上述方案中，所述将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引，包括：将所述处理后的log数据使用分布式文件系统hdfs存储到海杜普数据库hbase数据库的log数据表格table_log中，并对所述处理后的log数据建立时间字段索引。本发明实施例所提供的处理线上服务器的log数据的装置及方法，通过获取线上服务器的log数据，得到线上服务器的实时log数据；然后对所述线上服务器的log数据进行处理，得到固定格式的log数据，并将其确定为处理后的log数据；再将所述处理后的log数据存储到数据库中，以实现将线上服务器的实时log数据同步至除线上服务器以外的其他设备的目的；并对所述处理后的log数据建立时间字段索引，以方便后续对log数据的查找；最后通过外部接口将查询时间范围内的log数据从所述数据库中呈现；这样便可以通过将线上服务器的实时log数据同步至除线上服务器以外的其他设备，实现实时获取线上服务器的log数据的目的，进而提高了线上服务器的修复进度，提高了工作效率。附图说明图1为实现本发明各个实施例的一个可选的移动终端的硬件结构示意图；图2为本发明实施例提供的移动终端能够操作的通信系统结构示意图；图3为本发明处理线上服务器的log数据的方法实施例一的流程图；图4为本发明处理线上服务器的log数据的方法实施例二的流程图；图5为本发明处理线上服务器的log数据的方法实施例二中处理线上服务器的log数据的架构图；图6为本发明处理线上服务器的log数据的方法实施例二中通过页面url获取log数据的示意图；图7为本发明处理线上服务器的log数据的装置实施例的结构示意图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。现在将参考附图1来描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(pda)、平板电脑(pad)、便携式多媒体播放器(pmp)、导航装置等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。图1为实现本发明各个实施例的移动终端的硬件结构示意。移动终端100可以包括无线通信单元110、音频/视频(a/v)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件，可以替代地实施更多或更少的组件，将在下面详细描述移动终端的元件。无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括tv广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与tv或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(dmb)的电子节目指南(epg)、数字视频广播手持(dvb-h)的电子服务指南(esg)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(dmb-t)、数字多媒体广播-卫星(dmb-s)、数字视频广播-手持(dvb-h)，前向链路媒体(mediaflo@)的数据广播系统、地面数字广播综合服务(isdb-t)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。移动通信模块112将无线电信号发送到基站(例如，接入点、节点b等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括wlan(无线lan)(wi-fi)、wibro(无线宽带)、wimax(全球微波互联接入)、hsdpa(高速下行链路分组接入)等等。短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙tm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、紫蜂tm等等。位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块115的典型示例是全球定位系统(gps)。根据当前的技术，gps的位置信息模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，gps的位置信息模块115能够通过实时地连续计算当前位置信息来计算速度信息。a/v输入单元120用于接收音频或视频信号。a/v输入单元120可以包括相机121和麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风122接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。感测单元140检测移动终端100的当前拍摄状态，(例如，移动终端100的打开或关闭拍摄状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。感测单元140可以包括接近传感器141将在下面结合触摸屏来对此进行描述。接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(uim)、客户识别模块(sim)、通用客户识别模块(usim)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(ui)或图形用户界面(gui)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的ui或gui等等。同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(lcd)、薄膜晶体管lcd(tft-lcd)、有机发光二极管(oled)显示器、柔性显示器、三维(3d)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为toled(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incomingcommunication)时，警报单元153可以提供触觉输出(例如，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储已经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。至此，已经按照其功能描述了移动终端。下面，为了简要起见，将描述诸如折叠型、直板型、摆动型、滑动型移动终端等等的各种类型的移动终端中的滑动型移动终端作为示例。因此，本发明能够应用于任何类型的移动终端，并且不限于滑动型移动终端。如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信系统以及基于卫星的通信系统来操作。现在将参考图2描述其中根据本发明的移动终端能够操作的通信系统。这样的通信系统可以使用不同的空中接口和/或物理层。例如，由通信系统使用的空中接口包括例如频分多址(fdma)、时分多址(tdma)、码分多址(cdma)和通用移动通信系统(umts)(特别地，长期演进(lte))、全球移动通信系统(gsm)等等。作为非限制性示例，下面的描述涉及cdma通信系统，但是这样的教导同样适用于其它类型的系统。参考图2，cdma无线通信系统可以包括多个移动终端100、多个基站(bs)270、基站控制器(bsc)275和移动交换中心(msc)280。msc280被构造为与公共电话交换网络(pstn)290形成接口。msc280还被构造为与可以经由回程线路耦接到基站270的bsc275形成接口。回程线路可以根据若干已知的接口中的任一种来构造，所述接口包括例如e1/t1、atm，ip、ppp、帧中继、hdsl、adsl或xdsl。将理解的是，如图2中所示的系统可以包括多个bsc275。每个bs270可以服务一个或多个分区(或区域)，由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离bs270。或者，每个分区可以由用于分集接收的两个或更多天线覆盖。每个bs270可以被构造为支持多个频率分配，并且每个频率分配具有特定频谱(例如，1.25mhz，5mhz等等)。分区与频率分配的交叉可以被称为cdma信道。bs270也可以被称为基站收发器子系统(bts)或者其它等效术语。在这样的情况下，术语"基站"可以用于笼统地表示单个bsc275和至少一个bs270。基站也可以被称为"蜂窝站"。或者，特定bs270的各分区可以被称为多个蜂窝站。如图2中所示，广播发射器(bt)295将广播信号发送给在系统内操作的移动终端100。如图1中所示的广播接收模块111被设置在移动终端100处以接收由bt295发送的广播信号。在图2中，示出了几个全球定位系统(gps)卫星300。卫星300帮助定位多个移动终端100中的至少一个。在图2中，描绘了多个卫星300，但是理解的是，可以利用任何数目的卫星获得有用的定位信息。如图1中所示的gps的位置信息模块115通常被构造为与卫星300配合以获得想要的定位信息。替代gps跟踪技术或者在gps跟踪技术之外，可以使用可以跟踪移动终端的位置的其它技术。另外，至少一个gps卫星300可以选择性地或者额外地处理卫星dmb传输。作为无线通信系统的一个典型操作，bs270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站270接收的每个反向链路信号被在特定bs270内进行处理。获得的数据被转发给相关的bsc275。bsc提供通话资源分配和包括bs270之间的软切换过程的协调的移动管理功能。bsc275还将接收到的数据路由到msc280，其提供用于与pstn290形成接口的额外的路由服务。类似地，pstn290与msc280形成接口，msc280与bsc275形成接口，并且bsc275相应地控制bs270以将正向链路信号发送到移动终端100。基于上述移动终端硬件结构以及通信系统，提出本发明方法各个实施例。实施例一图3为本发明处理线上服务器的log数据的方法实施例一的流程图；如图3所示，本发明实施例提供的处理线上服务器的log数据的方法可以包括如下步骤：步骤301：获取线上服务器的日志log数据。在实际应用中，可通过线上服务器的文件系统监控机制inotify客户端对线上服务器的log数据进行实时监控；然后，通过活动消息队列(activemessagequeue，activemq)系统获取该inotify客户端监控到的线上服务器的实时log数据。步骤302：对所述线上服务器的log数据进行处理，得到处理后的log数据。在通过activemq系统获取到线上服务器的log数据之后，通过分布式实时计算系统storm系统对获取到的log数据进行过滤，即删除掉无用的log数据和有误的log数据，然后将该过滤后的log数据生成固定格式的log数据，生成的该固定格式的log数据即为得到的处理后的log数据。其中，该固定格式的log数据的固定格式可以为：“时间+log级别+log所属应用模块+log具体信息”。其中的“log级别”可以是“告警(warn)”、“通知信息(info)”、“错误(error)”等级别，“log所属应用模块”用来说明该log数据是来自哪一个应用的log数据，比如，对于来自“天气”应用的log数据，log所属应用模块便为“天气”。在将过滤后的log数据生成固定格式的log数据之后，还可以通过storm系统根据预设条件对该固定格式的log数据进行合并，得到合并后的固定格式的log数据，以减小数据库的存储量；其中的预设条件包括如下至少之一：预设时间间隔、log数据级别、log数据所属的应用。例如，将过滤后的log数据生成固定格式的log数据之后，可以通过storm系统对每隔t秒时间内的固定格式的log数据进行合并，得到合并后的固定格式的log数据。步骤303：将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引。在对线上服务器的log数据进行处理，得到处理后的log数据之后，可以将该处理后的log数据使用分布式文件系统(hadoopdistributedfilesystem，hdfs)存储到海杜普数据库(hadoopdatabase，hbase)中的log数据表格table_log中，并对该处理后的log数据建立时间字段索引，以方便后续对log数据的查找。例如，可以直接调用建立索引命令对该处理后的log数据的时间字段按降序进行就行索引，以保证最新的log数据最容易被查询到。步骤304：通过外部接口将查询时间范围内的log数据从所述数据库中呈现。在将处理后的log数据存储到数据库中，并对该处理后的log数据建立时间字段索引之后，可以通过外部接口将查询时间范围内的log数据从数据库中呈现出来。例如，将要查询t1到t2时间范围内的log数据，则可以通过log日志服务器从hbase数据库中查询t1到t2时间范围内的log数据，然后将查询到的该时间范围内的log数据呈现出来；其中的log日志服务器是除线上服务器以外的其他互联网(web)服务器。本发明实施例提供的处理线上服务器的log数据的方法，通过获取线上服务器的log数据，得到线上服务器的实时log数据；然后对所述线上服务器的log数据进行处理，得到固定格式的log数据，并将其确定为处理后的log数据；再将所述处理后的log数据存储到数据库中，以实现将线上服务器的实时log数据同步至除线上服务器以外的其他设备的目的；并对所述处理后的log数据建立时间字段索引，以方便后续对log数据的查找；最后通过外部接口将查询时间范围内的log数据从所述数据库中呈现；从而能够使开发人员实时获取线上服务器的log数据，进而提高了线上服务器的修复进度，提高了工作效率。实施例二图4为本发明处理线上服务器的log数据的方法实施例二的流程图；如图4所示，本发明实施例提供的处理线上服务器的log数据的方法可以包括如下步骤：步骤401：通过activemq系统获取线上服务器的log数据。一般线上运行的服务器，即线上服务器会产生大量有用的log数据，用来记录一些访问信息；inotify是一种文件系统的变化通知机制，能够对文件系统的操作进行监控，比如，能够对文件的增加、删除、更改等事件进行监控。实际应用中，可在线上服务器上运行inotify客户端来对线上服务器的log数据进行实时监控；当线上服务器的log数据流动增加时，inotify会监控到该变化，并将增加的log数据发送给activemq系统；activemq系统将获取到inotify客户端监控到的线上服务器的实时log数据。步骤402：通过storm系统对线上服务器的log数据进行过滤处理，得到过滤后的log数据。storm系统是一个流式数据处理系统，在activemq系统获取到inotify客户端监控到的线上服务器的实时log数据之后，当该log数据从activemq系统流入到storm系统时，storm系统将会对log数据进行过滤处理，即去除掉无用的log数据和有误的log数据，得到过滤后的log数据。步骤403：通过storm系统将过滤后的log数据生成固定格式的log数据。storm系统在将线上服务器的log数据进行过滤处理，得到过滤后的log数据之后，将该过滤后的log数据生成固定格式的log数据；其中，所生成的固定格式的log数据的固定格式可以为：“时间+log级别+log所属应用模块+log具体信息”。该固定格式中的“时间”是线上服务器产生该log数据的时间，或者也可以说是用户的访问时间；“log级别”可以是“告警(warn)”、“通知信息(info)”、“错误(error)”等级别，即相当于是该log数据的类型；“log所属应用模块”代表该log数据是来自哪一个应用的，比如，该log数据是在浏览新闻客户端时产生的，则“log所属应用模块”将为“新闻客户端”。步骤404：通过storm系统根据预设条件合并生成的固定格式的log数据，得到合并后的固定格式的log数据。storm系统在将过滤后的log数据生成固定格式的log数据之后，可以根据预设条件将该固定格式的log数据进行合并，得到合并后的固定格式的log数据；其中的预设条件可以包括预设时间间隔、log数据级别、log数据所属的应用等中的至少一个；比如，可以每隔预设时间间隔对该固定格式的log数据进行合并，也可以每隔预设时间间隔对同一log数据级别，如同为“告警(warn)”的该固定格式的log数据进行合并。例如，有如表1所示的固定格式的log数据：表1对于表1中的固定格式的log数据，可以对每隔30秒的数据进行合并，得到合并后的固定格式的log数据，其结果可以如表2所示：表2由表2可以看出，对表1中的固定格式的log数据，将10:12:01-10:12:30这30秒内的log数据合并到了一起，将10:12:31-10:13:00这30秒内的log数据合并到了一起，将10:13:01-10:13:30这30秒内的log数据合并到了一起，减小了数据库的存储量。对于表1中的固定格式的log数据，也可以对每隔30秒的同一log级别的数据进行合并，得到合并后的固定格式的log数据，其结果可以如表3所示：表3由表3可以看出，对表1中的固定格式的log数据，将10:12:01-10:12:30这30秒内的同属于info级别的log数据合并到了一起，同属于warn级别的log数据合并到了一起；将10:12:31-10:13:00这30秒内同属于info级别的log数据合并到了一起；将10:13:00-10:13:30这30秒内同属于error级别的log数据合并到了一起；可以减小数据库的存储量。这里需要说明的是，以上仅为举例说明，并非用于限定本发明。步骤405：将合并后的固定格式的log数据存储到数据库中，并对合并后的固定格式的log数据建立时间字段索引。hbase数据库是一个分布式的、面向列的开源数据库，底层使用hdfs系统进行数据的存储；在通过storm系统根据预设条件将生成的固定格式的log数据进行合并，得到合并后的固定格式的log数据后，将合并后的固定格式的log数据使用hdfs系统存储到hbase数据库中的table_log表格中；在存储该合并后的固定格式的log数据时，对该合并后的固定格式的log数据建立时间字段索引，以便于后续对该合并后的固定格式的log数据的查找；比如，可以直接调用建立索引命令对合并后的固定格式的log数据的时间字段按降序就行索引，以保证最新的log数据最容易被查询到。步骤406：通过外部接口将查询时间范围内的合并后的固定格式的log数据从数据库中呈现。在将合并后的固定格式的log数据存储到hbase数据库中的table_log表格中，并对该合并后的固定格式的log数据的时间字段建立索引之后，可以通过外部接口将查询时间范围内的log数据从数据库中呈现出来；比如，将要查询2016年12月23日10:10到10:30时间范围内的log数据，则可以通过log日志服务器从hbase数据库中查询该时间范围内的log数据，然后将查询到的该时间范围内的log数据呈现出来；其中的log日志服务器是除线上服务器以外的其他web服务器。为了更加清楚地体现出本发明的目的，在上述实施例的基础上作进一步的举例说明。图5为本发明处理线上服务器的log数据的方法实施例二中处理线上服务器的log数据的架构图；如图5所示，在线上服务器51(线上web服务器)上运行inotify客户端，当线上服务器51的log数据流动增加时，可以利用inotify客户端进行监控，将增加的log数据发送给activemq系统；数据流入到activemq系统之后暂时存储起来，等待storm系统处理；storm系统将activemq系统流出的log数据进行过滤，删除掉无用的log数据和有误的log数据，然后生成格式可以为“时间+log级别+log所属应用模块+log具体信息”的固定格式的log数据，并将该固定格式的log数据存储到hbase数据库中的table_log表格中；在存储该固定格式的log数据时，对该固定格式的log数据的时间字段建立索引，比如，可直接调用建立索引命令对该log数据的时间字段按照降序就行索引，以便于后续对该log数据的查询，能够保证最新的log数据最容易被查询到；然后便可以通过log日志服务器52(除线上web服务器以外的其他web服务器)从hbase数据库中获取log数据；如此，便实现了将线上服务器的实时log数据同步至除线上web服务器以外的其他web服务器上，这样，开发人员便可以实时通过页面统一资源定位符(uniformresourcelocator，url)来获取所需的log数据。在实际应用中，生成固定格式的log数据之后，还可以对该固定格式的log数据进行合并，比如，可以对每隔1分钟之内的log数据进行合并，再将合并后的固定格式的log数据存储到hbase数据库中，以减小数据库的存储量。图6为本发明处理线上服务器的log数据的方法实施例二中通过页面url获取log数据的示意图；如图6所示，在浏览器实时log数据访问系统界面，用户可以在时间范围处输入要查询的log数据的时间段，比如，可以输入查询的开始时间为2016-12-2310:01，结束时间为2016-12-2310:30，点击“查询”按钮，这时，log日志服务器将以输入的时间作为参数，从hbase数据库中查询该时间段内的log数据，点击“导出”按钮便可以将查询到的log数据下载到办公软件excel中；这样，开发人员便可以以log数据的时间作为参数，实时通过页面url来下载所需要的log数据，非常方便，从而避免了因需要向运维工程师索要log数据而延长了修复线上服务器问题的进度的情况的出现，进而提高了工作效率。本发明实施例提供的处理线上服务器的log数据的方法，通过activemq系统获取线上服务器的log数据；通过storm系统对线上服务器的log数据进行过滤处理，得到过滤后的log数据；通过storm系统将过滤后的log数据生成固定格式的log数据；通过storm系统根据预设条件合并生成的固定格式的log数据，得到合并后的固定格式的log数据；将合并后的固定格式的log数据存储到数据库中，并对合并后的固定格式的log数据建立时间字段索引；通过外部接口将查询时间范围内的合并后的固定格式的log数据从数据库中呈现；能够将线上服务器的实时log数据同步至除线上服务器以外的其他web服务器，这使得开发人员可以以log数据的时间作为参数，实时通过页面url来下载所需要的log数据，而不需要向运维工程师索要log数据，非常方便，从而提高了线上服务器的修复进度，提高了工作效率。实施例三图7为本发明处理线上服务器的log数据的装置实施例的结构示意图；如图7所示，本实施例提供的处理线上服务器的log数据的装置07包括：获取模块71、处理模块72、存储模块73、呈现模块74；其中，所述获取模块71，用于获取线上服务器的日志log数据；所述处理模块72，用于对所述线上服务器的log数据进行处理，得到处理后的log数据；所述存储模块73，用于将所述处理后的log数据存储到数据库中，并对所述处理后的log数据建立时间字段索引；所述呈现模块74，用于通过外部接口将查询时间范围内的log数据从所述数据库中呈现。进一步的，所述获取模块71，具体用于通过活动消息队列activemq系统获取所述线上服务器的log数据，所述线上服务器的log数据是由所述线上服务器的文件系统监控机制inotify客户端监控所述线上服务器得到的。进一步的，所述处理模块72，具体用于通过分布式实时计算系统storm系统将所述线上服务器的log数据进行过滤，将过滤后的所述线上服务器的log数据生成固定格式的log数据，将所述固定格式的log数据确定为所述处理后的log数据；所述固定格式为时间+log级别+log所属应用模块+log具体信息的格式。进一步的，所述装置07还包括：合并模块75；其中，所述合并模块75，用于通过所述storm系统根据预设条件合并所述固定格式的log数据，得到合并后的固定格式的log数据；所述预设条件包括如下至少之一：预设时间间隔、log数据级别、log数据所属的应用；所述处理模块72，还具体用于将所述合并后的固定格式的log数据确定为所述处理后的log数据。进一步的，所述存储模块73，具体用于将所述处理后的log数据使用分布式文件系统hdfs存储到海杜普数据库hbase数据库的log数据表格table_log中，并对所述处理后的log数据建立时间字段索引。本实施例的装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。在实际应用中，所述获取模块71、处理模块72、存储模块73、呈现模块74、合并模块75均可由位于处理线上服务器的log数据的装置07中的中央处理器(centralprocessingunit，cpu)、微处理器(microprocessorunit，mpu)、数字信号处理器(digitalsignalprocessor，dsp)或现场可编程门阵列(fieldprogrammablegatearray，fpga)等实现。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所描述的方法。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
：，均同理包括在本发明的专利保护范围内。当前第1页12当前第1页12