城市数据的处理方法、装置、电子设备及存储介质与流程

本申请涉及智慧城市领域，具体涉及一种城市数据的处理方法、装置、电子设备及存储介质。
背景技术：
：在智慧城市领域中，通过各类信息技术的应用以提高城市的数据处理的智能程度有着重要意义。通过信息技术管理城市的一项必不可少的基础处理过程便是对城市数据进行分析，而对城市数据进行分析则需要建立对应的指标体系。现有技术中，由于城市业务逻辑的复杂度过高，且不同城市各自的实际情况存在着巨大差异，导致难以在不同城市之间建立具有普适性的指标体系，从而难以推动智慧城市的建设。技术实现要素：本申请的一个目的在于提出一种城市数据的处理方法、装置、电子设备及存储介质，能够在不同城市之间建立具有普适性的指标体系，促进智慧城市的建设。根据本申请实施例的一方面，公开了一种城市数据的处理方法，所述方法包括：获取预设的各城市的第一状态参数，其中，所述第一状态参数用于描述对应城市的运作状态水平预期所达到的目标值；采用预设的第一指标对各城市的城市数据进行处理，得到各城市的第二状态参数，其中，所述第二状态参数用于描述采用所述第一指标对对应城市的城市数据进行处理后，对应城市的运作状态水平实际所达到的实际值；基于所述第一状态参数与同一城市的第二状态参数之间的差异程度，于各城市对所述第一指标进行调整，得到用于对应城市的数据处理的第二指标；基于各所述第二指标，提取出同时适应于各城市的通用指标，并将所述通用指标对所述第二指标进行替换，采用所述通用指标对各城市的城市数据进行处理。根据本申请实施例的一方面，公开了一种城市数据的处理装置，所述装置包括：第一获取模块，配置为获取预设的各城市的第一状态参数，其中，所述第一状态参数用于描述对应城市的运作状态水平预期所达到的目标值；第二获取模块，配置为采用预设的第一指标对各城市的城市数据进行处理，得到各城市的第二状态参数，其中，所述第二状态参数用于描述采用所述第一指标对对应城市的城市数据进行处理后，对应城市的运作状态水平实际所达到的实际值；调整模块，配置为基于所述第一状态参数与同一城市的第二状态参数之间的差异程度，于各城市对所述第一指标进行调整，得到用于对应城市的数据处理的第二指标；提取模块，配置为基于各所述第二指标，提取出同时适应于各城市的通用指标，并将所述通用指标对所述第二指标进行替换，采用所述通用指标对各城市的城市数据进行处理。在本申请的一示例性实施例中，所述装置配置为：基于所述第一状态参数与同一城市的第二状态参数之间的区间差异程度，确定于各城市对所述第一指标的调整幅度；按照对应的调整幅度，于各城市对所述第一指标进行调整。在本申请的一示例性实施例中，所述装置配置为：确定所述第一状态参数与同一城市的第二状态参数之间的交集区间；确定所述第一状态参数与同一城市的第二状态参数之间的并集区间；基于所述交集区间以及各所述并集区间，确定所述第一状态参数与同一城市的第二状态参数之间的区间差异程度。在本申请的一示例性实施例中，所述装置配置为：获取各城市的第三状态参数，其中，所述第三状态参数用于描述采用所述第二指标对对应城市的城市数据进行处理后，对应城市的运作状态水平实际所达到的实际值；基于所述第一状态参数与同一城市的第三状态参数之间的差异程度，确定各所述第二指标的成效分数，其中，所述成效分数用于描述对应第二指标投入使用后所得到的成效的高低；基于各所述第二指标的成效分数，确定各所述第二指标对应的权重；基于各所述第二指标对应的权重，对所述第二指标进行合并，得到所述通用指标。在本申请的一示例性实施例中，所述装置配置为：通过在接入层预设推送网关的方式或者通过在接入层预设数据抽取组件的方式，从各城市的城市业务系统获取各城市的城市数据；将各城市的城市数据存储在存储层的时序数据库，并按照所述通用指标进行分析，得到分析结果；将所述分析结果实时传输至应用展示层的可视化组件，通过所述可视化组件对所述分析结果进行可视化展示。在本申请的一示例性实施例中，所述装置配置为：将各城市的城市数据的日志数据按照生成时间，划分为目标周期之前的批量非实时日志数据以及目标周期内的实时日志数据；于所述时序库固化存储所述批量非实时日志数据，并按照所述通用指标进行分析；于所述时序库存储所述实时日志数据，并采用storm系统中预定义的topology拓扑，按照所述通用指标消费并分析所述实时日志数据。在本申请的一示例性实施例中，所述装置配置为：采用flume系统拉取所述实时日志数据，并以时序数据结构存储在kafka系统；采用所述storm系统中预定义的topology拓扑，按照所述通用指标从所述kafka系统消费并分析所述实时日志数据，并将分析所述实时日志数据所得到的分析结果传输入redis数据库中。在本申请的一示例性实施例中，所述装置配置为：采用zookeeper系统管理所述storm系统对所述kafka系统存储的实时日志数据的消费记录。根据本申请实施例的一方面，公开了一种电子设备，包括：存储器，存储有计算机可读指令；处理器，读取存储器存储的计算机可读指令，以执行以上权利要求中的任一个所述的方法。根据本申请实施例的一方面，公开了一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行以上权利要求中的任一个所述的方法。根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。本申请实施例中，由于第二指标是在将第一指标应用于对应城市得到的，经过了对应城市的实践。因此，基于各第二指标所提取出的通用指标，在不同城市的应用上具备更普适的实践操作性。通过这种方法，能够在不同城市之间建立具有普适性的指标体系，促进智慧城市的建设。本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。附图说明通过参考附图详细描述其示例实施例，本申请的上述和其它目标、特征及优点将变得更加显而易见。图1示出了根据本申请一实施例的所应用系统架构的示意图。图2示出了根据本申请一实施例的城市数据的处理方法的流程图。图3示出了根据本申请一实施例的第一指标与第二指标之间的关系示意图。图4示出了根据本申请一实施例的城市数据处理平台的网络分层结构示意图。图5示出了根据本申请一实施例的对各城市的城市数据进行处理所采用应用架构的示意图。图6示出了根据本申请一实施例的城市数据的处理装置的框图。图7示出了根据本申请一实施例的电子设备的硬件图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本申请的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。本申请提供了一种城市数据的处理方法，涉及云计算中的大数据在智慧城市领域的应用。具体的，云计算(cloudcomputing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为iaas(infrastructureasaservice，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。按照逻辑功能划分,在iaas(infrastructureasaservice，基础设施即服务)层上可以部署paas(platformasaservice,平台即服务)层，paas层之上再部署saas(softwareasaservice,软件即服务)层，也可以直接将saas部署在iaas上。paas为软件运行的平台，如数据库、web容器等。saas为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，saas和paas相对于iaas是上层。大数据(bigdata)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。图1示出了本申请一实施例所应用系统架构的示意图。该实施例中，作为城市的数据大脑的城市数据处理平台10从所在城市的各城市业务系统20处获取城市数据，进而由城市数据处理平台10对城市数据进行处理，以在所得到处理结果的基础上为城市的运作管理提供支持，以智能地改善城市的运行状态水平或者控制城市的运行状态水平保持在预期水平。其中，城市的运作管理可由集成有管理策略的模块或者系统自动进行控制。各城市业务系统20主要用于分别采集不同业务相关的城市数据，以作为提供给城市数据处理平台10的数据源。例如：城市交通系统采集交通相关的城市数据，城市医疗系统采集医疗相关的城市数据。城市数据的生产者主要为与城市的运作状态相关的海量设备，包括但不限于：摄像头、终端、传感器。这些设备将生成的数据传送至城市业务系统20，经过城市业务系统20的处理后得到供城市数据处理平台10的城市数据。其中，各城市业务系统20一般为服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。在对本申请实施例的具体实施过程进行详细描述之前，对本申请所涉及的部分概念进行简要说明。城市数据指的是用于描述城市的运作状态的数据。城市的运作状态指的是城市在运作过程中所处的状态。其中，城市的运作状态包括但不限于：城市中自然人的分布状态；城市的交通状态；城市中公共设施的分布状态。通用指标指的是具有普适性的能够同时适应于不同城市的数据处理的指标。第一指标指的是在得到通用指标之前临时用于各城市的数据处理的指标。第一指标的主要作用在于为通用指标的获取提供基线。第二指标指的是将第一指标用于各城市的数据处理后，根据数据处理后的反馈结果于各城市对第一指标进行调整后所得到的指标。一般的，不同城市的第二指标互不相同。时序库指的是时间序列数据库，主要用于处理以及存储带有时间标签的数据。需要说明的是，出于便于理解本申请实施过程的目的，后续对本申请实施例的具体实施过程所作描述均是示例性地以城市数据处理平台作为本申请实施例的执行主体，但不应对本申请的功能和使用范围造成限制。图2示出了本申请一实施例的城市数据的处理方法的流程图。该方法包括：步骤s310、获取预设的各城市的第一状态参数，其中，第一状态参数用于描述对应城市的运作状态水平预期所达到的目标值；步骤s320、采用预设的第一指标对各城市进行数据处理，得到各城市的第二状态参数，其中，第二状态参数用于描述采用所述第一指标对对应城市的城市数据进行处理后，对应城市的运作状态水平实际所达到的实际值；步骤s330、基于第一状态参数与同一城市的第二状态参数之间的差异程度，于各城市对第一指标进行调整，得到用于对应城市的数据处理的第二指标；步骤s340、基于各第二指标，提取出同时适应于各城市的通用指标，并将通用指标对第二指标进行替换，采用通用指标对各城市的城市数据进行处理。本申请实施例中，通过预先建立的城市数据处理平台执行本申请实施例提供的城市的数据处理方法。该城市数据处理平台中预设有各城市的第一状态参数。该第一状态参数用于描述对应城市的运作状态水平预期所达到的目标值。一般的，不同城市之间第一状态参数相同或者近似。该城市数据处理平台中预先配置有第一指标。在得到通用指标之前，该第一指标主要作为各城市的城市数据的指标基线，将该第一指标用于处理各城市的城市数据。进而，处理城市数据所得到的数据处理结果可以为城市的运作管理提供支持，从而调整城市的运作状态水平。该城市数据处理平台将第一指标投入到各城市中去，对各城市进行数据处理，得到各城市的第二状态参数。该第二状态状态参数用于描述采用所述第一指标对对应城市进行数据处理后，对应城市的运作状态水平实际所达到的实际值。进而针对同一城市，基于其第一状态参数与其第二状态参数之间的差异程度，于各城市对该第一指标进行调整，得到各第二指标。相比于该第一指标，第二指标更符合对应城市的运作状态水平预期所达到的目标值。进而基于各第二指标，提取出同时适应于各城市的通用指标，并将该通用指标对各第二指标进行替换，采用该通用指标对各城市的城市数据进行处理。由此可见，本申请实施例中，由于第二指标是在将第一指标应用于对应城市得到的，经过了对应城市的实践。因此，基于各第二指标所提取出的通用指标，在不同城市的应用上具备更普适的实践操作性。通过这种方法，能够在不同城市之间建立具有普适性的指标体系，促进智慧城市的建设。在一实施例中，城市数据处理平台所管理的城市包括：a市、b市，一直到n市。城市数据处理平台将第一指标部署至a市，采用第一指标对a市的城市数据进行处理，进而以得到的处理结果为集成有管理策略的模块或者系统提供支持，从而调整a市的运作状态水平。由于第一指标并非针对性地对某一单一城市所设置，因此采用第一指标对a市进行数据处理后，a市的运作状态水平的实际值与a市的运作状态水平的目标值存在一定差异。为了满足a市的运作状态水平的目标值，于a市触发对第一指标进行调整，以向a市的运作状态水平的目标值靠拢。于a市触发对第一指标进行调整，所得到的调整后的第一指标即为a市的第二指标。同理，于b市触发对第一指标进行调整，所得到的调整后的第一指标即为b市的第二指标。一直到于n市触发对第一指标进行调整，所得到的调整后的第一指标即为n市的第二指标。图3示出了本申请一实施例的第一指标与第二指标之间的关系示意图。参考图3所示，将预设的第一指标分别部署至a市、b市，一直到n市后，分别得到a市的第二指标、b市的第二指标，一直到n市的第二指标。进而将各市的第二指标投入使用后得到的成效反馈至第一指标，对第一指标这一基线再进行调整。再将调整后的第一指标再分别部署至各市，再分别得到各市的第二指标。如此循环预设次数后，基于各第二指标，提取出同时适应于a市、b市，一直到n市的通用指标。该实施例中，通用指标可以视为多次迭代调整后的基线。在一实施例中，第一状态参数用于描述对应城市的运作状态水平预期所达到的目标值所处区间，第二状态参数用于描述对应城市的运作状态水平实际所达到的实际值所处区间。该实施例中，城市数据处理平台基于第一状态参数与同一城市的第二状态参数之间的区间差异程度，确定于各城市对第一指标的调整幅度。进而按照对应的调整幅度，于各城市对第一指标进行调整。在一实施例中，a市的运作状态水平的目标值所处区间为[t1,t2]。将第一指标投入到a市的数据处理后，a市的运作状态水平的实际值所处区间为[t3,t4]。即，a市的第一状态参数为[t1,t2]，a市的第二状态参数为[t3,t4]。确定[t1,t2]与[t3,t4]这两个区间之间的区间差异程度，进而基于该区间差异程度确定于a市对第一指标的调整幅度，进而按照对应的调整幅度于a市对第一指标进行调整。例如：若[t1,t2]与[t3,t4]这两个区间之间的区间差异程度为25％，则可以将于a市对第一指标的调整幅度确定为25％，进而于a市对第一指标在正负25％的范围内进行调整。在一实施例中，城市数据处理平台基于状态参数之间的交集区间以及并集区间确定对应的区间差异程度。该实施例中，城市数据处理平台确定第一状态参数与同一城市的第二状态参数之间的交集区间，并确定第一状态参数与同一城市的第二状态参数之间的并集区间。进而基于交集区间以及并集区间，确定第一状态参数与同一城市的第二状态参数之间的区间差异程度。在一实施例中，a市的第一状态参数为[90,100]，a市的第二状态参数为[80,95]。则a市中，第一状态参数与第二状态参数之间的交集区间为[90,95]，第一状态参数与第二状态参数之间的并集区间为[80,100]。该交集区间的区间长度为5，该并集区间的区间长度为20，则可以将该交集区间的区间长度除以该并集区间的区间长度所得到的比值25％，作为a市中第一状态参数与第二状态参数之间的区间差异程度。在一实施例中，城市数据处理平台基于第二指标投入使用后所得到的成效提取通用指标。该实施例中，城市数据处理平台获取各城市的第三状态参数。其中，第三状态参数用于描述采用第二指标对对应城市的城市数据进行处理后，对应城市的运作状态水平实际所达到的实际值。进而基于第一状态参数与同一城市的第三状态参数之间的差异程度，确定各第二指标的成效分数，其中，成效分数用于描述对应第二指标投入使用后所得到的成效的高低。一般的，成效分数越高，说明对应第二指标投入使用后所得到的成效越好，也就说明对应第二指标投入使用后第三状态参数越贴近第一状态参数。进而基于各第二指标的成效分数，确定各第二指标对应的权重。进而基于各第二指标对应的权重，对第二指标进行合并，得到通用指标。在一实施例中，预先设置基准分数。得到各第二指标的成效分数后，将各成效分数除以该基准分数，得到各第二指标对应的调整权重。进而根据所得到的调整权重对各第二指标进行加权，得到通用指标。在一实施例中，将第二指标投入到对应城市的数据处理后，得到对应城市的运作状态水平的实际值，进而得到对应的第三状态参数。进而根据同一城市的第一状态参数与该第三状态参数之间的差异程度，确定第二指标的成效分数。其中，第二指标的成效分数与该差异程度成反相关。即，随着第一状态参数与同一城市的第三状态参数之间的差异程度越小，第二指标的成效分数越高；随着第一状态参数与同一城市的第三状态参数之间的差异程度越大，第二指标的成效分数越低。可以理解的，确定第一状态参数与同一城市的第三状态参数之间的差异程度的过程，与确定第一状态参数与同一城市的第二状态参数之间的差异程度的过程同理。故在此不再赘述确定第一状态参数与同一城市的第三状态参数之间的差异程度的过程。在一实施例中，对城市的交通拥堵程度进行量化后，交通拥堵程度取值范围在0～100之间。交通拥堵程度取值越大，则说明城市整体的交通越为拥堵。针对a市，预期将a市的交通拥堵程度控制在0～20之间，即，a市的第一状态参数为[0,20]。将第一指标投入到a市进行交通相关数据的处理，并将处理得到的结果为集成有交通管理策略的系统提供支持。持续一个月后，a市的交通拥堵程度实际处于10～30之间，即，a市的第二状态参数为[10,30]。城市数据处理平台根据[0,20]与[10,30]之间的差异程度，于a市对第一指标进行调整，得到a市的第二指标。再将a市的第二指标投入到a市进行交通相关数据的处理，并将处理得到的结果为集成有交通管理策略的系统提供支持。持续一个月后，a市的交通拥堵程度实际处于5～25之间，即，a市的第三状态参数为[5,25]。城市数据处理平台根据[0,20]与[5,25]之间的差异程度，确定a市的第二指标的成效分数。进而基于a市的第二指标的成效分数，确定a市的第二指标的权重。同理，城市数据处理平台确定其他各城市针对交通管理的第二指标的权重，进而对所有城市针对交通管理的第二指标进行加权，得到针对交通管理的通用指标。在一实施例中，城市中设置有各城市业务系统以采集对应的城市数据(例如：人员流动管理系统采集用于描述城市中自然人的分布状态的城市数据；交通管理系统采集用于描述城市中交通状态的城市数据)。通过城市中各城市业务系统，该城市数据处理平台得到各城市的城市数据。在一实施例中，城市数据处理平台通过在接入层预设推送网关的方式，从各城市的城市业务系统获取各城市的城市数据。具体的，城市数据处理平台在用于供各城市的城市业务系统接入的接入层预设推送网关，通过该推送网关为各业务系统提供接口以及相应的数据结构标准。从而各城市业务系统将采集的城市数据按照相应的数据结构标准进行标准化处理后，通过该接口将其推送入城市数据处理平台。在一实施例中，城市数据处理平台通过在接入层预设数据抽取组件的方式，从各城市的城市业务系统获取各城市的城市数据。具体的，城市数据处理平台在用于供各城市的城市业务系统接入的接入层预设数据抽取组件，该数据抽取组件用于从建立数据连接的数据源处拉取数据。城市数据处理平台与各城市的城市业务系统建立数据连接后，通过调用该数据抽取组件，从各城市业务系统拉取对应的城市数据。在一实施例中，城市数据处理平台通过在接入层预设推送网关的方式或者通过在接入层预设数据抽取组件的方式，从城市业务系统获取各城市的城市数据后，将城市数据存储在存储层的时序数据库，并按照通用指标进行分析得到分析结果；并将分析结果实时传输至应用展示层的可视化组件，通过该可视化组件对分析结果进行可视化展示。图4示出了本申请一实施例的城市数据处理平台的网络分层结构示意图。参考图4所示，该实施例中，通过接入层的推送网关为数据源中的管控中心服务以及其他服务提供接口，使得管控中心服务以及其他服务将采集的城市数据按照相应的数据结构标准进行标准化处理后，通过该接口将其push推送入接入层。通过数据抽取组件从运行监控数据库等数据库处pull拉取对应的城市数据至接入层。接入层将得到的城市数据传入存储层，通过时序数据库进行存储，其中，根据指标库中的各项通用指标(例如：调用指标、接入指标)对城市数据进行分析。存储层将分析结果传入应用展示层，于应用展示层通过各可视化组件对分析结果进行可视化展示。例如：通过支撑层的图表工具箱对分析结果进行图表化展示。在一实施例中，城市数据处理平台将各城市的城市数据的日志数据按照生成时间，划分为目标周期之前的批量非实时日志数据以及目标周期内的实时日志数据。对于批量非实时日志数据，城市数据处理平台将其于时序库固化存储，并按照通用指标进行分析。对于实时日志数据，城市数据处理平台将其于时序库内存储，采用storm系统中预定义的topology拓扑，按照通用指标对其进行消费并分析。其中，storm系统是一种分布式的数据流处理系统；topology拓扑是storm系统中运行的图结构任务。该实施例的优点在于，通过按照周期对数据进行分段存储，使得数据的存储能够为前端实时展示数据累加效果提供支持。在一实施例中，对于实时日志数据，城市数据处理平台采用flume系统拉取该实时日志数据，并将其以时序数据结构存储在kafka系统。进而采用storm系统中预定义的topology拓扑，按照通用指标从kafka系统消费并分析该实时日志数据，并将分析该实时日志数据所得到的分析结果传输入redis数据库中。其中，flume是一种分布式的海量日志采集、聚合和传输系统；kafka系统是一种开源的消息系统；redis数据库是一种开源的基于键值对存储的数据库。该实施例的优点在于，通过采用storm系统中预定义的topology拓扑消费并分析实时日志数据，保证了实时日志数据的处理有序性。在一实施例中，城市数据处理平台采用zookeeper系统管理storm系统对kafka系统存储的实时日志数据的消费记录。其中，zookeeper系统是一种分布式协调服务。该实施例的优点在于，通过采用zookeeper系统管理消费记录，保证了消费记录的管理有序性以及实时性。并且可通过zookeeper系统在storm系统宕机的情况下快速恢复storm系统，提高了数据处理的可靠性。图5示出了本申请一实施例的对各城市的城市数据进行处理所采用应用架构的示意图。参考图5所示，该实施例中，城市数据处理平台通过flume拉取实时日志，并存储在分布式的kafka系统中。从kafka系统中读取到的日志信息送入storm系统，通过预先定义的topology对日志信息进行实时分析，分析结果送入redis数据库中供应用展示层实时展示；并使用zookeeper系统管理storm系统中对kafka系统的消费记录；并将storm系统中的日志信息送入通用指标集中供后续离线分析。其中，通用指标集指的是各项通用指标的集合。离线分析的过程中，将批量非实时日志的日志信息推送入通用指标集，进而根据通用指标集中存储的通用指标，对批量非实时日志的日志信息以及实时日志的日志信息进行分析，分析结果于应用展示层展示。在一实施例中，于时序库中将城市数据按照数据源进行存储。下表1示出了于时序库中将城市数据按照数据源进行存储所得到的数据结构。表1.按照数据源进行存储所得到的数据结构timestampclusterhostnamecpuiops2015-04-28t17:50:00zcluster-ahost-a10102015-04-28t17:50:10zcluster-ahost-b20302015-04-28t17:50:20zcluster-ahost-a58参考表1所示，“timestamp”用于描述城市数据的数据源的时间戳。“cluster”以及“hostname”用于描述城市数据的数据源的主体维度。“cpu”以及“iops”为城市数据的指标项；其中，“cpu”为中央处理器指标项，“iops”为磁盘每秒输入输出量指标项。在一实施例中，于时序库中将城市数据按照指标项进行存储。下表2示出了于时序库中将城市数据按照指标项进行存储所得到的数据结构。表2.按照指标项进行存储所得到的数据结构metrictimestampclusterhostnamemetricvaluecpu2015-04-28t17:50:00zcluster-ahost-a10cpu2015-04-28t17:50:10zcluster-ahost-b20cpu2015-04-28t17:50:20zcluster-ahost-a5iops2015-04-28t17:50:00zcluster-ahost-a10iops2015-04-28t17:50:10zcluster-ahost-b30iops2015-04-28t17:50:20zcluster-ahost-a8参考表2所示，“metric”用于描述城市数据的指标项，指标项包括“cpu”中央处理器指标项以及“iops”磁盘每秒输入输出量指标项。“timestamp”用于描述城市数据的数据源的时间戳。“cluster”以及“hostname”用于描述城市数据的数据源的主体维度。“metricvalue”用于描述指标项的测量值。图6示出了根据本申请一实施例的城市数据的处理装置，所述装置包括：第一获取模块410，配置为获取预设的各城市的第一状态参数，其中，所述第一状态参数用于描述对应城市的运作状态水平预期所达到的目标值；第二获取模块420，配置为采用预设的第一指标对各城市的城市数据进行处理，得到各城市的第二状态参数，其中，所述第二状态参数用于描述采用所述第一指标对对应城市的城市数据进行处理后，对应城市的运作状态水平实际所达到的实际值；调整模块430，配置为基于所述第一状态参数与同一城市的第二状态参数之间的差异程度，于各城市对所述第一指标进行调整，得到用于对应城市的数据处理的第二指标；提取模块440，配置为基于各所述第二指标，提取出同时适应于各城市的通用指标，并将所述通用指标对所述第二指标进行替换，采用所述通用指标对各城市的城市数据进行数据处理。在本申请的一示例性实施例中，所述装置配置为：基于所述第一状态参数与同一城市的第二状态参数之间的区间差异程度，确定于各城市对所述第一指标的调整幅度；按照对应的调整幅度，于各城市对所述第一指标进行调整。在本申请的一示例性实施例中，所述装置配置为：确定所述第一状态参数与同一城市的第二状态参数之间的交集区间；确定所述第一状态参数与同一城市的第二状态参数之间的并集区间；基于所述交集区间以及各所述并集区间，确定所述第一状态参数与同一城市的第二状态参数之间的区间差异程度。在本申请的一示例性实施例中，所述装置配置为：获取各城市的第三状态参数，其中，所述第三状态参数用于描述采用所述第二指标对对应城市的城市数据进行处理后，对应城市的运作状态水平实际所达到的实际值；基于所述第一状态参数与同一城市的第三状态参数之间的差异程度，确定各所述第二指标的成效分数，其中，所述成效分数用于描述对应第二指标投入使用后所得到的成效的高低；基于各所述第二指标的成效分数，确定各所述第二指标对应的权重；基于各所述第二指标对应的权重，对所述第二指标进行合并，得到所述通用指标。在本申请的一示例性实施例中，所述装置配置为：通过在接入层预设推送网关的方式或者通过在接入层预设数据抽取组件的方式，从各城市的城市业务系统获取各城市的城市数据；将各城市的城市数据存储在存储层的时序数据库，并按照所述通用指标进行分析，得到分析结果；将所述分析结果实时传输至应用展示层的可视化组件，通过所述可视化组件对所述分析结果进行可视化展示。在本申请的一示例性实施例中，所述装置配置为：将各城市的城市数据的日志数据按照生成时间，划分为目标周期之前的批量非实时日志数据以及目标周期内的实时日志数据；于所述时序库固化存储所述批量非实时日志数据，并按照所述通用指标进行分析；于所述时序库存储所述实时日志数据，并采用storm系统中预定义的topology拓扑，按照所述通用指标消费并分析所述实时日志数据。在本申请的一示例性实施例中，所述装置配置为：采用flume系统拉取所述实时日志数据，并以时序数据结构存储在kafka系统；采用所述storm系统中预定义的topology拓扑，按照所述通用指标从所述kafka系统消费并分析所述实时日志数据，并将分析所述实时日志数据所得到的分析结果传输入redis数据库中。在本申请的一示例性实施例中，所述装置配置为：采用zookeeper系统管理所述storm系统对所述kafka系统存储的实时日志数据的消费记录。下面参考图7来描述根据本申请实施例的电子设备50。图7显示的电子设备50仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图7所示，电子设备50以通用计算设备的形式表现。电子设备50的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图2中所示的各个步骤。存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(rom)5203。存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备50也可以与一个或多个外部设备600(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备50交互的设备通信，和/或与使得该电子设备50能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口550进行。输入/输出(i/o)接口550与显示单元540相连。并且，电子设备50还可以通过网络适配器560与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备50的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。在本申请的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行上述方法实施例部分描述的方法。根据本申请的一个实施例，还提供了一种用于实现上述方法实施例中的方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本
技术领域：
中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由所附的权利要求指出。当前第1页12