一种基于云计算和大数据的智慧应用开发系统的制作方法

[0001]
本发明涉及应用开发技术领域，尤其涉及一种基于云计算和大数据的智慧应用开发系统。


背景技术：

[0002]
目前，在传统的情报分析应用系统中，提供准确可靠的决策参考要以可预见的经验及充足的分析时间为前提，已不能满足动态化与复杂化日益突显的情报问题；在大数据背景下,对情报分析的需求不再单一趋向其中的某一特征，而要同时满足战略的深思熟虑和动态应急的特征要求，既要求分析的准确可靠，又对时效性提出更高要求；与新时期情报需求不相适应的问题也日益凸显：海量数据间关联碰撞分析困难；功能固化，局限情报分析师思维；临时、紧急、需求不确定的统计分析困难；系统使用门槛高，民警无法灵活使用
……
针对以上问题，各业务处室要么依靠人海战役、加班加点手工查询汇总，要么寻求科技部门和运维公司的协助后台处理，工作量巨大，工期和质量均无法保证，各业务处室一直疲于应付，压力巨大。


技术实现要素：

[0003]
本发明的目的在于克服现有技术的不足，本发明提供了一种基于云计算和大数据的智慧应用开发系统，在保障信息安全的情况下，实现全量数据共享、应用，实现数据自由组合分析，覆盖大多数分析需求。
[0004]
为了解决上述技术问题，本发明实施例提供了一种基于云计算和大数据的智慧应用开发系统，所述系统包括：智慧应用开发子系统和数据分析引擎，所述数据分析引擎基于数据库接口与所述智慧应用开发子系统相连接，且用于对数据进行分析；其中，所述智慧应用开发子系统包括统一ui 模块、逻辑集成接口模块、应用开发规范模块、应用开发文档管理模块、对接联调测试模块、简约配置管理模块、应用服务化模块和应用超市模块；
[0005]
所述统一ui模块用于确保系统和逻辑集成的ui统一，且通过统一ui 调用；所述逻辑集成接口模块用于提供逻辑接触接口规范和服务方接口设计规范；所述应用开发规范模块用于依据不同的接口提供接口说明规范；所述应用开发文档管理模块用于按照知识库的方式进行管理；所述对接联调测试模块用于提供对接联调测试；所述简约配置管理模块用于提供可视化的配置管理；所述应用服务化模块用于实现创建的应用可通过发布服务的方式发布相关应用服务，并可挂接到资源服务总线上，供第三方应用调用；所述应用超市模块用于对应用的管理。
[0006]
可选的，所述数据分析引擎包括分布式关系型数据库引擎和大数据中心，所述分布式关系型数据库引擎基于etl与所述大数据中心进行连接，对大数据中心内的数据进行数据抽取及数据同步。
[0007]
可选的，所述统一ui模块包括设计指南单元、统一ui调用方法单元和统一ui匹配测试单元；其中，
[0008]
所述设计指南单元用于在所述系统内建立友好、高效、一致的用户体验，且适应和支持不同的用户需求；
[0009]
所述统一ui调用方法单元用于提供样式调用的类或者方法，对于想直接调用表格、文字样式的提供调用方法；
[0010]
所述统一ui匹配测试单元用于提供测试版本的ui匹配测试，在进行逻辑测试的同时允许调用者进行二次设计和匹配兼容。
[0011]
可选的，所述接口说明规范包括接口描述、接口声明、输入参数、输出参数、异常说明。
[0012]
可选的，所述按照知识库的方式进行管理包括：
[0013]
按照知识库的方式进行文档编写规范管理、命名规范管理及版本管理。
[0014]
可选的，所述提供对接联调测试包括：
[0015]
提供对接联调测试说明、对接联调测试申请、对接联调审核确认和对接联调结果反馈。
[0016]
可选的，所述简约配置管理模块包括数据源配置单元、数据表单配置单元、数据模型配置单元、流程引擎配置单元、查询模型配置单元、门户页面配置单元、统计分析配置单元和全文检索模型配置单元；其中，
[0017]
所述数据源配置单元用于对数据源名称、驱动、用户名、密码、url、最大连接数、最大等待时间、验证语句进行配置；
[0018]
所述数据表单配置单元用于提供数据表单配置功能，所述数据表单配置包括数据表设置、表单管理和流程挂接；
[0019]
所述数据模型配置单元用于提供基础信息配置、设置模型属性配置、设置模型参数配置和设置模型过滤条件配置；
[0020]
所述流程引擎配置单元用于提供图形化流程编辑器；
[0021]
所述查询模型配置单元用于提供报表基础信息配置、报表属性信息配置、报表参数配置、报表跟踪、报表明细编辑配置和报表模板编辑配置。
[0022]
所述门户页面配置单元用于提供包括门户功能区域、布局和版式配置；
[0023]
所述统计分析配置单元用于对各种结构化数据的进行分类统计分析服务，获得统计分析结果；
[0024]
所述全文检索模型配置单元用于提供对于资源库的全文检索，全文检索模型配置单元包括全文检索资源配置、资源属性配置、检索结果列表配置、链接配置。
[0025]
可选的，所述应用超市模块包括应用分类单元、应用发布单元、应用审核单元、应用装载单元、应用检索单元、应用评价单元和应用管理单元；其中，
[0026]
所述应用分类单元用于实现应用按照业务认知模式进行分类；
[0027]
所述应用发布单元用于进行应用发布；
[0028]
所述应用审核单元用于对于各应用管理人员提交的应用发布申请进行审核；
[0029]
所述应用装载单元用于对已经挂接出来的应用，提供该应用的挂载；
[0030]
所述应用检索单元用于按照精品推荐、应用名称、应用分类、热门应用的方式，进行应用检索；
[0031]
所述应用评价单元用于根据对应用的使用情况进行文字评价和/或星级评价；
[0032]
所述应用管理单元用于对应用进行后台版本控制及更新频率管理。
[0033]
在本发明实施例中的，在保障信息安全的情况下，实现全量数据共享、应用，实现数据自由组合分析，覆盖大多数分析需求；提升数据理解性，使普通干警可以理解数据；降低情报分析技术门槛，使民警也能玩转情报分析，充分实现民警的创造力，高效开展公安情报信息的即席查询、自主分析，全面提升公安业务信息应用工作效率。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0035]
图1是本发明实施例中的基于云计算和大数据的智慧应用开发系统的结构组成示意图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0037]
实施例
[0038]
请参阅图1，图1是本发明实施例中的基于云计算和大数据的智慧应用开发系统的结构组成示意图。
[0039]
如图1所示，一种基于云计算和大数据的智慧应用开发系统，所述系统包括：智慧应用开发子系统和数据分析引擎，所述数据分析引擎基于数据库接口与所述智慧应用开发子系统相连接，且用于对数据进行分析；其中，所述智慧应用开发子系统包括统一ui模块、逻辑集成接口模块、应用开发规范模块、应用开发文档管理模块、对接联调测试模块、简约配置管理模块、应用服务化模块和应用超市模块；所述统一ui模块用于确保系统和逻辑集成的ui统一，且通过统一ui调用；所述逻辑集成接口模块用于提供逻辑接触接口规范和服务方接口设计规范；所述应用开发规范模块用于依据不同的接口提供接口说明规范；所述应用开发文档管理模块用于按照知识库的方式进行管理；所述对接联调测试模块用于提供对接联调测试；所述简约配置管理模块用于提供可视化的配置管理；所述应用服务化模块用于实现创建的应用可通过发布服务的方式发布相关应用服务，并可挂接到资源服务总线上，供第三方应用调用；所述应用超市模块用于对应用的管理。
[0040]
具体的，统一ui模块主要是为确保系统和逻辑集成的系统ui统一，因此提供统一ui调用，该项内容主要包括统一ui配置说明、样式调用代码集和统一ui匹配测试。逻辑集成接口模块主要是为满足不同的厂商对系统集成的接口调用，提供逻辑集成接口(api)规范和服务方接口设计规范，方便逻辑集成调用。应用开发规范模块主要是依据不同的接口，提供接口说明规范，包括但不限于接口描述、接口声明、输入参数、输出参数、异常说明等。应用开发文档管理模块主要是按照知识库的方式进行管理包括文档编写规范、命名规范、版
本管理等内容。对接联调测试模块主要是为确保应用系统的顺利上线，提供对接联调测试，包括对接联调测试说明、对接联调测试申请、对接联调审核确认和对接联调结果反馈。简约配置管理模块提供可视化的配置管理功能，包括数据源配置、数据表单配置、数据模型配置、流程引擎配置、查询模型配置、门户页面配置、统计分析配置、全文检索模型配置。应用服务化模块实现创建的应用可通过发布服务的方式发布相关应用服务，并可挂接到资源服务总线上，供第三方应用调用。应用超市模块包括应用分类、应用发布、应用审核、应用装载、应用检索、应用评价和应用管理。
[0041]
采用大数据分布式计算方式，从而使系统可以轻而易举地处理多达pb 级别的海量大文件或小文件的数据运算需求。采用分布式服务技术，在分散的组件中使用分布式服务云架构和平台使部署、管理和服务，功能交付变得更加简单。信息安全与数据共享兼得。本系统通过巧妙的数据权限管理设计，实现数据可用而不可见，用户在无法获得完整基础数据的情况下依然可以利用完成数据做自由灵活的分析获得分析结论，实现了信息安全和信息共享兼得。突破传统系统功能固化的瓶颈。灵活适用于各种实战应用场景，本系统属于工具型的数据应用系统，该系统的任意信息用户都可以自定义设置，如支持数据源自定义、筛选方式自定义、筛选条件自定义、建模自定义，发布模型自定义等。突破传统系统只能按系统研发阶段，预先定制好的条件、方式等进行数据的分析和应用的局限性。系统通过自由组合的分析模型，灵活适用于90％以上的实战应用场景，可以大大减少定制性功能开发成本的投入。摆脱对工程师的依赖，提高业务响应效率。本系统提供“傻瓜式”的数据筛选和图形化、直观的数据建模过程，降低情报分析门槛。使一线民警都能自主完成情报分析，摆脱对技术工程师的依赖，提升业务响应效率。民警的分析思维得以落地传承、普及分享。系统能够轻松实现民警的所思所想，并支持用户将自己创建的模型发布分享，各级情报分析人员均可根据权限使用，实现情报分析模型分享与沉淀。系统高性能。本系统实时在线环境中，百亿数据精确查询毫秒级响应，模糊查询数秒，简单分析秒级响应，复杂分析数分钟响应。本发明是基于云计算和大数据的智慧应用开发系统，设计原理如下：坚持“通用、实用、好用、耐用”的建设原则，采用开放、灵活的技术架构，依托依托现有公安各个系统提供基础数据源，在不改变现有系统架构的情况下，采用水晶分布式关系型数据库系统，实现多元海量数据存储和大数据快速计算。提供基于数据表级别的包括资源定义、字段定义(包括：展示名称、字段类型等)、资源分类、资源编目等多项管理功能，实现对汇集数据资源的监控，辅助提升数据质量。向用户提供简单、直观、“傻瓜式”的数据筛选方式，方便的数据查询。提供易用的图形化数据建模功能，实现多数据间任意碰撞分析，并以流程图的方式直观的展现建模思路。可根据权限将所创建的模型发布共享，改变传统应用功能由软件工程师开发的模式，实现人人都是应用功能的生成者。
[0042]
在本发明具体实施过程中，所述数据分析引擎包括分布式关系型数据库引擎和大数据中心，所述分布式关系型数据库引擎基于etl与所述大数据中心进行连接，对大数据中心内的数据进行数据抽取及数据同步。
[0043]
具体的，分布式关系型数据库引擎用于进行数据分析，大数据中心用于对数据进行存储。
[0044]
在本发明具体实施过程中，所述统一ui模块包括设计指南单元、统一 ui调用方法单元和统一ui匹配测试单元；其中，所述设计指南单元用于在所述系统内建立友好、高效、
一致的用户体验，且适应和支持不同的用户需求；所述统一ui调用方法单元用于提供样式调用的类或者方法，对于想直接调用表格、文字样式的提供调用方法；所述统一ui匹配测试单元用于提供测试版本的ui匹配测试，在进行逻辑测试的同时允许调用者进行二次设计和匹配兼容。
[0045]
具体的，统一ui模块主要是为确保系统和逻辑集成的系统ui统一，因此提供统一ui调用，该项内容主要包括设计指南单元、统一ui调用方法单元和统一ui匹配测试单元。设计指南单元：建立在充分尊重用户设计意愿的基础上，旨在大数据平台生态内，建立友好、高效、一致的用户体验，同时最大程度适应和支持不同的需求，实现用户和系统间的共赢。提供友好礼貌、重点突出、清晰明确、配色方案、加载反馈、视觉规范、其它规范。统一ui调用方法单元：提供样式调用的类或者方法，对于想直接调用表格、文字等样式的提供方法。统一ui匹配测试单元：提供测试版本的ui匹配测试，方便开发者进行逻辑调用测试，同时允许调用者进行二次设计和匹配兼容。
[0046]
在本发明具体实施过程中，所述接口说明规范包括接口描述、接口声明、输入参数、输出参数、异常说明。
[0047]
具体的，供接口说明规范包括接口描述、接口声明、输入参数、输出参数、异常说明。接口描述：请求方与请求服务平台之调度控制子系统间的接口由任务发送接口和任务接收接口组成。接口声明：string sendtask(subtask subtask,string ip,string port)；输入参数：任务发送接口的输入参数说明如下：subtask：任务对象，即将发送的任务对象(subtask)，必须提供；ip：调度节点ip地址，即请求方所挂接的调度节点ip地址，必须提供；port：调度节点端口，即所挂接的调度节点的网络通讯端口，必须提供。输出参数：任务发送接口的输出参数为调度节点对输入参数中的任务对象列表进行检查处理后产生的相应任务id，类型为字符串。异常说明如表1
[0048]
表1
[0049][0050]
在本发明具体实施过程中，所述按照知识库的方式进行管理包括：按照知识库的方式进行文档编写规范管理、命名规范管理及版本管理。
[0051]
在本发明具体实施过程中，所述提供对接联调测试包括：提供对接联调测试说明、对接联调测试申请、对接联调审核确认和对接联调结果反馈。
[0052]
在本发明具体实施过程中，所述简约配置管理模块包括数据源配置单元、数据表单配置单元、数据模型配置单元、流程引擎配置单元、查询模型配置单元、门户页面配置单元、统计分析配置单元和全文检索模型配置单元；其中，所述数据源配置单元用于对数据源名称、驱动、用户名、密码、url、最大连接数、最大等待时间、验证语句进行配置；所述数据表单配置单元用于提供数据表单配置功能，所述数据表单配置包括数据表设置、表单管理和流程挂接；所述数据模型配置单元用于提供基础信息配置、设置模型属性配置、设置模型参数配置和设置模型过滤条件配置；所述流程引擎配置单元用于提供图形化流程编辑器；所述查询模型配置单元用于提供报表基础信息配置、报表属性信息配置、报表参数配置、报表
跟踪、报表明细编辑配置和报表模板编辑配置；所述门户页面配置单元用于提供包括门户功能区域、布局和版式配置；所述统计分析配置单元用于对各种结构化数据的进行分类统计分析服务，获得统计分析结果；所述全文检索模型配置单元用于提供对于资源库的全文检索，全文检索模型配置单元包括全文检索资源配置、资源属性配置、检索结果列表配置、链接配置。
[0053]
具体的，数据源配置单元实现对数据源名称、驱动、用户名、密码、 url、最大连接数、最大等待时间、验证语句等内容进行配置。在配置数据驱动模块中，支持oracle数据库、大数据hive、hybase、hbase等数据类型驱动配置；以上配置保存成功后，进行数据测试连接配置，验证数据源配置是否成功。数据表单配置单元提供数据表单配置功能，根据表单配置功能可生成相关的填报数据表。数据表单配置包括数据表设置、表单管理和流程挂接。1)数据表配置支持设置数据字段、数据名、数据展现方式(空格、单选、多选、下拉列表)。系统支持数据表定义和表单定义分离，支持同一个数据表可以对应多个表单，支持数据表自动生成数据库表结构，支持数据表的复制。2)表单管理支持word、excel导入，支持表单和数据表关联，支持在表单编辑器里面绘制表格，支持对表单数据进行统计、查询、分析、导出等，支持显示模板和打印模板不同，支持表单的复制。3)流程挂接支持采用bs界面绘制流程和表单进行挂接。数据模型配置单元包括模型的新增、编辑、删除、复制、授权、导出和导入管理。其中数据模型的配置支持模型基础信息配置、设置模型属性配置、设置模型参数配置和设置模型过滤条件配置。1)模型基础信息设置：对模型名称、数据源、模型分类、编辑模板、缓存策略、定时策略、脚本类型和脚本语句进行编辑和配置；2)设置模型属性：对模型初始化、模型的相关属性信息进行编辑； 3)设置模型参数：对模型的参数别名、参数类名、参数来源和显示顺序进行定义；4)设置过滤条件：对过滤条件名称、过滤条件脚本等内容进行设定。流程引擎配置单元提供图形化流程编辑器，包括：1)纯b/s图形化流程编辑器：提供纯b/s方式的web图形化流程编辑器工具，支持拖拖拽拽，所见即的所的画出流程图，当业务发生变化时，用户可相应自动进行修改或调整；2)流程设置：支持条件路由、顺序流、分支流、并发流、嵌套子流程、自动返回子流程,并能够设置任意的复杂条件来决定流程的流转方向等多种应用；3)表单设计：支持同一个业务表单能够绑定多个不同的数据表；能够对数据表结构、表单、流程进行复制；4)审批人选择设计：可以按照岗位、角色、部门、领导、候选人、表单中的字段、职务等多种方式进行审批权限设置；5)流程定制工具：提供图形化的流程定制工具，可直观快捷地创建并显示；6)权限管理：对流程的每个步骤进行表单绑定、角色设置、动作设定和权限控制，并对不同的流程设置相应的查看、修改、控制权限。查询模型配置单元支持查询模型新增、编辑、删除、发布、共享、运行、导入、导出等操作；支持报表基础信息配置、报表属性信息配置、报表参数配置、报表跟踪、报表明细编辑配置和报表模板编辑配置。1) 报表基础信息配置：对报表名称、报表返回记录数、是否过滤重复数据、是否记录日志、报表类型、父级报表、报表查询模板、报表明细模板、报表excel模板、默认图表类型等内容进行设置；2)报表属性设置：对报表的属性名称、显示名称、是否显示、排序、统计方式、宽度、显示规则、组合表头等内容进行设置；3)报表参数：对报表的显示名称、关系符、操作符、参数来源等内容进行设置；4)报表跟踪：支持对下钻报表进行新增、编辑和批量生成层级下钻；5)报表明细编辑：支持布局配置、数据列表配置、图像列表配置、交互组件配置、关系分析模型配置和主题报表属性配置。6)报表模板编辑：支持定制报表模板，模板内容支持局配
置、数据列表配置、图像列表配置、交互组件配置、关系分析模型配置和主题报表属性配置。门户页面配置单元提供门户配置功能包括门户功能区域、布局和版式等配置功能，以满足不同警种、不同领导门户的需求。统计分析配置单元实现对各种结构化数据的分类统计分析服务，从而生成全面的、多种形式的统计分析结果。包括：1)选择图表配置：提供常规的折线图、柱状图、散点图、饼图、k线图，用于统计的盒形图，用于地理数据可视化的地图、热力图、线图，用于关系数据可视化的关系图、treemap、旭日图，多维数据可视化的平行坐标，还有用于bi的漏斗图，仪表盘，并且支持图与图之间的混搭。除了内置的包含了丰富功能的图表，还提供了自定义系列，只需要传入一个函数，就可以从数据映射到想要的图形，并且可以和已有的交互组件结合使用。2)三维可视化配置：提供了基于webgl的三维可视化组件，可以跟使用echarts普通组件一样轻松的使用三维可视化组件绘制出三维的地球、建筑群、人口分布的柱状图，在这基础之上提供了不同层级的画面配置项，便于用户根据需求自行配置。3)大数据的前端展现：通过增量渲染技术，配合各种细致的优化，能够展现千万级的数据量，并且在这个数据量级依然能够进行流畅的缩放平移等交互。同时支持对流加载，可以使用websocket或者对数据分块后加载，加载多少渲染多少，不需要漫长地等待所有数据加载完再进行绘制。4)支持移动端展现：细粒度的模块化和打包机制可以让图表在移动端也拥有很小的体积，可选的svg渲染模块让移动端的内存占用不再捉襟见肘。全文检索模型配置单元提供对于资源库的全文检索，模型配置主要实现添加、停用各种全文检索资源，新增加的资源和分类，要通过模型配置功能进行设置。全文检索模型配置，主要包括：全文检索资源配置、资源属性配置、检索结果列表配置、链接配置等功能，可以通过在线配置的方式增加全文检索资源。其中资源目录配置包括公安五要素人、物品、事件、组织、地点。可对检索名称、检索条件、排序等维度进行配置。
[0054]
在本发明具体实施过程中，所述应用超市模块包括应用分类单元、应用发布单元、应用审核单元、应用装载单元、应用检索单元、应用评价单元和应用管理单元；其中，所述应用分类单元用于实现应用按照业务认知模式进行分类；所述应用发布单元用于进行应用发布；所述应用审核单元用于对于各应用管理人员提交的应用发布申请进行审核；所述应用装载单元用于对已经挂接出来的应用，提供该应用的挂载；所述应用检索单元用于按照精品推荐、应用名称、应用分类、热门应用的方式，进行应用检索；所述应用评价单元用于根据对应用的使用情况进行文字评价和/或星级评价；所述应用管理单元用于对应用进行后台版本控制及更新频率管理。
[0055]
具体的，应用分类单元用于建立应用分类功能，实现应用按照业务认知模式进行分类，方便使用人员进行发布选择。应用发布单元用于提供应用发布功能，由各应用负责人进行应用发布，包括应用名称、应用简介、应用图标、应用定位等描述，发布后由应用超市管理员进行应用审核，同意后，即可纳入应用超市。应用审核单元用于对于各应用管理人员提交的应用发布申请进行审核，审核完毕后即可发布到相关应用超市的分类栏目中。应用装载单元用于对已经挂接出来的应用，平台提供该应用的挂载，挂载后，按照安装指引规范进行对应用程序的安装、对接，以满足应用的正常使用。应用检索单元用于平台对已经挂接或发布的到应用超市中各种应用，按照精品推荐、应用名称、应用分类、热门应用等多种方式，进行检索，从而找到自身需要用到的应用。应用评价单元对发布的应用，根据使用情况可进行评价，评价包括文字评价和星级评价两种方式。应用管理单元用于对纳入平台的应用，按
照“超市”管理模式进行后台管理，包括版本控制、更新频率等。
[0056]
在本发明实施例中的，在保障信息安全的情况下，实现全量数据共享、应用，实现数据自由组合分析，覆盖大多数分析需求；提升数据理解性，使普通干警可以理解数据；降低情报分析技术门槛，使民警也能玩转情报分析，充分实现民警的创造力，高效开展公安情报信息的即席查询、自主分析，全面提升公安业务信息应用工作效率。
[0057]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0058]
另外，以上对本发明实施例所提供的一种基于云计算和大数据的智慧应用开发系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。