本发明属于互联网技术领域，尤其涉及一种高并发新闻信息处理系统。
背景技术：
甬派新闻客户端作为宁波本地化移动新闻媒体，自2015年7月上线之后，得到了宁波市政府相关领导的高度关注和重视。在经过两个月左右的推广之后，取得了良好的社会反响，并带来了稳定的用户群体。尤其在防御“灿鸿”台风期间，为宁波市民众提供了第一手的台风相关资讯，有效地保证了政府信息的及时发布。随着甬派新闻客户端便民服务功能的增加以及用户量的急剧上升，甬派新闻客户端在取得成绩的同时，也逐渐暴露出一些不足和隐患，需结合现状情况进行分析，提出有效的升级改造方案。
甬派新闻客户端目前的现状及存在的问题主要包括以下三个方面：
(1)客户端
甬派新闻客户端建设之初，因经费有限、周期紧迫、需求集中，软件开发单位并没有采用ios和android两个移动系统的原生开发模式，选择市面上相对成熟的混合式移动开发模式来加快项目开发周期，实现了甬派新闻客户端初期的完整需求，也建立了ios和android两个不同系统的稳定版本。
但正因为先前所采用的非原生开发模式，导致客户端在用户体验方面存在较多的问题，新闻浏览滑动效果不流畅，手机系统版本更新后，客户端软件对新系统的兼容性方面存在更新不及时的问题等。
(2)后台管理系统现状
目前正在使用的后台管理系统虽根据报业管理人员的日常管理需求对其进行调整，方便了用户的使用，同时，加强了对账户的安全管理，一定程度上确保了后台管理系统的安全。
但后台管理系统缺少对编辑权限、操作记录等安全管理的功能设计，新闻编辑功能未能根据用户使用习惯进行及时有效的调整和优化。
(3)应用部署现状
甬派新闻客户端目前单独部署在宁波日报集团的内部机房，考虑到推广初期用户量较少，当前采用的部署结构仅仅能够满足现状负载要求。甬派新闻客户端部署了两台服务器，其中应用服务器上除了发布移动端应用服务外，还发布了后台编辑的管理系统、数据抓取程序等应用程序；数据服务器除了存储甬派新闻客户端所有的数据外，还兼顾着应用程序下载的发布、所有新闻图片的存储以及文件管理等功能。
两台服务器上均部署了较多的应用及数据，未能实现服务器功能的单一化设计，加大了后期故障的维护难度和技术框架的提升难度。同时，服务器部署未进行负载均衡设计，无法动态、快速的根据负载情况进行服务器数量的补充和性能的扩展。
综上所述，目前使用的甬派新闻客户端存在客户端软件对系统的兼容性更新不及时，后台管理系统缺少对安全管理功能的设计，服务器功能缺乏单一化设计、服务器部署负载均衡设计等问题。
技术实现要素：
本发明的目的在于提供一种高并发新闻信息处理系统，旨在解决现有的甬派新闻客户端存在客户端软件对系统的兼容性更新不及时，后台管理系统缺少对安全管理功能的设计，服务器功能缺乏单一化设计、服务器部署缺乏负载均衡设计的问题。
本发明提出一种高并发新闻信息处理系统，包括：
(1)终端模块：客户端采用原生开发模式，使用多服务源方式确保可用性，通过客户端本地数据缓存，提高客户端应用的响应速度。
(2)应用模块：部署负载均衡服务器，实现对新闻访问等数据服务的性能动态适配，并通过高可用性设计，保障服务器的运行持续稳定。后台管理系统将对视频服务、文件服务以及数据库进行集中的管理。
(3)服务模块：分类梳理数据服务，实现新闻访问等数据服务的单独发布管理，并将视频服务、图片等非结构化数据服务进行独立发布管理。
(4)数据库模块：根据甬派新闻客户端数据库的功能类别和访问情况进行数据库划分并分别存储于不同的数据库服务器。
进一步的，系统软件层次为多层隔离和封装。
进一步的，终端模块中ios和android客户端开发都采用原生框架开发模式
进一步的，应用模块中负载均衡和高可用性技术选择linuxvirtualserver搭配keepalived。
进一步的，数据库模块中数据缓存框架采用memcached分布式内存缓存服务器，每个存储的对象都有一个唯一的标识符key与value对应相关联，通过key可以对存储对象进行存取操作。
进一步的，数据库模块中非活动数据直接从生产系统中移出进行自动数据归档，数据归档系统可提供检索功能。
进一步的，数据库模块中数据备份采用数据库系统的日志备份和恢复机制，在源数据库(业务中心)及目标数据库(灾备中心)的数据库服务器上各安装一套agent(代理程序)。
进一步的，数据库模块中采用主从复制(master-slave)的方式来同步数据，再通过读写分离(mysql-proxy)来提升数据库的并发负载能力。
进一步的，数据库模块中数据库技术选择开源数据库引擎软件mysql，并通过应用mysql主从访问、数据归档、数据备份等性能优化和安全管理技术，对数据库结构进行重新设计。
进一步的，ide提供了对springframework4.x和3.x的内置支持，框架库是与ide一起打包的，当选择该框架时会自动添加到项目类路径。
本发明的有益效果是：本发明提供一种高并发新闻信息处理系统，在现有的甬派客户端建设成果的基础上，完成老数据库中的所有数据(新闻数据、用户访问数据、用户注册信息、积分信息、第三方登录等)向甬派客户端v2.0的数据库迁移工作，保证在甬派数据资源不丢失的基础上，增加用户和功能数据类别，保障数据资源的完整性。针对部分第三方的独立开发接入，将兼容html5网页功能的接入，增强了多用户并发处理能力、数据缓存机制和负载均衡器，并对指定功能的数据进行对称加密处理，使用防注入过滤机制和内网应用服务器ip地址隐藏方式保障客户端的数据和网络安全。
在系统的总体设计上更加合理、更为先进。由于系统软件层次多层隔离和封装，保证系统软件结构的灵活性和可维护性，从而在系统功能上，也为用户提供的灵活的、可动态更新的业务功能。mysql数据库结构设计将兼顾甬派客户端目前正在运行的版本，保证在新版本上线后，新老版本客户端的数据一致。
附图说明
图1是本发明实施例提供的一种高并发新闻信息处理系统的整体框架图；
图2是本发明实施例提供的一种高并发新闻信息处理系统的网络总体架构图；
图3是本发明实施例提供的一种高并发新闻信息处理系统的功能组成框架图；
图4是本发明实施例提供的一种高并发新闻信息处理系统的首页示意图；
图5是本发明实施例提供的一种高并发新闻信息处理系统的报名功能示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
如图1所示，本发明一种高并发新闻信息处理系统的整体框架图分为终端模块、应用模块、服务模块以及数据库模块。
(1)终端模块：ios和android客户端开发都采用原生框架开发模式，使用多服务源方式确保可用性，通过客户端本地数据缓存，提高客户端应用的响应速度。
(2)应用模块：部署多个负载均衡服务器linuxvirtualserver并搭配高可用性技术keepalived，实现对新闻访问等数据服务的性能动态适配，并通过高可用性设计，保障服务器的运行持续稳定。部署后台管理系统，其将实现对视频服务、文件服务以及数据库进行集中的管理。
(3)服务模块：分类梳理数据服务，部署多个据服务器，实现新闻访问等数据服务的单独发布管理，并将视频服务、图片等非结构化数据服务进行独立发布管理，避免因为数据服务带宽的高占用对其他数据服务造成影响。
(4)数据库模块：数据库技术选择开源数据库引擎软件mysql，并通过应用mysql主从访问、数据归档、数据备份等性能优化和安全管理技术，对数据库结构进行重新设计，采用主从复制(master-slave)的方式来同步数据，再通过读写分离(mysqlproxy)来提升数据库的并发负载能力。在mysql数据库中，支持单项、异步复制。在复制过程中，一个服务器充当主服务器，而另外一台服务器充当从服务器。此时主服务器会将更新信息写入到一个特定的二进制文件中。并会维护文件的一个索引用来跟踪日志循环。这个日志可以记录并发送到从服务器的更新中去。当一台从服务器连接到主服务器时，从服务器会通知主服器从服务器的日志文件中读取最后一次成功更新的位置。然后从服务器会接收从那个时刻起发生的任何更新，然后锁住并等到主服务器通知新的更新。
数据缓存框架采用memcached分布式内存缓存服务器，每个存储的对象都有一个唯一的标识符key与value对应相关联，通过key可以对对象进行存取操作。当客户端与memcached建立连接后，接下来就是存储对象了，每个存储的对象都有一个唯一的标识符key与value对应相关联，通过key可以对对象进行存取操作，而对象实际上是保存在内存中的，所以速度比较快。
非活动数据直接从生产系统中移出进行自动数据归档，数据归档系统可提供检索功能。组织可以设置自己的策略，以确认要移入归档系统中的数据。这些策略设置用于对标识适当数据、并将其移入到归档系统的过程进行自动化。一旦位于归档系统后，信息将保持在线状态并且可以访问，原始内容会被保留，以确保归档信息在生命周期内的完整性和可靠性。
数据备份采用数据库系统的日志备份和恢复机制，在源数据库(业务中心)及目标数据库(灾备中心)的数据库服务器上各安装一套agent(代理程序)；由agent定时分析抽取oracle数据库中实时增量数据，并将这些增量传送到灾备中心上；定时的增量数据经过优化，放入传输队列中等待传输，agent对整个传输、装载过程进行监控，如果此阶段出现错误会及时提示用户解决问题。在数据复制过程中，目标数据始终处于打开状态，如果源数据库系统(业务中心)发生灾难，整个恢复时间只是用来准备的时间。而且在没有接管业务中心数据库系统的情况下，灾备中心的数据库还可以用来支持olp应用、报表和查询。
ide提供了对springframework4.x和3.x的内置支持。框架库是与ide一起打包的，当选择该框架时会自动添加到项目类路径。提供配置设置，如springwebmvcdispatcherservlet的命名和映射，也可以选择在项目创建时注册jstl库。此外，还提供了对springxmlbean配置文件的支持，包括以下功能：
a)代码完成：在springxml配置文件中调用，用于java类和bean引用；
b)导航：在springbean定义中提到的java类和属性的超链接以及到其他springbean引用的超链接；
c)重构：在springxml配置文件中重命名对java类的引用。
通过主从分离、定时归档、数据缓存等技术手段，降低不同数据库服务之间的耦合性，提升数据库服务功能的稳定性，保障数据服务器维护的便捷性。
如图2所示，本发明一种高并发新闻信息处理系统对指定功能的数据进行对称加密处理，它要求发送方和接收方在安全通信之前，商定一个密钥。对称算法的安全性依赖于密钥，泄漏密钥就意味着任何人都可以对他们发送或接收的消息解密，所以密钥的保密性对通信性至关重要。另外，对指定应用配置访问频率拦截机制，服务器端程序维护了一个客户端(ip)的访问计数，如果客户端(ip)请求频率超过阈值，请求就会被拦截，保证应用不被恶意的访问攻击，在应用客户端做每一个版本更新，都有相应的备份数据，以防运行过程中出现意外文件丢失，确保了该用于新闻信息处理的客户端应用级别的安全性。
使用参数化处理、特殊数据转义等防注入过滤机制，应用程序接口提供对特殊的字符进行转换的函数，恰当的使用这些函数，可以防止应用程序用户输入使应用程序生成不期望的效果的语句的数值。防止被恶意串改数据库信息，保障数据库的安全。
通过lvsnat网络服务部署方式，将内网应用服务器ip地址进行隐藏，只对外发布负载均衡服务器的ip地址，并严格管理对外服务的端口开发，数据库服务器也统一部署在内网，应用服务器的数据访问通过内网地址进行访问，避免应用服务器和数据库服务器因外网ip发布而存在受外网非法攻击的可能，保障了网络的安全。
本发明一种高并发新闻信息处理系统充分保留现有版本的所有功能，并在此基础上对部分功能进行优化和完善，保证项目功能的完整性。主要功能由用户、新闻、e点通、我、消息推送、积分和生活组成，如图3所示，针对甬派客户端的未来发展需求进行分析，对每个主要功能按照需求又进行细分，增加甬派客户端作为新闻生活服务载体平台所需具备的新功能，其中包括：报名(如图5所示)、投票、视频浏览、图片查看等，用户登录后首页显示内容如图4所示。
本发明提供的一种高并发新闻信息处理系统，在现有的甬派新闻客户端建设成果的基础上对部分功能进行优化和完善，增加用户和功能数据类别，保障数据资源的完整性，针对甬派客户端的未来发展需求进行分析，增加甬派客户端作为新闻生活服务载体平台所需具备的新功能。同时，针对部分第三方的独立开发接入，将兼容html5网页功能的接入，增强了多用户并发处理能力、数据缓存机制和负载均衡器，后台管理系统增设了安全管理功能，优化了服务器功能和服务器部署负载均衡设计，在系统的总体设计上更加合理、更为先进。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。