本发明涉及数据处理技术领域，具体为一种处理大数据的方法及系统。
背景技术：
大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据处理和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户电子商务类网站大数据商品推送给在线购买者，通过处理用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息。
大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域。在海量的数据中统计处理出人的行为、习惯等方式，最大程度帮助广告主找到精准潜在客户，从而提升广告效果和后续购买操作。
在交通监控系统中，由于图片是存储在数据库表中的，数据量过大，平均一天有20万左右的信息需要存储，峰值每秒达到了15-20条左右的记录，图片压缩后为150kb左右的高清图，服务器为24*365天工作的，所以压力比较大，目前的问题是服务器的磁盘io出现了瓶颈，服务器的连接通讯管道出现了拥堵，写入操作超时，这种情况偶尔会发生。
技术实现要素：
本发明的目的在于提供一种处理大数据的方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种处理大数据的方法，包括以下步骤：
步骤s101：通过实时数据采集模块采集交通的视频、图像信息，利用hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据；
步骤s102：前端采集的图像数据，通过交换机统一接口，将图像数据传入到负责存储的图片服务器；
步骤s103：前端采集的视频数据，通过交换机统一接口，将视频数据传入到负责存储的视频服务器；
步骤s104：将图片服务器、视频服务器接收到的数据分别存入到对应的数据库中，客户端通过网络去访问数据库的信息，进行检索操作；
步骤s105：实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
本发明还提出一种处理大数据的系统，所述系统包括：
实时数据采集模块，所述实时数据采集模块采集交通的视频、图像信息，利用hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据；
编译器，用于将所述实时数据采集模块得到的交通的视频、图像信息的完整且不重复的数据转化为计算机语言；
图片服务器，所述图片服务器用于将前端采集的图像数据通过交换机统一接口传入进行存储，所述图片服务器包括至少一组用于对图像信息进行存储的图片磁盘阵列；所述磁盘阵列采用500g的硬盘；
视频服务器，所述视频服务器用于将采集的视频数据通过交换机统一接口传入进行存储，所述视频服务器包括至少一组用于对视频信息进行存储的视频磁盘阵列；所述磁盘阵列采用500g的硬盘；
客户端，所述客户端包括通过网络去访问数据库的信息进行检索操作并可以调用数据库中存储的数据信息的操作系统
优选的，所述操作系统winform系统。
优选的，所述实时数据采集模块包括至少一组用于采集交通视频、图像信息的摄像头。
优选的，所述图片服务器设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块的类型将该大数据分配给对应的处理设备处理，建立处理列表。
优选的，所述视频服务器设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块的类型将该大数据分配给对应的处理设备处理，建立处理列表。
优选的，所述图片服务器及视频服务器采用netframework3.5和sqlserver2008编写与存储。
与现有技术相比，本发明的有益效果是：本发明通过将改变传统的前端采集的图片数据，通过交换机统一接口，将数据传入到负责存储的中心服务软件进行统一存储导致服务器的磁盘io出现了瓶颈的问题，通过对不同类型的数据进行分类，把图片单独存储，解决服务器的io瓶颈，减轻服务器写操作的压力。
附图说明
图1为本发明一种处理大数据的方法的流程图；
图2为本发明一种处理大数据的系统系统的结构图。
图中：10-客户端；11-交换机；12-视频磁盘阵列；13-图片磁盘阵列；14-视频服务器；15-图片服务器；16-编译器；17-实时数据采集模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种处理大数据的方法，包括以下步骤：
步骤s101：通过实时数据采集模块17采集交通的视频、图像信息，利用hadoop分布式模式，对实时数据采集模块17采集到的数据进行过滤，得到的完整且不重复的数据；
步骤s102：前端采集的图像数据，通过交换机11统一接口，将图像数据传入到负责存储的图片服务器15；
步骤s103：前端采集的视频数据，通过交换机11统一接口，将视频数据传入到负责存储的视频服务器14；
步骤s104：将图片服务器15、视频服务器14接收到的数据分别存入到对应的数据库中，客户端10通过网络去访问数据库的信息，进行检索操作；
步骤s105：实时获取数据处理的结果，并将处理失败的数据放入到重试数据队列中。
请参阅图2，本发明提供一种处理大数据的系统，所述系统包括：
实时数据采集模块17，所述实时数据采集模块17采集交通的视频、图像信息，利用hadoop分布式模式，对实时数据采集模块采集到的数据进行过滤，得到的完整且不重复的数据，实时数据采集模块17通过摄像头进行采集视频、图像信息，并送入a/d转换器变成数字信号，然后将该信号送到fifo中。当fifo中存放的数据到了一定数目时，由arm7从fifo中读出，然后通过arm7的以太网接口或者rs232送给上位机。考虑到要监控的设备可能会很多，所以设计了多路采集通道，他们经过模拟开关后再进入a/d转换器。cpld是整个系统的控制核心，他控制采集通道的切换、a/d转换器的启/停、转换后的数据在fifo中的存放地址发生器、产生中断请求以通知arm7读取存放在fifo中的数据等；
编译器16，用于将所述实时数据采集模块17得到的交通的视频、图像信息的完整且不重复的数据转化为计算机语言，编译是从源代码到能直接被计算机或虚拟机执行的目标代码的翻译过程；
图片服务器15，所述图片服务器15用于将前端采集的图像数据通过交换机11统一接口传入进行存储，所述图片服务器15包括至少一组用于对图像信息进行存储的图片磁盘阵列13；所述图片磁盘阵13列采用500g的硬盘，用于将视频数据进行分类；
视频服务器14，所述视频服务器14用于将采集的视频数据通过交换机11统一接口传入进行存储，所述视频服务器14包括至少一组用于对视频信息进行存储的视频磁盘阵列12；所述视频磁盘阵列12采用500g的硬盘，用于将图片数据进行分类；
客户端10，所述客户端10包括通过网络去访问数据库的信息进行检索操作并可以调用数据库中存储的数据信息的操作系统。
所述操作系统winform系统，用于调用数据库中存储的数据信息，使用方便。
所述实时数据采集模块17包括至少一组用于采集交通视频、图像信息的摄像头，多组摄像头用于获取不同地区的的交通信息，并将获取的视频、图像信息发送至服务器。
所述图片服务器15设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块17的类型将该大数据分配给对应的处理设备处理，建立处理列表，根据获取的图片、视频信息分类防止服务器的磁盘io出现了瓶颈的问题。
所述视频服务器14设置有数据处理器单元，所述数据处理器单元用于依据实时数据采集模块17的类型将该大数据分配给对应的处理设备处理，建立处理列表，根据获取的图片、视频信息分类防止服务器的磁盘io出现了瓶颈的问题。
所述图片服务器15及视频服务器14采用netframework3.5和sqlserver2008编写与存储。
该发明通过将改变传统的前端采集的图片数据，通过交换机统一接口，将数据传入到负责存储的中心服务软件进行统一存储导致服务器的磁盘io出现了瓶颈的问题，通过对不同类型的数据进行分类，把图片单独存储，解决服务器的io瓶颈，减轻服务器写操作的压力。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。