基于Hadoop大数据平台的卡口数据过边界实施方法
【技术领域】
[0001]本发明涉及卡口过车信息数据过边界技术领域，尤其是一种基于Hadoop大数据平台的卡口数据过边界实施方法。
【背景技术】
[0002]随着平安城市、智慧城市项目的推进，平安城市卡口系统产生了大量的数据，据统计，平安合肥卡口系统每日产生100多万条数据，如何及时快速高效的处理这些数据已成为平安城市建设中的热点，传统的数据存储方法已无法满足当前的业务需求，100多万条数据平均每秒数据处理10多条数据，若直接从Hadoop大数据平台中读取批量信息的所有字段会大大降低了处理数据的效率，同时在数据传输方面也有着很大的限制。
[0003]数据过边界处理即系统所需数据由视频网到公安网的数据传输处理过程，所谓边界，通俗的说就是视频网和公安网的之间的边界，即怎样把数据从视频网传输到公安网，这属于不同网段之间的数据传输。目前的数据过边界处理方法仅仅局限于同一个网段的某一个服务领域，比如仅仅只是针对报文的传输，并非对各种数据信息都可传输，应用领域较窄，因此，对于数据过边界的问题处理上也相形见绌。可见，数据过边界处理问题也成为当前数据传输、管理的一个热点问题。
【发明内容】
[0004]本发明的目的在于提供一种实时同步、高效率地满足日常业务中视频网卡口过车信息同步公安网的需求，能够应用于各种数据过边界传输领域的基于Hadoop大数据平台的卡口数据过边界实施方法。
[0005]为实现上述目的，本发明采用了以下技术方案:一种基于Hadoop大数据平台的卡口数据过边界实施方法，该方法包括下列顺序的步骤:
(1)视频网的卡口抓取服务器定时从前端交通卡口的Hadoop大数据平台中抓取过车信息数据，并将该数据存入业务前置机的第一 Oracle数据库，业务前置机定时通过FTP协议从卡口抓取服务器中存储的过车图片地址URL到前端的交通卡口系统服务器中下载过车图片；
(2)边界网关以轮询的方式与视频网的业务前置机的第一Oracle数据库交互，获取业务前置机的第一 Oracle数据库的增量数据信息；
(3)边界网关将获得的过车信息数据以及过车图片通过摆渡的方式同步至公安网的业务服务器中；
(4)公安网的数据中心系统定时从业务服务器的第二Oracle数据库中抓取过车信息数据，同时从第二 FTP图片库中获取过车图片。
[0006]所述业务前置机的第一 Oracle数据库和业务服务器的第二 Oracle数据库，二者所有字段保持一致；所述过车信息数据包含过车图片地址URL。
[0007]所述卡口抓取服务器从Hadoop大数据平台中抓取过车信息数据，包括以下步骤: (1)卡口抓取服务器以HBase_PK值作为唯一的主键且按多线程的方式读取Hadoop大数据平台的数据；
(2)对已经读取的数据，标记单实例标识位为false，反之，对未读取的数据，标记单实例标识位为true，每次读取前，判断该数据的单实例标识位是否为false，若判断结果为是，则将读取的数据存入业务前置机的第一 Oracle数据库，否则，返回上一步。
[0008]所述业务前置机设定定时任务，定时通过FTP协议从卡口抓取服务器中存储的过车图片地址URL到前端的交通卡口系统服务器中下载过车图片，并将图片命名格式为:P+通tx时间+号牌号码+.jpg或F+通彳丁时间+号牌号码+.jpg，其中，P为全景图像PAN0RAMA_IMAGE的首字母，F为特征图像FEATURE_IMAGE的首字母，将图片存储在其第一 FTP图片库内；下载后，将卡口抓取服务器内存储的源文件删除。
[0009]所述边界网关的数据平台UAS以轮询的方式和业务前置机的第一 Oracle数据库、第一 FTP图片库交互，获取业务前置机增量数据信息，所述增量数据信息是指新增的过车信息数据和/或过车图片信息；接着，数据平台UAS将获取得到的数据通过网闸摆渡到数据平台TAS上，数据平台TAS收到数据后再写入业务服务器中，同时删除其内的源文件。
[0010]所述业务服务器获取数据后，将过车数据存储到其第二 Oracle数据库及第二 FTP图片库中，供数据中心系统抽取，数据中心系统从第二 Oracle数据库及第二 FTP图片库抽取后，将第二 Oracle数据库及第二 FTP图片库中的源数据删除。
[0011]所述卡口抓取服务器单次定量处理数据，分为20个线程，每个线程处理50条数据，读取每条数据的各个字段并保存到业务前置机的第一 Oracle数据库中。
[0012]所述边界网关获取业务前置机的第一 Oracle数据库、第一 FTP图片库内的过车信息时采取增量读取的方式，首先记录每次读取数据的时间点，每次读取时按照Hadoop大数据平台中数据先进先出的原则，首先取出最先进入Hadoop大数据平台的数据，读取完成后记录最后一条数据的时间点，下次从该时间点开始读取。
[0013]由上述技术方案可知，本发明的优点在于:第一，利用多线程方式对数据信息读取、传输，处理效率较高；第二，对过边界数据处理方式较灵活，可应用于不同系统对数据过边界处理，应用于不同的服务领域；第三，本发明在数据过边界过程定时清理冗余数据，保证数据传输畅通，进一步的提高了数据处理的效率；第四，解决了海量数据过边界传输，满足大数据处理要求；第五，对各种数据信息都可传输，可广泛利用到其他软件系统数据过边界服务的实施。
【附图说明】
[0014]图1为本发明的网络拓扑图。
[0015]图2为本发明中视频网的数据处理方法流程图。
[0016]图3为本发明中边界网关连通视频网和公安网的方法流程图。
[0017]图4为本发明中公安网的数据存储方法流程图。
[0018]图5为本发明的卡口过车数据管理的方法流程图。
【具体实施方式】
[0019]如图1所示，一种基于Hadoop大数据平台的卡口数据过边界实施方法，包括:(1)视频网10的卡口抓取服务器11定时从前端交通卡口的Hadoop大数据平台中抓取过车信息数据，并将该数据存入业务前置机12的第一 Oracle数据库121，业务前置机12定时通过FTP协议从卡口抓取服务器11中存储的过车图片地址URL到前端的交通卡口系统服务器中下载过车图片；(2)边界网关20以轮询的方式与视频网10的业务前置机12的第一Oracle数据库121交互，获取业务前置机12的第一 Oracle数据库121的增量数据信息；
(3)边界网关20将获得的过车信息数据以及过车图片通过摆渡的方式同步至公安网30的业务服务器31中；(4)公安网30的数据中心系统32定时从业务服务器31的第二 Oracle数据库311中抓取过车信息数据，同时从第二 FTP图片库312中获取过车图片。所述业务前置机12的第一 Oracle数据库121和业务服务器31的第二 Oracle数据库311，二者所有字段保持一致；所述过车信息数据包含过车图片地址URL。
[0020]如图2、5所示，所述卡口抓取服务器11从Hadoop大数据平台中抓取过车信息数据，包括以下步骤:(I)卡口抓取服务器11以HBase_PK值作为唯一的主键且按多线程的方式读取Hadoop大数据平台的数据；(2 )为避免重复读取数据，对已经读取的数据，标记单实例标识位为false，反之，对未读取的数据，标记单实例标识位为true，每次读取前，判断该数据的单实例标识位是否为false，若判断结果为是，则将读取的数据存入业务前置机12的第一 Oracle数据库121，否则，返回上一步。卡口抓取服务器11使用数字证书认证方式和可信网关建立安全加密通道，得到访问业务前置机12边界应用服务区的权限，通过数据抽取服务定时将过车数据插入到业务前置机12的数据库，实现数据在应用服务区落地。
[0021]如图2、5所示，所述卡口抓取服务器11单次定量处理数据，分为20个线程，每个线程处理50条数据，读取每条数据的各个字段并保存到业务前置机12的第一 Oracle数据库121中。卡口系统中卡口数据量较大，当前卡口系统每天最多时数据量在100万以上，若全部处理完成，每秒平均在10几条，因此采用多线程的方式。由于从Hadoop中读取批量信息的所有字段速度较慢，采用首先读取批量信息的主键值，然后根据主键值去查找该信息的详情。所