数据转发方法、相关系统和设备及存储介质与流程

文档序号:26957211发布日期:2021-10-16 04:55阅读:135来源:国知局

1.本发明涉及数据传输技术领域,尤其涉及一种数据转发方法、数据转发系统、数据转发设备以及计算机可读存储介质。


背景技术:

2.随着摄像头监控的应用越来越广,前端智能摄像头采集的图片数据不仅仅在采集数据的外围网络使用,同时还提供给不同的专业的视频专网应用。前端智能摄像头采集的图片数据需要一套完整的转发平台,能够把图片数据从采集数据的外围网络转发至视频专网内。而前端摄像头采集的图片数据只有一份,为了在视频专网和外围网络都能同时接收到图片数据,需要转发平台实现跨界数据共享,因此转发平台对的数据传输的高效快捷性为重要指标。
3.目前, 相关技术的数据转发平台采用json格式传输图片数据。
4.然而,在传统的数据转发过程中,对于图片数据的接收存在一定的丢图率,图片数据的数据体积大且量多的情况下,使用json格式传输图片数据严重降低了性能。具体的,一方面:使用json格式传输数据,数据解析的时间效率和空间效率都比较低;另一方面:使用json格式传输数据安全性较低,容易受到各种攻击,数据传输的可靠性低。
5.因此,实有必要提供一种新的方法以及相关系统和设备来解决上述技术问题。


技术实现要素:

6.本发明的目的是克服上述技术问题,提供一种实现数据快速跨平台传输且数据传输的转换效率高的数据转发方法、数据转发系统、数据转发设备以及计算机可读存储介质。
7.为了实现上述目的,本发明提供一种数据转发方法,所述数据转发方法应用于数据前端,所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及ftp服务器,该方法包括如下步骤:s11、获取外部图像采集设备的原始图片数据,将所述原始图片数据转换为protobuf协议格式的图片数据,再将转换后的所述图片数据存储于所述数据库服务器;s12、将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器,所述第一消息服务器为kafka消息服务器;s13、所述第一消息服务器将接收的所述图片数据存储,并根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器;s14、所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件,并将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中;其中,所述图片存储文件用于数据后端获取所述图片数据:所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器,所述数据后端从所述ftp服务
器中的共享目录文件夹中获取所述图片存储文件并发送至所述解包服务器,所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据,并将解包出的所述图片数据发送至所述第二消息服务器,所述第二消息服务器为kafka消息服务器,所述第二消息服务器将所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息,所述应用服务器获取所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
8.优选的,所述s11步骤中,所述数据前端还包括拦截器,所述拦截器用于与所述外部图像采集设备数据连接,并监控和获取所述外部图像采集设备产生的所述原始图片数据。
9.优选的,所述s11步骤中获取所述原始图片数据后还包括:判断所述原始图片数据是否为预设清单内的外部图像采集设备产生的数据:若是,则将所述原始图片数据处理为所述图片数据;若否,则所述拦截器继续监控和获取所述原始图片数据。
10.优选的,所述数据库服务器为rocksdb数据库;所述数据打包服务器将相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包并生成一个所述图片存储文件。
11.本发明还提供一种数据转发方法,所述数据转发方法应用于数据后端,所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器,该方法包括如下步骤:s21、获取所述ftp服务器中的共享目录文件夹中的图片存储文件,并将获取的所述图片存储文件发送至所述解包服务器;其中,所述图片存储文件是从所述数据前端获取:所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及ftp服务器,所述数据前端获取外部图像采集设备的原始图片数据,将所述原始图片数据转换为protobuf协议格式的图片数据,再将转换后的所述图片数据存储于所述数据库服务器,再将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器,所述第一消息服务器为kafka消息服务器,所述第一消息服务器将所述图片数据存储,根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器,所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件,并将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中;s22、所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据,并将解包出的所述图片数据发送至所述第二消息服务器,所述第二消息服务器为kafka消息服务器;s23、所述第二消息服务器将所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息;s24、所述应用服务器获取所述第二消息服务器的所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
12.优选的,所述s21步骤中,所述数据后端通过ftp协议获取所述ftp服务器中的共享目录文件夹中的图片存储文件。
13.优选的,所述数据库服务器为rocksdb数据库;所述图片存储文件由相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包生成。
14.本发明还提供一种数据转发系统,所述数据转发系统包括数据前端和与所述数据前端通信连接的数据后端,所述数据前端包括:拦截器,用于与所述外部图像采集设备数据连接,并监控和获取外部图像采集设备产生的原始图片数据;前端处理器,用于将所述原始图片数据转换为protobuf协议格式的所述图片数据;数据库服务器,用于将所述前端处理器发送至的所述图片数据存储;第一消息服务器,用于将所述前端处理器从所述数据库服务器中调取出并发送至的所述图片数据存储,根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,所述第一消息服务器为kafka消息服务器;数据打包服务器,用于将所述第一消息服务器发送至的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件;ftp服务器,用于将所述数据打包服务器发送至的所述图片存储文件存储于共享目录文件夹中;其中,所述拦截器与所述前端处理器数据连接,所述前端处理器分别与所述数据库服务器和所述第一消息服务器数据连接,所述第一消息服务器与所述数据打包服务器数据连接,所述数据打包服务器与所述ftp服务器数据连接;所述数据后端包括:后端处理器,用于获取所述ftp服务器中的共享目录文件夹中的图片存储文件;解包服务器,用于将所述后端处理器发送至的所述图片存储文件根据预设的解包规则解包出所述图片数据;第二消息服务器,用于将所述解包服务器发送至的所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息,所述第二消息服务器为kafka消息服务器;应用服务器,用于获取所述第二消息服务器的所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据;其中,所述后端处理器与所述ftp服务器通信连接,所述后端处理器与所述解包服务器数据连接,所述解包服务器与所述第二消息服务器数据连接,所述第二消息服务器与所述应用服务器数据连接。
15.本发明还提供一种数据转发设备,包括处理器和存储器,所述处理器用于读取所述存储器中的程序,执行如上中的任一项所述的数据转发方法中的步骤。
16.本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时实现如上中任意一项
所述的数据转发方法中的步骤。
17.与现有技术相比,本发明的数据转发方法包括如下步骤:s11、获取外部图像采集设备的原始图片数据,将所述原始图片数据转换为protobuf协议格式的图片数据,再将转换后的所述图片数据存储于所述数据库服务器;s12、将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器,所述第一消息服务器为kafka消息服务器;s13、所述第一消息服务器将接收的所述图片数据存储,并根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器;s14、所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件,并将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中;s21、获取所述ftp服务器中的共享目录文件夹中的图片存储文件,并将获取的所述图片存储文件发送至所述解包服务器;s22、所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据,并将解包出的所述图片数据发送至所述第二消息服务器,所述第二消息服务器为kafka消息服务器;s23、所述第二消息服务器将所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息;s24、所述应用服务器获取所述第二消息服务器的所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。其中,所述数据库服务器为rocksdb数据库,采用rocksdb数据库存储所述图片数据实现数据的高效存储,使得数据快速落盘,实现数据零丢失。采用所述原始图片数据转换为protobuf协议格式的图片数据,从而实现proto协议传输数据,大大的提高数据的安全性和转换效率,从而使得时间效率和空间效率均高于json格式传输数据。采用kafka消息服务器作为中间件,并同时将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中,数据后端和数据前端之间采用ftp实现数据传输,实现数据的跨界安全共享,使得整个系统的吞吐率提高,且可以将数据跨平台使用。因此,本发明的数据转发方法、数据转发系统、数据转发设备以及计算机可读存储介质实现数据快速跨平台传输且数据传输的转换效率高。
附图说明
18.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中,图1为本发明数据转发方法的流程框图;图2为本发明数据转发方法的s11步骤的流程框图;图3为本发明另一种数据转发方法流程框图;图4为本发明数据转发系统的模块结构框图;图5为本发明数据转发设备的结构示意图。
具体实施方式
19.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
20.本技术的说明书和权利要求书及附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本技术的说明书和权利要求书或附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。在本文中提及“实施例或本实施方式”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
21.本发明提供一种数据转发方法。所述数据转发方法应用于数据前端。
22.所述数据前端为采集图片数据的外围网络。所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及ftp服务器。
23.请参照图1所示,图1为本发明数据转发方法的流程框图。
24.所述数据转发方法包括如下步骤:s11、获取外部图像采集设备的原始图片数据,将所述原始图片数据转换为protobuf协议格式的图片数据,再将转换后的所述图片数据存储于所述数据库服务器。
25.所述s11步骤中,所述数据前端还包括拦截器,所述拦截器用于与所述外部图像采集设备数据连接,并监控和获取所述外部图像采集设备产生的所述原始图片数据。
26.所述s11步骤中获取所述原始图片数据后还包括:判断所述原始图片数据是否为预设清单内的外部图像采集设备产生的数据:若是,则将所述原始图片数据处理为所述图片数据;若否,则所述拦截器继续监控和获取所述原始图片数据。
27.请参照图2所示,图2为本发明数据转发方法的s11步骤的流程框图。具体的,所述s11步骤包括如下具体步骤:步骤s111、获取外部图像采集设备的原始图片数据。
28.步骤s112、判断所述原始图片数据是否为预设清单内的外部图像采集设备产生的数据:若是,进入步骤s113;若否,则返回步骤s111,所述拦截器继续监控和获取所述原始图片数据。其中,当次获取所述原始图片数据将被所述数据前端忽视,并不采用该数据。
29.步骤s113、将所述原始图片数据转换为protobuf协议格式的图片数据。采用所述原始图片数据转换为protobuf协议格式的图片数据,从而实现proto协议传输数据,大大的提高数据的安全性和转换效率,从而使得时间效率和空间效率均高于json格式传输数据,具体的,proto协议传输数据的时间效率和空间效率都是json格式传输数据的3

5倍。
30.步骤s114、将转换后的所述图片数据存储于所述数据库服务器。
31.本实施方式中,所述数据库服务器为rocksdb数据库。采用rocksdb数据库存储所
述图片数据实现数据的高效存储,使得数据快速落盘,实现数据零丢失。
32.s12、将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器。所述第一消息服务器为kafka消息服务器。
33.所述kafka消息服务器为一个高吞吐、分布式、基于发布订阅的消息系统的服务器,其利用kafka技术可以在廉价的pc 服务器上搭建起大规模消息系统。所述kafka消息服务器中kafka通过主题(topic)将消息归类,各个主题相互独立,每个主题包含一个或多个分区(partition),分区数量可以动态修改,kafka保证消息在一个分区中是有序的,分区中的每个消息都有一个唯一的偏移量(offset)。一个分区同时可以包含多个分区副本:一个领导者(leader)副本和一或多个跟随者(follower)副本,只有leader副本负责消息的接收和发送,其余副本负责与领导者(leader)副本保持同步,从而达到高可用。
34.s13、所述第一消息服务器将接收的所述图片数据存储,根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器。
35.其中,所述第一消息规则为本领域中的所述kafka消息服务器常用的产生消息规则。
36.s14、所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件,并将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中。
37.其中,所述打包规则为本领域中的所述数据打包服务器常用的打包规则。
38.本实施方式中,所述数据打包服务器将相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包并生成一个所述图片存储文件。
39.其中,所述图片存储文件用于所述数据后端获取所述图片数据:所述数据后端为视频专网。所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器。本实施方式中,所述数据后端包括多个。所述ftp服务器中的共享目录文件夹中获取所述图片存储文件并发送至所述解包服务器。采用kafka消息服务器作为中间件,并同时将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中,数据后端和数据前端之间采用ftp实现数据传输,实现数据的跨界安全共享,使得整个系统的吞吐率提高,且可以将数据跨平台使用。
40.所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据,并将解包出的所述图片数据发送至所述第二消息服务器。
41.其中,所述解包规则为本领域中的所述数据打包服务器常用的解包规则。
42.所述第二消息服务器为kafka消息服务器。所述第二消息服务器将所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息。
43.其中,所述第二消息规则为本领域中的所述kafka消息服务器常用的产生消息规则。
44.所述应用服务器获取所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施。其中,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
45.本发明还提供一种数据转发方法。所述数据转发方法应用于数据后端。
46.所述数据后端为视频专网。所述数据后端包括依次数据连接的解包服务器、第二消息服务器以及应用服务器。本实施方式中,所述数据后端包括多个。
47.请参照图3所示,图3为本发明另一种数据转发方法流程框图。
48.所述数据转发方法包括如下步骤:s21、获取所述ftp服务器中的共享目录文件夹中的图片存储文件,并将获取的所述图片存储文件发送至所述解包服务器。
49.本实施方式中,所述s21步骤中,所述数据后端通过ftp协议获取所述ftp服务器中的共享目录文件夹中的图片存储文件。
50.其中,所述图片存储文件是从所述数据前端获取:所述数据前端为采集图片数据的外围网络。所述数据前端包括依次数据连接的数据库服务器、第一消息服务器、数据打包服务器以及ftp服务器。所述数据前端外部图像采集设备的原始图片数据,将所述原始图片数据转换为protobuf协议格式的图片数据,再将转换后的所述图片数据存储于所述数据库服务器,再将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器。
51.本实施方式中,所述数据库服务器为rocksdb数据库。所述数据库服务器为rocksdb数据库,采用rocksdb数据库存储所述图片数据实现数据的高效存储,使得数据快速落盘,实现数据零丢失。
52.本实施方式中,采用所述原始图片数据处理为protobuf协议格式的图片数据,从而实现proto协议传输数据,大大的提高数据的安全性和转换效率,从而使得时间效率和空间效率均高于json格式传输数据,具体的,proto协议传输数据的时间效率和空间效率都是json格式传输数据的3

5倍。
53.所述第一消息服务器为kafka消息服务器。所述第一消息服务器将所述图片数据存储,根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器。
54.其中,所述第一消息规则为本领域中的所述kafka消息服务器常用的产生消息规则。
55.所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件,并将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中。
56.其中,所述打包规则为本领域中的所述数据打包服务器常用的打包规则。
57.采用kafka消息服务器作为中间件,并同时将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中,数据后端和数据前端之间采用ftp实现数据传输,实现数据的跨界安全共享,使得整个系统的吞吐率提高,且可以将数据跨平台使用。
58.本实施方式中,所述图片存储文件由相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包生成。所述图片存储文件可实现数据的整理归纳,有利于数据在所述ftp服务器中的共享目录文件夹中进行显示,以便于用户寻找和选择。
59.s22、所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据,并将解包出的所述图片数据发送至所述第二消息服务器。所述第二消息服务器为kafka消息服务器。
60.其中,所述解包规则为本领域中的所述数据打包服务器常用的解包规则。
61.s23、所述第二消息服务器将所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息。
62.其中,所述第二消息规则为本领域中的所述kafka消息服务器常用的产生消息规则。
63.s24、所述应用服务器获取所述第二消息服务器的所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
64.本发明还提供一种数据转发系统100。
65.请参照图4所示,图4为本发明数据转发系统100的模块结构框图。
66.所述数据转发系统100包括数据前端1和与所述数据前端1通信连接的数据后端2。
67.所述数据前端1包括:拦截器11用于与所述外部图像采集设备数据连接,并监控和获取外部图像采集设备产生的原始图片数据;前端处理器12用于将所述原始图片数据处理为protobuf协议格式的所述图片数据。
68.数据库服务器13用于将所述前端处理器12发送至的所述图片数据存储。
69.第一消息服务器14用于将所述前端处理器12从所述数据库服务器13中调取出并发送至的所述图片数据存储,根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,所述第一消息服务器14为kafka消息服务器。
70.数据打包服务器15用于将所述第一消息服务器14发送至的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件。
71.ftp服务器16用于将所述数据打包服务器15发送至的所述图片存储文件存储于共享目录文件夹中。
72.其中,所述拦截器11与所述前端处理器12数据连接。所述前端处理器12分别与所述数据库服务器13和所述第一消息服务器14数据连接。所述第一消息服务器14与所述数据打包服务器15数据连接。所述数据打包服务器15与所述ftp服务器16数据连接。
73.所述数据后端2包括:后端处理器21用于获取所述ftp服务器16中的共享目录文件夹中的图片存储文件。
74.解包服务器22用于将所述后端处理器21发送至的所述图片存储文件根据预设的解包规则解包出所述图片数据。
75.第二消息服务器23用于将所述解包服务器22发送至的所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息,所述第二消息服务器23为kafka消息服务器。
76.应用服务器24用于获取所述第二消息服务器23的所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施。所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
77.其中,所述后端处理器21与所述ftp服务器16通信连接。所述后端处理器21与所述
解包服务器22数据连接。所述解包服务器22与所述第二消息服务器23数据连接。所述第二消息服务器23与所述应用服务器24数据连接。
78.需要指出的是,所述第一消息规则、所述第二消息规则、所述打包规则以及所述解包规则均为本领域常用的规则。所述拦截器11、所述前端处理器12、所述数据库服务器13、所述第一消息服务器14、所述数据打包服务器15、所述ftp服务器16、所述后端处理器21、所述解包服务器22、所述第二消息服务器23以及所述应用服务器24均为本领域中常用的模块和器件,具体的型号和指标根据具体使用情况进行选择,在此不作详细赘述。
79.本发明还提供一种数据转发设备1000。请参照图5所示,图5为本发明数据转发设备1000的结构示意图。
80.所述数据转发设备1000包括处理器1001、存储器1002、网络接口1003及存储在存储器1002上并可在处理器1001上运行的计算机程序,所述处理器1001用于读取所述存储器中1002的程序,处理器1001执行计算机程序时实现本发明实施例提供的数据转发方法中的步骤。即处理器1001执行所述数据转发方法中的步骤。
81.具体的,处理器1001用于执行以下步骤:s11、获取外部图像采集设备的原始图片数据,将所述原始图片数据转换为protobuf协议格式的图片数据,再将转换后的所述图片数据存储于所述数据库服务器。
82.所述数据前端还包括拦截器,所述拦截器用于与所述外部图像采集设备数据连接,并监控和获取所述外部图像采集设备产生的所述原始图片数据。
83.获取所述原始图片数据后还包括:判断所述原始图片数据是否为预设清单内的外部图像采集设备产生的数据:若是,则将所述原始图片数据处理为所述图片数据;若否,则所述拦截器继续监控和获取所述原始图片数据。
84.所述数据库服务器为rocksdb数据库。
85.s12、将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器,所述第一消息服务器为kafka消息服务器。
86.s13、所述第一消息服务器将接收的所述图片数据存储,并根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器。
87.s14、所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件,并将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中。
88.所述数据打包服务器将相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包并生成一个所述图片存储文件。
89.s21、获取所述ftp服务器中的共享目录文件夹中的图片存储文件,并将获取的所述图片存储文件发送至所述解包服务器。
90.所述数据后端通过ftp协议获取所述ftp服务器中的共享目录文件夹中的图片存储文件。所述图片存储文件由相互对应的多个所述图片数据和多个所述图片存储消息进行数据打包生成。
91.s22、所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所
述图片数据,并将解包出的所述图片数据发送至所述第二消息服务器。所述第二消息服务器为kafka消息服务器。
92.s23、所述第二消息服务器将所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息。
93.s24、所述应用服务器获取所述第二消息服务器的所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。
94.本发明实施例提供的所述数据转发设备1000能够实现数据转发方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
95.需要指出的是,图5中仅示出了具有组件的1001

1003,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的所述数据转发设备1000是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit,asic)、可编程门阵列(field-programmable gatearray,fpga)、数字处理器(digital signal processor,dsp)、嵌入式设备等。
96.所述存储器1002至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器1002可以是所述数据转发设备1000的内部存储单元,例如该数据转发设备1000的硬盘或内存。在另一些实施例中,所述存储器1002也可以是所述数据转发设备1000的外部存储设备,例如该数据转发设备1000上配备的插接式硬盘,智能存储卡(smart media card, smc),安全数字(secure digital, sd)卡,闪存卡(flash card)等。当然,所述存储器1002还可以既包括所述数据转发设备1000的内部存储单元也包括其外部存储设备。本实施例中,所述存储器1002通常用于存储安装于所述数据转发设备1000的操作系统和各类应用软件,例如数据转发设备1000的数据转发方法的程序代码等。此外,所述存储器1002还可以用于暂时地存储已经输出或者将要输出的各类数据。
97.所述处理器1001在一些实施例中可以是中央处理器(central processing unit,cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该所述处理器1001通常用于控制所述数据转发设备1000的总体操作。本实施例中,所述处理器1001用于运行所述存储器1002中存储的程序代码或者处理数据,例如运行数据转发设备1000的数据转发方法的程序代码。
98.网络接口1003可包括无线网络接口或有线网络接口,该网络接口1003通常用于在数据转发设备1000与其他电子设备之间建立通信连接。
99.本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器1001执行时实现如所述数据转发方法中的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
100.本领域普通技术人员可以理解实现实施例数据转发设备100的数据转发方法中的
全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(read

only memory,rom)或随机存取存储器(random access memory,简称ram)等。
101.在本发明实施例中提到的本实施方式为了便于表述。以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
102.与现有技术相比,本发明的数据转发方法包括如下步骤:s11、获取外部图像采集设备的原始图片数据,将所述原始图片数据转换为protobuf协议格式的图片数据,再将转换后的所述图片数据存储于所述数据库服务器;s12、将当前存入所述数据库服务器中的所述图片数据调取出并将其发送至所述第一消息服务器,所述第一消息服务器为kafka消息服务器;s13、所述第一消息服务器将接收的所述图片数据存储,并根据预设的第一消息规则产生与所述图片数据相对应的前端图片存储消息,并将所述图片数据和所述前端图片存储消息发送至所述数据打包服务器;s14、所述数据打包服务器将接收的所述图片数据和所述前端图片存储消息根据预设的打包规则进行数据打包并生成图片存储文件,并将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中;s21、获取所述ftp服务器中的共享目录文件夹中的图片存储文件,并将获取的所述图片存储文件发送至所述解包服务器;s22、所述解包服务器将接收的所述图片存储文件根据预设的解包规则解包出所述图片数据,并将解包出的所述图片数据发送至所述第二消息服务器,所述第二消息服务器为kafka消息服务器;s23、所述第二消息服务器将所述图片数据存储,根据预设的第二消息规则产生与所述图片数据相对应的后端图片存储消息;s24、所述应用服务器获取所述第二消息服务器的所述后端图片存储消息,并根据获取的所述后端图片存储消息实施与所述后端图片存储消息相对应的预设处理措施,所述预设处理措施包括获取与所述后端图片存储消息相对应的所述图片数据。其中,所述数据库服务器为rocksdb数据库,采用rocksdb数据库存储所述图片数据实现数据的高效存储,使得数据快速落盘,实现数据零丢失。采用所述原始图片数据转换为protobuf协议格式的图片数据,从而实现proto协议传输数据,大大的提高数据的安全性和转换效率,从而使得时间效率和空间效率均高于json格式传输数据。采用kafka消息服务器作为中间件,并同时将所述图片存储文件发送至所述ftp服务器中的共享目录文件夹中,数据后端和数据前端之间采用ftp实现数据传输,实现数据的跨界安全共享,使得整个系统的吞吐率提高,且可以将数据跨平台使用。因此,本发明的数据转发方法、数据转发系统、数据转发设备以及计算机可读存储介质实现数据快速跨平台传输且数据传输的转换效率高。
103.以上所述的仅是本发明的实施方式,在此应当指出,对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出改进,但这些均属于本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1