一种基于硬件旁路的业务可视化方法及系统与流程

1.本发明涉及信息管理技术领域，更具体地说，涉及一种基于硬件旁路的业务可视化方法及系统。


背景技术：

2.随着信息技术的高速发展，近年来移动支付、人工智能、大数据、万物互联、5g、区块链等备受欢迎，人们工作生活的方方面面也逐步从线下搬到了线上，很多需求只需登录一个网站或打开一个app就能实现。对于银行来说，无论是对内的管理还是对外的业务，实现数字化、智能化已成必然，然而现有技术中并不存在一种能够实现银行内相应业务数据统一管控的技术方案。


技术实现要素：

3.本发明的目的是提供一种基于硬件旁路的业务可视化方法及系统，能够实现相应业务数据的统一管控。
4.为了实现上述目的，本发明提供如下技术方案：
5.一种基于硬件旁路的业务可视化系统，包括数据采集模块、数据集成模块、数据应用模块及数据访问模块；其中：
6.所述数据采集模块，用于：利用硬件旁路技术获取业务系统产生的数据，获取外部输入的数据，并确定获取的数据均为业务数据；
7.所述数据集成模块，用于：对所述业务数据进行加工、清洗及格式化的处理，并将处理完成的业务数据存入数据库中；
8.所述数据应用模块，用于：调取所述数据库中的业务数据，并将调取的所述业务数据发送给相应的应用；
9.所述数据访问模块，用于：调取并展示所述数据库中的业务数据。
10.优选的，所述数据采集模块包括数据采集单元，所述数据采集单元用于：从观察端口获取复制对应镜像端口收发的报文所得的数据，并确定获取的该数据为利用所述硬件旁路技术获取的所述业务系统产生的数据；其中，所述镜像端口设置于所述业务系统的服务器所连接的交换机中。
11.优选的，所述数据采集单元包括数据采集子单元，所述数据采集子单元用于：基于所述业务系统与业务的对应关系，确定从所述业务系统对应交换机中获取的数据为对应的业务的数据。
12.优选的，所述数据访问模块包括权限确定单元，所述权限确定单元用于：确定需要访问所述数据库中业务数据的用户的身份信息，并基于所述身份信息确定所述用户具有访问权限的业务数据，供所述用户实现相应的调取及展示。
13.优选的，所述数据访问模块包括登录验证单元，所述登录验证单元用于：对需要访问所述数据库中业务数据的用户输入的登录信息进行验证，如果验证通过，则允许所述用
户访问所述数据库，否则，拒绝所述用户访问所述数据库。
14.优选的，所述数据访问模块包括数据展示单元，所述数据展示单元用于：将所述用户调取的所述数据库中的业务数据，在所述用户对应的终端进行展示，所述用户的终端包括所述用户的app、数据屏及数位板。
15.优选的，所述数据展示单元包括第一数据展示子单元，所述第一数据展示子单元用于：将所述用户调取的所述数据库中的业务数据，在所述用户对应的终端进行图形化展示。
16.优选的，所述数据展示单元包括第二数据展示子单元，所述第二数据展示子单元用于：将所述用户调取的所述数据库中的业务数据，在所述用户对应的终端进行语音播报。
17.优选的，所述数据应用模块包括bi数据工具平台及机器学习数据工具平台，所述bi数据工具平台及所述机器学习数据工具平台用于：供所述应用调用以实现相应的数据分析功能。
18.一种基于硬件旁路的业务可视化方法，包括：
19.利用硬件旁路技术获取业务系统产生的数据，获取外部输入的数据，并确定获取的数据均为业务数据；
20.对所述业务数据进行加工、清洗及格式化的处理，并将处理完成的业务数据存入数据库中；
21.调取所述数据库中的业务数据，并将调取的所述业务数据发送给相应的应用；或者调取并展示所述数据库中的业务数据。
22.本发明提供了一种基于硬件旁路的业务可视化方法及系统，该系统包括数据采集模块、数据集成模块、数据应用模块及数据访问模块；其中：所述数据采集模块，用于：利用硬件旁路技术获取业务系统产生的数据，获取外部输入的数据，并确定获取的数据均为业务数据；所述数据集成模块，用于：对所述业务数据进行加工、清洗及格式化的处理，并将处理完成的业务数据存入数据库中；所述数据应用模块，用于：调取所述数据库中的业务数据，并将调取的所述业务数据发送给相应的应用；所述数据访问模块，用于：调取并展示所述数据库中的业务数据。可见，本申请在数据采集模块利用硬件旁路技术获取业务系统产生的数据，并接收外部输入的数据后，数据集成模块能够对这些数据进行相应的处理及存储，数据应用模块及数据访问模块均能够调取所需数据后发送给应用或者进行展示，从而能够实现相应业务数据的统一管控。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
24.图1为本发明实施例提供的一种基于硬件旁路的业务可视化系统的结构示意图；
25.图2为本发明实施例提供的一种基于硬件旁路的业务可视化系统中硬件旁路技术的示意图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.请参阅图1，其示出了本发明实施例提供的一种基于硬件旁路的业务可视化系统的架构示意图，可以包括数据采集模块、数据集成模块、数据应用模块及数据访问模块；其中：
28.数据采集模块，用于：利用硬件旁路技术获取业务系统产生的数据，获取外部输入的数据，并确定获取的数据均为业务数据；
29.数据集成模块，用于：对业务数据进行加工、清洗及格式化的处理，并将处理完成的业务数据存入数据库中；
30.数据应用模块，用于：调取数据库中的业务数据，并将调取的业务数据发送给相应的应用；
31.数据访问模块，用于：调取并展示数据库中的业务数据。
32.数据采集模块能够利用硬件旁路技术获取业务系统产生的数据，并接收外部输入的数据，进而将这些数据均作为业务数据传输给数据集成模块，其中，数据采集模块获取的数据具体可以包括信贷管理部数据、风险管理部数据、资产管理部数据、个人业务部数据、小微业务部数据、租赁数据、理财子公司数据等。数据集成模块将数据采集模块传输来的行内数据及行外数据进行加工、清洗及格式化(具体可包括加载、清洗、转换、分发)等；数据集成模块解析利用硬件旁路技术获取的数据(可以为报文)，通过数据清洗、加工后以结构化数据的方式存入数据库中，供大数据实时分析用；其中，数据清洗可以包括去重、补缺(缺失值)、改错(数值超出范围、逻辑错误) 等；数据加工可以包括数据抽取、数据排序、数据分组等；格式化可以包括将可读性差的数据和数据类型转换成可读性强的格式，包括格式化字符串与数据、格式化日期等。在实现数据至数据库的存储后，可以供数据应用模块为相应的应用实现数据的调用，还可以供数据访问模块为相应的用户实现数据的调取及展示等，从而能够使得应用或者用户通过数据库，快速获知所需数据，实现相应的分析等操作。
33.本申请在数据采集模块利用硬件旁路技术获取业务系统产生的数据，并接收外部输入的数据后，数据集成模块能够对这些数据进行相应的处理及存储，数据应用模块及数据访问模块均能够调取所需数据后发送给应用或者进行展示，从而能够实现相应业务数据的统一管控。
34.本发明实施例提供的一种基于硬件旁路的业务可视化系统，数据采集模块可以包括数据采集单元，数据采集单元用于：从观察端口获取复制对应镜像端口收发的报文所得的数据，并确定获取的该数据为利用硬件旁路技术获取的业务系统产生的数据；其中，镜像端口设置于业务系统的服务器所连接的交换机中。
35.其中，硬件旁路技术即将交换机端口中的报文数据复制到镜像端口。其中，交换机在本申请实施例中特指接入层交换机，其部署是直连服务器的。本申请通过将观察端口设置在业务系统的服务器所连接的交换机中，能够直接由相应的观察端口获取数据，进而实现基于硬件旁路的数据快速获取。需要说明的是，所有应用服务器端口都是具有相应的编
号的，比如想获取信贷系统的业务数据，则信贷系统服务ip地址和端口号是一定的，其上联接入层交换机端口也是一定的，因此可以针对交换机这几个端口配置端口镜像。具体来说，为交换机做端口镜像，也即在交换机设置镜像端口，所有业务数据的报文会备份到该镜像端口，然后将报文进行解析，选择报文中的数据部分，即可实现业务数据的获取。其中，报文格式可以如下：ethernet桢头，ip头部、 tcp头部、上层数据，fcs。ip头部信息可以如下：头部长度：通常20字节，有选项时更长，总共不超过60字节；ip数据报长度：65535字节。
36.具体来说，硬件旁路技术的示意图可以如图2所示，硬件旁路技术也可以成为硬件数据旁路模式，一般是指通过交换机等网络设备的“端口镜像”功能来实现数据备份技术，在此模式下，设备只需要连接到交换机的指定镜像端口，所以形象的称之为“数据旁路”。交换机中实时流量数据备份到镜像端口。其中，镜像端口是指被监控的端口，镜像端口收发的报文将被复制一份到与监控设备相连的端口；观察端口是指连接监控设备的端口，用于将镜像端口复制过来的报文发送给监控设备，一般观察端口专门用于镜像流量的转发，因此不建议在上面配置其他业务，防止镜像流量与其他业务流量在观察端口上同时转发会互相影响；镜像方向是指将镜像端口指定方向的报文复制到观察端口，包括入方向、出方向及双向，入方向为将镜像端口接收的报文复制到观察端口上，出方向为将镜像端口发送的报文复制到观察端口上，双向为将镜像端口接收和发送的报文都复制到观察端口上；端口镜像是指设备复制从镜像端口流经的报文，并将此报文传送到指定的观察端口进行分析和监控，端口镜像根据监控设备在网络中位置的不同，分为本地端口镜像和远程端口镜像，本地端口镜像是指观察端口与监控设备直接相连，此时观察端口被称为本地观察端口，而远程端口镜像是指观察端口与监控设备通过中间网络传输镜像报文，此时观察端口被称为远程观察端口。其实现原理为：源端口和目的端口位于不同交换机上原理是将源端口的流量镜像到本端vlan 中，然后通过trunk传送到目的设备。再将本地设备中vlan中的数据镜像到指定的端口中。
37.另外，可以将远程交换机的观察端口、监控设备被监控的端口都加入 vlan777，保证两个设备间能够二层通信；通信可以使用ip协议，ip协议是 tcp/ip协议族的动力，它为上层协议提供无状态、无连接、不可靠的服务，优点为简单及高效。对于通信不同的状态，无状态指ip通信双方不同步传输数据的状态信息，所有的ip数据报的传输都是独立的，所以容易发生重复和乱序的情况并且ip层不予处理，然后将这些乱序的交给上层传输层(tcp/udp等) 来处理，将其处理成有序的且正确的之后再交给应用层。；不可靠状态指ip 协议不能保证ip数据报准确到达，所以它提供icmp报文来辅助，一旦检测到ip 数据报发送失败，通知上层协议。
38.而数据旁路技术优点为：1.旁路监控模式部署起来比较灵活方便，只需要在交换机上面配置镜像端口即可。不会影响现有的网络结构。2.旁路模式分析的是镜像端口拷贝过来的数据，对原始传递的数据包不会造成延时，不会对网速造成任何影响。3.旁路监控设备一旦故障或者停止运行，不会影响现有网络的正常原因。
39.本申请在数据采集模块利用硬件旁路技术获取业务系统产生的数据，数据采集单元可以包括数据采集子单元，数据采集子单元用于：基于业务系统与业务的对应关系，确定从业务系统对应交换机中获取的数据为对应的业务的数据。
40.需要说明的是，本申请可以按照业务实现划分，从而实现从不同业务对应交换机
中对不同业务数据的获取；具体来说，本申请实施例中交换机端口镜像可以做好统筹和规划，按照业务来划分，这样银行内所有业务都可以按照交换机端口规划做好端口镜像，实现全行实时数据流截取和存储，为可视化系统提供了数据支撑，为全行数字化转型夯实基础。在一种具体实现方式中，首先可以做好服务器ip地址段规划，比如信贷系统服务器ip地址池为 10.188.6.12
‑
10.188.6.21，这上面对应交换机的10个端口，交换机上面配置端口描述归于信贷业务端口类，比如：eth1 10.188.6.12信贷系统端口；那么这个端口出来的流量数据都是信贷相关的数据，端口镜像后，出来的数据也是信贷业务数据，这样就完成了信贷业务的分类。以此类推，全行所有业务条线都可以这样分类。
41.本发明实施例提供的一种基于硬件旁路的业务可视化系统，数据访问模块可以包括权限确定单元，权限确定单元用于：确定需要访问数据库中业务数据的用户的身份信息，并基于身份信息确定用户具有访问权限的业务数据，供用户实现相应的调取及展示。
42.为了既能满足总行产品经营管理者对于产品在全行范围及不同分支行内的运营和对比情况，也能满足一线产品人员对相关运营状态的查询，也即能够满足不同用户角色的需求，本申请实施例可以在数据访问模块中设置权限确定单元，权限确定单元可以基于权限体系及账户体系实现，账户体系中的账户可以包括产品运营岗、产品管理岗、风控岗、反欺诈岗、总行管理岗、分支行管理岗、客户经理岗、网点主任岗等。对应的，本申请可以确定访问数据库的用户的身份信息，也即其属于上述账户体系中的哪类账户，进而仅允许其对其属于的账户能够访问的全部业务系统实现相应的访问。另外，不同的账户在实现数据库访问时可以看到不同的页面，同一个页面不同的账户也可以看到不同的模块，即可以按照业务需要对可视化内容进行控制，比如：风险雷达模块只有风险管理岗可以查看，其他岗位则没有权限。
43.本发明实施例提供的一种基于硬件旁路的业务可视化系统，数据访问模块可以包括登录验证单元，登录验证单元用于：对需要访问数据库中业务数据的用户输入的登录信息进行验证，如果验证通过，则允许用户访问数据库，否则，拒绝用户访问数据库。
44.为了保障数据库中数据的安全性及可靠性，本申请实施例可以对需要访问数据库的用户进行身份验证，也即判断其输入的登录信息是否正确，如果是，则说明该用户的身份能够登录并实现数据库的访问，否则，说明该用户的身份无法登录并实现数据库的访问。
45.本发明实施例提供的一种基于硬件旁路的业务可视化系统，数据访问模块可以包括数据展示单元，数据展示单元用于：将用户调取的数据库中的业务数据，在用户对应的终端进行展示，用户的终端包括用户的app、数据屏及数位板。
46.本申请实施例可以由用户通过pc端界面选择需要展示的数据，将其以拖拉拽的方式完成指标的加、减、乘、除、平均数、求和等运营分析。而数据访问模块能够实现多渠道终端展示，如app、pc端、公众号、ipad、数据屏、数位板(或者称之为数据板)等，达到体验升级的效果。
47.本发明实施例提供的一种基于硬件旁路的业务可视化系统，数据展示单元可以包括第一数据展示子单元及第二数据展示子单元，其中：
48.第一数据展示子单元用于：将用户调取的数据库中的业务数据，在用户对应的终端进行图形化展示；
49.第二数据展示子单元用于：将用户调取的数据库中的业务数据，在用户对应的终
端进行语音播报。
50.需要说明的是，本申请可以将需要展示的数据通过手机端等进行图形化展示或者语音播报，方便相应人员直观获取，便于线上产品经营管理者和运营分析人员及时掌握产品经营趋势和分析客户行为对产品运营状态的影响，便于线上产品的全面运营监控。
51.本发明实施例提供的一种基于大数据平台的业务可视化系统，数据访问模块可以包括数据调取单元，数据调取单元用于：通过调用数据库提供的api 接口，调取数据库中的业务数据。
52.为了方便实现数据调取，本申请可以为数据库设置相应的api接口，从而通过该api接口即可调取数据库中的业务数据，进而实现相应的分析处理等数据操作。
53.本发明实施例提供的一种基于硬件旁路的业务可视化系统，数据应用模块可以包括bi数据工具平台及机器学习数据工具平台，bi数据工具平台及机器学习数据工具平台用于：供应用调用以实现相应的数据分析功能。
54.需要说明的是，数据应用模块中可以搭建数据分析(bi)及机器学习这两个数据工具平台，进而在需要时能够调用这两个数据工具平台实现相应的数据分析，提升业务人员自动化分析水平，降低用户数据使用的门槛，推动数据快速应用到业务决策中。另外还可以搭建报表统一门户，实现报表的统一管理与访问；且基于行内具体需求情况，支持app、风控、营销、客服等业务场景。其中，bi就是运营分析工具，机器学习平台是指标ai化，这两个平台调取数据集成模块的数据，需要经数据调度层、服务网关层及原子服务层。具体来说，数据调度层支持http、rpc联机服务、批量文件接口、消息队列、异步回调推送等服务调度方式，满足实时和准实时等各种场景需求；服务网关层包括服务注册、服务发现、服务鉴权、服务组合；原子服务层包括营销服务群组、运营服务群组、绩效服务群组、报表服务群组。每个组内部是按照业务条线分的指标体系。因为从指标的生成到查询结果都是实时或者准实时，且都是业务运营、产品绩效、实时报表等数据，终端通过业务监控大屏、app 端等查看，加上管理层也有账户权限查看，所以对领导做管理决策、战略调整都有参考价值。在应用于风控时，比如业务瞭望台(是一款基于线上业务运营的数字化平台，通过对运营中的数字化监控与分析，为用户提供专业、准确的管理决策支持，从而达到优化运营、降低运营成本、提高收益的母的) 慧预警模块中有贷前、贷中、贷后，贷前有企业集中度预警、个人集中度预警、反欺诈指标调用情况、发欺诈通过率、反欺诈拒绝率；在应用于营销时，在业务瞭望台有个模块叫龙虎榜，里面有全行创新条线产品营销排名，按照分支行或者个人排名，在供客户经理使用时，可以通过业务瞭望台可以查看自己的业绩排名、待办事项等。
55.另外，还可以在redis等数据库中创建数据指标数据结构表，在统一服务调度层增加指标数据映射api接口，供前端ui用react架构调用，其是应用于数据应用模块中。而指标体系建设可以包括：1、业务部门调研，2、报表梳理， 3、存储过程等技术解析；最终实现原子服务层，包括营销服务群组、运营服务群组、绩效服务群组、报表服务群组。
56.综上，本申请能够申请、审批、支用整个流程环节的监控以及逾期情况的跟踪，同时梳理近300个埋点数据相关指标，对微信端以及手机银行app端客户对产品的访问情况进行监控(包括用户行为分析、用户事件分析、停留时长、页面留存、新增关注、新增绑卡等)。能够帮助分支行管理人员、总行管理人员快速掌握业绩完成情况，分支行排名，产品信息等，提高了工作效率；能够使得管理人员及时掌握产品运营情况、风险指标、机构业绩，提高
其管理效率；有助于洞察客户行为，提供更加及时、专业的服务，有效提升客户体验、增加客户满意度。
57.本发明实施例还提供了一种基于硬件旁路的业务可视化方法，可以包括：
58.s11：利用硬件旁路技术获取业务系统产生的数据，获取外部输入的数据，并确定获取的数据均为业务数据；
59.s12：对业务数据进行加工、清洗及格式化的处理，并将处理完成的业务数据存入数据库中；
60.s13：调取数据库中的业务数据，并将调取的业务数据发送给相应的应用；或者调取并展示数据库中的业务数据。
61.需要说明的是，本发明实施例提供的一种基于硬件旁路的业务可视化方法中相关部分的说明请参见本发明实施例提供的一种硬件旁路的业务可视化系统中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
62.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。