一种数据推送方法、装置和存储介质

文档序号:26050772发布日期:2021-07-27 15:25阅读:76来源:国知局
一种数据推送方法、装置和存储介质

本发明属于信息处理技术领域,具体为一种数据推送方法、装置和存储介质。



背景技术:

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,大数据有大量、高速、多样、低价值密度、真实性五大特点,它并没有统计学的抽样方法,只是观察和追踪发生的事情,大数据的用法倾向于预测分析、用户行为分析或某些其他高级数据分析方法的使用。

现有的数据推送方法一般为网络爬虫单词抓取关键词,接着推送相关数据,此种方法推送的数据较为庞杂,不够精确,可能出现无效推送的情况,增加了推送成本,且现有的推送数据一般为单一性的数据推送,对关键词的抓取也较为单一,使得数据推送的效率较低;因此,针对目前的状况,现需对其进行改进。



技术实现要素:

针对上述情况,为克服现有技术的缺陷,本发明提供一种数据推送方法、装置和存储介质,有效的解决了现有的数据推送方法一般为网络爬虫单词抓取关键词,接着推送相关数据,此种方法推送的数据较为庞杂,不够精确,可能出现无效推送的情况,增加了推送成本,且现有的推送数据一般为单一性的数据推送,对关键词的抓取也较为单一,使得数据推送的效率较低的问题。

为实现上述目的,本发明提供如下技术方案:一种数据推送方法,包括以下步骤:

s1:关键词预设:在数据推送系统中关键词管理单元进行关键词预设,即将与要推送数据相关的关键词存档作为推送条件,并将要推送的数据和相关关键词进行区块链接,在将关键词和推送数据区块链接后,将此链接通过加密单元进行加密后,发送至网络爬虫单元;

s2:关键词获取:当用户在浏览网页时,网络爬虫单元对其浏览过程中的搜索关键词以及浏览网页关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到关键词统计总和的前1-3名,通过信息推送单元对此1-3名的关键词进行相应的数据推送;

s3:数据筛选:在对用户进行相应数据推送后,再次通过网络爬虫单元对用户浏览推送数据的关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到最优级推送关键词数据;

s4:数据推送:根据步骤s3中所获取的最优级推送关键词数据,通过信息推送单元向用户推送和最优级推送关键词数据的相应的数据,此推送方式为基于apns技术的实时推送技术,通过消息队列遥测传输方式,将目标推送数据推送至对应用户的终端。

优选的,所述步骤s1中,关键词管理单元包括多个关键词设置器,所述关键词管理单元和云端管理器连接。

优选的,所述步骤s1中,网络爬虫单元的工作过程包括:①:通过网络爬虫方式爬取用户端网页;②:根据预设数据对所爬取的用户端网页进行筛选从而得到目标网页;③:根据预设关键词对用户数据进行爬取监控从而获取用户的行为数据。

优选的,所述步骤s2-s3中,数据统计单元为基于spc技术和帕累托分析法的数据综合统计技术,所述数据统计单元对获取的关键词进行预设核函数的线性统计后,获得和预设关键词相关联的用户端浏览网页的对应关键词。

优选的,所述数据统计单元包括编码单元和归一化单元,所述编码单元用于对用户浏览网页的非数值型行为数据进行编码统计,所述归一化单元用于对用户搜索关键词的数值型行为进行归一化统计。

优选的,一种数据推送装置,所述数据推送装置和所述用户终端通信连接,所述数据推送装置包括:

关键词管理单元:所述关键词管理单元用于对和推送数据相关的关键词进行预设填入管理和推送数据区块链接管理,所述关键词管理单元包括多个关键词设置器,且所述关键词管理单元和云端管理器连接;

信息获取单元:所述信息获取单元用于获取用户端浏览网页的关键词,所述信息获取单元包括网络爬虫单元,所述网络爬虫单元用于采集用户端浏览过程中的搜索关键词以及浏览网页关键词;

数据统计单元:所述数据统计单元用于对所述网络爬虫单元采集的数据进行进行统计并反馈,所述数据统计单元包括包括编码单元和归一化单元,所述编码单元用于对用户浏览网页的非数值型行为数据进行编码统计,所述归一化单元用于对用户搜索关键词的数值型行为进行归一化统计;

信息推送单元:所述信息推送单元用于接收所述数据统计单元反馈的相应关键词的信息,向用户端推送相对应的数据。

优选的,所述信息获取单元包括第一网络爬虫单元和第二网络爬虫单元,所述信息推送单元包括第一信息推送单元和第二信息推送单元,所述第一网络爬虫单元和所述第一信息推送单元为区块链接,所述第二网络爬虫单元和所述第二信息推送单元为区块链接。

优选的,所述数据推送装置具体为基于互联网终端的手机、笔记本、pad智能终端或平板电脑中一种或几种的组合。

优选的,一种数据推送存储介质,所述存储介质存储有计算机程序,所述计算机程序被当处理器执行时可实现如权利要求1至5任一项所述基于神经网络的数据推送方法的步骤。

与现有技术相比,本发明的有益效果是:1、本发明,当用户在浏览网页时,网络爬虫单元对其浏览过程中的搜索关键词以及浏览网页关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到关键词统计总和的前1-3名,通过信息推送单元对此1-3名的关键词进行相应的数据推送,在对用户进行相应数据推送后,再次通过网络爬虫单元对用户浏览推送数据的关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到最优级推送关键词数据,通过信息推送单元向用户推送和最优级推送关键词数据的相应的数据,通过两次关键词筛选可以有效且快速准确的对用户推送数据,避免出现无效推送的情况,且可降低数据推送的成本,为智能化的数据推送带来了可能;

2、本发明,关键词管理单元用于对和推送数据相关的关键词进行预设填入管理和推送数据区块链接管理,关键词管理单元包括多个关键词设置器可对不同的数据进行同时存储,并根据关键词筛选推送对应的数据,且关键词管理单元和云端管理器连接,通过云端进行数据的处理,可有效提高对数据识别提取的效率,使得数据推送更加快捷。

附图说明

附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。

在附图中:

图1为本发明流程图;

图2为本发明装置框图;

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,本发明提供一种技术方案:一种数据推送方法,包括以下步骤:

s1:关键词预设:在数据推送系统中关键词管理单元进行关键词预设,即将与要推送数据相关的关键词存档作为推送条件,并将要推送的数据和相关关键词进行区块链接,在将关键词和推送数据区块链接后,将此链接通过加密单元进行加密后,发送至网络爬虫单元;

s2:关键词获取:当用户在浏览网页时,网络爬虫单元对其浏览过程中的搜索关键词以及浏览网页关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到关键词统计总和的前1-3名,通过信息推送单元对此1-3名的关键词进行相应的数据推送;

s3:数据筛选:在对用户进行相应数据推送后,再次通过网络爬虫单元对用户浏览推送数据的关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到最优级推送关键词数据;

s4:数据推送:根据步骤s3中所获取的最优级推送关键词数据,通过信息推送单元向用户推送和最优级推送关键词数据的相应的数据,此推送方式为基于apns技术的实时推送技术,通过消息队列遥测传输方式,将目标推送数据推送至对应用户的终端。

其中,步骤s1中,关键词管理单元包括多个关键词设置器,关键词管理单元和云端管理器连接;网络爬虫单元的工作过程包括:①:通过网络爬虫方式爬取用户端网页;②:根据预设数据对所爬取的用户端网页进行筛选从而得到目标网页;③:根据预设关键词对用户数据进行爬取监控从而获取用户的行为数据;

步骤s2-s3中,数据统计单元为基于spc技术和帕累托分析法的数据综合统计技术,数据统计单元对获取的关键词进行预设核函数的线性统计后,获得和预设关键词相关联的用户端浏览网页的对应关键词;数据统计单元包括编码单元和归一化单元,编码单元用于对用户浏览网页的非数值型行为数据进行编码统计,归一化单元用于对用户搜索关键词的数值型行为进行归一化统计。

当用户在浏览网页时,网络爬虫单元对其浏览过程中的搜索关键词以及浏览网页关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到关键词统计总和的前1-3名,通过信息推送单元对此1-3名的关键词进行相应的数据推送,在对用户进行相应数据推送后,再次通过网络爬虫单元对用户浏览推送数据的关键词进行识别获取,并通过数据统计单元对关键词数据进行编码以及归一化的统计后,得到最优级推送关键词数据,通过信息推送单元向用户推送和最优级推送关键词数据的相应的数据,通过两次关键词筛选可以有效且快速准确的对用户推送数据,避免出现无效推送的情况,且可降低数据推送的成本,为智能化的数据推送带来了可能。

如图2所示,本发明提供一种技术方案:一种数据推送装置,数据推送装置和用户终端通信连接,数据推送装置包括:

关键词管理单元:关键词管理单元用于对和推送数据相关的关键词进行预设填入管理和推送数据区块链接管理,关键词管理单元包括多个关键词设置器,且关键词管理单元和云端管理器连接;

信息获取单元:信息获取单元用于获取用户端浏览网页的关键词,信息获取单元包括网络爬虫单元,网络爬虫单元用于采集用户端浏览过程中的搜索关键词以及浏览网页关键词;

数据统计单元:数据统计单元用于对网络爬虫单元采集的数据进行进行统计并反馈,数据统计单元包括包括编码单元和归一化单元,编码单元用于对用户浏览网页的非数值型行为数据进行编码统计,归一化单元用于对用户搜索关键词的数值型行为进行归一化统计;

信息推送单元:信息推送单元用于接收数据统计单元反馈的相应关键词的信息,向用户端推送相对应的数据。

其中,信息获取单元包括第一网络爬虫单元和第二网络爬虫单元,信息推送单元包括第一信息推送单元和第二信息推送单元,第一网络爬虫单元和第一信息推送单元为区块链接,第二网络爬虫单元和第二信息推送单元为区块链接;数据推送装置具体为基于互联网终端的手机、笔记本、pad智能终端或平板电脑中一种或几种的组合。

关键词管理单元用于对和推送数据相关的关键词进行预设填入管理和推送数据区块链接管理,关键词管理单元包括多个关键词设置器可对不同的数据进行同时存储,并根据关键词筛选推送对应的数据,且关键词管理单元和云端管理器连接,通过云端进行数据的处理,可有效提高对数据识别提取的效率,使得数据推送更加快捷。

本发明提供一种技术方案:一种数据推送存储介质,存储介质存储有计算机程序,计算机程序被当处理器执行时可实现如权利要求1至5任一项基于神经网络的数据推送方法的步骤。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1