本发明属于数据过滤领域,涉及一种无效数据过滤技术,具体是一种无效数据过滤系统。
背景技术:
随着信息社会的到来,人们接收的信息也越来越多,基本可以做到足不出门,就能知晓“天下事”的地步;与此同时,人们接收信息的设备也越来越多;
但是,与此而来的一件麻烦事也就出现了,也就是所谓的信息轰炸,在大量信息接收过程中,容易忽略到用户想获取的消息;尤其是对于人们的手机而言,经常会收到很多各种各样的短信息;但是存在不少垃圾信息,既占用内存还又阻止人们获取到所需信息;而当前对于信息拦截,普遍都是比较简单粗暴,以标定某些特定词语,然后就全部拦截出现该类词语的信息,这样也会导致一些需要的信息被拦截,也有可能导致想要拦截的无法拦截;为了解决上述问题,现提供一种解决方案。
技术实现要素:
本发明的目的在于提供一种无效数据过滤系统。
本发明所要解决的技术问题为:
(1)、如何针对个人社交,区别的识别无效数据信息;
(2)、如何根据不同时间的不同需求,转变数据过滤规则。
本发明的目的可以通过以下技术方案实现:
一种无效数据过滤系统,包括数据获取单元、数据甄别单元、数据滤除单元、规则库、主控单元、显示单元、来往信息获取模块、信息录入模块和存储模块;
其中,所述数据获取单元用于获取所需智能设备收到的接纳数据信息,所述数据获取单元用于将接纳数据信息传输到数据甄别单元,所述数据甄别单元用于结合通讯录对接纳数据信息进行初步甄别,具体甄别过程如下:
步骤一:获取到接纳数据信息及对应的发件人;
步骤二:将通讯录内存储的号码发来的接纳数据信息标定为联系信息,将通讯内未存储的号码发来的接纳数据信息标记为未联系信息;
所述数据甄别单元将接纳数据信息传输到数据滤除单元,接纳数据信息包括联系信息和未联系信息;所述规则库内存储有数据滤除规则,所述数据滤除单元用于结合规则库内的数据滤除规则对接纳数据信息进行数据滤除,数据滤除规则具体表现为:
步骤一:获取到发来的接纳数据信息;
步骤二:当接纳数据信息为联系信息时进行亲近滤除处理,具体处理步骤表现为:
s100:获取到联系信息;
s200:获取到联系信息的总字数,并将总字数标记为zz;
s300:获取到滤除规则内预设设置的字数上限z1;
s400:获取到滤除规则内预先设置的无效词组;其中,无效词组内包括若干个无效词,将无效词标记为wi,i=1...n;
s500:对联系信息进行分词处理,得到由若干个分词组成的联系信息,将总词数标记为sc;
s600:任选一无效词;
s700:将该无效词wi与组成联系信息的分词进行一一比对,得到该无效词的出现次数,将该出现次数标记为撞词数;
s800:任选下一无效词,重复步骤s700-s800直至完成所有无效词wi的比对,得到所有无效词wi的撞词数zci,i=1...n;zci与wi一一对应;
s900:根据公式
s110:当无效度wx≥x1时,将该联系信息标记为存疑消息;否则将其标记为可接收消息;x1为预设值;
步骤三:当接纳数据信息为未联系信息时进行陌生滤除处理,具体处理步骤表现为:
s1:获取到未联系信息
s2:获取到无效词组wi,i=1...n;
s3:将未联系信息替代亲近滤除处理中的联系信息,并重复亲近滤除处理中的步骤s500-s800,得到未联系信息的总词数s2c,以及对应的撞词数z2i,i=1...n;
s4:利用公式
所述数据滤除单元用于将存疑消息、可接收消息核验数据信息和正常信息传输到主控单元,所述主控单元用于将可接收消息和正常消息传输到显示单元进行显示;所述主控单元用于将可接收消息和正常消息传输到存储模块进行存储;所述存储模块内设有常规存储单元和无效存储单元,所述存储模块用于将可接收消息和正常消息统一标记为常规信息并存储到常规存储单元;
所述主控单元还用于结合来往信息获取模块对核验数据信息进行复盘处理得到存疑信息和无效信息;
所述主控单元在检测到有存疑信息时会进行相关处理得到核通信息和无效信息。
进一步地,所述接纳数据信息为短信。
进一步地,所述复盘处理的具体处理步骤如下:
步骤一:获取到核验数据信息的发信人;
步骤二:利用来往信息获取模块获取到智能设备的通话记录;
步骤三:获取到从当下时间往前推t1时间段的通话记录,t1为预设值;
步骤四:将核验数据信息的发信人于通话记录进行比对,获取到对应该发信人与用户的通话次数和每次通话时间;
步骤五:获取到该发信人的平均通话时间,并将其标记为tp;将通话次数标记为ts;
步骤六:利用公式
进一步地,所述主控单元对存储信息进行相关处理的具体步骤为
步骤一:获取到存疑信息,并自动获取到数据滤除单元在进行数据滤除规则时,检测到的撞词数最大值对应的无效词,将该无效词标记为可变无效词;
步骤二:驱动显示模块显示“来自于联系人+联系人+可变无效词+一件消息,是否读取?”字眼;
步骤三:用户通过信息录入模块录入选择信息,选择信息包括拒绝信号和接收信号;当主控单元接收到信息录入模块传输的接收信号时会将存疑信息传输到显示单元进行显示;同时将存疑信息与可变无效词合并为核通信息,并将核通信息打上时间戳传输到常规存储单元进行存储;
步骤四:当主控单元接收到信息录入模块传输的拒绝信号时会将存疑信息标记为无效信息并存储在无效存储单元。
进一步地,所述主控单元还用于对核通信息进行词语暂删操作,具体操作步骤为:
步骤一:获取从当下往前推t2时间段的所有核通信息,t2为预设值;
步骤二:获取所有核通信息内的可变无效词,并统计每个可变无效词出现的次数;
步骤三:当可变无效词出现次数超过预设值x4时,将该可变无效词标记为隐身无效词;
所述主控单元用于将规则库数据滤除规则内的无效词组内对应的隐身无效词,在当下到未来预设时间段t3内标记为不再检测词,数据滤除单元在进行数据滤除规则时不会检测不再检测词对应的无效词;过了该段时间后则恢复为正常的无效词,并进行重新检测。
本发明的有益效果:
本发明通过数据甄别单元的设置,能够甄别收到的接纳数据信息是否为联系人发送来的,之后利用数据滤除单元对联系人和非联系人进行不同的数据滤除处理,当为联系人发送的信息时,采用亲近滤除处理得到相应结果;当为非联系人发送的信息时采用陌生滤除处理得到相应的结果;并将识别到的无效信息进行拦截处理;
同时本发明通过数据滤除单元和主控单元,能够对核验数据信息进行复盘处理,在得到存疑信息时,会通过用户输入是否读取的指令,来获得用户近期可能感兴趣的信息内容,并结合相关规则得到隐身无效词,在当下到未来预设时间段t3内标记为不再检测词,数据滤除单元在进行数据滤除规则时不会检测不再检测词对应的无效词;过了该段时间后则恢复为正常的无效词,并进行重新检测;确保了能够根据用户的兴趣进行智能过滤。本发明简单有效,且易于实用。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的系统框图。
具体实施方式
如图1所示,一种无效数据过滤系统,包括数据获取单元、数据甄别单元、数据滤除单元、规则库、主控单元、显示单元、来往信息获取模块、信息录入模块和存储模块;
其中,所述数据获取单元用于获取所需智能设备收到的接纳数据信息,接纳数据信息可为短信等传输到智能设备上的消息;所述数据获取单元用于将接纳数据信息传输到数据甄别单元,所述数据甄别单元用于结合通讯录对接纳数据信息进行初步甄别,具体甄别过程如下:
步骤一:获取到接纳数据信息及对应的发件人;
步骤二:将通讯录内存储的号码发来的接纳数据信息标定为联系信息,将通讯内未存储的号码发来的接纳数据信息标记为未联系信息;
所述数据甄别单元将接纳数据信息传输到数据滤除单元,接纳数据信息包括联系信息和未联系信息;所述规则库内存储有数据滤除规则,所述数据滤除单元用于结合规则库内的数据滤除规则对接纳数据信息进行数据滤除,数据滤除规则具体表现为:
步骤一:获取到发来的接纳数据信息;
步骤二:当接纳数据信息为联系信息时进行亲近滤除处理,具体处理步骤表现为:
s100:获取到联系信息;
s200:获取到联系信息的总字数,并将总字数标记为zz;
s300:获取到滤除规则内预设设置的字数上限z1;
s400:获取到滤除规则内预先设置的无效词组;其中,无效词组内包括若干个无效词,将无效词标记为wi,i=1...n;
s500:对联系信息进行分词处理,得到由若干个分词组成的联系信息,将总词数标记为sc;
s600:任选一无效词;
s700:将该无效词wi与组成联系信息的分词进行一一比对,得到该无效词的出现次数,将该出现次数标记为撞词数;
s800:任选下一无效词,重复步骤s700-s800直至完成所有无效词wi的比对,得到所有无效词wi的撞词数zci,i=1...n;zci与wi一一对应;
s900:根据公式
s110:当无效度wx≥x1时,将该联系信息标记为存疑消息;否则将其标记为可接收消息;x1为预设值;
步骤三:当接纳数据信息为未联系信息时进行陌生滤除处理,具体处理步骤表现为:
s1:获取到未联系信息
s2:获取到无效词组wi,i=1...n;
s3:将未联系信息替代亲近滤除处理中的联系信息,并重复亲近滤除处理中的步骤s500-s800,得到未联系信息的总词数s2c,以及对应的撞词数z2i,i=1...n;
s4:利用公式
所述数据滤除单元用于将存疑消息、可接收消息核验数据信息和正常信息传输到主控单元,所述主控单元用于将可接收消息和正常消息传输到显示单元进行显示;所述主控单元用于将可接收消息和正常消息传输到存储模块进行存储;所述存储模块内设有常规存储单元和无效存储单元,所述存储模块用于将可接收消息和正常消息统一标记为常规信息并存储到常规存储单元;
所述主控单元还用于结合来往信息获取模块对核验数据信息进行复盘处理,具体处理步骤如下:
步骤一:获取到核验数据信息的发信人;
步骤二:利用来往信息获取模块获取到智能设备的通话记录;
步骤三:获取到从当下时间往前推t1时间段的通话记录,t1为预设值;
步骤四:将核验数据信息的发信人于通话记录进行比对,获取到对应该发信人与用户的通话次数和每次通话时间;
步骤五:获取到该发信人的平均通话时间,并将其标记为tp;将通话次数标记为ts;
步骤六:利用公式
所述主控单元在检测到有存疑信息时会进行相关处理,具体步骤为
步骤一:获取到存疑信息,并自动获取到数据滤除单元在进行数据滤除规则时,检测到的撞词数最大值对应的无效词,将该无效词标记为可变无效词;
步骤二:驱动显示模块显示“来自于联系人+联系人+可变无效词+一件消息,是否读取?”字眼;
步骤三:用户通过信息录入模块录入选择信息,选择信息包括拒绝信号和接收信号;当主控单元接收到信息录入模块传输的接收信号时会将存疑信息传输到显示单元进行显示;同时将存疑信息与可变无效词合并为核通信息,并将核通信息打上时间戳传输到常规存储单元进行存储;
步骤四:当主控单元接收到信息录入模块传输的拒绝信号时会将存疑信息标记为无效信息并存储在无效存储单元;
所述主控单元还用于对核通信息进行词语暂删操作,具体操作步骤为:
步骤一:获取从当下往前推t2时间段的所有核通信息,t2为预设值;
步骤二:获取所有核通信息内的可变无效词,并统计每个可变无效词出现的次数;
步骤三:当可变无效词出现次数超过预设值x4时,将该可变无效词标记为隐身无效词;
所述主控单元用于将规则库数据滤除规则内的无效词组内对应的隐身无效词,在当下到未来预设时间段t3内标记为不再检测词,数据滤除单元在进行数据滤除规则时不会检测不再检测词对应的无效词;过了该段时间后则恢复为正常的无效词,并进行重新检测。
用户还可以通过主控单元对存储模块存储的所有信息进行查询,同时存储模块没间隔预设时间就会将无效存储单元进行清空。
用户通过信息录入模块录入预设值x1、x2、x3、x4、t1、t2和t3,以及无效词和字数上限z1。
一种无效数据过滤系统,在工作时首先通过数据获取单元获取到所有的数据接纳信息,之后利用数据甄别单元进行数据甄别其是否为联系人发来的数据信息,并通过数据滤除单元和主控单元对联系人和非联系人发来的消息进行不同的具体处理,得到正常的可以直接显示的数据信息并进行显示;之后通过对不能直接显示的接纳数据信息进行不同的处理,并根据处理结构对无效词进行短时间的隐身处理,即在一定时间内不对该无效词进行排出;以获得用户在一段时间内感兴趣的信息;
本发明通过数据甄别单元的设置,能够甄别收到的接纳数据信息是否为联系人发送来的,之后利用数据滤除单元对联系人和非联系人进行不同的数据滤除处理,当为联系人发送的信息时,采用亲近滤除处理得到相应结果;当为非联系人发送的信息时采用陌生滤除处理得到相应的结果;并将识别到的无效信息进行拦截处理;
同时本发明通过数据滤除单元和主控单元,能够对核验数据信息进行复盘处理,在得到存疑信息时,会通过用户输入是否读取的指令,来获得用户近期可能感兴趣的信息内容,并结合相关规则得到隐身无效词,在当下到未来预设时间段t3内标记为不再检测词,数据滤除单元在进行数据滤除规则时不会检测不再检测词对应的无效词;过了该段时间后则恢复为正常的无效词,并进行重新检测;确保了能够根据用户的兴趣进行智能过滤。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。