基于图像处理技术监测的短视频数据处理系统及处理方法与流程

文档序号:36409996发布日期:2023-12-18 21:01阅读:来源:国知局

技术特征:

1.一种基于图像处理技术监测的短视频数据处理系统,其特征在于:包括数据源层、数据分析平台层、智能分析平台层、应用平台层和业务呈现层,数据源层包括品牌平台库和第三方搜索引擎,品牌平台库包括但不限于抖音、快手、小红书、微博、今日头条和哔哩哔哩;数据分析平台层包括预处理分层和信息采集分层,信息采集分层用于对数据源层进行信息采集处理,预处理分层用于对信息采集分层进行信息采集处理后获得的采集信息进行信息预处理,建立具有短视频舆情信息管理数据库;智能分析平台层包括统计分析单元和搜索引擎单元,统计分析单元用于构建分析导控服务联动指挥基础平台,应用平台层将数据源层、数据分析平台层和智能分析平台层获得的短视频舆情分析数据进行网络舆情监管理应用,构建形成网络舆情监测系统,业务呈现层用于将数据源层、数据分析平台层、智能分析平台层和应用平台层进行展示呈现,为网络舆情监管理应用指挥提供相应的直观呈现。

2.按照权利要求1所述的基于图像处理技术监测的短视频数据处理系统,其特征在于:所述的信息采集分层包括采集源配置模块、优先级配置模块、采集代理模块、采集群控制模块、采集监控模块和数据清洗模块;采集源配置模块用于利于网络信息挖掘引擎对短视频舆情信息采集源进行配置采集,优先级配置模块用于采集获得的舆情信息配置优先存储级,采集代理模块用于定时将采集得到的短视频舆情数据传送至服务器,并实时响应控制台发出的监视要求;采集群控制模块用于对多个短视频舆情数据目标进行统一控制和管理;采集监控模块用于对被监控采集的短视频舆情数据现场运行设备进行监视和控制;数据清洗模块用于对采集到的舆情数据重新审查效验,删除重复舆情数据信息。纠正错误数据信息,提供舆情数据信息一致性。

3.按照权利要求1所述的基于图像处理技术监测的短视频数据处理系统,其特征在于:所述的预处理分层包括舆情预警模块、数据汇总模块、自动摘要模块、中文切分词模块、构建索引模块、相似内容合并模块、增量同步模块、自动分类模块、关键词提取模块和热词提取模块;舆情预警模块用于根据事先设置的预警关键字词实现自动预警,数据汇总模块用于对舆情数据记录按照设定标准进行分类与汇总计算;自动摘要模块用于自动转换生成短视频舆情简要压缩信息,中文切分词模块用于进行中文分词,自动识别短视频舆情语句含义;构建索引模块用于创建定义与索引相关所有配置,相似内容合并模块用于处理判断合并相似短视频舆情数据,增量同步模块用于将每日增量变化数据同步至数据仓库,自动分类模块用于自定义分类标准进行索引排序处理,关键词提取模块用于提取候选词,判定输出关键词;热词提取模块用于高频出现热词提取。

4.按照权利要求1所述的基于图像处理技术监测的短视频数据处理系统,其特征在于:所述的统计分析单元包括媒体关注度模块、自动聚类模块、词群关系构建模块、趋势分析模块、统计报表模块、主题研判模块、分析模型构建模块、热门事件模块、热词分析模块、传播轨迹模块和行业指数发布模块;媒体关注度模块用于对不同短视频舆情网络平台和账号进行属性分类,判定是否为网络舆情媒体,统计并提炼重复出现的舆情关注度词句和标题;自动聚类模块用于将内容相同和相似的舆情数据进行自动聚集和归类,词群关系构建模块用于自动提取和判定构建舆情文本中心含义和属性库;趋势分析模块用于以舆情事件出现频率和自定义时段为单位,计算舆情事件历史发展轨迹,演算未来发展趋势;统计报表模块用于以表格形式呈现已处理和统计的舆情数据,主题研判模块用于抓取舆情文本中心思想,对舆情文本进行属性判定;分析模型构建模块用于自定义选项权重并分析构建不同种类舆情数据;热门事件模块用于统计高频出现舆情事件,展示高频出现舆情事件;热词分析模块用于提取所有舆情事件中高频出现词并进行展示,传播轨迹模块用于追溯舆情事件历史发展轨迹,计算研判舆情事件传播轨迹;行业指数发布模块用于体现市场上各个行业发展状况的指数指标。

5.按照权利要求1所述的基于图像处理技术监测的短视频数据处理系统,其特征在于:所述的应用平台层包括互联网应用单元、分类检测单元、舆情报告单元、热点舆情单元、关键词配置单元、预警配置单元、通讯录管理单元和用户管理单元;互联网应用单元用于执行应用平台上于互联网应用归集汇总,分类检测单元用于执行短视频舆情信息进行独立分类检测,舆情报告单元用于执行舆情信息报告生成,热点舆情单元用于执行呈现特定时间段内高频舆情,关键词配置单元用于执行根据关键词和排除词录入语法进行编辑配置,预警配置单元用于执行配置推送预警信息,通讯录管理单元用于管理与短视频数据处理系统关联的联系人,用户管理单元用于执行管理账号下的用户名单和用户权限。

6.一种基于图像处理技术监测的短视频数据处理方法,其特征在于:包括如下数据处理方法

7.按照权利要求6所述的基于图像处理技术监测的短视频数据处理方法,其特征在于:上述数据处理方法包括如下具体处理方式

8.按照权利要求6所述的基于图像处理技术监测的短视频数据处理方法,其特征在于:上述a4步骤中ocr识别技术处理方法包括如下技术实现步骤

9.按照权利要求6所述的基于图像处理技术监测的短视频数据处理方法,其特征在于:上述a2步骤数据采集技术处理方法中,通过海量的 ip 地址的地址池以及模拟自然人访问行为,持续不断的扫描所监控的网站,把采集到的数据保存在分布式存储服务集群中,并将所有动作和行为日志记录到日志服务器集群。采集到的数据通过采集数据接口传送给数据处理的情感判断、自然语言识别等子模块。

10.按照权利要求6所述的基于图像处理技术监测的短视频数据处理方法,其特征在于:上述a1步骤数据采集模块通过爬虫服务器集群进行对今日头条、微博、快手、抖音、哔哩哔哩和小红书的互联网短视频信息采集,并经过ur去重、协作式爬虫、已知网站模板匹配和未知网站自动计算后传输至数据处理模块,上述a1步骤中数据处理模块的数据处理包括自动摘要、噪音计算、文本分类、文本分词、观点提取、地域识别、敏感发现、热点计算、突发计算、事件抽取和主题词抽取,上述a1步骤中数据管理的数据管理和存储模块的管理存储包括数据分发、数据存储、自动备份、分布式索引、查询管理和高级计算,上述a1步骤中数据展现模块的数据展现包括在前端web界面的用户配置、查询请求和数据呈现。


技术总结
本发明公开了一种基于图像处理技术监测的短视频数据处理系统及处理方法,包括数据源层、数据分析平台层、智能分析平台层、应用平台层和业务呈现层,数据源层包括品牌平台库和第三方搜索引擎,根据不同舆情事件,设置不同的关键词方案,系统通过爬虫技术对抖音、快手、微博、小红书、哔哩哔哩、今日头条等平台的短视频信息进行采集监测。可以用于筛选舆情信息,通过设置舆情关键词来监测舆情,系统匹配到相对应的关键词,就会采集该条信息进行展示。建立具有短视频舆情信息收集、分类、监测、分析、研判和呈现为一体的基础数据库和管理数据库,以及与之相契合的全面、高效、直观的网络舆情监管体系。

技术研发人员:苏华权,黄忠靖,裴求根,彭泽武,刘晔,龙震岳,梁哲恒,江疆,周婷,梁盈威,谢瀚阳,冯歆尧,朱泰鹏,林嘉鑫
受保护的技术使用者:广东电网有限责任公司
技术研发日:
技术公布日:2024/1/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1