一种基于人工智能的视频通讯数据高效压缩方法和系统与流程

文档序号:26590052发布日期:2021-09-10 20:37阅读:来源:国知局

技术特征:
1.一种基于人工智能的视频通讯数据高效压缩方法,其特征在于,该方法包括:通过唇部对称线以及过口角点唇部对称线的平行线将视频帧中唇部感兴趣区域划分为第一区域、第二区域;根据第一区域与第二区域中唇部轮廓对称度确定网格划分参数并对第一区域、第二区域进行网格划分;根据第一区域、第二区域对应网格的相似度生成第一矩阵;根据第一视频帧、第二视频帧对应第一矩阵的元素差异生成差异矩阵,根据差异矩阵对第一视频帧、第二视频帧分别赋值生成第一遮罩图像、第二遮罩图像;利用第一遮罩图像对第一视频帧进行遮罩处理,得到第一唇部运动感知图像,利用第二遮罩图像对第二视频帧进行遮罩处理,得到第二唇部运动感知图像;将第一、第二唇部运动感知图像输入唇部运动分析模型,得到唇部是否运动的输出,根据输出的变化选择待压缩视频帧。2.根据权利要求1所述的方法,其特征在于,所述唇部轮廓对称度的获取方法包括:根据第一区域、第二区域中对称唇部轮廓像素的坐标差异之和得到唇部轮廓对称度。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:从第一区域、第二区域中分别选取相同数目的切分点,根据切分点将第一区域、第二区域分别划分为若干第一子区域、若干第二子区域,对称的第一子区域、第二子区域为子区域组;根据对称的第一子区域、第二子区域内唇部轮廓像素的坐标差异生成第二子矩阵;在第二子矩阵上寻找一条从主对角线起点到主对角线终点的路径,所述路径上元素之和最小;获取所述路径元素之和与主对角线元素之和的差异δl;获取各子区域组对应δl的方差;遍历满足切分约束条件的各种切分点的选取方式,根据δl方差最小对应的切分点选取方式将第一区域、第二区域划分为若干第一子区域、第二子区域。4.根据权利要求1所述的方法,其特征在于,所述根据第一唇部区域与第二唇部区域中唇部轮廓对称度确定网格划分参数包括:根据子区域组对应第二子矩阵主对角线元素之和确定唇部轮廓对称度;根据唇部轮廓对称度确定第一区域与第二区域中子区域组的网格划分参数。5.根据权利要求3所述的方法,其特征在于,所述方法还包括:对子区域组进行插值处理,使各子区域组网格数相同。6.根据权利要求1所述的方法,其特征在于,所述唇部对称线的获取方法包括:根据口角点邻域中边缘像素点的个数生成对应数量的子集合:将口角点邻域中的边缘像素点分别加入对应子集合,对新加入的像素点进行邻域搜索并将新加入像素点邻域中边缘像素点加入对应子集合,重复邻域搜索直至子集合内包含两个口角点;根据子集合的像素点进行直线拟合,计算子集合内各点到所拟合直线的距离均值,根据直线趋势从距离均值最大的两个子集合中选取大m线集合,根据大m线确定唇部对称线。7.根据权利要求1所述的方法,其特征在于,所述方法还包括:根据待压缩视频帧的对应音频信息,提取有效音素对应音频帧;构建数据库,所述数据库储存包括唇部不运动情况下的有效音频;将采集到的音频信息与数据库中储存的音频进行匹配,确认要压缩的视频帧。8.一种基于人工智能的视频通讯数据高效压缩系统,其特征在于,系统包括:
唇部区域划分模块,用于通过唇部对称线以及过口角点唇部对称线的平行线将视频帧中唇部感兴趣区域划分为第一区域、第二区域;唇部区域网格化模块,用于根据第一区域与第二区域中唇部轮廓对称度确定网格划分参数并对第一区域、第二区域进行网格划分;第一矩阵生成模块,用于根据第一区域、第二区域对应网格的唇部轮相似度生成第一矩阵;遮罩图像生成模块,用于根据第一视频帧、第二视频帧对应第一矩阵的元素差异生成差异矩阵,根据差异矩阵对第一视频帧、第二视频帧分别赋值生成第一遮罩图像、第二遮罩图像;运动感知图像获取模块,用于利用第一遮罩图像对第一视频帧进行遮罩处理,得到第一唇部运动感知图像,利用第二遮罩图像对第二视频帧进行遮罩处理,得到第二唇部运动感知图像;待压缩视频帧选择模块,用于将第一、第二唇部运动感知图像输入唇部运动分析模型,得到唇部是否运动的输出,根据输出的变化选择待压缩视频帧。9.根据权利要求8所述的系统,其特征在于,所述唇部区域划分模块还包括唇部轮廓对称度获取子模块,用于根据第一区域、第二区域中对称唇部轮廓像素的坐标差异之和得到唇部轮廓对称度。10.根据权利要求8所述的系统,其特征在于,所述唇部区域网格化模块还包括子区域组获取子模块,用于对第一区域和第二区域划分:从第一区域、第二区域中分别选取相同数目的切分点,根据切分点将第一区域、第二区域分别划分为若干第一子区域、若干第二子区域,对称的第一子区域、第二子区域为子区域组;根据对称的第一子区域、第二子区域内唇部轮廓像素的坐标差异生成第二子矩阵;在第二子矩阵上寻找一条从主对角线起点到主对角线终点的路径,所述路径上元素之和最小;获取所述路径元素之和与主对角线元素之和的差异δl;获取各子区域组对应δl的方差;遍历满足切分约束条件的各种切分点的选取方式,根据δl方差最小对应的切分点选取方式将第一区域、第二区域划分为若干第一子区域、第二子区域。

技术总结
本发明提出了一种基于人工智能的视频通讯数据高效压缩方法和系统。方法包括:将视频帧中唇部感兴趣区域划分为第一区域、第二区域;确定网格划分参数,对唇部感兴趣区域进行网格划分;第一区域、第二区域对应网格的相似度得到第一矩阵;连续两帧对应第一矩阵的元素差异得到差异矩阵,根据差异矩阵对两帧视频帧分别赋值得到两帧的遮罩图像;根据两帧的遮罩图像对原视频帧分别处理得到两帧的运动感知图像;对运动感知图像分析,得到唇部是否运动的输出,根据输出的变化选择待压缩视频帧。本发明提高了唇部运动分析的精度和准确率,提高了视频通讯过程中视频的压缩效率,使视频通讯中视频信息更加完整。中视频信息更加完整。中视频信息更加完整。


技术研发人员:李一方 姜善宸 于大为 孙娜
受保护的技术使用者:青岛海洋科学与技术国家实验室发展中心
技术研发日:2021.06.10
技术公布日:2021/9/9
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1