一种基于区域分类编码的视频编码的方法及装置与流程

本发明涉及视频传输技术领域，特别涉及一种基于区域分类编码的视频编码的方法及装置。

背景技术：

通常情况下，视频会议主机连接高清摄像头拍摄会场画面，如图1所示，进行视频编码传输。但是因为灯光、摄像头采样等影响，拍摄到的幻灯片区域与原始幻灯片图像相比，具有较大的噪音，且颜色也会发生变化，比如，幻灯片上的纯色区域，用摄像头拍下来，就不是纯色的了，这导致信息失真及视频编码后的压缩比降低。如何在固定码率下进行更有效的传输成为亟待解决的技术问题。

技术实现要素：

本发明要解决的是如何在固定码率下进行更有效的传输的技术问题。

为了解决上述问题，本发明提供了一种基于区域分类编码的视频编码的方法，包括：

步骤一，识别出视频画面里的各内容区域；

步骤二，分别对各区域进行预处理，降低图像噪音。

本发明还提供了一种基于区域分类编码的视频编码的装置，包括：

识别单元，识别出视频画面里的各内容区域；

预处理单元，分别对各区域进行预处理，降低图像噪音。

本发明的技术方案实现了一种基于区域分类编码的视频编码的方法及装置，采用不同的方式对图像不同区域进行预处理，可以降低图像噪音，从而突出用户感兴趣的内容，提高用户的感知质量。

附图说明

图1现有摄像头与视频会议主机连接示意图；

图2本发明摄像头与视频会议主机连接示意图；

图3一种基于区域分类编码的视频编码的方法示意图；

图4一种基于区域分类编码的视频编码的方法流程示意图；

图5降低空间分辨率的预处理方法示意图；

图6一种基于区域分类编码的视频编码的装置示意图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一，一种基于区域分类编码的视频编码的方法，如图3所示，包括：

步骤一，识别出视频画面里的各内容区域；

步骤二，分别对各区域进行预处理，降低图像噪音。

本发明的技术方案实现了一种基于区域分类编码的视频编码的方法及装置，采用不同的方式对图像不同区域进行预处理，可以降低图像噪音，从而突出用户感兴趣的内容，提高用户的感知质量。

实施例二，一种基于区域分类编码的视频编码的方法，如图4所示，在实施例一的基础上，包括：

进一步的，所述步骤一，各内容区域分为：人脸区域、电脑显示区域、活动区域、不活动区域中的一个或多个区域的组合。

电脑显示区域，人脸区域、活动区域和非活动区域，人眼在感知上关注的重点不同。人脸区域是最受关注的。对于活动区域，人眼更佳关注它的运动。而对非活动区域，人眼更加关注它的细节。因此，电脑显示区域，人脸区域、活动区域和非活动区域，在预处理环节要进行区别对待。

通过事先标注或图像分析技术，识别出视频画面里的人脸区域、电脑显示区域、活动区域和非活动区域，在传统的编码流程之前，采用不同的方式对图像不同区域进行预处理，降低图像噪音，突出用户感兴趣的内容，提高用户的感知质量。

进一步的，所述步骤二，对各区域进行预处理，所述人脸区域不进行预处理。

采用人脸检测技术，检测出画面里的人脸区域，将这一区域标注为A；人脸区域是最受关注的,所以人脸区域不进行预处理。

进一步的，所述步骤二，对各区域进行预处理，所述电脑显示区域，在摄像头采集到的画面上，标注出电脑画面，然后通过仿射变换，使用从电脑上采集到的画面替换掉摄像机拍摄到的画面里标注的电脑显示区域。如图2所示。

如果采用图2结构，视频会议主机连通摄像头和演讲电脑，在演讲电脑上通过API直接采集到原始的桌面画面。通过标注的形式，在摄像头采集到的画面上，标注出电脑画面的四个角点，然后通过仿射变换，使用从电脑上采集到的画面替换掉摄像机拍摄到的画面里标注的电脑显示区域，能够有效的提升视频会议最终画面里的电脑显示区域显示质量，且能有效的提高压缩比。

因为视频会议里，摄像头通常是固定的，可以通过事先标注的方式，标注出电脑显示区域B的四个焦点；对区域B，将从演讲电脑里获取的实时画面，经过仿射变换，覆盖到帧图像上；视频会议主机直接连接摄像机和电脑设备，通过实时获取电脑画面，使用仿射变换摄像机画面对应内容，来增强画面。

进一步的，所述步骤二，对各区域进行预处理，所述活动区域，进行降低空间分辨率的预处理。

使用帧差法，在非A、非B区域里，识别出活动区域C。

进一步的，降低空间分辨率的预处理方法为：将图像像素分成M＊N的小格，将每小格内的图像像素，采用格子内各像素值的平均值替代。

降低空间分辨率的预处理方法为：

将图像像素分成M＊N的小格，典型为2*2。将每小格内的图像像素，采用格子内各像素值的平均值替代，如图5所示，这样来降低空间分辨率，提高视频编码压缩率。

进一步的，所述步骤二，对各区域进行预处理，所述不活动区域，进行降低时间分辨率的预处理。

识别并标注出非活动区域D。

进一步的，降低时间分辨率的预处理方法为：假设某点像素值为V，其前n帧预处理后的像素值分别为V1,V2,…,Vn，其平均值为Vm，设定阈值t，如V和Vm的差的绝对值不高于阈值t，则预处理后，该点像素值为Vm，否则为V。这样来降低时间分辨率，提高视频编码压缩率。

实施例三，一种基于区域分类编码的视频编码的装置，如图6所示，包括：

识别单元，识别出视频画面里的各内容区域；

预处理单元，分别对各区域进行预处理，降低图像噪音。

本发明的技术方案实现了一种基于区域分类编码的视频编码的方法及装置，采用不同的方式对图像不同区域进行预处理，可以降低图像噪音，从而突出用户感兴趣的内容，提高用户的感知质量。

实施例四，一种基于区域分类编码的视频编码的装置，如图6所示，在实施例三的基础上进一步包括：

进一步的，所述识别单元，各内容区域分为：人脸区域、电脑显示区域、活动区域、不活动区域中的一个或多个区域的组合。

电脑显示区域，人脸区域、活动区域和非活动区域，人眼在感知上关注的重点不同。人脸区域是最受关注的。对于活动区域，人眼更佳关注它的运动。而对非活动区域，人眼更加关注它的细节。因此，电脑显示区域，人脸区域、活动区域和非活动区域，在预处理环节要进行区别对待。

通过事先标注或图像分析技术，识别出视频画面里的人脸区域、电脑显示区域、活动区域和非活动区域，在传统的编码流程之前，采用不同的方式对图像不同区域进行预处理，降低图像噪音，突出用户感兴趣的内容，提高用户的感知质量。

进一步的，所述预处理单元，对各区域进行预处理，所述人脸区域不进行预处理。

采用人脸检测技术，检测出画面里的人脸区域，将这一区域标注为A；人脸区域是最受关注的,所以人脸区域不进行预处理。

进一步的，所述预处理单元，对各区域进行预处理，所述电脑显示区域，在摄像头采集到的画面上，标注出电脑画面，然后通过仿射变换，使用从电脑上采集到的画面替换掉摄像机拍摄到的画面里标注的电脑显示区域。如图2所示。

如果采用图2结构，视频会议主机连通摄像头和演讲电脑，在演讲电脑上通过API直接采集到原始的桌面画面。通过标注的形式，在摄像头采集到的画面上，标注出电脑画面的四个角点，然后通过仿射变换，使用从电脑上采集到的画面替换掉摄像机拍摄到的画面里标注的电脑显示区域，能够有效的提升视频会议最终画面里的电脑显示区域显示质量，且能有效的提高压缩比。

因为视频会议里，摄像头通常是固定的，可以通过事先标注的方式，标注出电脑显示区域B的四个焦点；对区域B，将从演讲电脑里获取的实时画面，经过仿射变换，覆盖到帧图像上；视频会议主机直接连接摄像机和电脑设备，通过实时获取电脑画面，使用仿射变换摄像机画面对应内容，来增强画面。

进一步的，所述预处理单元，对各区域进行预处理，所述活动区域，进行降低空间分辨率的预处理。使用帧差法，在非A、非B区域里，识别出活动区域C。

进一步的，降低空间分辨率的预处理方法为：将图像像素分成M＊N的小格，将每小格内的图像像素，采用格子内各像素值的平均值替代。

降低空间分辨率的预处理方法为：

将图像像素分成M＊N的小格，典型为2*2。将每小格内的图像像素，采用格子内各像素值的平均值替代，如图5所示，这样来降低空间分辨率，提高视频编码压缩率。

进一步的，所述预处理单元，对各区域进行预处理，所述不活动区域，进行降低时间分辨率的预处理。识别并标注出非活动区域D。

进一步的，降低时间分辨率的预处理方法为：假设某点像素值为V，其前n帧预处理后的像素值分别为V1,V2,…,Vn，其平均值为Vm，设定阈值t，如V和Vm的差的绝对值不高于阈值t，则预处理后，该点像素值为Vm，否则为V。这样来降低时间分辨率，提高视频编码压缩率。

本发明根据用户的关注点的不同，将高清视频会议里的图像分为四类区域：人脸区域、电脑显示区域、活动区域和不活动区域四个区域，在传统的编码流程之前，采用不同的方式对图像不同区域进行预处理，降低图像噪音，突出用户感兴趣的内容，提高用户的感知质量。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。