视频的校正方法及装置与流程

本发明涉及计算机领域，具体而言，涉及一种视频的校正方法及装置。

背景技术：

随着互联网技术的发展，只需要通过摄像头以及电脑即可以实现多个不同地域的人如同面对面一样的交流，然而当我们使用聊天软件(例如微信、米聊、MSN等)进行视频聊天时，由于摄像头与屏幕中心之间存在距离差，导致聊天用户之间缺少目光对视的交流，例如，笔记本电脑的摄像头往往设置在屏幕的上方，当用户USER1与用户USER2在进行聊天时，用户USER1往往注视着屏幕的中心区域，而不是摄像头，那么对于用户USER2而言，用户USER2的显示屏幕会显示用户USER1的眼睛向下看，而眼神对视是人与人交流中不可缺少的一部分，缺少它会使得视频聊天不能像平时面对面聊天一样自然。

在现有技术中，往往采用镜面反射或虚拟视点绘制的方法对视频图像进行校正，从而实现聊天用户之间的眼神对视，但是，实现上述方法复杂，而且设备昂贵，不适于人们日常视频聊天的场景中，所以难以普及。

针对上述在现有技术中，为实现聊天用户之间目光对视的视频校正方法复杂，且耗费资源大的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种视频的校正方法及装置，以至少解决在现有技术中，为实现聊天用户之间目光对视的视频校正方法复杂，且耗费计算资源大的技术问题。

根据本发明实施例的一个方面，提供了一种视频的校正方法，该方法包括：采集用户的第一图像以及第二图像，其中，第一图像为用户观看摄像设备区域时所采集的图像，第二图像为用户观看屏幕区域时所采集的图像；提取第一图像中的坐标系以及第二图像中的坐标系，并计算第一图像的坐标系至第二图像的坐标系的仿射矩阵；采用仿射矩阵对采集到的初始视频进行仿射变换处理，生成校正后的目标视频。

根据本发明实施例的另一方面，还提供了一种视频的校正装置，包括：采集单元， 用于采集用户的第一图像以及第二图像，其中，第一图像为用户观看摄像设备区域时所采集的图像，第二图像为用户观看屏幕区域时所采集的图像；提取单元，用于提取第一图像中的坐标系以及第二图像中的坐标系，并计算第一图像的坐标系至第二图像的坐标系的仿射矩阵；校正单元，用于采用仿射矩阵对采集到的初始视频进行仿射变换处理，生成校正后的目标视频。

在本发明实施例中，通过采用采集用户的第一图像以及第二图像，其中，第一图像为用户观看摄像设备区域时所采集的图像，第二图像为用户观看屏幕区域时所采集的图像；提取第一图像中的坐标系以及第二图像中的坐标系，并计算第一图像的坐标系至第二图像的坐标系的仿射矩阵；采用仿射矩阵对采集到的初始视频进行仿射变换处理，生成校正后的目标视频，解决了现有技术中为实现聊天用户之间目光对视的视频校正方法复杂，且耗费计算资源大的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频的校正方法的流程图；以及

图2是根据本发明实施例视频的校正装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

根据本发明实施例，提供了一种视频的校正方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的视频的校正方法的流程图，如图1所示，该方法包括如下步骤：

步骤S12，采集用户的第一图像以及第二图像，其中，第一图像为用户观看摄像设备区域时所采集的图像，第二图像为用户观看屏幕区域时所采集的图像。

具体地，在上述步骤S12中，可以采用摄像设备来采集用户在目视不同区域时的两张图像，摄像设备可以是配置在电脑屏幕上方的摄像头，在本实施例中，可以让用户静坐于电脑屏幕前，在用户低头目视屏幕区域(优选为屏幕中心)时，通过摄像头采集用户的第一图像，在用户仰头目视摄像设备区域(优选为摄像头的镜头)时，通过摄像头采集用户的第二图像。需要说明的是，在第一图像中，用户的眼睛关注于屏幕的中心，在第二图像中，用户的眼睛关注于屏幕上方的摄像头。

步骤S14，提取第一图像中的坐标系以及第二图像中的坐标系，并计算第一图像的坐标系至第二图像的坐标系的仿射矩阵。

具体地，在上述步骤S14中，可以采用计算机终端来获取上述两张图像，然后提取上述第一图像中的坐标系以及第二图像中的坐标系，需要说明的是，上述第一图像为以相机为原点的坐标系，上述第二图像为以屏幕为中心为原点的坐标系，计算机终端可以根据现有的计算算法来计算以相机为原点的坐标系到以屏幕为中心为原点的坐标系之间的仿射矩阵。

步骤S16，采用仿射矩阵对采集到的初始视频进行仿射变换处理，生成校正后的目标视频。

具体地，在上述步骤S16中，在用户在进行视频通话时，本方案可以获取用户的初始视频，然后提取每一帧初始视频的面部特征点与轮廓，然后针对每一帧初始视频的面部特征点与轮廓进行仿射变换处理，生成校正后的目标视频，优选地，本方案可以将校正后的目标视频贴回初始视频的面部区域。需要说明的，由于本方案对于用户的视频进行了校正，因此，在多个用户在进行视频聊天时，可以实现目光对视的效果。

本实施例通过采集用户的第一图像以及第二图像，其中，第一图像为用户观看摄 像设备区域时所采集的图像，第二图像为用户观看屏幕区域时所采集的图像；提取第一图像中的坐标系以及第二图像中的坐标系，并计算第一图像的坐标系至第二图像的坐标系的仿射矩阵；采用仿射矩阵对采集到的初始视频进行仿射变换处理，生成校正后的目标视频，解决了在现有技术中为实现聊天用户之间目光对视的视频校正方法复杂，且耗费资源大的技术问题。

可选地，步骤S14，提取第一图像中的坐标系以及第二图像中的坐标系的步骤可以包括：

步骤S141，对第一图像以及第二图像进行Hartley变换处理。

步骤S142，对经过Hartley变换处理的两张图像进行立体匹配处理，得到第一图像与第二图像之间的视差图。

这里需要说明的是，本申请中的Hartley变换算法(也称哈特莱变换算法)是一种完全对称的实数域正交三角变换算法，相对于傅里叶变换具有更好的对称性以及计算效率。

步骤S143，在视差图中提取第一图像中的坐标系以及第二图像中的坐标系。

具体地，在上述步骤S141至步骤S143中，可以对上述第一图像以及第二图像进行Hartley校正方法予以校正，使得两张图像的极线水平(或垂直)，然后利用立体匹配算法得到视差图，对此视差图进行平滑滤波，得到平滑后的视差图，最后，提取两幅图像中眼部特征点的位置，在视差图中提取第一图像中的坐标系以及第二图像中的坐标系。

需要说明的是，本方案还可以获取通过摄像机标定方法(例如三角标定方法)获取摄像机的内参数，内参数矩阵包含摄像头的焦距和光心信息，然后根据摄像头的焦距和光心信息来将视差图转为深度值，然后执行上述步骤S143的方案。

可选地，在步骤S142，对经过Hartley变换处理的两张图像进行立体匹配处理，得到第一图像与第二图像之间的视差图之前，本实施例提供的方法还可以包括：

步骤S140，分别将第一图像以及第二图像按照顺时针旋转预设角度。

具体地，在本方案中，由于立体匹配算法计算的是水平方向的视差，因此本方案可以将两张图像顺时针旋转预设角度(例如90°)，然后在将左视图(对着屏幕中心)与右视图(对着摄像头)采用立体匹配算法获得垂直视差图。

可选地，在步骤S16生成校正后的目标视频之后，本实施例提供的方法还可以包 括：

步骤S17，对目标视频中的面部轮廓进行去重叠处理，生成校正后的目标面部轮廓。

具体地，在上述步骤S17中，本方案可以对目标视频中的面部轮廓进行优化处理，以消除目标视频中的面部轮廓的重叠和误差。

可选地，步骤S17，对目标视频中的面部轮廓进行去重叠处理，生成校正后的目标面部轮廓的步骤可以包括：

步骤S171，在目标视频中的面部轮廓中提取多个特征点。

步骤S172，计算每个特征点与第一图像的像素密度差值。

步骤S173，将像素密度差值最小的特征点作为校正后的目标面部轮廓的特征点。

具体地，在上述步骤S171至步骤S173中，可以对每一帧的面部轮廓提取20到30个特征点，以每一个特征点为中心取一个N×N的小块(N为奇数，一般可取大于3小于15的奇数，不同的数值对应于不同的计算量和优化效果，数值越大计算量越大，优化效果越好；反之则计算量越小，优化效果越差，特征点数量的选取可根据具体情况予以选择，通常可选5或者7)，在上述N×N个点中计算校正后与原图像素密度差值最小的点，然后将该点作为校正后面部轮廓的点，如此迭代计算M次后(M为大于1的正整数，不同的数值对应于不同的计算量和优化效果，数值越大计算量越大，优化效果越好；反之则计算量越小，优化效果越差，M的数量可根据具体情况予以选择，通常可选3或者4)，便可得到优化后的面部轮廓。

综上，本方案提出了用单个普通网络摄像头获取场景深度的技术方案，并且提出在深度图有空洞的情况下，利用图像信息进行填补，最后，本方案能够实现在不影响原来视频聊天质量情况下，实现聊天者的目光对视的技术效果。

实施例二

本申请还提供了一种视频的校正装置，该装置可以用于执行上述视频的校正方法，如图2所示，该装置可以包括：采集单元20，用于采集用户的第一图像以及第二图像，其中，第一图像为用户观看摄像设备区域时所采集的图像，第二图像为用户观看屏幕区域时所采集的图像；提取单元22，用于提取第一图像中的坐标系以及第二图像中的坐标系，并计算第一图像的坐标系至第二图像的坐标系的仿射矩阵；校正单元24，用于采用仿射矩阵对采集到的初始视频进行仿射变换处理，生成校正后的目标视频。

本实施例通过采集用户的第一图像以及第二图像，其中，第一图像为用户观看摄像设备区域时所采集的图像，第二图像为用户观看屏幕区域时所采集的图像；提取第一图像中的坐标系以及第二图像中的坐标系，并计算第一图像的坐标系至第二图像的坐标系的仿射矩阵；采用仿射矩阵对采集到的初始视频进行仿射变换处理，生成校正后的目标视频，解决了现有技术中为实现聊天用户之间目光对视的视频校正方法复杂，且耗费资源大的技术问题。

可选地，提取单元可以包括：第一处理模块，用于对第一图像以及第二图像进行Hartley变换处理；第二处理模块，用于对经过Hartley变换处理的两张图像进行立体匹配处理，得到第一图像与第二图像之间的视差图；第一提取模块，用于在视差图中提取第一图像中的坐标系以及第二图像中的坐标系。

可选地，本实施例提供的装置还包括：旋转单元，用于分别将第一图像以及第二图像按照顺时针旋转预设角度。

可选地，本实施例提供的装置还包括：处理单元，用于对目标视频中的面部轮廓进行去重叠处理，生成校正后的目标面部轮廓。

可选地，处理单元可以包括：第二提取模块，用于在目标视频中的面部轮廓中提取多个特征点；计算模块，用于计算每个特征点与第一图像的像素密度差值；第三处理模块，用于将像素密度差值最小的特征点确定为校正后的目标面部轮廓的特征点。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。