获取直播视频画面的方法、装置、终端及存储介质与流程

文档序号:16776481发布日期:2019-02-01 18:45阅读:226来源:国知局
获取直播视频画面的方法、装置、终端及存储介质与流程

本申请涉及信息处理技术领域,特别涉及一种获取直播视频画面的方法、装置、终端及存储介质。



背景技术:

在目前的互联网直播中,主播可以在终端的摄像头的拍摄范围内跳舞,终端通过摄像头拍摄主播的跳舞过程,并将拍摄得到的视频画面作为直播视频画面发送至直播服务器以进行直播。然而,由于终端的摄像头在某个拍摄平面上的水平拍摄范围有限,因此,当主播在拍摄平面内相对于摄像头左右移动时,极易移动出水平拍摄范围,从而导致拍摄的视频画面中无法包含主播完整的图像。

为了解决上述问题,当前常采用的方法是加大终端与主播之间的距离,以此来加大终端的摄像头与拍摄平面之间的距离,从而加大摄像头的水平拍摄范围,然而,在加大终端的摄像头与拍摄平面之间的距离之后,不仅水平拍摄范围会增大,竖直拍摄范围也会增大,在这种情况下,对主播进行拍摄得到的视频画面中的高度方向上将存在大量的不必要画面,并且,由于增加了摄像头与主播之间的距离,因此,拍摄得到的视频画面中的主播的图像将变小,从而导致主播的脸部细节的清晰度受到影响。



技术实现要素:

本申请实施例提供了一种获取直播视频画面的方法、装置、终端及计算机可读存储介质,可以用于在主播进行大幅度的左右移动的情况下,在不减小主播图像的尺寸、不引入过多不必要画面的基础上,保证主播图像的完整。所述技术方案如下:

第一方面,提供了一种获取直播视频画面的方法,所述方法包括:

通过至少两个摄像头在同一时刻采集至少两个视频画面,所述至少两个摄像头中各个摄像头与主播所站立的水平地面之间的距离相等,且所述至少两个摄像头中每相邻的两个摄像头之间的距离不大于第一距离,所述第一距离是指使每相邻的两个摄像头在同一时刻拍摄的两个视频画面的重合画面的面积不小于面积阈值的最小距离;

将所述至少两个视频画面进行拼接,拼接后的视频画面中所述每相邻的两个摄像头采集的两个视频画面的重合画面重叠;

基于拼接后的视频画面获取直播视频画面。

可选地,所述将所述至少两个视频画面进行拼接,包括:

从所述至少两个视频画面中确定多个匹配点对,所述多个匹配点对中的每个匹配点对中包括所述至少两个视频画面中相邻的两个视频画面中的两个像素点;

基于所述多个匹配点对中的每个匹配点对生成一个特征向量,得到与所述多个匹配点对一一对应的多个特征向量;

基于所述多个特征向量对所述至少两个视频画面进行拼接。

可选地,所述基于拼接后的视频画面获取直播视频画面,包括:

基于参考画面长宽比例对所述拼接后的视频画面进行裁剪,得到所述直播视频画面。

可选地,所述基于参考画面长宽比例对所述拼接后的视频画面进行裁剪,得到所述直播视频画面,包括:

在所述拼接后的视频画面中确定人脸所在区域的中心位置点;

基于所述中心位置点和所述参考画面长宽比例对所述拼接后的视频画面进行裁剪,得到所述直播视频画面。

可选地,所述基于所述中心位置点和所述参考画面长宽比例对所述拼接后的视频画面进行裁剪,得到所述直播视频画面,包括:

确定所述拼接后的视频画面的宽度,并基于所述拼接后的视频画面的宽度和所述参考画面长宽比例确定第一长度;

基于所述中心位置点在所述拼接后的视频画面中确定第一裁剪线和第二裁剪线,所述第一裁剪线和所述第二边裁剪线均与所述拼接后的视频画面的宽度方向平行,且所述中心位置点到所述第一裁剪线的距离以及所述中心位置点到所述第二裁剪线的距离均为所述第一长度的一半;

将除所述第一裁剪线与所述第二裁剪线之间的画面之外的其他画面删除,得到所述直播视频画面。

第二方面,提供了一种获取直播视频画面的装置,所述装置包括:

采集模块,用于通过至少两个摄像头在同一时刻采集至少两个视频画面,所述至少两个摄像头中各个摄像头与主播所站立的水平地面之间的距离相等,且所述至少两个摄像头中每相邻的两个摄像头之间的距离不大于第一距离,所述第一距离是指使每相邻的两个摄像头在同一时刻拍摄的两个视频画面的重合画面的面积不小于面积阈值的最小距离;

拼接模块,用于将所述至少两个视频画面进行拼接,拼接后的视频画面中所述每相邻的两个摄像头采集的两个视频画面的重合画面重叠;

获取模块,用于基于拼接后的视频画面获取直播视频画面。

可选地,所述拼接模块具体用于:

从所述至少两个视频画面中确定多个匹配点对,所述多个匹配点对中的每个匹配点对中包括所述至少两个视频画面中相邻的两个视频画面中的两个像素点;

基于所述多个匹配点对中的每个匹配点对生成一个特征向量,得到与所述多个匹配点对一一对应的多个特征向量;

基于所述多个特征向量对所述至少两个视频画面进行拼接。

可选地,所述获取模块包括:

裁剪单元,用于基于参考画面长宽比例对所述拼接后的视频画面进行裁剪,得到所述直播视频画面。

可选地,所述裁剪单元包括:

确定子单元,用于在所述拼接后的视频画面中确定人脸所在区域的中心位置点;

裁剪子单元,用于基于所述中心位置点和所述参考画面长宽比例对所述拼接后的视频画面进行裁剪,得到所述直播视频画面。

可选地,所述裁剪子单元具体用于:

确定所述拼接后的视频画面的宽度,并基于所述拼接后的视频画面的宽度和所述参考画面长宽比例确定第一长度;

基于所述中心位置点在所述拼接后的视频画面中确定第一裁剪线和第二裁剪线,所述第一裁剪线和所述第二边裁剪线均与所述拼接后的视频画面的宽度方向平行,且所述中心位置点到所述第一裁剪线的距离以及所述中心位置点到所述第二裁剪线的距离均为所述第一长度的一半;

将除所述第一裁剪线与所述第二裁剪线之间的画面之外的其他画面删除,得到所述直播视频画面。

第三方面,提供了一种终端,所述终端包括至少两个摄像头,处理器以及用于存储处理器可执行指令的存储器;

其中,所述至少两个摄像头中每相邻的两个摄像头之间的距离不大于第一距离,所述第一距离是指使所述至少两个摄像头中每相邻的两个摄像头在同一时刻拍摄的两个视频画面的重合画面的面积不小于面积阈值的最小距离;

所述处理器被配置为执行上述第一方面所述的任一项方法。

第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。

本申请实施例提供的技术方案带来的有益效果至少包括:

本申请实施例可以通过至少两个摄像头在同一时刻采集至少两个视频画面,由于各个摄像头到主播所站立的水平地面的距离相等,且每相邻的两个摄像头之间的距离能够保证采集到的两个视频画面之间存在重合画面,因此,可以将至少两个视频画面进行拼接,并基于拼接后的画面获取直播视频画面。这样,由于至少两个摄像头的水平拍摄范围叠加后相较于一个摄像头的水平拍摄范围大大增加,因此,针对主播在跳舞过程中进行大幅度的左右移动的情况,无需通过增加主播与摄像头之间的距离,就可以保证视频画面中主播图像完整,且相较于通过增加主播与摄像头之间的距离获取的直播视频画面,本申请实施例获取的直播视频画面中的不必要画面所占的比例更少,主播图像的脸部细节更加清晰。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种获取直播视频画面的方法的系统架构图;

图2是本申请实施例提供的一种获取直播视频画面的方法的流程图;

图3是本申请实施例提供的一种获取直播视频画面的方法的流程图;

图4是本申请实施例提供的相邻两个摄像头的水平拍摄范围的重叠区域的示意图;

图5是本申请实施例提供的一种基于人脸所在区域的中心位置点和第一长度对拼接后的视频画面进行裁剪的示意图;

图6是本申请实施例提供的一种获取直播视频画面的装置的结构示意图;

图7是本申请实施例提供的一种用于获取直播视频画面的终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

在对本申请实施例进行详细的解释说明之前,先对本申请实施例的应用场景予以介绍。

在目前的互联网直播中,主播可以向观众展示各种才艺技能,分享各种信息。例如,主播可以向观众展示自身的舞蹈技艺,或者是可以向观众展示其他的运动技能。在这种情况下,主播需要通过终端的摄像头来采集跳舞或运动过程中的视频画面。在采集视频画面的过程中,终端固定在某个位置,主播可能会相对于终端的摄像头发生左右移动,当主播的移动幅度较大时,则可能移动出摄像头的水平拍摄范围,在这种情况下,终端则可以采用本申请提供的获取直播视频画面的方法来获取包含有主播完整图像的视频画面。

接下来对本申请实施例提供的获取直播视频画面的方法所涉及的系统架构进行介绍。如图1所示,该系统中可以包括终端101、第一摄像头102和第二摄像头103,其中,第一摄像头102和第二摄像头103均可以与终端101进行通信。

需要说明的是,第一摄像头102和第二摄像头103相对于水平地面处于同等的高度,并且,第一摄像头102和第二摄像头103可以在主播跳舞或运动过程中同步采集并发送视频画面,另外,第一摄像头102和第二摄像头103的拍摄参数和设备参数可以完全相同。

终端101可以接收第一摄像头102和第二摄像头103同步采集并发送的视频画面,并通过本申请实施例中提供的获取直播视频画面的方法来对接收到的第一摄像头102和第二摄像头103在同一时刻采集的视频画面进行处理,得到直播视频画面,并将该直播视频画面发送至服务器以完成直播。

可选地,在一种可能的实现方式中,第一摄像头102和第二摄像头103可以是集成在终端101中的,也即,终端101包括第一摄像头102和第二摄像头103,终端101可以通过第一摄像头102和第二摄像头103来采集视频画面,并对采集到的视频画面进行处理,以得到直播视频画面。

另外,还需要说明的是,上述系统架构仅以两个摄像头为例进行说明,在实际应用中,摄像头的个数可以多于两个,且每相邻的两个摄像头均可以参照上述第一摄像头和第二摄像头,本申请实施例对此不做具体限定。

接下来对本申请实施例提供的获取直播视频画面的方法进行详细的解释说明。

图2是本申请实施例提供的一种获取直播视频画面的方法的流程图。该方法可以应用于终端中,参见图2,该方法包括以下步骤:

步骤201:通过至少两个摄像头在同一时刻采集至少两个视频画面。

其中,至少两个摄像头中各个摄像头与主播所站立的水平地面之间的距离相等,且至少两个摄像头中每相邻的两个摄像头之间的距离不大于第一距离,第一距离是指使每相邻的两个摄像头在同一时刻拍摄的两个视频画面的重合画面的面积不小于参考面积的最小距离。

需要说明的是,每相邻的两个摄像头之间的距离不大于第一距离,而第一距离是保证相邻的两个摄像头采集的两个视频画面的重合画面不小于阈值的最小距离,由此可知,通过相邻的两个摄像头采集得到的两个视频画面中将存在重合画面。

步骤202:将至少两个视频画面进行拼接,拼接后的视频画面中每相邻的两个摄像头采集的两个视频画面的重合画面重叠。

步骤203:基于拼接后的视频画面获取直播视频画面。

在本申请实施例中,终端可以通过至少两个摄像头在同一时刻采集至少两个视频画面,由于各个摄像头到主播所站立的水平地面的距离相等,且每相邻的两个摄像头之间的距离能够保证采集到的两个视频画面之间存在重合画面,因此,可以将至少两个视频画面进行拼接,并基于拼接后的画面获取直播视频画面。这样,由于至少两个摄像头的水平拍摄范围叠加后相较于一个摄像头的水平拍摄范围大大增加,因此,针对主播在跳舞过程中进行大幅度的左右移动的情况,无需通过增加主播与摄像头之间的距离,就可以保证视频画面中主播图像完整,且相较于通过增加主播与摄像头之间的距离获取的直播视频画面,本申请实施例获取的直播视频画面中的不必要画面所占的比例更少,主播图像的脸部细节更加清晰。

图3是本申请实施例提供的一种获取直播视频画面的方法的流程图,该方法可以应用于终端中,如图3所示,该方法包括以下步骤:

步骤301:通过至少两个摄像头在同一时刻采集至少两个视频画面。

在本申请实施例中,至少两个摄像头可以是终端外接的,也可以是集成在终端上的。其中,至少两个摄像头的焦距、曝光度等拍摄参数相同。至少两个摄像头的感光度等设备参数也相同。并且,至少两个摄像头可以同步进行视频采集,终端可以获取至少两个摄像头在同一时刻采集的至少两个视频画面。其中,至少两个视频画面中各个视频画面的画面尺寸相同。

值得注意的是,至少两个摄像头中各个摄像头距离主播所站立的水平地面的距离相同,换句话说,至少两个摄像头处于同等的高度。这样,至少两个摄像头的竖直拍摄范围将是相同的,也即,至少两个摄像头在纵向上能够拍摄到的高度区间是相同的。例如,至少两个摄像头与水平地面之间的距离均为h1,则至少两个摄像头的竖直拍摄范围将均为[h2,h3],也即,至少两个摄像头在竖直方向上能够拍摄到的物体与水平地面之间的高度在h2和h3之间。其中,h2<h1<h3。

另外,至少两个摄像头中每相邻的两个摄像头之间的距离不小于第一距离,由于第一距离是指使每相邻的两个摄像头采集的两个视频画面的重合画面的面积不小于参考面积的最小距离,因此,相邻的两个摄像头之间的距离不大于第一距离即可以保证相邻的两个摄像头在同一时刻采集的两个视频画面之间重合画面的面积不小于参考面积。其中,该参考面积可以为每个视频画面的画面面积的10%。或者,也可以为每个视频画面的画面面积的20%或者更多。换句话说,当相邻两个摄像头之间的距离不大于第一距离时,相邻两个摄像头的水平拍摄范围将存在一定的重叠区。图4示出了相邻的两个摄像头a和b的水平拍摄范围之间的重叠区域。如图4所示,cd为摄像头a在拍摄平面上的水平拍摄范围,ef为摄像头b在拍摄平面上的水平拍摄范围,而de即为在拍摄平面上摄像头a和摄像头b的水平拍摄范围之间的重叠区域。

由于至少两个摄像头中每相邻两个摄像头的水平拍摄范围存在重叠区,而垂直拍摄范围相同,因此,通过至少两个摄像头采集的至少两个视频画面包含的将是位于相同高度区间内的画面,并且,每相邻的两个摄像头采集的两个视频画面之间存在重合画面,基于此,可以通过下述步骤302和步骤303对至少两个视频画面进行拼接处理,以得到直播视频画面。

需要说明的是,对于至少两个摄像头在每个时刻采集的至少两个视频画面,均可以采用本申请提供的方法来获取对应的直播视频画面,本申请实施例仅以任一时刻的至少两个视频画面为例进行解释说明。

步骤302:将至少两个视频画面进行拼接,拼接后的视频画面中每相邻的两个摄像头采集的两个视频画面的重合画面重叠。

当获取到至少两个视频画面之后,终端可以将至少两个视频画面进行拼接,从而使得至少两个视频画面中由每相邻的两个摄像头采集的两个视频画面中的重合画面重叠。拼接后的视频画面中包含了至少两个视频画面中由每相邻的两个摄像头采集的两个视频画面中的重合画面,同时还包含了至少两个视频画面中未重合的画面,由于至少两个摄像头的水平拍摄范围相较于一个摄像头的水平拍摄范围大大增加,因此,将至少两个视频画面进行拼接后,得到的拼接后的视频画面中也包含了更大场景中的内容,这样,即使主播进行大幅度移动,也可以保证能够得到包含有主播完整图像的视频画面。

在本申请实施例中,终端可以从至少两个视频画面中确定多个匹配点对,多个匹配点对中的每个匹配点对中包括至少两个视频画面中相邻的两个视频画面中的两个像素点;基于多个匹配点对中的每个匹配点对生成一个特征向量,得到与多个匹配点对一一对应的多个特征向量;基于多个特征向量对至少两个视频画面进行拼接。

示例性的,终端可以从至少两个视频画面中选择由相邻的两个摄像头采集的第一视频画面和第二视频画面,之后,从第一视频画面和第二视频画面中确定多个匹配点对,多个匹配点对中的每个匹配点对中包括第一视频画面中的一个像素点和第二视频画面中的一个像素点;基于多个匹配点对中的每个匹配点对生成一个特征向量,得到与多个匹配点对一一对应的多个特征向量;基于多个特征向量对第一视频画面和第二视频画面进行拼接。

其中,终端可以通过sift(scale-invariantfeaturetransform,尺度不变特征变换)算法从第一视频画面和第二视频画面中确定多个匹配点对。其中,每个匹配点对包括两个像素点,一个像素点为第一视频画面中的像素点,另一个像素点为第二视频画面中的像素点,为了便于描述,将两个像素点中的一个像素点称为第一像素点,另一个像素点称为第二像素点。其中,第一像素点以及第一像素点的邻域内的像素点与第二像素点以及第二像素点的邻域内的像素点具有相同的特征。

由上述描述可知,通过sift算法确定的多个匹配点对中的每个匹配点对实际上均可以用于指示第一视频画面和第二视频画面中特征相同一个像素块,这样,该多个匹配点对实际上就是用于指示第一视频画面和第二视频画面之间的重合画面的多个点对。

在确定出多个匹配点对之后,终端可以根据该多个匹配点对中的每个匹配点对中的两个像素点确定得到一个特征向量,从而得到多个特征向量。之后,终端可以根据该多个特征向量,通过ransac(randomsampleconsensus,随机抽样一致性)算法来估计第一视频画面和第二视频画面之间的单应性矩阵。之后,终端可以根据估计得到的单应性矩阵将第一视频画面中的像素点映射到第二视频画面所在的图像平面内,从而完成第一视频画面和第二视频画面的拼接。

在拼接完第一视频画面和第二视频画面之后,终端可以将从至少两个视频画面的剩余画面中选择与采集第一视频画面相邻的另一个摄像头采集的第三视频画面,或者是选择与采集第二视频画面相邻的另一个摄像头采集的第三视频画面,将由第一视频画面和第二视频画面拼接得到的画面与第三视频画面参考前述的画面拼接方法进行拼接,以此类推,直至将至少两个视频画面全部拼接在一起为止。

步骤303:基于参考画面长宽比例对拼接后的视频画面进行裁剪,得到直播视频画面。

通过拼接至少两个视频画面,至少两个视频画面中由每相邻的两个摄像头采集的视频画面的重合画面重叠,此时,拼接后的视频画面的长度将大于每个摄像头单独拍摄得到的视频画面的长度。而由于两个摄像头处于同等的高度,因此,每个视频画面的宽度是相同的,这样,拼接后的视频画面将与每个摄像头单独拍摄的视频画面的宽度相等。

由于拼接后的视频画面的长度增加,宽度未变,因此,拼接后的视频画面的长宽比例可能并不符合直播视频画面的长宽比例。基于此,终端可以确定拼接后的视频画面的长宽比例,并将该长宽比例与参考画面长宽比例进行比较,其中,参考画面长宽比例是指直播视频画面的长宽比例。若拼接后的视频画面的长宽比例与参考画面长宽比例不相同,则终端可以基于参考画面长宽比例对拼接后的视频画面进行裁剪,从而得到直播视频画面。

需要说明的是,通常,用于直播的摄像头单独拍摄的视频画面的长宽比例即符合直播视频画面的长宽比例,也即,至少两个视频画面中每个视频画面的长宽比例实际上就是参考画面长宽比例,在这种情况下,拼接后的视频画面的长宽比例往往不满足参考画面长宽比例,基于此,终端可以不必再比较拼接后的视频画面的长宽比例与参考画面长宽比例,而是可以直接基于参考画面长宽比例来对拼接后的视频画面进行裁剪。

示例性的,在本申请实施例中,终端可以计算拼接后的视频画面的宽度与参考画面长宽比例的乘积,得到第一长度。之后,终端可以确定拼接后的视频画面的长度与第一长度之间的长度差值,并根据该长度差值对拼接后的视频画面进行裁剪,从而得到宽度不变,长度为第一长度的直播视频画面。

其中,终端可以确定与拼接后的视频画面的一条宽边之间的距离为该长度差值的一条裁剪线,并将该裁剪线和该宽边之间的画面删除掉,从而得到直播视频画面。

或者,终端可以在拼接后的视频画面中确定两条裁剪线,其中,两条裁剪线均与视频画面的宽度方向平行,且两条裁剪线中的一条裁剪线与第一宽边之间的距离为长度差值的一半,另一条裁剪线与第二宽边之间的距离也为长度差值的一半,将除两条裁剪线之间的内容之外的其余内容均删除,得到宽度不变,长度为第一长度的直播视频画面。

可选地,在一种可能的实现方式中,为了尽量使得主播图像位于视频画面的中心位置,终端可以在拼接后的视频画面中确定人脸所在区域的中心位置点,并根据该中心位置点和第一长度对拼接后的视频画面进行裁剪,得到直播视频画面。

其中,终端可以通过神经网络模型对拼接后的视频画面中的人脸进行定位,从而得到在拼接后的视频画面中人脸所在的矩形区域,之后,终端可以将该矩形区域的中心确定为人脸所在区域的中心位置点。

在确定人脸所在区域的中心位置点之后,终端可以根据该中心位置点确定第一裁剪线和第二裁剪线。其中,第一裁剪线和第二边裁剪线均与拼接后的视频画面的宽度方向平行,且中心位置点到第一裁剪线的距离以及中心位置点到第二裁剪线的距离均为第一长度的一半,将除第一裁剪线与第二裁剪线之间的画面之外的其他画面删除,得到直播视频画面。

图5示出了一种基于中心位置点和第一长度对拼接后的视频画面进行裁剪的示意图。其中,图5所示的上图中的阴影部分为重叠在一起的重合画面,人脸所在区域如图中虚线框所示,人脸所在区域的中心位置点为a,则第一裁剪线为l1,第二裁剪线为l2,将除第一裁剪线l1和第二裁剪线l2之间的画面之外的其余画面删除,则可以得到如图5所示中下图所示的直播视频画面。

可选地,在一种可能的情况中,人脸可能比较靠近拼接后的视频画面中的某一个宽边,如第一宽边,并且,人脸所在区域的中心位置点到第一宽边之间的距离可能不大于第一长度的一半。在这种情况下,终端可以计算第一长度和拼接后的视频画面的长度之间的长度差值,并在拼接后的视频画面中确定与第二宽边的距离为该长度差值的裁剪线,将确定的裁剪线与第二宽边之间的画面删除,从而得到直播视频画面。

在本申请实施例中,终端可以通过至少两个摄像头在同一时刻采集至少两个视频画面,由于各个摄像头到主播所站立的水平地面的距离相等,且每相邻的两个摄像头之间的距离能够保证采集到的两个视频画面之间存在重合画面,因此,可以将至少两个视频画面进行拼接,并基于拼接后的画面获取直播视频画面。这样,由于至少两个摄像头的水平拍摄范围叠加后相较于一个摄像头的水平拍摄范围大大增加,因此,针对主播在跳舞过程中进行大幅度的左右移动的情况,无需通过增加主播与摄像头之间的距离,就可以保证视频画面中主播图像完整,且相较于通过增加主播与摄像头之间的距离获取的直播视频画面,本申请实施例获取的直播视频画面中的不必要画面所占的比例更少,主播图像的脸部细节更加清晰。另外,在对拼接后的视频画面进行裁剪时,可以在拼接后的视频画面中进行人脸定位,并根据人脸所在位置进行裁剪,以此来保证主播图像能够尽可能的位于主播画面中央。

接下来,对本申请实施例提供的获取直播视频画面的装置进行介绍。

参见图6,本申请实施例提供了一种获取直播视频画面的装置600,该装置600包括:

采集模块601,用于通过至少两个摄像头在同一时刻采集至少两个视频画面,至少两个摄像头中各个摄像头与主播所站立的水平地面之间的距离相等,且至少两个摄像头中每相邻的两个摄像头之间的距离不大于第一距离,第一距离是指使每相邻的两个摄像头在同一时刻拍摄的两个视频画面的重合画面的面积不小于面积阈值的最小距离;

拼接模块602,用于将至少两个视频画面进行拼接,拼接后的视频画面中每相邻的两个摄像头采集的两个视频画面的重合画面重叠;

获取模块603,用于基于拼接后的视频画面获取直播视频画面。

可选地,拼接模块602具体用于:

从至少两个视频画面中确定多个匹配点对,多个匹配点对中的每个匹配点对中包括至少两个视频画面中相邻的两个视频画面中的两个像素点;

基于多个匹配点对中的每个匹配点对生成一个特征向量,得到与多个匹配点对一一对应的多个特征向量;

基于多个特征向量对至少两个视频画面进行拼接。

可选地,获取模块603包括:

裁剪单元,用于基于参考画面长宽比例对拼接后的视频画面进行裁剪,得到直播视频画面。

可选地,裁剪单元包括:

确定子单元,用于在拼接后的视频画面中确定人脸所在区域的中心位置点;

裁剪子单元,用于基于中心位置点和参考画面长宽比例对拼接后的视频画面进行裁剪,得到直播视频画面。

可选地,裁剪子单元具体用于:

确定拼接后的视频画面的宽度,并基于拼接后的视频画面的宽度和参考画面长宽比例确定第一长度;

基于中心位置点在拼接后的视频画面中确定第一裁剪线和第二裁剪线,第一裁剪线和第二边裁剪线均与拼接后的视频画面的宽度方向平行,且中心位置点到第一裁剪线的距离以及中心位置点到第二裁剪线的距离均为第一长度的一半;

将除第一裁剪线与第二裁剪线之间的画面之外的其他画面删除,得到直播视频画面。

需要说明的是:上述实施例提供的获取直播视频画面的装置在获取直播视频画面时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的获取直播视频画面的装置与获取直播视频画面的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图7示出了本申请一个示例性实施例提供的用于获取直播视频画面的终端700的结构框图。其中,该终端可以是笔记本电脑、台式电脑、智能手机或平板电脑等。

通常,终端700包括有:处理器701和存储器702。

处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令,其中,该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的获取直播视频画面的方法。

在一些实施例中,终端700还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。

外围设备接口703可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路704用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路704还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本申请对此不加以限定。

显示屏705用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置终端700的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在终端700的不同表面或呈折叠设计;在再一些实施例中,显示屏705可以是柔性显示屏,设置在终端700的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用lcd(liquidcrystaldisplay,液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件706用于采集图像或视频。可选地,摄像头组件706包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路707还可以包括耳机插孔。

定位组件708用于定位终端700的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件708可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统或欧盟的伽利略系统的定位组件。

电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于:加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。

加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号,控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器712可以检测终端700的机体方向及转动角度,陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3d动作。处理器701根据陀螺仪传感器712采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时,可以检测用户对终端700的握持信号,由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时,由处理器701根据用户对触摸显示屏705的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器714用于采集用户的指纹,由处理器701根据指纹传感器714采集到的指纹识别用户的身份,或者,由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器701授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商logo时,指纹传感器714可以与物理按键或厂商logo集成在一起。

光学传感器715用于采集环境光强度。在一个实施例中,处理器701可以根据光学传感器715采集的环境光强度,控制触摸显示屏705的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏705的显示亮度;当环境光强度较低时,调低触摸显示屏705的显示亮度。在另一个实施例中,处理器701还可以根据光学传感器715采集的环境光强度,动态调整摄像头组件706的拍摄参数。

接近传感器716,也称距离传感器,通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中,当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时,由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态;当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时,由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。

也即是,本申请实施例不仅提供了一种获取直播视频画面的终端,包括处理器和用于存储处理器可执行指令的存储器,其中,处理器被配置为执行图2和3所示的实施例中的获取直播视频画面的方法,而且,本申请实施例还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,该计算机程序被处理器执行时可以实现图2-3所示的实施例中获取直播视频画面的方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的可选实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1