基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统与流程

1.本发明涉及led显示屏显示技术领域，尤其涉及一种基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统。


背景技术：

2.在电影拍摄时，若在实际场景下，会采用多个不同位置(机位)的摄像机进行拍摄，但相对于实际背景拍摄来说，多个摄像机拍摄到的背景会由于实物的三维特性，不同机位形成的拍摄效果会存在明显的差别，也即每个摄像机拍摄到的背景效果是不一致的。若采用背景图像led显示屏幕来构成虚拟的背景，并采用多机位的摄像机拍摄led显示屏幕时，通常只能拍到一个完全相同的背景图像(在led显示屏幕仅显示一个画面时，两个或多个摄像机拍摄到的背景图像完全相同)，与实际场景会存在不一致的拍摄效果。
3.因此本领域技术人员需要在不同机位摄像机拍摄到不同的背景图像时，保证每个机位的摄像机在同一个led显示屏幕上拍到不同情况下的背景图像。


技术实现要素：

4.针对现有技术中的技术问题，本发明提供一种基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统。
5.一种基于多帧图像的视频处理方法，包括：
6.获取拍摄需求信息，并根据拍摄需求信息确定所需摄像机的数量n；
7.收取图像信号源，并根据摄像机的数量n对图像信号源中所包含的背景图像进行编排，得到背景图像文件；
8.根据图像信号源的播放帧率计算背景图像文件的显示帧率，并根据显示帧率以及摄像机的数量n计算每个摄像机相邻两次拍摄之间的拍摄间隔时间；拍摄间隔时间＝n/显示帧率；
9.将具备显示帧率的背景图像文件向led显示屏发送。
10.进一步的，根据摄像机的数量n对图像信号源中所包含的背景图像进行编排，包括：
11.若图像信号源为单信号源，则将图像信号源的每一帧画面拆分成n张背景图像，并按照顺序依次排列；
12.若图像信号源为多信号源，则将各个图像信号源中的每一帧画面均作为一个背景图像，并依次交叉排列。
13.本发明还包括一种基于多帧图像的视频处理设备，视频处理设备包括信号获取模块、图像编排模块、显示帧率设定模块以及发送模块，其中，
14.信号获取模块，与图像编排模块相连接，用于获取拍摄需求信息，并根据拍摄需求信息确定所需摄像机的数量n，以及收取图像信号源；
15.图像编排模块，与信号获取模块、显示帧率设定模块相连接，用于根据摄像机的数
量n对图像信号源中所包含的背景图像进行编排，得到背景图像文件；
16.显示帧率设定模块，与图像编排模块、发送模块相连接，用于根据图像信号源的播放帧率计算背景图像文件的显示帧率，并根据显示帧率以及摄像机的数量n计算每个摄像机相邻两次拍摄之间的拍摄间隔时间；拍摄间隔时间＝n/显示帧率；
17.发送模块，与显示帧率设定模块相连接，用于将具备显示帧率的背景图像文件向led显示屏发送。
18.本发明还包括一种基于led显示屏的虚拟背景拍摄系统，系统包括权利要求3的视频处理设备，还包括发送卡、led显示屏以及n个摄像机，其中：
19.视频处理设备，与发送卡相连接，用于向发送卡发送具备显示帧率的背景图像文件，以及向发送卡发送显示控制指令；还与n个摄像机分别连接，且与摄像机同步锁定；
20.发送卡，与视频处理设备及led显示屏相连接，用于接收并存储背景图像文件，以及读取并向led显示屏发送背景图像文件；还用于接收显示控制指令并向led显示屏发送；
21.led显示屏，与发送卡相连接，用于接收并存储背景图像文件，以及根据显示控制指令对背景图像文件按照显示帧率进行轮巡播放；
22.n个摄像机，与视频处理设备连接并同步锁定，n个摄像机在视频处理设备发送显示控制指令时，每个摄像机按拍摄间隔时间依次对led显示屏进行轮换拍摄，使得每个摄像机仅拍摄到与之对应的背景图像。
23.进一步的，发送卡接收并存储背景图像文件，以及读取并向led显示屏发送背景图像文件，包括：
24.将背景图像文件中的背景图像写入ddr模块中；
25.对ddr模块中的背景图像按照编排顺序重复读取，并向led显示屏发送。
26.进一步的，视频处理设备中，
27.信号获取模块，还用于根据拍摄需求信息确定每个摄像机的拍摄位置；
28.图像编排模块，还用于根据背景图像的分辨率以及对应摄像机的拍摄位置，确定背景图像在led显示屏的显示区域及未显示区域。
29.进一步的，将背景图像文件中的背景图像写入ddr模块中，包括：
30.根据led显示屏的分辨率大小，在ddr模块中划分出大小对应的若干个存储区域；
31.根据每个背景图像在led显示屏的显示区域及未显示区域，将每个背景图像分别存储在存储区域中。
32.进一步的，将背景图像文件中的背景图像写入ddr模块中，包括：
33.以坐标形式将背景图像写入ddr模块中；
34.以背景图像的(0,0)坐标作为读取所有背景图像的起始坐标，以每个背景图像的最末坐标作为读取该背景图像的结束坐标，将起始坐标及结束坐标分别对应背景图像进行存储。
35.本发明的基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统，根据拍摄需求信息以及背景图像生成具有设定显示帧率的背景图像文件，从而由摄像机按照所计算的拍摄间隔时间进行拍摄，解决了当前采用led显示屏图像作为拍摄背景时，多个摄像机拍摄到的背景图像与实际场景存在不一致的问题，本发明使得摄像机拍摄的背景图像与现实中物体显示效果更加贴近，给人的观感也更加真实，同时也解决了当前影视拍摄场景中无法
进行实地拍摄的问题，从而提高了拍摄效率。
附图说明
36.为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
37.图1为本发明实施例的一种基于多帧图像的视频处理方法的步骤流程图；
38.图2为本发明实施例的一种基于多帧图像的视频处理设备的结构组成图；
39.图3为本发明实施例的一种基于led显示屏的虚拟背景拍摄系统的结构组成图。
具体实施方式
40.下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。
41.本发明实施例的一种基于多帧图像的视频处理方法，如图1所示，包括：
42.步骤s10：获取拍摄需求信息，并根据拍摄需求信息确定所需摄像机的数量n。
43.本发明实施例以两个摄像机为例，对整个方案进行示例说明。
44.步骤s20：收取图像信号源，并根据摄像机的数量n对图像信号源中所包含的背景图像进行编排，得到背景图像文件。
45.具体的，步骤s20中：根据摄像机的数量n对图像信号源中所包含的背景图像进行编排，包括：
46.若图像信号源为单信号源，则将图像信号源的每一帧画面拆分成n张背景图像，并按照顺序依次排列。
47.在单信号源传输方式下，该信号源中的每一帧画面均为背景图像拼合形成，所以此步骤将每一帧画面进行拆分，拆分方式则根据发送前的拼合方式进行，例如将两张背景图像分为左半部分与右半部分(或上半部分、下半部分)进行拼合，则相应的，将画面左右(上下)分开，分为两个背景图像，本实施例在具体实现时不限定具体的拆分方式，既可以对所有的画面进行上下(或左右)拆分，也可以对前一帧画面进行上下拆分，对下一帧画面进行左右拆分，具体的拆分区域只需要根据先前的拼合关系对应决定。对单信号源下的每一帧画面均需要按照上方形式进行拆分，再按照拆分的顺序依次排列，例如，第一帧画面拆分为“1上”、“1下”，第二帧画面拆分为“2上”、“2下”，第三帧画面拆分为“3上”、“3下”，所以背景画面的排列顺序为：拆分为“1上”、“1下”、“2上”、2下”、“3上”、“3下”，以此类推。以上示例对应有两个摄像机，可分别对应拍摄“上”背景画面与“下”背景画面。
48.若图像信号源为多信号源，则将各个图像信号源中的每一帧画面均作为一个背景图像，并依次交叉排列。
49.例如收到两个图像信号源分别为a与b，而图像信号源a与b均包含有多帧画面，分别为a1、a2、a3、a4
……
，b1、b2、b3、b4
……
，这些画面均作为单独的一张背景图像，依次交叉
排列即为：a1、b1、a2、b2、a3、b3、a4、b4
……
以此类推。所以两个摄像机分别对应拍摄“a”背景画面与“b”背景画面。如果有5个摄像机，分别对应图像信号源a、b、c、d、e，则本步骤将对这5个图像信号源中的画面依次交叉排列，而a、b、c、d、e的顺序则需要对应后续实施例的摄像机的拍摄顺序，所以视具体的拍摄需求来设定即可。
50.通常情况下，各个摄像机所拍摄的角度并不相同，所以各个摄像机对应拍摄到的背景图像虽属于相同或相近似的场景，但具体内容却不一样。例如1号摄像机从人物左侧进行拍摄，则对应的背景图像a应当为左侧视角的布景图，而2号摄像机从人物右侧进行拍摄时，则对应的背景图像b应当为右侧视角的布景图，这两个方向的背景图像内容应当为同一场景，但由于视角的关系，图像中的部分物体会有对应的尺寸(距离近的物品尺寸大、距离远的物品尺寸小)，也会具有不同视角的变形。同一摄像机所拍到的背景图像可以完全相同也可以有所不同，完全相同的背景图像经拍摄后所展现的是一种背景静止的效果，例如建筑物，而略微变化的背景图像经拍摄后所展现的是一个动态变化的效果，例如风景。
51.步骤s30：根据图像信号源的播放帧率计算背景图像文件的显示帧率，并根据显示帧率以及摄像机的数量n计算每个摄像机相邻两次拍摄之间的拍摄间隔时间；拍摄间隔时间＝n/显示帧率。
52.背景图像文件的显示帧率体现的是该背景图像文件在led显示屏上显示时，相邻两张背景图像的播放间隔时间。例如图像信号源为单信号源时，如果该图像信号源的播放帧率为60hz，对应有两个摄像机进行拍摄时，则背景图像文件的显示帧率为120hz，背景图像文件中的相邻两帧画面显示的时间间隔为8.33ms(1/120计算所得)，任意一个摄像机实现相邻两次拍摄时，拍摄间隔时间＝2/120＝16.67ms，所以在摄像机对led显示屏进行拍摄时，1号摄像机每16.67ms拍摄一次led显示屏，2号摄像机每16.67ms拍摄一次led显示屏，若背景图像文件中的背景图像编排的顺序为ab，则在led显示屏显示图像信号源a中的背景图像时，由1号摄像机对led显示屏进行拍摄，通过8.33ms后led显示屏显示图像信号源b中的背景图像，此时由2号摄像机对led显示屏进行拍摄，再经过8.33ms后led显示屏显示图像信号源a中的背景图像，此时再由1号摄像机对led显示屏进行拍摄，以此类推。所以，任意一个摄像机实现相邻的两次拍摄时，拍摄间隔时间为16.67ms。
53.步骤s40：将具备显示帧率的背景图像文件向led显示屏发送。
54.由led显示屏对已设定显示帧率的背景图像文件进行播放。
55.本发明还包括一种实施例为一种基于多帧图像的视频处理设备，如图2所示，视频处理设备101包括信号获取模块1011、图像编排模块1012、显示帧率设定模块1013以及发送模块1014，其中，
56.信号获取模块1011，与图像编排模块1012相连接，用于获取拍摄需求信息，并根据拍摄需求信息确定所需摄像机的数量n，以及收取图像信号源。
57.图像编排模块1012，与信号获取模块1011、显示帧率设定模块1013相连接，用于根据摄像机的数量n对图像信号源中所包含的背景图像进行编排，得到背景图像文件。
58.显示帧率设定模块1013，与图像编排模块1012、发送模块1014相连接，用于根据图像信号源的播放帧率计算背景图像文件的显示帧率，并根据显示帧率以及摄像机的数量n计算每个摄像机相邻两次拍摄之间的拍摄间隔时间；拍摄间隔时间＝n/显示帧率。
59.发送模块1014，与显示帧率设定模块1013相连接，用于将具备显示帧率的背景图
像文件向led显示屏发送。
60.本实施例视频处理设备101中各模块所实现的对应功能可参考前述对于基于多帧图像的视频处理方法的实施例进行实现，此处将不再赘述。
61.本发明还包括一种实施例为一种基于led显示屏的虚拟背景拍摄系统，如图3所示，系统包括上述实施例的视频处理设备101，还包括发送卡102、led显示屏103以及n个摄像机104，其中：
62.视频处理设备101，与发送卡102相连接，用于向发送卡102发送具备显示帧率的背景图像文件，以及向发送卡102发送显示控制指令；还与n个摄像机104分别连接，且与摄像机104同步锁定。
63.发送卡102，与视频处理设备101及led显示屏103相连接，用于接收并存储背景图像文件，以及读取并向led显示屏103发送背景图像文件；还用于接收显示控制指令并向led显示屏103发送。
64.led显示屏103，与发送卡102相连接，用于接收并存储背景图像文件，以及根据显示控制指令对背景图像文件按照显示帧率进行轮巡播放。
65.n个摄像机104，与视频处理设备101连接并同步锁定，n个摄像机104在视频处理设备101发送显示控制指令时，每个摄像机按拍摄间隔时间依次对led显示屏103进行轮换拍摄，使得每个摄像机104仅拍摄到与之对应的背景图像。
66.led显示屏103按照设定的显示帧率对背景图像文件进行轮巡播放时，结合前述实施例的实例，所形成的则是背景图像a1、背景图像b1、背景图像a2、背景图像b2、背景图像a3、背景图像b3、背景图像a4、背景图像b4
……
的连续播放的播放效果，且每两个背景图像之间的画面间隔为8.33ms，每播放图像信号源a中相邻的两个背景图像(例如a1与a2之间)所间隔的时间为16.67ms，每播放图像信号源b中相邻的两个背景图像(例如b2与b3之间)所间隔的时间也为16.67ms，自视频处理设备101发送显示控制指令后，led显示屏103首先播放图像信号源a中的背景图像，此时1号摄像机104对led显示屏103进行拍摄，当8.33ms后显示图像信号源b中的背景图像时，由2号摄像机104对led显示屏103进行拍摄，再过8.33ms后显示图像信号源a中的背景图像，再由1号摄像机104对led显示屏103进行拍摄，如此轮换拍摄，使得1号摄像机104始终拍摄到的是图像信号源a中的背景图像，而2号摄像机104始终拍摄到的是图像信号源b中背景图像。
67.视频处理设备101与摄像机104同步锁定，使得led显示屏103显示开始的时候，同时摄像机104也开始拍摄，从而实现同步性。视频处理设备101与摄像机104同步锁定的方式可采用与视频处理设备101相连接一项外部设备，该设备能够在视频处理设备101发送显示控制指令时向摄像机104发送同步信号，使得led显示屏103显示与摄像机104拍摄能够形成以上示例中相对应的效果。
68.具体的，发送卡102接收并存储背景图像文件，以及读取并向led显示屏103发送背景图像文件，包括：
69.将背景图像文件中的背景图像写入ddr模块中；
70.对ddr模块中的背景图像按照编排顺序重复读取，并向led显示屏103发送。
71.本实施例选用的ddr模块所具备的存储空间默认能够满足所有背景图像的写入。本实施例还存在一种情况为：先将图像信号源a中的背景图像写入发送卡102的第一个ddr
模块(也可为sdram模块)中，将图像信号源b中的背景图像写入第二个ddr模块(也可为sdram模块)中，在实际需要播放的时候，从第一个ddr模块(或sdram模块)中读取图像信号源a中的第一个背景图像并写入第三个ddr模块中，再从第二个ddr模块(或sdram模块)中读取图像信号源b中的第一张背景图像并写入第三个ddr模块中，再从第一个ddr模块(或sdram模块)中读取图像信号源a中的第二个背景图像并写入第三个ddr模块中，再从第二个ddr模块(或sdram模块)中读取图像信号源b中的第二张背景图像并写入第三个ddr模块中，直至将图像信号源a、b中的背景图像全部写入到第三个ddr模块中。在向led显示屏103发送时，从第三个ddr模块中依次重复读取背景图像，从而形成背景图像a1、背景图像b1、背景图像a2、背景图像b2、背景图像a3、背景图像b3、
……
、背景图像a1、背景图像b1、背景图像a2、背景图像b2、背景图像a3、背景图像b3、
……
的效果。
72.具体的，在本发明实施例的视频处理设备101中，信号获取模块1011，还用于根据拍摄需求信息确定每个摄像机104的拍摄位置；图像编排模块1012，还用于根据背景图像的分辨率以及对应摄像机104的拍摄位置，确定背景图像在led显示屏103的显示区域及未显示区域。
73.在前述实施例中可默认为将每个背景图像都全屏显示在led显示屏103上，所以从人体肉眼的观察角度来看，led显示屏103一直属于全屏显示，且显示的画面是背景图像a与背景图像b的叠加效果(因为人体视觉对帧率的识别远低于120hz)。若在保证拍摄效果的前提下，需要每个背景图像的分辨率最好相同，且全屏显示在led显示屏103上时仍旧能够保证最佳的显示效果。但是，通常情况下，各个背景图像的分辨率并不相同，如果屏幕过大，有些背景图像全屏显示在led显示屏103上时其清晰度会降低，这样就会影响最终的拍摄效果，所以本实施例将对背景图像的分辨率进行进一步的考虑，通过在led显示屏103的部分显示区域播放背景图像，以达到最佳的拍摄效果。而播放改背景图像的部分显示区域，则与对应摄像机104拍摄led显示屏103的拍摄位置(led显示屏103的部分区域)相对应，从而确定出背景图像在led显示屏103的显示区域及未显示区域，未显示区域可理解为不进行显示，或显示成黑色。
74.具体的，本实施例在上一实施例的基础上，将背景图像文件中的背景图像写入ddr模块中，包括：
75.根据led显示屏103的分辨率大小，在ddr模块中划分出大小对应的若干个存储区域；
76.根据每个背景图像在led显示屏103的显示区域及未显示区域，将每个背景图像分别存储在存储区域中。
77.如果背景图像包括a与b，本实施例中的背景图像a、背景图像b的显示区域既可以完全共用，也可以部分共用，或者不共用。而在最终led显示屏103上的显示效果实质上是共用部分以8.33ms时长间隔显示，而非共用部分的显示内容不会变化。根据每个背景图像在led显示屏103的显示区域及未显示区域，将每个背景图像分别存储在存储区域中，之后对背景图像进行读取时，在显示区域读取到图像数据可以反馈1，而在未显示区域读取到图像数据则反馈0。
78.具体的，本实施例在以上实施例的基础上，将背景图像文件中的背景图像写入ddr模块中，包括：
79.以坐标形式将背景图像写入ddr模块中；
80.以背景图像的(0,0)坐标作为读取所有背景图像的起始坐标，以每个背景图像的最末坐标作为读取该背景图像的结束坐标，将起始坐标及结束坐标分别对应背景图像进行存储。
81.此实施例与上一实施例的实现方式不同，本实施例不考虑未显示区域，只读取背景图像所包含的数据。
82.本发明实施例的基于多帧图像的视频处理方法、设备及虚拟背景拍摄系统，根据拍摄需求信息以及背景图像生成具有设定显示帧率的背景图像文件，从而由摄像机按照所计算的拍摄间隔时间进行拍摄，解决了当前采用led显示屏图像作为拍摄背景时，多个摄像机拍摄到的背景图像与实际场景存在不一致的问题，本发明使得摄像机拍摄的背景图像与现实中物体显示效果更加贴近，给人的观感也更加真实，同时也解决了当前影视拍摄场景中无法进行实地拍摄的问题，从而提高了拍摄效率。
83.以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。