一种视频图像处理的方法、系统及装置与流程

本发明涉及视频图像处理技术领域，尤其涉及一种视频图像处理的方法、系统及装置。

背景技术：

视频会议系统是通过网络通信技术来实现虚拟会议，使地理上分散的用户在影音视听上共聚一处，通过图形、声音等多种方式交流信息，支持人们远距离进行实时信息交流与共享、开展协同工作的应用系统。随着视频会议技术的日趋成熟，集音频、图形、图像、文字、数据共享、公文流转等为一体的视频会议越发普及，使越来越多的人开始享受到网上办公、远程医疗、远程通信、远程协作、远程培训等全新的工作模式。

在视频会议系统中，需要对多路视频图像进行处理，从而实现虚拟会议。现有的视频图像处理的过程为接收多个视频采集设备发送的多路视频图像，对所述多路视频图像进行h.264方式的编码压缩，根据用户选择的拼接样式，将经过编码压缩的多路视频图像拼接成一个视频图像，拼接完成后将这个视频图像发送给发送请求的用户。现有的视频图像处理时，通过对视频图像进行h.264方式的编码压缩，可以减小视频图像的数据量，但是不能改变视频图像的分辨率，如果采集的该多个视频图像的分辨率不同，则在进行拼接时，将会在不同的显示窗口显示不同分辨率的视频图像，而且如果在进行显示的时候，如果不同的显示窗口有不同的显示分辨率的需求，如果对应该显示窗口的视频图像与该窗口对应的显示分辨率不同，将无法完成高质量的显示。

技术实现要素：

本发明实施例提供了一种视频处理的方法、系统及装置，用以解决现有的视频图像处理过程中，如果视频图像的分辨率和显示窗口对应的显示分辨率不同时，则会影响视频图像的显示质量的问题。

本发明实施例提供了一种视频图像处理的方法，该方法包括：

接收至少一个视频采集设备发送的至少一个第一视频图像；

根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像；

在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

进一步地，所述根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像包括：

针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；

根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值，将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

进一步地，所述根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值之前，所述方法还包括：

针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置；

如果否，进行后续步骤。

进一步地，如果目标显示分辨率的显示窗口中每个像素点在该目标第一视频图像中的位置为该目标第一视频图像中的像素点的位置，将所述目标第一视频图像中该位置的像素点的像素值作为所述目标显示分辨率的显示窗口中该位置的像素点的像素值。

进一步地，所述根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像包括：

针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；

针对目标显示分辨率的显示窗口中每个像素点，判断所述目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中是否存在位于所述目标第一视频图像中的边界处的像素点；如果是，根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；如果否，根据该目标第一视频图像中每个像素点的像素值，采用双三次插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；

将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

进一步地，所述在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像包括：

根据用户选择的拼接样式和预先保存的拼接样式对应的掩码信息，在每个目标第一视频图像对应的显示窗口显示对应的每个第二视频图像。

另一方面，本发明实施例提供了一种视频图像处理的系统，所述系统包括图像处理设备和至少一个视频采集设备；其中，

所述视频采集设备，用于发送至少一个第一视频图像；

所述图像处理设备，用于接收至少一个视频采集设备发送的至少一个第一视频图像；根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像；在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

进一步地，所述视频采集设备，具体用于根据所述第一视频图像的时钟频率和自身的时钟频率，确定每时钟拍发送的像素点的数量，根据每时钟拍发送的像素点的数量，将所述第一视频图像发送到图像处理设备。

再一方面，本发明实施例提供了一种视频图像处理的装置，所述装置包括：

接收模块，用于接收至少一个视频采集设备发送的至少一个第一视频图像；

确定模块，用于根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像；

显示模块，用于在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

进一步地，所述确定模块，具体用于针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值，将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

进一步地，所述装置还包括：

判断模块，用于针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置；如果否，触发确定模块。

进一步地，所述判断模块，具体用于如果目标显示分辨率的显示窗口中每个像素点在该目标第一视频图像中的位置为该目标第一视频图像中的像素点的位置，将所述目标第一视频图像中该位置的像素点的像素值作为所述目标显示分辨率的显示窗口中该位置的像素点的像素值。

进一步地，所述确定模块，具体用于针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；针对目标显示分辨率的显示窗口中每个像素点，判断所述目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中是否存在位于所述目标第一视频图像中的边界处的像素点；如果是，根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；如果否，根据该目标第一视频图像中每个像素点的像素值，采用双三次插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

进一步地，所述显示模块，具体用于根据用户选择的拼接样式和预先保存的拼接样式对应的掩码信息，在每个目标第一视频图像对应的显示窗口显示对应的每个第二视频图像。

本发明实施例提供了一种视频处理的方法、系统及装置，所述方法包括：接收至少一个视频采集设备发送的至少一个第一视频图像；根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像；在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。由于在本发明实施例中，每个第二视频图像是根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法确定的，因此所述每个第二视频图像的分辨率与每个目标第一视频图像的显示窗口对应的目标显示分辨率是对应相同的，因此可以满足每个显示窗口的显示分辨率的需求，提高视频显示质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种视频图像处理的过程示意图；

图2为本发明实施例2提供的一种视频图像处理的过程示意图；

图3为本发明实施例2提供的视频采集设备发送第一视频图像示意图；

图4为本发明实施例2提供的图像处理设备接收第一视频图像示意图；

图5为本发明实施例2提供的dma实现过程示意图；

图6为本发明实施例2提供的寄存器中的部分信息示意图；

图7a-图7b为本发明实施例3提供的确定目标显示分辨率的显示窗口中像素点的像素值的示意图；

图8为本发明实施例3提供的第一视频图像缩放过程示意图；

图9为本发明实施例3提供的缩放运算过程示意图；

图10为本发明实施例4提供的视频图像缩放融合过程示意图；

图11为本发明实施例4提供的掩码定义规则示意图；

图12为本发明实施例4提供pcie实现过程示意图；

图13为本发明实施例4提供sdi实现过程示意图；

图14为本发明实施例提供的一种视频图像处理系统示意图；

图15为本发明实施例提供的一种视频图像处理装置结构示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种视频图像处理的过程示意图，该过程包括以下步骤：

s101：接收至少一个视频采集设备发送的至少一个第一视频图像。

本发明实施例提供的视频图像处理的方法应用于图像处理设备，所述图像处理设备包括pc、智能电视及手机等设备。

所述图像处理设备可以接收视频采集设备发送的第一视频图像，所述第一视频图像是由视频采集设备采集后发送给所述图像处理设备的。所述图像处理设备可以只接收一个视频采集设备发送的一个第一视频图像，也可以接收多个不同的视频采集设备发送的多个不同的第一视频图像，其中，一个视频采集设备发送一个第一视频图像，例如可以接收4个不同的视频采集设备发送的4个第一视频图像。

s102：根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像。

图像处理设备保存有用户需要的拼接样式，根据每个第一视频图像及用户选择的拼接样式，可以确定进行拼接的每个目标第一视频图像。图像处理设备保存有每种拼接样式对应的每个目标第一视频图像的显示窗口的信息，所述显示窗口的信息包括显示窗口的大小和显示窗口对应的目标显示分辨率，所述图像处理设备根据每个第一视频图像及用户选择的拼接样式，可以确定该拼接样式对应的每个显示窗口，针对每个显示窗口，预先保存有该显示窗口对应的第一视频图像，根据确定的每个显示窗口可以确定每个显示窗口对应的每个第一视频图像，所述每个第一视频图像即为进行拼接的每个目标第一视频图像以及每个目标第一视频图像的显示窗口的信息。

根据每个目标第一视频图像的分辨率、所述确定的显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法对所述目标第一视频图像进行缩放处理，所述预设的算法为现有的可以根据所述目标第一视频图像的分辨率和显示窗口对应的目标显示分辨率对所述目标第一视频图像进行处理的图像缩放算法，采用预设的算法对所述目标第一视频图像进行缩放处理，将缩放处理后的视频图像确定为对应每个目标显示分辨率的每个第二视频图像。

例如，所述图像处理设备接收了4个第一视频图像，分别为第一视频图像1、第一视频图像2、第一视频图像3和第一视频图像4。图像处理设备保存的拼接样式可以有“日”字形拼接样式、“品”字形拼接样式以及“田”字形拼接样式等等。以“品”字形拼接样式为例进行说明，例如根据用户选择的“品”字形拼接样式确定的进行拼接的每个目标第一视频图像分别为第一视频图像1、第一视频图像2和第一视频图像3。另外，图像处理设备针对每个显示窗口保存有该显示窗口对应的第一视频图像，比如“品”字形拼接样式中上方的显示窗口对应第一视频图像1，则根据第一视频图像1的分辨率、上方显示窗口的大小以及上方显示窗口对应的目标显示分辨率，采用预设的算法确定对应该目标显示分辨率的第二视频图像。

比如所述第一视频图像1为超高清分辨率4k相机采集的，则第一视频图像1的分辨率为4096×2160，图像处理设备针对“品”字形拼接样式，预先保存有该拼接样式中上方显示窗口的大小和上方显示窗口对应的目标显示分辨率，例如图像处理设备针对“品”字形拼接样式保存的上方显示窗口的大小为60cm×40cm，上方显示窗口对应的目标显示分辨率为1920×1080，采用预设的算法，根据第一视频图像1的分辨率4096×2160和上方显示窗口对应的目标显示分辨率1920×1080，可以将分辨率为4096×2160的第一视频图像1缩放为分辨率为1920×1080的第二视频图像，之后，可以在大小为60cm×40cm的上方显示窗口显示缩放后的所述分辨率为1920×1080的第二视频图像。

s103：在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

根据用户选择的拼接样式，可以确定每个目标第一视频图像的显示窗口，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像之后，在所述确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

由于在本发明实施例中，每个第二视频图像是根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法确定的，因此所述每个第二视频图像的分辨率与每个目标第一视频图像的显示窗口对应的目标显示分辨率是对应相同的，因此可以满足每个显示窗口的显示分辨率的需求，提高视频显示质量。

实施例2：

为了使确定的每个第二视频图像质量更好，在上述实施例的基础上，在本发明实施例中，所述根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像包括：

针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；

根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值，将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

为了在目标第一视频图像的分辨率和显示窗口对应的显示分辨率不同下，不影响第二视频图像的显示质量，需要根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像，从而使每个第二视频图像的分辨率与每个目标第一视频图像的显示窗口对应的目标显示分辨率对应相同。所述预设的算法可以为现有的图像缩放算法。在本发明实施例中，为了使确定的每个第二视频图像质量更好，采用双线性插值算法，确定对应每个目标显示分辨率的每个第二视频图像。

具体的，所述图像处理设备根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息之后，根据显示窗口的大小和显示窗口对应的目标显示分辨率，可以确定该目标显示分辨率的显示窗口中的每个像素点在该显示窗口中的位置，针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，可以确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置。

在确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置时，假设该目标第一视频图像的分辨率为m×n，该目标显示分辨率为a×b，则该目标第一视频图像与目标显示分辨率的显示窗口的边长比分别为m/a和n/b。目标显示分辨率的显示窗口中的第(i，j)个像素点，即第i行，第j列个像素点对应在该目标第一视频图像中的位置为(i×m/a，j×n/b)，这样，针对该目标显示分辨率的显示窗口中的每个像素点，可以确定该像素点在该目标第一视频图像中的位置。其中，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置的过程属于现有技术，在此不再对此过程进行赘述。

在确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置之后，在采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值时，针对目标显示分辨率的显示窗口中每个像素点，根据该像素点在该目标第一视频图像中的位置，可以确定在该目标第一视频图像中与该像素点的位置较小的设定数量的像素点，根据所述设定数量的像素点的像素值，以及该像素点在该目标第一视频图像中的位置，采用双线性插值算法，可以确定该像素点的像素值，进而可以确定该目标显示分辨率的显示窗口中每个像素点的像素值。

其中，针对目标显示分辨率的显示窗口中每个像素点，所述确定在该目标第一视频图像中与该像素点的位置距离较小的设定数量的像素点可以为确定在该目标第一视频图像中与该像素点的位置距离较小的4个像素点，根据所述4个像素点的像素值，以及该像素点在该目标第一视频图像中的位置，采用双线性插值算法，可以确定该像素点的像素值，进而可以确定该目标显示分辨率的显示窗口中每个像素点的像素值。

例如，目标显示分辨率的显示窗口中的某一像素点在该目标第一视频图像中的位置为(2.3，4.8)，则在该目标第一视频图像中与该位置为(2.3，4.8)距离较小的4个像素点的位置分别为(2，4)、(2，5)、(3，4)，(3，5)，根据该目标第一视频图像中位置为(2，4)、(2，5)、(3，4)，(3，5)的像素点的像素值，采用双线性插值算法，可以确定位置为(2.3，4.8)对应的像素点的像素值。其中，在该目标第一视频图像中，根据与该像素点的位置距离较小的4个像素点的像素值，以及该像素点的位置，采用双线性插值算法，确定该像素点的像素值的过程属于现有技术，在此不再对此过程进行赘述。

采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值，确定了像素值的该目标显示分辨率的显示窗口对应的图像，即为该目标第一视频图像对应的第二视频图像。

由于在本发明实施例中，根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值，将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像，使确定的每个第二视频图像质量更好。

在本发明实施例中，针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置，针对目标显示分辨率的显示窗口中每个像素点，该像素点在该目标第一视频图像中的位置可能是该目标第一视频图像中的像素点的位置，也可能不是该目标第一视频图像中的像素点的位置，针对这两种情况，可以采用不同的方式确定目标显示分辨率的显示窗口中每个像素点的像素值。

因此，在本发明实施例中，所述根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值之前，所述方法还包括：

针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置；

如果否，进行后续步骤。

针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置后，针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置，如果该像素点在该目标第一视频图像中的位置不是该目标第一视频图像中的像素点的位置，则根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值。

如果目标显示分辨率的显示窗口中每个像素点在该目标第一视频图像中的位置为该目标第一视频图像中的像素点的位置，将所述目标第一视频图像中该位置的像素点的像素值作为所述目标显示分辨率的显示窗口中该位置的像素点的像素值。

针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置，如果是，将所述目标第一视频图像中该位置的像素点的像素值作为所述目标显示分辨率的显示窗口中该位置的像素点的像素值。

例如目标显示分辨率的显示窗口中的某一像素点在该目标第一视频图像中的位置为(123，38)，则该目标第一视频图像中位置为(123，38)的像素点的像素值即为目标显示分辨率的显示窗口中的所述某一像素点的像素值。

图2为本发明实施例提供的一种视频图像处理的过程示意图，该过程包括以下步骤：

s201：接收至少一个视频采集设备发送的至少一个第一视频图像。

s202：根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息。

s203：针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置。

s204：针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置，如果是，进行s205，如果否，进行s206。

s205：将所述目标第一视频图像中该位置的像素点的像素值作为所述目标显示分辨率的显示窗口中该位置的像素点的像素值。

s206：根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值。

s207：将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

s208：在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

在本发明实施例中，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像之前，需要根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，所述第一视频图像为保存在图像处理设备中的第一视频图像。

图像处理设备在接收到视频采集设备发送的第一视频图像后，需要对第一视频图像进行处理并保存，下面对图像处理设备对第一视频图像进行处理并保存的过程进行说明：

图像处理设备中包括可编程门阵列(fieldprogrammablegatearray，fpga)，通过所述fpga可以接收至少一个视频采集设备发送的至少一个第一视频图像。一般情况下，视频采集设备采集第一视频图像之后，如图3所示，通过传感器sensor将所述第一视频图像传输到视频采集设备中的fpga，所述fpga可以对第一视频图像进行图像信号处理(imagesignalprocessing，isp)，从而过滤掉所述第一视频图像携带的噪声。如果视频采集设备为4k相机，则采集的每个第一视频图像为4k视频图像，针对于4k60fps分辨率和帧率的视频图像，由于所述视频图像的时钟频率很高，视频采集设备自身的时钟频率较低，为了实现对所述视频图像的实时处理，在本发明实施例中采用每时钟拍处理多个像素点的方式将所述视频图像发送到图像处理设备。在发送时，所述fpga中的高清晰度多媒体接口(highdefinitionmultimediainterface，hdmi)ip核(hdmitxcore)可以根据hdmi协议将所述视频图像转换为并行链路数据，然后通过高速接口，将所述并行链路数据发送到图像处理设备。在本发明实施例中，视频图像处理的整个过程是以ip核为基础进行设计的，将视频图像处理过程中复杂的功能模块设计成可以修改参数的模块，使得设计简单，而且大大降低了设计周期。基于ip核的设计，视频采集设备可以通过hdmitxcore将采集的视频图像经过处理发送到图像处理设备，而不需要多种复杂的功能模块来实现。

如图4所示，图像处理设备中的fpga可以接收至少一个视频采集设备发送的并行链路数据，进而通过所述fpga中的hdmi接收(rx)将所述并行链路数据传输到所述fpga中的直接内存存取(directmemoryaccess，dma)，所述dma可以将所述并行链路数据转换为总线数据，进而将总线数据保存到双倍速率同步动态随机存储器(doubledatarate，ddr)中。

dma的实现过程如图5所示，由于并行链路数据的数据位宽与总线数据的数据位宽不一致，因此在将所述并行链路数据转换为总线数据时，需要经过先入先出队列(firstinputfirstoutput，fifo)进行缓冲。例如每时钟拍处理3个像素点，每个像素点的位宽为16bit，则所述并行链路数据的位宽为16bit×3＝48bit，而总线数据的位宽由总线规范而定，一般为256bit。通过fifo可以将位宽为48bit的并行链路数据转换为位宽为256bit的总线数据。具体的，并行链路数据传输到fifo，dma可以判断fifo中的数据量是否达到预设的数据量，如果达到，则从fifo中取数据，从而实现并行链路数据到总线数据的转换，进而将总线数据保存到ddr中。

dma在将总线数据保存到ddr中时，需要根据图像处理设备提供的地址信息，将总线数据保存到ddr中，所述地址信息配置在图像处理设备的寄存器中，本发明实施例中寄存器中的部分信息如图6所示。如图6，寄存器中配置了地址信息addr、比特bit、名称name、数值定义、读或者写r或w、初始值以及功能function等信息，所述信息都存在相应的对应关系。例如数据存储地址为0×0，比特为[7:0]，名称为det_fnum，数值定义为u.8.0，可以对该数据进行读或者写等等。所述寄存器中配置有数据存储地址，dma根据在寄存器中配置的存储地址，可以将总线数据保存到ddr中

在寄存器中配置地址信息时，需要判断总线数据是逐行视频数据还是隔行视频数据。如果是逐行视频数据，确定逐行视频数据的第一行视频信息对应的地址为baseaddr，之后的每行视频数据对应的地址为，与该行视频数据相邻且位于该行视频数据之前的视频数据对应的地址加上一个步幅stride；如果是隔行视频数据，将所述隔行视频数据划分为奇场视频数据和偶场视频数据，确定所述奇场视频数据的第一行视频数据对应的地址为baseaddr，之后的每行奇场视频数据对应的地址为，与该行奇场视频数据相邻且位于该行奇场视频数据之前的奇场视频数据对应的地址加上两个stride；确定所述偶场视频数据的第一行视频数据对应的地址为baseaddr加上一个stride，之后的每行偶场视频数据对应的地址为，与该行偶场视频数据相邻且位于该行偶场视频数据之前的偶场视频数据对应的地址加上两个stride。

其中，判断总线数据是逐行视频数据还是隔行视频数据，以及针对逐行视频数据或隔行视频数据配置地址信息的过程属于现有技术，在此不再对此过程进行赘述。

图像处理设备将接收到的第一视频图像保存在ddr中，根据用户选择的拼接样式，可以确定该拼接样式对应的每个显示窗口，针对每个显示窗口，预先保存有该显示窗口对应的第一视频图像中每行视频数据在ddr中的地址，根据确定的每个显示窗口可以确定每个显示窗口对应的第一视频图像中每行视频数据在ddr中的地址，即可确定进行拼接的每个目标第一视频图像。根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用双线性插值算法，确定对应每个目标显示分辨率的每个第二视频图像。

实施例3：

为了进一步使确定的每个第二视频图像质量更好，在上述各实施例的基础上，在本发明实施例中，所述根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像包括：

针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；

针对目标显示分辨率的显示窗口中每个像素点，判断所述目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中是否存在位于所述目标第一视频图像中的边界处的像素点；如果是，根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；如果否，根据该目标第一视频图像中每个像素点的像素值，采用双三次插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；

将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置后，针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置，如果是，将所述目标第一视频图像中该位置的像素点的像素值作为所述目标显示分辨率的显示窗口中该位置的像素点的像素值；如果否，在本发明实施例中，采用双线性插值算法或双三次插值算法，确定该像素点的像素值。

由于采用双线性插值算法确定该目标显示分辨率的显示窗口中每个像素点的像素值时，针对目标显示分辨率的显示窗口中每个像素点，根据该目标第一视频图像中与该像素点的位置距离较小的第一数量的像素点的像素值，确定该像素点的像素值。如图7a所示，该第一数量为4时，图中黑色圆点为该目标显示分辨率的显示窗口中某个像素点在该目标第一视频图像中的位置，周围4个白色圆点为该目标第一视频图像中与该像素点距离较小的4个像素点，根据图7a所示的该目标第一视频图像中的4个像素点的像素值，采用双线性插值算法，可以确定图7a所示的该目标显示分辨率的显示窗口中该像素点的像素值。

采用双三次插值算法确定该目标显示分辨率的显示窗口中每个像素点的像素值时，针对目标显示分辨率的显示窗口中每个像素点，根据该目标第一视频图像中与该像素点的位置距离较小的第二数量的像素点的像素值，确定该像素点的像素值。如图7b所示，该第二数量为16时，图中黑色圆点为该目标显示分辨率的显示窗口中某个像素点在该目标第一视频图像中的位置，周围16个白色圆点为该目标第一视频图像中与该像素点距离较小的16个像素点，根据图7b所示的该目标第一视频图像中的16个像素点的像素值，采用双三次插值算法，可以确定图7b所示的该目标显示分辨率的显示窗口中该像素点的像素值。

根据该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置，确定目标显示分辨率的显示窗口中每个像素点的像素值时，具体是采用双线性插值算法确定，还是采用双三次插值算法确定，可以根据以下方法确定。

针对目标显示分辨率的显示窗口中每个像素点，所述图像处理设备判断所述目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中是否存在位于所述目标第一视频图像中的边界处的像素点，所述设定数量一般可以取4。在该目标第一视频图像中，将位于最上方一行、最下方一行、最左侧一列和最右侧一列的像素点作为边界处的像素点，图像处理设备可以识别位于该目标第一视频图像中的边界处的像素点。

因为在本发明实施例中，如果目标显示分辨率的显示窗口中某一像素点在目标第一视频图像中的位置与该目标第一视频图像中像素点的位置不同，则采用双线性插值或双三次插值算法确定目标显示分辨率的显示窗口中该像素点的像素值。因此在确定与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点时，确定的是以该像素点为中心，位于该像素点周围的设定数量的像素点。例如如果该设定数量为4，则如图7a所示，如果该设定数量为16，则如图7b所示。而采用双三次插值算法确定的像素点的像素值，较双线性插值算法确定的像素点的像素值更加的平滑，但产生该效果的原因是采用的与像素点距离较小的设定数量的像素点是位于该像素点的四周的，如果采用非以该像素点为中心的设定数量的距离较小的像素点，确定该像素点的像素值，则确定的像素值可能会存在偏差。

因此，针对目标显示分辨率的显示窗口中每个像素点，如果该目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中存在位于该目标第一视频图像中的边界处的像素点，则说明该像素点很靠近目标第一视频图像的某一边界，因此采用双三次插值算法确定该像素点的像素值时，需要16个距离该像素点距离较小的像素点的像素值，则此时确定的该16个像素点中位于该边界侧的像素点比较少，因此确定的像素点的像素值不是很准确。因此在本发明实施例中如果该目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中存在位于该目标第一视频图像中的边界处的像素点，则采用双线性插值算法，确定该像素点的像素值。

如果该目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中不存在位于该目标第一视频图像中的边界处的像素点，则可以采用双三次插值算法，确定该像素点的像素值。进而可以确定该目标显示分辨率的显示窗口中每个像素点的像素值。

例如，目标显示分辨率的显示窗口中的某一像素点在该目标第一视频图像中的位置为(1.3，6.5)，则在该目标第一视频图像中与该位置为(1.3，6.5)的距离较小的4个像素点的位置分别为(1，6)、(1，7)、(2，6)，(2，7)，由于位置为(1，6)和(1，7)的两个像素点为位于该目标第一视频图像中的边界处的像素点，因此，采用双线性插值算法，确定该位置为(1.3，6.5)的像素点的像素值；再例如，目标显示分辨率的显示窗口中的某一像素点对应在该目标第一视频图像中的位置为(3.6，8.4)，则在该目标第一视频图像中与该位置为(3.6，8.4)的距离较小的4个像素点的位置坐标分别为(3，8)、(3，9)、(4，8)，(4，9)，由于位置为(3，8)、(3，9)、(4，8)，(4，9)的像素点都不位于该目标第一视频图像中的边界处，因此，采用双三次插值算法，确定该位置为(3.6，8.4)的像素点的像素值，其中，确定该位置为(3.6，8.4)的像素点的像素值时，该目标第一视频图像中与该位置距离较小的16个像素点的位置分别为(2，7)、(2，8)、(2，9)，(2，10)、(3，7)、(3，8)、(3，9)，(3，10)、(4，7)、(4，8)、(4，9)，(4，10)、(5，7)、(5，8)、(5，9)，(5，10)。

其中，采用双线性插值算法和双三次插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值的过程属于现有技术，在此不再对此过程进行赘述。

采用双线性插值算法或双三次插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值，确定了像素值的该目标显示分辨率的显示窗口对应的图像，即为该目标第一视频图像对应的第二视频图像。

由于在本发明实施例中，针对目标显示分辨率的显示窗口中每个像素点，如果该目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中存在位于该目标第一视频图像中的边界处的像素点，根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该像素点的像素值；如果不存在，根据该目标第一视频图像中每个像素点的像素值，采用双三次插值算法，确定该像素点的像素值；将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像，进一步使确定的每个第二视频图像质量更好。

在本发明实施例中，图像处理设备根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用双线性插值算法或双三次插值算法，对第一视频图像进行缩放，确定对应每个目标显示分辨率的每个第二视频图像。

具体的缩放过程如图8所示，首先将目标第一视频图像中的像素点信息输入异步fifo，采用双线性插值算法或双三次插值算法，进行水平缩放，经过行缓冲后，采用双线性插值算法或双三次插值算法，进行垂直缩放，经过缓冲后输出缩放处理后的像素点信息。其中，采用双线性插值算法或双三次插值算法，进行水平缩放和垂直缩放的过程属于现有技术，在此不再对此过程进行赘述。另外，在进行缓冲处理时，如果目标第一视频图像的时钟频率高于图像处理设备自身的时钟频率，为了能够实现对视频图像的实时处理，采用每时钟拍处理多个像素点的方式进行缓冲处理。例如目标第一视频图像为4k60fps视频图像，则需要根据4k60fps视频图像的时钟频率和图像处理设备自身的时钟频率，确定确定每时钟拍发送的像素点的数量，根据每时钟拍发送的像素点的数量，将所述第一视频图像发送到图像处理设备。

图像处理设备在采用双线性插值或双三次插值算法对目标第一视频图像进行缩放处理时，需要确定每种算法的插值系数，如图9所示，图中只读存储器镜像rom用来存储对应的插值系数，d为寄存器单元，用于对进行缩放处理的像素点进行缓冲，得到像素流。reg为操作指令。在实现过程中，插值系数的确定需要根据基函数系数以及运算定点化时的数据比例来确定。确定插值系数的过程属于现有技术，在本发明实施例中，不再对此过程进行赘述。每行像素点或者每列像素点需要运算的四个点与对应的插值系数进行乘法运算，然后将四个像素点的运算结果求和得到插值后的像素值。

实施例4：

为了保证在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像，在上述各实施例的基础上，在本发明实施例中，所述在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像包括：

根据用户选择的拼接样式和预先保存的拼接样式对应的掩码信息，在每个目标第一视频图像对应的显示窗口显示对应的每个第二视频图像。

图像处理设备根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像之后，需要在显示界面上显示每个第二视频图像的像素点。在本发明实施例中，利用掩码对显示界面上的每个像素点进行标记，图像处理设备中预先保存有拼接样式对应的掩码信息，根据用户选择的拼接样式和预先保存的拼接样式对应的掩码信息，确定在每个目标第一视频图像对应的显示窗口显示对应的每个第二视频图像。

具体的，根据用户选择的拼接样式和预先保存的拼接样式对应的掩码信息，可以确定该拼接样式对应的显示界面上的每个像素点的掩码信息。根据用户选择的拼接样式，不同的拼接样式对应的显示窗口的大小和目标分辨率是不同的，因此在确定每个像素点的掩码信息时，是根据该拼接样式，确定该拼接样式对应的每个显示窗口的大小，以及目标显示分辨率，从而确定该拼接样式对应的显示界面上的每个像素点的掩码信息。该掩码信息表示是否在该像素点的位置显示对应的第二视频图像中相应像素点的信息。具体的例如如果该掩码信息为0，则表示不显示该第二视频图像中的像素点的信息，如果掩码信息为1，则表示显示该第二视频图像中的像素点的信息。因此在确定该拼接样式对应的显示界面上的每个像素点的掩码信息时，将显示界面上每个显示窗口对应的区域，根据该显示窗口的目标显示分辨率，确定该区域内每个像素点的掩码信息，其中，显示界面上每个显示窗口对应的区域内的每个像素点的掩码信息为1，显示界面上的显示窗口之外的每个像素点的掩码信息为0。

由于根据用户选择的拼接样式，可以确定进行拼接的每个目标第一视频图像的显示窗口的信息，即可以确定所述拼接样式对应的显示界面上每个显示窗口的信息，针对每个显示窗口，预先保存有该显示窗口显示的视频图像，并且，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像，所述每个第二视频图像的分辨率与其对应的显示窗口的分辨率是相同的，因此，根据显示界面中每个像素点的掩码信息，可以在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

例如，所述图像处理设备接收了4个第一视频图像，分别为第一视频图像1、第一视频图像2、第一视频图像3和第一视频图像4。用户选择的拼接样式为“品”字形拼接样式，根据用户选择的拼接样式确定的每个目标第一视频图像分别为第一视频图像1、第一视频图像2和第一视频图像3。针对该“品”字形拼接样式预先保存的每个显示窗口显示的视频图像分别为第一视频图像1的显示窗口为上方窗口，第一视频图像2的显示窗口为左下方窗口，第一视频图像3的显示窗口为右下方窗口。

例如显示界面的分辨率为4096×2160，即显示界面的水平方向有4096个像素点，竖直方向有2160个像素点。“品”字形拼接样式中的上方窗口对应的目标显示分辨率为1920×1080，左下方窗口对应的目标显示分辨率为1920×1080，右下方窗口对应的目标显示分辨率为1600×900，则根据用户选择的“品”字形拼接样式和根据用户选择的拼接样式计算出的所述“品”字形拼接样式对应的掩码信息，确定该“品”字形拼接样式对应的显示界面上的每个像素点的掩码信息，其中如果该掩码信息为0，则表示不显示该第二视频图像中的像素点的信息，如果掩码信息为1，则表示显示该第二视频图像中的像素点的信息。针对掩码信息为1的每个像素点，将第二视频图像中与该像素点对应的像素点的像素值作为显示界面上该像素点的像素值；针对掩码信息为0的每个像素点，根据预设的像素点的像素值确定显示界面上的该像素点的像素值。

在本发明实施例中，针对于掩码信息为0的每个像素点，根据预设的像素点的像素值确定掩码信息为0的每个像素点的像素值，例如预设的像素点的像素值为0，则将掩码信息为0的每个像素点的像素值确定为0。

由于在本发明实施例中，根据用户选择的拼接样式和根据所述拼接样式计算并保存的拼接样式对应的掩码信息，可以确定该拼接样式对应的显示界面上的每个像素点的掩码信息，该掩码信息表示是否在该像素点的位置显示对应的第二视频图像中相应像素点的信息。这样根据每个像素点的掩码信息，可以保证在显示界面上按照用户选择的拼接样式进行显示每个第二视频图像。

在本发明实施例中，图像处理设备在根据用户选择的拼接样式将视频图像显示到显示界面时，是通过根据所述拼接样式计算并保存的拼接样式对应的掩码信息完成的。拼接样式对应的掩码信息预先由软件写入ddr中存放，图像处理设备可以完成对第一视频图像的缩放和拼接，如图10所示，图像处理设备从ddr中取视频数据和掩码信息。图像处理设备接收到第一视频图像保存到ddr之后，可以根据用户选择的拼接样式完成对第一视频图像的缩放，图像处理设备从ddr中取视频数据后对视频数据进行缩放。图像处理设备对缩放后的视频数据以及掩码信息进行运算，得到与用户选择的拼接样式对应的视频数据，将得到与用户选择的拼接样式对应的视频数据写回ddr中存放，以便进行后续的对视频数据的处理或显示等操作。

本发明实施例提供的掩码信息定义的规则如图11所示，每个像素点的掩码信息由软件根据用户选择的拼接样式计算出之后写入到ddr中存放，图像处理设备从ddr中读取掩码信息，掩码信息中以每4个字节为一个信息单位，第一个信息单位的bit31-24为掩码信息起始标志，如图11所示，为固定值5a，bit23-0代表有效掩码信息单位长度。针对每个显示界面，如果该显示界面的掩码信息起始标志不为5a，则该掩码无效，则将该显示界面中的所有像素点的掩码位设置为0，即该显示界面中不显示第二视频图像中的相应像素点。如图11所示，bit31代表像素点的掩码位。如果该显示界面的掩码信息起始标志为5a，则根据用户选择的拼接样式计算该显示界面中每个像素点的掩码信息。

例如，用户选择的拼接样式为“品”字形拼接样式，根据所述拼接样式，可以确定该拼接样式中的三个显示窗口在界面中的位置，根据用户选择的拼接样式计算该显示界面中每个像素点的掩码信息的过程为：图像处理设备将显示界面中的位于所述显示窗口中的像素点的掩码信息设置为1，将显示界面中的位于所述显示窗口之外的像素点的掩码信息设置为0。显示界面中的每个像素点按照掩码规则进行处理，即掩码位为1的像素点显示第二视频图像中的相应像素点，掩码位为0的像素点则显示预设像素点，预设像素点的像素值可以为0。图像处理设备可以将掩码运算后的数据进行融合，并将融合后的数据写回ddr，从而可以保证在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

针对写回到ddr中的视频数据，通过快捷外设互连标准(peripheralcomponentinterconnectexpress、pcie)，可以将所述视频数据发送到图像处理设备中的主处理器，所述主处理器可以根据需要对所述每个第一视频图像进行编码等处理。pcie的实现过程如图12所示，通过pcieipcore上的pcie接收端口pcie_rx可以将ddr中的视频数据传输到控制数据dma处理部分，控制数据dma处理部分可以完成对传输线脉冲发生器(transmissionlinepulse，tlp)的解析等处理，图像处理设备为控制数据dma处理部分提供主处理器的接口，控制数据dma处理部分根据所述提供的主处理器的接口，通过pcieipcore上的pcie发送端口pcie_tx，将完成解析等处理后的视频数据发送到主处理器。其中，控制数据dma处理单元可以完成对tlp的解析等处理的过程属于现有技术，在此不再对此过程进行赘述。

另外，针对写回到ddr中的视频数据，也可直接通过数字分量串行接口(serialdigitalinterface，sdi)将所述视频数据发送到显示界面上，具体的实现过程如图13所示，通过视频转换处理获取ddr中的视频数据，如果所述视频数据为4k60fps的视频数据，则采用每时钟拍处理多个像素点的方式获取ddr中的视频数据，并且通过超高清(ultrahighdefinition，uhd)sdiipcore将获取的视频数据转换为标准的并行同步视频信号，进而将所述标准的并行同步视频信号发送到显示界面上进行视频图像的显示。

实施例5：

图14为本发明实施例提供的一种视频图像处理系统示意图，所述系统包括图像处理设备141和至少一个视频采集设备142；其中，

所述视频采集设备142，用于发送至少一个第一视频图像；

所述图像处理设备141，用于接收至少一个视频采集设备142发送的至少一个第一视频图像；根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像；在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

如果视频采集设备142采集的第一视频图像为超高清分辨率4k视频图像，由于4k视频图像的时钟频率很高，而视频采集设备142自身的时钟频率较低，所以在发送第一视频图像时，一种方法可以提高视频采集设备142自身的时钟频率，使得视频采集设备142自身的时钟频率与4k视频图像的时钟频率相同，进而采用每时钟拍发送一个像素点的方式将4k视频图像发送到图像处理设备141。但是，由于硬件设备的限制，提高视频采集设备142自身的时钟频率，使视频采集设备142自身的时钟频率与4k视频图像的时钟频率相同几乎不能够实现，因此在本发明实施例中，所述视频采集设备142，具体用于根据所述第一视频图像的时钟频率和自身的时钟频率，确定每时钟拍发送的像素点的数量，根据每时钟拍发送的像素点的数量，将所述第一视频图像发送到图像处理设备141。

例如第一视频图像为4k视频图像，4k视频图像的时钟频率为600mhz，而视频采集设备142自身的时钟频率为200mhz，根据所述第一视频图像的时钟频率和自身的时钟频率，确定每时钟拍发送的像素点的数量为600/200＝3个，因此采用每时钟拍发送3个像素点的方式，将所述第一视频图像发送到图像处理设备141。

图15为本发明实施例提供的一种视频图像处理装置结构示意图，该装置包括：

接收模块151，用于接收至少一个视频采集设备发送的至少一个第一视频图像；

确定模块152，用于根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像；

显示模块153，用于在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。

所述确定模块152，具体用于针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中每个像素点的像素值，将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

所述装置还包括：

判断模块154，用于针对目标显示分辨率的显示窗口中每个像素点，判断该像素点在该目标第一视频图像中的位置是否为该目标第一视频图像中的像素点的位置；如果否，触发确定模块152。

所述判断模块154，具体用于如果目标显示分辨率的显示窗口中每个像素点在该目标第一视频图像中的位置为该目标第一视频图像中的像素点的位置，将所述目标第一视频图像中该位置的像素点的像素值作为所述目标显示分辨率的显示窗口中该位置的像素点的像素值。

所述确定模块152，具体用于针对每个目标第一视频图像，根据该目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，确定该目标显示分辨率的显示窗口中的每个像素点在该目标第一视频图像中的位置；针对目标显示分辨率的显示窗口中每个像素点，判断所述目标第一视频图像中与该像素点在该目标第一视频图像中的位置的距离较小的设定数量的像素点中是否存在位于所述目标第一视频图像中的边界处的像素点；如果是，根据该目标第一视频图像中每个像素点的像素值，采用双线性插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；如果否，根据该目标第一视频图像中每个像素点的像素值，采用双三次插值算法，确定该目标显示分辨率的显示窗口中该像素点的像素值；将确定了像素值的该目标显示分辨率的显示窗口对应的图像，确定为该目标第一视频图像对应的第二视频图像。

所述显示模块153，具体用于根据用户选择的拼接样式和预先保存的拼接样式对应的掩码信息，在每个目标第一视频图像对应的显示窗口显示对应的每个第二视频图像。

本发明实施例提供了一种视频处理的方法、系统及装置，所述方法包括：接收至少一个视频采集设备发送的至少一个第一视频图像；根据每个第一视频图像及用户选择的拼接样式，确定进行拼接的每个目标第一视频图像的显示窗口的信息，根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法，确定对应每个目标显示分辨率的每个第二视频图像；在确定的每个目标第一视频图像的显示窗口显示对应的每个第二视频图像。由于在本发明实施例中，每个第二视频图像是根据每个目标第一视频图像的分辨率、显示窗口的大小和显示窗口对应的目标显示分辨率，采用预设的算法确定的，因此所述每个第二视频图像的分辨率与每个目标第一视频图像的显示窗口对应的目标显示分辨率是对应相同的，因此可以满足每个显示窗口的显示分辨率的需求，提高视频显示质量。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。