一种低延时视频拼接方法、装置和系统与流程

本发明涉及视频拼接技术领域，特别是一种低延时视频拼接方法、装置和系统。

背景技术：

图像采集、传输、显示等技术的齐头并进，促使越来越多的领域，如医疗、安防、教育、传媒等，开始依靠视频来实现信息的实时共享。在大多数的应用场景中，视频观看者往往需要观看多幅视频画面，这就需要视频拼接器来完成图像的融合，才能在有限的显示设备上观看更多的视频画面。

然而，在医疗领域视频拼接器却有更高的要求——低延时。如在手术过程中，医生需要根据看到的多幅视频画面来综合决定下一步的手术动作。若视频画面延时过大，会给医生带来操作上的不便，甚至导致手术动作过大，给患者造成不必要的损伤。所以，如何降低视频拼接器的延时是医疗行业的现实需求。

技术实现要素：

本发明的目的是提供一种低延时视频拼接方法、装置和系统，可降低输入图像与输出图像之间的延时，提高视频拼接后显示的实时性、可靠性。

本发明采取的技术方案为：一种低延时视频拼接方法，包括：

获取多路视频的并行输入信号，并检测得到各路视频输入信号的输入刷新率和视频输入信号时序数据；

按照预设的比例对各路视频输入信号进行缩放，并将缩放后的各路视频输入信号分别写入缓存单元中；

获取视频融合指令信息，视频融合指令信息包括融合后各路视频的输出刷新率和视频输出信号时序数据；

基于当前缓存写入地址以及所述输入刷新率、视频输入信号时序数据、输出刷新率以及视频输出信号时序数据，生成各路待拼接视频的当前最优读出首地址，包括：

对于任一路待拼接视频信号：

计算当前帧画面写入缓存单元所需时间t1；

计算从缓存中读出一帧待拼接画面所需时间t2；

若t1>t2，则当前最优读出首地址为当前缓存写入地址对应帧图像的上一帧图像的首像素地址，否则当前最优读出首地址为当前缓存写入地址对应帧图像的首像素地址；

根据各路待拼接视频的当前最优读出首地址，按照输出刷新率从缓存单元的相应地址读取相应的视频信号；

对读取出的各路待拼接视频信号进行融合拼接后输出显示。

以上所述当前缓存写入地址即当前正在写入缓存的某一帧图像中某一像素的缓存写入地址。

本发明的低延时视频拼接方法通过设置缓存单元优化了视频拼接时对多路视频信号的读取方式，通过比对视频帧画面存储时间与读出时间的大小，确定最优读出首地址对应的帧画面，可使得缓存单元的输入图像和输出图像之间的延时降低至小于一帧图像的延时。

本发明对已读取的视频进行拼接以及拼接后的输出皆可采用现有技术。

优选的，对于每路视频信号，所述最优读出首地址在每个全新的一帧图像开始读取前产生，每帧图像的读取过程中，当前读出地址在当前最优读出首地址基础上依次偏移，直至一帧图像的每个像素读取完毕。也即每次输出视频图像刷新过程中需要针对每路待拼接输入视频信号，各进行一次最优读出首地址的选择，即可保证每路输入视频的延时最小，又可保证一帧图像的读取过程中读出地址不会超过写入地址，且读出的为完整的一帧图像，不会出现画面撕裂、错位等异常。

优选的，视频输入信号时序数据包括一帧视频输入信号的总行数和一帧视频输入信号的有效行数，视频输出信号时序数据包括一帧视频输出信号的总行数，缩放后一帧视频信号的有效行数为；

定义某一路待拼接视频信号当前写入缓存地址对应一帧图像的第行，则对于该路待拼接视频：

当前帧画面存入缓存单元所需时间t1为：

从缓存中读出一帧待拼接画面所需时间t2为：

。

优选的，视频融合指令信息还包括需要读出的各路视频信号在融合画面中的位置信息和图层优先级信息；

对读取出的各路视频信号进行融合拼接时，按照视频融合指令信息中指定的位置和图层优先级进行融合拼接。

更进一步的，视频融合指令信息还包括融合拼接后视频的分辨率信息，视频融合拼接时按照指定的分辨率信息进行。

另一方面，本发明还公开一种低延时视频拼接装置，包括：

视频输入信号获取及检测模块，用于获取多路视频的并行输入信号，并检测得到各路视频输入信号的输入刷新率和视频输入信号时序数据；

视频缩放及缓存写入模块，用于按照预设的比例对各路视频信号进行缩放，并将缩放后的各路视频信号分别写入缓存单元中；

视频融合指令分析模块，用于获取视频融合指令信息，视频融合指令信息包括融合后各路视频的输出刷新率和视频输出信号时序数据；

最优读出首地址生成模块，用于基于当前缓存写入地址以及所述输入刷新率、视频输入信号时序数据、输出刷新率以及视频输出信号时序数据，生成各路视频的当前最优读出首地址，包括：

对于任一路待拼接视频信号：

计算当前帧画面写入缓存单元所需时间t1；

计算从缓存中读出一帧待拼接画面所需时间t2；

若t1>t2，则当前最优读出首地址为当前缓存写入地址对应帧图像的上一帧图像的首像素地址，否则当前最优读出首地址为当前缓存写入地址对应帧图像的首像素地址；

视频读出模块，用于根据各路视频的当前最优读出首地址，按照输出刷新率从缓存单元的相应地址读取相应的视频信号；

视频拼接输出模块，用于对读取出的各路视频信号进行融合拼接后输出显示。

本发明还公开一种低延时视频拼接系统，包括视频输入模块、视频路由模块、视频信号处理模块和控制模块；

视频输入模块包括多个视频输入通道，各视频输入通道分别接收视频输入信号并将视频信号转换为高速串行信号；

控制模块用于向视频路由模块发送视频转发指令，以及向视频信号处理模块发送视频缩放指令和视频融合指令；视频路由模块根据视频转发指令将多路高速串行信号转发至视频信号处理模块；

视频信号处理模块的数量为至少一个，各视频信号处理模块分别包括信号转换单元、信号检测单元、图像融合单元、读写控制单元、缓存单元和视频输出单元；信号转换单元接收多路高速串行信号转换为并行信号；信号检测单元基于并行信号检测各路视频信号的输入参数数据；图像融合单元根据所述视频缩放指令对各路视频信号进行缩放处理；读写控制单元针对各路视频信号产生的相应的写入地址，并将缩放后的视频信号写入缓存单元的相应地址中；图像融合单元根据所述视频融合指令，通过读写控制单元基于所述输入参数数据和视频融合指令生成对应各路待拼接视频信号的最优读出首地址，进而根据最优读出首地址依次读取一帧图像的各像素传输至图像融合单元；图像融合单元根据所述视频融合指令对读取出的视频图像进行拼接处理，将拼接后的视频信号传输至视频输出单元进行输出。

优选的，视频信号处理模块中，信号检测单元基于检测的输入参数数据包括输入刷新率和视频输入信号时序数据；所述视频融合指令包括融合后各路视频的输出刷新率、视频输出信号时序数据、各路视频信号在融合画面中的位置信息和图层优先级信息以及融合后视频的分辨率信息；

图像融合单元接收信号检测单元输出的输入参数数据，并在接收到视频融合指令后将所述输入参数数据以及视频融合指令中的融合后各路视频的输出刷新率和视频输出信号时序数据传输至读写控制单元；读写控制单元根据各路视频信号的当前缓存写入地址、输入参数数据以及融合后各路视频的输出刷新率和视频输出信号时序数据，生成对应各路待拼接视频的最优读出首地址；

图像融合单元对读取出的各路视频信号进行融合拼接时，按照视频融合指令信息中指定的位置、图层优先级和分辨率信息进行融合拼接。

所述视频缩放指令包括对应各路待拼接视频信号的缩放比例。

优选的，视频输入信号时序数据包括一帧视频输入信号的总行数和一帧视频输入信号的有效行数，视频输出信号时序数据包括一帧视频输出信号的总行数，缩放后一帧视频信号的有效行数为；定义某一路视频信号当前写入缓存地址对应一帧图像的第行，则针对该路视频信号，读写控制单元生成最优读出首地址包括：

计算当前帧画面存入缓存单元所需时间t1为：

计算从缓存单元中读出一帧待拼接画面所需时间t2为：

若t1>t2，则当前最优读出首地址为当前缓存写入地址对应帧图像的上一帧图像的首像素地址，否则当前最优读出首地址为当前缓存写入地址对应帧图像的首像素地址。

优选的，视频输入模块中，所述各视频输入通道分别包括用于接收视频输入信号并将所接收信号转换为并行信号的视频输入单元，以及用于将并行信号转换为高速串行信号的高速串行信号转换单元1；每个视频输入通道接收一路视频输入信号；

视频信号处理模块中，每个信号转换单元接收视频路由模块根据视频转发指令转发的多路高速串行信号，并转换为并行信号；每个视频输出单元输出一路融合拼接后的视频信号。

视频输入单元接收的视频信号根据接口类型不同信号格式也不同，视频输入单元为一种可将接收到的视频信号统一转换为并行信号的现有产品，其转换后输出的视频信号主要包括rgb、de、hs、vs等元素。高速串行信号转换单元1则考虑视频信号的传输速率和信号线数量，将并行信号转换为统一的高速串行信号。

有益效果

本发明通过设置缓存单元优化图像数据的读取方式，并对于每一路待拼接视频信号，基于帧画面存入缓存所需时间与读出所需时间的比较结果，在每一帧最新图像读出前产生最优读出首地址，可减少视频拼接的延时，使得缓存单元的输入图像和输出图像之间的延时小于一帧图像的延时，输出图像实时性更好，更为流畅。同时在一帧图像的读取过程中，本发明采用在最优读出首地址上依次偏移的方法，不会产生图像撕裂、错位等异常。因此，本发明能够满足医疗等低延时应用场景的需求。

附图说明

图1所示为本发明低延时视频拼接方法流程示意图；

图2所示为本发明视频拼接方法中最优读出首地址的一种实施例原理示意图；

图3所示为本发明视频拼接系统示意图。

具体实施方式

以下结合附图和具体实施例进一步描述。

实施例1

本实施例为一种低延时视频拼接方法，参考图1所示，方法包括：

获取多路视频的并行输入信号，并检测得到各路视频信号的输入刷新率和视频输入信号时序数据；视频输入信号时序数据包括一帧视频输入信号的总行数和一帧视频输入信号的有效行数；

按照预设的比例对各路视频信号进行缩放，并将缩放后的各路视频信号分别写入缓存单元中；

获取视频融合指令信息，视频融合指令信息包括融合后各路视频的输出刷新率和视频输出信号时序数据；视频输出信号时序数据包括一帧视频输出信号的总行数，缩放后一帧视频信号的有效行数为；

基于当前缓存写入地址以及所述输入刷新率、视频输入信号时序数据、输出刷新率以及视频输出信号时序数据，生成各路视频的当前最优读出首地址，包括：

计算各路视频当前帧画面存入缓存单元所需时间t1；

计算各路视频从缓存中读出一帧画面所需时间t2；

定义某一路视频信号当前写入缓存地址对应一帧图像的第行，则该路视频当前帧画面存入缓存单元所需时间t1为：

从缓存中读出一帧待拼接画面所需时间t2为：

；

对于任一路待拼接视频，若t1>t2，则当前最优读出首地址为当前缓存写入地址对应帧图像的上一帧图像的首像素地址，否则当前最优读出首地址为当前缓存写入地址对应帧图像的首像素地址；

根据各路视频的当前最优读出首地址，按照输出刷新率从缓存单元的相应地址读取相应的视频信号；

对读取出的各路视频信号进行融合拼接后输出显示。

以上所述当前缓存写入地址即当前正在写入缓存的某一帧图像中某一像素的缓存写入地址。

参考图2所示，以输入视频进行1：1的缩放比例处理后，融合到输出视频后全屏显示为例，介绍最优读出首地址的产生过程。

如输入视频分辨率为100x100、时序参数、、输入视频刷新率；融合后输出分辨率也是100x100，时序参数、视频刷新率、；

假设需要产生新的最优读出首地址时，当前写入地址为第i帧图像的第10行，则t1=(1/30)*((100-10)/120)=25ms；

读出一帧画面所需要的时间t2=(1/60)*(100/120)=13.89ms；

由于t1大于t2，所以最优读出首地址取第i-1帧的首像素地址。

同理，若需要产生新的最优读出首地址时，当前写入地址已超过第i帧图像的第51行，则t1=(1/30)*((100-51)/120)=13.61ms；

由于t2仍为13.89ms，那么此时最优读出首地址取第i帧的首像素地址。

本发明的低延时视频拼接方法通过设置缓存单元优化了视频拼接时对多路视频信号的读取方式，通过比对视频帧画面存储时间与读出时间的大小，确定最优读出首地址对应的帧画面，可使得缓存单元的输入图像和输出图像之间的延时降低至小于一帧图像的延时。

本发明对已读取的视频进行拼接以及拼接后的输出皆可采用现有技术。

对于每路视频信号，所述最优读出首地址在每个全新的一帧图像开始读取前产生，每帧图像的读取过程中，当前读出地址在当前最优读出首地址基础上依次偏移，直至一帧图像的每个像素读取完毕。

视频融合指令信息还包括需要读出的各路视频信号在融合画面中的位置信息、图层优先级信息和分辨率信息；

对读取出的各路视频信号进行融合拼接时，按照视频融合指令信息中指定的位置、图层优先级和分辨率信息进行融合拼接。

实施例2

本实施例为一种低延时视频拼接装置，包括：

视频输入信号获取及检测模块，用于获取多路视频的并行输入信号，并检测得到各路视频输入信号的输入刷新率和视频输入信号时序数据；

视频缩放及缓存写入模块，用于按照预设的比例对各路视频信号进行缩放，并将缩放后的各路视频信号分别写入缓存单元中；

视频融合指令分析模块，用于获取视频融合指令信息，视频融合指令信息包括融合后各路视频的输出刷新率和视频输出信号时序数据；

最优读出首地址生成模块，用于基于当前缓存写入地址以及所述输入刷新率、视频输入信号时序数据、输出刷新率以及视频输出信号时序数据，生成各路视频的当前最优读出首地址，包括：

计算各路视频当前帧画面存入缓存单元所需时间t1；

计算各路视频从缓存中读出一帧画面所需时间t2；

对于任一路视频，若t1>t2，则当前最优读出首地址为当前缓存写入地址对应帧图像的上一帧图像的首像素地址，否则当前最优读出首地址为当前缓存写入地址对应帧图像的首像素地址；

视频读出模块，用于根据各路视频的当前最优读出首地址，按照输出刷新率从缓存单元的相应地址读取相应的视频信号；

视频拼接输出模块，用于对读取出的各路视频信号进行融合拼接后输出显示。

实施例3

本实施例为一种低延时视频拼接系统，参考图3所示，系统包括视频输入模块、视频路由模块、视频信号处理模块和控制模块；

视频输入模块包括多个视频输入通道，各视频输入通道分别接收视频输入信号并将视频信号转换为高速串行信号；各视频输入通道分别依次设有视频输入单元和高速串行信号转换单元1，视频输入单元用于接收一路待拼接的视频输入信号，并将所接收信号转换为并行信号；高速串行信号转换单元1将视频输入单元输出的并行信号转换为统一的高速串行信号；

视频输入单元接收的视频信号根据接口类型不同信号格式也不同，视频输入单元为一种可将接收到的视频信号统一转换为并行信号的现有产品，其转换后输出的视频信号主要包括rgb、de、hs、vs等元素。高速串行信号转换单元1则考虑视频信号的传输速率和信号线数量，将并行信号转换为统一的高速串行信号。

控制模块用于向视频路由模块发送视频转发指令，以及向视频信号处理模块发送视频缩放指令和视频融合指令；视频路由模块根据视频转发指令将多路高速串行信号转发至视频信号处理模块；

视频信号处理模块的数量为至少一个，各视频信号处理模块分别包括信号转换单元、信号检测单元、图像融合单元、读写控制单元、缓存单元和视频输出单元；信号转换单元接收多路高速串行信号转换为并行信号；信号检测单元基于并行信号检测各路视频信号的输入参数数据；图像融合单元根据所述视频缩放指令对各路视频信号进行缩放处理；读写控制单元针对各路视频信号产生的相应的写入地址，并将缩放后的视频信号写入缓存单元的相应地址中；图像融合单元根据所述视频融合指令，通过读写控制单元基于所述输入参数数据和视频融合指令生成对应各路待拼接视频信号的最优读出首地址，进而根据最优读出首地址依次读取一帧图像的各像素传输至图像融合单元；图像融合单元根据所述视频融合指令对读取出的视频图像进行拼接处理，将拼接后的视频信号传输至视频输出单元进行输出。

视频信号处理模块中，每个信号转换单元接收视频路由模块根据视频转发指令转发的多路高速串行信号，并转换为并行信号；每个视频输出单元输出一路融合拼接后的视频信号。

视频信号处理模块中，信号检测单元基于检测的输入参数数据包括输入刷新率和视频输入信号时序数据；所述视频融合指令包括融合后各路视频的输出刷新率、视频输出信号时序数据、各路视频信号在融合画面中的位置信息和图层优先级信息以及融合后视频的分辨率信息；

图像融合单元接收信号检测单元输出的输入参数数据，并在接收到视频融合指令后将所述输入参数数据以及视频融合指令中的融合后各路视频的输出刷新率和视频输出信号时序数据传输至读写控制单元；读写控制单元根据各路视频信号的当前缓存写入地址、输入参数数据以及融合后各路视频的输出刷新率和视频输出信号时序数据，生成对应各路待拼接视频的最优读出首地址；

图像融合单元对读取出的各路视频信号进行融合拼接时，按照视频融合指令信息中指定的位置、图层优先级和分辨率信息进行融合拼接。

所述视频缩放指令包括对应各路待拼接视频信号的缩放比例。

视频输入信号时序数据包括一帧视频输入信号的总行数和一帧视频输入信号的有效行数，视频输出信号时序数据包括一帧视频输出信号的总行数，缩放后一帧视频信号的有效行数为；定义某一路视频信号当前写入缓存地址对应一帧图像的第行，则针对该路视频信号，读写控制单元生成最优读出首地址包括：

计算当前帧画面存入缓存单元所需时间t1为：

计算从缓存中读出一帧待拼接画面所需时间t2为：

若t1>t2，则当前最优读出首地址为当前缓存写入地址对应帧图像的上一帧图像的首像素地址，否则当前最优读出首地址为当前缓存写入地址对应帧图像的首像素地址。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。