一种防止视频回退的图像拼接方法及装置制造方法
【专利摘要】一种防止视频回退的图像拼接方法及装置,该方法包括：步骤A，将各子视频源输入的视频帧同步到一个基准帧率；步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储；步骤C，将存储的视频图像输出到拼接显示屏上显示。本发明方案消除了现有写拼方式的多画面图像拼接的视频回退问题，用户视觉体验更好。
【专利说明】一种防止视频回退的图像拼接方法及装置
【技术领域】
[0001]本发明主要涉及视频图像的拼接技术，特别是视频图像拼接过程中防止视频回退的方法和装置。
【背景技术】
[0002]现有的多画面拼接方法主要有读拼接和写拼接两种方式。
[0003]读拼接如图1所示，参与多画面拼接的每个子视频的存储空间是独立的，写入的时候，每个子视频独立写入；而在读出的时候，需要在不同的地址各自取几个突发构成一个完成的行。因此，读拼接逻辑写入容易，但是读出复杂，各个子画面都需要跳转地址，需要为每种多画面提供一种地址跳转策略，逻辑处理困难。
[0004]写拼接如图2所示，多画面的不同子画面“受控”的写入到内存中，写完之后，在物理内存中就是连续存储好的视频图片，这样在视频发送的时候可以直接读出去，不会存在分开读的问题。写拼接的时候，逻辑写入的时候，由于本身就是一个小突发的方式，所以在控制写入时不会浪费带宽，同时管理稍微容易一些，而且在读出时，可以连续读出，这样读出去的带宽可以很高。
[0005]可是写拼接的方式也存在一些问题。例如，当某路子视频源的视频帧输入太慢，这路慢的子视频比其他路子视频慢了一帧的时候，它就会跳一帧(指跳过某个内存空间)，以便追赶其他视频(跳到与其他视频正在操作的内存空间)，这样就会有一帧的内存(被跳过的内存)被漏写，而漏写的内存中保留的是历史画面(在物理上存储空间是循环利用的，在上一轮循环中已经保留了历史画面，例如to帧)，这样当视频连续播出的时候就出现了视频“回退”现象。下面以图3为例来具体说明一下视频回退产生的原因。图3是一个四画面的示意图，px_ty表示在X子画面上的第y帧图像，图中前面4帧多画面都是正常的，当第t4帧来临的时候，Pl位置的帧迟迟未到(即丢失)，那么当其他用户的t5都来临的时候，Pl位置来的图像只能放在下一个多画面里面了，而第t4帧Pl位置存储的是由于存储空间的空间循环未赶上的to帧画面。由于to帧与t4帧间隔较长画面变化较大,会使用户在视觉上产生退回的感觉，用户体验差。
[0006]有关存储空间的空间循环具体含义，通过图4的一个实例进行解释。图4中将存储空间划分成4个物理空间，每个物理空间可存放I帧图像，这样，当图像连续输入的时候，每4帧利用一次物理空间，形成:第I次循环时，空间I存放第I帧；第2次循环时，空间I存放第5帧，依次类推。正像前文所述，当需要拼接时，某路视频会出现某次循环存储空间漏写的情况。
【发明内容】
[0007]本发明提供一种防止视频回退的图像拼接方法及装置，用于防止多画面图像拼接过程中的视频回退现象，用户体验效果好。
[0008]该防止视频回退的图像拼接方法，包括:
[0009]步骤A，将各子视频源输入的视频帧同步到一个基准帧率；
[0010]步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储；
[0011]步骤C，将存储的视频图像输出到拼接显示屏上显示。
[0012]优选地，所述将各子视频源输入的视频帧同步到一个基准帧率的方法，具体包括:
[0013]当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内，则复制对应的视频帧。
[0014]优选地，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
[0015]优选地，所述基准帧率与视频图像输出显示帧率相同。
[0016]优选地，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
[0017]利用上述方法的一种防止视频回退的图像拼接装置，包括拼接显示屏，还包括视频帧同步模块、写拼操作模块和图像输出模块；
[0018]视频帧同步模块，用于将各子视频源输入的视频帧同步到一个基准帧率；
[0019]写拼操作模块，用于对同步后的视频帧进行写拼操作生成视频图像，并进行存储；
[0020]图像输出模块，用于将存储的视频图像输出到拼接显示屏上显示。
[0021]优选地，所述的视频帧同步模块包括有:
[0022]帧率判断模块，用于判断基准帧率的帧触发时刻是否落在子视频源的视频帧的传输区间内；
[0023]帧率同步操作模块，当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内时，复制对应的视频帧。
[0024]优选地，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
[0025]优选地，所述基准帧率与视频图像输出显示帧率相同。
[0026]优选地，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
[0027]本发明首先将不同帧率的子视频源同步到一个基准帧率，然后通过写拼操作输出相同帧率的视频帧到拼接显示屏上，不仅可以利用现有写拼的优势，而且有效的避免了写拼时出现的视频回退问题，增强了用户体验。
【专利附图】
【附图说明】
[0028]图1为现有读拼接逻辑连接图；
[0029]图2为现有写拼接逻辑连接图；
[0030]图3为写拼回退现象产生示意图；
[0031]图4为空间循环利用原理示意图；
[0032]图5为本发明的一实施例示意图；
[0033]图6为图5实施例中将子视频源同步到基准帧率的原理示意图。
【具体实施方式】
[0034]用于图像拼接的各子视频源都有一个独立的时钟晶振，输出脉冲信号用于触发子视频源输出视频帧。但是由于晶振的个体差异，使得各子视频源输入视频帧的帧率会存在误差，这种误差在视频帧传输的过程中会不断累计。当误差累计达到一定值时，会出现有一个子视频源输入的视频帧跟不上其他的子视频源的视频帧，导致各子视频源输入的视频帧帧率不一致，从而出现【背景技术】中提到的视频回退的现象。为解决这种视频回退问题，本发明提供了一种防止视频回退的图像拼接方法，将各子视频源的输入视频帧同步到一个基准帧率，从而消除帧率回退的问题，方法简单而实用。
[0035]该方法具体包括:
[0036]步骤A，将各子视频源输入的视频帧同步到一个基准帧率；
[0037]具体包括，在将各子视频源输入的视频帧同步到一个基本帧率时，需要将各子视频源输入的视频帧独立存储在存储空间中。因此需要考虑如何合理地划分存储空间。在将存储空间划分为多个物理空间时需要考虑子视频源的视频帧输入图像的格式、存储所需的容量以及一次更新所能存储的帧数。由于要将各子视频源输入的视频帧同步到相同的帧率,因此可以考虑每个物理空间的容量为相同时间内所存储的图像帧数，例如一秒时间内，那么在下一秒到来时会将更新每个物理空间内存储的图像。当然也可采用其他方式，例如规定一次更新存储相同的帧数。另外，图像格式大小不同所需要的存储容量也会不同，因此也是需要考虑的。由于属于现有技术，在此不再赘述。
[0038]有关如何将各子视频源输入的视频帧同步到一个基准帧率。该方法是在基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内时，复制对应的视频帧。该方法将不同帧率的视频帧同步到一个基准帧率。将各子视频源输入的视频帧同步到一个基准帧率以后，用户视觉上最多只会感受到有一些卡顿，而不会产生视频回退的感觉，用户视觉体验上要好很多。
[0039]作为一种优选的实施方式，所述基准帧率与视频图像输出显示帧率由同一时钟控制，因为由同一时钟控制减少了视频输出的卡顿感，用户视觉体验更好。当然基准帧率可以与视频图像输出显示帧率相同，也可以不同。
[0040]同步到同一个基准帧率的各子视频源的的视频帧独立存储在DDR缓存上。
[0041]步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储。步骤B充分利用现有写拼接的优势，生成并存储的直接是拼接好的视频图像，方便了视频图像的读出。
[0042]步骤C，拼接显示屏将视频图像的各子图像输出到拼接显示屏对应的子显示屏上显不O
[0043]图5为应用本发明的一个实施例示意图，下面结合图5，对本发明作进一步地详细解释。图5示出包括了四个子视频源1-4，四个子视频源输入的视频帧的帧率不同。从图中可以看出，子视频源I和子视频源4输入视频帧的帧率基本是一致的。子视频源2输入视频帧以及子视频源3输入视频帧的帧率明显与子视频源I和子视频源4的帧率不同。为了让四个子视频源输入的视频帧能够同步存储到存储空间上，可以设置了一个基准帧率。下面结合图5和图6具体说明如何将视频源2和视频源3同步到基准帧率。从图6中可以看出子视频源2输入的视频帧的帧率要快于基准帧率，因此在触发基准帧率的第3帧时刻，已经落入子视频源2第4帧的传输区间，因此在基准帧率时需要跳过第3帧，直接存储第4帧。而在子视频源3输入的视频帧的帧率明显慢于基准帧率，因此当触发基准帧率的第2帧时亥IJ，子视频源3仍然还在第I帧的传输区间内，因此在基准帧率时复制子视频源2的第I帧，而触发基准帧率的第3帧时，子视频源3还落在第2帧的传输区间内，因此在基准帧率时复制子视频源3的第2帧。可以看出通过复制或跳过帧的操作，将子视频源1-4的视频帧同步到了一个基准帧率。然后将同步后的视频帧通过写拼操作生成视频图像并进行存储。图5中写拼操作后存储的第I帧为子视频源1-4各自的第I帧组合，第2帧为子视频源1-4各自对应的第2帧、第2帧、第I帧和第2帧组合，第3帧为子视频源1-4各自对应的第3帧、第4帧、第2帧和第3帧的组合，以次类推。最后由各视频通道输出到拼接显示屏对应的子显示屏上显示。在本实施例中所述的基准帧率与视频通道输出的视频图像的显示帧率由同一个时钟控制，并且基准帧率等于视频图像的显示帧率。
[0044]基于同样的构思，本发明还提供了一种防止视频回退的图像拼接装置。该装置包括由多个子显示屏组成的拼接显示屏。还包括视频帧同步模块、写拼操作模块和图像输出模块；
[0045]视频帧同步模块，用于将各子视频源输入的视频帧同步到一个基准帧率；
[0046]写拼操作模块，用于对同步后的视频帧进行写拼操作生成视频图像，并进行存储；
[0047]图像输出模块，用于将存储的视频图像输出到拼接显示屏上显示。
[0048]所述的视频帧同步模块包括有:
[0049]帧率判断模块，用于判断基准帧率的帧触发时刻是否落在子视频源的视频帧的传输区间内；帧率同步操作模块，当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内时，复制对应的视频帧。
[0050]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【权利要求】
1.一种防止视频回退的图像拼接方法，其特征在于，该方法包括: 步骤A，将各子视频源输入的视频帧同步到一个基准帧率； 步骤B，将同步后的各个子视频源的视频帧通过写拼操作生成视频图像，并进行存储； 步骤C，将存储的视频图像输出到拼接显示屏上显示。
2.根据权利要求1所述的图像拼接方法，其特征在于，所述将各子视频源输入的视频帧同步到一个基准帧率的方法，具体包括: 基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内，则复制对应的视频帧。
3.根据权利要求2所述的图像拼接方法，其特征在于，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
4.根据权利要求3所述的图像拼接方法，其特征在于，所述基准帧率与视频图像输出显示帧率相同。
5.根据权利要求1所述的图像拼接方法，其特征在于，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
6.一种防止视频回退的图像拼接装置，包括拼接显示屏，其特征在于，还包括视频帧同步模块、写拼操作模块和图像输出模块； 视频帧同步模块，用于将各子视频源输入的视频帧同步到一个基准帧率； 写拼操作模块，用于对同步后的视频帧进行写拼操作生成视频图像，并进行存储； 图像输出模块，用于将存储的视频图像输出到拼接显示屏上显示。
7.根据权利要求6所述的图像拼接装置，其特征在于， 所述的视频帧同步模块包括有: 帧率判断模块，用于判断基准帧率的帧触发时刻是否落在子视频源的视频帧的传输区间内；帧率同步操作模块，当基准帧率的帧触发时刻落在子视频源的视频帧的传输区间内时，复制对应的视频帧。
8.根据权利要求6所述的图像拼接装置，其特征在于，所述基准帧率与视频图像输出显示帧率由同一时钟控制。
9.根据权利要求8所述的图像拼接装置，其特征在于，所述基准帧率与视频图像输出显示帧率相同。
10.根据权利要求6所述的图像拼接装置，其特征在于，各子视频源输入的视频帧同步到一个基准帧率时，各子视频源输入的视频帧独立存储在DDR缓存上。
【文档编号】H04N21/43GK104363508SQ201410676260
【公开日】2015年2月18日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】羊海龙 申请人:浙江宇视科技有限公司