专利名称：一种视频拼接中的图像补偿方法和装置的制作方法
技术领域：
本发明涉及图像处理技术，特别涉及一种视频拼接中的图像补偿方法和装置。
背景技术：
在视频监控和视频会议等应用领域，经常会将多个源视频的视频信号合 成到一路输出，以在同一个显示终端上为用户呈现多画面的效果。例如，在 视频监控系统中，可以将多路摄像头的视频图像拼接成多画面，在一台监视 器上显示。在采用现场可编程门阵列(FPGA， Field Programmable Gate Array )实 现多画面拼接的方式中，写拼接方式因其实现容易、不受视频格式影响而得 到广泛应用。写拼接的实现特点是控制写入，顺序读出，具体为将存储 空间划分为两个以上的子块， 一个源视频可以对应一个以上的子块， 一个子 块只能对应一个源视频，在此，将每个源视频所对应的各子块的和称为该源 视频对应的子存储空间，即每个源视频都与一个子存储空间对应；将每路源 视频的图像进行缩放等处理后的图像分别写入各自对应的子存储空间中；从 整个存储空间中读取视频图像便可以在显示屏上进行显示。为了防止同时读 写同一个存储空间，通常设置N个存储空间，N为大于1的整数，每一个存 储空间中都存在各路源视频对应的子存储空间。每个源视频的图像都以帧为 单位依次写入N个存储空间中与该源视频对应的子存储空间中，并在写完 第N个存储空间时，再从第一个存储空间开始写入。在进行读取时，通常 以落后于当前写入最快的图像M帧的速度，依次从N个存储空间中读取， 其中，M为正整数。以图1所示，假设具有四个存储空间，每个存储空间都有四个子存储空 间，四路源视频分别将各自的图像以帧为单位写入各存储空间中各自对应的子存储空间，图中，px—ty表示第x路源视频在ty时刻写入的图像，例如， PI—t0为第l路源视频在tO时刻写入的图像，其它类推。在进行读取时，固 定按照落后于当前写入最快的图像2帧的速度读取一整个存储空间中的图 像。由于以帧为单位对各存储空间进行图像写入，因此，以存储空间帧号对 各存储空间进行标识。现有技术中的上述写拼接方式在入口帧率小于出口帧率时会出现图像 "回退"的现象。原因是在写拼接方式中，如果某路源视频在写入图像时 比其它路源视频慢了至少 一 帧时，会跳过该至少 一 帧以便与其它路源视频写 入同一存储空间，这样就会存在至少一个存储空间中的该路源视频对应的子 存储空间被漏写，而漏写的子存储空间中保留的是历史画面，这样在视频连 续播放的时候，就表现为"回退"。如图2所示，在将四路源视频的图像依 次写入各存储空间的过程中，在t4时刻，如果第一路源视频的图像由于网 络延迟的原因迟迟不到来，可能在t5时刻才到来，为了保持写入一致，便 将t5时刻到来的图像p1—t4写入存储空间1,这样便跳过了帧号为0的存储 空间，使得帧号为0的存储空间中第一路源视频对应的子存储空间没有被刷 新，保留的仍是历史图像pl一t0 (图中阴影部分所示)，从而造成了回退现 象，使得显示的视频不流畅，影响视觉效果。发明内容有鉴于此，本发明提供了一种视频拼接中的图像补偿方法和装置，以便 于有效地解决写拼接方式中的图像"回退"现象，提高视觉效果。一种视频拼接中的图像补偿方法，应用于写拼接方式，针对各路源视频 分别执行以下步骤A、实时记录第i路源视频当前写入的存储空间Yi，并记录当前写入最快的 源视频写入的存储空间X;B、当记录的存储空间X发生变化时，如果确定针对第i路源视频记录的存储空间Y,与当前记录的存储空间X间隔Z个存储空间，则将该第i路源视频写入存储空间Yi中的图像进行复制并写入间隔的所述Z个存储空间；其中，Z为预设的正整数且Z小于M, M为读取的存储空间和写入最快的 源视频写入的存储空间之间间隔的存储空间个数。一种视频拼接中的图像补偿装置，应用于写拼接方式，其特征在于，该装 置包括第一记录单元、第二记录单元、补偿触发单元和补偿处理单元；所述第一记录单元，用于实时记录第i路源;现频当前写入的存储空间Y,;所述第二记录单元，用于记录当前写入最快的源视频写入的存储空间X;所述补偿触发单元，用于在所述第二记录单元记录的存储空间X发生变化时，如果确定针对第i路源-f见频记录的存储空间Y'与当前记录的存储空间X间 隔Z个存储空间，则向所述补偿处理单元发送触发通知；所述补偿处理单元，用于接收到触发通知后，将该第i路源视频写入存储空间Y'中的图像进行复制并写入间隔的所述Z个存储空间；其中，Z为预设的正整数且Z小于M, M为读取的存储空间和写入最快的 源视频写入的存储空间之间间隔的存储空间个数。由以上技术方案可以看出，本发明提供的方法和装置对各路源视频当前 写入的存储空间和当前写入最快的源视频写入的存储空间进行记录，并在当 前写入最快的源视频写入的存储空间发生变化时，将两者进行比较，如果间 隔Z个存储空间便触发图像补偿操作，即将当前记录的第i路源视频写入的 存储空间中的图像进行复制并写入间隔的所述Z个存储空间，设置Z小于 M，使得在读取某一个存储空间之前，对该存储空间缺失的图像进行及时补 偿，从而有效地解决写拼接方式中的图像"回退，，现象，提高视觉效果。并 且，本发明能够有效地解决多帧连续丢失的问题。
图1为写拼接方式的写图像和读图像的示意图；图2为现有技术中出现图像"回退"现象的示意图；图3为本发明实施例提供的主要方法流程图；图4为本发明实施例提供的详细方法流程图；图5 a为本发明实施例提供的图像补偿方法的第 一 个实例图；图5b为本发明实施例提供的图像补偿方法的第二个实例图；图6为本发明实施例提供的图像补偿方法的第三个实例图；图7a为本发明实施例提供的更新记录的max—frm的第一个实例图；图7b为本发明实施例提供的更新记录的max_frm的第二个实例图；图8为本发明实施例提供的装置结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体 实施例对本发明进行详细描述。本发明所提供的方法可以如图3所示，针对各路源视频分别执行以下步骤步骤301:实时记录第i路源^L频当前写入的存储空间Y,,并记录当前写入最快的源视频写入的存储空间X。步骤302:当步骤301中记录的存储空间X发生变化时，如果确定针对 第i路源视频记录的存储空间Y,与当前记录的存储空间X间隔Z个存储空 间，其中，Z为预i殳的正整数，且Z小于M, M为读取的存储空间和写入 最快的源视频写入的存储空间之间的间隔；则将该第i路源视频写入存储空 间Y,中的图像进行复制并写入间隔的所述Z个存储空间。下面结合具体实施例对上述方法进行详细描述。图4为本发明实施例提 供的详细方法流程图，如图4所示，该方法可以包括以下步骤步骤401:记录各路源视频当前写入的存储空间帧号wr—frm,,并记录 当前写入最快的源视频写入的存储空间帧号max_frm。在本发明中，需要对各路源视频当前写入的存储空间帧号wr一frm,进行 记录，当写入新的存储空间时，更新记录的wr—frm,,其中i标识第i路源 视频。并且对写入最快的源视频写入的存储空间帧号进行记录，并在该存储 空间发生变化时，及时更新记录的存储空间帧号。步骤402:当记录的max—frm发生变化时，针对各路源视频执行以下步骤步骤403:判断针对第i路源视频记录的wr—frm,与max—frm之间是否 间隔Z个帧号的存储空间，其中，Z为预设的正整数且小于M，如果是，执 行步骤404;否则不进行补偿处理。由于读取的存储空间落后于写入最快的源视频写入的存储空间为M个存储空间，因此，只要在读取某一个存储空间之前将该存储空间漏写的图像 补齐即可，因此，本步骤中可以预设Z小于M，在第i路源视频漏写了Z个 存储空间时，触发对漏写的Z个存储空间的图像进行补齐，即执行步骤404。 步骤404:将该第i路源视频写入帧号为wr—frm,的存储空间的图像进行复制，并写入间隔的所述Z个帧号的存储空间。为了保证播放视频的流畅性，在对漏写的Z个存储空间进行补齐时，采 用将该Z个存储空间的前一个存储空间中的图像进行复制并写入该Z个存 储空间。在执行了步骤404之后转至执行步骤401，其中，在转至执行的步骤401 中，更新记录的各路源视频当前写入的存储空间帧号wr一frm,为将当前记录 的wr—frm,加Z。需要强调的是，本发明中涉及的对帧号的加法操作都是以 N为周期的循环记数操作，其中，N为存储空间的个数。另外，需要说明的是，本发明并不影响对各路源视频图像的正常写入， 即在某个时刻到达的视频图像仍按照写拼接的方式进行处理。下面仍以四路源视频、四个存储空间为例对上述方法进行说明，假设预 设的M值为2,即读取的存储空间落后于写入最快的源视频写入的存储空间2个存储空间，那么预设的Z值为1，即漏写1个存储空间开始触发对该存 储空间的补齐。如图5a所示，假设第l路视频在t4时刻图像迟迟不来，如 果写入最快的源视频刚刚写入帧号为1的存储空间，即已经达到了 t5时刻， 此时更新记录的max—frm值为1，对于第1踪一见频记录的wr一frm,仍为3， 其间间隔1个存储空间，触发将存储空间3中第1路视频图像写入的图像 plj3进行复制并写入存储空间0。如果在t5时刻第1路视频的图像也没有来到，当写入最快的源视频刚 刚写入帧号为2的存储空间，即已经达到了t6时刻，如图5b所示，此时更 新记录的max—frm值为2 ，由于对于第1路视频记录的wr_frm,已经在进行 上一阶段的复制操作后更新为了 0，此时其间也间隔1个存储空间，触发将 存储空间0中第l路视频图像写入的图像p1—t3进行复制并写入存储空间1。第1路源视频后续到达的图像p1—t4、pl一t5等按照现有写拼接的方式进 行处理，在到来的时刻跟随写入最快的源视频写入新的存储空间。再举另外一个例子，如果预设的M值为3,即读取的存储空间落后于写 入最快的源视频写入的存储空间3个存储空间，那么也可以预设的Z值为2, 即漏写2个存储空间开始触发对该存储空间的补齐。如图6所示，如果在t4 和t5时刻第1路视频的图像都没有来到，写入最快的源视频刚刚写入帧号 为2的存储空间，即已经达到了 t6时刻时，此时更新记录的max一frm值为2， 由于对于第1路视频记录的wr—frm,为3,此时其间间隔2个存储空间，因 此，触发将存储空间3中第1路视频写入的图像p1—t3进行复制并写入存储 空间0和1 。下面对上述流程中记录当前写入最快的源视频写入的存储空间帧号 max一frm的方法进行详细描述。由于各路源-f见频中并没有哪一个始终是写入 最快的，因此无法采用固定跟踪某一个源视频的方式来记录写入最快的源视频写入的存储空间帧号。如果采用对各个源视频写入的源视频的存储空间帧 号分别进行计数，然后进行比较，将最大的计数值作为最快的存储空间帧号， 但由于写入过程是对几个存储空间进行循环写入，需要一个容量无限大的计 数器，显然也无法实现。因此，本发明提够了一种特殊的方式来记录当前写
入最快的源^L频写入的存储空间帧号max—frm，具体方式可以为当第i路 源视频的新的 一帧图像到来时，判断当前记录的wr一frm,是否与当前记录的 max一frm相同，如果是，更新记录的max—frm为当前i己录的max—frm的下 一个存储空间帧号；即加l，否则，不更新记录的max一frm。
举一个例子，如图7a所示，当第1路源^L频在t2时刻新的一帧图像到 来，确定当前记录的第1路源视频的wr—frm,为1,当前记录的max—frm也
为1， wr—frm,与max一frm相同，因此，将记录的 max frm更新为2; 然后,
将第1路源-见频在t2时刻到来的新的一帧写入当前记录的max—frm对应的 存储空间，即帧号为2的存储空间中该第1路源视频对应的子存储空间。
如果 一 段时间后第2路源视频的新的 一 帧图像也到来，也准备写入帧号 为2的存储空间，如图7b所示，由于当前记录的wr—frm2为1,而当前记
录的max—frm已更新为2，则不更新记录的max—frm;将第2路源视频到来 的新的一帧图像写入当前记录的max一frm对应的存储空间，即帧号为2的存 储空间中第2路视频对应的子存储空间。
以上为对本发明所提供的方法继续的详细描述，下面对本发明所提供的装 置进行详细描述。图8为本发明实施例提供的装置结构图，该装置应用于写拼 接方式中，如图8所示，该装置可以包括第一记录单元801、第二记录单元 802、补偿触发单元803和补偿处理单元804。
第一记录单元801，用于实时记录第i路源视频当前写入的存储空间Y,。 第二记录单元802，用于记录当前写入最快的源视频写入的存储空间X。 补偿触发单元803，用于在第二记录单元802记录的存储空间X发生变化
时，如果确定针对第i路源视频记录的存储空间Y'与当前记录的存储空间X间隔Z个存储空间，则向补偿处理单元804发送触发通知。
补偿处理单元804，用于接收到触发通知后，将该第i路源视频写入存储空
间Y'中的图像进行复制并写入间隔的Z个存储空间。
其中，Z为预设的正整数且Z小于M， M为读取的存储空间和写入最快的 源视频写入的存储空间之间间隔的存储空间个数。
写入单元805和写拼接读取单元806。
写拼接写入单元805，用于将各路源视频的图像以帧为单位依次写入N个 存储空间中该路源视频对应的子存储空间。
写拼接读取单元806，用于以落后于当前写入最快的源视频M帧的速度， 依次从N个存储空间中读取一整个存储空间的图像。
更进一步地，第二记录单元802可以具体包括更新判断子单元8021和更 新处理子单元8022。
更新判断子单元8021,用于当第i路源视频的新的一帧图像到来时，判断 当前记录的存储Y,是否与当前记录的存储空间X相同，如果是，向更新处理子 单元8022发送更新通知。
更新处理子单元8022，用于接收到更新通知后，更新记录的存储空间X为 当前记录的存储空间X的下一个存储空间。
另外，为了与现有技术中写拼接处理中图像的正常写入，更新判断子单元 8021，还可以用于在判断结果为否时，向写拼接写入单元805发送写入通知。
在Z值为1时，写拼4妄写入单元805接收到写入通知后，或者在更新处理 子单元8022更新记录的存储空间X后，将第i路源视频的新的一帧图像写入当 前记录的存储空间X中该第i路源视频对应的子存储空间。
具体地，第一记录单元801和第二记录单元802可以采用帧号对存储空间Yi 和存储空间X进4亍记录。
第一记录单元801在补偿处理单元804执行复制并写入的操作后，将当前记录的存储空间Y,的帧号加Z。
更新处理子单元8022接收到更新通知后，将记录的存储空间X的帧号加1。
其中，对帧号的加法操作为以N为周期的循环记数，例如，当N为4时， 如果采用的存储空间的帧号为0、 1、 2、 3，贝'j将3加l后得到的帧号为0。
由以上描述可以看出，本发明提供的方法和装置对各路源视频当前写入 的存储空间和当前写入最快的源视频写入的存储空间进行记录，并在当前写 入最快的源视频写入的存储空间发生变化时，将两者进行比较，如果间隔Z 个存储空间便触发图像补偿操作，即将当前记录的第i路源视频写入的存储 空间中的图像进行复制并写入间隔的所述Z个存储空间，设置Z小于M， 使得在读取某一个存储空间之前，对该存储空间缺失的图像进行及时补偿， 从而有效地解决写拼接方式中的图像"回退"现象，提高视觉效果。并且， 本发明能够有效地解决多帧连续丟失的问题。
另外，本发明还提供了 一种记录当前写入最快的源视频写入的存储空间 的方式，仅需要与存储空间数目相同的计数器容量即可实现，即解决了计数 器溢出带来的实现问题，又节约了寄存器资源。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本 发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在 本发明保护的范围之内。
权利要求
1、一种视频拼接中的图像补偿方法，应用于写拼接方式，其特征在于，针对各路源视频分别执行以下步骤A、实时记录第i路源视频当前写入的存储空间Yi，并记录当前写入最快的源视频写入的存储空间X；B、当记录的存储空间X发生变化时，如果确定针对第i路源视频记录的存储空间Yi与当前记录的存储空间X间隔Z个存储空间，则将该第i路源视频写入存储空间Yi中的图像进行复制并写入间隔的所述Z个存储空间；其中，Z为预设的正整数且Z小于M，M为读取的存储空间和写入最快的源视频写入的存储空间之间间隔的存储空间个数。
2、 根据权利要求1所述的方法，其特征在于，所述写拼接方式具体为将 各路源视频的图像以帧为单位依次写入N个存储空间中该路源视频对应的子存 储空间；以落后于当前写入最快的源视频M帧的速度，依次从所述N个存储 空间中读取一整个存储空间的图像。
3、 根据权利要求2所述的方法，其特征在于，步骤A中所述记录当前写 入最快的源视频写入的存储空间X具体包括当第i路源视频的新的一帧图像 到来时，判断当前记录的存储空间Yi是否与当前记录的存储空间X相同，如果 是，则更新记录的存储空间X为当前记录的存储空间X的下一个存储空间；否 则不更新记录的存储空间X。
4、 根据权利要求3所述的方法，其特征在于，所述Z为1时，该方法还包 括在所述更新记录的存储空间X或不更新记录的存储空间X之后，将所述第 i路源视频的新的一帧图像写入当前记录的存储空间X中该第i路源视频对应的 子存储空间。
5、 根据权利要求3所述的方法，其特征在于，采用帧号对所述存储空间Y, 和存^f诸空间x进4亍记录；在所述步骤B之后转至所述步骤A;在转至的所述步骤A中，记录第i路 源视频当前写入的存储空间Y,的帧号为将当前记录的存储空间Y,的帧号加Z;所述更新记录的存储空间X为当前记录的存储空间X的下一个存储空间 为将记录的存储空间X的帧号加1;其中，对帧号的加法操作为以N为周期的循环记数。
6、 一种视频拼接中的图像补偿装置，应用于写拼接方式，其特征在于，该 装置包括第一记录单元、第二记录单元、补偿触发单元和补偿处理单元；所述第一记录单元，用于实时记录第i路源视频当前写入的存储空间X;所述第二记录单元，用于记录当前写入最快的源视频写入的存储空间X; 所述补偿触发单元，用于在所述第二记录单元记录的存储空间X发生变化时，如果确定针对第i路源视频记录的存储空间Y'与当前记录的存储空间X间 隔Z个存储空间，则向所述补偿处理单元发送触发通知；所述补偿处理单元，用于接收到触发通知后，将该第i路源视频写入存储空间Y'中的图像进行复制并写入间隔的所述Z个存储空问；其中，Z为预设的正整数且Z小于M, M为读取的存储空间和写入最快的 源视频写入的存储空间之间间隔的存储空间个数。
7、 根据权利要求6所述的装置，其特征在于，该装置还包括写拼接写入 单元和写拼接读取单元；所述写拼接写入单元，用于将各路源视频的图像以帧为单位依次写入N个 存储空间中该路源视频对应的子存储空间；所述写拼接读取单元，用于以落后于当前写入最快的源视频M帧的速度， 依次从所述N个存储空间中读取一整个存储空间的图像。
8、 根据权利要求7所述的装置，其特征在于，所述第二记录单元具体包括 更新判断子单元和更新处理子单元； ..所述更新判断子单元，用于当第i路源视频的新的一帧图像到来时，判断 当前记录的存储Y,是否与当前记录的存储空间X相同，如果是，向所述更新处理子单元发送更新通知；所述更新处理子单元，用于接收到所述更新通知后，更新记录的存储空间X为当前记录的存储空间X的下一个存储空间。
9、 根据权利要求8所述的装置，其特征在于，所述更新判断子单元，还用 于在判断结果为否时，向所述写拼接写入单元发送写入通知；当所述Z为1时，所述写拼接写入单元接收到所述写入通知后，或者在所 述更新处理子单元更新记录的存储空间X后，将所述第i路源视频的新的一帧 图像写入当前记录的存储空间X中该第i路源视频对应的子存储空间。
10、 根据权利要求8所述的装置，其特征在于，所迷第一记录单元和第二记录单元采用帧号对所述存储空间X和存储空间X进行记录；所述第一记录单元在所述补偿处理单元执行所述复制并写入的操作后，将当前记录的存储空间Y,的帧号加Z;所述更新处理子单元接收到所述更新通知后，将记录的存储空间X的帧号加；其中，对帧号的加法操作为以N为周期的循环记数。
全文摘要
本发明提供了一种视频拼接中的图像补偿方法和装置，应用于写拼接方式，针对各路源视频分别执行以下步骤实时记录第i路源视频当前写入的存储空间Y<sub>i</sub>，并记录当前写入最快的源视频写入的存储空间X；当记录的存储空间X发生变化时，如果确定针对第i路源视频记录的存储空间Y<sub>i</sub>与当前记录的存储空间X间隔Z个存储空间，则将该第i路源视频写入存储空间Y<sub>i</sub>中的图像进行复制并写入间隔的所述Z个存储空间；其中，Z为预设的正整数且Z小于M，M为读取的存储空间和写入最快的源视频写入的存储空间之间间隔的存储空间个数。本发明能够有效地解决写拼接方式中的图像“回退”现象，提高视觉效果。
文档编号H04N7/24GK101577822SQ200910087030
公开日2009年11月11日 申请日期2009年6月15日 优先权日2009年6月15日
发明者强 刘, 晋兆虎 申请人:杭州华三通信技术有限公司