一种用于大屏幕多投影系统的视频像素交替插值方法
【专利摘要】本发明公开了一种用于大屏幕多投影系统的视频像素交替插值方法，该视频像素交替插值方法采用按帧交替进行横向插值和纵向插值的方法，得到各帧子视频画面中所有像素的颜色信息，并按照相关视频时序规则输出。本发明的视频像素交替插值方法中高速按帧交替进行横向插值与纵向插值生成子视频画面，利用视觉暂留效应，使人眼观察到的最终显示效果同时包含横向插值与纵向插值的效果，实现接近双线性插值方案的较好显示效果，每生成一个子视频像素，仅需读取原始视频画面中的两个像素的像素信息，资源消耗和速度要求适中。
【专利说明】一种用于大屏幕多投影系统的视频像素交替插值方法
【技术领域】
[0001]本发明涉及大屏幕投影显示领域，具体涉及一种用于大屏幕多投影系统的视频像素交替插值方法。
【背景技术】
[0002]大屏幕多投影系统广泛的应用在交通运输调度指挥、大型会议实施、飞行模拟训练、作战指挥等领域中。目前大屏幕多投影系统如图1所示，主要由四部分组成:视频源、投影仪阵列、视频处理设备、大屏幕，投影仪阵列由多台投影仪组成。视频处理设备将视频源所输出的原始视频进行处理，并输出多路子视频，分别输出至不同投影仪进行投影显示。由于投影仪投影区域与大屏幕的相对位置以及大屏幕几何形状的多样性，投影内容往往无法精确显示在大屏幕上的目标区域，因此需要对投影内容进行几何校正。通过几何校正、颜色矫正和边缘融合来实现无缝拼接，保证屏幕上整幅画面内容的连续性及视觉的一致性。对高分辨率的原始视频画面进行实时处理需要非常大的计算量，对视频处理设备的资源和运行速度提出了巨大的挑战，因为导致了整个大屏幕多投影系统成本的上升。因此人们希望能够利用尽可能低的资源消耗和速度要求来实现较好的显示效果。
[0003]一般多对大屏幕以及投影仪显示区域进行几何测量标定，计算得到相关几何校正参数，然后通过得到的几何校正参数进行校正。对于子视频画面中的每一个像素，根据其坐标位置和几何校正参数计算得到其在原始视频画面中的对应点坐标，根据该对应点坐标对原始视频画面进行采样，得到子视频画面中像素的颜色值。由于视频画面中像素的坐标均为整数，而计算得到的对应点坐标往往是小数，因此需要利用一定的算法来进行像素采样。用于像素采样的方法主要有最临近点近似、线性插值和双线性插值。
[0004]最临近点近似方法首先将所述对应点坐标中的横坐标与纵坐标分量都进行四舍五入取整，并根据取整后的对应点坐标读取原始视频画面中的像素颜色值，作为子视频画面中像素的颜色值。利用最邻近点近似的方法，每生成一个子视频像素，只需要读取原始视频画面中的一个像素信息，具有最小的资源消耗和速度要求，但是由于进行了四舍五入的取整近似，子视频画面会产生锯齿失真。
[0005]线性插值方法一般包含横向插值和纵向插值两种方法。对于横向插值，首先将所述对应点坐标进行纵向取整，即对对应点坐标的纵坐标分量进行四舍五入取整，将横坐标分量的整数和小数部分保留，根据纵向取整后的对应点坐标读取原始视频画面中的该坐标横向最邻近的两个像素的颜色值，然后将对应点坐标中横坐标分量的小数部分作为插值系数，对读取的两个像素进行线性插值，得到的结果作为子视频画面中像素的颜色值。纵向插值与横向插值近似，区别在于纵向插值是将上述对应点坐标进行横向取整，利用纵向两个最邻近像素进行插值。利用线性插值的方法，每生成一个子视频像素，需要读取原始视频画面中的两个像素信息，相比最临近点近似方法，其资源消耗和速度要求提升了一倍，但是由于进行了插值处理，子视频画面的锯齿失真会显著减少。
[0006]双线性插值方法保留所述对应点坐标的整数和小数部分，根据对应点坐标读取原始视频画面中的该坐标周围最邻近的四个像素的颜色值，然后将对应点坐标中横坐标分量与纵坐标分量的小数部分分别作为横向插值系数和纵向插值系数，对读取的四个像素进行双线性插值，得到的结果作为子视频画面中像素的颜色值。利用双线性插值的方法，每生成一个子视频像素，需要读取原始视频画面中的四个像素信息，相比最临近点近似方法，其资源消耗和速度要求提升至四倍，但是由于进行了横纵两个方向上的插值处理，子视频画面的锯齿失真基本得以消除。
[0007]以上几种方法中，最邻近点近似方法是利用较低的资源消耗和速度要求实现较差的显示效果，双线性插值方法是利用较高的资源消耗和速度要求实现较好的显示效果，而线性插值方法为前两者的折中方案，其显示效果不够理想。为了尽可能提高大屏幕多投影系统的性价比，人们希望能有一种具有适中的资源消耗和速度要求同时能实现较好显示效果的视频像素插值方法。
【发明内容】
[0008]本发明的目的在于克服上述现有方案的不足，提供一种具有适中的资源消耗和速度要求同时能实现较好显示效果的视频像素交替插值方法。
[0009]一种用于大屏幕多投影系统的视频像素交替插值方法，包括如下步骤:
[0010]I)对大屏幕多投影系统中的大屏幕显示区域和各个投影仪投影区域进行几何标定，得到用于几何校正的原始视频画面和子视频画面间的转换函数；
[0011]2)根据所述转换函数，计算得到各子视频画面中每一个像素在原始视频画面中的对应点的坐标；
[0012]3)根据所述对应点的坐标，按帧交替进行横向插值和纵向插值，插值结果作为各帧子视频画面的像素信息并按照相关视频时序规则输出。
[0013]一个子视频由一系列在时间轴上依次出现的若干帧子视频画面组成。每帧子视频画面中的任意像素，均为从原始视频画面中的对应位置(即对应点)采样得到像素信息(即颜色值)。本发明通过时间上相邻的各帧子视频画面分别采用横向插值(横向线性插值)和纵向插值(纵向线性插值)，从而利用视觉暂留效应(视觉暂留是指人在观察物体之后物体的映像在人眼的视网膜上保留一个短暂时间(0.1秒左右)的一种生物现象)，人眼观察到的最终显示效果同时包含横向插值与纵向插值的效果，有效的减小子视频画面的锯齿失真，实现接近双线性插值方案的较好显示效果。且对于子视频的任意一帧画面，均只进行横向插值或者纵向插值处理，生成一个子视频像素只需要读取原始视频画面中的两个像素信息，与双线性插值方案比较，资源消耗和速度要求都较低。
[0014]按照相关视频时序规则输出子视频过程中，实时判断当前帧是否结束，若结束则切换至另一种插值方法，从而确保相邻的两帧子视频画面采用不同的插值方法。
[0015]本发明对于先进行横向插值还是纵向插值没有特殊要求。
[0016]所述的像素信息为颜色值。
[0017]所述步骤(3)中的横向插值包括以下步骤:
[0018](3-11)对所述对应点的坐标进行纵向取整得到纵向取整后的对应点坐标，读取原始视频画面中与纵向取整后的对应点横向最邻近的两个像素的颜色值；
[0019](3-12)取对应点的横坐标的小数部分作为插值系数，对读取的两个像素的颜色值进行插值，得到该帧子视频画面中相应像素的颜色值。
[0020]所述步骤(3-11)中纵向取整为对对应点的纵坐标进行四舍五入取整。
[0021]所述步骤(3-12)中根据公式:
[0022]P(X, Ys) = (1-U) ? P(Xi, Ys)+ U ? P(X^l1Ys)
[0023]对读取的两个像素的颜色值进行插值，其中P (X，Ys)为对应点纵向取整后的颜色值，P(XiJs)和P(Xi+l，Ys)分别为横向最邻近的两个像素的颜色值，Ys为取整后的对应点纵坐标值，X为对应点横坐标值，u为对应点横坐标值的小数部分，Xi为对应点横坐标值的整数部分。
[0024]所述步骤(3)中纵向插值包括以下步骤:
[0025](3-21)对所述对应点坐标进行横向取整得到横向取整后的对应点坐标，读取原始视频画面中与横向取整后的对应点纵向最邻近的两个像素的颜色值；
[0026](3-22)取对应点的纵坐标的小数部分作为插值系数，对读取的两个像素的颜色值进行插值，得到该帧子视频画面中相应像素的颜色值。
[0027]所述步骤(3-21)中横向取整表示对对应点的横坐标进行四舍五入取整。
[0028]所述步骤(3-22)中根据公式:
[0029]P (Xs, Y) = (1- V ) ? P (Xs, Yi)+V ? P (Xs, Y^l)
[0030]对读取的两个像素的颜色值进行插值，其中P (XS，Y)为对应点横向取整后的颜色值，PU)和P(Xs，Yi+l)分别 为纵向最邻近的两个像素的颜色值，Xs为取整后的对应点横坐标值，Y为对应点的纵坐标值，V为对应点的纵坐标值的小数部分，Yi为对应点纵坐标值的整数部分。
[0031]本发明的用于大屏幕多投影系统的视频像素交替插值方法中采用高速按帧交替进行横向插值与纵向插值的方法来生成子视频的各帧画面，由于视觉暂留效应，人眼观察到的最终显示效果同时包含横向插值与纵向插值的效果，实现接近双线性插值方案的较好显示效果，且对于子视频的任意一帧画面，均只进行横向插值或者纵向插值处理，每生成一个子视频像素，需要读取原始视频画面中的两个像素信息，资源消耗和速度要求适中。
【专利附图】
【附图说明】
[0032]图1是本发明所采用的大屏幕多投影系统示意图；
[0033]图2是本发明实施例中对视频画面建立坐标系示意图；
[0034]图3是本发明的用于大屏幕多投影系统的视频像素交替插值方法流程示意图；
[0035]图4是本发明中所采用的横向插值原理示意图；
[0036]图5是本发明中所采用的纵向插值原理示意图。
【具体实施方式】
[0037]下面结合实施例及附图，对本发明做进一步的详细说明，但本发明的实施方式不仅限于此。
[0038]本实施例的用于大屏幕多投影系统的视频像素交替插值方法基于如图1所示的大屏幕多投影系统完成视频投影显示。首先搭建由视频源、大屏幕、视频处理设备以及投影仪阵列组成的大屏幕多投影系统。[0039]在本实施例中，视频处理设备将视频源所输出的原始视频进行处理，并输出多路子视频，分别输出至不同投影仪进行投影显示。如图2所示，将原始视频画面视为二维平面，建立坐标系。将原始视频画面中的所有像素在横向和纵向两个方向上分别依次编号，并分别定义为各像素的横坐标和纵坐标。
[0040]本实施例的用于大屏幕多投影系统的视频像素交替插值方法，如图3所示，包括如下步骤:
[0041](I)对大屏幕多投影系统中的大屏幕显示区域和各个投影仪投影区域进行几何标定，得到用于几何校正的原始视频画面和子视频画面间的转换函数；
[0042](2)根据所述转换函数，计算得到各子视频画面中每一个像素在原始视频画面中的对应点的坐标；
[0043](3)根据所述对应点的坐标，按帧交替进行横向插值和纵向插值，插值结果作为各帧子视频画面的像素信息并按照相关视频时序规则输出。
[0044]按照相关视频时序规则输出过程中，实时判断当前帧是否结束，若结束则切换至另一种插值方法，若当前帧未结束，则继续采用当前插值方法，从而确保相邻的两帧子视频采用不同的插值方法。如:当前帧子视频画面进行横向插值，当前帧结束后，对下一帧子视频画面进行纵向插值，依次交替进行。
[0045]某一像素的对应点的坐标为(X，Y)，其中横坐标X分为整数部分Xi和小数部分U ；纵坐标Y分为整数部分Yi和小数部分V ；
[0046]纵向取整即对对应点(X，Y)的纵坐标Y进行四舍五入取整，结果为Ys，因此纵向取整后的对应点的坐标为(X，Ys)，纵向取整后横向最邻近的两个像素的坐标为(Xi, Ys)和(Xi+1, Ys)；
[0047]横向取整即对对应点(X，Y)的纵坐标X进行四舍五入取整，结果为Xs，因此横向取整后的对应点的坐标为(Xs，Y)，横向取整后纵向最邻近的两个像素的坐标为(H)和(Xs, Y#)。
[0048]如图4所示，对该点进行横向插值，具体过程如下:
[0049](3-11)对对应点(X，Y)的坐标进行纵向取整得到纵向取整后的对应点坐标(X，Ys)，读取原始视频画面中与纵向取整后的对应点(X，YS)横向最邻近的两个像素(Xi, Ys)和(Xi+!, Ys)的颜色值 P (Xi, Ys)和 P (Xi+!, Ys)；
[0050](3-12)取对应点(X，Y)的横坐标的小数部分U作为插值系数，对读取的两个像素的颜色值P(XiJs)和P(Xi+l，Ys)进行插值，得到纵向取整后的对应点(X，YS)的颜色值P(X, Ys)，以P(X，Ys)作为该帧子视频画面中该像素的颜色值，其中根据如下公式:
[0051]P (X, Ys) = (1-U) ? P (Xi, Ys)+ U ? P(X^l1Ys)
[0052]进行插值。
[0053]如图5所示，对该点进行纵向插值，具体过程如下:
[0054](3-21)对对应点(X，Y)的坐标进行横向取整得到横向取整后的对应点坐标(Xs，Y)，读取原始视频画面中与横向取整后的对应点(XS，Y)纵向最邻近的两个像素(H)和(U+1)的颜色值P (XsJi)和P和(U+1)；
[0055](3-22)取对应点(X，Y)的纵坐标的小数部分v作为插值系数，对读取的两个像素的颜色值P(XsJi)和P(Xs，Yi+l)进行插值，得到横向取整后的对应点(XS，Y)的颜色值P(xs, Y)，以P(X，Ys)作为该帧子视频画面中该像素的颜色值，其中根据如下公式:
[0056]P (Xs, Y) = (1- V ) ? P (Xs, Yi)+V ? P (Xs, Y^l)
[0057]进行插值。
[0058]根据上述方法，采用横向插值或纵向插值计算每帧子视频画面中全部像素的颜色值，并根据视频时序规则实时输出，直至该帧子视频结束。同一帧中的所有像素采用相同的插值方法计算颜色值，相邻两帧采用不同的插值方法，依次交替对所有帧进行横向插值和纵向插值，并完成视频输出。
[0059]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发`明的保护范围之内。
【权利要求】
1.一种用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，包括如下步骤: (1)对大屏幕多投影系统中的大屏幕显示区域和各个投影仪投影区域进行几何标定，得到用于几何校正的原始视频画面和子视频画面间的转换函数； (2)根据所述转换函数，计算得到各子视频画面中每一个像素在原始视频画面中的对应点的坐标； (3)根据所述对应点的坐标，按帧交替进行横向插值和纵向插值，插值结果作为各帧子视频画面的像素信息并按照相关视频时序规则输出。
2.如权利要求1所述的用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，所述的像素信息为颜色值。
3.如权利要求2所述的用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，所述步骤(3)中的横向插值包括以下步骤: (3-11)对所述对应点的坐标进行纵向取整得到纵向取整后的对应点坐标，读取原始视频画面中与纵向取整后的对应点横向最邻近的两个像素的颜色值； (3-12)取对应点的横坐标的小数部分作为插值系数，对读取的两个像素的颜色值进行插值，得到该帧子视频画面中相应像素的颜色值。
4.如权利要求3所述的用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，所述步骤(3-11)中纵向取整为对所述对应点的纵坐标进行四舍五入取整。
5.如权利要求4所述的用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，所述步骤(3-12)中根据公式:
P(X，YS) = (1-u) ? P (Xi, Ys)+ u ? P(X^l1Ys) 对读取的两个像素的颜色值进行插值，其中P(X，Ys)为坐标纵向取整后的对应点颜色值，PU)和P(Xi+l，Ys)分别为横向最邻近的两个像素的颜色值，Ys为取整后的对应点纵坐标值，X为对应点横坐标值，u为对应点横坐标值的小数部分，Xi为对应点横坐标值的整数部分。
6.如权利要求2所述的用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，所述步骤(3)中纵向插值包括以下步骤: (3-21)对所述对应点坐标进行横向取整得到横向取整后的对应点坐标,读取原始视频画面中与横向取整后的对应点纵向最邻近的两个像素的颜色值； (3-22)取对应点的纵坐标的小数部分作为插值系数，对读取的两个像素的颜色值进行插值，得到该帧子视频画面中相应像素的颜色值。
7.如权利要求6所述的用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，所述步骤(3-21)中横向取整为对所述对应点的横坐标进行四舍五入取整。
8.如权利要求7所述的用于大屏幕多投影系统的视频像素交替插值方法，其特征在于，所述步骤(3-22)中根据公式:
P (Xs, Y) = (1-v) * P (Xs, Yi)+V * P (Xs, Yi+!) 对读取的两个像素的颜色值进行插值，其中P(XS，Y)为坐标横向取整后的对应点颜色值，PU)和P(Xs，Yi+l)分别为纵向最邻近的两个像素的颜色值，Xs为取整后的对应点横坐标值，Y为对应点的纵坐标值，V为对应点的纵坐标值的小数部分，Yi为对应点纵坐标值的整数部分。
【文档编号】H04N9/31GK103686028SQ201310632496
【公开日】2014年3月26日 申请日期:2013年11月29日 优先权日:2013年11月29日
【发明者】王明宇, 韩雁, 王锐 申请人:浙江大学