基于gpu实时视频处理的多投影融合方法和系统的制作方法
【技术领域】
[0001] 本发明设及视频处理领域，尤其设及一种基于GPU实时视频处理的多投影融合系 统。
【背景技术】
[0002] 多通道投影融合系统作为一种虚拟现实系统，利用多台投影机投射出无缝统一、 高图像分辨率的完美影像和宽视角视觉场景，配合环绕立体音响系统，打造出一种沉浸式 的、身临其境般的虚拟仿真环境。广泛应用于交通指挥监控、虚拟战场仿真、数字城市规划、 博物馆、电影院、教育培训、旅游景区等大型场景仿真环境。多通道环幕投影系统远低于专 业图形工作站的构建成本，且灵活易扩展。
[0003] 针对视频文件的多投影融合，首先将视频文件在不同的PC终端，按照默认融合区 域宽度进行分割，分割后的每一部分与投影仪一一对应；其次，对每一部分视频进行默认的 bezier矫正和边缘亮度矫正，将投射出的影像拟合环幕并融合边缘亮度，完成环幕效果展 示；第=，将各个客户端软件连接到服务控制端，由服务控制端统一管理各个客户端，如参 数调节、时钟同步等。
[0004] 目前，对视频文件的数据处理主要是通过CPU多线程处理方式，该方式可W提高 CPU的利用率、加快数据处理速度，但是仅仅通过CPU多线程处理方式对算法的执行效率要 求较高且降低了PC的实时响应能力。尤其是在处理高清视频文件的情况下，通过CPU多线 程处理方式，不能达到视频文件实时处理要求。
【发明内容】
[0005] 为了解决上述问题，本发明基于GPU实时视频处理的多投影融合方法，其特征在 于，针对每一帖数据的处理包括W下步骤：
[0006] (1)源过滤器采集视频文件生成视频源数据和音频数据；
[0007] (2)解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音 频数据；
[000引 （3)转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算；
[0009] (4)擅染过滤器对所述转换过滤器处理后的数据进行擅染，同时通过视频源数据 的参考时钟对所述音频数据和所述视频矩阵数据进行同步操作。
[0010] 优选的是所述视频文件经过解码后，转换为图像矩阵数据，所述视频矩阵数据通 过链路模型传递到所述转换过滤器的缓冲池。
[0011] 在上述任一方案中优选的是，所述视频矩阵数据每一帖为一个所述图像矩阵数 据。
[0012] 在上述任一方案中优选的是，其特征在于：在所述解码过滤器完成所述计算后生 成处理后的数据，并将其送回所述解码过滤器的缓冲池。
[0013] 在上述任一方案中优选的是，其特征在于：所述转换过滤器包括裁剪过滤器、边缘 亮度融合过滤器、非线性几何校正过滤器。
[0014] 在上述任一方案中优选的是，所述算法包括边缘融合算法、非线性几何校正算法。
[0015] 在上述任一方案中优选的是，所述边缘融合算法包括W下步骤，
[0016] (1)在所述边缘亮度融合过滤器的缓冲池中读所述视频矩阵数据，并记录当前图 像矩阵
【主权项】
1. 基于GPU实时视频处理的多投影融合方法，其特征在于，针对每一帧数据的处理包 括以下步骤： (1) 源过滤器采集视频文件生成视频源数据和音频数据； (2) 解码过滤器对所述视频源数据进行音、视频解码分流形成视频矩阵数据和音频数 据； (3) 转换过滤器按照算法对所述视频矩阵数据进行CPU/GPU协同并行计算； (4) 渲染过滤器对所述转换过滤器处理后的数据进行渲染，同时通过视频源数据的参 考时钟对所述音频数据和所述视频矩阵数据进行同步操作。
2. 如权利要求1所述的多投影融合方法，其特征在于：所述视频文件经过解码后，转换 为图像矩阵数据，所述视频矩阵数据通过链路模型传递到所述转换过滤器的缓冲池。
3. 如权利要求2所述的多投影融合方法，其特征在于：所述视频矩阵数据每一帧为一 个所述图像矩阵数据。
4. 如权利要求3所述的多投影融合方法，其特征在于：在所述解码过滤器完成所述计 算后生成处理后的数据，并将其送回所述解码过滤器的缓冲池。
5. 如权利要求1所述的多投影融合方法，其特征在于：所述转换过滤器包括裁剪过滤 器、边缘亮度融合过滤器、非线性几何校正过滤器。
6. 如权利要求1所述的多投影融合方法，其特征在于：所述算法包括边缘融合算法、非 线性几何校正算法。
7. 如权利要求6所述的多投影融合方法，其特征在于：所述边缘融合算法包括以下步 骤， (1) 在所述边缘亮度融合过滤器的缓冲池中读所述视频矩阵数据，并记录当前图像矩 阵j
的窗口大小，高度H，宽度W，所述视频矩阵数据默认最下面 一行为初始行； (2) 初始化边缘融合函数的参数，公式1中参数a取值范围为O~1，即a e [〇, 1]，p 的取值范围为1~5中的整数，SPp e (1，2,3,4,5)
(3) 根据步骤（1)记录的窗口大小，设计矩阵MatB和融合带宽度Bw，保证所述矩阵 MatB和所述图像矩阵MatA保持一致，根据公式2计算所述融合矩阵MatB，其中j e [〇, H]
(4) 将所述图像矩阵MatA与融合矩阵MatB的相应元素相乘，并赋值给所述图像矩阵 MatA，形成图像矩阵MatA1，计算过程如公式 PV = i+j*ff A 公式3 ; MatA [PV] =MatA [PV]*MatB[PV] (5) 将所述图像矩阵MatA1送至所述非线性几何校正过滤器的缓冲池中； (6) 每次参数调整后，会重新生成融合矩阵，将缓冲池中神谕的图像矩阵一次执行步骤 (4)、（5)，直到处理完所述缓冲池中所有的视频矩阵数据或再次进行了参数调整。
8. 如权利要求6所述的多投影融合方法，其特征在于：所述非线性几何校正算法包括 以下步骤， (1)在所述非线性几何校正过滤器的缓冲池中读取所述视频矩阵数据，并记录当前矩 阵
彳窗口大小，高度H1，宽度W1，所述视频矩阵数据默认最下面 一行为初始行； ⑵根据步骤⑴记录的所述窗口大小，设计矩阵MatB'和MatC'，与所述矩阵MatC大 小保持一致，初始化Bezier曲线参数，根据公示4生成一条Bezier三次曲线 B (h) = P0 (1-h) 3+3Ρ> (1-h) 2+3P2h2 (1-h) +P3h3, h e [〇, 1] 公式 4 ; (3) 将矩阵MatB'的每一行，拟合步骤（2)生成的所述Bezier曲线参数，要求矩阵从 下边缘到上边缘的次序，依次调整所述Bezier曲线的控制点，使得曲线不断接近直线； 运算后，生成可用于并行运算的Bezier参数矩阵3
，其中其中 5广，力，j表示矩阵的列索引； (4) 将矩阵MatA'的每一个元素进行如公式5的运算，其中i e [〇，W]，j e [〇，H];然 后将矩阵MatA'和MatB'进行并行运算 PV = i+j*ff T = PV-MatB' [PV] *ff 公式 5 ; T > 0 ? MatC' [PV] = MatA' [T] : 0 (5) 将处理完后的图像矩阵MatC送回视频缓冲池相应的位置； (6) 每次参数调整后，会重新生成几何校正的参数矩阵，将缓冲池中剩余的图像矩阵依 次执行步骤（4)、（5)操作，直到处理完整个视频或再次进行了参数调整。
9. 如权利要求7所述的多投影融合方法，其特征在于：所述Bezier曲线的控制点如公 式6,其中Vertical、Vertical_R为P1、P2初始化时的纵坐标分量，表示P1、P2点到由P0、 P3连成直线的垂直距离，H表示图像矩阵的高度，i表示矩阵的行索引 = Vertical - Vertical / H P!, = Vertical R- Vertical R/ H 公式 6
10.基于GPU实时视频处理的多投影融合系统，采用DirectShow链路模型，其特征在 于，包括： 源过滤器，用于对视频文件采集，生成视频源数据； 解码过滤器，用于音视频解码分流，形成视频矩阵数据和音频数据； 转换过滤器用于接收从其它过滤器中传送过来的数据，再经过处理，传递给下一个过 滤器； 渲染过滤器，用于对所述转换过滤器处理后的数据进行渲染，同时通过参考时钟进行 同步操作； 所述源过滤器、所述解码过滤器、所述转换过滤器、所述渲染过滤器依次连接。
【专利摘要】本发明提供了一种基于GPU实时视频处理的多投影融合方法和系统。本发明通过设计并使用边缘融合和非线性几何校正并行算法，采用CPU、GPU协同运算的编程方式，可以有效提高算法的运行速度，减少了CPU资源的消耗，有效降低对CPU计算性能的依赖。提升硬件利用率和计算效率的同时，也为算法性能优化提供更多的空间，使得最终投影显示效果更加自然、流畅。借助于DirectShow的链路模型，增强系统对播放环境的适应能力，可以灵活的修改或者添加过滤器来完善系统功能，用户可以通过修改过滤器的参数来调整投影面的非线性几何校正和边缘融合效果。
【IPC分类】H04N9-31, G06T5-00, H04N5-74
【公开号】CN104836970
【申请号】CN201510142218
【发明人】袁家政, 刘宏哲, 李晓光
【申请人】北京联合大学
【公开日】2015年8月12日
【申请日】2015年3月27日