一种拼接屏联动系统及视频拼接方法与流程

本发明属于拼接屏，尤其是涉及一种拼接屏联动系统及视频拼接方法。

背景技术：

1、拼接屏是由多个液晶屏幕拼接组成的大屏幕显示系统，又称拼接墙，它通过特殊的拼接技术，无缝地将多个液晶屏幕拼接在一起，形成一个整体显示屏幕。在安防监控、广告宣传、展示展览、指挥调度、会议室、学校教室等多个场合中，所用的监视器一般是由多个拼接屏组成。

2、现有的拼接屏监视器都不可避免地存在物理缝隙，因为液晶屏之间的边框宽度、拼接引线的宽度和颜色等因素所引起的，物理缝隙在拼接屏的制造过程中是不可避免的，并且由于多个拼接屏在联动时因为个体之间存在的光学物理特性差异，相邻的两个拼接屏会存在色差、对比度等显示问题。为缓解拼接屏缝隙导致的画面不清晰、不流畅等体验效果，通常会利用一下图像拼接算法比如像素平移、颜色融合、几何校正等技术，来使画面衔接的更加自然。但在一些多场面实时传输的视频画面如监控画面、实景播放画面等一些数据量大并且通道多的场景下，存在视频信号传输延时、分流滞后，不仅造成拼接屏的图像与信号源的图像时间不一致，一些拼接屏之间也会存在时间不同步的后果，严重时导致画面延迟现象。并且现有的图像拼接技术多是提取两个画面之间的特征值来进行拼接的，实时显示的场景会造成特征点提取困难，拼接屏之间时间不同步导致画面也不同帧，导致拼接处理难度陡增，需要gpu加速更强大的处理器来解决延长问题，继而影响到用户的观看体验。

技术实现思路

1、有鉴于此，本发明旨在提出一种拼接屏联动系统及视频拼接方法，以提高拼接屏与信号源屏幕图像的同步性，加快图像拼接的速度。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、一种拼接屏联动系统。

4、进一步的，包括信号源、拼接屏、数字矩阵、mcu；信号源与数字矩阵连接，用于转换和处理输入数据；拼接屏设有拼接器，拼接屏与拼接器连接，数字矩阵与拼接屏连接，用于拼接并校正多个拼接屏上的画面；mcu与数字矩阵连接，mcu与拼接器连接，用于同步拼接屏与信号源的数据时间；

5、联动系统工作流程包括以下步骤：

6、s1、信号源的输入数据传输至数字矩阵进行处理和转换；

7、s2、mcu调制数字矩阵对输入数据进行处理，并传输至拼接屏；

8、s3、拼接屏接收输入数据并传输至拼接器，拼接器拼接图像或视频并输出数据，以驱动拼接屏进行图像显示或视频播放；

9、s4、mcu实时监视拼接屏的运行状态，并评估图像显示是否合格，若不正确将初始化mcu并转到s2执行；若正确则转到s3进行执行下一帧图像。

10、进一步的，一种拼接屏视频拼接方法基于所述拼接屏联动系统，所述mcu与数字矩阵通过8080协议通信连接；

11、所述s2包括以下分步骤：

12、s21、数字矩阵传输输入数据至mcu进行实时地信号检测、跟踪、识别；

13、s22、mcu对输入数据做时间同步并分流；

14、s23、mcu将时间同步的输入数据一一对应地传输至拼接屏。

15、进一步的，所述s2包括：mcu对于每个拼接屏写入的命令、参数建立缓冲并储存；同步wr信号和rd信号，用于各个拼接屏之间的时间同步、拼接屏与信号源的时间同步。

16、进一步的，在s21中，mcu以端口扫描方式对输入数据进行动态检测、跟踪；在s22中，mcu对mr信号采取特殊循环处理，用于集中cpu的处理能力。

17、进一步的，所述8080协议包括复位信号rst、片选控制信号cs、数据指令控制信号dc、读数据控制信号rd、写数据控制信号wr、双向并行数据信号db；所述mcu的性能满足：

18、；

19、-系统同步检测周期；-所述拼接屏的显示分辨率；-mcu的cpu工作的最高频率。

20、进一步的，所述s3中的视频拼接基于图像拼接算法，包括以下分步骤：

21、s31、接收拼接屏的输入数据图像系列，对同帧下的图像进行配准；

22、s32、统一目标图像与参考图像的坐标系；

23、s33、使用拉普拉斯融合算法对目标图像与参考图像进行图像融合；

24、s34、转到s32执行下一幅图像拼接，直到此帧图像序列结束形成全景图；

25、s35、使用边缘检测算法对拼接后在该帧下的全景图进行矫直，并输出已矫直图像至拼接屏。

26、进一步的，所述s4中评估图像显示是否合格包括：拼接屏与信号源之间的时间同步质量、拼接屏画面缝隙拼接质量；拼接屏与信号源之间的时间同步质量由mcu评判，mcu计算拼接屏画面的setup时间确定同步时间差：

27、；

28、-信号输出时间；-信号输入时间；

29、拼接屏画面缝隙拼接质量由拼接器评判，拼接器利用psnr评估法对拼接的不同区域进行质量评估，mcu获取质量评估结果。

30、进一步的，mcu评判拼接屏与信号源之间的同步质量包括：设置setup时间阈值，当时即同步质量不合格；当时间同步质量与缝隙拼接质量二者都合格时，mcu评估图像显示为合格，否则为不合格。

31、进一步的，所述s22中的时间同步包括时钟同步：

32、s221、mcu设置定时器，使其与拼接屏的vsync和hsync信号同步；

33、s222、根据拼接屏vsync和hsync信号的上升沿和下降沿，计算出拼接屏的刷新周期和行周期，以及每个像素点对应的显示时间；

34、s223、mcu根据计时器产生的计时信号精确输出数据信号；

35、s224、根据计算得到的数据显示时间，控制数字矩阵输出数据信号；

36、s225、将输出的数据信号发送给拼接屏，并等待下一次拼接屏vsync和hsync信号的到来，重复上述过程。

37、进一步的，所述mcu还连接计算机，计算机设有cnn模型，cnn模型用于同步拼接屏的数据时间，在步骤s22中包括以下分步骤：

38、t1、数据预处理：将各拼接屏的输入数据预处理并转化为四维数组（a、b、c、d），包括图像高度a、图像宽度b、颜色通道c、帧序列d，四维数组输入至cnn模型；

39、t2、特征提取：卷积层和池化层对四维数组进行特征提取，卷积层数量为n，卷积核大小为3*3，池化层数量为m，池化层使用最大池化，池化窗口大小为2*2；

40、t3、特征整合和回归：将经过特征提取后的输入数据传至全连接层，全连接层之间设有dropout层，防止全连接层过度拟合，输入数据经过全连接层回归作用后传递至输出层；

41、t4、同步时间预测：输出层利用softmax函数将各个拼接屏的时间转化为概率分布，并预测概率最大的同步时间h；

42、t5、时间同步和分流：计算机根据同步时间h对所有拼接屏进行时间同步，将同步后的时间h进行分流传输至mcu。

43、相对于现有技术，本发明所述的一种拼接屏联动系统及视频拼接方法具有以下有益效果：

44、整个联动系统包括多个模块，它们之间相互协同工作，形成了完整的数字矩阵拼接方案，该方案采用了多种技术手段，包括mcu、数字矩阵、拼接器等；利用8080协议实现各部件之间的协同工作，以此实现了高效的数据传输、处理和拼接，提升了显示图像的质量和稳定性，通过使用算法和神经网络对图像进行评估、时间同步和缝隙拼接，能够实现对显示的图像质量和视觉效果的高度控制，同时，使用mcu进行实时监控和评估，减少了用户对于拼接屏工作状态的关注和干预，另外，该联动系统所采用的算法技术也具有较高的可迁移性，能够应用到其他类似的数字矩阵拼接方案中，本技术方案成功实现了对数字矩阵拼接屏的同步控制和图像质量监测，同时降低了拼接器对于实时视频的拼接负担。