跨屏幕图像拼接控制方法与流程

本发明属于图像拼接领域，涉及一种控制方法，具体是跨屏幕图像拼接控制方法。

背景技术：

图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。

图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。一般来说,图像拼接主要包括以下五步:

一、图像预处理

包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。

二、图像配准

就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。

三、建立变换模型

根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型。

四、统一坐标变换

根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中,完成统一坐标变换。

五、融合重构

将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。

当是当前，图像拼接过程均比较麻烦，而且在图像拼接出错时不能实现自我修复；为了解决上述缺陷，现提出一种解决方案。

技术实现要素：

本发明的目的在于提供跨屏幕图像拼接控制方法。

本发明所要解决的技术问题为：

(1)如何实现准确的图像拼接，形成完整的画面；

(2)如何对图片拼接的成果进行监控且能及时判定图像拼接出现了错误；

(3)在图像拼接出现错误的时候，如何进行自动修复；

本发明的目的可以通过以下技术方案实现：

跨屏幕图像拼接控制方法，其特征在于，包括若干块子屏幕构成的显示屏幕组和显示屏幕组的驱动模块，其中，所述驱动模块包括数据获取模块、数据分析模块、数据模拟单元、数据分割单元、数据缓存模块、控制器、比对单元、屏幕控制模块、显示屏幕组、屏幕分析单元和屏幕监测模块；

其中，所述数据获取模块用于获取所需播放或者拼接的视频影像；所述数据获取模块用于将视频信息传输到数据分析模块，所述屏幕分析单元用于实时获取显示屏幕组的尺寸信息，所述尺寸信息包括拼接而成的显示屏幕组内的各个子屏幕的长、宽信息、显示屏幕组的长宽信息以及子屏幕每行个数和每列个数；将显示屏幕组的长度信息标定为a，宽度信息标定为b；将子屏幕的长度信息标定为a，宽度信息标定为b；将显示屏幕组内子屏幕每行个数标定为m个，每列个数标定为n个；利用uij，i＝1...m，j＝1...n表示显示屏幕组内相应位置的子屏幕，如u12则表示第一行第二列的子屏幕；

所述屏幕分析单元用于将显示屏幕组的尺寸信息传输到数据分析模块，所述数据分析模块接收数据获取模块传输的视频信息，所述数据分析模块接收屏幕分析单元传输的尺寸信息；所述数据分析模块用于对尺寸信息做相关处理，具体处理步骤如下：

步骤一：获取到尺寸信息内的显示屏幕组的长度信息a和宽度信息b；

步骤二：根据显示屏幕组的长度信息a和宽度信息b构建同等尺寸的虚拟显示界面；

所述数据分析模块用于将虚拟显示界面、视频信息和尺寸信息传输到数据模拟单元，所述数据模拟单元用于对虚拟显示界面、视频信息和尺寸信息结合数据分割单元做出下述处理，具体处理步骤如下：

步骤一：将视频信息投影映射在虚拟显示界面上，形成虚拟投影视频；

步骤二：获取到尺寸信息内子屏幕的长度信息a，宽度信息b；显示屏幕组内子屏幕每行个数d，每列个数f；和对应子屏幕标识uij，i＝1...d，j＝1...f；

步骤三：将虚拟投影视频和尺寸信息传输到数据分割单元；

步骤四：数据分割单元用于根据子屏幕的长度信息a、宽度信息b、显示屏幕组内子屏幕每行个数m和每列个数n，将虚拟投影视频按照显示屏幕组划分为由若干个子视频流构成的投影视频流；每一个子视频流对应一个子屏幕显示的信息，将子视频流标示为lij，i＝1...d，j＝1...f；uij与lij一一对应；

步骤五：将投影视频流传输到数据缓存模块和控制器；

所述数据缓存模块接收数据分割单元传输的投影视频流并进行实时存储；

所述控制器接收数据分割单元传输的投影视频流并将其传输到屏幕控制模块，所述屏幕控制模块接收控制器传输的投影视频流并进行相关处理，具体步骤如下：

步骤一：将投影视频流内的子视频流lij按照其对应的标识将其一一传输到对应的子屏幕uij上；

步骤二：显示屏幕组内的子屏幕uij接收到子视频流lij并进行实时显示；

所述屏幕监测模块用于实时获取显示屏幕组显示投影视频流内各子视频流的具体情况，所述屏幕检测模块用于获取显示屏幕组显示投影视频流时的投影信息，所述屏幕检测模块用于将投影信息传输到比对单元，所述比对单元用于结合数据缓存模块存储的投影视频流对投影信息做出下述处理，具体处理步骤如下：

步骤一：当开始检测到显示屏幕组内各子屏幕显示投影视频流内对应的子视频流时，获取初始的投影图片组信息，投影图片组信息包括若干个子屏幕上显示的投影图片；同时获取到由若干个投影图片组成的初始投影图片组；

步骤二：将投影图片标记为hij，i＝1...m，j＝1...n；将初始投影图片组标记为h1；

步骤三：获取到数据缓存模块存储的投影视频流，并获取到初始的虚拟图片组信息，虚拟图片组为进行投影视频流进行虚拟投影时的初始图片信息；包括若干个子屏幕上显示的虚拟图片；同时获取到由若干个虚拟图片组成的初始虚拟图片组；

步骤四：将虚拟图片标记为kij，i＝1...m，j＝1...n；将初始虚拟图片组标记为k1；

步骤五：将h1和k1进行比对，获取得到二者的差异部分并获取差异部分的面积s1，当s1小于预设值时判定画面显示正常；当s1大于预设值时判定画面显示错误，进行进一步处理，具体表现为：

s1：将投影图片hij与虚拟图片kij进行一一比对；

s2：获取得到hij与kij内的所有显示差异部分的差异面积信息组，将差异面积信息组标记为sij，i＝1...m，j＝1...n；sij与hij、kij均一一对应；

s3：获取到间隔预设时间之后的第二投影图片组信息和第二虚拟图片组信息，将第二投影图片组信息内的第二投影图片标记为h2ij，i＝1...m，j＝1...n；将第二虚拟图片组信息内的第二虚拟图片标记为k2ij；

s4：重复步骤s1-s2计算得到第二差异面积信息组并将其标记为s2ij；

s5：逐一计算sij与s2ij之间的平均值得到平均差异值并将平均差异值标记为pij，i＝1...m，j＝1...n；pij与kij一一对应；

s6：将pij与py进行比较，py为预设值；获取到大于py的差异面积信息组并将其标记为错误信息组，获取到错误信息组对应显示出错的虚拟图片，按照显示出错的虚拟图片获取得到对应显示该部分的子视频流并将其标记为错误子视频流cij，i＝1...m，j＝1...n。

进一步地，所述比对单元用于将错误子视频流传输到控制器，所述控制器用于根据错误子视频流的位置重新从数据分割单元获取新的子视频流；

所述控制器用于将新的子视频流标记为替代子视频流，所述控制器用于将替代子视频流传输到屏幕控制模块，所述屏幕控制模块用于将替代子视频流传输到显示屏幕组的对应子屏幕替代原有子视频流，所述显示屏幕组接收到替代子视频流时会重新开始显示所有的子视频流。

本发明的有益效果：

(1)本发明通过数据获取模块获取到对应的需要投放的影像资料，再通过屏幕分析单元截取到显示屏幕和构成显示屏幕的子屏幕的相关尺寸，之后通过数据分析模块、数据模拟单元和数据分割单元将视频信息投影映射在虚拟显示界面上，形成虚拟投影视频；在利用数据分割单元将虚拟投影视频按照显示屏幕组划分为由若干个子视频流构成的投影视频流；之后将投影视频流传输到数据缓存模块和控制器，利用控制器将投影视频流的子视频流按照对应的子屏幕标记投放到对应子屏幕进行显示；从而现准确的图像拼接，形成完整的画面；

(2)同时通过屏幕检测模块的设置，将虚拟投影的时间线与显示屏幕组播放的时间线统一，获取到开始和间隔预设时间之后的两组图片进行比对，获取得到差异面积，再根据差异面积均值判定子屏幕哪一个屏幕出现的差异比较大，从而将该子屏幕判定显示出错；

(3)本发明通过检测到显示屏幕组内的子屏幕出现显示错误时，将该子屏幕对应的位置信息重新回传到数据分割单元，重新获取对应子屏幕的投影子视频流；并将其投影在子屏幕上进行重新显示；本发明简单有效，且易于实用。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的系统框图。

具体实施方式

如图1所示，跨屏幕图像拼接控制方法，包括若干块子屏幕构成的显示屏幕组和显示屏幕组的驱动模块，其中，所述驱动模块包括数据获取模块、数据分析模块、数据模拟单元、数据分割单元、数据缓存模块、控制器、比对单元、屏幕控制模块、显示屏幕组、屏幕分析单元和屏幕监测模块；

其中，所述数据获取模块用于获取所需播放或者拼接的视频影像；所述数据获取模块用于将视频信息传输到数据分析模块，所述屏幕分析单元用于实时获取显示屏幕组的尺寸信息，所述尺寸信息包括拼接而成的显示屏幕组内的各个子屏幕的长、宽信息、显示屏幕组的长宽信息以及子屏幕每行个数和每列个数；将显示屏幕组的长度信息标定为a，宽度信息标定为b；将子屏幕的长度信息标定为a，宽度信息标定为b；将显示屏幕组内子屏幕每行个数标定为m个，每列个数标定为n个；利用uij，i＝1...m，j＝1...n表示显示屏幕组内相应位置的子屏幕，如u12则表示第一行第二列的子屏幕；

所述屏幕分析单元用于将显示屏幕组的尺寸信息传输到数据分析模块，所述数据分析模块接收数据获取模块传输的视频信息，所述数据分析模块接收屏幕分析单元传输的尺寸信息；所述数据分析模块用于对尺寸信息做相关处理，具体处理步骤如下：

步骤一：获取到尺寸信息内的显示屏幕组的长度信息a和宽度信息b；

步骤二：根据显示屏幕组的长度信息a和宽度信息b构建同等尺寸的虚拟显示界面；

所述数据分析模块用于将虚拟显示界面、视频信息和尺寸信息传输到数据模拟单元，所述数据模拟单元用于对虚拟显示界面、视频信息和尺寸信息结合数据分割单元做出下述处理，具体处理步骤如下：

步骤一：将视频信息投影映射在虚拟显示界面上，形成虚拟投影视频；

步骤二：获取到尺寸信息内子屏幕的长度信息a，宽度信息b；显示屏幕组内子屏幕每行个数d，每列个数f；和对应子屏幕标识uij，i＝1...d，j＝1...f；

步骤三：将虚拟投影视频和尺寸信息传输到数据分割单元；

步骤四：数据分割单元用于根据子屏幕的长度信息a、宽度信息b、显示屏幕组内子屏幕每行个数m和每列个数n，将虚拟投影视频按照显示屏幕组划分为由若干个子视频流构成的投影视频流；每一个子视频流对应一个子屏幕显示的信息，将子视频流标示为lij，i＝1...d，j＝1...f；uij与lij一一对应；

步骤五：将投影视频流传输到数据缓存模块和控制器；

所述数据缓存模块接收数据分割单元传输的投影视频流并进行实时存储；

所述控制器接收数据分割单元传输的投影视频流并将其传输到屏幕控制模块，所述屏幕控制模块接收控制器传输的投影视频流并进行相关处理，具体步骤如下：

步骤一：将投影视频流内的子视频流lij按照其对应的标识将其一一传输到对应的子屏幕uij上；

步骤二：显示屏幕组内的子屏幕uij接收到子视频流lij并进行实时显示；

所述屏幕监测模块用于实时获取显示屏幕组显示投影视频流内各子视频流的具体情况，所述屏幕检测模块用于获取显示屏幕组显示投影视频流时的投影信息，所述屏幕检测模块用于将投影信息传输到比对单元，所述比对单元用于结合数据缓存模块存储的投影视频流对投影信息做出下述处理，具体处理步骤如下：

步骤一：当开始检测到显示屏幕组内各子屏幕显示投影视频流内对应的子视频流时，获取初始的投影图片组信息，投影图片组信息包括若干个子屏幕上显示的投影图片；同时获取到由若干个投影图片组成的初始投影图片组；

步骤二：将投影图片标记为hij，i＝1...m，j＝1...n；将初始投影图片组标记为h1；

步骤三：获取到数据缓存模块存储的投影视频流，并获取到初始的虚拟图片组信息，虚拟图片组为进行投影视频流进行虚拟投影时的初始图片信息；包括若干个子屏幕上显示的虚拟图片；同时获取到由若干个虚拟图片组成的初始虚拟图片组；

步骤四：将虚拟图片标记为kij，i＝1...m，j＝1...n；将初始虚拟图片组标记为k1；

步骤五：将h1和k1进行比对，获取得到二者的差异部分并获取差异部分的面积s1，当s1小于预设值时判定画面显示正常；当s1大于预设值时判定画面显示错误，进行进一步处理，具体表现为：

s1：将投影图片hij与虚拟图片kij进行一一比对；

s2：获取得到hij与kij内的所有显示差异部分的差异面积信息组，将差异面积信息组标记为sij，i＝1...m，j＝1...n；sij与hij、kij均一一对应；

s3：获取到间隔预设时间之后的第二投影图片组信息和第二虚拟图片组信息，将第二投影图片组信息内的第二投影图片标记为h2ij，i＝1...m，j＝1...n；将第二虚拟图片组信息内的第二虚拟图片标记为k2ij；

s4：重复步骤s1-s2计算得到第二差异面积信息组并将其标记为s2ij；

s5：逐一计算sij与s2ij之间的平均值得到平均差异值并将平均差异值标记为pij，i＝1...m，j＝1...n；pij与kij一一对应；

s6：将pij与py进行比较，py为预设值；获取到大于py的差异面积信息组并将其标记为错误信息组，获取到错误信息组对应显示出错的虚拟图片，按照显示出错的虚拟图片获取得到对应显示该部分的子视频流并将其标记为错误子视频流cij，i＝1...m，j＝1...n；

所述比对单元用于将错误子视频流传输到控制器，所述控制器用于根据错误子视频流的位置重新从数据分割单元获取新的子视频流，所述控制器用于将新的子视频流标记为替代子视频流，所述控制器用于将替代子视频流传输到屏幕控制模块，所述屏幕控制模块用于将替代子视频流传输到显示屏幕组的对应子屏幕替代原有子视频流，所述显示屏幕组接收到替代子视频流时会重新开始显示所有的子视频流。

跨屏幕图像拼接控制方法，在工作时，首先通过数据获取模块获取得到需要播放或拼接的影像资料，同时通过屏幕分析单元截取到显示屏幕和构成显示屏幕的子屏幕的相关尺寸，之后通过数据分析模块、数据模拟单元和数据分割单元将视频信息投影映射在虚拟显示界面上，形成虚拟投影视频；在利用数据分割单元将虚拟投影视频按照显示屏幕组划分为由若干个子视频流构成的投影视频流；之后将投影视频流传输到数据缓存模块和控制器，利用控制器将投影视频流的子视频流按照对应的子屏幕标记投放到对应子屏幕进行显示；之后利用屏幕检测模块检测投影的子视频流是否出现错误情况，当根据相关规则判定出错时则会重新获取对应字屏幕的子视频流信息进行显示。

本发明的有益效果如下：

(1)本发明通过数据获取模块获取到对应的需要投放的影像资料，再通过屏幕分析单元截取到显示屏幕和构成显示屏幕的子屏幕的相关尺寸，之后通过数据分析模块、数据模拟单元和数据分割单元将视频信息投影映射在虚拟显示界面上，形成虚拟投影视频；在利用数据分割单元将虚拟投影视频按照显示屏幕组划分为由若干个子视频流构成的投影视频流；之后将投影视频流传输到数据缓存模块和控制器，利用控制器将投影视频流的子视频流按照对应的子屏幕标记投放到对应子屏幕进行显示；从而现准确的图像拼接，形成完整的画面；

(2)同时通过屏幕检测模块的设置，将虚拟投影的时间线与显示屏幕组播放的时间线统一，获取到开始和间隔预设时间之后的两组图片进行比对，获取得到差异面积，再根据差异面积均值判定子屏幕哪一个屏幕出现的差异比较大，从而将该子屏幕判定显示出错；

(3)本发明通过检测到显示屏幕组内的子屏幕出现显示错误时，将该子屏幕对应的位置信息重新回传到数据分割单元，重新获取对应子屏幕的投影子视频流；并将其投影在子屏幕上进行重新显示；本发明简单有效，且易于实用。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。