一种用于液晶显示屏的智能交互显示方法及装置与流程

1.本发明涉及计算机视觉技术领域，具体地涉及一种用于液晶显示屏的智能交互显示方法及装置。


背景技术：

2.目前，在信息高速集中传递的现代生活中，人们每天都会主动或被动的不断从外界中获取各种信息。主动，来自于工作中的纪录或生活中的娱乐；被动，出自媒体的广告或户外传播。经研究，人们获取信息的最主要方式是来自视觉，60％以上的信息都是通过视觉来获取的，因此人们也一直致力于进行视觉心理研究，以保证信息能够得到有效传播。由此可见，大屏幕多媒体演示之所以成为需求，是因为它能提供更大的信息传播范围，高分辨率的视觉演示能够提供更精确的信息传递，真实具象的可视化信息更能被人们接受与理解。这些技术广泛应用在工作会议、城市监控、户外广告、远程医疗等领域。这些高容量的信息传播得益于计算机技术的飞速发展。随着计算机的运算速度和存储能力越来越强，使之相应需要巨大计算量的高分辨率多媒体演示、虚拟现实可视化也逐步成熟。另一方面网络技术的发展也渗入到人们的生活中，日益高速甚至无线的网络传播，解除了信息移动传播的地域限制。
3.但传统的大液晶显示拼接屏交互效率低下，且成本较高，不能满足智能化的需求；且现有的视频交互准确度和方便度较低，因此，快捷、方便、高效传输目前显得十分必要。且传统的视频调整不能够实时的显示调整程度，不能够有效利用调整的数据大小；因此，一种能够实时、快速、智能化调整显示屏成为了迫切需求，从而改善用户的体验。


技术实现要素：

4.为解决上述技术问题，本发明提供一种用于液晶显示屏的智能交互显示方法及装置，本发明根据对整个流程结构设置，以及特征提取方式的设置，只针对特定区域进行大小变换，大大降低了传输数据量，且显著的提升了数据调整效率；且本技术的变化度值等计算方式能够显著提升显著区域的选择速率以及大大降低了图像失真；其通过以下方式实现：
5.一种用于液晶显示屏的智能交互显示方法，包括步骤：获取液晶拼接显示屏的实时视频帧数据；对当前实时视频第n帧数据进行卷积计算进行特征提取，池化操作，对池化操作后的视频帧图像进行分类识别；卷积操作如下：
[0006][0007]
其中，m＝0,1,2...m-1，r＝0,1,2...r-1，m、r是横纵坐标，f(m,r)是输入图像，g(x-m,y-r)为卷积核；
[0008]
实时获取音频数据，根据音频数据调整分类识别出的视频图像；
[0009]
实时计算更新度矩阵值kn，kn＝α(h
n-h
n-1
)+β(s
n-s
n-1
)+λ(i
n-i
n-1
)
[0010]
其中，h
n-h
n-1
表示相邻视频帧间的色调差值，s
n-s
n-1
表示相邻视频帧间的饱和度差值,i
n-i
n-1
表示相邻视频帧间的亮度差值,α、β、λ分别为色调、饱和度、亮度权值；
[0011]
所述调整分类识别出的视频图像包括放大、缩小、拉伸、瘦缩；
[0012]
遍历更新度矩阵值kn，获取更新度矩阵值kn及变化区域pn；
[0013]
计算变化区域pn的变化程度值wk：
[0014][0015]
其中，表示pn区域相邻视频帧灰度值总值差值，θ
n-θ
n-1
表示pn区域灰度值最大与最小值差值，表示液晶显示屏总的灰度值之和，表示pn区域灰度值平均值，hk表示pn区域与液晶显示屏尺寸的比值，h为占比设置阈值，若h
k-h≥0，则f(h
k-h)＝1；若h
k-h＜0，则f(h
k-h)＝0；
[0016]
将变化程度值wk传输至液晶显示屏显示，以提示操作人员进行屏幕调节参考。
[0017]
优选地，所述灰度值的获取步骤包括对液晶显示屏区域以及变化区域pn进行灰度化处理，根据最大类间方差法ostu进行灰度阈值选取。
[0018]
优选地，所述对池化操作后的视频帧图像进行分类识别，包括对鲜花、动物、树进行识别显示。
[0019]
优选地，所述对当前实时视频第n帧数据进行卷积计算进行特征提取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
[0020]
本发明还公开了一种用于液晶显示屏的智能交互显示装置，包括获取模块：获取液晶拼接显示屏的实时视频帧数据；
[0021]
特征提取模块，对当前实时视频第n帧数据进行卷积计算进行特征提取，池化操作，对池化操作后的视频帧图像进行分类识别；卷积操作如下：
[0022][0023]
其中，m＝0,1,2...m-1，r＝0,1,2...r-1，m、r是横纵坐标，f(m,r)是输入图像，g(x-m,y-r)为卷积核；
[0024]
音频获取模块，实时获取音频数据，根据音频数据调整分类识别出的视频图像；
[0025]
更新度矩阵计算模块，实时计算更新度矩阵值kn，kn＝α(h
n-h
n-1
)+β(s
n-s
n-1
)+λ(i
n-i
n-1
)
[0026]
其中，h
n-h
n-1
表示相邻视频帧间的色调差值，s
n-s
n-1
表示相邻视频帧间的饱和度差值,i
n-i
n-1
表示相邻视频帧间的亮度差值,α、β、λ分别为色调、饱和度、亮度权值；
[0027]
所述调整分类识别出的视频图像包括放大、缩小、拉伸、瘦缩；
[0028]
遍历更新度矩阵值kn，获取更新度矩阵值kn及变化区域pn；
[0029]
变换都计算模块，计算变化区域pn的变化程度值wk：
[0030][0031]
其中，表示pn区域相邻视频帧灰度值总值差值，θ
n-θ
n-1
表示pn区域灰度值最大与最小值差值，表示液晶显示屏总的灰度值之和，表示pn区域灰度值平均值，hk表示pn区域与液晶显示屏尺寸的比值，h为占比设置阈值，若h
k-h≥0，则f(h
k-h)＝1；若h
k-h＜0，则f(h
k-h)＝0；
[0032]
显示模块，将变化程度值wk传输至液晶显示屏显示，以提示操作人员进行屏幕调
节参考。
[0033]
优选地，所述灰度值的获取步骤包括对液晶显示屏区域以及变化区域pn进行灰度化处理，根据最大类间方差法ostu进行灰度阈值选取。
[0034]
优选地，所述对池化操作后的视频帧图像进行分类识别，包括对鲜花、动物、树进行识别显示。
[0035]
优选地，所述对当前实时视频第n帧数据进行卷积计算进行特征提取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
[0036]
与现有技术相比，本发明的技术方案具有以下有益效果：
[0037]
本技术一种用于液晶显示屏的智能交互显示方法及装置，通过在卷积神经网络中设置余玄度值，大大增强了特征提取过程中对特征的识别准确度，此外，通过实时获取音频数据，根据音频数据调整分类识别出的视频图像，通过对特定区域的特定图像进行调整，大大增强了调整效率，且创造性的提出更新度矩阵值、变化程度值的计算实现了聚焦区域的准确识别并进行灵活调整，本发明实现了只针对视频图像发生显著变化的区域进行数据传输，而不发生显著变化区域保留原始图像，大大降低了传输数据量，且显著的提升了数据传输效率，大大加快了图像数据选择速度；且本技术的图像变化度计算方式能够显著提升显著区域的选择速率以及大大降低了图像失真。
附图说明
[0038]
图1是本发明用于液晶显示屏的智能交互显示方法及装置流程图；
[0039]
图2是本发明池化操作采用平均池化操作示意图；
[0040]
图3是本发明池化操作采用最大池化操作示意图。
具体实施方式
[0041]
本领域技术人员理解，如背景技术所言，传统的液晶显示屏操作效率低下、视频数据传输量大，且成本较高，不能满足智能化的需求；而智能操作大的液晶拼接显示屏的快捷、方便、高效传输目前显得十分必要。且传统的视频传输都是将所有的数据进行传输，不能够有效利用传输数据的结构特征；因此，一种能够实时、快速、降低无效数据量操作成为了迫切需求，从而改善用户的体验。为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0042]
实施例1：
[0043]
一种用于液晶显示屏的智能交互显示方法，如图1所示，包括步骤：获取液晶拼接显示屏的实时视频帧数据，常用ccd工业摄像机进行获取或采用高分辨率的摄像机；对当前实时视频第n帧数据进行卷积计算进行特征提取，池化操作，对池化操作后的视频帧图像进行分类识别；一般采用卷积神经网络进行特征提取，还存在采用人工神经网络或机器学习或采用svm机器学习算法进行特征提取，在一些实施例中采用多分类模型adaboost进行特征提取，或采用金字塔；在一些实施例中池化操作采用平均池化，如图2所示，具体的平均池化的操作是取每个块(如2x2)的平均值，作为下一层的一个元素值，因此在回传时，下一层的每一元素的loss(或者说梯度)要除以块的大小(如2x2＝4)，再分配到块的每个元素上，这是因为该loss来源于块的每个元素。
[0044]
在一些实施例中，池化操作采用最大池化操作，如图3所示，最大池化的操作是取每个块的最大值作为下一层的一个元素值，因此下一个元素的loss只来源于这个最大值，因此梯度更新也只更新这个最大值，其他值梯度为0。因此，最大池化需要在前向传播中记录最大值所在的位置，即max_id。这也是最大池化与平均池化的区别之一。
[0045]
采用卷积神经网络时，卷积操作如下：
[0046][0047]
其中，m＝0,1,2...m-1，r＝0,1,2...r-1，m、r是横纵坐标，f(m,r)是输入图像，g(x-m,y-r)为卷积核；
[0048]
实时获取音频数据，例如：包括对获取的音频数据的特征执行相关操作，例如音频数据中内容为；“获取视频图像中的人或动物并进行拉伸”或者“获取视频图像中的人体姿势图像进行瘦缩”或“获取视频图像中的花朵图像进行放大”或“获取视频图像中的房屋图像进行缩小”或“获取视频图像中的湖、河图像进行放大”等。根据音频数据调整分类识别出的视频图像；
[0049]
实时计算更新度矩阵值kn，kn＝α(h
n-h
n-1
)+β(s
n-s
n-1
)+λ(i
n-i
n-1
)
[0050]
其中，h
n-h
n-1
表示相邻视频帧间的色调差值，s
n-s
n-1
表示相邻视频帧间的饱和度差值,i
n-i
n-1
表示相邻视频帧间的亮度差值,α、β、λ分别为色调、饱和度、亮度权值；
[0051]
所述调整分类识别出的视频图像包括放大、缩小、拉伸、瘦缩；
[0052]
例如：放大缩小包括等比例放大缩小或按照黄金比例进行放大缩小，瘦缩表示对图像进行拉长同时腰部进行缩小，形成和人一样瘦长比例的图像及数据形式。
[0053]
遍历更新度矩阵值kn，获取更新度矩阵值kn及变化区域pn；
[0054]
计算变化区域pn的变化程度值wk：
[0055][0056]
其中，表示pn区域相邻视频帧灰度值总值差值，θ
n-θ
n-1
表示pn区域灰度值最大与最小值差值，表示液晶显示屏总的灰度值之和，表示pn区域灰度值平均值，hk表示pn区域与液晶显示屏尺寸的比值，h为占比设置阈值，若h
k-h≥0，则f(h
k-h)＝1；若h
k-h＜0，则f(h
k-h)＝0；
[0057]
将变化程度值wk传输至液晶显示屏显示，以提示操作人员进行屏幕调节参考。
[0058]
在本实施例中，所述灰度值的获取步骤包括对液晶显示屏区域以及变化区域pn进行灰度化处理，根据最大类间方差法ostu进行灰度阈值选取。
[0059]
例如：在一些实施例中，根据图像呈现类型，还采用阈值法进行获取，或采用直方图法进行获取。例如，图像颜色较深时采用直方图方法，图像颜色分布范围较广时，则采用阈值方法进行获取
[0060]
在本实施例中，所述对池化操作后的视频帧图像进行分类识别，包括对鲜花、动物、树进行识别显示。
[0061]
在本实施例中，所述对当前实时视频第n帧数据进行卷积计算进行特征提取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
[0062]
实施例2：
[0063]
本发明还公开了一种用于液晶显示屏的智能交互显示装置，包括获取模块：获取液晶拼接显示屏的实时视频帧数据；常用ccd工业摄像机进行获取或采用高分辨率的摄像机。
[0064]
特征提取模块，一般采用卷积神经网络进行特征提取，还存在采用人工神经网络或机器学习或采用svm机器学习算法进行特征提取，在一些实施例中采用多分类模型adaboost进行特征提取，或采用金字塔；对当前实时视频第n帧数据进行卷积计算进行特征提取，池化操作，对池化操作后的视频帧图像进行分类识别；卷积操作如下：
[0065][0066]
其中，m＝0,1,2...m-1，r＝0,1,2...r-1，m、r是横纵坐标，f(m,r)是输入图像，g(x-m,y-r)为卷积核；
[0067]
音频获取模块，实时获取音频数据，根据音频数据调整分类识别出的视频图像；在一些实时例中，通过获取音频数据的音色、音量等对声音进行识别。
[0068]
更新度矩阵计算模块，实时计算更新度矩阵值kn，kn＝α(h
n-h
n-1
)+β(s
n-s
n-1
)+λ(i
n-i
n-1
)
[0069]
其中，h
n-h
n-1
表示相邻视频帧间的色调差值，s
n-s
n-1
表示相邻视频帧间的饱和度差值,i
n-i
n-1
表示相邻视频帧间的亮度差值,α、β、λ分别为色调、饱和度、亮度权值；
[0070]
所述调整分类识别出的视频图像包括放大、缩小、拉伸、瘦缩；
[0071]
遍历更新度矩阵值kn，获取更新度矩阵值kn及变化区域pn；
[0072]
变换都计算模块，计算变化区域pn的变化程度值wk：
[0073][0074]
其中，表示pn区域相邻视频帧灰度值总值差值，θ
n-θ
n-1
表示pn区域灰度值最大与最小值差值，表示液晶显示屏总的灰度值之和，表示pn区域灰度值平均值，hk表示pn区域与液晶显示屏尺寸的比值，h为占比设置阈值，若h
k-h≥0，则f(h
k-h)＝1；若h
k-h＜0，则f(h
k-h)＝0；
[0075]
显示模块，将变化程度值wk传输至液晶显示屏显示，以提示操作人员进行屏幕调节参考，在一些实施例中，显示模块采用多块4*4或8*8或16*16或32*32正方形的拼接lcd拼接屏；或采用长方形的lcd拼接屏。
[0076]
在本实施例中，所述灰度值的获取步骤包括对液晶显示屏区域以及变化区域pn进行灰度化处理，根据最大类间方差法ostu进行灰度阈值选取。
[0077]
在本实施例中，所述对池化操作后的视频帧图像进行分类识别，包括对鲜花、动物、树进行识别显示，在一些实施例中还包括对人物、姿势、人脸、大河、海、湖、房屋进行识别。
[0078]
在本实施例中，所述对当前实时视频第n帧数据进行卷积计算进行特征提取之前还包括对视频图像进行预处理，对视频图像信息的滤波去噪。
[0079]
与现有技术相比，本发明的技术方案具有以下有益效果：
[0080]
本技术一种用于液晶显示屏的智能交互显示方法及装置，通过在卷积神经网络中设置余玄度值，大大增强了特征提取过程中对特征的识别准确度，此外，通过实时获
取音频数据，根据音频数据调整分类识别出的视频图像，通过对特定区域的特定图像进行调整，大大增强了调整效率，且创造性的提出更新度矩阵值、变化程度值的计算实现了聚焦区域的准确识别并进行灵活调整，本发明实现了只针对视频图像发生显著变化的区域进行数据传输，而不发生显著变化区域保留原始图像，大大降低了传输数据量，且显著的提升了数据传输效率，大大加快了图像数据选择速度；且本技术的图像变化度计算方式能够显著提升显著区域的选择速率以及大大降低了图像失真。
[0081]
尤其本技术的变化程度值对视频帧图像区域的计算方式，大大加快了图像数据选择速度；且本技术的图像变化度计算方式能够显著提升显著区域的选择速率以及大大降低了图像失真。
[0082]
本领域技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品，因此本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
[0083]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。