一种识别拍摄屏幕的装置及方法与流程

1.本发明涉及信息安全技术领域，尤其涉及一种识别拍摄屏幕的装置及方法。


背景技术：

2.随着手机和平板电脑等具备拍照功能的便携式设备的普及，通过具有拍照、摄录功能的移动终端设备对电脑屏幕内容进行拍照窃取信息成为导致信息泄漏最普遍、最容易的一种方式。近年因拍摄屏幕导致的泄密事件尤其通过手机拍摄屏幕泄密的事件频发，并有逐年增加的趋势。
3.传统数据信息安全的管控对涉密信息的存储、处理、传输设备及管理提出了明确的要求，但利用对电脑屏幕内容拍照窃取敏感信息成为导致信息泄漏最普遍、最容易的一种方式，这种窃取信息的现象不仅越来越多且难以约束以及追责。当前市场现有的水印加密、电脑屏幕防窥膜、光学产品等均不能对保护屏幕信息达到预期的效果。
4.随着信息安全问题的日益突出，确保屏幕信息不被非法拍摄或窃取，实现对屏幕信息的主动防护与实时预警，成为信息安全领域亟需解决的问题。


技术实现要素：

5.本发明提供了一种识别拍摄屏幕的装置及方法，对拍摄屏幕的有效识别是实现保护屏幕信息安全的首要条件和关键步棸，本发明同时对拍摄屏幕的行为进行警示以及提供溯源证据以解决涉密场所屏幕显示信息的实时保护，详见下文描述：
6.一种识别拍摄屏幕的装置，所述装置包括：图像采集模块实时采集周围的环境信息，并将采集到的环境信息以图像的形式实时发送至主机控制器模块，主机控制器模块调用存储模块中的神经网络模型对获取的图像信息进行分析识别，并将分析识别的结果与预设置类别进行对比；
7.若主机控制器识别到与预设置类别相同的图像，驱动警示控制模块发出警示音，同时将识别到的图像存储到存储模块中，用于后期溯源取证。
8.其中，所述主机控制器模块、存储模块、电源模块和警示控制模块集成在一块主板上，封装在固定的壳体内。
9.进一步地，所述图像采集模块和主机控制器模块还用于完成神经网络模型的训练，所述训练包括：样本采集、样本调整、样本训练、神经网络模型的输出。
10.其中，所述样本采集阶段，由图像采集模块采集不同光线环境下、不同拍摄屏幕的设备和不同拍摄屏幕的动作组合的图像，图像采集模块采集每一种拍摄屏幕的行为，拍摄的图像作为神经网络模型训练的样本，同时还需要拍摄类似拍摄设备的样本，对采集的样本进行人为标记，分类汇总，发送至主机控制器模块，主机控制器模块对收到的样本进行统一图像增强后采用yolov5算法进行模型训练。
11.进一步地，所述样本训练为：对调整后的样本首先进行人为标记，对于同一种样本类型，采用相同的方法进行特征向量提取，提取得到的特征向量作为向量库用于样本训练
阶段不同样本之间的相似度对比；
12.人为标记后的样本作为初始样本进行神经网络模型训练，得到初始神经网络模型；对于初始神经网络模型，使用多种新的样本进行预测验证，如果初始ai模型对所有新样本的预测均是正确的，对初始神经网络模型不做优化处理；如果初始ai模型对新样本的预测试是错误的，则将对预测错误的新样本首先进行人为判定，然后对预测错误的新样本按照人为判定的类型，采用同类型相同的方法进行特征向量提取，提取的新样本的特征向量用于与人为判定的类型进行相似度计算，对于相似度达到预设置的新样本进行人为标记样本类型，并将人为标记后的新样本合并入训练样本集，重新进行神经网络模型训练。
13.其中，所述神经网络模型的输出为：将样本训练中训练完成的满足样本预测准确率的神经网络模型作为最终模型，连同设定的类型，一起输出至存储模块中，设定的类型作为图像识别阶段判定拍摄屏幕的预设置类型对比库。
14.进一步地，训练模型的样本和图像识别的图像在发送给主机控制器模块后，主机控制器模块均使用同样的图像增强方法对获取的样本或图像进行处理，用于保证模型训练的样本和用于图像识别的图像之间的图像差异性最小化。
15.一种识别拍摄屏幕的方法，所述方法包括：
16.图像采集模块实时采集环境信息，将采集的环境信息即获取的环境图像实时发送至主机控制器模块；
17.主机控制器模块对接收到的图像进行图像调整，用于识别的图像和样本训练阶段的样本图像具有相同的色彩饱和度，相同的明亮对比差异以及相同的噪音程度；
18.调整后的图像，被主机控制器模块输出至存放在存储模块中的神经网络模型，神经网络模型使用yolov5算法对图像与预设置类型进行类型预测；
19.若识别的图像类型为图像类型，则主机控制器模块将此次图像判定为警告类别，驱动蜂鸣器工作，发出滴滴警示音，同时主机控制器模块驱动led闪光灯闪烁阻止拍摄设备正常拍摄。
20.本发明提供的技术方案的有益效果是：
21.1、本发明中用于模型训练和图像识别的样本均使用同一个图像采集模块进行图像采集，最大程度上提高了模型的准确度，解决了误识别的问题；
22.2、本发明包含的硬件器件具有存储功能，可用于溯源取证，同时禁止任何存储设备插入，不会对应用环境带来任何安全隐患；
23.3、本发明对用于模型训练的样本和用于识别的图像均采用同样的调整，很大程度上提高了图像识别的精确度，达到了精准识别的目的。
附图说明
24.图1为一种识别拍摄屏幕的装置的结构示意图；
25.图2为一种识别拍摄屏幕的装置的外观示意图；
26.图3为神经网络训练示意图；
27.图4为一种识别拍摄屏幕的方法的流程图；
28.图5为一种识别拍摄屏幕的装置的电器连接示意图。
29.附图中，各标号所代表的部件列表如下：
30.a：图像采集模块；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
b：主机控制器模块；
31.c：存储模块；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
d：电源模块；
32.e：警示控制模块。
具体实施方式
33.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
34.实施例1
35.一种识别拍摄屏幕的装置，参见图1，该装置包括：图像采集模块a、主机控制器模块b、存储模块c、电源模块d和警示控制模块e；
36.其中，图像采集模块a、警示控制模块e和存储模块c均与主机控制器模块b相连，电源模块d为整个装置供电；主机控制器模块b基于神经网络模型的训练用于对拍摄屏幕的行为进行识别。
37.实际应用时，将本发明实施例设计的整个识别拍摄屏幕的装置安装在计算机外接的显示器屏幕的正上方，电源模块d上电后，图像采集模块a即广角摄像头(例如汇博士s95、汇博士s90、海康威视e14)实时采集周围的环境信息，并将采集到的环境信息以图像的形式实时发送至主机控制器模块b，主机控制器模块b获取图像信息后，调用存储模块c中的神经网络模型对获取的图像信息进行分析识别，并将分析识别的结果与预设置类别进行对比，判定获取的图像是否为拍摄屏幕的行为。一旦主机控制器b识别到与预设置类别相同的图像，即刻驱动警示控制模块e发出警示音，同时将识别到的图像存储到存储模块c中，用于后期溯源取证。
38.其中，主机控制器模块b、存储模块c、电源模块d和警示控制模块e集成在一块主板上，封装在固定的壳体内，如图2中控制主板部分所示；图像采集模块a为独立的图像采集单元，如图2中广角摄像头部分所示。
39.其中，参见图3，上述提到的神经网络模型的训练包括：样本采集101、样本调整102、样本训练103、神经网络模型的输出104。
40.特别地，神经网络模型的训练由图像采集模块a和主机控制器模块b来完成。样本采集101阶段，由图像采集模块a即广角摄像头采集不同光线环境下、不同拍摄屏幕的设备和不同拍摄屏幕的动作组合的图像，具体为不同的人穿着不同颜色的衣服，手持各种各样具有拍摄功能的设备，尤其是不同颜色、不同形状和不同尺寸的拍摄设备，模拟拍摄显示器屏幕的行为，图像采集模块a负责采集每一种拍摄屏幕的行为，拍摄的图像作为神经网络模型训练的样本，同时还需要拍摄不同环境下的工牌、牛奶盒、书本、咖啡杯等类似拍摄设备的样本，样本的丰富度是模型训练最重要的一个部分，也是后期图像识别准确性的关键因素。对采集的样本首先进行人为标记，分类汇总，然后发送至主机控制器模块b，主机控制器模块b对收到的样本进行统一图像增强后采用yolov5算法进行模型训练。
41.特别地，用于图像识别的神经网络模型的训练，其训练样本既是丰富多彩，又是千差万别的，样本的丰富度是为了提高模型的泛化性和强健性，但同时也增大了模型的训练难度，一定程度上会降低模型的识别率，因此，为了减小样本差异对训练模型性能的影响，在神经网络模型训练之前，对于获取的样本进行统一的样本调整，所述样本调整102主要包
括色彩信息调整、伽马变换和降噪处理：
42.即对训练样本进行图像信号增强处理，包括：采用色彩校正矩阵对样本进行色彩信息调整、采用伽马系数对训练样本进行伽马变换、采用低通滤波器对训练样本进行降噪。其中，用于色彩信息调整的色彩校正矩阵中的参数是根据随机变量对预设参数进行微调得到的；用于伽马变换的伽马系数是根据随机变量对预设参数进行微调得到的；用于降噪的低通滤波器的参数是根据随机变量对预设参数进行微调得到的。本发明实施例使用的图像增强顺序为，低通滤波器，色彩校正矩阵和伽马变换，此部分图像增强方法为公知内容，详细的算法应用不再做具体介绍。
43.特别地，样本训练103对于调整后的样本首先进行人为标记，按照类型a、类型b、类型c、类型d进行标记，类型a、类型b、类型c、类型d又称之为样本标签，例如：类型a为：手机；类型b为：pad；类型c为：工牌；类型d为：水杯。对于同一种样本类型，采用相同的方法进行特征向量提取，提取得到的特征向量作为向量库用于样本训练阶段不同样本之间的相似度对比。人为标记后的样本作为初始样本进行神经网络模型训练，得到初始神经网络模型。对于初始神经网络模型，使用多种新的样本进行预测验证，如果初始ai模型对所有新样本的预测均是正确的，对初始神经网络模型不做优化处理；如果初始ai模型对新样本的预测试是错误的，则将对预测错误的新样本首先进行人为判定，然后对预测错误的新样本按照人为判定的类型，采用同类型相同的方法进行特征向量提取，提取的新样本的特征向量用于与人为判定的类型进行相似度计算，对于相似度达到预设置的新样本进行人为标记样本类型，并将人为标记后的新样本合并入训练样本集，重新进行神经网络模型训练，对于得到的二次神经网络模型进行同样的预测验证，直至预测验证准确率达到95％及以上，停止样本训练。本发明实施例共采集了样本30755个，其中27755个样本用于样本训练，3000个样本用于样本预测，最终达到在95％覆盖的前提下，正向预测值和反向预测值均为0.67，并设定类型a、类型b、类型c、类型d做为预设置样本类型。
44.特别地，神经网络模型输出104，即将样本训练103中训练完成的满足样本预测准确率的神经网络模型作为最终模型，连同步骤103阶段设定的类型a、类型b、类型c和类型d，一起输出至图1所示的存储模块c中，其中神经网络模型用于图像识别，类型a、类型b、类型c和类型d作为图像识别阶段判定拍摄屏幕的预设置类型对比库。
45.其中，本发明实施例中用于训练模型的样本采集和后期的装置正常工作过程中的图像获取均由图像采集模块a即广角摄像头来完成，这样确保了用于模型训练的样本和用于图像识别的图像之间的图像差异性最小化，从而使图像识别的正确率最大化。
46.进一步地，本发明实施例中用于训练模型的样本和后期的图像识别的图像在发送给主机控制器模块b后，主机控制器模块b均使用同样的图像增强方法对获取的样本或图像进行处理，这样确保了用于模型训练的样本和用于图像识别的图像之间的图像差异性最小化，从而使图像识别的正确率最大化。
47.其中，用于图像识别的神经网络模型训练和图像识别均由框图1所述的装置完成，模型训练只进行一次，训练完成的神经网络模型被存储在存储模块c中，主机控制器模块b可以随时调用模型用于图像识别。识别拍摄屏幕的装置识别出的拍摄屏幕的图像也被存储在存储模块c中，主机控制器模块b可以随时查看识别出的拍摄屏幕的图像，用于溯源取证。
48.进一步地，在图像识别阶段，主机控制器模块b对获取的图像进行图像调整后，即
调用存储模块c中的神经网络模型并使用yolov5算法对图像进行识别，判定图像的类型，并将识别的结果与预设置类别进行比对，当识别的结果属于预设置类别中的其中一类时，主机控制器模块b即驱动警示控制模块进行报警音警示和闪光灯警示，直至拍摄屏幕的图像移除，警示动作停止。
49.实施例2
50.一种识别拍摄屏幕的方法，参见图3和图4，该方法包括以下步骤：
51.201：图像获取；
52.其中，图像获取的步骤和步骤101样本采集阶段所用的设备为同一台设备，即广角摄像头a，广角摄像头a采集的图像均为固定的1080p图片，图片分辨率为1920*1080。此阶段，广角摄像头a实时采集环境信息，将采集的环境信息即获取的环境图像实时发送至主机控制器。
53.202：图像调整；
54.为了最大程度提高图像识别的准确率，主机控制器对于接收到的图像首先进行图像调整，确保用于识别的图像和样本训练阶段的样本图像具有相同的色彩饱和度，相同的明亮对比差异以及相同的噪音程度，图像调整主要包括：图像色彩信息调整、伽马变换和降噪处理：
55.即对要识别的图像进行图像信号增强处理，包括：采用色彩校正矩阵对样本进行色彩信息调整、采用伽马系数对识别图像进行伽马变换、采用低通滤波器对识别图像进行降噪。其中，用于色彩信息调整的色彩校正矩阵中的参数是根据随机变量对预设参数进行微调得到的；用于伽马变换的伽马系数是根据随机变量对预设参数进行微调得到的；用于降噪的低通滤波器的参数是根据随机变量对预设参数进行微调得到的。本发明实施例使用的图像增强顺序为，低通滤波器，色彩校正矩阵和伽马变换，此部分图像增强方法为公知内容，详细的算法应用不再做具体介绍。
56.203：图像识别；
57.调整后的图像，被主机控制器模块b输出至存放在存储模块c中的104阶段输出的神经网络模型，神经网络模型使用yolov5算法对图像进行类型预测，预测图像属于类型a、类型b、类型c和类型d中的哪一类，即所述的图像识别。
58.204：预设置类别对比；
59.其中，预设置类别设置为警告和非警告两种类别，其中警告类别包含类型a、类型b和类型c三种图像类型；非警告类别包含类型d一种图像类型。主机控制器模块b在203阶段图像识别后将识别出的图像类型与预设置类别进行对比，如果步骤203阶段识别的图像类型为类型a、类型b和类型c中的一类，则主机控制器模块b将此次图像判定为警告类别，如果步骤203阶段识别的图像类型为类型d，则主机控制器模块b将此次图像判定为非警告类别。
60.205：警示控制；
61.其中，警示控制包括：蜂鸣器报警音警示和led闪光灯闪烁两种警示。主机控制器模块b在判定图像属于警告类别后，即刻驱动蜂鸣器工作，发出滴滴警示音，同时主机控制器模块b驱动led闪光灯闪烁阻止拍摄设备正常拍摄。此部分功能主要由主机控制器模块b驱动硬件元器件实现，详细的线路设计如图5所示，来自主机控制器模块b的驱动信号同时驱动led和蜂鸣器工作。
62.本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
63.本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
64.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。