基于神经网络的不可见二维码嵌入、检测和修复方法

1.本发明涉及图像处理技术领域，具体地，涉及一种基于神经网络的不可见二维码嵌入、检测和修复方法。


背景技术：

2.如今，人们在观看视频或电影时，经常被迫接受许多额外的图案(例如二维码、水印和超链接)。即使这些图案在很小的空间内提供了有效的信息，但它们对人类来说毫无意义，甚至会分散人们对视频本身的注意力。因此，迫切需要找到在数字屏幕上嵌入这些图案的方法，使得人们无法通过肉眼观察到图案，但可以通过手机等拍摄设备获取图案中蕴含的信息。
3.wu在《temporal psychovisual modulation:a new paradigm of information display》中提出时间心理视觉调制技术(temporal psycho-visual modulation，tpvm)并已应用于信息安全、电影反盗版、医学图像可视化和可见光通信等领域。tpvm使用视觉心理物理学的共识，即在大多数情况下，人类视觉系统无法感知超过60hz的光信号变化，而显示器的刷新率现在可以是120hz，甚至超过240hz。将原始图像与刷新率超过60hz的附加信息相结合，人们将无法区分处理后的视频和原始视频之间的差异，但可以使用相机捕捉变化。
4.gao在《the invisible qr code》中提出了不可见二维码的概念。他们提出用线性方法在视频中嵌入二维码，然后用传统的二值化方法检测、修复二维码。但是像素的亮度与灰度值并非线性关系，使用线性的方式嵌入使得视频的亮度在时间域上发生变化，从而会降低视频的质量；用传统方法做检测也缺乏鲁棒性。song在《deep restoration of invisible qr code from tpvm display》中利用u-net改进了不可见二维码的修复部分。但是他们在使用u-net还原二维码之前，需要手动定位不可见二维码的四个角，这在实际应用中是不可行的。
5.经检索，中国发明专利cn201810032597.6，公开了一种视频播放方法及显示系统，通过对原始视频进行时域的频率调制；对经过时域的频率调制后的视频进行空域的频率调制，将经过空域的频率调制后的视频采用匹配的帧率进行播放；使经过空域的频率调制后的视频中包含人眼不可见的第一图像。由于第一图像的时域和空域频率均大于人眼可分辨的最大频率，且在拍摄设备可分辨的频率范围之内，因此在视频播放时人眼无法分辨第一图像，而拍摄设备在进行拍摄时会拍摄到包括第一图像的视频画面，由此使得人眼观看时保持原始画面清晰度不变，同时有效防止视频画面被拍摄设备捕捉，保证了视频内容的安全性。上述发明专利将每一帧图像替换成n帧图像，导致如果没有更高帧率的播放器和更高刷新率的显示器，就无法实现；同时，该发明类似于上述线性方法，实验表明线性方法会影响视频质量。
6.当前方法存在的这些问题亟需研发一种更鲁棒、更高效的不可见二维码嵌入、检测和修复方法。


技术实现要素：

7.针对现有技术中存在的上述不足，本发明的目的是提供一种基于神经网络的不可见二维码嵌入、检测和修复方法。
8.本发明的第一发明，提供一种基于神经网络的不可见二维码嵌入、检测和修复方法，包括：
9.利用非线性时间心理视觉调制技术将二维码嵌入视频中，使所述二维码不能被人眼观察到；
10.从嵌入二维码后的所述视频中采集一组包含所述二维码的数据，利用第一神经网络定位数据中的所述二维码；
11.利用第二神经网络对定位后的所述二维码进行校准，得到校准后的二维码；
12.将所述校准后的二维码输入第三神经网络进行修复，得到修复后的二维码。
13.可选地，所述时间心理视觉调制技术，包括：
14.将原始视频与附加信息相结合，所述附加信息的刷新频率大于人类视觉系统可分辨的最大频率，且在拍摄设备可分辨的频率范围之内；
15.人类视觉系统无法区分结合后的视频和原始视频之间的差异，但使用拍摄设备能捕捉变化。
16.可选地，所述将二维码嵌入视频，包括：在视频的相邻两帧中同一位置嵌入颜色相反的二维码，视频在设定时间段内亮度不变。
17.可选地，所述在视频的相邻两帧中同一位置嵌入颜色相反的二维码，其中：在相邻两帧中的奇数帧的rgb通道加上表示二维码的rgb值，同时，在偶数帧减去对应的rgb值。
18.可选地，所述非线性时间心理视觉调制技术，具体为：
19.像素的亮度与灰度值并非线性关系，相邻帧嵌入颜色相反的二维码后的rgb值存在误差。
20.可选地，所述利用第一神经网络定位数据中的所述二维码，包括：利用所述第一神经网络，将包含所述二维码的数据作为输入数据，得到所述二维码所在的外接矩形框。
21.可选地，所述利用第二神经网络对定位后的所述二维码进行校准，包括：
22.利用第二神经网络，得到所述二维码四个顶点的坐标，并通过旋转矩阵a，将所述二维码校准为正方形；其中：
[0023][0024]
上式中，θ是旋转角度，(t
x
，ty)是位移坐标。
[0025]
可选地，将所述校准后的二维码输入第三神经网络进行修复，包括：利用第三神经网络，取出所述校准后的二维码中的背景，并将二维码还原为黑白色。
[0026]
本发明的第二方面，提供一种不可见二维码嵌入、检测和修复设备，包括存储器、处理器及存储在存储器上并能在处理器上运行的计算机程序，所述处理器执行所述程序时用于执行所述的基于神经网络的不可见二维码嵌入、检测和修复方法。
[0027]
本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行所述的基于神经网络的不可见二维码嵌入、检测和修复方法。
[0028]
与现有技术相比，本发明实施例具有如下至少一种有益效果：
[0029]
本发明提供的基于神经网络的不可见二维码嵌入、检测和修复方法，利用非线性时间心理视觉调制技术将二维码嵌入视频中，然后分别神经网络对二维码进行定位、校准和修复，可有效地提升不可见二维码嵌入的质量、二维码检测和修复的鲁棒性和效率，能实现高效实时地检测修复。
[0030]
本发明提供的基于神经网络的不可见二维码嵌入、检测和修复方法，通过在相邻两帧中同一位置嵌入颜色相反的二维码，保证视频在一定时间段内亮度不变，使其不能被人眼观察到，利用拍照设备从视频中采集一组包含二维码的数据并利用神经网络定位数据中的二维码，适用于不同的拍摄角度和光照条件，大大提高了鲁棒性。
[0031]
本发明抛弃线性方法，采用非线性方法嵌入颜色相反的二维码，视频质量效果更好。
[0032]
本发明对原视频及视频播放器、显示器没有更多要求，可以从视频任意帧开始、在任意位置处添加二维码。因此应用上可以更突出人机交互性，可以用于传达更多额外信息。
附图说明
[0033]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0034]
图1为本发明一实施例的基于神经网络的不可见二维码嵌入、检测和修复方法流程图；
[0035]
图2为本发明一较优实施例的基于神经网络的不可见二维码嵌入、检测和修复方法总体流程图；
[0036]
图3为本发明一实施例像素的rgb值与亮度的关系。
具体实施方式
[0037]
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
[0038]
图1为本发明一实施例的基于神经网络的不可见二维码嵌入、检测和修复方法流程图。如图1所示，本实施例中的基于神经网络的不可见二维码嵌入、检测和修复方法，包括如下步骤：
[0039]
s1：利用非线性时间心理视觉调制技术将二维码嵌入视频中，使二维码不能被人眼观察到；
[0040]
s2：从嵌入二维码的视频中采集一组包含二维码的数据，利用第一神经网络定位数据中的二维码；
[0041]
s3：利用第二神经网络对定位后的二维码进行校准，得到校准后的二维码；
[0042]
s4：将校准后的二维码输入第三神经网络进行修复，得到修复后的二维码。
[0043]
本实施例中利用非线性时间心理视觉调制技术将二维码嵌入视频中，然后分别神经网络对二维码进行定位、校准和修复，可有效地提升不可见二维码嵌入的质量、二维码检
测和修复的鲁棒性和效率。
[0044]
上述s1中，时间心理视觉调制技术为：将原始视频与附加信息相结合，所述附加信息的刷新频率大于人类视觉系统可分辨的最大频率，且在拍摄设备可分辨的频率范围之内，具体的，人类视觉系统无法感知超过60hz的光信号变化，将原始图像与刷新率超过60hz的附加信息相结合，人们将无法区分处理后的视频和原始视频之间的差异，但可以使用相机捕捉变化。
[0045]
在一些实施例中，s1中，将二维码嵌入视频为：通过在相邻两帧中同一位置嵌入颜色相反的二维码，保证视频在一定时间段内亮度不变。进一步的，嵌入颜色相反的二维码可以是：在视频相邻的两帧中，奇数帧的rgb通道加上表示二维码的rgb值，同时，在偶数帧减去对应的rgb值。
[0046]
图3为本发明一实施例像素的rgb值与亮度的关系。参照图3所示，实际应用中，像素的亮度与灰度值并非线性关系，使用线性的方式嵌入使得视频的亮度在时间域上发生变化，从而会降低视频的质量。在一些实施例中，为了解决该问题，上述s1中，采用非线性时间心理视觉调制技术，即利用时间心理视觉调制技术将二维码非线性地嵌入视频中，这样，在上述的相邻帧嵌入的颜色相反的二维码的rgb值后，相邻帧的rgb值存在一定的误差。从而与实际应用中像素的亮度与灰度值相符，保证视频的质量。
[0047]
图2为本发明一较优实施例的基于神经网络的不可见二维码嵌入、检测和修复方法总体流程图。参照图2所示流程，为了更好说明本发明技术方案，以下结合较优的应用实例来说明：
[0048]
本较优实施例中，基于神经网络的不可见二维码嵌入、检测和修复方法，包括如下步骤：
[0049]
第一步、利用非线性时间心理视觉调制技术将二维码嵌入视频中，使其不能被人眼观察到；
[0050]
具体地，通过在相邻两帧中同一位置嵌入颜色相反的二维码，保证视频在一定时间段内亮度不变。在视频的奇数帧的rgb通道加上表示二维码的rgb值，其中二维码的黑色部分为0，白色部分为25。同时在偶数帧减去对应的rgb值，其中黑色部分为0，白色部分为i-l-1
(2*l(i)-l(i+25))。其中i表示原始像素点的rgb值，函数l(.)表示rgb值对应的亮度值，函数l-1
(.)表示亮度值对应的rgb值。
[0051]
第二步、利用拍照设备从视频中采集一组包含二维码的数据并利用第一神经网络定位数据中的二维码；
[0052]
具体地，利用第一神经网络，得到输入数据(包含二维码的数据)中二维码所在的外接矩形框。因为本发明实施例要做到高效实时地检测修复，所以上述的第一神经网络可以选择使用yolov3。损失函数使用二维码所在的外接矩形框的位置坐标和二维码四个顶点的相对位置关系作为约束。
[0053]
第三步、利用第二神经网络对定位后的二维码进行一定的后处理，得到校准后的二维码；
[0054]
具体地，利用第二神经网络，得到二维码四个顶点的坐标，因为本发明实施例要做到高效实时地检测修复，所以第二神经网络使用轻量的mixnet。损失函数使用二维码所四个顶点的坐标和四条边的长度作为约束。
[0055]
然后通过旋转矩阵a，将二维码校准为正方形，其中：
[0056][0057]
上式中，θ是旋转角度，(t
x
，ty)是位移坐标。
[0058]
第四步、再经过第三神经网络得到修复后的二维码；
[0059]
具体地，利用第三神经网络，取出校准后的二维码中的背景，并将二维码还原为黑白色。因为本发明要做到高效实时地检测修复，所以神经网络使用轻量的efficient u-net。损失函数使用每个像素点的像素值作为约束。
[0060]
本发明上述优选实施例中，网络输出目标不同，不同阶段使用不同的网络能得到最好最快的效果，有利于提高修复的准确率和速度。
[0061]
本发明上述实施例中，修复后的二维码与原二维码外观基本上相同，扫描得到的内容相同。
[0062]
实施效果：
[0063]
为了对本发明上述实施例中所提供的基于神经网络的不可见二维码嵌入、检测和修复方法的有效性进行验证，首先建立名为
‘
iqrcodes’的专门用于验证不可见二维码检测和修复效果的数据集。该数据使用五种二维码和数段视频进行嵌入，在视频每一帧的任意位置随机嵌入一到四个二维码。然后将手机的摄像头设置为慢动作模式，从各个角度进行捕捉，确保数据集中不可见二维码包含各种类型的几何失真。最后，删除不包含二维码或二维码被严重遮挡的图像，生成包含2500多幅图像和5000多个二维码的数据集。实验中使用75％的数据集作为训练集，5％作为验证集，其余的作为测试集。实验结果表明，与现有成果相比，在时间消耗增加不多的情况下，本发明的准确率超过99％，并且适用于不同的拍摄角度和光照条件，大大提高了鲁棒性。
[0064]
本发明上述较优实施例的基于神经网络的不可见二维码嵌入、检测和修复方法，利用非线性时间心理视觉调制技术将二维码嵌入视频中，通过在相邻两帧中同一位置嵌入颜色相反的二维码，保证视频在一定时间段内亮度不变，使其不能被人眼观察到，然后利用拍照设备从视频中采集一组包含二维码的数据并利用神经网络定位数据中的二维码，最后利用第二神经网络对定位后的二维码进行一定的后处理，得到校准后的二维码，再经过第三神经网络得到修复后的二维码等步骤，可有效地提升不可见二维码嵌入的质量、二维码检测和修复的鲁棒性和效率。
[0065]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。