基于图片隐写及模糊比对的操作记录可回溯方法与流程

本发明涉及图像隐写操作的回溯，尤其是涉及基于图片隐写及模糊比对的操作记录可回溯方法。

背景技术：

1、随着数字媒体技术的进步和成本的下降，各行各业都开始广泛应用数字媒体。特别是随着各行各业的远程和线上业务的大量增加，用户可以通过客户端来完成越来越多的任务和操作。然而，对于用户的操作行为如何进行记录以及如何防止用户的抵赖成为一项越来越具有挑战性的问题。针对这一问题，业界正在不断探索和研究解决方案。

2、为了避免用户的抵赖，往往使用口令、密码、人脸等技术进行身份确认。这些技术很大程度上避免了身份被冒用的风险，但是对于用户的操作行为缺少有效的记录。现有的用户操作行为记录或者屏幕录制方式存在不少的限制。例如，单纯依靠文本记录客户端操作行为的方式无法记录操作结果产生的图像信息；录制视频则往往需要较大的存储空间，不仅不方便操作也不利于数据的结构化和客户行为异常分析。为了便于记录用户的各种行为和行为异常分析，客户在客户端的操作行为的记录需要一种更加轻量、可视化、结构化的技术来对用户操作过程进行可回溯式的管理。

技术实现思路

1、为了解决上述技术问题，本发明提供基于图片隐写及模糊比对的操作记录可回溯方法。采用如下的技术方案：

2、基于图片隐写及模糊比对的操作记录可回溯方法，包括以下步骤：

3、步骤1，获取用户在客户端的操作行为；

4、步骤2，判断用户是否有操作动作，并记录用户操作使用编码信息和附加信息；

5、步骤3，截取第一结果页面图片，在用户完成操作动作后，截图抓拍操作动作后页面的图片，得到第一结果页面图片；

6、步骤4，生成可回溯图片，将步骤3中的第一结果页面图片存储为jpeg图片，并将步骤2中的用户操作使用编码信息和附加信息嵌入到jpeg图片中，得到可回溯图片；

7、步骤5，判断用户是否结束所有操作，若判断是，则结束得到可回溯图片组，否则回到步骤1继续；

8、步骤6，判断操作记录是否回溯，对可回溯图片组和第二结果页面图片进行模糊比对，若比对成功，则输出操作行为可回溯，反之则输出操作行为不可回溯；

9、所述第二结果页面图片是提取出用户操作使用编码信息后对界面的截图。

10、通过采用上述技术方案，采用了操作行为的符号化描述和信息隐写等方式来记录和存储客户端操作行为，并将操作结果图片信息与操作结果所对应的页面进行截图，将操作结果与操作行为进行关联，从而提高了操作结果的可验证性和操作流程可回溯性。这种基于隐写技术的方式不仅可以有效地记录客户端的操作行为和结果，记录两者之间的关联性，而且不需要耗费大量的存储空间，可增强数据的结构化和分析效率，从而进一步提高客户端安全记录的质量，判断用户的操作记录是否可回溯主要基于模糊比对来比较可回溯图片组和抓取的第二结果页面图片，可以对客户的操作记录高效地做出是否可回溯的判断。

11、可选的，步骤2中，所述附加信息是时间信息、地点信息和人脸照片信息，若判断没有操作，则返回步骤1。

12、通过采用上述技术方案，当用户存在操作行为时，记录与之相关的时间、地点、人脸照片等附加信息，附加信息也可以作为隐写内容隐写入可回溯图片，进一步提升可回溯图片与操作行为的关联性。

13、可选的，用户操作使用编码信息包括操作记录编码和对应的16进制编码。

14、通过采用上述技术方案，采用编码的方式来对记录操作行为，大大减少了记录操作行为的数据量。

15、可选的，将步骤2中的用户操作使用编码信息和附加信息嵌入到该jpeg图片中的方法是：

16、步骤41，将jpeg图片的亮度分量的每个dct量化矩阵块阴影位置的交流系数的最低有效位lsb嵌入1比特秘密信息，一个dct量化系数块嵌入1个字节的信息；

17、步骤42，将jpeg图片所对应的操作行为嵌入后，剩余dct量化矩阵块的最低有效位全部嵌入比特0，最终得到含隐写了操作行为信息的jpeg图片，即可回溯图片。

18、通过采用上述技术方案，将jpeg图片的亮度分量的每个dct量化矩阵块的如下阴影位置的交流系数的最低有效位(lsb)嵌入1比特秘密信息，因此一个dct量化系数块可以嵌入1个字节的信息，将该图所对应的操作行为嵌入后，剩余dct块的最低有效位全部嵌入比特0。最终得到含隐写了操作行为信息的jpeg图片，即可回溯图片。该隐写操作可以在不改变图像内容的情况下，实现图像与操作信息的绑定，避免了图像和信息分开存储可能导致的对应混乱问题。

19、可选的，将步骤2中的用户操作使用编码信息和部分附加信息嵌入到该jpeg图片中，部分附加信息是指时间信息、地点信息或人脸照片信息其中的若干种信息组合。

20、通过采用上述技术方案，该附加信息可以有效记录用户操作之外的其他关联信息，便于回溯操作人、操作地点、操作时间等相关有价值的回溯信息。

21、可选的，所有的可回溯图片组成可回溯图片组。

22、通过采用上述技术方案，可回溯图片组可以作为后续回溯方法的重要佐证。

23、步骤6中，判断操作记录是否回溯包括以下子步骤：

24、步骤a，进入用户客户端的初始界面；

25、步骤b，将可回溯图片组按时间进行排序，取时间最早的可回溯图片作为待回溯图片；

26、步骤c，将待回溯图片进行隐写信息的提取，得到待回溯图片中包含的用户操作使用编码信息；

27、步骤d，执行步骤c中的提取出的用户操作使用编码信息后对界面截图，得到第二结果页面图片；

28、步骤e，将待回溯图片与第二结果页面图片做内容比对，判断两张图片中的客户端页面填写的信息是否一致，若内容一致，则继续步骤f，反之判断待回溯图片无效，结束整个回溯流程，并判定用户的操作行为不可回溯；

29、步骤f，判断可回溯图片组中是否都已完成回溯，若是，则判定用户所有操作均得到回溯成功，整个用户的操作行为可回溯。

30、通过采用上述技术方案，可回溯图片组中的每一张可回溯图片，包含了用户的一个操作行为及其该行为对应的结果。在回溯时，将可回溯图片组中的图片按照时间顺序依次进行操作信息提取，并通过计算机重现操作流程，将生成该页面的操作结果与该可回溯图片进行内容比对以证明所记录的操作的真实性。

31、步骤e中将待回溯图片与第二结果页面图片做内容比对的方法是：

32、步骤81，先比较两张图像分辨率，不同则判定图像不同，并返回，若相同则继续后续步骤；

33、步骤82，将两张图片全部转为rgb图像，获取两张图像各个颜色分量的像素矩阵；

34、步骤83，分别取一张图像一个颜色分量中一个像素p1以及另一张图像中对应分量相同位置的像素p2进行-1，0，+1数值量化并比较是否相等：当像素在[0,95]区间内时，量化为数值-1，当像素值在[96,159]区间时，量化为数值0，当像素值在[160,255]区间时，量化为数值+1，+1与+1、+1与0视作相等，-1与-1、-1与0视作相等；

35、步骤84，所有像素对均相等，判定两个图像内容相同，否则判定两个图像内容不同。

36、通过采用上述技术方案，基于像素区间值的模糊判断，实现在两幅图像经过有损压缩以及隐写算法对像素的扰动情况下依然可以判定两幅图像原始内容是否相同。

37、综上所述，本发明包括以下至少有益技术效果：

38、本发明能提供基于图片隐写及模糊比对的操作记录可回溯方法，首先记录用户在客户端的一个操作行为和相关附加信息，并进行符号化描述。然后在操作完成后对客户端界面进行截图，即得到结果页面图片。将对应的符号化描述使用信息隐写的方式嵌入到抓拍页面图片中，得到可回溯图片。按照这样的步骤，依次完成各个操作的记录，直至所有流程结束，生成该流程中所有可回溯图片的图片组。图片组中的每一张可回溯图片，包含了用户的一个操作行为及其该行为对应的结果；

39、在可回溯判断时，将可回溯图片组中的图片按照时间顺序依次进行操作信息提取，并通过计算机重现操作流程，将生成该页面的操作结果与该可回溯图片进行内容比对以证明所记录的操作的真实性；

40、图像内容比对主要基于像素区间值的模糊判断，实现在两幅图像经过有损压缩以及隐写算法对像素的扰动情况下依然可以判定两幅图像原始内容是否相同。