基于终端录屏的处理方法及装置、存储介质与流程

本发明涉及数据处理领域，尤其涉及一种基于终端录屏的处理方法及装置、存储介质。

背景技术：

安全审计方法和产品目前仍处于发展阶段，大部分审计方法都是基于文本格式的日志进行的。各厂家均在日志如何快速收集、快速查询上做改进，这样的方式收效更明显，更易产品化，更像是一个工具。但是，安全审计的本质是如何帮助其它安全系统建立起更智能、更精细化的安全防御体系，起到大脑的作用，它能有效帮助用户制定动态的防御策略，从而实现精准防御。

基于日志的审计方法是有局限性的。一方面，日志系统完整性难以保证。审计系统对日志的收集依赖于各系统的产生及推送，日志的整个生命周期就存在疏于管理和人工干预的可能性，比如应用系统产生的日志数据每天有多少、实际发送多少、中间环节是否存在丢失等，都不得而知；另一方面，及时对日志数据进行对比校验，是一个消耗非常巨大、费时费力、需要巨大投入的人力和物力。

技术实现要素：

本发明提供一种基于终端录屏的处理方法及装置、存储介质。

本发明的技术方案是这样实现的：

一方面，提供一种基于终端录屏的处理方法，包括：

获取终端的录屏数据；

根据所述录屏数据，获得目标识别内容；

根据所述目标识别内容对终端进行监控。

进一步地，所述根据所述录屏数据，获得目标识别内容，包括：

根据所述录屏数据，获得终端的操作序列。

进一步地，所述根据所述录屏数据，获得目标识别内容，包括：

将所述录屏数据进行视频截帧处理，获得处理单位，其中，所述处理单位为1帧或连续的n帧数据，n为不小于2的正整数；

分析所述处理单位，获取所述处理单位的语义标签。

进一步地，所述处理单位的语义标签和所述处理单位的录屏时间信息组成所述处理单位的操作字段；

多个所述处理单位的操作字段组成所述终端的操作序列。

进一步地，所述分析所述处理单位，获取所述处理单位的语义标签，具体包括：

基于所述处理单位，追踪所述终端的光标，获取检测结果；

基于所述处理单位，识别以所述光标为中心一定范围内的文字，获取识别结果；

基于所述检测结果和所述识别结果，获取所述处理单位的语义标签。

进一步地，所述光标包括：鼠标光标和键盘光标。

进一步地，所述根据所述目标识别内容对终端进行监控，具体包括：

对所述操作序列进行敏感数据分析，获取潜在违规行为。

进一步地，所述根据所述目标识别内容对终端进行监控，还包括：

基于所述终端的操作序列，获取用户行为轨迹。

本发明还提供了一种基于终端录屏的处理装置，包括：

第一获取单元，用于获取终端的录屏数据；

第二获取单元，用于根据所述录屏数据，获得目标识别内容；

监控单元，用于根据所述目标识别内容对终端进行监控。

本发明还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现以上所述的基于终端录屏的处理方法。

本发明提供的基于终端录屏的处理方法及装置、存储介质，获取终端的录屏数据；根据所述录屏数据，获得目标识别内容；根据所述目标识别内容对终端进行监控。由于日志的收集存在疏于管理和人工干预的可能性，日志的完整性难以保证，进而使基于日志的审计方法，可能无法全面地对用户行为进行审计。本发明通过终端的录屏数据获得的目标识别内容，进行终端监控，相对于基于日志的审计方法，可实现全面地对用户行为进行审计。此外，本发明通过nlp(naturallanguageprocessing，自然语言处理)技术，对目标识别内容进行监测，以识别潜在违规行为，相比相关方法中需要对日志数据进行人工对比校验，节省了资源，提高了效率。

附图说明

图1为本发明实施例提供的一种基于终端录屏的处理方法的流程示意图；

图2为本发明实施例提供的一种基于终端录屏的处理装置组成结构示意图；

图3为本发明实施例提供的另一种基于终端录屏的处理方法的流程示意图；

图4为本发明实施例提供的一种视频智能分析平台架构图；

图5为本发明实施例提供的一种视频智能分析平台的系统框架图；

图6为本发明实施例提供的又一种基于终端录像的处理方法的处理流程图。

具体实施方式

在本发明的各种实施例中，通过终端的录屏数据获得的目标识别内容，进行终端监控，减少了由于文本格式的日志的完整性难以保证，造成的基于日志进行行为监控的局限性。为使本发明实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明实施例进行详细说明。

图1为本发明实施例提供的一种基于终端录屏的处理方法的流程示意图，如图1所示，所述基于终端录屏的处理方法包括以下步骤：

步骤101：获取终端的录屏数据；

步骤102：根据所述录屏数据，获得目标识别内容；

步骤103：根据所述目标识别内容对终端进行监控。

录屏数据是对终端的屏幕进行录像所得到的视频文件。终端的录屏数据可由终端直接发送给本发明方法所部署的服务器，也可由其它录屏工具发送给本发明方法所部署的服务器。其它录屏工具可采用任何带有摄像功能的设备，比如：相机、安装有摄像头的手机或平板电脑等用户设备。

下列方式可触发终端进行录屏操作，并将录屏数据发送给本发明方法所部署的服务器：终端用户自行触发录屏操作，例如，终端每隔设定时间间隔进行录屏操作；终端在预先设定好的某段时间内进行录屏操作；终端用户的某个特定行为触发录屏操作，比如：登录某设定系统，用户对某设定系统的权限进行修改等等，上述设定系统可以为对数据安全性要求较高的系统，比如：银行资金管理的相关系统、涉及个人隐私的疾病管理系统等。

目标识别内容为基于录屏数据获得的具有分析价值的数据信息，可以为图像形式，也可以为文字形式。录屏数据可通过图像处理技术、自然语言处理技术等获得目标识别内容。

通过目标识别内容，可进行用户行为画像处理，并通过用户行为画像，对用户的行为做进一步地分析和预测；也可通过目标识别内容与其它特征数据进行关联分析，或对目标识别内容进行敏感数据分析，获取违规行为，并对违规行为进行行为溯源。违规行为是终端用户的行为超出用户权限、或存在数据外泄，或其它违反相关规定的用户行为。

本发明的方法包含终端监管、内容识别、行为溯源等一套完整的处理方案。

进一步地，所述根据所述录屏数据，获得目标识别内容，包括：

根据所述录屏数据，获得终端的操作序列。

操作序列是通过分析终端的录屏数据获得的终端用户的操作行为序列，可用文字序列的方式表示，该终端用户的操作序列中的每个元素对应了终端用户的某个操作行为，操作行为可包括：登录某系统，发送邮件，查询某报表等。操作序列可以按时间、监控平台、监控终端、监控用户等多种形式进行组合。

进一步地，所述根据所述录屏数据，获得目标识别内容，包括：

将所述录屏数据进行视频截帧处理，获得处理单位，其中，所述处理单位为1帧或连续的n帧数据，n为不小于2的正整数；

分析所述处理单位，获取所述处理单位的语义标签。

视频截帧处理是将终端的录屏数据截取成单帧的图像数据，可以按照设定的时间间隔进行截帧处理。

语义标签是对终端用户的某个操作行为的文字描述。

上述处理单位包括1帧或连续多帧的图像数据，并与终端用户的某个操作行为一一对应，分析处理单位包含的图像数据，获得语义标签。所述语义标签对应了终端用户的某个操作行为。

深度学习的研究，已深入计算机视觉、语音识别、自然语言处理以及游戏策略等众多领域。本发明可以通过引入深度学习技术对终端录像数据进行计算机视觉处理，基于模型训练不断优化和提升视觉分析服务，较好地完成从截取的图像信息推导出用户行为对应的语义标签。

进一步地，所述处理单位的语义标签和所述处理单位的录屏时间信息组成所述处理单位的操作字段；

多个所述处理单位的操作字段组成所述终端的操作序列。

处理单位的录屏时间为处理单位中首帧的录制时间。假设处理单位的语义标签为“发送邮件附件”，处理单位的录屏时间为“2018.11.211:02:28”，则对应的操作字段为“2018.11.211:02:28发送邮件附件”。多个上述的操作字段组成所述终端的操作序列，从终端的操作序列中可清晰地看出以时间为主线的终端用户的操作轨迹。

进一步地，所述分析所述处理单位，获取所述处理单位的语义标签，具体包括：

基于所述处理单位，追踪所述终端的光标，获取检测结果；

基于所述处理单位，识别以所述光标为中心一定范围内的文字，获取识别结果；

基于所述检测结果和所述识别结果，获取所述处理单位的语义标签。

进一步地，所述光标包括：鼠标光标和键盘光标。

用户在终端的行为是通过鼠标和键盘操作来完成的，各种应用以及信息也是呈现在窗体之内的，所以识别出视频中的鼠标的光标和键盘的光标并进行追踪，以及鼠标的光标和键盘的光标附近一定区域内的文字，识别出窗体的标题、信息提示类的弹窗、浮层内的文字，在此基础之上，利用nlp技术，得到终端的操作序列。

上述检测结果为在进行截帧处理后的每帧图像中，鼠标光标的坐标(x1，y1)和键盘光标的坐标(x2，y2)。

建立深度学习模型，并进行大量的数据训练，以确保可准确地获得鼠标光标的坐标(x1，y1)和键盘光标的坐标(x2，y2)。可采用r-fcn算法、siameserpn算法实现鼠标光标和键盘光标的检测和追踪。

可选地，上述识别结果包括：每帧图像中，以鼠标光标的坐标(x1，y1)为中心一定范围内的文字、每帧图像中，以键盘光标的坐标(x2，y2)为中心一定范围内的文字。

可选地，上述识别结果还包括：每帧图像中，鼠标光标所在的窗体标题及窗体坐标，键盘光标所在的窗体标题及窗体坐标。

可选地，上述识别结果还包括：每帧图像中，信息提示类的弹窗的文字及弹窗坐标、浮层内的文字及浮层坐标。

可选地，上述识别结果还包括：终端所登录系统的名称。

可选地，上述识别结果还包括：登录系统的用户名称。

所述基于所述处理单位，识别以所述光标为中心一定范围内的文字，获取识别结果，包括以下步骤：

分别以鼠标光标的坐标(x1，y1)和键盘光标的坐标(x2，y2)为中心，确定的一定范围，作为光标识别范围；

通过深度学习模型识别出图像中的窗体标题位置范围、浮层范围等，作为窗台识别范围；

对上述光标识别范围和窗台识别范围内的文字进行倾斜矫正、文字切分等预处理，并利用ocr(opticalcharacterrecognition，光学字符识别)技术，实现上述范围内的文体识别。

利用nlp技术，基于上述检测结果和识别结果，获取所述处理单位的语义标签。

可选地，对上述处理单位进行人工添加语义标签，或对系统添加的语义标签进行人工抽样核验，并进行语义标签的修正。人工添加和修正的语义标签，供系统中的模型训练更新使用。

进一步地，所述根据所述目标识别内容对终端进行监控，具体包括：

对所述操作序列进行敏感数据分析，获取潜在违规行为。

建立敏感词库，对终端的操作行为序列通过敏感数据识别引擎进行分析，识别出包含敏感词的操作行为序列，进而发现终端用户的潜在违规行为。

进一步地，所述根据所述目标识别内容对终端进行监控，还包括：

基于所述终端的操作序列，获取用户行为轨迹。

若发现存在潜在违规行为，或需要对某一特定终端、某一特定系统在一段时间内的操作进行排查，可基于所述终端的操作序列，进行用户行为画像处理，通过用户行为画像，对用户的行为做进一步地分析；也可通过终端的操作序列与其它特征数据进行关联分析，提取之前操作的行为轨迹，追溯操作行为序列对应的终端的ip地址及操作用户的身份信息等。

图2为本发明实施例提供的一种基于终端录屏的处理装置组成结构示意图，包括：

第一获取单元201，用于获取终端的录屏数据；

第二获取单元202，用于根据所述录屏数据，获得目标识别内容；

监控单元203，用于根据所述目标识别内容对终端进行监控。

进一步地，所述第二获取单元202，具体用于：

根据所述录屏数据，获得终端的操作序列。

进一步地，所述第二获取单元202，还用于：

将所述录屏数据进行视频截帧处理，获得处理单位，其中，所述处理单位为1帧或连续的n帧数据，n为不小于2的正整数；

分析所述处理单位，获取所述处理单位的语义标签。

进一步地，所述处理单位的语义标签和所述处理单位的录屏时间信息组成所述处理单位的操作字段；

多个所述处理单位的操作字段组成所述终端的操作序列。

进一步地，所述第二获取单元202，还用于：

基于所述处理单位，追踪所述终端的光标，获取检测结果；

基于所述处理单位，识别以所述光标为中心一定范围内的文字，获取识别结果；

基于所述检测结果和所述识别结果，获取所述处理单位的语义标签。

进一步地，所述光标包括：鼠标光标和键盘光标。

进一步地，所述监控单元203，用于对所述操作序列进行敏感数据分析，获取潜在违规行为。

进一步地，所述监控单元203，用于基于所述终端的操作序列，获取用户行为轨迹。

本发明还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现以上所述的基于终端录屏的处理方法。

图3为本发明实施例提供的另一种基于终端录屏的处理方法的流程示意图。如图3所示，通过终端的录屏工具将用户的操作行为进行操作录屏，并将视频实时传送到视频智能分析平台，经过平台分析处理后输出用户的操作序列，如图中的“2018.02.2115:21:31发送邮件附件”，并录入数据库中存储，供智能审计平台进行后续的用户操作行为分析和审计。

近年来，深度学习在学术界和工业界得到了广泛的发展和应用，其在计算机视觉、语音识别、自然语言处理以及游戏策略等众多领域取得丰硕成果，在某些领域甚至取得了超越人类的表现。本申请提案通过引入深度学习技术对终端录像的录屏数据进行计算机视觉处理，基于模型训练不断优化和提升视觉分析服务，很好地解决了用户行为审计领域的上述局限性。

图4为本发明实施例提供的一种视频智能分析平台架构图，分为硬件、数据层，算法层，服务处和业务层。其中，硬件、数据层包括：深度学习框架、图像视频、gpu集群、cpu集群、存储集群；算法层包括：图像识别、场景理解、质量评估和转码分析；服务层包括：自动化训练、智能视觉分析、标准；业务层包括：查询、人员图像、预警和行为轨迹。

在机器学习和深度学习技术支撑下具备了图像识别、场景理解、质量评估、转码分析的底层能力，从而实现了服务层在线智能视觉分析、标注、自动化训练模型更新的有效闭环。

智能视觉分析服务提供实时视频语义解析获取视频中的信息；自动化训练服务对模型进行实时更新，不断优化提升视觉分析服务；标注服务一方面接收视觉分析服务提供的在线语义标签，另一方面给业务专家团队进行人工标注提供相应的服务。

本申请提案的核心是引入了基于人工智能的计算机视觉技术，计算机视觉技术主要是对图像和视频进行处理以获得相应场景的三维信息，需要完成三个基本任务：

·图像分类：从图片、视频中识别内容的种类；

·目标检测：识别出图片或视频中的成像物体并确定其位置；

·图像分割：主要是语义分割，精确到像素级别，将视觉输入分为不同的语义可解释类别。

以计算机视觉三个基本任务为基础，产生一些更深层次的技术，包括视频中的目标追踪、图像和视频的主题描述、语义理解、视频中的事件检测等等，而在这些技术之上还有一些垂直的应用领域——信息压缩、用户画像、搜索、推荐系统、人机交互等等，更上层的应用则有互联网多媒体、智能家居、驾驶、安防、智慧金融、医疗机器人等。

通过鼠标的光标和键盘的光标的追踪、鼠标的光标和键盘的光标附近一定区域的文字识别，可实现把用户的操作录屏转换为用户的操作行为时间序列。具体而言，用户在终端的行为是通过鼠标的光标和键盘的光标操作来完成的，各种应用以及信息也是呈现在窗体之内的，所以识别出视频中的鼠标和光标并进行追踪，以及鼠标的光标和键盘的光标附近一定区域内的文字，识别出窗体的标题、信息提示类的弹窗、浮层内的文字，在此基础之上进行自然语言处理后输出用户行为的时间序列。

图5为本发明实施例提供的一种视频智能分析平台的系统框架图。如图5所示，视频智能分析平台的系统框架由三个部分组成：视觉分析服务、模型训练服务和标注服务。

视觉分析服务实时处理终端的录屏文件，获取用户的操作录屏；模型训练服务，基于录屏文件进行模型训练和模型评估，获取达到一定准确率的模型；标注服务，对识别出用户的操作序列，利用模型训练服务中确定的模型，进行视觉分析，获取操作序列，并进行人工抽样核验，数据修正之后，调用标注服务添加到标注平台中，将标注平台中的标签添加到标注数据，标注数据中的标签供模型训练更新使用。

图6为本发明实施例提供的又一种基于终端录像的处理方法的处理流程图。如图6所示，安装录屏软件，通过终端的录像软件将终端操作行为进行录屏处理，获取录像文件，并将获取的录像文件结合已有的录像文件传送至后台分析服务器，由分析服务器进行视频截帧处理，视频解析为逐帧画面，将处理后的单帧数据推送到视频分析大数据组件，由视频分析大数据组件进行深度学习分析，利用模型训练获取的业务场景画面模型，进行画面分析与模型匹配，完成特征分析并添加标记，将标记好的数据推送到特征分析组件，进行行为画像处理，通过其它特征的匹配智能识别操作行为是否存在数据外泄情况。如果出现数据外泄的风险，记录问题画面时间，进一步将操作行为进行关联分析，提取之前操作的行为轨迹，溯源数据的产生地址，对数据进行探测识别，识别是否存在敏感信息，并进行问题呈现。整套分析方法包含终端监管、内容识别、行为溯源等一套完整审计解决方案，比传统的解决方案更灵活，降低了基于规则的审计误报率。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。