一种截屏处理方法及装置、电子设备、存储介质与流程

本发明涉及智能显示技术领域，特别涉及一种截屏处理方法及装置、电子设、计算机可读存储介质。

背景技术

通常所谓的截屏，是屏幕上有什么就直接截取什么，类似于电脑上printscreen(截屏)键所对应的功能，也称为“屏幕快照”功能。随着智能电视的发展，智能电视也可以具备截屏功能，例如用户在看电视时，可以将屏幕截取成图片然后分享到自己的朋友圈中。

现有技术获取电视屏幕截图的做法是，当接收到截图指令时，同时对视频层和用户界面层进行截屏，再将两张图像合成，如果只有视频层有图像，不存在用户界面层，则只输出视频层图像。这种操作方法，可能会占用不必要的整机资源(每次截图都要同时去视频层和用户界面层进行截图，即使不存在用户界面层)。

也就是说，如果采用传统的方法直接截屏，当前界面无论有没有用户界面层都会去试着获取用户界面层图像，无论非全屏的视频层有没有内容都会截取视频层图像，而这两种情况都是非必要的，将额外占用系统资源、浪费时间、降低截屏效率。

技术实现要素：

为了解决现有截屏方法浪费系统资源、浪费时间、截屏效率低的问题，本发明提供了另一种截屏处理方法。

一方面，本发明提供了一种截屏处理方法，所述方法包括：

接收截屏指令，所述截屏指令用于指示终端设备截取当前界面的显示画面；

响应所述截屏指令，获取当前界面的窗口信息；

根据所述窗口信息，判断当前界面是否存在用户界面窗口层；

当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像。

可选的，所述当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像之前，所述方法还包括：

获取视频播放器的状态信息；

根据所述视频播放器的状态信息，判断所述视频播放器是否处于正常播放状态；

当判断得到所述视频播放器处于正常播放状态时，获取所述视频播放器所对应视频播放窗口层的图像。

可选的，所述当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像之前，所述方法还包括：

当判断获知当前界面存在用户界面窗口层时，获取所述用户界面窗口层的图像。

可选的，所述当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像包括：

当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，若所述用户界面窗口层的图像有透明度通道，则将所述视频播放窗口层获取的图像和所述应用程序窗口获取的图像进行对应像素点像素值的相加，得到所述截屏图像。

可选的，所述当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像包括：

当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，若所述用户界面窗口层的图像无透明度通道，则将所述用户界面窗口层获取的图像作为所述视频播放窗口层所获取图像和用户界面窗口层所获取图像相叠加得到的截屏图像。

可选的，所述根据所述窗口信息，判断当前界面是否存在用户界面窗口层之后，所述方法还包括：

若获知视频播放器处于正常播放状态但不存在所述用户界面窗口层，则仅获取所述视频播放器所对应视频播放窗口层的图像。

可选的，所述根据所述窗口信息，判断当前界面是否存在用户界面窗口层之后，所述方法还包括：

当获知视频播放器不处于播放状态但存在所述用户界面窗口层时，则仅获取所述用户界面窗口层的图像。

可选的，所述方法还包括：

对所述截屏图像进行目标识别并展示对所述目标的搜索结果。

另一方面，本发明还提供了一种截屏处理装置，所述装置包括：

指令接收模块，用于接收截屏指令，所述截屏指令用于指示终端设备截取当前界面的显示画面；

信息获取模块，用于响应所述截屏指令，获取当前界面的窗口信息；

窗口判断模块，用于根据所述窗口信息，判断当前界面是否存在用户界面窗口层；

图像叠加模块，用于当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像。

此外，本发明还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述截屏处理方法。

进一步的，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可由处理器执行上述截屏处理方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明上述示例性实施例提供的技术方案，通过判断是否存在用户界面窗口层以及视频播放器的播放状态，当视频播放器处于正常状态且同时存在用户界面窗口层时，才获取视频播放窗口层的图像和用户界面窗口层的图像进行叠加，得到截屏图像。现有技术不管视频窗口层和用户界面窗口层是否存在图像，都需尝试去获取图像，由此会占用不必要的系统资源并且降低了截屏的效率，本发明当不存在用户界面窗口层或视频播放器不处于播放状态时，可以不进行对应窗口层的图像获取操作，由此可以减少占用的系统资源，提高了截屏效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据本发明所涉及的实施环境的示意图；

图2是根据一示例性实施例示出的一种装置的框图；

图3是根据一示例性实施例示出的一种截屏处理方法的流程图；

图4是视频播放窗口层的一种显示界面效果图；

图5是用户界面窗口层的一种显示界面效果图；

图6是一种既包含视频播放窗口层又包含用户界面窗口层的显示界面示意图；

图7是在图3对应实施例的基础上另一示例性实施例示出的一种截屏处理方法的流程图；

图8是另一种既包含视频播放窗口层又包含用户界面窗口层的显示界面示意图；

图9是视频播放器的状态信息是false但存在用户界面窗口层的显示界面示意图；

图10是本发明一示例性实施例示出的截屏处理方法的完整流程图；

图11是根据一示例性实施例示出的一种截屏处理装置的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的本发明所涉及的实施环境示意图。本发明所涉及的实施环境包括智能显示设备110。智能显示设备110可以采用本发明提供的截屏处理方法，获得当前界面的截屏图像。

根据需要，该实施环境还可以包括服务器120。服务器120可以接收智能显示设备110上传的截屏图像，并搜索出与截屏图像相关的信息返回至智能显示设备110。

应当说明的是，本发明截屏处理方法，不限于在智能显示设备110中部署相应的处理逻辑，其也可以是部署于其它机器中的处理逻辑。例如，在具备计算能力的终端设备中部署截屏处理方法的处理逻辑等。

图2是根据一示例性实施例示出的一种装置200的框图。例如，装置200可以是图1所示实施环境中的智能显示设备110。智能显示设备比如可以是各种智能家居设备，比如智能电视、智能电视机顶盒等。

参照图2，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(staticrandomaccessmemory，简称sram)，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，简称eeprom)，可擦除可编程只读存储器(erasableprogrammablereadonlymemory，简称eprom)，可编程只读存储器(programmablered-onlymemory，简称prom)，只读存储器(read-onlymemory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图7、图10任一所示方法中的全部或者部分步骤。

电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(liquidcrystaldisplay，简称lcd)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(organiclightemittingdisplay，简称oled)。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(microphone，简称mic)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中，该传感器组件214还可以包括磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如wifi(wireless-fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(nearfieldcommunication，简称nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(radiofrequencyidentification，简称rfid)技术，红外数据协会(infrareddataassociation，简称irda)技术，超宽带(ultrawideband，简称uwb)技术，蓝牙技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit，简称asic)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。

图3是根据一示例性实施例示出的一种截屏处理方法的流程图。该截屏处理方法的适用范围和执行主体，例如，该方法用于图1所示实施环境的智能显示设备110。如图3所示，可以由移动终端110执行，可以包括以下步骤。

在步骤310中，接收截屏指令，所述截屏指令用于指示终端设备截取当前界面的显示画面；

其中，终端设备可以是图1所示实施环境中的智能显示设备110，例如智能电视、智能电视机顶盒等。当前界面是指智能电视或智能电视机顶盒的显示界面。截屏指令可以是遥控器等控制设备发送出的，终端设备接收遥控器等控制设备发出的截屏指令，触发终端设备执行后续截屏操作，获取当前正在显示的画面内容。

在步骤330中，响应所述截屏指令，获取当前界面的窗口信息。

其中，窗口信息是指窗口管理器记录的当前界面所包含的窗口层。终端设备响应接收到的截屏指令，可以从窗口管理器获取当前界面的窗口信息。

在步骤350中，根据所述窗口信息，判断当前界面是否存在用户界面窗口层。

其中，窗口是显示界面中最重要的部分。它是屏幕上与一个应用程序相对应的矩形区域，是用户与产生该窗口的应用程序之间的可视界面。当存在多个窗口时，自上而下具有一定的显示顺序，每个窗口所在的层级可以称为窗口层。视频播放窗口层是指用于播放视频的窗口层，如图4所示，是视频播放窗口层的一种显示界面。用户界面窗口层是智能设备和用户之间进行交互和信息交换的媒介，用于将数据呈现给用户或处理用户输入的窗口层，如图5所示是用户界面窗口层的一种显示界面。如图6所示，是既包含视频播放窗口层又包含用户界面窗口层的一种显示界面示意图。具体的，终端设备根据窗口信息指示的当前界面所包含的窗口层，判断当前界面是否存在用户界面窗口层。

如果判断出存在用户界面窗口层，终端设备可以获取用户界面窗口层的图像。需要说明的是，由于即使存在视频播放层，但是并不能确定视频播放层是否存在播放器渲染的视频帧。如图6所示，当前界面既存在其他应用程序的控件，又有非全屏的视频播放窗口，但是该非全屏的播放窗口可能正在播放也可能没有内容。也就是说，即使存在视频播放窗口层，该窗口层可能存在图像也可能没有内容。由此本发明并非通过判断是否存在视频播放窗口层来决定是否去获取视频播放窗口层的图像，而是通过获取视频播放器的播放状态信息，判断视频播放器是否处于正常播放状态，在视频播放器处于正常播放状态时才获取视频播放窗口层的图像，否则直接将用户界面窗口层的图像作为截屏图像。

在步骤370中，当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像。

需要说明的是，视频播放窗口层和用户界面窗口层获取的图像是尺寸相同的两张图片。叠加是指将两张同样尺寸的图片中的对应像素点进行压合。例如将两张图片对应像素点的rgba值进行相加，得到截屏图像。截屏图像可以认为是当前界面正在显示的画面内容。

具体的，终端设备可以通过获取视频播放器状态信息(处于播放状态或不处于播放状态)，判断视频播放器是否处于正常播放状态。在视频播放器处于正常播放状态时，获取视频播放窗口层的图像。当根据窗口信息得到存在用户界面窗口层时，获取用户界面窗口层的图像。当不存在用户界面窗口层时，不再去获取用户界面窗口层的图像，当视频播放器不处于播放状态时，不再获取视频播放窗口层的图像。在视频播放器处于正常播放状态且同时存在用户界面窗口层时，才将用户界面窗口层获取的图像和视频播放窗口层获取的图像进行叠加，得到截屏图像。

现有技术不管视频窗口层和用户界面窗口层是否存在图像，都需尝试去获取图像，由此会占用不必要的系统资源并且降低了截屏的效率，本发明上述示例性实施例提供的技术方案，通过判断是否存在用户界面窗口层以及视频播放器的播放状态，当视频播放器处于正常状态且同时存在用户界面窗口层时，才获取视频播放窗口层的图像和用户界面窗口层的图像进行叠加，得到截屏图像。即当不存在用户界面窗口层或视频播放器不处于播放状态时，可以不进行对应窗口层的图像获取操作，由此减少占用的系统资源，提高截屏效率。

在一种示例性实施例中，如图7所示，在上述步骤370之前，本发明提供的方法还包括以下步骤：

在步骤361中，获取视频播放器的状态信息；

其中，视频播放器的状态信息包括true(表示处于正常播放状态)和false(表示不处于播放状态)。视频播放器的状态信息用于指示当前界面是否正在播放内容。

在步骤362中，根据所述视频播放器的状态信息，判断所述视频播放器是否处于正常播放状态；

终端设备根据视频播放器器的状态信息，判断视频播放器是否处于正常播放状态，如果状态信息是ture，表示当前界面正在播放内容，处于正常播放状态；如果播放状态时false，表示当前界面没有在播放内容。

在步骤363中，当判断得到所述视频播放器处于正常播放状态时，获取所述视频播放器所对应视频播放窗口层的图像。

具体的，如果视频播放器的状态信息是ture，终端设备判断得到视频播放器处于正常播放状态，获取视频播放器在视频播放窗口层渲染的图像。相反的，如果视频播放器的状态信息是false，终端设备判断得到视频播放器不处于播放状态，则不执行视频播放窗口层的图像获取操作。

如果8所示，在视频播放过程中，出现消息提示框，此时视频播放器的状态信息是true，且同时存在用户界面窗口层，终端设备进行混合截图，即获取视频播放窗口层的图像和用户界面窗口层的图像，然后将两张图像进行叠加。

在一种示例性实施例中，在上述步骤370之前，本发明提供的方法还包括以下步骤：

当判断获知当前界面存在用户界面窗口层时，获取所述用户界面窗口层的图像。

具体的，终端设备根据获取的窗口信息，判断出当前界面不存在用户界面窗口层时，则不再执行用户界面窗口层的图像获取操作。当窗口信息指示存在用户界面窗口层是，才执行用户界面窗口层的图像获取操作。

在一种示例性实施例中，在上述步骤350之后，本发明提供的方法还可以包括以下步骤：

若获知视频播放器处于正常播放状态但不存在所述用户界面窗口层，则仅获取所述视频播放器所对应视频播放窗口层的图像。

也就是说，终端设备根据视频播放器的状态信息获知视频播放器处于正常播放状态，但是根据窗口信息获知当前界面不存在用户界面窗口层时，则获取视频播放器在视频播放窗口层渲染的图像，而不执行用户界面窗口层的图像获取操作。

在一种示例性实施例中，在上述步骤350之后，本发明提供的方法还可以包括以下步骤：

当获知视频播放器不处于播放状态但存在所述用户界面窗口层时，则仅获取所述用户界面窗口层的图像。

也就是说，终端设备根据视频播放器的状态信息获知视频播放器不处于播放状态，但是根据窗口信息获知当前界面存在用户界面窗口层，则执行用户界面窗口层的图像获取操作，不执行视频播放窗口层的图像获取操作。如图9所示，此时没有播放视频，视频播放器的状态信息为false，但存在用户界面窗口层，终端设备执行用户界面窗口层的图像获取操作，但不执行视频播放窗口层的图像获取操作。

在一种示例性实施例中，本发明提供的截屏处理方法还包括以下步骤：

对所述截屏图像进行目标识别并展示对所述目标的搜索结果。

具体的，终端设备可以采用现有的图像分析算法对截屏图像进行分析，识别出截屏图像中的人物、物品等目标，进而根据该人物或物品的图像进行搜索，展示人物或物品的搜索结果。

图10是本发明一示例性实施例示出的截屏处理方法的完整流程图。如图10所示，在步骤1001中，终端设备接收截屏指令；

在步骤1002中，终端设备判断当前界面是否有用户界面窗口层(即ui层)；

在步骤1003中，当存在ui层时，获取ui层的图片；

在步骤1003’中，当不存在ui层时，获取视频播放器的状态信息；

在步骤1004中，判断视频播放器的状态信息是否为“true”。

在步骤1005中，当视频播放器的状态信息是“true”时，获取视频播放窗口层的图片；

在步骤1006中，将视频播放窗口层获取的图片和ui层获取的图片叠加成一张图片，用于搜索与该图片相关的信息(即以图搜图)。

在步骤1005’中，当视频播放器的状态信息不是“true”时，将ui层获取的图片用于以图搜图。

在一种示例性实施例中，上述步骤370具体包括：

当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，若所述用户界面窗口层的图像有透明度通道，则将所述视频播放窗口层获取的图像和所述应用程序窗口获取的图像进行对应像素点像素值的相加，得到所述截屏图像。

其中，透明度通道是指除了rgb(红绿蓝)颜色通道外还具有透明度(alpha)信息。具体的，当终端设备判断出视频播放器处于正常播放状态时，获取视频播放窗口层的图像，当终端设备判断出存在用户界面窗口层时，获取用户界面窗口层的图像。如果用户界面窗口层获取的图像具有透明度通道，则将视频播放窗口层所获取图像各像素点的像素值与用户界面窗口层所获取图像各像素点的rgba像素值进行相加，得到截屏图像各像素点的像素值。

在一种示例性实施例中，上述步骤370具体包括：

当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，若所述用户界面窗口层的图像无透明度通道，则将所述用户界面窗口层获取的图像作为所述视频播放窗口层所获取图像和用户界面窗口层所获取图像相叠加得到的截屏图像。

其中，无透明度通道是指用户界面窗口层获取的图像是不透明的。换句话说，会对视频播放窗口层的图像造成遮挡。由此，视频播放窗口层所获取图像与用户界面窗口层所获取图像的叠加，可以直接将应用程序窗口所获取图像的像素值作为叠加图像的像素值，即将用户界面窗口层获取的图像作为视频播放窗口层所获取图像和用户界面窗口层所获取图像相叠加得到的截屏图像。

下述为本发明装置实施例，可以用于执行本发明上述智能显示设备110执行的截屏处理方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明截屏处理方法实施例。

图11是根据一示例性实施例示出的一种截屏处理装置的框图，该截屏处理装置可以用于图1所示实施环境的智能显示设备110中，执行图3、图7、图10任一所示的截屏处理方法的全部或者部分步骤。如图11所示，该装置包括但不限于：指令接收模块1110、信息获取模块1130、窗口判断模块1150以及图像叠加模块1170。

指令接收模块1110，用于接收截屏指令，所述截屏指令用于指示终端设备截取当前界面的显示画面；

信息获取模块1130，用于响应所述截屏指令，获取当前界面的窗口信息；

窗口判断模块1150，用于根据所述窗口信息，判断当前界面是否存在用户界面窗口层；

图像叠加模块1170，用于当获知视频播放器处于正常播放状态且同时存在所述用户界面窗口层时，将视频播放窗口层所获取图像和所述用户界面窗口层所获取图像进行叠加，得到截屏图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述截屏处理方法中对应步骤的实现过程，在此不再赘述。

指令接收模块1110比如可以是图2中的某一个物理结构通信组件216。

信息获取模块1130、窗口判断模块1150以及图像叠加模块1170也可以是功能模块，用于执行上述截屏处理方法中的对应步骤。可以理解，这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时，这些模块可以实施为一个或多个硬件模块，例如一个或多个专用集成电路。当以软件方式实现时，这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序，例如图2的处理器218所执行的存储在存储器204中的程序。

可选的，本发明还提供一种电子设备，该电子设备可以用于图1所示实施环境的智能显示设备110中，执行图3、图7、图10任一所示的截屏处理方法的全部或者部分步骤。所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述示例性实施例所述的截屏处理方法。

该实施例中电子设备的处理器执行操作的具体方式已经在有关该截屏处理方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序，所述计算机程序可由装置200的处理器218执行以完成上述截屏处理方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。