图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及图像处理领域，尤其涉及图像处理方法、装置、电子设备及存储介质。


背景技术：

2.目前，通常采用的h264/265的编解码方式，或者是私有的编解码算法对云桌面进行编解码。h264/265编解码方式虽然在码流、帧率等方面比较有优势，但是针对办公场景，清晰度不够，用户体验较差。而私有编解码算法，通常能保证办公场景下的高清显示，但是针对游戏视频场景，码流、帧率等方面却不理想，图像传输速率较慢。


技术实现要素：

3.本公开实施例提供一种图像处理方法、装置、电子设备及存储介质，以提供一种新的针对云桌面的编码方案。所述技术方案如下：
4.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
5.获取云桌面当前显示的窗口的第一标识信息；
6.根据所述第一标识信息确定与所述窗口对应的应用程序的第二标识信息；
7.根据所述第二标识信息确定所述应用程序的类型；
8.根据所述应用程序的类型确定所述云桌面的编码方式并根据所述编码方式对所述云桌面进行编码。
9.本公开实施例提供的图像处理方法，能够获取云桌面当前显示的窗口的第一标识信息；根据所述第一标识信息确定与所述窗口对应的应用程序的第二标识信息；根据所述第二标识信息确定所述应用程序的类型；根据所述应用程序的类型确定所述云桌面的编码方式并根据所述编码方式对所述云桌面进行编码，能够在云桌面上显示有不同应用程序类型的窗口时，对云桌面采用不同的编码方式，能够解决现有技术采用h264/265编解码方式虽然在码流、帧率等方面比较有优势，但是针对办公场景，清晰度不够，而私有编解码算法，通常能保证办公场景下的高清显示，但是针对游戏视频场景，码流、帧率等方面却不理想的问题，能够兼顾清晰度、帧率以及码流，提高了用户体验以及图像传输速率。
10.在一个实施例中，所述获取云桌面当前显示的窗口的第一标识信息前，所述方法还包括：
11.确定所述云桌面当前显示的窗口的数量；
12.所述获取云桌面当前显示的窗口的第一标识信息包括：
13.若所述云桌面当前显示的窗口的数量为1，则获取所述窗口的顶点坐标；
14.根据所述顶点坐标确定所述窗口的显示面积；
15.所述获取云桌面当前显示的窗口的第一标识信息包括：
16.根据所述显示面积获取云桌面当前显示的窗口的第一标识信息。
17.在一个实施例中，所述根据所述显示面积获取云桌面当前显示的窗口的第一标识信息包括：
18.根据所述显示面积确定所述窗口在所述云桌面上的占比；
19.若述窗口在所述云桌面上的占比大于或者等于第一预设阈值，则获取云桌面当前显示的窗口的第一标识信息。
20.在一个实施例中，所述方法还包括：
21.若所述云桌面当前显示的窗口的数量大于1，则获取屏幕分辨率以及所述云桌面当前显示的各个窗口的顶点坐标以及叠层；
22.根据各个窗口的层叠以及顶点坐标计算各个窗口在云桌面上的显示区域的面积；
23.根据各个窗口在云桌面上的显示区域的面积确定所述云桌面的编码方式。
24.在一个实施例中，所述根据各个窗口在云桌面上的显示区域的面积确定所述云桌面的编码方式包括：
25.根据各个窗口在云桌面上的显示区域的面积确定各个窗口在所述云桌面上的占比；
26.若目标窗口在所述云桌面上的占比大于或者等于第二预设阈值，则根据所述目标窗口的第一标识信息确定与所述目标窗口对应的目标应用程序的第二标识信息，所述目标窗口为所述各个窗口中的任意一个窗口；
27.根据所述目标应用程序的第二标识信息确定所述目标应用程序的类型；
28.根据所述目标应用程序的类型确定所述云桌面的编码方式。
29.在一个实施例中，所述根据所述应用程序的类型确定所述云桌面的编码方式包括：
30.若所述应用程序的类型为视频游戏类应用，则确定所述云桌面的编码方式为与所述视频游戏类应用对应的第一编码方式；
31.若所述应用程序的类型为办公类应用，则确定所述云桌面的编码方式为与所述办公类应用对应的第二编码方式。
32.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
33.第一标识信息获取模块，用于获取云桌面当前显示的窗口的第一标识信息；
34.第二标识信息确定模块，用于根据所述第一标识信息确定与所述窗口对应的应用程序的第二标识信息；
35.应用程序类型确定模块，用于根据所述第二标识信息确定所述应用程序的类型；
36.编码方式确定模块，用于根据所述应用程序的类型确定所述云桌面的编码方式并根据所述编码方式对所述云桌面进行编码。
37.在一个实施例中，所述装置还包括：窗口显示面积确定模块，用于：
38.确定所述云桌面当前显示的窗口的数量；
39.所述获取云桌面当前显示的窗口的第一标识信息包括：
40.若所述云桌面当前显示的窗口的数量为1，则获取所述窗口的顶点坐标；
41.根据所述顶点坐标确定所述窗口的显示面积；
42.所述第一标识信息获取模块用于：
43.根据所述显示面积获取云桌面当前显示的窗口的第一标识信息。
44.在一个实施例中，所述第一标识信息获取模块用于：
45.根据所述显示面积确定所述窗口在所述云桌面上的占比；
46.若述窗口在所述云桌面上的占比大于或者等于第一预设阈值，则获取云桌面当前显示的窗口的第一标识信息。
47.在一个实施例中，所述编码方式确定模块还用于：
48.若所述云桌面当前显示的窗口的数量大于1，则获取屏幕分辨率以及所述云桌面当前显示的各个窗口的顶点坐标以及叠层；
49.根据各个窗口的层叠以及顶点坐标计算各个窗口在云桌面上的显示区域的面积；
50.根据各个窗口在云桌面上的显示区域的面积确定所述云桌面的编码方式。
51.在一个实施例中，所述编码方式确定模块用于：
52.根据各个窗口在云桌面上的显示区域的面积确定各个窗口在所述云桌面上的占比；
53.若目标窗口在所述云桌面上的占比大于或者等于第二预设阈值，则根据所述目标窗口的第一标识信息确定与所述目标窗口对应的目标应用程序的第二标识信息，所述目标窗口为所述各个窗口中的任意一个窗口；
54.根据所述目标应用程序的第二标识信息确定所述目标应用程序的类型；
55.根据所述目标应用程序的类型确定所述云桌面的编码方式。
56.在一个实施例中，所述根所述编码方式确定模块：
57.若所述应用程序的类型为视频游戏类应用，则确定所述云桌面的编码方式为与所述视频游戏类应用对应的第一编码方式；
58.若所述应用程序的类型为办公类应用，则确定所述云桌面的编码方式为与所述办公类应用对应的第二编码方式。
59.根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。
60.根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。
61.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
62.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
63.图1是本公开实施例提供的一种图像处理方法的流程图；
64.图2是本公开实施例提供的一种屏幕显示窗口的示意图一；
65.图3是本公开实施例提供的一种屏幕显示窗口的示意图二；
66.图4是本公开实施例提供的一种图像处理装置的结构图一；
67.图5是本公开实施例提供的一种图像处理装置的结构图二；
68.图6是本公开实施例提供的一种电子设备的结构图。
具体实施方式
69.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
70.图1是本公开实施例提供一种图像处理方法的流程图。如图1所示，该方法包括：
71.s101、获取云桌面当前显示的窗口的第一标识信息。
72.示例性地，所述获取云桌面当前显示的窗口的第一标识信息前，所述方法还包括：
73.确定所述云桌面当前显示的窗口的数量；
74.所述获取云桌面当前显示的窗口的第一标识信息包括：
75.若所述云桌面当前显示的窗口的数量为1，则获取所述窗口的顶点坐标；
76.根据所述顶点坐标确定所述窗口的显示面积；
77.所述获取云桌面当前显示的窗口的第一标识信息包括：
78.根据所述显示面积获取云桌面当前显示的窗口的第一标识信息。
79.下面对如何根据所述显示面积获取云桌面当前显示的窗口的第一标识信息进行说明。
80.根据所述显示面积确定所述窗口在所述云桌面上的占比；
81.若所述窗口在所述云桌面上的占比大于或者等于第一预设阈值，则获取云桌面当前显示的窗口的第一标识信息。
82.此处结合图2进行说明。例如图2所示，屏幕分辨率为1920*1080，该窗口的顶点坐标分别(500，200)、(1900，200)、(500，900)、(1900，900)，则该窗口的名称的长度为1500，高度为900，该窗口的显示面积为1400*700。
83.则该窗口即的显示面积与在所述云桌面上的占比为1400*700/1920*1080，即为47.26％。如若第一预设阈值为30％，则可以确定窗口在所述云桌面上的占比大于第一预设阈值，进而获取该窗口的第一标识信息。
84.s102、根据所述第一标识信息确定与所述窗口对应的应用程序的第二标识信息；
85.s103、根据所述第二标识信息确定所述应用程序的类型；
86.s104、根据所述应用程序的类型确定所述云桌面的编码方式并根据所述编码方式对所述云桌面进行编码。
87.示例性地，在本实施例中，该窗口的第一标识信息可以为该窗口的名称，应用程序的第二标识信息为应用程序的名称。可以预先设置窗口名称与应用程序名称的对照表。在确定该窗口在所述云桌面上的占比大于第一预设阈值后，通过该对照表查询获得该窗口对应的应用程序的名称，再根据该应用程序的名称确定云桌面的编码方式。
88.例如，该窗口的名称为media player，确定media player窗口在所述云桌面上的占比大于第一预设阈值后，通过该对照表查询与media player窗口对应的应用程序的名称为多媒体播放器应用程序，进而确定多媒体播放器应用程序的类型为视频游戏类应用。
89.又如，该窗口的名称为word，确定word窗口在所述云桌面上的占比大于第一预设阈值后，通过该对照表查询与word窗口对应的应用程序的名称为文档应用程序，进而确定文档应用程序类型为办公类应用。
90.示例性地，所述根据所述应用程序的类型确定所述云桌面的编码方式包括：
91.若所述应用程序的类型为视频游戏类应用，则确定所述云桌面的编码方式为与所述视频游戏类应用对应的第一编码方式；
92.若所述应用程序的类型为办公类应用，则确定所述云桌面的编码方式为与所述办公类应用对应的第二编码方式。
93.在本实施例中，与视频游戏类应用对应的第一编码方式为h264/265编码方式，与所述办公类应用对应的第二编码方式为私有编码方式。
94.此处需要说明的是，若该窗口在所述云桌面上的占比小于第一预设阈值，则可以采用哈希编码、m-jpeg(motion-join photographic experts group，运动静止图像)技术等现有的对图像的编码方式对云桌面进行编码，也可以采用与办公类应用对应的第二编码方式对云桌面进行编码，本实施例此处不做具体限制。
95.在本实施例中，若所述云桌面当前显示的窗口的数量大于1，则获取屏幕分辨率以及所述云桌面当前显示的各个窗口的顶点坐标以及叠层；
96.根据各个窗口的层叠以及顶点坐标计算各个窗口在云桌面上的显示区域的面积；
97.根据各个窗口在云桌面上的显示区域的面积确定所述云桌面的编码方式。
98.下面对如何根据各个窗口在云桌面上的显示区域的面积确定所述云桌面的编码方式进行说明。
99.根据各个窗口在云桌面上的显示区域的面积确定各个窗口在所述云桌面上的占比；
100.若目标窗口在所述云桌面上的占比大于或者等于第二预设阈值，则根据所述目标窗口的第一标识信息确定与所述目标窗口对应的目标应用程序的第二标识信息，所述目标窗口为所述各个窗口中的任意一个窗口；
101.根据所述目标应用程序的第二标识信息确定所述目标应用程序的类型；
102.根据所述目标应用程序的类型确定所述云桌面的编码方式。
103.此处结合图3进行说明。例如图3所示，屏幕分辨率为1920*1080，云桌面上同时显示有media player窗口和word窗口。该media player窗口的顶点坐标分别(500，200)、(1900，200)、(500，900)、(1900，900)，层叠z＝0，则media player窗口的名称的长度为1500，高度为900，media player窗口的尺寸为1400*700。word窗口的顶点坐标分别(20，200)、(1300，200)、(20，1060)、(1300，1060)，层叠z＝1，则word窗口的名称的长度为1580，高度为860，word窗口的尺寸为1280*860，word窗口的尺寸即为word窗口在桌面上的显示区域的面积，则word窗口在所述云桌面上的占比为1280*860/1920*1080，即53.09％。
104.在本实施中，层叠是多个窗口同时显示在屏幕上时，显示窗口所处的层位置。具体的，最底层的层叠参数为0，越往上层叠参数越大。根据窗口的层叠参数z得知word窗口处于最上层。如图2所示，a点即media player窗口的左上顶点的坐标为(500，900)，b点即word窗口的右下顶点的坐标为(1300，200)，由a、b两点的坐标位置计算得到阴影区域的面积为560000。根据阴影部分面积获得media player窗口的云桌面上的显示区域的面积为1400*700-560000，即420000。则media player窗口在所述云桌面上的占比为420000/1920*1080，即为20.25％。假设第二预设阈值为30％，则可以确定word窗口在所述云桌面上的占比大于第二预设阈值，则采用与办公类应用对应的为私有编码方式对云桌面进行编码。
105.示例性地，若media player窗口在所述云桌面上的占比大于第二预设阈值，则采用与视频游戏类应用对应的h264/265编码方式对云桌面进行编码。
106.此处需要说明的是，若media player窗口在所述云桌面上的占比与word窗口在所述云桌面上的占比均大于或者等于第二预设阈值，为了提高用户对游戏视频的观感体验，采用与视频游戏类应用对应的h264/265编码方式对云桌面进行编码。
107.本公开实施例提供的图像处理方法，能够获取云桌面当前显示的窗口的第一标识信息；根据所述第一标识信息确定与所述窗口对应的应用程序的第二标识信息；根据所述第二标识信息确定所述应用程序的类型；根据所述应用程序的类型确定所述云桌面的编码方式并根据所述编码方式对所述云桌面进行编码，能够在云桌面上显示有不同应用程序类型的窗口时，对云桌面采用不同的编码方式，能够解决现有技术采用h264/265编解码方式虽然在码流、帧率等方面比较有优势，但是针对办公场景，清晰度不够，而私有编解码算法，通常能保证办公场景下的高清显示，但是针对游戏视频场景，码流、帧率等方面却不理想的问题，能够兼顾清晰度、帧率以及码流，提高了用户体验以及图像传输速率。
108.基于上述图1的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。
109.图4是本公开实施例提供的一种图像处理装置的结构图。如图4所示，该装置40包括：
110.第一标识信息获取模块401，用于获取云桌面当前显示的窗口的第一标识信息；
111.第二标识信息确定模块402，用于根据所述第一标识信息确定与所述窗口对应的应用程序的第二标识信息；
112.应用程序类型确定模块403，用于根据所述第二标识信息确定所述应用程序的类型；
113.编码方式确定模块404，用于根据所述应用程序的类型确定所述云桌面的编码方式并根据所述编码方式对所述云桌面进行编码。
114.在一个实施例中，如图5所示，所述装置40还包括：窗口显示面积确定模块405，用于：
115.确定所述云桌面当前显示的窗口的数量；
116.所述获取云桌面当前显示的窗口的第一标识信息包括：
117.若所述云桌面当前显示的窗口的数量为1，则获取所述窗口的顶点坐标；
118.根据所述顶点坐标确定所述窗口的显示面积；
119.所述第一标识信息获取模块401用于：
120.根据所述显示面积获取云桌面当前显示的窗口的第一标识信息。
121.在一个实施例中，所述第一标识信息获取模块401用于：
122.根据所述显示面积确定所述窗口在所述云桌面上的占比；
123.若述窗口在所述云桌面上的占比大于或者等于第一预设阈值，则获取云桌面当前显示的窗口的第一标识信息。
124.在一个实施例中，所述编码方式确定模块404还用于：
125.若所述云桌面当前显示的窗口的数量大于1，则获取屏幕分辨率以及所述云桌面当前显示的各个窗口的顶点坐标以及叠层；
126.根据各个窗口的层叠以及顶点坐标计算各个窗口在云桌面上的显示区域的面积；
127.根据各个窗口在云桌面上的显示区域的面积确定所述云桌面的编码方式。
128.在一个实施例中，所述编码方式确定模块404用于：
129.根据各个窗口在云桌面上的显示区域的面积确定各个窗口在所述云桌面上的占比；
130.若目标窗口在所述云桌面上的占比大于或者等于第二预设阈值，则根据所述目标窗口的第一标识信息确定与所述目标窗口对应的目标应用程序的第二标识信息，所述目标窗口为所述各个窗口中的任意一个窗口；
131.根据所述目标应用程序的第二标识信息确定所述目标应用程序的类型；
132.根据所述目标应用程序的类型确定所述云桌面的编码方式。
133.在一个实施例中，所述根所述编码方式确定模块404用于：
134.若所述应用程序的类型为视频游戏类应用，则确定所述云桌面的编码方式为与所述视频游戏类应用对应的第一编码方式；
135.若所述应用程序的类型为办公类应用，则确定所述云桌面的编码方式为与所述办公类应用对应的第二编码方式。
136.本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图1实施例，在此不再赘述。
137.图6为本公开实施例提供的电子设备的硬件结构示意图，如图6所示，该电子设备60包括：
138.处理器601和存储器602，所述存储器602中存储有至少一条计算机指令，所述指令由所述处理器601加载并执行以实现上述方法实施例中所描述的图像处理方法。
139.基于上述图1至图3对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：read only memory，rom)、随机存取存储器(英文：random access memory，ram)、cd-rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1至图3对应的实施例中所描述的图像处理方法，此处不再赘述。
140.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
141.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。