图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及图像处理领域，尤其涉及图像处理方法、装置、电子设备及存储介质。


背景技术：

2.在图像传输时，通常由发送端设备对图像进行采集、编码，并将编码后的码流传输至接收端设备。接收端设备接收发送端设备发送的码流后进行解码并显示。即图像的采集、编码以及发送由发送端设备负责完成；图像的接收、解码及显示由接收端设备负责完成。
3.随着电子科技的发展，图像显示的画质越来越高，而接收端设备对图像进行高画质显示时需要占用高带宽，并且发送端设备和接收端设备要消耗大量的本地硬件资源进行数据处理。


技术实现要素：

4.本公开实施例提供一种图像处理方法、装置、电子设备及存储介质，能够解决现有技术占用高带宽，并且发送端设备和接收端设备要消耗大量的本地硬件资源进行数据处理的问题。所述技术方案如下：
5.根据本公开实施例的第一方面，提供一种图像处理方法，应用于接收端设备，包括：
6.执行预设步骤，所述预设步骤包括：
7.获取用户图像；
8.根据所述用户图像判断用户是否观看所述接收端设备的屏幕；
9.执行所述预设步骤后，若确定用户没有观看所述接收端设备的屏幕，则向发送端设备发送第一指示消息，以便所述发送端设备根据所述第一指示消息采用第一编码方式对视频图像并进行编码并生成第一编码图像；
10.接收所述发送端设备发送的所述第一编码图像；
11.对所述第一编码图像进行解码，生成第一解码图像。
12.本公开实施例提供的图像处理方法，执行预设步骤，预设步骤包括：获取用户图像；根据用户图像判断用户是否观看接收端设备的屏幕；执行预设步骤后，若确定用户没有观看接收端设备的屏幕，则向发送端设备发送第一指示消息，以便发送端设备根据第一指示消息采用第一编码方式对视频图像并进行编码并生成第一编码图像；接收发送端设备发送的第一编码图像；对第一编码图像进行解码，生成第一解码图像使得发送端设备在接收到第一指示消息后，采用有损编码的第一编码方式对图像有损编码，生成低画质的第一编码图像，有效的控制了码流的大小，减少了发送端设备的资源耗用，并且有效地降低了占用带宽，接收端设备再对码流较小的第一编码图像进行解码，能够减少接收设备的资源耗用。
13.在一个实施例中，所述方法还包括：
14.若确定用户观看所述接收端设备的屏幕，则向所述发送端设备发送第二指示消息，以便所述发送端设备根据所述第二指示消息采用第二编码方式对所述视频图像进行编
码并生成第二编码图像；
15.接收所述发送端设备发送的所述第二编码图像；
16.对所述第二编码图像进行解码，生成第二解码图像，所述第二解码图像的画质高于所述第一解码图像。
17.通过在确定用户观看接收端设备的屏幕时，向发送端设备发送第二指示消息，发送端设备在接收到第二指示消息后，采用无损编码的第二编码方式对采集到的图像进行编码，生成高画质第二编码图像，进而接收端设备对高画质第二编码图像进行解码，生成第二解码图像，提高了用户的观感体验。
18.在一个实施例中，所述向发送端设备发送第二指示消息后，所述方法还包括：
19.在第一预设时长后，再次执行所述预设步骤。
20.通过在向发送端设备发送第二指示消息后，经过第一预设时长再次执行预设步骤，能够及时获知用户是否观看接收端设备的屏幕。
21.在一个实施例中，所述向所述发送端设备发送第一指示消息后，所述方法还包括：
22.在第二预设时长后，再次执行所述预设步骤，所述第二预设时长小于所述第一预设时长。
23.通过加快用户图像的获取频率，使得在观看接收端设备的屏幕时，能够快速切换回高画质图像的输出模式，提高用户体验。
24.在一个实施例中，所述方法还包括：
25.连续n次向所述发送端设备发送第一指示消息后，向所述发送端设备发送第三指示消息，所述第三指示消息用于指示所述发送端设备进入休眠模式，n为大于1的整数；
26.向所述发送端设备发送第三指示消息后，进入休眠模式。
27.通过在连续n次向所述发送端设备发送第一指示消息后，向所述发送端设备发送第三指示消息并向所述发送端设备发送第三指示消息后，进入休眠模式，能够避免用户长时间不观看接收端设备的屏幕时，持续传输图像造成的资源浪费，有效的节约了资源。
28.在一个实施例中，所述根据所述用户图像确定用户观看所述接收端设备的屏幕包括：
29.从所述用户图像中提取用户的人脸特征数据；
30.若所述用户的人脸特征数据与目标合法用户的人脸特征数据的差值小于或者等于预设阈值，则确定用户观看所述接收端设备的屏幕，所述目标合法用户为任意一个合法用户。
31.根据本公开实施例的第二方面，提供一种图像处理装置，应用于接收端设备，包括：
32.预设步骤执行模块，用于执行预设步骤，所述预设步骤包括：
33.获取用户图像；
34.根据所述用户图像判断用户是否观看所述接收端设备的屏幕；
35.第一指示消息发送模块，用于执行所述预设步骤后，若确定用户没有观看所述接收端设备的屏幕，则向发送端设备发送第一指示消息，以便所述发送端设备根据所述第一指示消息采用第一编码方式对视频图像并进行编码并生成第一编码图像；
36.第一编码图像接收模块，用于接收所述发送端设备发送的所述第一编码图像；
37.第一解码图像生成模块，用于对所述第一编码图像进行解码，生成第一解码图像。
38.在一个实施例中，所述装置还包括：
39.第二指示消息发送模块，用于若确定用户观看所述接收端设备的屏幕，则向所述发送端设备发送第二指示消息，以便所述发送端设备根据所述第二指示消息采用第二编码方式对所述视频图像进行编码并生成第二编码图像；
40.第二编码图像接收模块，用于接收所述发送端设备发送的所述第二编码图像；
41.第二解码图像生成模块，用于对所述第二编码图像进行解码，生成第二解码图像，所述第二解码图像的画质高于所述第一解码图像。
42.在一个实施例中，所述向发送端设备发送第二指示消息后，所述预设步骤执行模块还用于：
43.在第一预设时长后，再次执行所述预设步骤。
44.在一个实施例中，所述向所述发送端设备发送第一指示消息后，所述预设步骤执行模块还用于：
45.在第二预设时长后，再次执行所述预设步骤，所述第二预设时长小于所述第一预设时长。
46.在一个实施例中，所述装置还包括：
47.第三指示消息发送模块，用于连续n次向所述发送端设备发送第一指示消息后，向所述发送端设备发送第三指示消息，所述第三指示消息用于指示所述发送端设备进入休眠模式，n为大于1的整数；
48.休眠模块，用于向所述发送端设备发送第三指示消息后，进入休眠模式。
49.在一个实施例中，所述预设步骤执行模块用于：
50.从所述用户图像中提取用户的人脸特征数据；
51.若所述用户的人脸特征数据与目标合法用户的人脸特征数据的差值小于或者等于预设阈值，则确定用户观看所述接收端设备的屏幕，所述目标合法用户为任意一个合法用户。
52.根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。
53.根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述指令由处理器加载并执行以实现第一方面中任一项所述的图像处理方法中所执行的步骤。
54.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
55.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
56.图1是本公开实施例提供的一种图像处理方法的流程图；
57.图2是本公开实施例提供的一种图像处理装置的结构图一；
58.图3是本公开实施例提供的一种图像处理装置的结构图二；
59.图4是本公开实施例提供的一种电子设备的结构图。
具体实施方式
60.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
61.图1是本公开实施例提供的一种图像处理方法的流程图，该方法经由与图像接收端设备。如图1所示，该方法包括：
62.s101、获取用户图像。
63.示例性地，可以在接收端设备上增加摄像模组，通过摄像模组获取接收端设备的屏幕前的用户图像。
64.s102、根据用户图像判断用户是否观看接收端设备的屏幕。
65.在本实施中，根据用户图像确定用户观看接收端设备的屏幕包括：
66.从用户图像中提取用户的人脸特征数据；
67.若用户的人脸特征数据与目标合法用户的人脸特征数据的差值小于或者等于预设阈值，则确定用户观看所述接收端设备的屏幕，目标合法用户为任意一个合法用户。
68.示例性地，可以采用人工智能算法从用户图像中提取用户的人脸特征数据，再将提取到的用户的人脸特征数据与目标合法用户的人脸特征数据做差值运算，若差值小于或者等于预设阈值，则确定用户观看接收端设备的屏幕，接收端设备存储有至少一个合法用户的人脸特征数据，目标合法用户为任意一个合法用户。
69.s103、若确定用户没有观看接收端设备的屏幕，则向发送端设备发送第一指示消息，以便发送端设备根据第一指示消息采用第一编码方式对视频图像并进行编码并生成第一编码图像。
70.示例性地，若确定用户没有观看接收端设备的屏幕，则向发送端设备发送第一指示消息。发送端设备在接收到第一指示消息后，低帧率采集图像并采用第一编码方式对采集到的图像进行编码，生成低画质的第一编码图像。即用户没有观看接收端设备的屏幕时，输出低画质图像。在本实施例中，第一编码方式为有损编码，通过低帧率采集图像并对图像有损编码，控制了码流的大小，减少了发送端设备的资源耗用。
71.s104、接收发送端设备发送的第一编码图像；
72.s105、对第一编码图像进行解码，生成第一解码图像。
73.示例性地，接收采用有损编码的第一编码方式生成的第一编码图像并对第一编码图像进行解码，生成第一解码图像，再显示第一编码图像。
74.由于第一编码图像是发送端设备低帧率采集图像并对图像有损编码后生成的，因此，接收发送端设备发送的第一编码图像过程中码流较小，占用带宽小，并且接收端设备对码流较小的第一编码图像进行解码，生成第一解码图像以及显示第一解码图像，能够减少接收设备的资源耗用。
75.在一个实施例中，所述方法还包括：
76.若确定用户观看所述接收端设备的屏幕，则向所述发送端设备发送第二指示消息，以便发送端设备根据第二指示消息采用第二编码方式对视频图像进行编码并生成第二编码图像；
77.接收发送端设备发送的第二编码图像；
78.对第二编码图像进行解码，生成第二解码图像，第二解码图像的画质高于第一解码图像。
79.示例性地，若确定用户观看接收端设备的屏幕，则向发送端设备发送第二指示消息。发送端设备在接收到第二指示消息后，高帧率采集图像并采用第二编码方式对采集到的图像进行编码，生成第二编码图像。在本实施例中，第二编码方式为无损编码，发送端设备通过高帧率采集图像并对图像无损编码，生成高画质的第二编码图像，并将第二编码图像发送至接收端设备。即用户观看接收端设备的屏幕时，输出高画质图像。接收端设备对第二编码图像进行解码，生成第二解码图像，使得第二解码图像的画质高于第一解码图像，提高了用户的观感体验。
80.在一个实施例中，所述向发送端设备发送第二指示消息后，所述方法还包括：
81.在第一预设时长后，再次执行所述预设步骤。
82.示例性地，若确定用户观看接收端设备的屏幕，则向发送端设备发送第二指示消息后，经过第一预设时长，再次执行s101和s102，进而确定用户观看接收端设备的屏幕时，执行s103至s105。并在向发送端设备发送第二指示消息后，经过第一预设时长，再次执行s101和s102，若确定用户观看接收端设备的屏幕，每隔第一预设时长执行s101和s102。例如，第一预设时长为10s，即用户观看接收端设备的屏幕，输出高画质图像时，每隔10s执行s101和s102。此处需要说明的是，本实施例只是示例性地给出了第一预设时长的取值，第一预设时长还可以为其他的值，本实施例此处不做具体限制。
83.在一个实施例中，所述向所述发送端设备发送第一指示消息后，所述方法还包括：
84.在第二预设时长后，再次执行所述预设步骤，第二预设时长小于第一预设时长。
85.示例性地，若确定用户没有观看接收端设备的屏幕，则向发送端设备发送第二指示消息后，经过第二预设时长，再次执行s101和s102，进而确定用户没有观看接收端设备的屏幕时，执行s103至s105。并在向发送端设备发送第一指示消息后，经过第二预设时长，再次执行s101和s102。若确定用户没有观看接收端设备的屏幕，每隔第二预设时长执行s101和s102。例如，第二预设时长为1s，即用户没有观看接收端设备的屏幕，输出低画质图像时，每隔1s执行s101和s102。此处需要说明的是，本实施例只是示例性地给出了第二预设时长的取值，第二预设时长还可以为其他的值，本实施例此处不做具体限制。
86.通过加快用户图像的获取频率，使得在观看接收端设备的屏幕时，能够快速切换回高画质图像的输出模式，提高了用户体验。
87.在一个实施例中，所述方法还包括：
88.连续n次向所述发送端设备发送第一指示消息后，向所述发送端设备发送第三指示消息，所述第三指示消息用于指示所述发送端设备进入休眠模式，n为大于1的整数；
89.向所述发送端设备发送第三指示消息后，进入休眠模式。
90.在本实施例中，为了避免用户长时间不观看接收端设备的屏幕时持续传输图像造成的资源浪费，可以将发送端设备由输出低画质图像切换为休眠模式，并将接收端由接收
低画质图像切换为休眠模式，即图像的采集、编码、传输、解码、显示都停止工作，进一步降低资源消耗。
91.例如，在本实施例中，n为60，连续60次向发送端设备发送第一指示消息，即用户连续10分钟不观看接收端设备的屏幕时，向发送端设备发送第三指示消息，发送端设备接收到该第三指示消息后进入休眠模式。向发送端设备发送第三指示消息后，接收端设备也进入休眠模式。此处需要说明的是，本实施例只是示例性地给出了n的取值，n还可以为其他的值，本实施例此处不做具体限制。
92.本公开实施例提供的图像处理方法，执行预设步骤，预设步骤包括：获取用户图像；根据用户图像判断用户是否观看接收端设备的屏幕；执行预设步骤后，若确定用户没有观看接收端设备的屏幕，则向发送端设备发送第一指示消息，以便发送端设备根据第一指示消息采用第一编码方式对视频图像并进行编码并生成第一编码图像；接收发送端设备发送的第一编码图像；对第一编码图像进行解码，生成第一解码图像使得发送端设备在接收到第一指示消息后，采用有损编码的第一编码方式对图像有损编码，生成低画质的第一编码图像，有效的控制了码流的大小，减少了发送端设备的资源耗用，并且有效地降低了占用带宽，接收端设备再对码流较小的第一编码图像进行解码，能够减少接收设备的资源耗用。
93.基于上述对应的实施例中所描述的图像处理方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。
94.图2是本公开实施例提供的一种图像处理装置的结构图。如图2所示，该装置20包括：
95.预设步骤执行模块201，用于执行预设步骤，所述预设步骤包括：
96.获取用户图像；
97.根据所述用户图像判断用户是否观看所述接收端设备的屏幕；
98.第一指示消息发送模块202，用于执行所述预设步骤后，若确定用户没有观看所述接收端设备的屏幕，则向发送端设备发送第一指示消息，以便所述发送端设备根据所述第一指示消息采用第一编码方式对视频图像并进行编码并生成第一编码图像；
99.第一编码图像接收模块203，用于接收所述发送端设备发送的所述第一编码图像；
100.第一解码图像生成模块204，用于对所述第一编码图像进行解码，生成第一解码图像。
101.在一个实施例中，如图3所示，所述装置20还包括：
102.第二指示消息发送模块205，用于若确定用户观看所述接收端设备的屏幕，则向所述发送端设备发送第二指示消息，以便所述发送端设备根据所述第二指示消息采用第二编码方式对所述视频图像进行编码并生成第二编码图像；
103.第二编码图像接收模块206，用于接收所述发送端设备发送的所述第二编码图像；
104.第二解码图像生成模块207，用于对所述第二编码图像进行解码，生成第二解码图像，所述第二解码图像的画质高于所述第一解码图像。
105.在一个实施例中，所述向发送端设备发送第二指示消息后，所述预设步骤执行模块201还用于：
106.在第一预设时长后，再次执行所述预设步骤。
107.在一个实施例中，所述向所述发送端设备发送第一指示消息后，所述预设步骤执
行模块201还用于：
108.在第二预设时长后，再次执行所述预设步骤，所述第二预设时长小于所述第一预设时长。
109.在一个实施例中，所述装置20还包括：
110.第三指示消息发送模块208，用于连续n次向所述发送端设备发送第一指示消息后，向所述发送端设备发送第三指示消息，所述第三指示消息用于指示所述发送端设备进入休眠模式，n为大于1的整数；
111.休眠模块，用于向所述发送端设备发送第三指示消息后，进入休眠模式。
112.在一个实施例中，所述预设步骤执行模块201用于：
113.从所述用户图像中提取用户的人脸特征数据；
114.若所述用户的人脸特征数据与目标合法用户的人脸特征数据的差值小于或者等于预设阈值，则确定用户观看所述接收端设备的屏幕，所述目标合法用户为任意一个合法用户。
115.本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图1实施例，在此不再赘述。
116.图4为本公开实施例提供的电子设备的硬件结构示意图，如图4所示，该电子设备40包括：
117.处理器401和存储器402，所述存储器402中存储有至少一条计算机指令，所述指令由所述处理器401加载并执行以实现上述方法实施例中所描述的图像处理方法。
118.基于上述图1对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：read only memory，rom)、随机存取存储器(英文：random access memory，ram)、cd
‑
rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的图像处理方法，此处不再赘述。
119.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
120.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。