图像处理方法及装置与流程

本公开涉及图像处理领域，尤其涉及图像处理方法及装置。

背景技术：

图像是一种很重要的信息源，相对于文字而言，能够承载更多的信息。其中，随着各种电子设备的广泛应用，电子图像的数量和质量也日益提升，比如视频监控、拍照摄影等等。因此，针对电子图像的处理也逐渐受到了热切的关注。

现有技术中，编码端可以按照默认的方式，对采集到的图像进行编码，包括无损编码和有损编码，从而得到该图像的编码数据。相应的，解码端可以对该编码数据进行解码，还原得到该图像。

但在现有技术中，如果采用无损编码对该图像进行编码，会导致编码数据的数据量大，在传输时会占用大量带宽，而如果采用有损编码方式对该图像进行编码，则会损失很多细节，降低图像质量。

技术实现要素：

本公开实施例提供一种图像处理方法及装置，能够在保持图像清晰度的基础上降低数据量。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，应用于编码端，该方法包括：

获取待处理图像；

若检测到待处理图像中包括关键对象，则将所述关键对象所在的区域确定为关键区域，将所述待处理图像中剩余的区域确定为非关键区域；

对所述关键区域进行无损编码，得到无损编码数据，并对所述非关键区域进行有损编码，得到有损编码数据。

可选地，在所述若检测到待处理图像中包括关键对象，则将所述关键对象所在的区域确定为关键区域，将所述待处理图像中剩余的区域确定为非关键区域之前，还包括：

确定当前场景模式；

从所述待处理图像中检测与所述当前场景模式对应的至少一个关键对象。

可选地，所述确定当前场景模式，包括：

接收指定的场景模式；

将所述指定的场景模式确定为所述当前场景模式。

可选地，若所述当前场景模式为室内场景或远程身份识别，则所述关键对象包括人脸；或，

若所述当前场景模式包括停车场场景或交通监控场景，则所述关键对象包括人脸、整车和车牌中的至少一种。

可选地，当所述关键对象包括人脸时，所述将所述关键对象所在的区域确定为关键区域，将所述待处理图像中剩余的区域确定为非关键区域，包括：

获取所述待处理图像中各像素的色彩空间ycbcr值；

获取所述待处理图像中亮度y大于亮度阈值的目标像素；

将蓝色浓度偏移量cb处于第一预设浓度偏移量范围，且红色浓度偏移量cr处于第二预设浓度偏移量范围的所述目标像素所构成的区域，确定为所述关键区域，将所述待处理图像中剩余的区域确定为所述非关键区域。

可选地，在所述获取所述待处理图像中各像素的色彩空间ycbcr值之前，还包括：

将所述待处理图像与预设背景图像进行比较，得到所述待处理图像中与所述预设背景图像存在差异的差异区域；

所述获取所述待处理图像中各像素的色彩空间ycbcr值，包括：

获取所述差异区域中各像素的ycbcr值。

可选地，当所述关键对象包括整车时，所述将所述关键对象所在的区域确定为关键区域，将所述待处理图像中剩余的区域确定为非关键区域，包括：

将所述待处理图像输入至预设卷积神经网络模型；

通过所述预设卷积神经网络模型对所述待处理图像进行检测，得到包括所述整车的所述关键区域；

将所述待处理图像中剩余的区域确定为所述非关键区域。

可选地，所述预设卷积神经网络模型基于多个样本图像训练得到，所述样本图像中包括车辆且携带有车辆位置信息。

可选地，还包括：

将所述无损编码数据和所述有损编码数据传输至解码端。

可选地，所述将所述无损编码数据和所述有损编码数据传输至解码端，包括：

通过第一数据包将所述无损编码数据传输至所述解码端，并通过第二数据包将所述有损编码数据传输至所述解码端；

其中，所述第一数据包和所述第二数据包携带帧标记信息，所述第一数据包还携无损标记信息，所述第二数据包还携带有损标记信息，所述帧标记信息用于指示所述第一数据包和所述第二数据包归属于同一帧图像，所述无损标记信息用于指示所述第一数据包中的数据为无损编码数据，所述有损标记信息用于指示所述第二数据包中的数据为有损编码数据。

根据本公开实施例的第二方面，提供一种图像处理方法，应用于解码端，所述方法包括：

接收编码端发送的归属于待处理图像的无损编码数据和无损编码数据；

对所述无损编码数据进行无损解码，得到关键区域，并对所述有损编码数据进行有损编码，得到非关键区域；

将所述关键区域和所述非关键区域进行拼接，得到所述待处理图像。

根据本公开实施例的第三方面，提供一种图像处理装置，应用于编码端，所述装置包括：

获取模块，用于获取待处理图像；

第一确定模块，用于若检测到待处理图像中包括关键对象，则将所述关键对象所在的区域确定为关键区域，将所述待处理图像中剩余的区域确定为非关键区域；

编码模块，对所述关键区域进行无损编码，得到无损编码数据，并对所述非关键区域进行有损编码，得到有损编码数据。

可选地，还包括：

第二确定模块，用于确定当前场景模式；

检测模块，用于从所述待处理图像中检测与所述当前场景模式对应的至少一个关键对象。

可选地，所述第二确定模块还用于：

接收指定的场景模式；

将所述指定的场景模式确定为所述当前场景模式。

可选地，若所述当前场景模式为室内场景或远程身份识别，则所述关键对象包括人脸；

若所述当前场景模式包括停车场场景或交通监控场景，则所述关键对象包括人脸、整车和车牌中的至少一种。

可选地，当所述关键对象包括人脸时，所述第一确定模块还用于：

获取所述待处理图像中各像素的色彩空间ycbcr值；

获取所述待处理图像中亮度y大于亮度阈值的目标像素；

将蓝色浓度偏移量cb处于第一预设浓度偏移量范围，且红色浓度偏移量cr处于第二预设浓度偏移量范围的所述目标像素所构成的区域，确定为所述关键区域，将所述待处理图像中剩余的区域确定为所述非关键区域。

可选地，还包括：

比较模块，用于将所述待处理图像与预设背景图像进行比较，得到所述待处理图像中与所述预设背景图像存在差异的差异区域；

所述第一确定模块还用于：

获取所述差异区域中各像素的ycbcr值。

可选地，当所述关键对象包括整车时，所述第一确定模块还用于：

将所述待处理图像输入至预设卷积神经网络模型；

通过所述预设卷积神经网络模型对所述待处理图像进行检测，得到包括所述整车的所述关键区域；

将所述待处理图像中剩余的区域确定为所述非关键区域。

可选地，所述预设卷积神经网络模型基于多个样本图像训练得到，所述样本图像中包括车辆且携带有车辆位置信息。

可选地，还包括：

传输模块，用于将所述无损编码数据和所述有损编码数据传输至解码端。

可选地，所述传输模块还用于：

通过第一数据包将所述无损编码数据传输至所述解码端，并通过第二数据包将所述有损编码数据传输至所述解码端；

其中，所述第一数据包和所述第二数据包携带帧标记信息，所述第一数据包还携无损标记信息，所述第二数据包还携带有损标记信息，所述帧标记信息用于指示所述第一数据包和所述第二数据包归属于同一帧图像，所述无损标记信息用于指示所述第一数据包中的数据为无损编码数据，所述有损标记信息用于指示所述第二数据包中的数据为有损编码数据。

根据本公开实施例的第四方面，提供一种图像处理装置，应用于解码端，所述装置包括：

接收模块，用于接收编码端发送的归属于待处理图像的无损编码数据和有损编码数据；

解码模块，用于对所述无损编码数据进行无损解码，得到关键区域，并对所述有损编码数据进行有损解码，得到非关键区域；

拼接模块，用于将所述关键区域和所述非关键区域进行拼接，得到所述待处理图像。

本公开实施例提供的图像处理方法，编码端可以获取待处理图像，并检测待处理图像中是否包括关键对象，如果是，则将关键对象所在的区域确定为关键区域，将待处理图像中的其他区域确定为非关键区域，进而对关键区域进行无损编码，以尽可能保留关键区域中的图像细节，并对非关键区域进行有损编码，以尽可能减少数据量，节省带宽。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像处理方法的流程图；

图2是本公开实施例提供的一种图像处理装置的结构示意图；

图3是本公开实施例提供的一种图像处理装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供一种图像处理方法，如图1所示，该图像处理方法包括以下步骤：

s101、编码端确定当前场景模式。

由于任何可以出现在图像中对象，都可能会成为用户所关注的关键对象，且在当具体的场景模式不同时，用户也可能会相应关注不同的关键对象。比如，在室内场景和远程身份识别场景中，用户可能更关心人面部的信息，包括五官分布或者表情等，因此，关键对象可以包括人脸；而在室外，比如停车场场景或交通监控场景中，用户可能关心车辆的整体状况、车牌以及与车辆相关的人员，因此，关键对象可以包括人脸、整车和车牌中的至少一种。所以为了根据当前场景模式，确定图像中所承载重要信息，可以确定当前场景模式。

编码端可以对图像进行编码，还可以将对图像进行编码得到的编码数据发送给解码端。相应的，解码端可以接收编码数据，并对该编码数据进行解码，还原得到该图像。

例如，在视频监控系统中，编码端可以包括摄像机，解码端可以包括计算机或服务器。

场景模式可以为本公开实施例所提供的图像处理方法的具体应用场景。

关键对象为图像中用户关注的对象，且关键对象可以与场景模式相对应。

可选地，为了便于用户及时根据具体的应用场景，调整当前场景模式，可以接收用户指定的场景模式，从而将指定的场景模式确定为当前场景模式。

当然，在实际应用中，也可以通过其他方式来确定当前场景模式，比如，在另一些实施例中，可以对图像中包括的对象进行识别，将出现频次最高的对象确定为关键对象，并将该关键对象对应的场景模式确定为当前场景模式；或者，在另一些实施例中，场景模式可以是预置的。

s102、编码端确定与当前场景模式对应的至少一个关键对象。

当确定了当前场景模式时，为了准确地确定用户所关注的对象，可以确定与当前场景模式对应的至少一个关键对象。

其中，可以基于当前场景模式，从预设的场景模式与关键对象的对应关系中，获取对应的至少一个关键对象。

例如，当前场景模式为停车场，则可以从下表1所示的场景模式与关键对象的对应关系中，获取到对应的关键对象为“人脸”、“整车”和“车牌”。

表1

需要说明的是，可以事先接收用户提交的场景模式以及各场景模式对应的至少一个关键对象，并将各场景模式以及对应的至少一个关键对象，存储至场景模式与关键对象的对应关系中。

s103、编码端获取待处理图像。

编码端可以通过调用图像传感器等组件来直接采集得到待处理图像，或者，可以接收用户提交的图像作为待处理图像，或者，可以从存储器或其他设备获取待处理图像。当然，在实际应用中，编码端也可以通过其他方式来获取待处理图像，本公开实施例对此获取待处理图像的方式不做具体限定。

需要说明的是，待处理图像可以包括独立的图像，也可以包括归属于动态图片或视频中某一帧的图像。

s104、编码端从待处理图像中检测与当前场景模式对应的至少一个关键对象。若检测到待处理图像中包括关键对象，则将关键对象所在的区域确定为关键区域，将待处理图像中剩余的区域确定为非关键区域。

为了确定待处理图像中是否包括用户所关注的关键对象，进而确定待处理图像中的关键区域和非关键区域，以便于后续分别对关键区域和非关键区域按照不同的方式进行编码，可以对待处理图像进行检测，从而确定待处理图中是否包括关键对象，并在包括关键对象时，确定关键区域和非关键区域。

关键区域可以为包括关键对象的特定形状和特定大小的区域，比如可以是与该关键对象的轮廓外切的最小矩形区域，相应的，非关键区域则可以为不包括关键对象的区域。

对于各关键对象，可以将待处理图像输入值预设卷积神经网络，通过该预设卷积神经网络对待处理图像进行检测，得到包括关键对象的关键区域和非关键区域。

其中，预设卷积神经网络可以通过事先训练得到，该预设卷积神经网络可以接收待处理图像，并检测其中关键对象的位置，得到包括关键对象的关键区域和不包括该关键对象的非关键区域。

需要说明的是，可以事先获取多个样本图像，该样本图像中包括关键对象且标记有关键对象的位置信息，然后通过多个样本图像对预设卷积神经网络进行迭代训练，调整其中的卷积核参数，使该预设卷积神经网络具有对关键对象的定位能力。

例如，当关键对象包括整车时，可以将待处理图像输入至预设卷积神经网络模型，通过预设卷积神经网络模型对待处理图像进行检测，得到包括整车的关键区域，将待处理图像中剩余的区域确定为非关键区域。其中，预设卷积神经网络模型基于多个样本图像训练得到，样本图像中包括车辆且携带有车辆位置信息，该车辆位置信息可以为包括车辆的最小矩形的四个顶点的坐标。且为了提高对各种车辆识别的准确性，可以采集多种型号车辆在多角度、多光照条件下的图像作为样本图像。

还需要说明的是，对于不同的关键对象，可以分别通过不同的预设卷积神经网络来进行识别，也即是，可以分别将待处理图像输入至多个预设卷积神经网络，得到多个关键区域，然后将待处理图像中该多个关键区域的并集确定为最终的关键区域，将其他区域确定为非关键区域。

当然，在实际应用中，还可以通过其他方式来对待处理图像中的关键对象进行识别，比如，当关键对象包括人脸时，由于人脸检测在ycbcr空间具有良好的聚类特性，所以为了提高检测的准确性，进而提高确定关键区域和非关键区域的准确性，可以获取待处理图像中各像素的ycbcr值，获取待处理图像中y大于亮度阈值的目标像素，将cb处于第一预设浓度偏移量范围，且cr处于第二预设浓度偏移量范围的目标像素所构成的区域，确定为关键区域，将待处理图像中剩余的区域确定为非关键区域。

其中，ycbcr是一种色彩空间，y表示亮度，cb表示蓝色浓度偏移量，cr表示红色浓度便宜量。

需要说明的是，亮度阈值、第一预设浓度偏移量范围和第二预设浓度偏移量范围可以通过事先设置得到。比如亮度阈值可以为80，第一预设浓度偏移范围可以为(77,127)，第二预设浓度偏移范围可以为(133,173)。若某像素点的y值大于或等于80，则可以确定该像素点为非肤色点；若y值小于80，则可以确定该像素点为潜在肤色点(即有可能为肤色点)。那么如果潜在肤色点的cb值处于(77,127)且cr值处于(133,173)，则可以确定该潜在肤色点就是肤色点。

还需要说明的是，若待处理图像的像素值是rgb值，则可以按照预设转换公式(比如下述公式1)按照rgb值转换为ycbcr值，然后再进行检测。

其中，r、g和b分别为rgb色彩空间的红色、绿色和蓝色的像素值。

可选地，为了减少检测的区域，提高确定关键区域和非关键区域的效率，在获取待处理图像中各像素的色彩空间ycbcr值之前，可以将待处理图像与预设背景图像进行比较，得到待处理图像中与预设背景图像存在差异的差异区域，那么在获取待处理图像中各像素的色彩空间ycbcr值时，可以仅获取该差异区域中各像素的ycbcr值，从而仅检测该差异区域中是否包括人脸以及关键区域。

需要说明的是，预设背景图像可以通过事先根据场景模式设置得到。比如，在室内场景中，预设背景图像可以为室内不包括人的图像。那么对于待处理图像，将该待处理图像与预设背景图像进行比较，如果存在差异区域，则该差异区域中便可能存在人。

s105、编码端对关键区域进行无损编码，得到无损编码数据，并对非关键区域进行有损编码，得到有损编码数据。

由于关键区域包括用户可能关注的关键对象，而非关键区域不包括用户可能关注的关键对象，因此对于关键区域，可以进行无损编码，以可能保持图像的清晰度，保留图像细节，而对于非关键区域，可以进行有损编码，以减少数据量，便于传输节省带宽。那么对于任意的待处理图像，如果其中存在关键区域，则可以在具有同样数据量的情况下，尽可能保留更多的图像细节，提高图像质量；而在具有相同图像质量的情况下，也可以尽可能地减少数据量，节省带宽。

需要说明的是，无损编码方式和有损编码方式可以通过事先设置得到，比如无损编码方式可以包括vgtp(一种实时图像压缩传输协议)、jpeg(jointphotographicexpertsgroup，联合图像专家组)或yuv444(一种像素采样格式)，有损变编码方式可以包括h.264(数字视频压缩格式)或yuv420(一种像素采样格式)。

s106，编码端将无损编码数据和有损编码数据传输至解码端。

当编码完成时，编码端可以将编码数据传输至解码端。

可选地，通过第一数据包将无损编码数据传输至解码端，并通过第二数据包将有损编码数据传输至解码端，也即是，将同一帧待处理图像的无损编码数据和有损编码数据分开传输至解码端。

其中，第一数据包和第二数据包携带帧标记信息，第一数据包还携无损标记信息，第二数据包还携带有损标记信息，帧标记信息用于指示第一数据包和第二数据包归属于同一帧图像，无损标记信息用于指示第一数据包中的数据为无损编码数据，有损标记信息用于指示第二数据包中的数据为有损编码数据。

需要说明的是，帧标记信息、无损标记信息和有损标记信息，可以通过事先设置得到。比如，无损标记信息和有损标记信息可以分别为数据包包头中的标志位，其中，1表示无损，0表示有损。

s107、解码端接收编码端发送的归属于待处理图像的无损编码数据和有损编码数据。

解码端可以接收到无损编码数据和有损编码数据，并解码还原得到待处理图像。

s108、解码端对无损编码数据进行无损解码，得到关键区域，并对有损编码数据进行有损编码，得到非关键区域。

由前述可知，数据包中携带帧标记信息、无损标记信息和有损标记信息，那么解码端可以确定携带相同帧标记信息的数据包归属于同一待处理图像，且其中携带无损标记信息的数据包中包括的编码数据为无损编码数据，携带有损标记信息的数据包中包括的编码数据为有损编码数据。因此，对无损编码数据进行无损解码，并对有损编码数据进行有损解码，便可以得到待处理图像的关键区域和非关键区域。

s109、解码端将关键区域和非关键区域进行拼接，得到待处理图像。

将关键区域和非关键区域进行拼接合并，便可以还原得到待处理图像。

本公开实施例提供的图像处理方法，编码端可以获取待处理图像，并检测待处理图像中是否包括关键对象，如果是，则将关键对象所在的区域确定为关键区域，将待处理图像中的其他区域确定为非关键区域，进而对关键区域进行无损编码，以尽可能保留关键区域中的图像细节，并对非关键区域进行有损编码，以尽可能减少数据量，节省带宽。

本公开实施例提供一种图像处理装置，如图2所示，该图像处理装置20应用于编码端，包括：获取模块201、第一确定模块202和编码模块203；

获取模块201，用于获取待处理图像；

第一确定模块202，用于若检测到待处理图像中包括关键对象，则将所述关键对象所在的区域确定为关键区域，将所述待处理图像中剩余的区域确定为非关键区域；

编码模块203，对所述关键区域进行无损编码，得到无损编码数据，并对所述非关键区域进行有损编码，得到有损编码数据。

可选地，所述图像处理装置还包括：

第二确定模块，用于确定当前场景模式；

检测模块，用于从所述待处理图像中检测与所述当前场景模式对应的至少一个关键对象。

可选地，所述第二确定模块还用于：

接收指定的场景模式；

将所述指定的场景模式确定为所述当前场景模式。

可选地，若所述当前场景模式为室内场景或远程身份识别，则所述关键对象包括人脸；

若所述当前场景模式包括停车场场景或交通监控场景，则所述关键对象包括人脸、整车和车牌中的至少一种。

可选地，当所述关键对象包括人脸时，所述第一确定模块还用于：

获取所述待处理图像中各像素的色彩空间ycbcr值；

获取所述待处理图像中亮度y大于亮度阈值的目标像素；

将蓝色浓度偏移量cb处于第一预设浓度偏移量范围，且红色浓度偏移量cr处于第二预设浓度偏移量范围的所述目标像素所构成的区域，确定为所述关键区域，将所述待处理图像中剩余的区域确定为所述非关键区域。

可选地，还包括：

比较模块，用于将所述待处理图像与预设背景图像进行比较，得到所述待处理图像中与所述预设背景图像存在差异的差异区域；

所述第一确定模块还用于：

获取所述差异区域中各像素的ycbcr值。

可选地，当所述关键对象包括整车时，所述第一确定模块还用于：

将所述待处理图像输入至预设卷积神经网络模型；

通过所述预设卷积神经网络模型对所述待处理图像进行检测，得到包括所述整车的所述关键区域；

将所述待处理图像中剩余的区域确定为所述非关键区域。

可选地，所述预设卷积神经网络模型基于多个样本图像训练得到，所述样本图像中包括车辆且携带有车辆位置信息。

可选地，还包括：

传输模块，用于将所述无损编码数据和所述有损编码数据传输至解码端。

可选地，所述传输模块还用于：

通过第一数据包将所述无损编码数据传输至所述解码端，并通过第二数据包将所述有损编码数据传输至所述解码端；

其中，所述第一数据包和所述第二数据包携带帧标记信息，所述第一数据包还携无损标记信息，所述第二数据包还携带有损标记信息，所述帧标记信息用于指示所述第一数据包和所述第二数据包归属于同一帧图像，所述无损标记信息用于指示所述第一数据包中的数据为无损编码数据，所述有损标记信息用于指示所述第二数据包中的数据为有损编码数据。

本公开实施例提供的图像处理装置，应用于编码端。编码端可以获取待处理图像，并检测待处理图像中是否包括关键对象，如果是，则将关键对象所在的区域确定为关键区域，将待处理图像中的其他区域确定为非关键区域，进而对关键区域进行无损编码，以尽可能保留关键区域中的图像细节，并对非关键区域进行有损编码，以尽可能减少数据量，节省带宽。

本公开实施例提供一种图像处理装置，如图3所示，该图像处理装置30应用于解码端，包括：接收模块301、解码模块302和拼接模块303。

接收模块301，用于接收编码端发送的归属于待处理图像的无损编码数据和无损编码数据；

解码模块302，用于对所述无损编码数据进行无损解码，得到关键区域，并对所述有损编码数据进行有损解码，得到非关键区域；

拼接模块303，用于将所述关键区域和所述非关键区域进行拼接，得到所述待处理图像。

本公开实施例提供的图像处理装置，应用于解码端。解码端可以接收编码端发送的归属于待处理图像的无损编码数据和无损编码数据；对无损编码数据进行无损解码，得到关键区域，并对有损编码数据进行有损解码，得到非关键区域；然后，将关键区域和非关键区域进行拼接，从而得到待处理图像。由于处理的数据量减少，所以可以节省带宽。

基于上述图1对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：readonlymemory，rom)、随机存取存储器(英文：randomaccessmemory，ram)、cd-rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的数据传输方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。