一种图像处理方法、编码装置、解码装置及存储介质与流程

本发明涉及图像处理领域，尤其涉及一种图像处理方法、编码装置、解码装置及存储介质。

背景技术：

近年来，随着消费电子产业的不断发展，对电子产品的视频图像质量的要求也在不断提高。目前，主要是通过获取目标物体的多个视点对应的多个深度图像和多个二维图像，之后，对该多个深度图像和多个二维图像进行融合处理，得到目标物体对应的多个立体图像，进而形成目标物体的动态视频。

相关技术是分别将深度相机捕获形成的多个深度图像和多个二维图像，通过编码器进行编码传输至解码器，解码后恢复出多个深度图像和多个二维图像，由于多个二维图像在获取和编码传输时，会有部分信息的损失，导致解码后得到的多个二维图像的图像质量低。

技术实现要素：

为解决上述技术问题，本发明实施例期望提供一种图像处理方法、编码装置、解码装置及存储介质，能够提高二维图像的图像质量。

本发明的技术方案是这样实现的：

本申请实施例提供了一种图像处理方法，应用于编码装置，图像处理方法包括：

当对目标物体进行图像预览或拍摄时，获取所述目标物体的多个视点对应的多组结构光信息；

获取所述多组结构光信息对应的多个视频图像信息；

对所述多组结构光信息和所述多个视频图像信息进行合并编码，得到编码信息；

将所述编码信息写入码流，并将所述码流发送至解码装置，以供所述解码装置在对所述码流解码后，利用所述多组结构光信息对所述多个视频图像信息进行处理，得到所述多个视频图像信息对应的多个目标视频图像信息。

在上述方案中，所述获取所述目标物体的多个视点对应的多组结构光信息，包括：

获取所述目标物体的多个视点对应的多组初始结构光信息；

将所述多组初始结构光信息与结构光距离映射关系信息，作为所述多组结构光信息，所述结构光距离映射关系信息为所述多组初始结构光信息与物距之间的映射关系信息。

在上述方案中，所述将所述多组初始结构光信息与结构光距离映射关系信息，作为所述多组结构光信息，包括：

根据所述多组初始结构光信息与所述结构光距离映射关系信息，得到多个第一深度图像和多组第一辅助信息，所述多组第一辅助信息为辅助所述多个视频图像信息得到所述多个目标视频图像信息的信息；

将所述多个第一深度图像和所述多组第一辅助信息，作为所述多组结构光信息。

在上述方案中，所述获取所述目标物体的多个视点对应的多组初始结构光信息之后，所述方法还包括：

对所述多组初始结构光信息进行预处理，得到多组第一初始结构光信息；

将所述多组第一初始结构光信息和所述结构光距离映射关系信息，作为所述多组结构光信息。

在上述方案中，所述将所述多组第一初始结构光信息和所述结构光距离映射关系信息，作为所述多组结构光信息，包括：

对所述多组第一初始结构光信息和所述结构光距离映射关系信息进行匹配，得到多个第二深度图像和多组第二辅助信息，所述第二辅助信息为辅助所述多个视频图像信息得到所述多个目标视频图像信息的信息；

将所述多个第二深度图像和多组第二辅助信息，作为所述多组结构光信息。

在上述方案中，所述对所述多组结构光信息和所述多个视频图像信息进行合并编码，得到编码信息，包括：

去除所述多组结构光信息中的冗余信息，得到去冗余后的多组结构光信息；

对所述去冗余后的多组结构光信息和所述多个视频图像信息进行信息合并，得到合并信息；

对所述合并信息进行编码处理，得到所述编码信息。

在上述方案中，所述对所述合并信息进行编码处理，得到所述编码信息，包括：

对所述合并信息进行编码，得到第一编码信息；

利用编码二进制数据之间的相关性，消除所述第一编码信息之间的比特冗余，得到所述编码信息。

在上述方案中，所述去除所述多组结构光信息中的冗余信息，得到去冗余后的多组结构光信息，包括以下方式中的至少一种：

从所述多组结构光信息中获取部分视点对应的结构光信息，得到去冗余后的多组结构光信息；

按照预设信息长度对所述多组结构光信息进行采样，得到去冗余后的多组结构光信息；

从所述多组结构光信息中，获取所述多个视频图像信息中预设位置处对应的多组第一结构光信息，得到去冗余后的多组结构光信息。

在上述方案中，所述多个视频图像信息包括以下两种信息中的至少一种：

多个二维图像和多个视频帧。

本申请实施例又提供一种图像处理方法，应用于解码装置，所述方法包括：

当接收到携带有编码信息的码流时，对所述码流进行合并解码，得到多组结构光信息和多个视频图像信息；

利用所述多组结构光信息对所述多个视频图像信息进行处理，得到所述多个视频图像信息对应的多个目标视频图像信息。

在上述方案中，所述对所述码流进行合并解码，得到多组结构光信息和多个视频图像信息，包括：

对所述码流进行合并解码，得到合并信息；

从所述合并信息中，确定出去冗余后的多组结构光信息和所述多个视频图像信息；

对所述去冗余后的多组结构光信息进行插值处理，得到所述多组结构光信息。

在上述方案中，所述对所述码流进行合并解码，得到多组结构光信息和多个视频图像信息之后，所述方法还包括：

根据所述多组结构光信息，得到所述目标物体对应的多个深度图像。

本申请实施例提供了一种编码装置，所述装置包括：

结构光模组，用于当所述结构光模组对目标物体进行图像预览或拍摄时，获取所述目标物体的多个视点对应的多组结构光信息；

图像传感器，用于获取所述多组结构光信息对应的多个视频图像信息；

视频图像编码器，用于对所述多组结构光信息和所述多个视频图像信息进行合并编码，得到编码信息；将所述编码信息写入码流，并将所述码流发送至解码装置，以供所述解码装置在对所述码流解码后，利用所述多组结构光信息对所述多个视频图像信息进行处理，得到所述多个视频图像信息对应的多个目标视频图像信息。

在上述方案中，所述结构光模组，具体用于获取所述目标物体的多个视点对应的多组初始结构光信息；将所述多组初始结构光信息与结构光距离映射关系信息，作为所述多组结构光信息，所述结构光距离映射关系信息为所述多组初始结构光信息与物距之间的映射关系信息。

在上述方案中，所述结构光模组，具体用于根据所述多组初始结构光信息与所述结构光距离映射关系信息，得到多个第一深度图像和多组第一辅助信息，所述多组第一辅助信息为辅助所述多个视频图像信息得到所述多个目标视频图像信息的信息；将所述多个第一深度图像和所述多组第一辅助信息，作为所述多组结构光信息。

在上述方案中，所述结构光模组，具体用于对所述多组初始结构光信息进行预处理，得到多组第一初始结构光信息；将所述多组第一初始结构光信息和所述结构光距离映射关系信息，作为所述多组结构光信息。

在上述方案中，所述结构光模组，具体用于对所述多组第一初始结构光信息和所述结构光距离映射关系信息进行匹配，得到多个第二深度图像和多组第二辅助信息，所述第二辅助信息为辅助所述多个视频图像信息得到所述多个目标视频图像信息的信息；将所述多个第二深度图像和多组第二辅助信息，作为所述多组结构光信息。

在上述方案中，所述视频图像编码器，具体用于去除所述多组结构光信息中的冗余信息，得到去冗余后的多组结构光信息；对所述去冗余后的多组结构光信息和所述多个视频图像信息进行信息合并，得到合并信息；对所述合并信息进行编码处理，得到所述编码信息。

在上述方案中，所述视频图像编码器，具体用于对所述合并信息进行编码，得到第一编码信息；利用编码二进制数据之间的相关性，消除所述第一编码信息之间的比特冗余，得到所述编码信息。

在上述方案中，所述视频图像编码器，具体用于从所述多组结构光信息中获取部分视点对应的结构光信息，得到去冗余后的多组结构光信息；按照预设信息长度对所述多组结构光信息进行采样，得到去冗余后的多组结构光信息；从所述多组结构光信息中，获取所述多个视频图像信息中预设位置处对应的多组第一结构光信息，得到去冗余后的多组结构光信息。

本申请实施例提供了一种解码装置，所述装置包括：

视频图像解码器，用于当接收到携带有编码信息的码流时，对所述码流进行合并解码，得到多组结构光信息和多个视频图像信息；

图像处理器，用于利用所述多组结构光信息对所述多个视频图像信息进行处理，得到所述多个视频图像信息对应的多个目标视频图像信息。

在上述方案中，所述视频图像解码器，具体用于对所述码流进行合并解码，得到合并信息；从所述合并信息中，确定出去冗余后的多组结构光信息和所述多个视频图像信息；对所述去冗余后的多组结构光信息进行插值处理，得到所述多组结构光信息。

在上述方案中，所述装置还包括深度图像生成器；

所述深度图像生成器，用于根据所述多组结构光信息，得到所述目标物体对应的多个深度图像。

在上述方案中，所述装置的连接方式包括以下方式中的至少一种：

所述深度图像生成器和所述图像处理器都集成于所述视频图像解码器中；

所述深度图像生成器和所述图像处理器都独立于所述视频图像解码器，与所述视频图像解码器进行连接；

所述深度图像生成器集成在所述视频图像解码器中，所述图像处理器独立于所述视频图像解码器，与所述视频图像解码器进行连接；

所述图像处理器集成在所述视频图像解码器中，所述深度图像生成器独立于所述视频图像解码器，与所述视频图像解码器进行连接。

本申请实施例提供一种存储介质，其上存储有第一计算机程序，应用于编码装置，该第一计算机程序被第一处理器执行时实现如上述任一项应用于编码装置中的图像处理方法。

本申请实施例提供一种存储介质，其上存储有第二计算机程序，应用于解码装置，该第二计算机程序被第二处理器执行时实现如上述任一项应用于解码装置中的图像处理方法。

本发明实施例提供了一种图像处理方法、编码装置、解码装置及存储介质，图像处理方法应用于编码装置，包括：当对目标物体进行图像预览或拍摄时，获取目标物体的多个视点对应的多组结构光信息；获取多组结构光信息对应的多个视频图像信息；对多组结构光信息和多个视频图像信息进行合并编码，得到编码信息；将编码信息写入码流，并将码流发送至解码装置，以供解码装置在对码流解码后，利用多组结构光信息对多个视频图像信息进行处理，得到多个视频图像信息对应的多个目标视频图像信息。采用上述图像处理方法，编码装置通过获取目标物体的多个视点对应的多组结构光信息和多个视频图像信息，在对多组结构光信息和多个视频图像信息进行编码传输后，使得解码装置解码后可直接得到多组结构光信息和多个视频图像信息，并利用多组结构光信息对多个视频图像信息进行处理，提高多个视频图像信息的图像质量，从而提高解码装置根据多个视频图像信息得到的多个目标视频图像的图像质量。

附图说明

图1为本申请实施例提供的一种图像处理方法流程图一；

图2为本申请实施例提供的一种示例性的编码装置对多组结构光信息进行采样，得到去冗余后的结构光信息示意图；

图3为本申请实施例提供的一种图像处理方法流程图二；

图4为本申请实施例提供的一种编码装置的组成结构示意图；

图5为本申请实施例提供的一种解码装置的组成结构示意图一；

图6为本申请实施例提供的一种示例性的解码装置的组成结构示意图二；

图7为本申请实施例提供的一种示例性的解码装置的组成结构示意图三；

图8为本申请实施例提供的一种示例性的解码装置的组成结构示意图四；

图9为本申请实施例提供的一种示例性的解码装置的组成结构示意图五。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

本申请实施例提供了一种图像处理方法，应用于编码装置，图1为本申请实施例提供的一种图像处理方法流程图一，如图1所示，图像处理方法可以包括：

s101、当对目标物体进行图像预览或拍摄时，获取目标物体的多个视点对应的多组结构光信息。

本申请实施例提供的一种图像处理方法适用于在利用目标物体对应的结构光信息对获取到的二维图像或视频帧进行图像处理，得到与二维图像或视频帧对应的目标图像或目标视频帧的场景下。

需要说明的是，本申请实施例提供的图像处理方法应用于编码装置中，其中，编码装置中设置有结构光模组，当编码装置对目标物体进行图像预览，并启动结构光模组时，图像处理装置就开始获取目标物体对应的结构光信息。

在本申请实施例中，编码装置在获取到目标物体的多个视点对应的多组结构光信息之前，编码装置先获取到目标物体的多个视点对应的多组初始结构光信息。

在本申请实施例中，结构光模组中设置有结构光传感器，编码装置利用结构光传感器获取到的目标物体对应的初始结构光信息。

需要说明的是，多组初始结构光信息可以为结构光模组获取到的目标物体对应的多组散斑、激光条纹、格雷码、正弦条纹等相位编码信息，具体的多组初始结构光信息可根据实际情况确定，本申请实施例对此不做限定。

在本申请实施例中，编码装置在获取到目标物体的多个视点对应的多组初始结构光信息时，编码装置就将多组初始结构光信息与结构光距离映射关系信息，作为多组结构光信息。

需要说明的是，结构光距离映射关系信息为多组初始结构光信息与物距之间的映射关系信息。

在本申请实施例中，当编码装置得到目标物体对应的多组初始结构光信息与结构光距离映射关系信息时，编码装置就可以将多组初始结构光信息与结构光距离映射关系信息进行匹配，从而得到多个第一深度图像和多组第一辅助信息。

需要说明的是，多个第一深度图像可以为编码装置在多个视点处对目标物体进行图像预览或者图像拍摄时，获取到的目标物体对应的深度图像信息；多组第一辅助信息为辅助多个视频图像信息得到多个目标视频图像信息的信息。

需要说明的是，多组第一辅助信息可以为多组相位图像信息，具体的可根据实际情况进行确定，本申请实施例对此不作限定。

需要说明的是，多个视频图像信息包括多个二维图像和多个视频帧两种信息中的至少一种。

还需要说明的是，多个目标视频图像信息包括多个目标二维图像和多个目标视频帧两种信息中的至少一种。

示例性地，当多个视频图像信息为多个二维图像时，则多个目标视频图像信息可以为多个目标二维图像；当多个视频图像信息为多多个视频帧时，则多个目标视频图像信息可以为多个目标视频帧。

在本申请实施例中，当编码装置得到多个第一深度图像和多组第一辅助信息时，编码装置就可以将多个第一深度图像和多组第一辅助信息，作为多组结构光信息。

在本申请实施例中，在编码装置得到目标物体的多个视点对应的多组初始结构光信息之后，编码装置还可以对多组初始结构光信息进行预处理，得到多组第一初始结构光信息。

需要说明的是，预处理可以为滤波、去噪、信号放大、相位校准等方式中的一种处理方式，还可以为滤波、去噪、信号放大、相位校准等方式中的至少两种处理方式，具体的预处理可根据实际情况确定，本申请实施例对此不做限定。

还需要说明的是，当多组初始结构光信息为相位信息时，预处理可以为利用相位相关性去除多组初始结构光信息中的冗余结构光信息的处理方式，预处理也可以为利用空间相关性、时间相关性、场景敏感的深度等方式去除多组初始结构光信息中的冗余结构光信息的处理方式，预处理还可以为将结构光信息转化为频域信息，利用频域相关性去除多组初始结构光信息中的冗余结构光信息的处理方式，具体的预处理可根据实际情况确定，本申请实施例对此不做限定。

在本申请实施例中，当编码装置得到多组第一初始结构光信息时，编码装置就可以将多组第一初始结构光信息和结构光距离映射关系信息，作为多组结构光信息了。

在本申请实施例中，当编码装置得到多组第一初始结构光信息时，编码装置还可以对多组第一初始结构光信息和结构光距离映射关系信息进行匹配，得到多个第二深度图像和多组第二辅助信息。

需要说明的是，多个第二深度图像可以为编码装置在多个视点处对目标物体进行图像预览或者图像拍摄时，获取到的预处理后的目标物体对应的深度图像信息；第二辅助信息为辅助多个视频图像信息得到多个目标视频图像信息的信息。

在本申请实施例中，当编码装置得到多个第二深度图像和多组第二辅助信息时，编码装置就可以将多个第二深度图像和多组第二辅助信息作为多组结构光信息了。

s102、获取多组结构光信息对应的多个视频图像信息。

在本申请实施例中，当编码装置得到多组结构光信息之后，编码装置就开始获取多组结构光信息对应的多个视频图像信息了。

需要说明的是，多个视频图像信息包括多个二维图像和多个视频帧两种信息中的至少一种。

还需要说明的是，多个目标视频图像信息包括多个目标二维图像和多个目标视频帧两种信息中的至少一种。

示例性地，当多个视频图像信息为多个二维图像时，则多个目标视频图像信息可以为多个目标二维图像；当多个视频图像信息为多多个视频帧时，则多个目标视频图像信息可以为多个目标视频帧。

在本申请实施例中，视频帧可以为编码装置将采集到的多帧二维图像组成的视频。

需要说明的是，多个二维图像可以为编码装置获取到的彩色图像，多个二维图像还可以为编码装置获取到的黑白图像，具体的多个二维图像可根据实际情况确定，本申请实施例对此不做限定。

还需要说明的是，多个视频帧可以为编码装置获取到的彩色视频帧，多个视频帧还可以为编码装置获取到的黑白视频帧，具体的多个二维图像可根据实际情况确定，本申请实施例对此不做限定。

在本申请实施例中，多个视频图像信息与多组结构光信息一一对应，具体的，一个视频图像信息对应一组结构光信息。

s103、对多组结构光信息和多个视频图像信息进行合并编码，得到编码信息。

在本申请实施例中，当编码装置得到多组结构光信息和多个视频图像信息之后，编码装置就可以对多组结构光信息和多个视频图像信息进行合并编码，得到编码信息。

在本申请实施例中，编码装置在对多组结构光信息和多个视频图像信息进行合并编码时，编码装置需要先去除多组结构光信息中的冗余信息，得到去冗余后的多组结构光信息。

在本申请实施例中，编码装置去除多组结构光信息中的冗余信息的方式具体以下方式中的至少一种：编码装置从多组结构光信息中获取部分视点对应的结构光信息，得到去冗余后的多组结构光信息，编码装置按照预设信息长度对多组结构光信息进行采样，得到去冗余后的多组结构光信息，编码装置从多组结构光信息中，获取多个视频图像信息中预设位置处对应的多组第一结构光信息，得到去冗余后的多组结构光信息。

需要说明的是，编码装置在对多组结构光信息进行编码时，编码装置可以对多组结构光信息进行编码传输，编码装置还可以从多组结构光信息中获取部分视点对应的结构光信息，从而得到去冗余后的结构光信息。

示例性地，编码装置可以获取到目标物体左边视点处、中间视点处和右边视点处的三组结构光信息，当编码装置对该三组结构光信息进行编码时，可以只编码左边视点处和右边视点处对应的两组结构光信息。

需要说明的是，编码装置在对多组结构光信息进行编码时，编码装置还可以按照预设信息长度对多组结构光信息进行采样，将采样后得到的结构光信息作为去冗余后的结构光信息。

示例性地，如图2所示，编码装置获取到的多组结构光信息序列为编号1至n的信息序列，编码装置可以利用预设信息长度为3的信息长度对多组结构光信息进行采样，得到采样后的结构光信息序列为多组结构光信息中的编号为1，4，7，11…n的结构光序列，则，编号为1，4，7，11…n的结构光序列为去冗余后的结构光信息。

需要说明的是，编码装置在对多组结构光信息进行编码时，编码装置还可以将多个视频图像信息中预设位置处对应的多组第一结构光信，作为去冗余后的结构光信息。

示例性地，在增强现实(augmentedreality，ar)技术中，当目标物体为一束花时，编码装置可以将获取到的这一束花对应的多个视频图像信息中花瓣对应的结构光信息，作为多组第一结构光信息，从而得到去冗余后的结构光信息。

在本申请实施例中，当编码装置得到去冗余后的多组结构光信息时，编码装置就对去冗余后的多组结构光信息和多个视频图像信息进行信息合并，从而得到合并信息。

在本申请实施例中，当编码装置得到合并信息后，编码装置就对合并信息进行编码处理，得到了编码信息。

需要说明的是，编码装置在对合并信息进行编码处理的过程具体包括：编码装置对合并信息进行编码，得到第一编码信息；编码装置利用编码二进制数据之间的相关性，消除第一编码信息之间的比特冗余，得到编码信息。

s104、将编码信息写入码流，并将码流发送至解码装置，以供解码装置在对码流解码后，利用多组结构光信息对多个视频图像信息进行处理，得到多个视频图像信息对应的多个目标视频图像信息。

在本申请实施例中，当编码装置得到编码信息后，编码装置就将该编码信息写入码流中，并将该携带有编码信息的码流传输至解码装置，使得解码装置在对码流解码之后，可直接到的多组结构光信息和多个视频图像信息，并利用多组结构光信息对多个视频图像信息进行处理，从而得到多个目标视频图像信息。

需要说明的是，编码信息在码流中的位置可以为图像信息头和序列信息头，编码信息在码流中的位置也可以为附加参数集或者是其他位置，具体的编码信息再码流中的位置可根据实际情况确定，本申请实施例对此不做限定。

可以理解的是，编码装置通过获取目标物体的多个视点对应的多组结构光信息和多个视频图像信息，在对多组结构光信息和多个视频图像信息进行编码传输后，使得解码装置解码后可直接得到多组结构光信息和多个视频图像信息，并利用多组结构光信息对多个视频图像信息进行处理，提高多个视频图像信息的图像质量，从而提高解码装置根据多个视频图像信息得到的多个目标视频图像的图像质量。

实施例二

本申请实施例又提供了一种图像处理方法，应用于解码装置，图3为本申请实施例提供的一种图像处理方法流程图二，如图3所示，图像处理方法可以包括：

s201、当接收到携带有编码信息的码流时，对码流进行合并解码，得到多组结构光信息和多个视频图像信息。

在本申请实施例中，当解码装置接收到编码装置发送的携带有编码信息的码流时，解码装置就对该携带有编码信息的码流进行解码，从而得到多组结构光信息和多个视频图像信息。

在本申请实施例中，解码装置对码流进行解码的过程具体为：解码装置对码流进行合并解码，得到合并信息；解码装置从合并信息中，确定出去冗余后的多组结构光信息和多个视频图像信息；解码装置对去冗余后的多组结构光信息进行插值处理，得到多组结构光信息。

需要说明的是，当编码装置从多组结构光信息中获取部分视点对应的结构光信息，得到去冗余后的多组结构光信息时，解码装置可以对去冗余后的多组结构光信息进行插值处理，恢复出所有视点中除该部分视点外其他视点对应的结构光信息，从而得到所有视点对应的结构光信息，即得到多组结构光信息；当编码装置按照预设信息长度对多组结构光信息进行采样，得到去冗余后的多组结构光信息时，解码装置可以对去冗余后的多组结构光信息进行插值处理，恢复出未采集的结构光信息，从而得到多组结构光信息。

在本申请实施例中，当编码装置得到多组结构光信息之后，编码装置就可以根据该多组结构光信息，得到目标物体对应的多个深度图像了。

s202、利用多组结构光信息对多个视频图像信息进行处理，得到多个视频图像信息对应的多个目标视频图像信息。

在本申请实施例中，解码装置中设置有图像处理器，当解码装置得到多组结构光信息和多个视频图像信息时，图像处理器就可以利用多组结构光信息对多个视频图像信息进行处理，从而得到多个视频图像信息对应的多个目标视频图像信息了。

在本申请实施例中，当图像处理器为产生景深图像的处理器时，图像处理器可直接利用多组结构光信息中的每一组结构光信息，对多个视频图像信息中与每一组结构光信息对应的视频图像信息进行处理，从而得到具有景深的多个视频图像信息。

需要说明的是，利用多组结构光信息对多个视频图像信息进行处理的方式可以为利用多组结构光信息对多个视频图像信息进行背景虚化，还可以为利用多组结构光信息提高多个视频图像信息的对比度，还可以为利用多组结构光信息提高多个视频图像信息的清晰度，还可以为利用多组结构光信息对多个视频图像信息进行图像增强，以及利用多组结构光信息对多个视频图像信息进行抠图的处理方式，具体的处理方式可根据实际情况确定，本申请实施例对此不作限定。

示例性地，当启动编码装置中的结构光组模块，并获取目标物体的高动态范围图像(high-dynamicrange，hdr)时，编码装置可以得到目标物体对应的多组结构光信息和两幅目标物体对应的hdr图像，编码装置通过对多组结构光信息和两幅hdr图像进行编码传输，当解码装置在解码端接收到两幅模糊的hdr图像时，解码装置就可以利用解码后得到的多组结构光信息对两幅hdr图像进行去模糊处理，从而得到两幅清晰的hdr图像。

在本申请实施例中，当编码装置获取到的多组结构光信息为相位信息，并将该相位信息传输至解码装置时，解码装置就可以在利用图像处理器对多个视频图像信息进行处理时，利用该相位信息来降低拍摄场景中的噪声，从而提高多个视频图像信息的图形质量，从而得到高质量的多个目标视频图像信息。

可以理解的是，解码装置在得到多组结构光信息和多个视频图像信息时，解码装置可直接利用多组结构光信息对多个视频图像信息进行处理，提高多个视频图像信息的图像质量，从而提高解码装置根据多个视频图像信息得到的多个目标视频图像的图像质量。

实施例三

基于实施例一同一发明构思，本申请实施例提供了一种编码装置1，对应于一种图像处理方法；图4为本申请实施例提供的一种编码装置的组成结构示意图，该编码装置1可以包括：

结构光模组11，用于当所述结构光模组11对目标物体进行图像预览或拍摄时，获取所述目标物体的多个视点对应的多组结构光信息；

图像传感器12，用于获取所述多组结构光信息对应的多个视频图像信息；

视频图像编码器13，用于对所述多组结构光信息和所述多个视频图像信息进行合并编码，得到编码信息；将所述编码信息写入码流，并将所述码流发送至解码装置，以供所述解码装置在对所述码流解码后，利用所述多组结构光信息对所述多个视频图像信息进行处理，得到所述多个视频图像信息对应的多个目标视频图像信息。

在本申请的一些实施例中，所述结构光模组11，具体用于获取所述目标物体的多个视点对应的多组初始结构光信息；将所述多组初始结构光信息与结构光距离映射关系信息，作为所述多组结构光信息，所述结构光距离映射关系信息为所述多组初始结构光信息与物距之间的映射关系信息。

在本申请的一些实施例中，所述结构光模组11，具体用于根据所述多组初始结构光信息与所述结构光距离映射关系信息，得到多个第一深度图像和多组第一辅助信息，所述多组第一辅助信息为辅助所述多个视频图像信息得到所述多个目标视频图像信息的信息；将所述多个第一深度图像和所述多组第一辅助信息，作为所述多组结构光信息。

在本申请的一些实施例中，所述结构光模组11，具体用于对所述多组初始结构光信息进行预处理，得到多组第一初始结构光信息；将所述多组第一初始结构光信息和所述结构光距离映射关系信息，作为所述多组结构光信息。

在本申请的一些实施例中，所述结构光模组11，具体用于对所述多组第一初始结构光信息和所述结构光距离映射关系信息进行匹配，得到多个第二深度图像和多组第二辅助信息，所述第二辅助信息为辅助所述多个视频图像信息得到所述多个目标视频图像信息的信息；将所述多个第二深度图像和多组第二辅助信息，作为所述多组结构光信息。

在本申请的一些实施例中，所述视频图像编码器13，具体用于去除所述多组结构光信息中的冗余信息，得到去冗余后的多组结构光信息；对所述去冗余后的多组结构光信息和所述多个视频图像信息进行信息合并，得到合并信息；对所述合并信息进行编码处理，得到所述编码信息。

在本申请的一些实施例中，所述视频图像编码器13，具体用于对所述合并信息进行编码，得到第一编码信息；利用编码二进制数据之间的相关性，消除所述第一编码信息之间的比特冗余，得到所述编码信息。

在本申请的一些实施例中，所述视频图像编码器13，具体用于从所述多组结构光信息中获取部分视点对应的结构光信息，得到去冗余后的多组结构光信息；按照预设信息长度对所述多组结构光信息进行采样，得到去冗余后的多组结构光信息；从所述多组结构光信息中，获取所述多个视频图像信息中预设位置处对应的多组第一结构光信息，得到去冗余后的多组结构光信息。

可以理解的是，编码装置通过获取目标物体的多个视点对应的多组结构光信息和多个视频图像信息，在对多组结构光信息和多个视频图像信息进行编码传输后，使得解码装置解码后可直接得到多组结构光信息和多个视频图像信息，并利用多组结构光信息对多个视频图像信息进行处理，提高多个视频图像信息的图像质量，从而提高解码装置根据多个视频图像信息得到的多个目标视频图像的图像质量。

实施例四

基于实施例二同一发明构思，本申请实施例提供了一种解码装置2，对应于一种图像处理方法；图5为本申请实施例提供的一种解码装置的组成结构示意图一，该编码装置2可以包括：

视频图像解码器21，用于当接收到携带有编码信息的码流时，对所述码流进行合并解码，得到多组结构光信息和多个视频图像信息；

图像处理器22，用于利用所述多组结构光信息对所述多个视频图像信息进行处理，得到所述多个视频图像信息对应的多个目标视频图像信息。

在本申请的一些实施例中，所述视频图像解码器21，具体用于对所述码流进行合并解码，得到合并信息；从所述合并信息中，确定出去冗余后的多组结构光信息和所述多个视频图像信息；对所述去冗余后的多组结构光信息进行插值处理，得到所述多组结构光信息。

在本申请的一些实施例中，所述装置还包括深度图像生成器23；

所述深度图像生成器23，用于根据所述多组结构光信息，得到所述目标物体对应的多个深度图像。

在本申请的一些实施例中，所述装置的连接方式包括以下方式中的至少一种：

所述深度图像生成器23和所述图像处理器22都集成于所述视频图像解码器21中；

所述深度图像生成器23和所述图像处理器22都独立于所述视频图像解码器21，与所述视频图像解码器21进行连接；

所述深度图像生成器23集成在所述视频图像解码器21中，所述图像处理器22独立于所述视频图像解码器21，与所述视频图像解码器21进行连接；

所述图像处理器22集成在所述视频图像解码器21中，所述深度图像生成器23独立于所述视频图像解码器21，与所述视频图像解码器21进行连接。

在本申请实施例中，如图6所示，将深度图像生成器23和图像处理器22都集成于视频图像解码器21中，当视频图像解码器21对编码信息解码后，可得到多组结构光信息和多个视频图像信息，视频图像解码器21将多组结构光信息分别传输至深度图像生成器23和图像处理器22中，视频图像解码器21将多个视频图像信息传输至图像处理器22中，深度图像生成器23根据多组结构光信息得到多个深度图像；图像处理器22利用多组结构光信息对多个视频图像信息进行处理，得到多个视频图像信息对应的多个目标视频图像信息，深度图像生成器23将多个深度图像传输至视频图像解码器21，图像处理器22也将多个目标视频图像信息传输至视频图像解码器21，视频图像解码器21输出多个深度图像和多个目标视频图像信息。

如图7所示，深度图像生成器23和图像处理器22都独立于视频图像解码器21，与视频图像解码器21进行连接，当视频图像解码器21对编码信息解码后，可得到多组结构光信息和多个视频图像信息，视频图像解码器21将多组结构光信息分别传输至深度图像生成器23和图像处理器22中，视频图像解码器21将多个视频图像信息传输至图像处理器22中，深度图像生成器23根据多组结构光信息得到多个深度图像并输出；图像处理器22利用多组结构光信息对多个视频图像信息进行处理，得到多个视频图像信息对应的多个目标视频图像信息并输出。

如图8所示，深度图像生成器23集成在视频图像解码器21中，图像处理器22独立于视频图像解码器21，与视频图像解码器21进行连接，当视频图像解码器21对编码信息解码后，可得到多组结构光信息和多个视频图像信息，视频图像解码器21将多组结构光信息分别传输至深度图像生成器23和图像处理器22中，视频图像解码器21将多个视频图像信息传输至图像处理器22中，深度图像生成器23根据多组结构光信息得到多个深度图像，深度图像生成器23将多个深度图像传输至视频图像解码器21，视频图像解码器21输出多个深度图像；图像处理器22利用多组结构光信息对多个视频图像信息进行处理，得到多个视频图像信息对应的多个目标视频图像信息并输出。

如图9所示，图像处理器22集成在视频图像解码器21中，深度图像生成器23独立于视频图像解码器21，与视频图像解码器21进行连接，当视频图像解码器21对编码信息解码后，可得到多组结构光信息和多个视频图像信息，视频图像解码器21将多组结构光信息分别传输至深度图像生成器23和图像处理器22中，视频图像解码器21将多个视频图像信息传输至图像处理器22中，图像处理器22利用多组结构光信息对多个视频图像信息进行处理，得到多个视频图像信息对应的多个目标视频图像信息，图像处理器22将多个目标视频图像信息传输至视频图像解码器21，视频图像解码器21输出该多个目标视频图像信息，深度图像生成器23根据多组结构光信息得到多个深度图像并输出。

本申请实施例提供一种存储介质，其上存储有第一计算机程序，应用于编码装置，该第一计算机程序被第一处理器执行时实现如上述任一项应用于编码装置中的图像处理方法。

本申请实施例提供一种存储介质，其上存储有第二计算机程序，应用于解码装置，该第二计算机程序被第二处理器执行时实现如上述任一项应用于解码装置中的图像处理方法。

可以理解的是，解码装置在得到多组结构光信息和多个视频图像信息时，解码装置可直接利用多组结构光信息对多个视频图像信息进行处理，提高多个视频图像信息的图像质量，从而提高解码装置根据多个视频图像信息得到的多个目标视频图像的图像质量。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。