图像处理方法、装置、设备以及存储介质与流程

本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备以及存储介质。

背景技术：

随着图像处理技术和智能驾驶领域的不断发展，用户对于车载设备以及智能车辆中，所展示的交互页面的需求也越来越高。

在实际应用场景中，智能车辆或者车载设备中往往通过人工智能(artificialintelligence，ai)与用户进行交互，但是缺乏对ai形象的设计，或者，仅设定一种固定的ai形象，并且用户无法对该ai形象进行设计，而固定的ai形象也往往因表情和动作单一而缺乏应有的表现能力，因此，不具备丰富的交互趣味性，影响了用户体验。

技术实现要素：

本发明实施例提供一种图像处理方法、装置、设备以及存储介质，为交互过程提供一种可视化的交互对象，增加了交互的趣味性，提升了用户体验。

第一方面，本发明实施例提供一种图像处理方法，包括：

获取用户的交互信息；所述交互信息包括：语音信息、动作信息、表情信息中的至少一种；

根据所述交互信息，确定对三维人物模型的控制指令，所述三维任务模型是根据用户输入的二维人物图像数据转换得到的三维影像数据；

根据所述控制指令，控制所述三维人物模型执行对应的动作。

在一种具体的实现方式中，在所述获取所述用户的交互信息之前，所述方法还包括：

获取所述三维人物模型。

具体的，所述获取三维人物模型，包括：

采集所述用户的二维人物图像数据；所述二维人物图像数据包含深度信息；

将所述二维人物图像数据进行三维重建，得到所述三维人物模型；

或者，

获取所述用户输入的二维人物图像数据；

将所述二维人物图像数据进行三维重建，得到所述三维人物模型。

在一种具体的实现方式中，所述方法还包括：

接收用户输入的人物模型编辑指令；

根据所述人物模型编辑指令，对所述三维人物模型进行设计。

第二方面，本发明实施例提供一种图像处理装置，包括：

获取模块，用于获取用户的交互信息；所述交互信息包括：语音信息、动作信息、表情信息中的至少一种；

处理模块，用于根据所述交互信息，确定对三维人物模型的控制指令，所述三维任务模型是根据用户输入的二维人物图像数据转换得到的三维影像数据；

所述处理模块，用于根据所述控制指令，控制所述三维人物模型执行对应的动作。

在一种具体的实现方式中，所述获取模块还用于：

获取所述三维人物模型。

可选的，所述获取模块具体用于：

采集所述用户的二维人物图像数据；所述二维人物图像数据包含深度信息；

将所述二维人物图像数据进行三维重建，得到所述三维人物模型；

或者，

获取所述用户输入的二维人物图像数据；

将所述二维人物图像数据进行三维重建，得到所述三维人物模型。

在一种具体的实现方式中，所述装置还包括：接收模块；

所述接收模块用于接收用户输入的人物模型编辑指令；

所述处理模块还用于根据所述人物模型编辑指令，对所述三维人物模型进行设计。

第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器以及计算机程序；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的图像处理方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的图像处理方法。

本发明实施例提供的图像处理方法、装置、设备以及存储介质，通过获取用户的交互信息，所述交互信息包括：语音信息、动作信息、表情信息中的至少一种，并根据交互信息，确定对三维人物模型的控制指令，所述三维任务模型是根据用户输入的二维人物图像数据转换得到的三维影像数据，再根据控制指令，控制三维人物模型执行对应的动作，实现了根据用户输入的不同的交互信息，产生多种丰富的交互动作，增加了交互的趣味性，进而改善了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种图像处理方法实施例一的流程示意图；

图2为本发明实施例提供的一种图像处理方法实施例二的流程示意图；

图3为本发明实施例提供的一种获取三维人物模型的方法的流程示意图；

图4为本发明实施例提供的另一种获取三维人物模型的方法的流程示意图；

图5为本发明实施例提供的一种图像处理方法实施例三的流程示意图；

图6为本发明实施例提供的一种图像处理装置实施例一的结构示意图；

图7为本发明实施例提供的一种图像处理装置实施例而的结构示意图；

图8为本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本方案的执行主体为一种电子设备，该电子设备可以是一种具有显示屏的终端设备，例如手机、平板、电脑或者可穿戴设备，或者，可以是一种具有显示屏的车载设备，该车载设备可以是安装于车辆内部的也可以是集成在车辆中的，例如，可以集成于无人驾驶车辆的控制设备中。

本方案提供的一种图像处理方法能够为任何一种人工智能(artificialintelligence，ai)产品提供可供交互的ai形象。

下面通过几个具体实施例对该方案进行详细说明。

图1为本发明实施例提供的一种图像处理方法实施例一的流程示意图，如图1所示，该图像处理方法，包括：

s101：获取用户的交互信息。

在本步骤中，电子设备为了实现与用户的交互，需要获取用户的交互信息，该交互信息包括：语音信息、动作信息、表情信息中的至少一种，电子设备可通过语音采集装置采集用户的语音信息，通过图像采集装置对用户的进行图像采集，并对采集的图像进行识别处理，识别该用户的肢体语言和/或表情，相应的，得到实时的表情信息和/或动作信息。

电子设备的语音采集装置和图像采集装置均可以是电子设备中设置的装置，也可以是与电子设备连接的，独立于该电子设备的装置，其中，语音采集装置可以是麦克风，图像采集装置可以是摄像头，优选的，可以是单目摄像头，或者，双目摄像头等等。

s102：根据交互信息，确定对三维人物模型的控制指令。

所述三维任务模型是根据用户输入的二维人物图像数据转换得到的三维影像数据。

三维(dimensions，3d)人物模型是一种静态的3d人物形象数据，在本步骤中，根据步骤s101中获取的用户的交互信息，确定对三维人物模型的控制指令，该控制指令能够使三维人物模型进行动态的展示。

换一种说法，电子设备根据交互信息，可获知用户的交互意图，根据交互意图，确定了回复内容，该回复内容中包括了三维人物模型的应答动作，例如，姿态、行为、表情等，而生成的控制指令中包含了调节该三维人物模型的参数，或者包含了调节该三维人物模型参数的方案。

在一些实施例中，在电子设备中预设置了交互信息和控制指令之间的对应关系，根据获取的交互信息，于交互信息和控制指令之间的对应关系进行对比，得到控制指令。

根据应用场景的不同，存在不同的对应关系，例如，当前场景需要三维人物模型模仿用户做出的动作和/或表情，则根据交互信息确定的控制指令用于控制三维人物模型做出与用户相同的动作和/或表情。

再例如，当前场景需要三维人物模型为用户提供演示服务，用户输入了语音“在发生危险时，如何对车辆采取紧急制动”，则根据该交互信息，确定的控制指令用于控制三维人物模型以近似人类的肢体语言以及表情向用户演示对车辆采取紧急制动的过程。

s103：根据控制指令，控制三维人物模型执行对应的动作。

在本步骤中，根据步骤s102中确定的控制指令，控制三维人物模型执行对应的动作，在一种具体的实现方式中，控制三维人物模型执行对应的动作可以通过调节该三维人物模型的参数实现。

本发明实施例提供的一种图像处理方法，通过获取用户的交互信息，所述交互信息包括：语音信息、动作信息、表情信息中的至少一种，并根据交互信息，确定对三维人物模型的控制指令，所述三维任务模型是根据用户输入的二维人物图像数据转换得到的三维影像数据，再根据控制指令，控制三维人物模型执行对应的动作，实现了根据用户输入的不同的交互信息，产生多种丰富的交互动作，增加了交互的趣味性，进而改善了用户体验。

在图1所示实施例的基础上，图2为本发明实施例提供的一种图像处理方法实施例二的流程示意图，如图2所示，该图像处理方法，在步骤s101获取用户的交互信息之前，还包括：

s104：获取三维人物模型。

如图1的实施例所示，本方案通过三维人物模型的动态展示，为用户提供了一种可视的交互对象。因而，本方案还包括对三维人物模型的获取过程，电子设备获取三维人物模型包括但不限于一下两种可能的方式：

方式一：参见图3，图3为本发明实施例提供的一种获取三维人物模型的方法的流程示意图，如图3所示：

s210：采集用户的二维人物图像数据。

所述二维人物图像数据包含深度信息。

具体的，可以通过电子设备上设置的图像采集装置或者与电子设备连接的图像采集装置对待拍摄人物进行图像采集，该待拍摄人物可以是用户本身，图像采集装置可以是摄像头，优选的，可以是双目摄像头，或者，可以是任意能够采集图像深度信息的摄像头。

s211：将二维人物图像数据进行三维重建，得到三维人物模型。

将步骤s210中采集的二维人物图像数据进行三维重建，例如通过体绘制或者面绘制的方法，得到三维人物模型，使原本的二维人物图像数据转换为三维影像数据。

方式二：参见图4，图4为本发明实施例提供的另一种获取三维人物模型的方法的流程示意图，如图4所示：

s220：获取用户输入的二维人物图像数据。

在本步骤中，二维人物图像数据可以是通过其他设备发送给电子设备的，例如，可通过另一终端设备(如手机等)将预先获取的二维人物图像数据通过蓝牙、无线宽带(wifi)、近场通信(nearfieldcommunication，nfc)等数据传输方式发送给电子设备，该二维人物图像数据可以是根据用户喜好选择的任意的人物图像的图像数据，可以是用户本身的人物图像，也可以是名人、明星照片，或者社交头像等，即电子设备获取了用户输入的，或者说其他设备发送的二维人物图像数据。

s221：将二维人物图像数据进行三维重建，得到三维人物模型。

本步骤与步骤s211类似，此处不再赘述。

本实施例中，通过获取三维人物模型，使用户可以自定义生成三维人物模型的人物形象，增加了产品的丰富性，使交互的过程更具趣味性，进而，提升了用户体验。

在上述实施例的基础上，图5为本发明实施例提供的一种图像处理方法实施例三的流程示意图，如图5所示，该图像处理方法，还包括：

s301：接收用户输入的人物模型编辑指令。

在本步骤中，电子设备接收用户输入的人物模型编辑指令，该人物模型编辑指令用于指示对三维人物模型进行编辑，例如增加、删除、变更三维人物模型的人物发型、衣着、妆容、饰品等要素。

用户可通过电子设备提供的人机交互界面输入人物模型编辑指令，或者通过语音控制方式向电子设备输入人物模型编辑指令。

s302：根据人物模型编辑指令，对三维人物模型的进行设计。

电子设备根据接收到的人物模型编辑指令，实现对三维人物模型的设计，包括但不限于，增加、删除、变更三维人物模型的人物发型、衣着、妆容、饰品等。

本实施例中，通过接收用户输入的人物模型编辑指令，并根据人物模型编辑指令，对三维人物模型的进行设计，为用户提供了更加贴合用户喜好的三维人物模型。

在一种具体的实现方式中，电子设备中预设置了多种人物性格属性，以及每种人物性格属性对应的动画类型(每个动画类型包括多种画面效果、多种三维人物模型的动作、多种三维人物模型的表情等)，电子设备接收用户输入的或者选择的人物性格属性，并根据人物性格属性，确定对应的动画效果，进而，根据交互信息结合对应的动画效果，确定对三维人物模型的控制指令。

图6为本发明实施例提供的一种图像处理装置实施例一的结构示意图，如图6所示，该图像处理装置10包括：

获取模块11，用于获取用户的交互信息；所述交互信息包括：语音信息、动作信息、表情信息中的至少一种；

处理模块12，用于根据所述交互信息，确定对三维人物模型的控制指令，所述三维任务模型是根据用户输入的二维人物图像数据转换得到的三维影像数据；

所述处理模块12，用于根据所述控制指令，控制所述三维人物模型执行对应的动作。

本发明实施例提供的一种图像处理装置10，包括获取模块11和处理模块12，通过获取用户的交互信息，所述交互信息包括：语音信息、动作信息、表情信息中的至少一种，并根据交互信息，确定对三维人物模型的控制指令，所述三维任务模型是根据用户输入的二维人物图像数据转换得到的三维影像数据，再根据控制指令，控制三维人物模型执行对应的动作，实现了根据用户输入的不同的交互信息，产生多种丰富的交互动作，增加了交互的趣味性，进而改善了用户体验。

在一种可能的设计中，所述获取模块11还用于：

获取所述三维人物模型。

在一种可能的设计中，所述获取模块11具体用于：

采集所述用户的二维人物图像数据；所述二维人物图像数据包含深度信息；

将所述二维人物图像数据进行三维重建，得到所述三维人物模型；

或者，

获取所述用户输入的二维人物图像数据；

将所述二维人物图像数据进行三维重建，得到所述三维人物模型。

在上述实施例的基础上，图7为本发明实施例提供的一种图像处理装置实施例而的结构示意图，如图7所示，该图像处理装置10还包括：

接收模块13；

所述接收模块13用于接收用户输入的人物模型编辑指令；

所述处理模块12还用于根据所述人物模型编辑指令，对所述三维人物模型进行设计。

本实施例提供的图像处理装置可用于执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图8为本发明实施例提供的电子设备的硬件结构示意图。如图8所示，该电子设备20包括：处理器201以及存储器202；其中

存储器202，用于存储计算机执行指令；

处理器201，用于执行存储器存储的计算机执行指令，以实现上述实施例中电子设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器202既可以是独立的，也可以跟处理器201集成在一起。

当存储器202独立设置时，该终端设备还包括总线203，用于连接所述存储器202和处理器201。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的图像处理方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponent，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(applicationspecificintegratedcircuits，简称：asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。