图像处理终端及图像处理方法与流程

本发明涉及图像处理技术领域，尤其涉及基于图像处理终端及图像处理方法。

背景技术

现阶段，终端设备采集摄像头的图像进行处理，有2种方式，常见的方式：(1)使用终端设备内部的处理器模块，如isp，进行图像处理，实现raw数据到yuv数据的转换。(2)使用外置的处理器模块，如外置dsp，进行图像处理，实现raw数据到yuv数据的转换，再输入到终端设备处理器进行保存。

图1所示为当前手持终端的典型图像采集及处理的流程图，可以看到整个处理的流程为流水线的方式将数据由raw域转为yuv域，如果是外置dsp的方式处理图像，则处理的数据为raw域，经过处理后的数据，转化为yuv或者仍然为raw数据传输至主控芯片进一步处理。手持终端图像处理流程缺少在主控制器后端的yuv域处理，一些特定算法将很难实现。

由于当前手持终端处理处理器的局限或者额外的算法需要在yuv域进行处理，如果使用cpu进行处理，如多帧合成、降噪、美颜等，需要消耗过多的cpu资源，如果使用外置dsp进行处理，由于目前的架构设计，只能介于图像采集模块和主控制器之间，对主控而言属于前端，对于主控处理器完成处理之后的yuv域后端数据，目前还没有办法进行外置dsp处理。

针对上述问题，亟需一种全新的图像处理终端及图像处理方法。

技术实现要素：

有鉴于此，本发明实施例提供一种图像处理终端及图像处理方法，至少部分的解决现有技术中存在的问题。

第一方面，本发明实施例提供了一种图像处理终端，包括：

摄像装置，所述摄像装置获取目标图像；

主控制器，所述主控制器具有第一输入接口及第一输出接口，所述第一输入接口从所述摄像装置接收所述目标图像；

显示屏，所述显示屏与所述第一输出接口连接，所述显示屏显示所述第一输出接口输出的预览图像；以及

外置图像处理器，所述外置图像处理器对所述目标图像进行处理，并将处理后的目标图像发送给所述主控器。

根据本发明实施例的一种具体实现方式，所述主控制器具有第二输出接口，所述第二输出接口将所述第一输入接口接收到的所述目标图像传送给所述外置图像处理器。

根据本发明实施例的一种具体实现方式，所述主控制器具有第二输入接口，所述第二输入接口接收所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述主控制器对所述目标图像进行第一图形处理，形成预览图像。

根据本发明实施例的一种具体实现方式，所述外置图像图像处理器对所述目标对象进行第二图形处理，形成所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述处理后的目标图像与所述目标图像具有不同的图像数据格式。

根据本发明实施例的一种具体实现方式，所述图像处理终端还包括：

存储器，所述主控制器将所述处理后的目标图像保存在所述存储器。

第二方面，本发明实施例还提供了一种图像处理方法，包括：

利用主控制器的第一输入接口接收从摄像装置接收到的目标图像；

对所述目标图像进行数据处理，形成预览图像；

通过所述主控制器的第一输出接口在显示屏显示所述预览图像；

利用外置图像处理器对所述目标图像进行处理，并将处理后的目标图像发送给所述主控器执行图像保存操作。

根据本发明实施例的一种具体实现方式，所述主控制器具有第二输出接口，所述第二输出接口将所述第一输入接口接收到的所述目标图像传送给所述外置图像处理器。

根据本发明实施例的一种具体实现方式，所述主控制器具有第二输入接口，所述第二输入接口接收所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述对所述目标图像进行数据处理，形成预览图像，包括：

利用所述主控制器对所述目标图像进行第一图形处理，形成预览图像。

根据本发明实施例的一种具体实现方式，所述利用外置图像处理器对所述目标图像进行处理，包括：

利用所述外置图像图像处理器对所述目标对象进行第二图形处理，形成所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述处理后的目标图像与所述目标图像具有不同的图像数据格式。

根据本发明实施例的一种具体实现方式，所述将处理后的目标图像发送给所述主控器执行图像保存操作，包括：

所述主控制器将所述处理后的目标图像保存在存储器中。

本发明实施例提供的图像处理终端及图像处理方法，在主控制器后端进行图像处理从而满足特定算法的需求。能够将特定的算法需要在yuv域进行处理，并且处理速度要求高，避免了主控制器cpu不能满足要求或者会使主控制器cpu负载过重造成系统卡顿、性能降低，如帧率降低、不流畅等现象。本发明方案具有降低cpu负载的优点，对于处理能力不足的平台或者设备，也可以达到旗舰平台的处理效果，具有成本优势。同时，本发明具有信息保护性的特点，特定厂商的算法或者重要代码可以运行在外置的图像处理器，保护核心技术不会因为集成到手持终端处理器造成相关代码、技术的泄漏。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为现有技术中终端的典型图像采集及处理的流程示意图；

图2为本发明实施例提供的一种图像处理终端的硬件结构示意图；

图3为本发明实施例提供的一种图像处理方法的流程示意图；

图4为本发明实施例提供的一种图像发送流程示意图；

图5为本发明实施例提供的一种图像接收流程示意图；

图6为本发明实施例提供的一种电子设备结构示意图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请所要解决的问题是如何在手持终端设备的后端进行图像处理，再传输回主控处理器进行二次处理或保存，从而满足特定算法的需求。

相对于使用手持终端cpu进行yuv域算法的方式，本发明方案具有降低cpu负载的优点，对于处理能力不足的平台或者设备，也可以达到旗舰平台的处理效果，具有成本优势。同时本发明具有信息保护性的特点，特定厂商的算法或者核心代码可以运行在外置的处理器，保护核心技术不会因为集成到手持终端处理器造成相关代码及技术泄漏。

图1所示为当前手持终端的典型图像采集及处理的流程图，可以看到整个处理的流程为流水线的方式将数据由raw域转为yuv域，如果是外置dsp的方式处理图像，则处理的数据为raw域，经过处理后的数据，转化为yuv或者仍然为raw数据传输至主控芯片进一步处理。手持终端图像处理流程缺少在主控制器后端的yuv域处理，一些特定算法将很难实现。

参见图2，本发明实施例提供了一种图像处理终端，包括：摄像装置、主控制器、显示屏、外置图像处理器。

摄像装置是图像处理终端的图像获取装置，作为一个例子，摄像装置可以采用多种类型的能够获取图像的电子元件，例如，摄像装置可以是普通的cmos摄像头，也可以深度摄像头或者红外、激光等摄像装置，所述摄像装置获取目标图像，摄像装置获取的目标图像，可以是静态的图片，也可以是动态的视频图像(多个帧图像)。

主控制器是图像处理终端的核心部件，所述主控制器具有第一输入接口及第一输出接口。作为一个例子，第一输入接口可以是常见的csi接口，第一输出接口可以是常见的dsi接口。所述第一输入接口从所述摄像装置接收所述目标图像，目标图像可以是静态图像或动态的视频。

显示屏用来显示摄像装置获取的目标图像，所述显示屏与所述第一输出接口连接，由于现在的摄像装置获取的图像数据较大，如果直接在显示屏上显示摄像装置获取的图像数据，由于在显示之前需要对摄像装置获取的原始数据进行数据转换，这会极大的占用主控制器(例如，cpu)的资源，会导致显示屏显示的图像出现卡顿等现象。为此，主控制器对摄像装置获取的原始图像进行轻量级的处理，即仅提取原始图像中的预览图像，形成后的预览图像通过第一输出接口输出给显示屏，所述显示屏显示所述第一输出接口输出的预览图像。

用户获取了图像之后，通常需要图像进行特定的处理(例如，添加滤镜、执行特定图像算法等)，此时，在图像处理终端的内部集成具有特定图像处理功能的外置图像处理器，外置图像处理器可以集成特定的加密代码，通过硬件加密的方式，能够保证特定的图像处理代码遭到泄密的危险。所述外置图像处理器对所述目标图像进行处理，并将处理后的目标图像发送给所述主控器，这样一来，极大的减轻了主处理器的负担。

为了保证主控制器与外置图像处理器进行有效的数据传输，根据本发明实施例的一种具体实现方式，所述主控制器具有第二输出接口，所述第二输出接口将所述第一输入接口接收到的所述目标图像传送给所述外置图像处理器。作为一个例子，第二输出接口可以是dsi接口，第二输入接口可以是csi接口，这样一来，主控制器便需要具有2个图像传输通道。

根据本发明实施例的一种具体实现方式，所述主控制器具有第二输入接口，所述第二输入接口接收所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述主控制器对所述目标图像进行第一图形处理，形成预览图像。

根据本发明实施例的一种具体实现方式，所述外置图像图像处理器对所述目标对象进行第二图形处理，形成所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述处理后的目标图像与所述目标图像具有不同的图像数据格式，例如，目标图像为raw域数据，处理后的目标对象为yuv域数据。

根据本发明实施例的一种具体实现方式，所述图像处理终端还包括：

存储器，所述主控制器将所述处理后的目标图像保存在所述存储器。

参见图3，本发明实施例还提供了一种图像处理方法，包括：

s301，利用主控制器的第一输入接口接收从摄像装置接收到的目标图像。

摄像装置是图像处理终端的图像获取装置，作为一个例子，摄像装置可以采用多种类型的能够获取图像的电子元件，例如，摄像装置可以是普通的cmos摄像头，也可以深度摄像头或者红外、激光等摄像装置，所述摄像装置获取目标图像，摄像装置获取的目标图像，可以是静态的图片，也可以是动态的视频图像(多个帧图像)。

主控制器是图像处理终端的核心部件，所述主控制器具有第一输入接口及第一输出接口。作为一个例子，第一输入接口可以是常见的csi接口，第一输出接口可以是常见的dsi接口。所述第一输入接口从所述摄像装置接收所述目标图像，目标图像可以是静态图像或动态的视频。

s302，对所述目标图像进行数据处理，形成预览图像。

显示屏用来显示摄像装置获取的目标图像，所述显示屏与所述第一输出接口连接，由于现在的摄像装置获取的图像数据较大，如果直接在显示屏上显示摄像装置获取的图像数据，由于在显示之前需要对摄像装置获取的原始数据进行数据转换，这会极大的占用主控制器(例如，cpu)的资源，会导致显示屏显示的图像出现卡顿等现象。为此，主控制器对摄像装置获取的原始图像进行轻量级的处理，即仅提取原始图像中的预览图像，形成后的预览图像通过第一输出接口输出给显示屏，所述显示屏显示所述第一输出接口输出的预览图像；以及

s303，通过所述主控制器的第一输出接口在显示屏显示所述预览图像。

s304，利用外置图像处理器对所述目标图像进行处理，并将处理后的目标图像发送给所述主控器执行图像保存操作。

用户获取了图像之后，通常需要图像进行特定的处理(例如，添加滤镜等)，此时，在图像处理终端的内部集成具有特定图像处理功能的外置图像处理器，外置图像处理器可以集成特定的加密代码，通过硬件加密的方式，能够保证特定的图像处理代码遭到泄密的危险。所述外置图像处理器对所述目标图像进行处理，并将处理后的目标图像发送给所述主控器，这样一来，极大的减轻了主处理器的负担。

作为一种例子，第一输入接口为csi0，第一输出接口为dsi0，第二输入接口为csi1，第一输出接口为dsi1。参见图4，图4为本发明实施例提供的一种图像发送流程示意图，可以包括如下步骤：

s401，csi0接收图像传感器数据；

s401，主控制器处理图像传感器数据；

s403，通过dsi0发送预览图像数据至显示屏显示；

s404，通过dsi1发送拍照数据至外置图像处理器；

s405，图像处理器进行数据处理。

与之对应的，图5为本发明实施例提供的一种图像接收流程示意图，具体的，可以包括如下步骤：

s501，图像处理器将处理后的数据通过csi1发送到主控制器；

s502，主控制器进行额外处理或不处理；

s503，保存数据。

根据本发明实施例的一种具体实现方式，所述主控制器具有第二输出接口，所述第二输出接口将所述第一输入接口接收到的所述目标图像传送给所述外置图像处理器。

根据本发明实施例的一种具体实现方式，所述主控制器具有第二输入接口，所述第二输入接口接收所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述对所述目标图像进行数据处理，形成预览图像，包括：

利用所述主控制器对所述目标图像进行第一图形处理，形成预览图像。

根据本发明实施例的一种具体实现方式，所述利用外置图像处理器对所述目标图像进行处理，包括：

利用所述外置图像图像处理器对所述目标对象进行第二图形处理，形成所述处理后的目标图像。

根据本发明实施例的一种具体实现方式，所述处理后的目标图像与所述目标图像具有不同的图像数据格式。

根据本发明实施例的一种具体实现方式，所述将处理后的目标图像发送给所述主控器执行图像保存操作，包括：

所述主控制器将所述处理后的目标图像保存在存储器中。

图6示出了本发明实施例提供的电子设备60的结构示意图，上述图像处理终端可以是该电子设备的一种具体样式，上述图像处理方法可以在图6所示的电子设备60中运行。电子设备60包括至少一个处理器601(例如cpu)，至少一个输入输出接口604，存储器602，和至少一个通信总线603，用于实现这些部件之间的连接通信。至少一个处理器601用于执行存储器602中存储的可执行模块，例如计算机程序。存储器602为非暂态存储器(non-transitorymemory)，其可以包含易失性存储器，例如高速随机存取存储器(ram：randomaccessmemory)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。通过至少一个输入输出接口604(可以是有线或者无线通信接口)实现与至少一个其他网元之间的通信连接。

在一些实施方式中，存储器602存储了程序6021，处理器601执行程序6021，用于执行前述任一基于电子设备的图像处理终端的实施例。

该电子设备可以以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：pda、mid和umpc设备等，例如ipad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)特定服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子设备。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将

一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些。

实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。