图像处理方法、图像处理装置及终端与流程

本发明涉及图像处理技术，特别涉及一种图像处理方法、图像处理装置及终端。

背景技术：

现有技术包括采用传统基于机器学习智能视觉技术，可靠性较低，失误率高，误判多，环境适应性差，算法的核心流程，参数，特征函数等都严重依赖人工指导。现有技术还包括基于深度学习的视觉算法，普遍面临的模型数据巨大，运算量巨大等难题，基本只能依赖云端的服务器集群进行后处理。由于难以适配移动终端内存限制和处理能力不足的现状，现行方案大多需要将前端采集的视频数据上传到云端集中处理，不但严重增加了服务器端的负荷，而且带来大量无效带宽(99.9％的视频数据里并没有有效内容)，同时，鉴于网络传输和处理延迟，也无法达到实时性的需求。

技术实现要素：

本发明的实施方式旨在至少解决现有技术中存在的技术问题之一。为此，本发明的实施方式需要提供一种图像处理方法、图像处理装置及终端。

本发明提供一种图像处理方法，包括以下步骤：

控制摄像头获取多帧连续图像；

控制所述终端对所述连续图像进行处理以获取优化图像；

控制所述终端从所述优化图像中筛选出误差值大于预定值的难识别图像；

控制所述终端采用深度学习技术对所述难识别图像进行处理；及

控制所述终端对处理后的图像中进行人脸识别，所述处理后的图像包括采用深度学习技术处理后的图像。

在某些实施方式中，所述终端包括移动终端。

在获取多帧连续图像，例如视频图像后，首先对其进行处理。例如利用各种在其它领域成熟的算法工具对99％以上的“低难度”智能分支(branch)进行简化。然后将1％“高难度”的分支留给复杂的深度学习处理器，即进行s4的深度学习处理。从而达到在几乎不损失智能性的前提下较大地提高运算性能，也使得普通终端设备即可实现处理，不需上传云端服务器。可解决现有技术的某些问题。

在某些实施方式中，所述控制所述终端对所述连续图像进行处理以获取优化图像的步骤的处理包括数字信号压缩。

在某些实施方式中，所述数字信号压缩包括信号预测/补偿、小波(傅里叶)变换、自适应量化机制、码率/失真反馈及/或熵编码(上下文算数编码)。

在某些实施方式中，所述控制所述终端对所述连续图像进行处理以获取优化图像的步骤的处理包括混合学习，所述混合学习包括局部/全局运动预测、点位纠正、3d表述纠正。

本发明还提供一种图像处理装置，用于终端，所述装置包括：

图像获取模块，用于控制摄像头获取多帧连续图像；

第一处理模块，用于控制所述终端对所述连续图像进行处理以获取优化图像；

筛选模块，用于控制所述终端从所述优化图像中筛选出误差值大于预定值的难识别图像；

第二处理模块，用于控制所述终端采用深度学习技术对所述难识别图像进行处理；及

识别模块，用于控制所述终端对处理后的图像中进行人脸识别，所述处理后的图像包括采用深度学习技术处理后的图像。

在某些实施方式中，所述终端包括移动终端。

在某些实施方式中，所述第一处理模块的处理包括数字信号压缩。在某些实施方式中，所述数字信号压缩包括信号预测/补偿、小波(傅里叶)变换、自适应量化机制、码率/失真反馈及/或熵编码(上下文算数编码)。

在某些实施方式中，所述第一处理模块的处理包括混合学习，所述混合学习包括局部/全局运动预测、点位纠正、3d表述纠正。

本发明还提供一种终端，其包括摄像头及如上述实施方式所述的图像处理装置。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的图像处理方法的流程示意图。

图2是本发明某些实施方式的终端及图像处理装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅可用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1-2，本发明提供一种图像处理方法，可用于终端1000，方法包括以下步骤：

s1，控制摄像头300获取多帧连续图像；

s2，控制终端1000对连续图像进行处理以获取优化图像；

s3，控制终端1000从优化图像中筛选出误差值大于预定值的难识别图像；

s4，控制终端1000采用深度学习技术对难识别图像进行处理；及

s5，控制终端1000对处理后的图像中进行人脸识别，处理后的图像包括采用深度学习技术处理后的图像。

请参阅图2，本发明实施方式的图像处理方法可由本发明实施方式的图像处理装置100实现，其中，图像处理装置100可用于终端1000，s1、s2、s3、s4及s5可分别由图像处理装置100的图像获取模块110、第一处理模块120、筛选模块130、第二处理模块140及识别模块150实现。

也就是说，图像获取模块110，可用于控制摄像头300获取多帧连续图像；第一处理模块120，可用于控制终端1000对连续图像进行处理以获取优化图像；筛选模块130，可用于控制终端1000从优化图像中筛选出误差值大于预定值的难识别图像；第二处理模块140，可用于控制终端1000采用深度学习技术对难识别图像进行处理；识别模块150，可用于控制终端1000对处理后的图像中进行人脸识别，处理后的图像包括采用深度学习技术处理后的图像。

请参阅图2，本发明还提供一种终端1000，包括摄像头300及本发明实施方式的图像处理装置100。

本方法在终端1000上完成，在某些实施方式中，终端1000可以是移动终端1000，例如手机、平板电脑、笔记本电脑等。

在获取多帧连续图像，例如视频图像后，首先对其进行处理。例如利用各种在其它领域成熟的算法工具对99％以上的“低难度”智能分支(branch)进行简化。然后将1％“高难度”的分支留给复杂的深度学习处理器，即进行s4的深度学习处理。从而达到在几乎不损失智能性的前提下较大地提高运算性能，也使得普通终端1000设备即可实现处理，不需上传云端服务器。

在某些实施方式中，s3的处理包括数字信号压缩。在某些实施方式的图像处理装置100中，筛选模块130的处理包括数字信号压缩。在某些实施方式中，数字信号压缩包括信号预测/补偿、小波(傅里叶)变换、自适应量化机制、码率/失真反馈及/或熵编码(上下文算数编码)。

在模型性能损失<1％的前提下，将原有的>1gb的模型数据压缩到<2mb，压缩率超过500倍。模型压缩是人工智能领域刚刚开始研究的方向，但在数字信号领域例如音视频/图像压缩领域则有超过30年的研究历史，技术非常复杂和成熟。本发明实施方式的算法基于这些技术改进而成，集合了包括信号预测/补偿，小波(傅里叶)变换，自适应量化机制，码率/失真反馈，熵编码(上下文算数编码)等具体技术。通过压缩数据，可减少运算量，提升运算速度。

在某些实施方式中，s3的处理包括混合学习，混合学习包括局部/全局运动预测、点位纠正、3d表述纠正。在某些实施方式中的图像处理装置100中，第一处理模块120的处理包括混合学习，混合学习包括局部/全局运动预测、点位纠正、3d表述纠正。

即打散常规的深度学习流水线，对视频数据首先采取局部/全局运动预测，点位纠正，3d表述纠正。此外，混合学习算法还可包括误差控制和统计，即s3和s4，对误差过大的图像(通常少于1％)先通过传统机器学习方法筛查，只有最后剩余的极为困难的少量数据才会进入深度学习流水线。所谓误差过大是指在通过快捷算法后对结果评估认为不理想，可体现为一个量化的值。如此，采用普通的终端1000设备即可完成运算，不需上传至云端处理，从而减少了服务器负担，了不会有网络传输延迟等问题，可实现实时性。

其中很多技术是跨界引入的，包括并非“传统计算机视觉”领域的技术，比如视频运动补偿、3d图形变换、数字信号压缩等技术。数字信号压缩及混合学习的各项技术打断了深度学习的处理流水线，利用上述技术对大量分支进行bypass(短路优化)。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。