组合式影像处理系统及组合式影像处理方法
【专利摘要】本发明公开了一种组合式影像处理系统及组合式影像处理方法，其适用于一预定影像处理架构。组合式影像处理系统包括N个逻辑硬件以及控制模块，N为正整数。其中，各逻辑硬件分别对应一演算架构，控制模块连接各逻辑硬件，并选择性地应用N个逻辑硬件来串接组成预定影像处理架构中的至少一部分，以进行影像处理。本发明可有效地降低逻辑闸的使用数量，对于硬件资源的需求较低，具有较大的硬件弹性调整的空间。
【专利说明】组合式影像处理系统及组合式影像处理方法
【技术领域】
[0001]本发明涉及一种影像处理系统及影像处理方法，特别涉及一种可弹性选择所需的逻辑硬件，以实现一预定的影像处理架构的组合式影像处理系统及组合式影像处理方法。
【背景技术】
[0002]目前，在影像处理技术(如人脸侦测)上，常会应用到一个很大的影像处理架构，如图1所示。图1为习知的影像处理架构树状图，其中，在树状图10中的每一个节点101代表影像处理架构中的一个子处理架构。
[0003]在人脸侦测的应用上，每一个节点101所处理的资料量可能会非常的大。然而实务上因为成本等因素的考量，只能提供有限的硬件资源。因此，应用到太大的影像处理架构时，可能会造成硬件内部记忆体的不足。
[0004]除此之外，现行一个影像处理架构完成后，需要制作一块专门应用此影像处理架构的硬件设计。例如，专门制作一块积体电路(Integrated Circuit, IC),并针对树状图10中的每一个节点101以及每一条树状路径102所对应的子处理架构制作出相对应的逻辑硬件去实现。
[0005]以此方式实现影像处理架构的演算功能，虽能达到最快的影像处理速度。然而针对设计者而言，日后若需改变此影像处理架构，则代表需再重新针对改变后的影像处理架构设计一块新的1C。由此可知，目前实现影像处理架构的硬件设计层面，其改变弹性度相当低。
【发明内容】
[0006]本发明的目的就是提供一种组合式影像处理系统及组合式影像处理方法，以解决习知技术中硬件资源有限而无法实现太大的影像处理架构，以及需针对不同的影像处理架构特别订做不同的1C，使得关于实现影像处理架构的硬件设计层面的改变弹性低的问题。
[0007]为了实现上述目的，本发明采用了以下技术方案:
[0008]一种组合式影像处理系统，适于应用一预定影像处理架构，其特征在于，它包括:N个逻辑硬件，各个所述逻辑硬件分别对应一演算架构，其中，N为大于I的正整数；以及一控制模块，所述控制模块连接各个所述逻辑硬件，并选择性地应用所述N个逻辑硬件，以使被应用的所述逻辑硬件所对应的所述演算架构串接组成所述预定影像处理架构的至少一部分，以进行影像处理。
[0009]一种组合式影像处理方法，适于应用一预定影像处理架构，其特征在于，它包括以下步骤:提供N个逻辑硬件，各个所述逻辑硬件分别对应一演算架构，其中，N为大于I的正整数；以及利用一控制模块选择性地应用所述N个逻辑硬件，来使被应用的所述逻辑硬件所对应的所述演算架构串接组成所述预定影像处理架构的至少一部分，以进行影像处理。
[0010]一种组合式影像处理系统，适于应用一预定影像处理架构，其特征在于，它包括:N个逻辑硬件，所述N个逻辑硬件分别用以执行影像运算程序，其中，各个所述逻辑硬件对应的一演算架构被选择性地应用组成所述预定影像处理架构的至少一部分；以及一控制模块，用以执行组合应用程序，以选择性地应用所述N个逻辑硬件，使被应用的所述逻辑硬件所对应的所述演算架构串接组成所述预定影像处理架构的至少一部分，以进行影像处理。
[0011]承上所述，本发明组合式影像处理系统及组合式影像处理方法具有下述优点:
[0012](I)本发明藉由控制模块选择性地利用N个逻辑硬件来组成预定影像处理架构中的至少一部分，以进行影像处理，因此，相较于习知技术需要客制化一颗IC来实现预定影像处理架构的演算功能，本发明可有效地降低逻辑闸的使用数量。
[0013](2)本发明由于以逻辑硬件组成预定影像处理架构，而各逻辑硬件所处理的资料量相较于习知客制化的IC所处理的资料量低，所以，本发明对于硬件资源的需求较低。
[0014](3)本发明可选择性地应用不同的逻辑硬件，因此，当设计者欲改变预定影像处理架构时，本发明只需改变所应用的逻辑硬件，或改变逻辑硬件的应用顺序，即可实现改变过后的预定影像处理架构。故，本发明相较于习知技术需客制化新的IC来实现改变过后的预定影像处理架构，本发明具有较大的硬件弹性调整的空间。
【专利附图】
【附图说明】
[0015]图1是习知的影像处理架构树状图。
[0016]图2是本发明组合式影像处理系统的第一实施例的方块图。
[0017]图3是本发明所欲应用的预定影像处理架构树状示意图。
[0018]图4是本发明组合式影像处理系统的第一实施例的逻辑硬件应用顺序的第一示意图。
[0019]图5是本发明组合式影像处理系统的第一实施例的逻辑硬件应用顺序的第二示意图。
[0020]图6是本发明组合式影像处理系统的第二实施例的方块图。
[0021]图7是本发明组合式影像处理系统的第二实施例的逻辑硬件应用顺序的示意图。
[0022]图8是本发明组合式影像处理方法的流程图。
[0023]图9是本发明组合式影像处理方法的步骤S92的流程图。
【具体实施方式】
[0024]本发明组合式影像处理系统可应用于手持装置或影像撷取装置，例如:平板电脑(Tablet PC)、智慧型手机(Smartphone)、个人数位助理(Personal Digital Assistant)、超级移动电脑(Ultra-Mobile PC)、照相手机(Digital phone)、数位相机(DigitalCamera)、数位摄影机(Digital Video Camera)或终端机等电子产品,但不以此为限。
[0025]请参阅图2，其为本发明组合式影像处理系统的第一实施例的方块图。图中，组合式影像处理系统20包括第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203、控制模块210、流程设定模块220以及记忆模块230。
[0026]其中，控制模块210连接第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203，并且第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203各自具有实现不同的演算架构的功能。
[0027]更详细而言，请一并参阅图2与图3，图3为本发明所欲应用的预定影像处理架构树状示意图。其中，在树状图30中包括多个节点301a、301b、301c…301p，每一个节点可代表预定影像处理架构中的一子处理架构，亦即各个节点301a、301b、301c…301p可视为一个具有演算功能的处理单元。而第一逻辑硬件201所对应的演算架构相当于节点301a的子处理架构，第二逻辑硬件202所对应的演算架构相当于节点301b的子处理架构。第三逻辑硬件203所对应的演算架构相当于节点301c的子处理架构，并且可将节点301b的子处理架构所产生的输出结果与节点301c的子处理架构所产生的输出结果作比较输出，其中，比较输出的详细说明将在后面说明。
[0028]值得一提的是，本发明组合式影像处理系统可应用的预定影像处理架构在本实施例中可以是侦测人脸特征的预定影像处理架构，但不限于此。在本发明的其它实施例中，本发明组合式影像处理系统也可应用于掌纹特征、瞳孔特征、虹膜特征等各种预定影像处理架构。
[0029]而节点301a所对应的子处理架构可对影像进行人脸侦测的演算处理，并输出一处理结果。节点301b、301c与301d所对应的子处理架构可利用节点301a的处理结果对影像进行人脸特征的演算处理，并分别输出另一处理结果。以此类推，节点301θ、301?....301ρ可利用上一阶的节点的处理结果，对影像进行人脸特征的演算处理后分别输出另一处理结
果O
[0030]其中，在人脸侦测的领域中，此处理结果可包括对人脸特征侦测过后输出的特征值结果。由此可知，前述的比较输出在人脸侦测的领域中代表:若节点301b所对应的子处理架构对影像进行人脸侦测后输出的特征值为A，节点301c所对应的子处理架构对影像进行人脸侦测后输出的 特征值为B，则第三逻辑硬件203所对应的演算架构可输出一个A:B的处理结果，此即为前述中所述的将节点301b的子处理架构所产生的输出结果与节点301c的子处理架构所产生的输出结果作比较输出。
[0031]如此一来，当使用者欲利用本实施例的逻辑硬件组成图3的预定影像处理架构时，只需利用控制模块210选择性地重复应用第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203，即可完整地组成图3中的预定影像处理架构的树状图30。
[0032]更详细而言，如图4所示，图4为本发明组合式影像处理系统的第一实施例的逻辑硬件应用顺序的第一示意图。如图所示，控制模块210可选择应用第一逻辑硬件201的演算架构来实现节点301a的子处理架构。接着，选择第二逻辑硬件202的演算架构来实现节点301b的子处理架构，再重复选择第三逻辑硬件203的演算架构两次来实现节点301c以及节点301d的子处理架构。
[0033]接着，控制模块210再依序以应用第二逻辑硬件202、第三逻辑硬件203与第三逻辑硬件203的顺序四次，即可实现预定演算架构中的节点301a、301b...至301k、301m所组成的树状架构。
[0034]接着，控制模块210以应用第二逻辑硬件202、第二逻辑硬件202、第三逻辑硬件203与第三逻辑硬件203的顺序一次来实现预定演算架构中的节点3011、301n、301o与30 Ip所组成的树状架构。
[0035]如此一来，藉由控制模块210选择性地重复利用第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203，本实施例可利用三个逻辑硬件即可组合成庞大的预定影像处理架构。因此，本实施例相较于习知技术可有效地降低逻辑闸的使用数量。[0036]除此之外，由于本实施例的逻辑硬件只用以实现一个节点的子处理架构，因此对于内部记忆体的存取需求较低。举例而言，在影像处理架构(如人脸侦测)中，若一个节点的资料处理量可达到30K(1K等于1024个位元组)的大小，则习知技术中庞大的影像处理架构中包含数十个节点，即代表需要有数百K的内部记忆体来供使用。有此可知,本实施例因为以一个逻辑硬件接着一个逻辑硬件的方式重复应用，因此，只需要IOK的内部记忆体即可执行如图2中的预定影像处理架构，因此，可有效地降低硬件内部记忆体的使用需求。
[0037]另外，当设计者想将原本应用的预定影像处理架构作调整时，可重新选择第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203的使用顺序，即可组成不同的预定影像处理架构。因此，本实施例组合式影像处理系统可依据不同的预定影像处理架构而弹性地调整所欲应用的逻辑硬件，而不需另外客制化不同的积体电路(Integrated Circuit, IC)来实现不同的预定影像处理架构。
[0038]接着，请继续参考图2，如图所示，组合式影像处理系统20的流程设定模块220连接控制模块210，并且具有一预定流程。控制模块210可根据此预定流程选择性地应用第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203。其中，预设流程可由使用者或设计者活动性地设定。例如，当使用者欲应用不同的预定影像处理架构时，则将相对应的树状处理流程资讯输入至流程设定模块220，以产生预设流程，则控制模块210即可根据此预设流程活动性地利用第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203组成所欲应用的预定影像处理架构。
[0039]记忆模块230连接控制模块210，用以提供控制模块储存或存取各逻辑单元的处理结果。举例而言，第一逻辑硬件201对影像执行演算处理过后输出的一处理结果将先被暂存至记忆模块230。而第二逻辑硬件202则利用控制模块210存取第一逻辑硬件201的处理结果来进行演算处理。
[0040]请参阅图5，其为本发明组合式影像处理系统的第一实施例的逻辑硬件应用顺序的第二示意图。如图所示，本实施例的控制模块210可选择性地重复应用第一逻辑硬件201、第二逻辑硬件202与第三逻辑硬件203，来组成预定影像处理架构中的一部分，以对影像进行影像处理。更详细而言，本实施例的控制模块210可只组成预定影像处理架构中的一个树状处理路径310来对影像进行影像处理。
[0041]举例而言，若欲组成图3的预定影像处理架构的树状图30中的树状处理路径310，控制模块210可先应用第一逻辑硬件201来实现节点301a的子处理架构。接着，应用第二逻辑硬件202来实现节点301b的子处理架构，再应用第三逻辑硬件203来实现节点301c的子处理架构并据以产生一比较输出。此比较输出的资讯包括第二逻辑硬件202针对影像进行影像处理所产生的第一特征值，以及第三逻辑硬件203根据第一逻辑硬件201的处理结果对影像进行影像处理所产生的第二特征值。
[0042]接着，继续应用第三逻辑硬件203来实现节点301d的子处理架构，并据以产生一比较输出。此比较输出的资讯包括第三逻辑硬件203根据第一逻辑硬件201的处理结果对影像进行影像处理所产生的第三特征值，以及前述的第一特征值或第二特征值。
[0043]控制模块210可根据这些比较输出的资讯，选择后续所欲应用的逻辑硬件。例如，在人脸侦测的应用中，控制模块210可比较第一特征值、第二特征值与第三特征值的大小，以活动性地应用第一逻辑硬件201至第三逻辑硬件203，以组成树状处理路径310。[0044]更详细而言，以本实施例的预定影像处理架构为执行人脸侦测的影像处理架构为例，树状处理路径310代表对影像进行侧脸特征的辨识。此时，控制模块210可根据侧脸特征辨识时所应对应的特征值范围，据以选出特征值数值位于侧脸辨识的特征值范围内的处
理结果。
[0045]其中，本实施例以第一特征值位于侧脸辨识的特征值范围为例。此时，控制模块可接着再应用第二逻辑硬件202接收包括第一特征值的处理结果，以接续对影像进行演算处理。并且，再分别接续应用第二逻辑硬件202两次，且每次应用的第二逻辑硬件202皆接受上一阶的逻辑硬件的处理结果，并据以组成树状处理路径310，以对影像进行侧脸特征的辨识。
[0046]由此可知，本实施例的组合式影像处理架构可选择性地重复应用各逻辑硬件，来组成预定影像处理架构的一部分(即树状处理路径310)，以对影像进行影像处理。因此，本实施例因为不需组成完整的预定影像处理架构即可针对影像进行所需的影像处理，所以，本实施例可更进一步地降低对硬件资源的需求。[0047]请参阅图6，图6为本发明组合式影像处理系统的第二实施例的方块图。图中，组合式影像处理系统40相较于第一实施例还包括第四逻辑硬件204、第五逻辑硬件205、第六逻辑硬件206与第七逻辑硬件207。
[0048]其中，控制模块210各自连接第一逻辑硬件201至第七逻辑硬件207，并且各逻辑硬件各自具有实现不同的演算架构的功能。并且，本实施例的第四逻辑硬件204、第五逻辑硬件205、第六逻辑硬件206与第七逻辑硬件207所对应的演算架构可实现多个节点的子处理架构。亦即，第四至第七逻辑硬件204、205、206及207可执行多个节点组合时所能实现的演算能力。
[0049]举例而言，请一并参阅图3与图7，图7为本发明组合式影像处理系统的第二实施例的逻辑硬件应用顺序的示意图。当组合式影像处理系统40欲应用预定影像处理架构时，可利用控制模块210先应用第四逻辑硬件204的演算架构来实现节点301a、301b、301c与301d所组成的子处理架构。
[0050]接着，控制模块210再应用第五逻辑硬件205的演算架构来实现节点301e、301f…301 j所组成的子处理架构，以及应用第六逻辑硬件206的演算架构来实现节点301K3011与301m所组成的子处理架构。最后，控制模块210再应用第七逻辑硬件207的演算架构来实现节点3011、301n、301o与301p所组成的子处理架构。
[0051]在本实施例中，由于逻辑硬件的演算架构可实现多个节点的子处理架构，因此，本实施例相较于第一实施例，在内部记忆体可支援的范围之下，本实施例具有较快的影像处
理速度。
[0052]在此要说明的是，本发明的逻辑硬件所可实现的子处理架构并不以上述所举例子为限。在本发明的其它实施例中，逻辑硬件的演算架构可实现的子处理架构可包含其它多种态样。
[0053]举例而言，在本发明的部分实施例中，组合式影像处理系统可利用分类旗标(classification flag)、分类控制(classification control)以及检测控制(detectcontrol)去达到分类与架构重组的功能。详言之，组合式影像处理系统可利用双数码编码方式，去标示重组后的种类，并记录于分类旗标上。而分类旗标可分成两种数码组合，即主分类(master class)与从属分类(slave class)。利用这两种数码的交互变化,可以完成每一阶段的分类及资料流串接的工作。举例而言，若逻辑硬件本身可实现多个串接的节点的处理架构时，可设定第一个节点为主分类、第二个节点为从属分类，而第三个节点为主分类等，如此穿插交互的去改变。而当逻辑硬件本身为多重输出式分类时(如逻辑硬件207)，则自动将输出结果依序分类。而当逻辑硬件为并行式分类时(如逻辑硬件206)，可依照得到的输入结果，将逻辑硬件内的节点规划为主分类或从属分类。
[0054]请参阅图8，其为本发明组合式影像处理方法的流程图。如图所示，本发明组合式影像处理方法适于应用一预定影像处理架构，此方法包括以下步骤:
[0055]在步骤S91中，提供N个逻辑硬件，N为大于I的正整数。其中，各逻辑硬件可对应不同的演算架构，此演算架构可用以实现预定影像处理架构中的部分子架构。
[0056]在步骤S92中，利用控制模块选择性地应用N个逻辑硬件，以使被应用的逻辑硬件所对应的演算架构串接组成预定影像处理架构的至少一部分，以进行影像处理。
[0057]接着，请参阅图9，图9为本发明组合式影像处理方法的步骤S92的流程图。其中，步骤S92中还包括:
[0058]在步骤S921中，利用流程设定模块的预设流程，使控制模块根据预设流程选择性地应用N个逻辑硬件。其中，预设流程可由使用者活动性地去设定。
[0059]在步骤S922中，利用第M个逻辑硬件的演算架构对影像进行处理并回应输出第一
处理结果。
[0060]在步骤S923中，利用第K个逻辑硬件的演算架构对影像进行处理并回应输出第二处理结果，其中M与K为小于或等于N的正整数，且M不等于K。
[0061]在步骤S924中，利用控制模块比对第一处理结果与第二处理结果，再选择性地应用N个逻辑硬件中的一个所对应的演算架构，以串接第M个逻辑硬件的演算架构或第K个逻辑硬件的演算架构。
[0062]在步骤S925中，利用记忆模块储存第一处理结果与第二处理结果。
[0063]以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。
【权利要求】
1.一种组合式影像处理系统，适于应用预定影像处理架构，其特征在于，它包括: N个逻辑硬件，各个所述逻辑硬件分别对应一演算架构，其中，N为大于I的正整数；以及 控制模块，所述控制模块连接各个所述逻辑硬件，并选择性地应用所述N个逻辑硬件，以使被应用的所述逻辑硬件所对应的所述演算架构串接组成所述预定影像处理架构的至少一部分，以进行影像处理。
2.如权利要求1所述的组合式影像处理系统，其特征在于:还包括流程设定模块，所述流程设定模块连接所述控制模块并包括预设流程，所述控制模块根据所述预设流程选择性地应用所述N个逻辑硬件。
3.如权利要求2所述的组合式影像处理系统，其特征在于:所述流程设定模块提供使用者活动性地设定所述预设流程。
4.如权利要求1所述的组合式影像处理系统，其特征在于:所述至少一部分中包括第M个所述逻辑硬件及第K个所述逻辑硬件所对应的所述演算架构，所述控制模块比对第M个所述逻辑硬件的所述演算架构进行影像处理所输出的第一处理结果，与第K个所述逻辑硬件的所述演算架构进行影像处理所输出的第二处理结果，再选择性地应用所述N个逻辑硬件中的一个所对应的所述演算架构，并将所应用的所述演算架构串接于第M个所述逻辑硬件的所述演算架构或第K个所述逻辑硬件的所述演算架构，其中，M、K为小于或等于N的正整数，且M不等于K。
5.一种组合式影像处理方法，适于应用预定影像处理架构，其特征在于，它包括以下步骤: 提供N个逻辑硬件，各个所述逻辑硬件分别对应一演算架构，其中，N为大于I的正整数；以及 利用控制模块选择性地应用所述N个逻辑硬件，来使被应用的所述逻辑硬件所对应的所述演算架构串接组成所述预定影像处理架构的至少一部分，以进行影像处理。
6.如权利要求5所述的组合式影像处理方法，其特征在于:所述利用所述控制模块选择性地应用所述N个逻辑硬件的步骤还包括: 利用流程设定模块的预设流程，使所述控制模块根据所述预设流程选择性地应用所述N个逻辑硬件。
7.如权利要求5所述的组合式影像处理方法，其特征在于:所述预定影像处理架构由多个处理节点所组成，各个所述演算架构分别具有执行至少一个所述处理节点的演算能力。
8.如权利要求5所述的组合式影像处理方法，其特征在于:所述至少一部分包括第M个所述逻辑硬件及第K个所述逻辑硬件所对应的所述演算架构，所述利用所述控制模块选择性地应用所述N个逻辑硬件的步骤还包括: 利用第M个所述逻辑硬件的所述演算架构对影像进行处理并回应输出第一处理结果； 利用第K个所述逻辑硬件的所述演算架构对影像进行处理并回应输出第二处理结果；以及 利用所述控制模块比对所述第一处理结果与所述第二处理结果，再选择性地应用所述N个逻辑硬件中的一个所对应的所述演算架构，以串接第M个所述逻辑硬件的所述演算架构或第K个所述逻辑硬件的所述演算架构，其中，M、K为小于或等于N的正整数，且M不等于K。
9.一种组合式影像处理系统，适于应用预定影像处理架构，其特征在于，它包括: N个逻辑硬件，所述N个逻辑硬件分别用以执行影像运算程序，其中，各个所述逻辑硬件对应的演算架构被选择性地应用组成所述预定影像处理架构的至少一部分；以及 控制模块，用以执行组合应用程序，以选择性地应用所述N个逻辑硬件，使被应用的所述逻辑硬件所对应的所述演算架构串接组成所述预定影像处理架构的至少一部分，以进行影像处理。
10.如权利要求9所述的组合式影像处理系统，其特征在于:还包括流程设定模块，用以提供预设流程，使所述控制模块根据所述预设流程选择性地应用所述N个逻辑硬件。
11.如权利要求9所述的组合式影像处理系统，其特征在于:所述至少一部分包括第M个所述逻辑硬件及第K个所述逻辑硬件所对应的所述演算架构，所述控制模块执行比对程序，将第M个所述逻辑硬件的所述演算架构进行影像处理所输出的第一处理结果，与第K个所述逻辑硬件的所述演算架构进行影像处理所输出的第二处理结果进行比对，再选择性地应用所述N个逻辑硬件中的一个所对应的所述演算架构，并将所应用的所述演算架构串接于第M个所述逻辑硬件的所述演算架构或第K个所述逻辑硬件的所述演算架构，其中，M、K为小于或等于N的正整数，且M不等于K。
【文档编号】G06K9/20GK103914681SQ201310005886
【公开日】2014年7月9日 申请日期:2013年1月8日 优先权日:2013年1月8日
【发明者】郑贵鸿, 陈信翰, 邓延枰 申请人:华晶科技股份有限公司