专利名称：图像处理方法及图像处理系统的制作方法
技术领域：
本发明涉及图像处理，尤其涉及一种自对应较大视角范围的图像数据中 提取出对应较小视角范围的多个部分图像数据来产生一合成图像数据的图 像处理方法与图像处理系统。
背景技术：
随着网络的发展，视频会议系统广泛地利用在企业与远距教学中，不论 开会地点分散世界各地皆可通过视频会议系统的使用来进行有效沟通。然 而，往往参与会议的人数都不只一人，若希望能在开会时同时看到所有与会 者的表情、动作，由于图像提取设备(例如网络摄像机)本身的视角问题， 一般图像提取设备仅能提取一场景或仅以一个与会者为目标的图像数据。为 了同时得到多个与会者为目标的图像数据以进行如面对面般有效率的视频 会议，公知的作法则是分别提供每一个与会者一个网络摄像机，如此一来， 便可得到以个别与会者为目标所提取到的图像数据，然而，此一作法不但造 成开会时的成本，也造成传输上系统资源不必要的浪费(也即需传输大量的图 像数据)。因此，急需一种可同时提取多个图像数据的新型视频会议系统来使 与会者之间进行更有效率的沟通。
发明内容
本发明的目的之一在于提供一种自对应较大视角范围的图像数据中提 取出对应较小视角范围的多个部分图像数据来产生一合成图像数据的图像 处理方法与图像处理系统，以解决上述问题。
根据本发明的一实施例，本发明揭示一种图像处理方法。该图像处理方 法包含有存储一图像数据，其对应一特定视角范围；于该图像数据所对应 的该特定视角范围中选择多个目标物件；以及依据每一目标物件于该图像数 据中所对应的一部分图像数据来产生一合成图像数据。每一部分图像数翁新对应的一视角范围均小于该特定视角范围。
此外，根据本发明的一实施例，本发明还揭示一种图像处理系统。该图 像处理系统包含有一存储装置与一处理模块。该存储装置存储一图像数据， 且该图像数据对应一特定视角范围。该处理模块耦接于该存储装置，用以于 该图像数据所对应的该特定视角范围中选择多个目标物件，并依据每一目标 物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据。每一 部分图像数据所对应的一视角范围均小于该特定视角范围。
本发明可以更有效率及更精确地于图像数据中决定出所需要的多个目 标物件，并据以合成特定新的图像，更进一步而言，运用本发明实施例中所 描述的技术，可以选出使用者所需要的图像数据，如此一来，不但可以减少 图像对系统资源的占用，更可以减少沟通上的成本。
图1为本发明图像处理系统的概要示意图。
图2为本发明图像处理模块系统的一实施例的功能方块示意图。 图3为图像数据、经过全景处理后的初步修正图像数据以及合成图像数 据的示意图。
图4为本发明图像处理方法的一实施例的流程图。
其中，附图标记说明如下
10、 101图像处理系统 12处理模块 14、 105存储装置 103处理器
16、 113实体图像提取设备 18、 115虚拟图像提取设备 107图像数据 108初步修正图像数据 109图像控制应用程序 lll合成图像数据 117第一存储单元118第二存储单元 U9第三存储单元 120第四存储单元 202使用者界面
具体实施例方式
在说明书及随附的权利要求当中使用了某些词汇来指代特定的元件。所 属领域中的普通技术人员应可理解，硬件制造商可能会用不同的名词来称呼 同一个元件。本说明书及随附的权利要求并不以名称的差异来作为区分元件 的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及随 附的权利要求中所提及的"包含"为一开放式的用语，故应解释成"包含但 不限定于"。此外，"耦接"一词在此包含任何直接及间接的电气连接手段， 因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接 电气连接于该第二装置，或者通过其他装置或连接手段间接地电气连接至该 第二装置。
请参阅图1，图1为本发明图像处理系统10的概要(genemlized)示意图。 图像处理系统10包含有一处理模块12、 一存储装置14、 一实体图像提取设 备(physical video capturing device)16以及至少一虚拟图像提取设备(virtual video capturing device)18。请注意，虚拟图像提取设备的个数仅作为范例说 明之用，并非用以作为本发明的限制，也即，可依据需求来适当地建立出虚 拟图像提取设备，此外，虚拟图像提取设备的建立可通过任何可行的方式， 例如独立的应用程序或者与作业系统有关的独立机制，换言之，本发明并未 局限于虚拟图像提取设备的建立方式。实体图像提取设备16会提取对应一 特定视角范围的一场景(scene)以产生一图像数据DjN，并将图像数据Dw存储 至存储装置14，接着，处理模块12便会自存储装置14所暂存的图像数据 Dm所对应的特定视角范围中选出多个目标物件，并依据每一 目标物件于该 图像数据中所对应的部分图像数据(每一部分图像数据所对应的视角范围均 小于图像数据DjK所对应的特定视角范围)来产生一合成图像数据DQUT，最 后，处理模块12便将合成图像数据DouT传递至虚拟图像提取设备18而输
出至需要合成图像数据DouT的元件或设备。请注意，图1所示的处理模块12可由硬件、软件或者两者的搭配来加以实现，也即任何可实现处理模块 12的所需功能的架构均属本发明的范畴。为了更加清楚地描述本发明的技术 特征，以下通过一个由处理器执行图像控制应用程序来实现处理模块12的 功能的范例来说明。请注意，随附所揭示的实施例仅作为范例说明之用，并 非用以作为本发明的限制条件。
请一并参阅图2与图3，图2为依据本发明的一实施例所示出的图像处 理系统101的功能方块示意图，而图3则示出图像数据107、经过一全景处 理后的初步修正图像数据108以及合成图像数据111的示意图。本实施例中， 图像处理系统101包含有一处理器103、 一存储装置105、 一实体图像提取 设备113以及至少一虚拟图像提取设备115。请注意，虚拟图像提取设备的 个数仅作为范例说明之用，并非用以作为本发明的限制，也即，可依据需求 来适当地建立出虚拟图像提取设备。处理器103被利用来执行图像控制应用 程序109以实现图1所示的处理模块12的功能，此外，如图2所示，存储 装置105耦接于处理器103,且包含至少一第一存储单元117、 一第二存储 单元118、 一第三存储单元119以及一第四存储单元121，用来分别存储提 取自实体图像提取设备113的图像数据107、经过一全景处理后的初步修正 图像数据108、图像控制应用程序109以及合成图像数据111。第一存储单 元117、第二存储单元118、第三存储单元119以及第四存储单元121可由 易失性存储元件(例如动态随机存取存储器)、非易失性存储元件(例如闪存或 硬盘)或两者组合来加以实作，此外，第一存储单元117、第二存储单元118、 第三存储单元119以及第四存储单元121可整合于同一存储元件中，也可分 别独立设置于不同存储元件中，换言之，本实施例中，存储装置105泛指存 储图像数据107、初步修正图像数据108、图像控制应用程序109以及合成 图像数据lll的存储空间。
本实施例中，合成图像数据lll(如图3的图(B)所示)会被显示于一使用 者界面(user interface, UI)202中，并具有四个子画面分别显示初步修正图像 数据108中四个被选定的目标物件所对应的一部分图像数据，如图3所示， 每一目标物件所对应的部分图像数据的视角范围均小于图像数据107(如图3 的图(A)所示)所对应的原始视角范围，更进一步来说，每一部分图像数据所 对应的视角范围于一对角线方向上的视角均小于图像数据107所涵盖的场景所对应的特定视角范围于该对角线方向上的视角。请注意，所选定的目标物
件并非限制为图3中的四个目标物件，初步修正图像数据108的任何其它部 分可依据使用者或其它条件而被选作目标物件，且在不影响本发明技术揭示 之下，图3中以简单的图形来代表经过全景处理前的图像数据107中的物件、 经过全景处理后的初步修正图像数据108中的物件以及合成图像数据111中 的目标物件，也即，图3所示的物件的形状与大小仅作为范例说明之用，而 非本发明的限制条件。此外，处理器103另执行图像控制应用程序109来将 初步修正图像数据108转换为合成图像数据111以作为虚拟图像提取设备 115的输出，其中初步修正图像数据108为图像数据107经过一全景处理后 的图像，其细节将于后面详述。
请参考图4，图4为本发明图像处理方法的一实施例的流程图。请注意， 假若可获得大致上相同的结果，则本发明图像处理方法的步骤不一定要遵照 图4所示的流程来依序执行。本发明图像处理方法包含以下步骤
步骤302:使用一实体图像提取设备来提取一场景(scene)以产生一图像 数据，其中该实体图像提取设备采用一广角镜头或一鱼眼镜头以便提取到对 应较大视角范围的场景；
步骤303:对该图像数据进行一全景处理以得到较适合人眼观察但仍有 扭曲现象的 一初步修正图像数据；
步骤304:于该初步修正图像数据所对应的该场景中选择多个目标物件；
步骤305:依据每一目标物件于该初步修正图像数据所对应的一部分图 像数据来进行一反扭曲(dewarp)处理，以分别产生一子画面(处理后的部分图 像数据)；
步骤306:分别调整这些子画面的参数以产生相对应的调整后的子画面； 步骤308:将该多个调整后的子画面重新组合成一合成图像数据；以及 步骤312:以该合成图像数据作为虚拟图像提取设备的输出。
下面详细说明图2所示的图像处理系统101执行图4所示的方法的细节。 首先，实体图像提取单元113对特定场景进行拍摄以产生一图像数据107， 如步骤302，其中图像数据107被存储于第一存储单元117。本实施例中， 实体图像提取单元113的镜头采用一广角镜头或一鱼眼镜头(举例来说，图3 的图(A)所示出的例子是代表由鱼眼镜头所提取的图像数据)，然而，此仅作为范例说明之用，并非是本发明的限制条件。
由于广角镜头焦距短于标准镜头，视角(viewangle)大于人眼，而鱼眼镜 头焦距极短并且视角接近1S0。或等于180。的镜头，因此当采用一广角镜头或 一鱼眼镜头作为实体图像提取设备113的镜头时，会造成图像数据107的几 何扭曲(也即图像数据107为一几何扭曲图像)，此时处理器103所执行的图 像控制应用程序109可通过对图像数据107进行一全景处理以得到较适合人 眼观察但仍有扭曲现象的一初步修正图像数据108，如步骤303，并且可自 动载入反扭曲参数或使用者手动调整对应于镜头型态的视角范围，以便对初 步修正图像数据108所被选取的每一目标物件于初步修正图像数据108中所 对应的一部分图像数据来分别进行一反扭曲(dewarp)处理，如步骤305。关于 如何进行反扭曲处理的技术已为同业所知，故不在此赘述。图像控制应用程 序109也可针对不同镜头摆放位置来作镜头方向的调整，然而，任一与图像 处理相关的矫正方式均可被图像控制应用程序109所采用，均符合本发明的 精神且落在本发明的范畴内。
此外，本实施例中，处理器103执行图像控制应用程序109以让使用者 可经由使用者界面202来自初步修正图像数据108所对应的场景中选择出多 个目标物件(object)，如步骤304，之后，处理器103所执行的图像控制应用 程序109便会依据每一目标物件于初步修正图像数据108中所对应的一部分 图像数据来分别产生一子画面(处理后的部分图像数据)以显示于图3的图(B) 所示的使用者界面202的右半部。本实施例中，目标物件的个数为4，因此 所产生的子画面也同时为4，此外，目标物件选择方式并不限于使用者手动 指定，也可采用系统自动指定的方式来决定目标物件选择操作的目标物件选 择设定，举例来说，目标物件选择操作会于一触发条件满足时进行目标物件 的自动选择，例如对初步修正图像数据108执行一位移检测(motion detect) 来判断该触发条件是否满足，以便自初步修正图像数据108所对应的场景中 自动地选出目标物件(例如，当初步修正图像数据108所对应的场景中出现移 动中的物件时会满足该触发条件而自动地找出移动中的物件来作为目标物 件)，或者对初步修正图像数据108进行一脸部辨识来判断该触发条件是否满 足，以便自初步修正图像数据108所对应的场景中自动地选出目标物件(例 如，当初步修正图像数据108所对应的场景中出现具有人脸轮廓的物件时会满足该触发条件而自动地找出场景中具有人脸轮廓的物件来作为目标物件)。 请注意，这些例子并非作为本发明的限制条件，在本发明的其它实施例中，
初步修正图像数据108的任何其它部分也可依据使用者或其它特定条件而被 选作目标物件，而这些设计变化均属本发明的范畴。
接着，分别调整这些子画面的参数来产生相对应的调整后的子画面，并 将其显示于使用者界面202的右半部，如步骤306。处理器103所执行的图 像控制应用程序109提供使用者界面202以供使用者分别针对每一子画面来 进行多个参数的手动调整，其中这些参数包含有镜头型态、镜头方向、投 影型态、补差点技术(interpolation)等。举例来说，处理器103执行图像控制 应用程序109来进一步调整各个子画面所对应的部分图像数据的视角范围以 产生一调整后的部分图像数据。请注意，分别针对每一子画面所对应的部分 图像数据来进行进一步调整(例如视角范围微调)的操作并不限定是经由使用 者手动指定调整的设定，也可采用系统自动指定的方式来加以实作。
最后，如图3的图(B)所示，图像控制应用程序109将多个处理后的子画 面(也即处理后的部分图像数据)重新组合以合成出对应一张新的画面的合成 图像数据111，并将其写入至第四存储单元121中，其中合成图像数据111 被显示于使用者界面202的右半部。此外，处理器103所执行的图像控制应 用程序109另会将合成图像数据111作为虚拟图像提取设备115的输出。本 发明的一实施例中，所选取的目标物件为一场景中所出现的人员(例如一视频 会议的与会者)，而虚拟图像提取设备115可供实时通讯程序(例如MSN或 Skype)所呼叫使用，因此实时通讯程序便自虚拟图像提取设备115读取合成 图像数据111并据以进行视频显示。
请注意，虽然在此实施例中，图像控制应用程序119选取4个目标物件 来产生合成图像数据111，然而，在本发明另一实施例中，图像控制应用程 序119也可以依据上述原理与实际状况来选取更多或更少个目标物件来产生 合成图像数据111。
换言之，本发明图像处理方法与相关系统由实际图像提取设备113获得 图像数据107之后，会对图像数据107进行适当处理(例如全景处理、反扭曲 处理、子画面参数调整等)以便产生所要的合成图像数据lll，而所执行的图 像处理方式与顺序可依据实际需求来加以动态设定。此外，图4所示的流程中，进行全景处理的操作(例如步骤303)为选择 性的(optional涉骤，因此，可依据实作上的考虑或使用者的需求来选择性地 省略图4所示的流程中的步骤303，而修改后的流程也可同样地达到自对应 较大视角范围的图像数据中提取出对应较小视角范围的多个部分图像数据 来产生一合成图像数据的目的，而此一设计变化也符合本发明的精神而落于 本发明的范畴之中。
综上所述，本发明提供一种自对应较大视角范围的图像数据中提取出对 应较小视角范围的多个部分图像数据来产生一合成图像数据的图像处理方 法与图像处理系统，可以更有效率及更精确地于图像数据中决定出所需要的 多个目标物件，并据以合成特定新的图像，更进一步而言，运用本发明实施 例中所描述的技术，可以选出使用者所需要的图像数据，如此一来，不但可 以减少图像对系统资源的占用，更可以减少沟通上的成本，举例而言，在进 行网络会议时，运用本发明实施例中所描述的技术，可以仅使用一个实际图 像提取设备(例如具有广角镜头或鱼眼镜头的摄像机)便可于处理后的图像数 据所对应的同一张图像中获得多个与会者的画面，并清楚地观察到与会者的 表情以便进行更有效的沟通，也即通过本发明图像处理方式作更有效的沟 通。
请注意，本发明的实施例中所描述的技术及原理可应用于各种不同的图 像处理模块中，包括图像提取设备(例如网络相机)、图像显示设备(例如计算 机屏幕)或其他设备，任何本领域普通技术人员只要在理解本发明所揭示的实 施例的操作方式及原理之后，即有能力将本发明应用于其他相类似的技术领 域当中；又，任何熟悉电子电路设计、信号处理或图像处理的人士在了解本 发明实施例的运作原理之后，当可依据各种硬件电路设计或软件程序编辑的 原理来实现本发明所揭示的产生虚拟图像提取设备的图像处理系统及相关 方法。
以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变 化与修饰，都应落入本发明的涵盖范围内。
权利要求
1.一种图像处理方法，包含以下步骤存储一图像数据，其对应一特定视角范围；于该图像数据所对应的该特定视角范围中选择多个目标物件；以及依据每一目标物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据，其中每一部分图像数据所对应的一视角范围均小于该特定视角范围。
2. 如权利要求1所述的图像处理方法，还包含有通过一实体图像提取设备来提取对应该特定视角范围的一场景以产生 该图像数据，其中该实体图像提取设备的镜头采用一广角镜头或一鱼眼镜 头。
3. 如权利要求2所述的图像处理方法，其中该图像数据对应该实体图像 提取设备的镜头所造成的一几何扭曲图像，以及产生该处理后的图像数据的 步骤包含有根据每一目标物件所对应的该部分图像数据来进行一反扭曲处理以产 生一处理后的部分图像数据；以及合成每一目标物件所对应的该处理后的部分图像数据来产生该合成图 像数据。
4. 如权利要求3所述的图像处理方法，其中于该图像数据所对应的该特 定视角范围中选择该多个目标物件的步骤包含有对该图像数据进行一全景处理以得到一初步修正图像数据；以及 自该初步修正图像数据所对应的该特定视角范围中选出该多个目标物件。
5. 如权利要求1所述的图像处理方法，其中产生该合成图像数据的步骤 包含有-执行一视角范围调整操作来调整至少一目标物件所对应的一部分图像 数据的视角范围；以及合成每一目标物件的该部分图像数据来产生该合成图像数据。
6. 如权利要求5所述的图像处理方法，其中该视角范围调整操作的视角范围调整设定为系统自动指定或使用者手动指定。
7. 如权利要求1所述的图像处理方法，其中选择该多个目标物件的步骤包含有执行一目标物件选择操作以自该图像数据所对应的该特定视角范围中 选择该多个目标物件，其中该目标物件选择操作的目标物件选择设定为系统 自动指定或使用者手动指定。
8. 如权利要求7所述的图像处理方法，其中该目标物件选择操作的目标物件选择设定为系统自动指定，以及该目标物件选择操作会于一触发条件满 足时进行目标物件的自动选择。
9. 如权利要求8所述的图像处理方法，其中该目标物件选择操作执行一 位移检测来判断该触发条件是否满足，并于该特定视角范围中出现移动中的 物件时会满足该触发条件而自动地找出移动中的物件来作为一 目标物件。
10. 如权利要求8所述的图像处理方法，其中该目标物件选择操作进行一 脸部辨识来判断该触发条件是否满足，并于该特定视角范围中出现具有人脸 轮廓的物件时满足该触发条件而自动地找出场景中具有人脸轮廓的物件来 作为一目标物件。
11. 如权利要求1所述的图像处理方法，其中每一部分图像数据所对应的 该视角范围于一对角线方向上的视角均小于该特定视角范围于该对角线方 向上的视角。
12. —种图像处理系统，包含有一存储装置，存储一图像数据，该图像数据对应一特定视角范围；以及 一处理模块，耦接于该存储装置，用以于该图像数据所对应的该特定视 角范围中选择多个目标物件，并依据每一目标物件于该图像数据中所对应的 一部分图像数据来产生一合成图像数据，其中每一部分图像数据所对应的一 视角范围均小于该特定视角范围。
13. 如权利要求12所述的图像处理系统，还包含有 一实体图像提取设备，用以提取对应该特定视角范围的一场景以产生该图像数据，其中该实体图像提取设备的镜头采用一广角镜头或一鱼眼镜头。
14. 如权利要求13所述的图像处理系统，其中该图像数据对应该实体图 像提取设备的镜头所造成的一几何扭曲图像，以及该处理模块根据每一目标物件所对应的该部分图像数据来进行一反扭曲处理以产生一处理后的部分 图像数据，并合成每一目标物件所对应的该处理后的部分图像数据来产生该 合成图像数据。
15. 如权利要求12所述的图像处理系统，其中该处理模块另对该图像数 据进行一全景处理以得到一初步修正图像数据，以及该处理模块自该初步修 正图像数据所对应的该特定视角范围中选出该多个目标物件。
16. 如权利要求12所述的图像处理系统，其中该处理模块另执行一视角 范围调整操作来调整至少一目标物件所对应的一部分图像数据的视角范围， 接着合成每一目标物件的该部分图像数据来产生该合成图像数据。
17. 如权利要求16所述的图像处理系统，其中该视角范围调整操作的视 角范围调整设定为系统自动指定或使用者手动指定。
18. 如权利要求12所述的图像处理系统，其中该处理模块执行一目标物 件选择操作以自该图像数据所对应的该特定视角范围中选择该多个目标物 件，以及该目标物件选择操作的目标物件选择设定为系统自动指定或使用者 手动指定。
19. 如权利要求18所述的图像处理系统，其中该目标物件选择操作的目 标物件选择设定为系统自动指定，以及该目标物件选择操作会于一触发条件 满足时进行目标物件的自动选择。
20. 如权利要求19所述的图像处理系统，其中该目标物件选择操作执行 一位移检测来判断该触发条件是否满足，并于该特定视角范围中出现移动中 的物件时会满足该触发条件而自动地找出移动中的物件来作为一目标物件。
21. 如权利要求19所述的图像处理系统，其中该目标物件选择操作进行 一脸部辨识来判断该触发条件是否满足，并于该特定视角范围中出现具有人 脸轮廓的物件时满足该触发条件而自动地找出场景中具有人脸轮廓的物件 来作为一目标物件。
22. 如权利要求12所述的图像处理系统，其中每一部分图像数据所对应 的该视角范围于一对角线方向上的视角均小于该特定视角范围于该对角线 方向上的视角。
全文摘要
本发明提供一种图像处理方法及图像处理系统，该图像处理方法包含下列步骤存储一图像数据，其对应一特定视角范围；于该图像数据所对应的该特定视角范围中选择多个目标物件；以及依据每一目标物件于该图像数据中所对应的一部分图像数据来产生一合成图像数据。每一部分图像数据所对应的一视角范围均小于该特定视角范围。本发明可以更有效率及更精确地于图像数据中决定出所需要的多个目标物件，并据以合成特定新的图像，更进一步而言，运用本发明实施例中所描述的技术，可以选出使用者所需要的图像数据，如此一来，不但可以减少图像对系统资源的占用，更可以减少沟通上的成本。
文档编号H04N7/15GK101583010SQ200810097099
公开日2009年11月18日 申请日期2008年5月14日 优先权日2008年5月14日
发明者赖睿锐, 黄英杰 申请人:致伸科技股份有限公司