专利名称：在计算机装置中执行影像处理的方法及系统的制作方法
技术领域：
本发明涉及影像处理及操作系统的技术，尤其涉及一种利用使用 者模式中既有资源以执行影像处理的方法及系统。
疼豕狡不
由于计算机摄影相机(PC Camera)价格便宜，几乎成为个人计算机 或笔记型计算机的基本配备。因特网传讯(Internet Messenger)软件 也通过计算机摄影相机而可实时传送影像，进而增添许多因特网传讯 软件的应用。例如，将计算机摄影相机所撷取的影像与特殊背景结合 或是计算机摄影相机所撷取的影像与使用者互动。
然而，在计算机摄影相机中，可在应用程序(Application program,
AP)的层面将原始影像与背景结合、或是执行原始影像与使用者互动。 图1是微软公司的Direct Show文件的示意图。如图1所示，在窗口 驱动程序模型(Windows Driver Model, WDM)的影像撷取装置与影像显 示卡中间，可以加入使用者定义且具有特殊效果的滤波器。如此，在 计算机摄影相机撷取影像到显示卡输出前，可以在滤波器中加上特定 的影像处理与运算，例如变脸特效或是使用者想要的特效，进而达 到预期的效果。
然而，上述方法中，应用程序必须在来源滤波器(Source Filter) 与展现过滤波器(Render Filter)间，加入一个使用者定义的滤波器(如 变脸的滤波器)。一般的因特网传讯软件(如MSN、Netmeeting、Amcap…) 或是己经写好的应用程序并不会在相关的应用程序内加入这个使用者 定义的滤波器，亦即无法使用这些功能。
为了要避免写在特殊应用程序、因特网传讯软件或是其它应用程 序中不能使用使用者定义的滤波器的问题，另一种解决方法就是把特 殊效果的滤波器放入到驱动程序中。这样由来源滤波器(Source Filter)
输出的影像就是已经经过处理的影像，因特网传讯软件也就可以正确
使用特殊效果的滤波器。图2是现有驱动程序使用特殊效果的滤波器
的示意图。如图2所示，首先由一WDM撷取装置撷取一影像串流。该 WDM撷取装置将所撷取的影像串流(video stream)经由一串流接口传
给一核心模式驱动程序。核心模式驱动程序对该影像串流执行前处理。 例如，使用者输入青蛙，使用者模式的应用程序将青蛙转换为Id=l， 并将该参数经由Property Set的应用程序接口传给该核心模式驱动程 序。该核心模式驱动程序依据参数I(^1，辨认Id4是背景图青蛙后， 再撷取选取背景图"青蛙"，并将青蛙贴在背景上。最后该核心模式驱 动程序执行后处理并将该处理后的影像串流传给使用者模式的应用程 序。由此，因特网传讯软件也就可以对WDM撷取装置所送出的影像串 流执行特殊效果。
然而，由于所有的影像特效处理均在核心模式下执行，因此无法 利用使用者模式的资源，例如位图(bitmap)放大、位图縮小及三维 影像处理等。在使用者模式下已经有很多的软件可以供开发使用，例 如Direct 3D、 Windows APIs，若只能在核心模式下执行影像特效处 理将使得特效的运用受到限制。同时，在驱动程序完成时，其所具有 的影像特殊效果均已固定。故每次增加、减少或修改影像特殊效果时， 必须重新改写驱动程序，造成使用者需重新更新驱动程序，颇为麻烦。 因此可知，现有影像驱动程序仍存有诸多的缺失而有予以改进的必要。
发明内容
本发明的一个目的在于提供一种在计算机装置中执行影像处理的 方法及系统，从而在无须置换旧有影像输入装置的影像驱动单元来直 接使用新的影像特效。
本发明的另一目的在于提供一种在计算机装置中执行影像处理的 方法及系统，从而将影像处理由核心模式转至使用者模式，以运用使 用者模式下的资源，来进行复杂的影像处理运算。
本发明的再一目的在于提供一种在计算机装置中执行影像处理的 方法及系统，从而能执行影像处理并与因特网传讯软件软件完全兼容。
本发明提出一种在计算机装置中执行影像处理的方法，该计算机 装置包括影像输入装置、影像驱动单元、影像处理模块及操作系统，
该操作系统具有使用者模式及核心模式，该方法主要包括下列步骤 影像接收步骤、第一影像传送步骤、影像处理步骤、第二影像传送步 骤。该影像接收步骤是由该影像驱动单元从该影像输入装置接收影像 数据流，该影像驱动单元并对该影像数据流执行前处理，以获得彩色 影像数据流；该第一影像传送步骤是由该影像驱动单元传送该彩色影 像数据流至该影像处理模块，其中，该影像驱动单元执行于该核心模 式，该影像处理模块系执行于使用者模式；该影像处理步骤是由该影 像处理模块对该彩色影像数据流执行特定效果的影像处理，以产生处 理影像数据流；该第二影像传送步骤是由该影像处理模块传送该处理 影像数据流至该影像驱动单元，该影像驱动单元并对该处理影像数据 流执行后处理。
本发明提出一种在计算机装置中执行影像处理的系统，该计算机 装置包括具有使用者模式及核心模式的操作系统，该影像处理系统主 要包括影像输入装置、影像驱动单元、及影像处理模块。该影像输 入装置具有一影像撷取装置及一连接接口 ，该影像撷取装置用以撷取 影像数据流，该连接接口将该影像数据流传送至该影像驱动单元；该 影像驱动单元可执行影像前处理及影像后处理，该影像驱动单元并对 该影像数据流执行前处理，以获得彩色影像数据流，该影像驱动单元 系执行于该核心模式；该影像处理模块耦合至该影像驱动单元，并对 该彩色影像数据流执行特定效果的影像处理，以产生处理影像数据流， 该影像处理模块系执行于前述使用者模式；其中，该影像处理模块将 处理影像数据流传送至该影像驱动单元，该影像驱动单元并对该处理 影像数据流执行后处理，并将后处理的该处理影像数据流传送至执行 于使用者模式的应用程序。
图1是微软公司的Direct Show文件的示意图。
图2是现有驱动程序使用特殊效果的滤波器的示意图。
图3是本发明在计算机装置中执行影像处理的系统的系统示意图。
图4是一贝尔(bayer)型式的彩色滤波数组及插值的示意图。
图5是本发明在计算机装置中执行影像处理的方法的流程图。 图6是本发明在计算机装置中执行影像处理的方法的示意图。 图7是本发明的影像驱动单元的部分程序代码的示意图。 图8是本发明在计算机装置中执行影像处理的方法的一实施例的 示意图。
附图标记说明
影像输入装置310影像驱动单元 320
影像处理模块330操作系统 340
影像撷取装置311连接接口 312
影像感测装置313彩色滤波数组 314
应用程序350
具体实施例方式
图3是本发明在计算机装置中执行影像处理的系统的系统示意图。 该计算机装置(图中未示)包括一具有一使用者模式及一核心模式的 操作系统340，该操作系统340较佳为窗口 2000或窗口 XP等操作系统。 该影像处理系统主要包括 一影像输入装置310、 一影像驱动单元320、 及一影像处理模块330。
该影像输入装置310具有一影像撷取装置311及一连接接口 312。 该影像撷取装置311由一影像感测装置313及一彩色滤波数组 314(color filter array, CFA)所组成。该影像撷取装置311用以撷 取一影像数据流(video stream)。
该连接接口 312系将该影像输入装置310连接至该计算机装置， 以将该影像数据流传送至该计算机装置。该连接接口 312为下列其中 之一以太网络、无线以太网络、万用序列总线(USB)、无线万用序列 总线(wireless USB)或1394序列总线。
该影像驱动单元320可执行一影像前处理及一影像后处理，其从 该影像输入装置310接收该影像数据流，该影像驱动单元320并对该 影像数据流执行前处理，以获得一彩色影像数据流，其中该影像驱动 单元320系执行于该核心模式。
该影像驱动单元320执行之前处理主要是对影像数据流执行补点
运算。图4是一贝尔(bayer)型式的彩色滤波数组314及插值的示意图， 其排列的方式以一排GRGRGR， 一排BGBGBG交互排列形成。彩色滤波数 组314使得影像感测装置313的每一感光单元(photosite)仅获得红 色、绿色或蓝色其中之一的色彩值。故需在该影像驱动单元320中， 利用插值的方法为每一感光单元重建不存在的其它色彩值。
该影像处理模块330耦合至该影像驱动单元320，并对该彩色影像 数据流执行特定效果的影像处理，以产生一处理影像数据流，该影像 处理模块330执行在使用者模式。该影像处理模块330使用一 KS property Get的应用程序接口 (Application Programming Interface, API)以通知该影像驱动单元320,进而将该彩色影像数据流传送至该影 像处理模块330。
该影像处理模块330执行特定效果的影像处理可为影像加强 (image enhancement)、 影像复原(image restoration)、 影像分割 (image segmentation)、影像特征撷取(image feature extraction)、 影像边缘侦测(image edge detection)、影像变形处理(image morphological processing)、 影像取代处理(image replacement processing)或影像融合处理(image merge processing)。
该影像处理模块330使用一 KS property set的应用程序接口通 知该影像驱动单元320，以接收该处理影像数据流。该影像处理模块 330将该处理影像数据流传送至该影像驱动单元320，该影像驱动单元 320并对该处理影像数据流执行后处理，并将该处理后的影像数据流传 送至执行于使用者模式的应用程序350。该影像驱动单元320执行后处 理可为影像亮度调整(image brightness processing)或影像边缘调整 (image edge-enhance processing)。
图5是本发明在计算机装置中执行影像处理的方法的流程图。图6 是本发明在计算机装置中执行影像处理的方法的示意图。该计算机装 置包括一影像输入装置310、一影像驱动单元320、一影像处理模块330 及一操作系统340，该操作系统340具有一使用者模式及一核心模式。 如图5所示，首先，该影像驱动单元320从该影像输入装置310接收 一影像数据流(步骤S510)，该影像驱动单元320并对该影像数据流执 行前处理，以获得一彩色影像数据流(步骤S520)。
该影像驱动单元320执行之前处理主要是对影像数据流执行补点 运算，其利用插值的方法为将影像输入装置中的影像感测装置的每一 感光单元重建不存在的其它色彩值。
在步骤S530中，该影像处理模块330使用一 KS property Get的 应用程序接口以通知该影像驱动单元320，以将该彩色影像数据流传送 至该影像处理模块330。当该影像处理模块330传送KS property Get 的应用程序接口进入该影像驱动单元320，会触发Ks property的事件 (Event)。而后，该影像驱动单元320依据事件(Event)是Set或是Get ， 进而分别执行Set或Get函式。故当该影像处理模块330使用一 KS property Get的应用程序接口以通知该影像驱动单元320时，该影像 驱动单元320执行其内部的Get函式，将该彩色影像数据流放至共享 内存，以供该影像处理模块330使用，其中，该影像驱动单元320系 执行在该核心模式，该影像处理模块330系执行在使用者模式。
在步骤S540中，该影像处理模块330对该彩色影像数据流执行特 定效果的影像处理，以产生一处理影像数据流。由于该影像处理模块 330是执行在使用者模式，故其可利用使用者模式下已开发的软件(例 如Direct 3D、 Windows APIs)执行影像特效处理，而避免现有技术 在核心模式下执行影像特效处理将使得特效的运用受到限制的问题。 该影像处理模块330执行特定的影像处理可为影像加强、影像复原、 影像分割、影像特征撷取、影像边缘侦测、影像变形处理、影像取代 处理或影像融合处理。
在步骤S550中，当该影像处理模块330对该彩色影像数据流执行 完特定的影像处理后，该影像处理模块330使用一 KS pr叩erty Set 的应用程序接口通知该影像驱动单元320，以接收处理影像数据流。该 影像处理模块330传送该处理影像数据流至该影像驱动单元320，该影 像驱动单元320并对该处理影像数据流执行后处理(在步骤S560)。当 该影像处理模块330使用一 KS property Set的应用程序接口以通知 该影像驱动单元320时，该影像驱动单元320执行其内部的Set函式， 以接收该处理影像数据流。
在步骤S560中，该影像驱动单元320对该接收的处理影像数据流 执行后处理。该影像驱动单元320执行后处理步骤为影像亮度调整或
影像边缘调整。
在步骤S570中，该影像驱动单元320将该后处理的影像数据流传 送至执行在使用者模式的应用程序。
图7是本发明的影像驱动单元320的部分程序代码的示意图。为 说明方便，在程序代码前加列号，该列号并非该程序的一部份。如图7 所示，在列140 150处，该影像驱动单元320定义两个图框缓冲器 (frame buffer): Video—Frame—IN、 Video—Frame—OUT。该两个图框缓 冲器的大小均为640*480。
在列160 200处，该影像驱动单元320宣告一个My—Property的 结构。该My_Pr0perty的结构是影像驱动单元320与该影像处理模块 330共享的结构。影像驱动单元320与影像处理模块330通过这个使用 者定义的KS PROPERTY结构来相互沟通。因为要在影像驱动单元320 与该影像处理模块330之间传送影像，因此一缓冲器(MyJmage)大小 定义为640*480，并增加一个致能/禁能(enable/disable)的开关。
在列370 480处，该影像驱动单元320定义一个事件处理函数 EVENT(SRB)。当该影像处理模块330使用一 KS property Get的应用 程序接口时，该操作系统340依据该KS property Get的应用程序接 口而传送一个相关的SRB—GET—DEVICE—PROPERTY至该影像驱动单元 320。该影像驱动单元320则呼叫EventPropertyGet()函数，以将影像 数据由该影像驱动单元320拷贝到一共享区，而完成GET动作(列 250 280)。当该影像处理模块330使用一 KS property Set的应用程 序接口时，该操作系统340依据该KS property Set的应用程序接口 而传送一个相关的SRB—SET_DEVICE_PR0PERTY至该影像驱动单元320。 该影像驱动单元320则呼叫EventPropertySet ()函数，以将影像数据 由一共享区拷贝到该影像驱动单元320，而完成SET动作(列210 240)。
在列290 360处，该影像驱动单元320定义一影像处理函数 Video()。每当影像数据流由该影像输入装置310输入后，到输出至使 用者模式的应用程序350前，该影像驱动单元320会先执行函数Video () 来做影像处理。该影像输入装置310传入该影像驱动单元320以指标 IN代表，该影像驱动单元320准备输出至AP以指标用OUT来代表。
图8是本发明在计算机装置中执行影像处理的方法的一实施例的 示意图。首先，在步骤S710中，该影像驱动单元320从该影像输入装 置310接收一影像数据流，该影像驱动单元320并对该影像数据流执 行前处理(步骤S720)，以获得一彩色影像数据流。
在步骤S730中，该影像处理模块330使用一 KS property Get的 应用程序接口以通知该影像驱动单元320，以将该彩色影像数据流传送 至该影像处理模块330。在步骤S740中，该影像处理模块330接收彩 色影像数据流，并依据一使用者的输入以执行特定效果的影像处理(步 骤S750)。本实施例中，该使用者欲将一青蛙图像迭置在该影像数据流。 使用者输入青蛙，该影像处理模块330将青蛙转换为Id=l，依据参数 Id二l并辨认该参数Id二l是背景图青蛙后，再撷取选取背景图"青蛙"， 并将青蛙图像迭置在该影像数据流。
在步骤S760中，当该影像处理模块330将青蛙图像迭置在该影像 数据流后，该影像处理模块330使用一 KS property Set的应用程序 接口通知该影像驱动单元320，以接收处理影像数据流。该影像处理模 块330传送该处理影像数据流至该影像驱动单元320，该影像驱动单元 并对该处理影像数据流执行后处理(步骤S770)。当该影像处理模块330 使用一 KS property Set的应用程序接口以通知该影像驱动单元320 时，该影像驱动单元320执行其内部的Set函式，以接收该处理影像 数据流。
由上述说明可知，根据本发明的技术，新的影像特效(Special Effect)可容易地通过网络下载到本发明的影像处理模块中使用。同 时，且在无须置换旧有影像输入装置的影像驱动单元的条件下即可直 接使用新的影像特效，并与MSN等因特网传讯软件完全兼容。本发明 的技术在现有的驱动程序架构下，将特殊效果的滤波器于使用者模式 下来实现(implement),故可运用使用者模式下的资源，来进行复杂的 三维影像运算。同时，由于使用者模式下的影像处理模块与影像驱动 单元间的通讯协议已经确定，因此只要符合通讯协议规范，由网络下 载新的特殊效果就能更容易增加至本发明的影像处理模块中。本发明 的技术同时跳脱KS property的应用程序接口仅用于传送字节(bytes)
的框架，将整张影像由核心模式传送至使用者模式、或是由使用者模 式传送至核心模式，让影像数据流不再仅是在影像驱动单元320内处
理完，而是利用使用者模式中丰富的资源，亦可来进行影像后处理， 并将处理后的影像数据流，由影像驱动单元输出。
上述实施例仅为了方便说明而举例而已，本发明所主张的权利范 围应以权利要求书所述为准，而非仅限于上述实施例。
权利要求
1.一种在计算机装置中执行影像处理的方法，其特征在于，该计算机装置包括影像输入装置、影像驱动单元、影像处理模块及操作系统，该操作系统具有使用者模式及核心模式，该方法主要包括下列步骤影像接收步骤，是由该影像驱动单元从该影像输入装置接收影像数据流，该影像驱动单元并对该影像数据流执行前处理，以获得彩色影像数据流；第一影像传送步骤，是由该影像驱动单元传送该彩色影像数据流至该影像处理模块，其中，该影像驱动单元执行在该核心模式，该影像处理模块执行在该使用者模式；影像处理步骤，是由该影像处理模块对该彩色影像数据流执行特定效果的影像处理，以产生处理影像数据流；以及第二影像传送步骤，是由该影像处理模块传送该处理影像数据流至该影像驱动单元，该影像驱动单元并对该处理影像数据流执行后处理；其中，该影像处理模块系在该使用者模式下对该彩色影像数据流执行特定效果的影像处理。
2. 根据权利要求1所述的计算机装置中执行影像处理的方法，其特征在于，还包括第三影像传送步骤，是由该影像驱动单元将该影像数据流执行后处理的输出传送至应用程序，其中，该应用程序执行在使用者模式。
3. 根据权利要求2所述的计算机装置中执行影像处理的方法，其特征在于，该操作系统为窗口2000或窗口XP操作系统。
4. 根据权利要求3所述的计算机装置中执行影像处理的方法，其特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动单元，以将该彩色影像数据流传送至该影像处理模块。
5. 根据权利要求4所述的计算机装置中执行影像处理的方法，其 特征在于，该应用程序接口为KS property Get。
6. 根据权利要求3所述的计算机装置中执行影像处理的方法，其 特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动单 元，以接收该处理影像数据流。
7. 根据权利要求6所述的计算机装置中执行影像处理的方法，其 特征在于，该应用程序接口为KS property Set。
8. 根据权利要求5所述的计算机装置中执行影像处理的方法，其 特征在于，该影像处理模块执行前述特定效果的影像处理为影像加强，影像复原、影像分割、影像特征撷取、影像边缘侦测、影像变形处理、 影像取代处理或影像融合处理。
9. 根据权利要求7所述的计算机装置中执行影像处理的方法，其 特征在于，该影像驱动单元对该影像数据流执行后处理为影像亮度调整或影像边缘调整。
10. 根据权利要求1所述的计算机装置中执行影像处理的方法， 其特征在于，该影像输入装置连接至该计算机装置，其利用以太网络、 无线以太网络、万用序列总线、无线万用序列总线或1394序列总线。
11. 一种在计算机装置中执行影像处理的系统，其特征在于，该 计算机装置包括具有使用者模式及核心模式的操作系统，该影像处理 系统主要包括影像输入装置，具有一影像撷取装置及一连接接口，该影像撷取 装置用以撷取影像数据流；影像驱动单元，用以影像前处理及影像后处理，其从该影像输入 装置接收该影像数据流，该影像驱动单元并对该影像数据流执行前处 理，以获得彩色影像数据流，该影像驱动单元系执行于该核心模式；以及影像处理模块，其耦合至该影像驱动单元，并对该彩色影像数据 流执行特定效果的影像处理，以产生处理影像数据流，该影像处理模块执行在使用者模式；其中，该影像处理模块将处理影像数据流传送至该影像驱动单元， 该影像驱动单元并对该处理影像数据流执行后处理，并将该影像数据 流执行后处理的输出传送至一执行在使用者模式的应用程序。
12. 根据权利要求11所述的计算机装置中执行影像处理的系统， 其特征在于，该操作系统为窗口 2000或窗口 XP操作系统。
13. 根据权利要求12所述的计算机装置中执行影像处理的系统， 其特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动 单元，以将该彩色影像数据流传送至该影像处理模块。
14. 根据权利要求13所述的计算机装置中执行影像处理的系统， 其特征在于，该应用程序接口为KS property Get。
15. 根据权利要求12所述的计算机装置中执行影像处理的系统， 其特征在于，该影像处理模块使用一应用程序接口以通知该影像驱动 单元，以接收处理影像数据流。
16. 根据权利要求15所述的计算机装置中执行影像处理的系统， 其特征在于，该应用程序接口为KS property Set。
17. 根据权利要求12所述的计算机装置中执行影像处理的系统， 其特征在于，该影像处理模块执行前述特定效果的影像处理为影像加 强、影像复原、影像分割、影像特征撷取、影像边缘侦测、影像变形 处理、影像取代处理或影像融合处理。
18. 根据权利要求12所述的计算机装置中执行影像处理的系统，其特征在于，该影像驱动单元执行后处理为影像亮度调整或影像边缘调整。
19.根据权利要求12所述的计算机装置中执行影像处理的系统， 其特征在于，该影像输入装置系经由下列其中之一连接至该计算机装置，其利用以太网络、无线以太网络、万用序列总线、无线万用序列总线或1394序列总线。
全文摘要
本发明提出一种在计算机装置中执行影像处理的方法及系统，其先由影像驱动单元从影像输入装置接收影像数据流，并对影像数据流执行前处理而获得彩色影像数据流。之后，影像处理模块使用一应用程序接口以通知影像驱动单元传送彩色影像数据流至该影像处理模块。影像处理模块对彩色影像数据流执行特定的影像处理，以产生处理影像数据流。影像处理模块以一应用程序接口通知影像驱动单元并传送该处理影像数据流至影像驱动单元，影像驱动单元对处理影像数据流执行后处理。由此，影像处理模块可运用使用者模式下的资源，来作复杂的影像处理运算。
文档编号H04N9/04GK101175218SQ20061014277
公开日2008年5月7日 申请日期2006年10月31日 优先权日2006年10月31日
发明者邓己正, 陈瑞明, 陈立明 申请人:凌阳科技股份有限公司