专利名称：情感式的影像处理装置及影像处理方法
技术领域：
本发明关于一种影像处理的装置及方法，特别是一种将影像做特殊处理的影像处
理的装置及方法。
背景技术：
在多媒体环境中，影像已成为信息表达相当重要的工具，然而影像的处理(特别 是在取像的部份)却一直是属于高度专业化的市场，一般人很难有机会使用，这主要是因 为取像设备都是相当昂贵的系统，并非一般大众所能负担得起。直到最近几年，由于电子、 光学技术的进步，数字取像设备(如影像扫描仪、数字相机等)走入低价位的个人化市场， 才逐渐受到消费者与业者的注意。 数字相机结合光学、精密机械及电子科技的新兴产品，它利用电荷耦合组件(CCD) 将相机镜头所取得的影像转换成数字影像信号，通过电子线路的处理将数字影像信号储存 在储存媒体中，如磁盘片、光盘片或是IC记忆卡。另一方面，影像也可立即在各种显示器上 显现(如电视或监视器)，以做各种影像的编辑、修改等再利用功能，相当方便且省时省钱。
现在市面上大部分的数字相机都会配置有液晶显示器，其中液晶显示器可在撷取 影像前预先将视景显示给拍摄者观看，以提供拍摄者选择欲拍摄的视景区域。此外，液晶显 示器也能够显示各种拍摄参数给拍摄者参考，例如感光度、白平衡、曝光补偿、闪光灯启闭、 对焦状态等等。在拍摄者按下快门拍摄后，也可以由液晶显示器上立刻看到所拍摄的成果。 对于拍摄者而言，数字相机的显示器提供了很多方便的功能，可使拍摄者于拍摄照片时获 得最良好的效果。 然而随着多媒体时代的来临，使用者往往期望数字相机能提供更多种崭新不同的 特别功能，以带给使用者不同惊喜与感受，其中数字相机的影像处理功能也是使用者购买 产品时的考虑因素之一。 因此，如何能提供一种影像处理装置及方法，成为研究人员待解决的问题之一。
发明内容
鉴于以上的问题，本发明提供一种情感式的影像处理装置及影像处理方法，可根
据被摄者当前的情绪反应，对数字相机所撷取的影像数据进行特别的影像处理，以增加目
前影像处理的功能，进而提升产品的竞争优势。
本发明公开了一种情感式的影像处理装置，包含有 —快门按钮，根据其所受按压阶段的不同，分别产生一第一控制信号与一第二控 制信号； —影像撷取单元，用以感测与撷取一影像数据，于接收该第一控制信号时，感测该 影像数据，并发出一表情分析指令，以及于接收该第二控制信号时，撷取该影像数据；
—表情数据库，储存有多个表情特征信息，以及该等表情特征信息所对应的多个 特殊效果影像处理程序；
—表情分析单元，接收该表情分析指令，以辨识该影像撷取单元所感测的该影像数据中的至少一脸部特征，并根据该等脸部特征查找该表情数据库，以确认该等脸部特征对应的该等表情特征信息；及 —影像处理单元，根据该表情分析单元所确认的该等表情特征信息，执行该等特殊效果影像处理程序，以处理该影像撷取单元所撷取的该影像数据。 该受按压阶段包含有对应该第一控制信号的快门按钮半按状态、以及对应该第二控制信号的快门按钮全按状态。 该等特殊效果影像处理程序包含有调整色调、附加边框或搭配音乐。
所述的情感式的影像处理装置，包含有 —存储单元，用以储存该影像撷取单元所撷取的该影像数据；及 —显示单元，用以显示该影像处理单元处理后的该影像数据。 本发明还公开了一种情感式的影像处理方法，包含有下列步骤 提供一影像处理装置，其包括至少一快门按钮及一影像撷取单元； 半按压该快门按钮以产生一第一控制信号，且于产生该第一控制信号时，通过该
影像撷取单元感测一影像数据； 于该影像处理装置中提供一表情分析单元，其对该影像撷取单元所感测的该影像数据进行一表情分析程序，以取得至少一脸部特征； 提供一表情数据库予该表情分析单元，令该表情分析单元根据该等脸部特征于该表情数据库查找进而确认该等脸部特征对应的至少一表情特征信息；
根据该等表情特征信息决定至少一特殊效果影像处理程序； 提供一影像处理单元，其系执行该等特殊效果影像处理程序，以处理该影像撷取单元所撷取的该影像数据；及 进一步全按压该快门按钮以于该快门按钮产生一第二控制信号时，输出处理后的该影像数据。 该等表情特征信息包含笑脸、生气、哭泣、及惊吓。 该等特殊效果影像处理程序包含有调整色调、附加边框或搭配音乐。 利用这种情感式的影像处理装置及影像处理方法，由于人的脸部表情(特别是
眼睛与嘴巴)会随着情绪反应而有变化，因此通过辨识被摄者的眼睛与嘴巴的形状，即可
分辨出被摄者当前的情绪反应，进而控制数字相机对所撷取的影像数据进行特别的影像处
理，藉以增加目前影像处理的功能，进而提升产品的竞争优势。
图1为本发明的情感式的影像处理装置的系统方块图； 图2为本发明的索引表的示意图； 图3为本发明的情感式的影像处理方法的步骤流程图。 其中，附图标记 10快门按钮 20影像撷取单元 30表情数据库 31索引表 40表情分析单元 50 影像处理单元
60 存储单元 70 显示单元 100情感式的影像处理装置
具体实施例方式
根据本发明所公开的情感式的影像处理装置，可应用于包括但不局限于数字相 机、网络摄影机等影像输入设备上，并可内置于笔记型计算机、PDA、数字相框、手机等具有 操作接口的电子装置中，以提供使用者操作相关的功能。然而附图仅提供参考与说明用，并 非用以限制本发明。 请参照图l，为本发明的情感式的影像处理装置的系统方块图。如图1所示，本发 明的情感式的影像处理装置100包含有快门按钮10、影像撷取单元20、表情数据库30、表情 分析单元40、影像处理单元50、存储单元60与显示单元70。 快门按钮IO可由开关组件(图中未示)与开关电路所构成。快门按钮IO根据其 受使用者的按压阶段的不同区分有半按与全按的状态，并分别产生第一控制信号与第二控 制信号。其中半按状态对应于第一控制信号，而全按状态对应于第二控制信号。举例来说， 在拍照时，当拍照者按下快门按钮10时，半按状态是进行本发明的表情分析程序与/或自 动对焦，而全按状态是进行拍照。 影像撷取单元20与快门按钮10连接。影像撷取单元20用以感测影像，并撷取影 像数据。影像撷取单元20于接收到第一控制信号时，感测影像数据，并发出一表情分析指 令。影像撷取单元20于接收到第二控制信号时，则撷取影像数据，并将影像数据储存至存 储单元60中。其中影像撷取单元20可以例如是由数字相机的光学镜头模块、光电感测模 块(如CCD ;Charge-CoupledDevice或CMOS Complementary Metal-Oxide Semiconductor) 与数字成像逻辑电路模块(ASIC ;Application Specific Integrated Circuit)所构成。
表情数据库30储存有多个表情特征信息，以及各个表情特征信息所对应的多个 特殊效果影像处理程序。其中特殊效果影像处理程序可包含有调整色调、附加边框与/或 搭配音乐。表情数据库30中的各个表情特征信息与多个特殊效果影像处理程序的对应关 系可以例如是以索引表来实现。 请参照图2，为本发明的索引表的示意图。如图2所示，索引表31中记录有笑脸、生 气、哭泣及惊吓等表情，并分别预设其相对应的特殊效果影像处理程序为(l)红色调+3 ;
绿色调+2 ;蓝色调+1 ; (2)红色调+1 ;绿色调+3 ;蓝色调+2 ; (3)红色调+1 ;绿色调+2 ;蓝 色调+3 ; (4)红色调+3 ;绿色调+1 ;蓝色调+0 ;附加边框。另外，使用者亦可自行调整索引 表31的设定参数。 表情分析单元40分别与影像撷取单元20、表情数据库30连接。表情分析单元40 用以接收表情分析指令，以辨识影像撷取单元20所感测的影像数据中的至少一脸部特征 (例如，一个人或多个人的眼睛、与/或嘴巴)。其中若是多个人的情绪反应不同时，则可以 多数相同的情绪反应决定进行何种特殊效果影像处理程序，或者，亦可以少数相同的情绪 反应决定进行对何种特殊效果影像处理程序。 脸部特征的辨识可通过人脸检测算法实现，所述的人脸检测算法包含了影像处 理技术与特征值撷取，其中影像处理技术包含了区域划分(RegionDivision)、模糊处理 (Blur)、边缘检测(Edge Detection)与边缘逼近(EdgeA卯roximation)。特征值撷取的标的包含了眼睛的特征值、其中眼睛的特征值是以眼角坐标当作眼睛的位置，并配合上述影 像处理技术确定脸部影像中眼睛的位置，再计算出特征向量值。嘴巴的特征值是以嘴角的 坐标当作嘴巴的位置，并配合上述影像处理技术确定脸部影像中嘴巴的位置，再计算出特 征向量值。由于人的脸部表情(特别是眼睛与嘴巴)会随着情绪反应而有变化。因此，通 过辨识被摄者的眼睛与嘴巴的形状，可分辨出被摄者当前的情绪反应。表情分析单元40根 据各个脸部特征查找表情数据库30，以确认各个脸部特征对应的各个表情特征信息。
影像处理单元50与表情分析单元40连接。影像处理单元50根据表情分析单元 40所确认的各个表情特征信息，执行各个特殊效果影像处理程序(例如，根据索引表31中 的设定参数重新调整影像数据的色调比例，或者，附加音乐文件至影像数据中，以于开启处 理后的影像数据时，同时播放附加音乐文件)，以处理影像撷取单元20撷取的影像数据。影 像处理单元50可以例如是中央处理器。 存储单元60与影像处理单元50连接。存储单元60用以储存影像撷取单元20所 撷取的影像数据。其中存储单元60可以例如是内存或硬盘。 显示单元70与影像处理单元50连接。显示单元70用以显示影像处理单元50处 理后的影像数据。其中显示单元70可以例如是液晶显示器。 请参照图3，为本发明的情感式的影像处理方法的步骤流程图。如图3所示，本发 明的情感式影像处理方法包含有下列步骤 首先，提供一个影像处理装置，其包括至少一快门按钮及一影像撷取单元(步骤 200)。半按压快门按钮以产生第一控制信号，且于产生第一控制信号时，通过影像撷取单元 感测一影像数据(步骤210)。第一控制信号对应于快门按钮为半按状态时产生。其中影像 撷取单元可以例如是由数字相机的光学镜头模块、光电感测模块(CCD或CMOS)与数字成像 逻辑电路模块(ASIC)所构成。 接着，于影像处理装置中提供一表情分析单元，其对影像撷取单元所感测的影像
数据进行一表情分析程序，以取得至少一脸部特征(步骤220)。其中表情分析程序可利用
人脸检测算法实现，而脸部特征包含有一个人或多个人的眼睛、与/或嘴巴。 提供一表情数据库予表情分析单元，令表情分析单元根据各个脸部特征于表情数
据库查找进而确认各个脸部特征对应的至少一个表情特征信息(步骤230)。其中表情数据
库储存有多个表情特征信息，以及各个表情特征信息所对应的多个特殊效果影像处理程序
的索引表。 根据各个表情特征信息决定至少一个特殊效果影像处理程序(步骤240)，其中 表情特征信息包含笑脸、生气、哭泣及惊吓等表情，而特殊效果影像处理程序包含有调整色 调、附加边框或搭配音乐，例如，根据索引表中的设定参数重新调整影像数据的色调比例， 或者，附加音乐文件至影像数据中，以于开启处理后的影像数据时，同时播放附加音乐文 件。 提供一个影像处理单元，其根据表情分析单元的分析结果执行各个特殊效果影像 处理程序，以处理影像撷取单元所撷取的影像数据(步骤250)。影像处理单元可以例如是 中央处理器。 进一步全按压快门按钮以于快门按钮产生第二控制信号时，影像处理单元输出处 理后的影像数据(步骤260)。第二控制信号对应于快门按钮为全按状态时产生。影像处理单元可将处理后的影像数据输出至存储单元进行储存，与/或将处理后的影像数据输出至 显示单元进行显示。 综合以上所述，本发明的情感式的影像处理装置及影像处理方法，由于人的脸部 表情(特别是眼睛与嘴巴)会随着情绪反应而有变化，因此通过辨识被摄者的眼睛与嘴巴 的形状，即可分辨出被摄者当前的情绪反应，进而控制数字相机对所撷取的影像数据进行 特别的影像处理，以增加目前影像处理的功能，进而提升产品的竞争优势。
权利要求
种情感式的影像处理装置，其特征在于，包含有一快门按钮，根据其所受按压阶段的不同，分别产生一第一控制信号与一第二控制信号；一影像撷取单元，用以感测与撷取一影像数据，于接收该第一控制信号时，感测该影像数据，并发出一表情分析指令，以及于接收该第二控制信号时，撷取该影像数据；一表情数据库，储存有多个表情特征信息，以及该等表情特征信息所对应的多个特殊效果影像处理程序；一表情分析单元，接收该表情分析指令，以辨识该影像撷取单元所感测的该影像数据中的至少一脸部特征，并根据该等脸部特征查找该表情数据库，以确认该等脸部特征对应的该等表情特征信息；及一影像处理单元，根据该表情分析单元所确认的该等表情特征信息，执行该等特殊效果影像处理程序，以处理该影像撷取单元所撷取的该影像数据。
2. 如权利要求1所述的情感式的影像处理装置，其特征在于，该受按压阶段包含有对 应该第一控制信号的快门按钮半按状态、以及对应该第二控制信号的快门按钮全按状态。
3. 如权利要求1所述的情感式的影像处理装置，其特征在于，该等特殊效果影像处理 程序包含有调整色调、附加边框或搭配音乐。
4. 如权利要求1所述的情感式的影像处理装置，其特征在于，包含有 一存储单元，用以储存该影像撷取单元所撷取的该影像数据；及 一显示单元，用以显示该影像处理单元处理后的该影像数据。
5. —种情感式的影像处理方法，其特征在于，包含有下列步骤 提供一影像处理装置，其包括至少一快门按钮及一影像撷取单元； 半按压该快门按钮以产生一第一控制信号，且于产生该第一控制信号时，通过该影像撷取单元感测一影像数据；于该影像处理装置中提供一表情分析单元，其对该影像撷取单元所感测的该影像数据 进行一表情分析程序，以取得至少一脸部特征；提供一表情数据库予该表情分析单元，令该表情分析单元根据该等脸部特征于该表情 数据库查找进而确认该等脸部特征对应的至少一表情特征信息；根据该等表情特征信息决定至少一特殊效果影像处理程序；提供一影像处理单元，其系执行该等特殊效果影像处理程序，以处理该影像撷取单元 所撷取的该影像数据；及进一步全按压该快门按钮以于该快门按钮产生一第二控制信号时，输出处理后的该影 像数据。
6. 如权利要求5所述的情感式的影像处理方法，其特征在于，该等表情特征信息包含 笑脸、生气、哭泣、及惊吓。
7. 如权利要求5所述的情感式的影像处理方法，其特征在于，该等特殊效果影像处理 程序包含有调整色调、附加边框或搭配音乐。
全文摘要
本发明公开了一种情感式的影像处理装置及影像处理方法，该装置包含有快门按钮，根据受按压阶段的不同，分别产生第一与第二控制信号；影像撷取单元，于接收第一控制信号时，感测一影像数据，并发出表情分析指令，于接收第二控制信号时，撷取影像数据；表情数据库，储存有表情特征信息与对应的影像处理程序；表情分析单元，接收表情分析指令，以辨识影像数据中的脸部特征，并确认脸部特征对应的表情特征信息；影像处理单元，根据所确认的表情特征信息，执行影像处理程序，以处理影像撷取单元所撷取的影像数据。
文档编号G06F17/30GK101753850SQ200810178958
公开日2010年6月23日 申请日期2008年12月3日 优先权日2008年12月3日
发明者蔡昭宗 申请人:华晶科技股份有限公司