专利名称：触觉反馈方法及其电子装置的制作方法
技术领域：
本发明是有关于一种触觉反馈方法及其电子装置，且特别是有关于一种用以响应触碰输入的触觉反馈方法及其电子装置。
背景技术：
随着触控感应技术的蓬勃发展，越来越多的电子装置开始使用触控式显示屏幕。触控式显示屏幕能提供视觉反馈，并供使用者以触碰输入的方式来操作电子装置。相较于一般使用者界面如电子装置的键盘或按键，触控式显示屏幕的触觉反馈较差。更详细地说，当使用者进行触碰输入时，指尖或触控笔比较无法感受到接触的感觉，这会造成使用者难以得知是否有正确地完成碰触输入、亦不晓得触碰了多少次。因此，使用者需仰赖触控式显示屏幕所提供的视觉反馈，来得知触碰的结果。然而，此种作法会将会造成 使用者在视觉上的负担，并降低电子装置的操作方便性。
发明内容
本发明是有关于一种电子装置，能提供与图像内容有关的触感反馈，藉以提高电子装置的操作方便性。根据本发明的一方面，提出一种触觉反馈方法，包括多个步骤。取得一原始图像。转换原始图像为一二值图像。二值图像包含一第一灰值及一第二灰值。转换原始图像为一灰阶图像。灰阶图像至少包含一第三灰值。第三灰值介于第一灰值与第二灰值之间。依据二值图像与灰阶图像，产生一索引图。索引图包含多个代表不同触觉反馈强度的索引值。当原始图像被显示于一显示面板时，检测一触控面板上的一触碰输入。响应于所检测的触碰输入，依据索引图驱动一触觉动作单元以产生触觉反馈。根据本发明的一方面，提出一种电子装置，用于触觉反馈。电子装置包括处理模块、显示面板、触控面板、及触控面板。显示面板连接至处理模块。触控面板连接至该处理模块，用以覆盖于显示面板上。触觉动作单元连接至处理模块。处理模块用以取得一原始图像。处理模块还转换原始图像为一二值图像。二值图像包含一第一灰值及一第二灰值。处理模块还转换原始图像为一灰阶图像。灰阶图像至少包含一第三灰值。第三灰值介于第一灰值与第二灰值之间。处理模块还依据二值图像与灰阶图像产生一索引图。索引图包含多个代表不同触觉反馈强度的索引值。处理模块还用以当原始图像被显示于显示面板时检测触控面板上的一触碰输入。处理模块还用以响应于所检测的触碰输入，依据索引图驱动触觉动作单元以产生触觉反馈。为了对本发明的上述及其它方面有更佳的了解，下文特举较佳实施例，并配合所附图式，作详细说明如下。
图I绘示依照本发明一实施例的电子装置所执行的触觉反馈方法的流程图。
图2绘示依照本发明一实施例的电子装置的方块图。图3绘示图2的电子装置的处理模块的一例的示意图。图4绘示图I的步骤S140的部分细部过程的一例的流程图。图5绘示图I的步骤S140的另一部分细部过程的一例的流程图。图6绘示图I的步骤S140的另一部分细部过程的一例的流程图。图7绘示原始图像的一例的示意图。[主要元件标号说明]210 :处理模块211 :原始图像撷取单元·
212:二值图像产生单元213 :灰阶图像产生单元214:触觉定向单元215 :灰阶处理单元216:索引图产生单元217:触觉强度处理单元218 :数值转换单元220 :显示面板230:触控面板240 :触觉动作单元Iml :原始图像Im2 : 二值图像Im3 :灰阶图像Im4:索引图KS:索引值P(x，y)、Al A3 :坐标SV:强度变数SllO S160 :流程步骤
具体实施例方式以下揭露触觉反馈方法及其电子装置的实施例。在一些实施例中，能提供与图像内容有关的触感反馈，藉以提高电子装置的操作方便性。触觉反馈的提供能降低使用者对于视觉的仰赖，并增加使用者经验。而且，还能改善于单纯的点触操作中会有触感反馈不佳的问题，而提高电子装置的操作方便性。请参照图1，其绘示依照本发明一实施例的电子装置所执行的触觉反馈方法的流程图。此控制方法包括多个步骤。于步骤SllO中，取得一张原始图像。于步骤S120中，转换原始图像为二值图像。二值图像包含第一灰值及第二灰值。于步骤S130中，转换原始图像为灰阶图像。灰阶图像至少包含第三灰值，且第三灰值介于第一灰值与第二灰值之间。于步骤S140中，依据二值图像与灰阶图像，产生索引图。索引图包含多个代表不同触觉反馈强度的索引值。于步骤S150中，当原始图像被显示于显示面板时，检测触控面板上的触碰输入。于步骤S160中，响应于所检测的触碰输入，依据索引图驱动触觉动作单元以产生触觉反馈。如此，能提供与图像内容有关的触感反馈，藉以提高电子装置的操作方便性。请参照图2，其绘示依照本发明一实施例的电子装置的方块图。于一实施例中，电子装置200包括一处理模块210、一显示面板220、一触控面板230及一触觉动作单元240。处理模块210用以进行各种运算程序。处理模块210例如是微处理芯片。显示面板220用以显示各种信息。触控面板230例如是电阻式、电容式、光学式、音波式要或其它形式的触控面板。触控面板230覆盖于显示面板220上，以使显示区域与触控区域相对应。触觉动作单元240用以产生触觉反馈，如虚拟触觉(Haptics)。处理模块210连接至显示面板220、触控面板230及触觉动作单元240。处理模块210用以检测触控面板230所受的触碰输入而对应地控制显示面板220的显示信息，以提供视觉反馈。处理模块210还用以检测触控面板230所受的触碰输入而对应地驱动触觉动作单元240，以产生触觉反馈。请参照图3，其绘示图2的电子装置的处理模块的一例的示意图。于此例中，处理模块210的各单元211 218可实现为软件如执行序或程序产品、或实现为硬件如数字/模拟逻辑电路所实现、或实现为固件与配合其的驱动程序。电子装置200例如是通过处理模块210的各个单元来执行本发明的触觉反馈方法，兹进一步说明如下。于步骤S 110中，取得原始图像。举例来说，可由原始图像撷取单元211取得一张原始图像Iml。原始图像Iml例如是一张RGB图像，其包含三原色的图像数据。然本发明亦不限于此。于其它例子中，原始图像Iml可包含由其它色彩空间所定义的图像数据。于一些实施例中，原始图像Iml例如是图像撷取单元211从存储器的图库来取得。于其它实施例中，原始图像Iml例如是由原始图像撷取单元211从镜头与感测元件来取得。感测元件例如是基于电荷稱合元件(Charge Couple Device, CCD)或基于互补式金属氧化物半导体(Complementary Metal-Oxide-Semiconductor, CMOS)。然原始图像的来源并不在此限且有更多的实施态样。 于步骤S120中，转换原始图像为二值图像。举例来说，可由二值图像产生单元212转换原始图像Iml为一张二值图像Im2。于此例中，二值图像Im2包含两种灰值，如第一灰值与第二灰值。两灰值例如但不受限地可分别代表图像的最大灰值与最小灰值。于一些实施例中，二值图像Im2可依据一阈值(或称门坎值)而被产生。举例来说，二值图像Im2的产生可仰赖二值图像产生单元212利用算法找出适合的阈值，并依据该阈值将原始图像Iml的灰值分类成两种灰值。若原始图像Iml的某一灰值大于阈值，则该灰值会被调整为最大灰值；若原始图像Iml的某一灰值小于阈值，则该灰值会被调整为最小灰值，反之亦可。阈值可用来进行图像分割，而将图像区分成前景(如主要物体)与背景(如其它物体)。于实作中，可针对原始图像Iml进行灰值的统计与分类，以得到一幅称为直方图的灰阶统计图。之后，可根据直方图中像素灰阶的分布情况，以得知原始图像Iml的灰阶分布特性，并作为分割的参考。阈值的决定方式有多种实施方式。于一些实施例中，可通过观察原始图像Iml的直方图的波峰及波谷位置，以人工的方式来选取阈值。于另一些实施例中，可利用算法来自动找出合适的阈值。自动阈值的取得方式，可根据物体的亮度特征、尺寸、所占的图像面积、比率、或物体种类的多寡推导而来。于实作中，自动寻找阈值的算法例如但不受限地是百分比法(P-Tile Method)、模式法(Mode Method)、平均灰阶值法(Mean-Value Method)、或本领域技术人员可在参照上述说明后可推演而得的其它算法。于步骤S130中，转换原始图像为灰阶图像。举例来说，可由灰阶图像产生单元213转换原始图像Iml为一张灰阶图像Im3。灰阶图像Im3至少包含一种介于二值图像Im2的两灰值之间的第三灰值。于一些实施例中，灰阶图像Im3例如是原始图像Iml中的亮度(luminance)信息。举例来说，针对原始图像Iml的一个像素，亮度值可从该像素所对应的三种颜色的图像数据转换而来。亮度值例如但不受限是三种颜色的图像数据的均值、或权重总合。然本发明亦不限于此，于其它实施例中，灰阶图像Im3例如是原始图像Iml中的Y成份、或其它能表示出原始图像Iml的细部特征的图像内容。
灰阶图像Im3的使用可产生多样性的、不同程度的触觉反馈。由于图像经过二值化处理后，中间过渡的灰色信息已不存在，因此，可通过灰阶图像来提供过渡的区域数值，作为触觉反馈强度的参考。于步骤S 140中，依据二值图像与灰阶图像，产生索引图。举例来说，可由触觉定向单元214与灰阶处理单元215分别对二值图像Im2与灰阶图像Im3作进一步的处理，再由索引图产生单元216产生一张索引图Im4。索引图Im4包含多种索引值，其代表不同的触觉反馈强度。于一些实施例中，二值图像Im2的灰值是选择性地被反转。举例来说，可由触觉定向单元214选择性地将二值图像Im2的第一灰值与第二灰值相互对调。
选择性地反转二值图像的灰值可使图像中的主体对应至高强度的触觉反馈。假设高灰值是用来产生高强度的触觉反馈，此时，若主体的原灰值是属于高灰值，则不进行灰值反转；若主体的原灰值是属于低灰值，则进行反转。如此，便能使图像中的主体具有高灰值，而对应至高强度的触觉反馈。主体的正确识别也是很重要的。于一些实施例中，主体的识别可通过二值图像中的两种灰值的数量来决定，其原因在于主体相较于背景在图像中所占的面积通常较小，故数量较少。当然，主体的识别也可以其它方式来实现。兹以一例说明如何选择性地反转二值图像Im2的灰值。请参照图4,其绘示图I的步骤S140的部分细部过程的一例的流程图。于步骤S141中，触觉定向单元214计算二值图像Im2中第一灰值的数量与第二灰值的数量。接着，于步骤S142中，触觉定向单元214判断第一灰值的数量是否大于第二灰值的数量。之后，触觉定向单元214依据判断的结果，决定是否反转二值图像的灰值。若第一灰值的数被判定大于第二灰值的数量，则如步骤S143a所示，触觉定向单元214反转二值图像的灰值；若第一灰值被判定不大于第二灰值的数量，则如步骤S143b所示，触觉定向单元214保持二值图像的灰值。兹以一例说明如何处理灰阶图像Im3的灰值。请参照图5，其绘示图I的步骤S140的另一部分细部过程的一例的流程图。于步骤S144中，灰阶处理单元215计算二值图像Im2中第一灰值的数量与第二灰值的数量。接着，于步骤S145中，灰阶处理单元215判断第一灰值的数量是否大于第二灰值的数量。若是，则进入步骤S146a，灰阶处理单元215将灰阶图像Im3的灰值除半；若否，则进入步骤S146b，灰阶处理单元215将灰阶图像Im3的灰值反转并除半。兹以一例说明如何依据二值图像与灰阶图像产生索引图Im4。请参照图6，其绘示图I的步骤S140的另一部分细部过程的一例的流程图。于步骤S147a中，索引图产生单元216接收步骤S143a与S146a的结果，以合成反转后的二值图像Im2的灰值与处理后的灰阶图像Im3的灰值。于步骤S147b中，索引图产生单元216接收步骤S143b与S146b的结果，以合成未经反转的二值图像Im2的灰值与处理后的灰阶图像Im3的灰值。于步骤S148中，索引图产生单元216判断合成后的灰值是否大于最高灰值。若是，则进入步骤S149a，索引图产生单元216将合成后的灰值限定在最高灰值；若否，则进入步骤S149b，索引图产生单元216保持合成后的灰值。故知，索引图Im4中一个索引值是通过合并二值图像Im2中一个灰值与灰阶图像Im3中一个对应的灰值而产生。于步骤S150中，当原始图像被显示于显示面板时，检测触控面板上的触碰输入。举例来说，可由触觉强度处理单元217依据触碰输入的坐标P (X，y)取得索引图Im4中相对应的一索引值KS，再由数值转换单元218转换该索引值KS为触觉动作单元240的一强度变量SV。于一实施例中，索引值KS与强度变量SV之间的转换，例如是依照索引值KS与最高灰值之间的比例，再乘上触觉动作单元240的最大强度，来产生强度变量SV，其关系式例如是SV = (KS/GH) X TS，其中，GH表示最高灰值，如255 ；TS代表触觉动作单元240的最大强度。此种作法可视为是线性式的转换，然本发明亦不限于此。实作中也可使用非线性式或其它方式来将索引值KS转换为强度变量SV。于步骤S160中，响应于所检测的触碰输入，依据索引图驱动触觉动作单元以产生触觉反馈。举例来说，可由数值转换单元218将上述的强度变数SV传送至触觉动作单元240，从而驱动触觉动作单元240而产生触觉反馈。于一些实施例中，触觉动作单元240例如是压电式的振动器或马达振动器，可用
来产生基于压电或振动的触觉反馈。然本发明亦不限于此，触觉反馈也可以依据其它形式的触觉动作单元而有不同的实施态样。请参照图7,其绘示原始图像的一例的示意图。如图7所示,于此例中，原始图像Iml的主体为一仙人掌。经由二值图像及灰阶图像的合成后，所产生的索引图Im4的分布状态会相关于原始图像Iml的灰阶，且主体会对应至较强的触觉反馈。有关坐标Al、A2、A3，是假设坐标Al位在主体且其灰值是对应至最强的触觉反馈，而坐标A2位在主体且其灰值是对应至次强的触觉反馈，而坐标A3位在背景且其灰值是对应至最弱的触觉反馈。如此，便能提供与图像内容有关的不同程度的触感反馈。本发明上述实施例的触觉反馈方法及其电子装置，将图像中的前景与背景通过阈值，进行二值化运算，来决定主要产生触觉反馈的主体区域，再结合图像灰阶数值，来计算触觉反馈的强度。如此，能提供与图像内容有关的触觉反馈，藉以提高电子装置的操作方便性。触觉反馈的提供能降低使用者对于视觉的仰赖，并增加使用者经验。而且，还能改善于单纯的点触操作中会有触感反馈不佳的问题，而提高电子装置的操作方便性。综上所述，虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附的权利要求范围所界定者为准。
权利要求
1.一种触觉反馈方法，包括 取得一原始图像； 转换该原始图像为一二值图像，该二值图像包含一第一灰值及一第二灰值； 转换该原始图像为一灰阶图像，该灰阶图像至少包含一第三灰值，该第三灰值介于该第一灰值与该第二灰值之间； 依据该二值图像与该灰阶图像，产生一索引图，该索引图包含多个代表不同触觉反馈强度的索引值； 当该原始图像被显示于一显示面板时，检测一触控面板上的一触碰输入；以及 响应于所检测的该触碰输入，依据该索引图驱动一触觉动作单元以产生触觉反馈。
2.根据权利要求I所述的触觉反馈方法，其中，该二值图像是依据一阈值而被产生。
3.根据权利要求I所述的触觉反馈方法，其中，在产生该索引图的步骤前，该方法还包括 选择性地反转该二值图像的灰值。
4.根据权利要求3所述的触觉反馈方法，其中，选择性地反转该二值图像的灰值的步骤包括 计算该二值图像中该第一灰值的数量与该第二灰值的数量；以及 判断该第一灰值的数量是否大于该第二灰值的数量；以及 依据判断的结果，决定是否反转该二值图像的灰值。
5.根据权利要求I所述的触觉反馈方法，其中，该索引图中一个索引值是通过合并该二值图像中一个灰值与该灰阶图像中一个对应的灰值而产生。
6.根据权利要求I所述的触觉反馈方法，其中，驱动该触觉动作单元的步骤包括 依据该触碰输入的坐标取得该索引图中相对应的一索引值，并依据该索引值驱动该触觉动作单元。
7.根据权利要求I所述的触觉反馈方法，其中，该触觉动作单元产生基于压电或振动的触觉反馈。
8.一种电子装置，用于触觉反馈，该电子装置包括 一处理模块； 一显示面板，连接至该处理模块； 一触控面板，连接至该处理模块，用以覆盖于该显示面板上；以及 一触觉动作单元，连接至该处理模块； 其中，该处理模块用以取得一原始图像，该处理模块还转换该原始图像为一二值图像，该二值图像包含一第一灰值及一第二灰值，该处理模块还转换该原始图像为一灰阶图像，该灰阶图像至少包含一第三灰值，该第三灰值介于该第一灰值与该第二灰值之间，该处理模块还依据该二值图像与该灰阶图像产生一索引图，该索引图包含多个代表不同触觉反馈强度的索引值，该处理模块还用以当该原始图像被显示于该显示面板时检测该触控面板上的一触碰输入，该处理模块还用以响应于所检测的该触碰输入，依据该索引图驱动该触觉动作单元以产生触觉反馈。
9.根据权利要求8所述的电子装置，其中，该二值图像是依据一阈值而被产生。
10.根据权利要求8所述的电子装置，其中，该处理模块在产生该索引图前，还用以选择性地反转该二值图像的灰值。
11.根据权利要求10所述的电子装置，该处理模块在选择性地反转该二值图像的灰值时，该处理模块计算该二值图像中该第一灰值的数量与该第二灰值的数量，该处理模块还判断该第一灰值的数量是否大于该第二灰值的数量，该处理模块还依据判断的结果决定是否反转该二值图像的灰值。
12.根据权利要求8所述的电子装置，其中，该索引图中一个索引值是通过合并该二值图像中一个灰值与该灰阶图像中一个对应的灰值而产生。
13.根据权利要求8所述的电子装置，其中，该处理模块依据该触碰输入的坐标取得该索引图中相对应的一索引值，并依据该索引值驱动该触觉动作单元。
14.根据权利要求8所述的电子装置，其中，该触觉动作单元产生基于压电或振动的触觉反馈。
全文摘要
一种触觉反馈方法及其电子装置。触觉反馈方法包括多个步骤。取得一原始图像。转换原始图像为二值图像。二值图像包含第一灰值及第二灰值。转换原始图像为灰阶图像。灰阶图像至少包含第三灰值。第三灰值介于第一灰值与第二灰值之间。依据二值图像与灰阶图像，产生索引图。索引图包含多个代表不同触觉反馈强度的索引值。当原始图像被显示于显示面板时，检测触控面板上的触碰输入。响应于所检测的触碰输入，依据索引图驱动触觉动作单元以产生触觉反馈。
文档编号G06F3/048GK102841677SQ20111019026
公开日2012年12月26日 申请日期2011年7月7日 优先权日2011年6月21日
发明者施雨良, 张荣文 申请人:广达电脑股份有限公司