专利名称：应用于多媒体输入设备的多媒体输入方法
技术领域：
本发明是有关于一种应用于多媒体输入设备的多媒体输入方法，特别是有关于一种以唇形影像辨识文字信息为主的多媒体输入方法。
背景技术：
早期，在信息通信技术不发达的年代，研发各项电子信息产品的目的旨在促进信息的流通可以不受时间、空间的限制。而近年，随着电子信息科技技术的提升、人们对于生活娱乐的重视、及对便利的生活的讲究，促使电子信息产品的研发逐渐朝向重视人性化及多元化的趋势发展。而让各种电子通信产品能更加人性化的首要目的即在提高用户和电子信息产品 之间互动的便利性，即提供使用者能以更加多样化的方式和电子信息产品产生互动，而不受特定方式的限定。由此，除了最早期被广泛应用于各种电子信息产品的手写输入法，语音输入法也逐渐的被广泛应用在各种电子信息产品上。例如，习知的手机已存在用户可以通过语音输入，来取代传统的手写输入模式输入手机短信的功能，以避免传统手写输入法耗费时间的缺点，又可利用语音输入取代传统遥控器，来控制电视台的频道切换等。然而语音输入法较传统手写输入法，虽可以改善传统手写输入耗费时间的缺点，但在很多情况下，仅有语音输入法或手写输入法仍是不够的。例如，当将电子产品应用在游戏的娱乐功能上时，单调的输入法会限制了游戏的乐趣，又虽语音输入法对大部分的使用者来说已具备十足的便利性，但对于言语不便的使用者，例如插管的病患、哑巴或发音障碍者，则无法解决其所面临的不便利性。为了让各种电子通信产品能够更广泛的适合并满足各式各样的用户，发展多元的信息输入方式是不可避免的。
发明内容
由于现有技术的上述问题，本发明的目的就是在提供一种应用于多媒体输入设备的多媒体输入方法，以达到多元化的信息输入的功效。根据本发明的目的，提出一种应用于多媒体输入设备的多媒体输入方法。该多媒体输入设备包含一摄像单元、一处理模块、一唇形编码数据库、一唇读分析单元及一显示模块。且本发明的多媒体输入方法，其步骤包含由一摄像单元拍摄用户的一唇形影像。一处理模块自摄像单元接收唇形影像，并通过一唇读分析单元对唇形影像进行编码，得到一辨识后的唇形编码。通过处理模块进一步将辨识后的唇形编码与一唇形编码数据库所储存的多个标准唇形编码进行比对，以辨识是否得到符合辨识后的唇形编码的一第一文字结果，以及当辨识后得到符合辨识后的唇形编码的第一文字结果，即将第一文字结果传输至一显示模块，由显示模块显示第一文字结果。其中，唇形编码数据库更提供储存辨识后的唇形编码，以作为下次辨识唇形影像的参考依据。
其中，唇形编码数据库还储存有多个国家语言的标准唇形编码，并提供设置此多个国家语言的其中之一为多媒体输入设备的一默认语言。其中，唇形编码为唇读分析单元将唇形影像的各唇形特征点于平面坐标轴上定义所得的坐标值。其中，摄像单元还包括提供拍摄用户的一面部表情影像，且多媒体输入设备还包括一面部表情编码数据库及一面部表情分析单元。面部表情编码数据库是提供储存多个标准面部表情编码，每一标准面部表情编码各自有相对应的文字；面部表情分析单元是提供 对面部表情影像进行编码，以得到一辨识后的面部表情编码；且处理模块并可进一步将辨识后的面部表情编码与多个标准面部表情编码进行比对，及将辨识后的唇形编码与多个标准唇形编码进行比对，以得到对应于辨识后的面部表情编码及辨识后的唇形编码的一第二文字结果，且面部表情编码数据库更提供储存辨识后的面部表情编码，以作为下次辨识面部表情影像的参考依据。其中，摄像单元还包括提供拍摄用户的一手势影像，且多媒体输入设备还包括一手势编码数据库及一手势分析单元。手势编码数据库是提供储存多个标准手势编码，每一标准手势编码各自有相对应的文字；及手势分析单元，是提供对手势影像进行编码，以得到一辨识后的手势编码。处理模块并可进一步将辨识后的手势编码与多个标准手势编码进行比对，及将辨识后的唇形编码与多个标准唇形编码进行比对，以得到对应于辨识后的手势编码及辨识后的唇形编码的一第三文字结果，且手势编码数据库还提供储存辨识后的手势编码，以作为下次辨识手势影像的参考依据。其中，此多媒体输入设备还包括一语音输入单兀，且此多媒体输入设备还包括一语音编码数据库及一语音分析单元。语音输入单元是连接于处理模块，提供输入一语音消息，语音数据库是提供储存多个标准语音编码，每一标准语音编码各自有相对应的文字，语音分析模块是提供对语音消息进行编码，以得到一辨识后的语音编码。处理模块并可进一步将辨识后的语音编码与多个标准语音编码进行比对，及将辨识后的唇形编码与多个标准唇形编码进行比对，以得到对应于辨识后的语音编码及辨识后的唇形编码的一第四文字结果，且语音编码数据库还提供储存辨识后的语音编码，以作为下次辨识语音消息的参考依据。综上所述，本发明的多媒体输入设备及其方法，可具有一或多个下述优点
(I)本发明的多媒体输入方法可由输入用户的唇形影像、面部表情影像、手势影像或语音消息，达到输入文字信息于一电子信息装置的目的，而可增进输入文字信息时的方便性。(2)本发明的多媒体输入方法具有自动学习机制，因此对拥有该多媒体输入设备的用户而言，本发明的多媒体输入方法，有如记忆枕般可记忆用户的唇形影像、面部表情影像、手势影像及语音消息，让用户输入信息时，可以随着使用时间及累积输入次数的增加而越来越具便利性。(3)本发明的多媒体输入方法由于可由输入用户的唇形影像、面部表情影像、手势影像或语音消息，达到输入文字信息于一电子信息装置的目的，因此可使用在游戏的应用上，增加游戏的趣味性。
图I为本发明的多媒体输入设备的一实施例方块图。图2为本发明的唇唇型影像的坐标分析示意图。图3为本发明的面部表情影像的坐标分析示意图。图4为本发明的多媒体输入方法的实施例I的步骤流程图。图5为本发明的多媒体输入方法的实施例2的步骤流程图。图6为本发明的多媒体输入方法的实施例3的步骤流程图。 图7为本发明的多媒体输入方法的实施例4的步骤流程图。图8为本发明的多媒体输入设备的一实施例的显示接口。图9为本发明的多媒体输入设备的一实施例的显示接口。图10为本发明的多媒体输入设备的一实施例的显示接口。图11为本发明的多媒体输入设备的一实施例的显示接口。图中I，多媒体输入设备；
11，摄像单元；
12，处理模块；
121，唇形编码数据库；
122，唇读分析单元；
123，面部表情编码数据库；
124，面部表情分析单元；
125，手势编码数据库；
126，手势分析单元；
127，语音编码数据库；
128，语音分析单元；
13,语音输单兀；
14,显示模块；
2，手机；
25，显示接口 ；
251，唇读图框；
252，唇形影像；
253，文字输入框；
254，短信文字框；
255，面部表情图框；
256，面部表情影像；
Sll — S14、S16 — S19、S26 — S29、S36 — S39，步骤；
I、J、K、L、M、N，眼部表情特征点；
O、P，腮的表情特征点。
具体实施例方式如图I为本发明的多媒体输入设备的一实施例方块图。图中，多媒体输入设备包含一摄像单元11、一处理模块12、一语音输入单元13及一显示模块14，而处理模块12还包含有一唇形编码数据库121、一唇读分析单元122、一面部表情编码数据库123、一面部表情分析单元124、一手势编码数据库125、一手势分析单元126、一语音编码数据库127及一语音分析单元128。摄像单元11为拍摄用户的一唇形影像，并由处理模块12接收唇形影像并进行唇形影像的辨识分析，以得到相对应于用户的唇形影像的文字意涵，用以省去传统手写输入法输入文字的麻烦。此外，还可进一步由摄像单元11拍摄用户的一面部表情影像或一手势影像，来辅助唇形输入法的不足，或可由一语音输入单元13，提供用户输入一语音消息，来辅助唇形输入法。其中，唇形编码数据库121是储存多个标准唇形编码，每一标准唇形编码各自有相对应的文字，唇读分析单元122是提供对唇形影像进行编码，以得到一辨识后的唇形编码，而处理模块12进一步可将辨识后的唇形编码与多个标准唇形编码进行比对，以得到对应于辨识后的唇形编码的一第一文字结果。此外，唇形编码数据库121还储存有多个国家语言的标准唇形编码，并提供用户可设置此多个国家语言的其中的一为此多媒体输入设备 的一默认语言，而处理模块12在比对此辨识后的唇形编码时，则会自动依据所述默认语言所对应的多个标准唇形编码进行比对，且若当处理模块12在比对后发现此辨识后的唇形编码不属于此默认语言时，则会自动将此辨识后的唇形编码与其它多个国家语言所对应的多个标准唇形编码比对。面部表情编码数据库123提供储存多个标准面部表情编码，每一标准面部表情编码各自有相对应的文字，面部表情分析单元124是提供对面部表情影像进行编码，以得到一辨识后的面部表情编码，而处理模块12并进一步可将辨识后的面部表情编码与多个标准面部表情编码进行比对，及将辨识后的唇形编码与多个标准唇形编码进行比对，以得到对应于辨识后的面部表情编码及辨识后的唇形编码的一第二文字结果。另外手势编码数据库125提供储存多个标准手势编码，每一标准手势编码各自有相对应的文字，手势分析单元126是提供对手势影像进行编码，以得到一辨识后的手势编码，处理模块12并可进一步将辨识后的手势编码与多个标准手势编码进行比对，及将辨识后的唇形编码与多个标准唇形编码进行比对，以得到对应于辨识后的手势编码及辨识后的唇形编码的一第三文字结果。而语音编码数据库127是提供储存多个标准语音编码，每一标准语音编码各自有相对应的文字，语音分析单元128是将语音消息进行编码，以得到一辨识后的语音编码，最后处理模块12可进一步将辨识后的语音编码与多个标准语音编码进行比对，及将辨识后的唇形编码与所述多个标准唇形编码进行比对，以得到对应于辨识后的语音编码及辨识后的唇形编码的一第四文字结果。此外，本发明的多媒体输入设备还提供有一自动学习机制，此自动学习机制为每一次输入的唇形影像经分析后产生的辨识后的唇形编码及其对应得到的文字结果都会被储存入唇形编码数据库121中，以作为处理模块12下次对唇形进行分析时的参考，且若一唇形影像经过多次输入，所得的辨识后的唇形编码及其相对应的文字结果皆相同时，则此辨识后的唇形编码即可取代唇形编码数据库中相对应该文字的标准唇形编码，成为文字新的标准唇形编码。而除了唇形输入时有此学习机制外，同样的面部表情编码数据库123、手势编码数据库125及语音编码数据库127也都提供有此自动学习机制，以作为处理模块12下次分析面部表表情影像、手势影像或语音消息的参考依据。另外，唇读分析单元122分析唇形影像的方式为将接收到的唇形影像，取其最左侧的端点a、最右侧的端点b、最上侧的两端点C1及C2及最下侧的端点d后，分析各端点于所定义的平面坐标轴上相对应的坐标值，并依据各端点对应的坐标值，对唇形影像进行编码得到一辨识后的唇形编码。图2为本发明的唇形影像的坐标分析示意图。图中，可看见最左侧的端点a、最右侧的端点b、最上侧的端点C1及C2及最下侧的端点d在一唇形影像中所对应的位置，及各端点在唇形分析单元122所定义的平面坐标轴上的各自有一相对应的坐标值。其中，端点a对应的坐标值为第一端点坐标值(xa，ya)、端点b对应的坐标值为第二端点坐标值(xb，yb)、端点C1对应的坐标值为第三端点坐标值(Xc;1，ycl)、端点C2对应的坐标值为第四端点坐标值(1。2，yj及端点d对应的坐标值为第五端点坐标值(xd，yd)。此外，唇形编码数据库121中所储存的多个标准唇形编码，也是预先对发出各文字时的唇形进行如上述般的坐标分析后，得到唇形在发出各文字时相对应的标准唇形编码并储存的，以提供处理模块12辨识比对唇读分析单元122得到的辨识后的唇形编码所对应的文字。而面部表情分析单元124分析面部表情影像的方式为将接收到的面部表情影像，于面部表情分析单元124所定义的平面坐标上，分割成四个区域，并分别将其定义为一第一区域E、一第二区域F、一第三区域G及一第四区域H。接着对各区域所存在的各面部特征进行分析，以分析各面部特征点在面部表情分析单元124所定义的平面坐标上所对应的坐标值，并依据各坐标值，对面部影像进行编码得到一辨识后的面部表情编码，其各面部特征所指为眼部的形状或两腮的线条等。图3为本发明的面部表情影像的坐标分析示意图。图中，一面部表情于面部表情分析单元124所定义的平面坐标上被区分为一第一区域E、一第二区域F、一第三区域G及一第四区域H。在第一区域E存在眼部表情特征，将眼部表情特征区分为多个眼睛表情特征点I、J及K，并分析得到各眼睛表情特征点I、J及K在所定义的平面坐标上所对应的坐标值(xD yi)、(Xj, Yj)及(xK，，yK)。同样在第二区域F中，存在的眼部表情也被区分为多个眼部表情特征点L、M及N，并分析得到各眼睛表情特征点L、M及N在所定义的平面坐标上对应的坐标值(xL, yL)、(xM, yM)及(xN，，yN)。 而在第三区域G及第四区域H，存在两腮的表情特征线条。对存在于第三区域G的腮的表情特征线条上定义一腮的表情特征点0及对存在于第四区域G的腮的表情特征线条上定义另一腮的表情特征点P，并分别分析得到腮的表情特征点0及P在所定义之平面坐标上对应的坐标值(x0, y0)及(Xp,，yP)。最后面部表情分析单元124会依据其所得到的各表情特征点的坐标值(Xl，Y1)、(xj, yj)、(xK，，yK)、(xL, yL)、(xM, yM)、(xN，，yN)、(x0, y0 )及(xP，，yP),对面部表情影像进行编码得到辨识后的面部表情编码。同样的，面部表情编码数据库123中所储存的多个标准面表情编码，也是预先对相对应于各种意函的面部表情影像进行如上述般的坐标分析后，得到相对应于各种意函的面部表情影像所对应的标准面部表情编码并储存，以提供处理模块12 辨识比对面部表情分析单元124得到的辨识后的面部表情编码所对应的文字意涵。图4为本发明的多媒体输入方法的实施例I的步骤流程图，其步骤包括步骤S11，拍摄用户的一唇形影像。步骤S12 :对该唇形影像进行编码，得到一辨识后的唇形编码。步骤S13 :比对并分析该辨识后的唇形编码，以辨识是否可得到相对应辨识后的唇形编码的一第一文字结果，若比对成功，则得到一符合于辨识后的唇形编码的一第一文字结果，并通过步骤S14 :显示该第一文字结果。但若在步骤S13中，比对并分析该辨识后的唇形编码后，无法得到一符合于辨识后的唇形编码的一第一文字结果，则将会重新回到步骤S11，由摄像单元11重新拍摄用户的唇形影像，并重复步骤S12至步骤S13，直到可辨识得到一第一文字结果后，再通过步骤S14显示此第一文字结果。
其中，在步骤Sll中，是由摄像单元11拍摄用户的唇形影像，并在步骤S12中，处理模块12接收步骤Sll中所拍摄的唇形影像传输并通过唇读分析单元122对唇形影像进行编码，得到此辨识后的唇形编码。当获取对应于唇形影像的辨识后的唇形编码后在步骤S13中，处理模块12由进一步将此辨识后的唇形编码与唇形编码数据库121中储存的多个标准唇形编码进行比对分析，以辨识是否得到符合此辨识后的唇形编码的第一文字结果。在步骤S13中，若辨识后可得到符合此辨识后的唇形编码的此第一文字结果时，则会进入步骤S14，通过处理模块12将此第一文字结果传送至显示单元14，显示单元14并将此第一文字结果输出显示在屏幕上。若在步骤S13中比对失败，则在此实施例中，多媒体输入设备会告知用户是否重新输入唇形影像，以重新辨识，并如图4所示，比对失败后，将回到步骤S11，重新拍摄用户的唇形影像，并继续经由步骤S12及步骤S13重新进行辨识比对。若在步骤S13中，经由辨识比对后，无法得到相对应此辨识后的唇形编码的第一文字结果时，除了重新回到步骤S11，让使用者可重新输入唇形影像，进行重新比对外，还可进入一辅助分析模式。其中，辅助分析模式可以选定为面部表情分析模式、手势分析模式或语音分析模式，即当进入辅助分析后，可选择进一步分析用户的面部表情影像、手势影像或语音消息来辅助该唇形影像的分析辨识。图5为本发明多媒体输入方法的实施例2的步骤流程图。于此实施例中，当在步骤S13中比对并分析辨识后的唇形编码，无法得到一符合于辨识后的唇形编码的一第一文字结果时，则启动辅助分析模式，并选定面部表情分析模式为辅助分析模式。图中，当进入辅助分析模式，并且进一步选择面部表情分析模式为辅助分析模式时，其步骤更包括步骤S16，拍摄使用者的一面部表情影像。步骤S17，对该面部表情影像进行编码，得到一辨识后的面部表情编码。步骤S18，比对并分析该面部表情编码及该辨识后的唇形编码，辨识是否得到相对应该辨识后的面部表情编码及该辨识后的唇形编码的一第二文字结果。其中，在步骤S16中，是由摄像单元11拍摄用户的面部表情影像，并在步骤S17中，通过处理模块12接收步骤S16中所拍摄的面部表情影像并通过面部表情分析单元124对面部表情影像进行编码，得到此辨识后的面部表情编码。当获取辨识后的面部表情编码后在步骤S18中，处理模块12藉由进一步将此辨识后的面部表情编码与面部表情编码数据库123中储存的多个标准面部表情编码进行比对分析，及同时将辨识后的唇形编码与多个标准唇形编码进行比对，以辨识是否得到符合此辨识后的面部表情编码及此辨识后的唇形编码的第二文字结果。并在步骤S18中，辨识后若可得到符合此辨识后的唇形编码及此辨识后的面部表情编码的第二文字结果时，则将进入步骤S19，显示该第二文字结果。反之，若辨识后无法得到符合此辨识后的唇形编码及此辨识后的面部表情编码的第二文字结果时，则将可重新回到步骤S16，重新拍摄用户的面部表情影像，并重复分析步骤S17至S18，若仍无法得到结果，则可继续重复步骤S16至S18，直到得到此第二文字结果。另外，当启动辅助分析模式时，还可将辅助分析模式选定为手势分析模式。如图6所示，其为本发明的多媒体输入方法的实施例3的步骤流程图。当将辅助分析模式选定为手势分析模式时，其步骤更包括步骤S26，拍摄用户的一手势影像。步骤S27，对该手势影像进行编码，得到一辨识后的手势编码。步骤S28，比对并分析该手势编码及该辨识后唇形编码，辨识是否得到相对应该辨识后的手势编码及该辨识后的唇形编码的一第三文字结果。其中，在步骤S26中，是由摄像单元11拍摄用户的手势影像，并在步骤S27中，通过处理模块12接收步骤S26中所拍摄的手势影像传输并通过手势分析单元126对手势影像进行编码，得到此辨识后的手势编码。当获取辨识后的手势编码后在步骤S28中，处理模块12由进一步将此辨识后的手势编码与手势编码数据库125中储存的多个标准手势编码进行比对分析，及同时将辨识后的唇形编码与多个标准唇形编码进行比对，以辨识是否得到符合此辨识后的手势编码及此辨识后的唇形编码的第三文字结果。并在步骤S28中，若辨识后可得到符合此辨识后的唇形编码及此辨识后的手势编码的第三文字结果时，则将进入步骤S29，显示该第三文字结果。反之，若辨识后无法得到符合此辨识后的唇形编码及此辨识后的手势编码的第三文字结果时，则将可重新回到步骤S26，重新拍摄用户的手势影像，并重复分析步骤S27至S28，若仍无法得到结果，则可继续重复步骤S26至S28，直到得到此第三文字结果。当启动辅助分析模式时，还进一步可将辅助分析模式选定为语音分析模式。如图7所示，其为本发明的多媒体输入方法的实施例4的步骤流程图。当将辅助分析模式选定为语音分析模式时，其步骤还包括步骤S36，接收使用者的一语音消息。步骤S37，对语音消息进行编码，得到一辨识后的语音编码。步骤S38，比对并分析该语音编码及辨识后唇形编码，辨识是否得到相对应该辨识后的语音编码及辨识后之唇形编码的一第四文字结果。其中，在步骤S36中，是由语音输入单元13提供用户输入语音消息，并接收该语音消息，并在步骤S37中，通过处理模块12接收步骤S36中所接收的语音消息传输并通过语音分析单元128对语音消息进行编码，得到此辨识后的语音编码。接着在步骤S38中，处理模块12由进一步将此辨识后的语音编码与语音编码数据库127中储存的多个标准语音编码进行比对分析，及同时将辨识后的唇形编码与多个标准唇形编码进行比对，以辨识是否得到符合此辨识后的语音编码及此辨识后的唇形编码的第四文字结果。并在步骤S38中，若辨识后可得到符合此辨识后的唇形编码及此辨识后的语音编码的第四文字结果时，则将进入步骤S39，显示该第四文字结果。反之，若辨识后无法得到符合此辨识后的唇形编码及此辨识后的语音编码的第四文字结果时，则将可重新回到步骤S36，提供使用者重新输入语音消息，并重复分析步骤S37至S38，若仍无法得到结果，则可继续重复步骤S36至S38，直到得到此第四文字结果。如图8所示，其本发明的多媒体输入设备的一实施例的显示接口。在此实施例中，是将本发明的输入设备应用于手机2上。如第8图8所示，当使用者利用手机传送短信时，可对准手机显示接口 25上的唇读图框251读出想输入的文字讯信息，如”可爱的人”，此时、手机上的摄像单元11会自动拍摄使用者读出”可爱的人”时的唇形影像252，并对唇形影像252进行分析。当分析辨识后若得到一第一文字结果为”可爱的人”则会显示于文字输入框253上，如图9所示，其为本发明的多媒体输入设备的一实施例的显示接口。此时若得到的字是正确的，使用者可以由确认键确认，并输入此文字结果于短信文字框254中，如图10所示，其为本发明的多媒体输入设备的一实施例的显示接口。反之，若辨识后无法得到相对应的文字结果时，则可进入辅助分析模式，并可选择面部表情分析模式、手势分析模式或语音分析模式的其中之一为辅助分析，当选择为面部表情分析模式时，此时手机的显示接口 25上会出现面部表情图框255，并由摄像单元11拍摄用户的面部表情影像256，如图11所示，其为本发明的多媒体输入设备的一实施例的显示接口，当分析辨识后若得到一第二文字结果，例如第二文字结果为”可爱的人”则会显示于文字输入框253上，此时若得到的字是正确的，使用者可以藉由确认键确认，并输入此文字结果于短信文字框254中，同样如图10所示。反之，若不正确，使用者可以选择重新输入面部表情影像或再回到前面的步骤重新输入唇形影像，以重新分析辨识。
综上所述，使用者可利用本发明的多媒体输入设备及方法，由输入自身的唇形影像、面部表情影像、手势影像或语音消息，以达成输入文字信息于一电子信息装置的目的，并可增加其输入文字信息时的方便性及同时达到娱乐的效果。但是，上述的具体实施方式
只是示例性的，是为了更好的使本领域技术人员能够理解本专利，不能理解为是对本专利包括范围的限制；只要是根据本专利所揭示精神的所作的任何等同变更或修饰，均落入本专利包括的范围。
权利要求
1.一种应用于多媒体输入设备的多媒体输入方法，该多媒体输入设备包含一摄像单元、一处理模块、一唇读分析单元、一唇形编码数据库及一显示模块，其特征在于该多媒体输入方法的步骤包括 由所述摄像单元拍摄用户的一唇形影像； 通过所述处理模块自所述摄像单元接收所述唇形影像； 所述处理模块通过所述唇读分析单元对所述唇形影像进行编码，得到一辨识后的唇形编码； 通过所述处理模块进一步将所述辨识后的唇形编码与该唇形编码数据库所储存的多个标准唇形编码进行比对，以辨识是否得到符合所述辨识后的唇形编码的一第一文字结果；以及 当辨识后得到符合该辨识后的唇形编码的所述第一文字结果，即将该第一文字结果由所述显示模块显示。
2.根据权利要求I所述的多媒体输入方法，其特征在于其中所述唇形编码为所述唇读分析单元将所述唇形影像的各唇形特征点在平面坐标轴上定义所得的坐标值。
3.根据权利要求I所述的多媒体输入方法，其特征在于其中当所述处理模块无法辨识得到符合所述辨识后的唇形编码的所述第一文字结果时，即返回所述由所述摄像单元拍摄该用户的所述唇形影像的步骤，以提供所述使用者重新输入的唇形影像。
4.根据权利要求I所述的多媒体输入方法，其特征在于其中当所述处理模块无法辨识得到符合所述辨识后的唇形编码的所述第一文字结果时，即启动一辅助分析模式。
5.根据权利要求4所述的多媒体输入方法，其特征在于其中所述辅助分析模式包括一面部表情分析模式、一手势分析模式或一语音分析模式。
6.根据权利要求5所述的多媒体输入方法，其特征在于其中当所述辅助分析模式为所述面部表情分析模式时，所述多媒体输入设备还包含一面部表情分析单元及一面部表情编码数据库，且所述多媒体输入方法的步骤还包括 由所述摄像单元拍摄该用户的一面部表情影像； 通过所述处理模块自所述摄像单元接收所述面部表情影像； 所述处理模块通过所述面部表情分析单元对所述面部表情影像进行编码，得到一辨识后的面部表情编码； 通过所述处理模块进一步将所述辨识后的面部表情编码与所述面部表情编码数据库所储存的多个标准面部表情编码进行比对，及将所述辨识后的唇形编码与所述多个标准唇形编码进行比对，以辨识是否得到符合所述辨识后的面部表情编码及所述辨识后的唇形编码的一第二文字结果；以及 当辨识后得到符合所述辨识后的面部表情编码及所述辨识后的唇形编码的所述第二文字结果，即将所述第二文字结果由所述显示模块显示。
7.根据权利要求6所述的多媒体输入方法，其特征在于其中所述面部表情编码为所述面部表情分析模块将所述面部表情影像的各面部特征在平面坐标上定义的坐标值。
8.根据权利要求5所述的多媒体输入方法，其特征在于其中当所述辅助分析模式为所述手势分析模式时，该多媒体输入设备还包含一手势分析单元及一手势编码数据库，且所述多媒体输入方法的步骤还包括由所述摄像单元拍摄所述用户的一手势影像； 通过所述处理模块自所述摄像单元接收所述手势影像； 所述处理模块通过所述手势分析单元对所述手势影像进行编码，得到一辨识后的手势编码； 通过所述处理模块进一步将所述辨识后的手势编码与所述处理模块中的所述手势编码数据库所储存的多个手势编码进行比对，及将所述辨识后的唇形编码与所述多个标准唇形编码进行比对，以辨识是否得到符合该辨识后的手势编码及所述辨识后的唇形编码的一第三文字结果；以及 当辨识后得到符合该辨识后的手势编码及所述辨识后的唇形编码的所述第三文字结果，即将所述第三文字结果由所述显示模块显示。
9.根据权利要求5所述的多媒体输入方法，其特征在于其中当所述辅助分析模式为所述语音分析模式时，所述多媒体输入设备还包含一语音分析单元及一语音编码数据库，且所述多媒体输入方法的步骤还包括 由所述语音输入单元提供所述用户输入一语音消息； 通过所述处理模块自所述语音输入单元接收所述语音消息； 所述处理模块通过所述语音分析单元对所述语音消息进行编码，得到一辨识后的语音编码； 通过所述处理模块进一步将所述辨识后的语音编码与所述处理模块中的所述语音编码数据库所储存的多个语音编码进行比对，及将所述辨识后的唇形编码与所述多个标准唇形编码进行比对，以辨识是否得到符合所述辨识后的手势编码及所述辨识后的唇形编码的一第四文字结果；以及 当辨识后得到符合所述辨识后的语音编码及所述辨识后的唇形编码的所述第四文字结果，即将所述第四文字结果由所述显示模块显示。
10.根据权利要求I所述的多媒体输入方法，其特征在于其中所述唇形编码数据库还储存有多个国家语言的标准唇形编码，并提供设置所述多个国家语言的其中的一为所述多媒体输入设备的一默认语言。
全文摘要
本发明公开一种应用于多媒体输入设备的多媒体输入方法，本发明的多媒体输入方法由一摄像单元拍摄用户的唇形影像，并通过处理模块对唇形影像进行辨识分析以得到相对应的文字意涵，然后经由一显示模块显示对应的文字于屏幕上，达到多元输入的目的。
文档编号G06K9/00GK102637071SQ201110035078
公开日2012年8月15日 申请日期2011年2月9日 优先权日2011年2月9日
发明者赵蕊 申请人:英华达(上海)电子有限公司, 英华达(上海)科技有限公司, 英华达股份有限公司