语文结合图像译意系统及其方法与流程

本发明涉及一种语文结合图像译意系统及其方法。

背景技术：

由于全世界的人类使用语言众多，对于大多数民众而言，如果双方没有彼此皆了解的大众语言，将造成沟通上的困难，这种语言障碍容易产生误会、冲突与隔阂。为了取得更好的沟通，通常需要通过一翻译人员进行翻译，使两种语言皆可被理解，但雇用翻译人员的金额昂贵、没效率且不够弹性；另一种翻译方式则是通过计算机或翻译器等机器进行翻译，不幸的是众多语言的语言规则具有极大的差异，因此利用机器翻译出的结果常常无法理解，显然此种方法并不可靠。

目前所见的语言翻译机可针对语词或句子进行不同语言的翻译，以达成与操不同语言者沟通的效果，不过，一般而言，就翻译的正确性而言，简单句子的翻译较无问题，而复杂的句子较易产生翻译失真的情形，此乃涉及翻译软件的开发考虑，而越多国语言的翻译软件程序也更复杂，开发费用则更为高昂；其次，人类有口语、文字、图片(图形、图案)或手语等多种沟通方式，前述利用语言翻译机来进行口语或文字的沟通较花费时间，而图片则比口语、文字更能快速提供讯息、达成沟通效果，克服语言的障碍，不过目前为止并无可供利用图形与操不同语言者进行沟通的装置，因此如何克服不同语言造成的沟通限制，实为一值得探讨重要的技术课题。

技术实现要素：

本发明的目的在于提供一种突破不同语言上所产生的沟通限制的语文结合图像译意系统及其方法。

基于此，本发明主要采用下列技术方案，来实现上述目的。

一种语文结合图像译意系统，其包括：一输入单元，该输入单元用以接收一文字讯号；一单词处理单元，该单词处理单元与该输入单元连接，并用以处理该文字讯号为至少一单词；一比对单元，该比对单元与该单词处理单元连接，该比对单元用以撷取该单词所对应的至少一图像；一转译单元，该转译单元与该单词处理单元连接，该转译单元用以转换该单词为一转译单词；一显示单元，该显示单元与该比对单元及该转译单元连接，该显示单元用以显示该文字讯号、该图像及该转译单词；及一记忆单元，该记忆单元与该比对单元及该转译单元连接，该记忆单元用以储存该图像及该转译单词。

进一步，该比对单元及该转译单元还连接一外部资源端，并通过该外部资源端取得至少一外部图像及一转译内文。

进一步，该外部资源端为一因特网、一搜寻平台及一云端信息中任选组合。

进一步，该文字讯号、该图像及该转译单词还通过该外部资源端传送到至少一邻接信息处理装置上显示。

进一步，该图像还为至少一动态及至少一静态中的任选其组合。

一种语文结合图像译意的方法，设置于一信息处理装置中，其包括：接受一使用者输入至少一文字讯号；将该文字讯号分段处理为至少一单词；比对该单词所对应的一图像，并撷取出该图像；及将该图像及该文字讯号传送出后加以显示。

较佳的，比对该单词所对应的该图像，若并无该图像时，还包含将该单词加以转译为一转译单词的步骤。

较佳的，将该图像及该文字讯号传送出后加以显示，还包含将该转译单词加以显示及传送的步骤。

较佳的，比对该单词所对应的该图像步骤中，其中该图像还储存于一来源端之中。

较佳的，该来源端还包含一记忆单元及至少一外部资源端。

一种语文结合图像译意的方法，设置于一信息处理装置中，其包括：接受一使用者输入至少一图像；将该图像所对应的至少一单词加以显示以供该使用者选择；及将该单词组合为一文字讯号后连同该图像加以显示及传送。

本发明语文结合图像译意系统及其方法采用上述技术方案后，系统内可将一字句内的各单词，指向一对应的图像(或动态短片)来加以显示，并于多个使用者之间传送，借由图像结合其它语文的辅助来对单词产生直接译意，来辅助使用者了解原本的词意，以求跨越各种不同语言造成的沟通限制，从而突破不同语言上所产生的沟通限制。

附图说明

图1为本发明语文结合图像译意系统的系统架构图。

图2为本发明语文结合图像译意系统的语系转换示意图。

图3为本发明语文结合图像译意系统的第一实施例流程图。

图4a为本发明语文结合图像译意系统的第一实施例(1)图。

图4b为本发明语文结合图像译意系统的第一实施例(2)图。

图4c为本发明语文结合图像译意系统的第一实施例(3)图。

图4d为本发明语文结合图像译意系统的第一实施例(4)图。

图5为本发明语文结合图像译意系统的第二实施例流程图。

图6a为本发明语文结合图像译意系统的第二实施例(1)图。

图6b为本发明语文结合图像译意系统的第二实施例(2)图。

【符号说明】

10　　输入单元11　　单词处理单元

12　　比对单元13　　转译单元

14　　显示单元15　　记忆单元

20　　外部资源端cw　　语言选项

f1~f5　图像数据nf　　外部图像

p1~p4分隔点re　　接受者

sb　　图像选项tb　　转译内文

tw1~tw5转译单词ue　　使用者

w1~w5　单词资料。

具体实施方式

根据本发明语文结合图像译意系统，请先参照图1，为本发明语文结合图像译意系统的系统架构图。

本发明语文结合图像译意系统，此系统可设置于各式的信息处理装置之中，其系统架构包括：输入单元10、单词处理单元11、比对单元12、转译单元13、显示单元14及记忆单元15，输入单元11用以接收使用者输入的文字讯号，使用者可以对文字讯号的各单词加以分段标注，单词处理单元11与输入单元10连接，并用以接受使用者指示处理文字讯号为各分段的单词，比对单元12与单词处理单元11连接，并用以撷取单词所对应的至少一图像，如果无法以图像表示的单词则传送至转译单元13，转译单元13可用以转换单词为一转译单词，最后传送到显示单元14来显示出使用者原始输入的文字讯号、图像及转译单词，而图像及转译单词等数据则储存在记忆单元15之中，但是如果某个单词的对应图像或是转译单词无法在记忆单元15单元中查获时，可通过外部资源端20来搜寻撷取，此外部资源端20可为因特网、搜寻平台或是任何的云端信息所组成。

请继续参照图2为本发明语文结合图像译意系统的语系转换示意图，本发明语文结合图像译意系统以语文结合图像为中心，可自由切换各种语言来突破沟通上的限制，非常适合应用于多向的聊天室平台等，使用者只要选择自己熟悉的一种语系来发布文字讯息配合图像数据，在各个不同的接收者可自行转换成自己熟悉的语系，进而了解使用者想表达的意思，而各接收者也同样可以借由本系统来传递文字讯息配合图像数据向聊天室平台广播，或是指定发送给聊天室平台中的任一接收者，形成多种语言的多向沟通，例如：使用者以中文加上图像数据发送给聊天平台上的日本接收者及德国接收者，相同的日本接收者也可以使用日文加上图像数据，来发送给德国接收者，基于图像为中心的转译程序可以让各种语言转换成接收者自己熟悉的语言，来使各种平台达到多向的同步沟通。

接下来请继续参照图3为本发明语文结合图像译意系统的第一实施例流程图；当使用者欲使用本语文结合图像译意系统时，首先系统会接受使用者输入文字讯号(步骤100)，此输入的文字讯号可利用键盘输入、手写或是语音输入，然后使用者将文字讯号分段由系统将文字讯号作单词处理(步骤110)，接下来由系统比对各单词是否有对应图像(步骤120)，如果系统有寻获对应的图像或是短片，则系统会由来源端撷取各单词图像(步骤130)，但是如果有部份的单词无法寻获图像或短片，系统会由来源端将单词加以转译(步骤140)，最后再将文字讯号、单词图像及单词转译加以传送到接收者后显示(步骤150)，如此则可让其它的人利用图像结合单词转译，来明白使用者的原意，进而突破不同语言的沟通限制。

接下来请继续参照图4a，为本发明语文结合图像译意系统的第一实施例(1)图；此实施例列举出一实例作为演练，图中可以看出使用者ue输入了「我喜欢吃鱼」一文字讯息，通过了分段点p1~p3，会产出「我、喜欢、吃、鱼」4个单词数据w1~w4，此时系统会针对各单词去搜寻比对出对应的图像(或短片)加以撷取显示，图中下方可以看出4个单词对应的图像数据f1~f4，可以让不懂得「我喜欢吃鱼」这文字信息的接收者re，通过图像数据f1~f4的组合来了解到使用者所要表达的意思，图中可以看出接收者re处可以显示出图像数据f1~f4及原本的文字讯息。

但如果内建的记忆单元中，寻找不到单词对应的图像数据，系统可直接通过因特网、搜寻平台及云端信息来做搜索，例如假设「鱼」这个单词，系统内没有适合的图片，则可以通过外部资源端来找出对应的外部图像nf加以组合，来提升表达的灵活性，图中可以看出当接收者re收到了使用者ue传来的图像数据f1~f4及文字讯息后，如果对使用者ue想表达的意思仍不明白，可以点击文字讯息或图像数据f1~f4，此时系统会将文字讯息直接转译成转译单词tw1~tw4，来提供接收者re更多的讯息，当然转译单词tw1~tw4并不以特定语言为限，接收者re可自由选择自己所熟悉的语言来检视(图中显示为英文)，前述架构请参照图4b，为本发明语文结合图像译意系统的第一实施例(2)图。

接下来请继续参照图4c，为本发明语文结合图像译意系统的第一实施例(3)图；此实施例中可以看出使用者ue输入了「老师给我们测验英文」一文字讯息，通过了分段点p1~p4，会产出「老师、给、我们、测验、英文」5个单词数据w1~w5，此时系统会针对各单词去搜寻比对出对应的图像(或短片)加以撷取显示，图中下方可以看出5个单词对应的图像数据f1、f3~f5，可以让不懂得「老师、给、我们、测验、英文」这文字信息的人，通过图像数据f1、f3~f5的组合来了解到使用者所要表达的意思，但内建的记忆单元中及外部资源端都寻找不到「给」这个单词数据w2所对应的图像数据，所以系统在传送的时候，则会将单词数据w2空下，仅传送组合完成的图像数据f1、f3~f5及文字讯息，来避免接收者re的误解。

如果接收者re因为图像数据的缺漏而不明白字句的意思时，可直接将点击文字讯息或图像数据f1、f3~f54，此时系统会将文字讯息直接转译成转译单词tw1~tw5，来提供接收者re更多的讯息，来提升表达的准确度，如果接受者对于转译单词tw的内容不是很了解，也可以直接点击转译单词tw2，此时系统会提供转译单词tw2的转译内文tb，转译内文tb内文有着关于转译单词tw2的详细解释，可以提升对于单词的理解进而了解使用者ue的原意，当然转译单词tw1~tw5并不以特定语言为限，接收者re可自由选择自己所熟悉的语言来检视(图中显示为英文)，前述架构请参照图4d，为本发明语文结合图像译意系统的第一实施例(4)图。

在不违反同一发明精神之下，本发明的语文结合图像译意系统还可有以下实施方式，接下来请继续参照图5，为本发明语文结合图像译意系统的第二实施例流程图；本发明除了第1实施例的流程图外，还可提供使用者便利的沟通方式，例：当使用者欲使用本语文结合图像译意系统时，首先系统会接受使用者输入单词图像(步骤200)，选择的单词图像可利用系统内建的图像或短片来输入，然后由系统比对单词图像是否有多组对应单词(步骤210)，如果有多组的对应单词，则系统会加以显示由使用者选择(步骤220)，以求能正确的表达单词的意思，但是如果并没有对应多组的单词，系统会直接将单词加以组合显示为文字讯号并传送至接收者后显示(步骤230)，如此使用者可反向利用单词图像来结合成转译单词组成的文字讯号，传送给其它接收者，同样可以表达使用者的原意，来突破不同语言的沟通限制。

为了细部解说此实施态样，接下来请继续参照图6a，为本发明语文结合图像译意系统的第二实施例(1)图；图中可以看出使用者ue输入了4个图像数据f1～f4，在经过语言选择cw之后(图中显示选择为中文)，通过图像数据f1～f4可以找出对应的单词，当然在使用者输入图像数据时，系统会先寻找出各图像是否有对应一组以上的单词，例如图中的图像数据f3包含「*吃、*刀叉、*餐具」3组单词，如此使用者ue需要先对对应的单词做出选择，才能表达出正确的意思，经过使用者ue的选择后，在图中最后产生出「我、喜欢、吃、鱼」4个单词数据w1～w4，系统然后会进一部将单词整合成为「我喜欢吃鱼」一文字讯息连同图像数据f1～f4来传送给其它接收者re；当接收者re收到了文字讯息及图像数据f1～f4后，也可以通过语言选择cw来选出自己熟悉的语言(图中显示选择为英文)，此时系统会将文字讯息直接转译成转译单词tw1～tw4，产生出了「i、like、eat、fish」4个转译单词资料tw1～tw4，前述架构请参照图6b，为本发明语文结合图像译意系统的第二实施例(2)图。

由前述说明可了解本发明语文结合图像译意系统及其方法，可通过图样及短片(动态及静态)的示意解说，来让接收者直接了解使用者要表达的意思，可有效跨越语言国界来达到直接沟通，同时不需去刻意介意文法的正确性，实时图像及短片能表达的意思有限制，本发明仍有一般的单词转译来去辅助图像译意，可以提升意思表达的正确性；图像译意的方法可以设计为app程序，附加于各种的信息处理装置中，使用非常便利，而且并不以特定的平台为限(如：line、微信、fb或是聊天室等)，可以跨平台作为输入信息使用，非常的便利；而图像译意系统可以为单向或是多向的设计，并结合因特网、搜寻平台及云端信息等外部来源端，可以不用担心图像及转译单词的资源匮乏，大幅提升系统的功能，虽然本发明以前述的较佳实施例揭露如上，然其并非用以限定本发明，且本发明的各单元及实施步骤在不违反同一发明精神下并不以实施例为限，例如：系统搜寻对应的图像数据步骤，并不以记忆单元为优先，也可以仅以外部资源端作搜寻，只要在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视权利要求书所界定为准。