翻译显示装置及翻译显示方法与流程

本发明涉及将图像中的文字翻译后进行显示的翻译显示装置、翻译显示方法以及控制程序。

背景技术：

近年来，已开发出关于从照相机所拍摄的图像中提取、识别出文字后将其翻译成规定的语言进行显示的翻译显示装置的技术。

例如，专利文献1公开了一种信息显示装置，其将从图像中通过光学式文字识别(OCR(optical character reader))提取出的外文或图形符号实时地翻译或者转换后显示到恰当的显示位置。另外，专利文献2记载了：为了迅速进行显示，在连续的2个帧间解析图像，跟踪在前一帧中提取/翻译后的文字进行显示，并且仅对新拍摄的区域执行文字提取/翻译处理。

现有技术文献

专利文献

专利文献1：日本公开专利公报“特开2011-134144号公报(2011 年7月7日公开)”

专利文献2：日本公开专利公报“特开2010-103694号公报(2010 年5月6日公开)”

技术实现要素：

发明要解决的问题

翻译显示装置的高功能化在推进，随着可提取的文字种类的增加、多语言翻译，文字提取处理和翻译处理的时间变长了。在该情况下，在如上述的专利文献1和2所示的现有技术中，是按每个图像对整个图像或者图像的一部分进行文字提取处理和翻译处理，因此，存在显示帧率会变低的问题。

本发明是鉴于上述的问题而完成的，其目的在于，实现既维持显示帧率又将从图像中提取的文字进行翻译并显示的翻译显示装置、翻译显示方法以及控制程序。

用于解决问题的方案

为了解决上述的问题，本发明的一方式的翻译显示装置具备：图像取得单元，其依次取得图像；以及翻译单元，其翻译从图像中提取出的文字，上述翻译单元是在上述图像取得单元取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的单元，上述翻译显示装置还具备：运动信息给定单元，其给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、上述图像取得单元最近取得的图像中的上述被拍摄物体的位置偏移，上述基准图像是最近结束了由上述翻译单元进行的上述翻译处理的图像；以及显示单元，其基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到上述图像取得单元最近取得的图像进行显示。

另外，本发明的一方式的翻译显示方法包含：图像取得步骤，依次取得图像；以及翻译步骤，翻译从图像中提取出的文字，上述翻译步骤是在上述图像取得步骤中取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的步骤，上述翻译显示方法还包含：运动信息给定步骤，给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、在上述图像取得步骤中最近取得的图像中的被拍摄物体的位置偏移，上述基准图像是最近结束了上述翻译步骤的图像；以及显示步骤，基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到在上述图像取得步骤中最近取得的图像进行显示。

发明效果

根据本发明的一方式，起到不使显示定时延迟(不使帧率降低)，即能够将翻译内容和翻译出的文字的显示位置维持在一定程度以上的准确性进行显示的效果。

附图说明

图1是示出本发明的实施方式1的翻译显示装置的主要部分构成的框图。

图2是示出翻译显示装置的控制部的处理的流程的一例的流程图。

图3是示出翻译显示处理的流程的一例的序列图。

图4是示出本发明的实施方式2的翻译显示装置的主要部分构成的框图。

图5是示出翻译显示装置的控制部的处理的流程的一例的流程图。

具体实施方式

〔实施方式1〕

基于图1至图3如下说明本发明的一实施方式。

图1是示出翻译显示装置1的主要部分构成的一例的框图。如图 1所示，翻译显示装置1具备照相机2、控制部3、OCR处理部4、翻译处理部(翻译单元)5、存储部6、图像运动解析部(运动信息给定单元)7以及显示部(显示单元)8。翻译显示装置1例如是智能手机、功能手机、数码照相机、数码摄像机、汽车导航系统、PC (Personal computer：个人计算机)、PDA(Personal Digital Assistant：个人数字助理)等。

照相机2是用于拍摄文字等被拍摄物体的装置。例如，1秒钟拍摄数个至数十个图像，并将所拍摄的图像发送给照相机图像取得部 (图像取得单元)31。

控制部3通过执行从存储部6读出到临时存储部(未图示)的程序来进行各种运算并且对翻译显示装置1所具备的各部进行总体控制。在本实施方式中，控制部3是具备作为功能块的照相机图像取得部31、OCR/翻译指示部32、运动解析指示部33以及图像生成部 34的构成。

照相机图像取得部31依次取得照相机2所拍摄的拍摄图像，并将该拍摄图像发送给OCR/翻译指示部32和运动解析指示部33。

OCR/翻译指示部32从照相机图像取得部31接收到拍摄图像后，指示OCR处理部4和翻译处理部5对该拍摄图像执行OCR处理和翻译处理。具体地说，OCR/翻译指示部32，首先，将接收到的拍摄图像作为处理开始的指示发送给OCR处理部4，以对接收到的拍摄图像执行OCR处理。在此，将OCR/翻译指示部32发送到OCR处理部4的拍摄图像称为翻译图像。接着，OCR/翻译指示部32从翻译处理部5接收作为处理结束报告的翻译文本和文本位置数据。翻译文本是将从翻译图像提取出的文字翻译后的文本，文本位置数据是表示从翻译图像提取出的文字的位置的信息。OCR/翻译指示部32 在接收到翻译文本和位置数据时，使存储部6存储将翻译图像、翻译文本以及文本位置数据相关联后的翻译信息。另外，OCR/翻译指示部32在接收到处理结束报告时，将表示结束OCR处理和翻译处理后的翻译图像的图像识别信息(图像ID等)发送给运动解析指示部33。此外，翻译图像也可以与多个翻译文本相对应，在该情况下，与该多个翻译文本分别对应的多个文本位置数据是与翻译图像相对应的。另外，如后所述，翻译处理部5对OCR处理部4提取出的文字执行翻译处理，因此，在本实施方式中，OCR/翻译指示部32不向翻译处理部5发送具体的指示。

不过，OCR/翻译指示部32是指在OCR处理部4或者翻译处理部 5不是正在对接收到的拍摄图像以外的其它图像进行处理的情况下，对OCR处理部4和翻译处理部5进行指示。例如，OCR/翻译指示部32可以将从对OCR处理部4进行处理开始的指示到从翻译处理部5接收到处理结束报告为止的期间判断为OCR处理部4或者翻译处理部5正在进行处理。此外，OCR/翻译指示部32在OCR处理部4 或者翻译处理部5正在进行处理的情况下，即使从照相机图像取得部31接收到拍摄图像，也不指示OCR处理部4对接收到的拍摄图像执行处理。

运动解析指示部33在从照相机图像取得部31接收到拍摄图像时，指示图像运动解析部7对接收到的拍摄图像的图像运动进行解析。在此，将运动解析指示部33指示给图像运动解析部7的作为解析对象的拍摄图像称为运动解析图像。具体地说，运动解析指示部 33将从OCR/翻译指示部32最近接收到的图像识别信息所表示的图像给定为用来与运动解析图像进行比较的基准图像。然后，运动解析指示部33指示图像运动解析部7以基准图像为基准对运动解析图像进行解析。更详细地说，运动解析指示部33将接收到的拍摄图像和表示基准图像的图像识别信息发送给图像运动解析部7。

图像生成部34在从图像运动解析部7接收到运动信息和运动解析图像时，从存储部6读出与接收到的运动解析图像比较后的基准图像的翻译文本和文本位置数据。图像生成部34基于文本位置数据和运动信息，给定接收到的运动解析图像上的翻译文本的显示位置 (翻译显示位置)。图像生成部34对接收到的运动解析图像生成将翻译文本重叠到所给定的翻译显示位置的图像(生成图像)。图像生成部34将生成的生成图像发送给显示部8，使显示部8显示生成图像。

OCR处理部4从OCR/翻译指示部32接收翻译图像，并从翻译图像中提取文字，生成表示提取出的文字的OCR文本。另外，OCR处理部4将该文字的提取位置生成为文本位置数据。OCR处理部4将生成的OCR文本和文本位置数据发送给翻译处理部5。

翻译处理部5在从OCR处理部4接收到OCR文本和文本位置数据时，执行翻译处理。具体地说，翻译处理部5将接收到的OCR文本翻译成OCR文本所使用的语言以外的语言。上述的翻译也可以是向多种语言的翻译。翻译处理部5在翻译结束时，将翻译文本和文本位置数据作为处理结束报告发送给OCR/翻译指示部32。

存储部6将翻译图像、翻译文本以及文本位置数据相关联后进行存储。

图像运动解析部7在从运动解析指示部33接收到作为图像运动解析的指示的运动解析图像和图像识别信息时，从存储部6读出图像识别信息所表示的翻译图像作为基准图像。图像运动解析部7解析基准图像和运动解析图像间的差异，生成运动信息。图像运动解析部7将生成的运动信息和作为解析对象的运动解析图像发送给图像生成部34。在此，运动信息表示以基准图像中的被拍摄物体的位置为基准的、运动解析图像中的上述被拍摄物体的位置偏移。例如，运动信息可以是表示被拍摄物体的移动方向和移动量的信息(移动矢量信息)。运动信息还可以包含该2个图像间在构图和远近上的差异的信息。

图像运动解析部7可以将整个基准图像与整个运动解析图像进行比较来生成运动信息，也可以将图像分割成多个区域，以各区域为单位将基准图像与运动解析图像进行比较来生成运动信息。根据上述的构成，能够按运动解析图像的每个区域生成表示区域的位置偏移的运动信息。例如，即使在属于特定区域的被拍摄物体在与属于别的区域的被拍摄物体不同的移动方向上移动了不同的移动量的情况下，也能够通过分别生成各区域的运动信息将各被拍摄物体的运动反映到各区域的运动信息中。

显示部8按照控制部3的指示显示图像。显示部8只要按照控制部3的指示显示图像即可，例如，能应用LCD(液晶显示器)、有机 EL显示器、等离子体显示器等。

接着，说明本实施方式1的翻译显示装置1的控制部3的处理的流程。图2是示出本发明的实施方式1的翻译显示装置1的控制部3 的处理的流程的一例的流程图。

如图2所示，照相机图像取得部31取得照相机2所拍摄的拍摄图像，并将该拍摄图像发送给OCR/翻译指示部32和运动解析指示部 33(步骤S1：图像取得步骤)。OCR/翻译指示部32在接收到拍摄图像时，判断OCR处理部4或者翻译处理部5是否正在进行处理(步骤 S2)。OCR/翻译指示部32在判断为OCR处理部4或者翻译处理部5不是正在进行处理的情况下(在步骤S2中为“否”的情况下)，将接收到的拍摄图像作为要成为翻译对象的翻译图像发送给OCR处理部4，由此指示对该翻译图像进行OCR处理。(步骤S3)。然后，OCR/ 翻译指示部32从翻译处理部5接收作为处理结束报告的翻译文本和文本位置数据(步骤S4)。然后，OCR/翻译指示部32将文本位置数据、翻译文本以及翻译图像相关联后存储于存储部6。另外，OCR/ 翻译指示部32将表示所存储的翻译图像的信息发送给运动解析指示部33(步骤S5)。然后，照相机图像取得部31判断是否有输入图像(步骤S6)。在照相机图像取得部31判断为没有输入图像的情况下(在步骤S6中为“否”的情况下)，处理结束。另外，在照相机图像取得部31判断为有输入图像的情况下(在步骤S6中为“是”的情况下)，转移到步骤S1。此外，在OCR/翻译指示部32判断为OCR 处理部4或者翻译处理部5正在对其它图像进行处理的情况下(在步骤S2中为“是”的情况下)，转移至步骤S6。

另外，当照相机图像取得部31取得拍摄图像时(步骤S1)，控制部3与上述的步骤S2～S6的处理并行地进行步骤S7～S10的处理。以下说明该处理。运动解析指示部33在从照相机图像取得部31接收到拍摄图像时，指示图像运动解析部7对接收到的拍摄图像进行解析(步骤S7)。图像生成部34在从图像运动解析部7接收到运动解析指示部33所指示的进行运动解析的运动解析图像和运动解析图像的运动信息时，从存储部6读出基准图像的翻译文本和基准图像的文本位置数据。图像生成部34根据文本位置数据所表示的位置和运动信息给定运动解析图像上的翻译文本的显示位置。接着，图像生成部34生成将翻译文本重叠到在运动解析图像中给定的位置而得到的图像。(步骤S8)。图像生成部34将生成的生成图像发送给显示部8，使显示部8显示生成图像(步骤S9：显示步骤)。然后，照相机图像取得部31判断是否有输入图像(步骤S10)。在照相机图像取得部31判断为没有输入图像的情况下(在步骤S10中为“否”的情况下)，处理结束。另外，在照相机图像取得部31判断为有输入图像的情况下(在步骤S10中为“是”的情况下)，转移至步骤S1。

接着，说明本实施方式1的翻译显示装置1的翻译显示处理的具体的一系列流程。图3是示出本发明的实施方式1中的翻译显示处理的具体的流程的一例的序列图。在此，在图3所示的处理的开始前，对图像P0已结束OCR/翻译处理，存储部6存储有图像P0、图像P0的翻译文本以及图像P0的文本位置数据，在处理开始时点将基准图像设为图像P0。

如图3所示，控制部3取得图像P1(步骤S20：图像取得步骤)。控制部3由于在取得图像P1时OCR处理部4或者翻译处理部5不是正在进行处理，因此，指示OCR处理部4进行图像P1的OCR处理(步骤S21)。OCR处理部4收到来自控制部3的指示后，从图像P1生成 OCR文本和文本位置数据，将OCR文本和文本位置数据发送给翻译处理部5(步骤S22)。翻译处理部5在接收到OCR文本和文本位置数据时，对接收到的OCR文本进行翻译处理而生成翻译文本(步骤S23：翻译步骤)，将翻译文本和文本位置数据作为处理结束报告发送给控制部3(步骤S24)。

另外，当图像P1输入到控制部3(步骤S20)时，控制部3与上述的步骤S21的处理并行地指示图像运动解析部7进行以图像P0为基准的图像P1的运动解析处理(步骤S25)。图像运动解析部7收到来自控制部3的指示后，给定表示以图像P0中的被拍摄物体的位置为基准的、图像P1中的被拍摄物体的位置偏移的运动信息(步骤 S26：运动信息给定步骤)。图像运动解析部7将生成的运动信息和图像P1发送给控制部3(步骤S27)。控制部3在从图像运动解析部7 接收到图像P1和图像P1的运动信息时，从存储部6读出作为与图像 P1比较后的基准图像的图像P0的翻译文本和文本位置数据。控制部 3根据文本位置数据所表示的位置和运动信息给定图像P1中的翻译文本显示的位置，对图像P1生成将翻译文本重叠到所给定的位置而得到的图像，使显示部8显示生成图像(步骤S28：显示步骤)。

然后，接着图像P1之后，控制部3取得图像P2(步骤S20a)。由于OCR处理部4正在处理图像P1，因此，控制部3不指示进行图像P2 的OCR处理。另一方面，控制部3指示图像运动解析部7进行图像P2 的运动解析处理(步骤S25a)。由于最近结束了翻译的图像是P0，因此，图像运动解析部7收到来自控制部3的指示后，给定以图像P0 为基准的图像P2的运动信息(步骤S26a)。图像运动解析部7将生成的图像P2的运动信息和图像P2发送给控制部3(步骤S27a)。控制部 3在从图像运动解析部7接收到运动信息和图像P2时，从存储部6读出基准图像P0的翻译文本和文本位置数据。控制部3对图像P2生成将翻译文本重叠到基于基准图像P0的文本位置数据和图像P2的运动信息给定的翻译显示位置而得到的图像，使显示部8显示生成图像(步骤S28a)。

然后，接着图像P2之后，控制部3取得图像P3(步骤S20b)。由于翻译处理部5正在处理图像P1，因此，控制部3不指示进行图像P3 的OCR处理。另一方面，控制部3指示图像运动解析部7进行图像P3 的运动解析处理(步骤S25b)。之后的步骤S26b、27b以及28b是对图像P3同样进行步骤S26a、27a以及28a中对图像P2的处理的步骤。在此将详细说明省略。

接着，控制部3取得图像P4(步骤S20c)。在此，控制部3在取得图像P4之前，已接收到图像P1的翻译处理结束报告。因此，控制部3判断为OCR处理部或者翻译处理部不是正在进行处理，指示 OCR处理部4进行图像P4的OCR处理(步骤S21c)。OCR处理部4收到来自控制部3的指示后，对图像P4进行与步骤S22同样的处理(步骤S22a)。

当图像P4输入到控制部3(步骤S20c)时，控制部3与上述的步骤S21c的处理并行地指示图像运动解析部7进行图像P4的运动解析处理(步骤S25c)。此时，由于最近结束了翻译的图像是图像P1，因此，控制部3指示以图像P1为基准对图像P4的图像运动进行解析。图像运动解析部7收到来自控制部3的指示后，生成以基准图像P1 为基准的图像P4的运动信息(步骤S26c)。图像运动解析部7将生成的运动信息和图像P4发送给控制部3(步骤S27c)。控制部3在从图像运动解析部7接收到图像P4和图像P4的运动信息时，从存储部6 读出与图像P4比较后的基准图像P1的翻译文本和文本位置数据。控制部3对图像P4生成将基准图像P1的翻译文本重叠到基于基准图像 P1的文本位置数据和图像P4的运动信息给定的翻译显示位置而得到的图像，使显示部8显示生成图像(步骤S28c)。

这样，OCR/翻译指示部32使OCR处理部4和翻译处理部5在结束了对1个图像的OCR处理和翻译处理后，对照相机图像取得部31 最初取得的图像执行OCR处理和翻译处理。因此，即使OCR处理时间和/或翻译处理时间变长了，也能够输出与该OCR处理时间和/或翻译处理时间相应的最新的翻译结果。即，能够将从图像中提取出的翻译对象的文字的位置和该文字的翻译内容的准确性维持在一定程度以上。

另外，图像生成部34基于在基准图像中提取出文字的位置和表示相对于基准图像的位置偏移的运动信息，给定了基准图像的翻译后的文字在拍摄图像中的显示位置。因此，能够不使显示定时延迟 (不使帧率降低)地在拍摄图像中将基准图像的翻译后的文字跟踪显示到恰当位置。

因此，翻译显示装置1能够不使显示定时延迟(不使帧率降低) 地显示将翻译内容和翻译后的文字的显示位置维持一定程度以上的准确性的图像。

〔实施方式2〕

基于图4和5如下说明本发明的另一实施方式。此外，为了便于说明，对具有与上述实施方式中所说明的部件相同功能的部件，标注相同的附图标记，省略其说明。参照图4所示的功能框图来说明本实施方式的翻译显示装置1a的构成。

如图4所示，翻译显示装置1a除了上述实施方式1的翻译显示装置1所具备的各部件以外，还具备传感器(检测单元)9。另外，翻译显示装置1a具备控制部3a，控制部3a取代了控制部3。

控制部3a除了控制部3所具备的各部件以外，还具备传感器信息取得部35。另外，控制部3a具备运动解析指示部33a和图像生成部34a，运动解析指示部33a和图像生成部34a取代了上述实施方式1 的控制部3的运动解析指示部33和图像生成部34。

传感器9检测照相机2的运动(例如，移动方向、朝向、旋转、移动距离、移动速度等)。例如，能够将6轴传感器等用作传感器9。传感器9将表示与照相机2相关的运动的照相机运动检测值发送给传感器信息取得部35。

传感器信息取得部35从传感器9取得照相机运动检测值，并将其发送给运动解析指示部33a。

运动解析指示部33a除了上述的运动解析指示部33的构成以外，还包含以下的构成。运动解析指示部33a在从照相机图像取得部31接收到拍摄图像时，以基准图像的拍摄时(基准时)的照相机 2的状态为基准，根据照相机运动检测值判断接收到的拍摄图像的拍摄时的照相机2的运动是否超过规定的范围。上述的判断例如可以通过参照基准时和拍摄图像拍摄时的照相机运动检测值来判断。在运动解析指示部33a判断为照相机2的运动超过规定的范围的情况下，运动解析指示部33a不指示图像运动解析部7进行运动解析处理，而将从照相机图像取得部31接收到的拍摄图像发送给图像生成部34a。

所谓上述照相机2的运动的规定的范围，例如，可以举出规定的角度以内的旋转、规定的速度以内的移动以及规定的距离以内的移动等。若要更详细地说明照相机2的运动超过规定的范围的情况，则可以举出照相机的朝向从基准时起旋转了30度以上的情况、照相机以10cm/秒以上的速度进行移动的情况以及照相机从基准时起移动了一定的距离以上的情况等。

图像生成部34a除了上述的图像生成部34的构成以外，还在从运动解析指示部33a接收到拍摄图像的情况下，将拍摄图像发送给显示部8，使显示部8原样显示拍摄图像。

在此，作为拍摄图像的拍摄时照相机2的运动超过规定的范围的情况，可以想到在该拍摄图像中未拍摄到在基准图像中提取出的文字的情况。在该情况下，不需要跟踪提取出的文字的位置，也不需要显示将该文字翻译后的文字。在本发明中，在照相机2的运动超过规定的范围的情况下，图像运动解析部7不给定运动信息，显示部8将照相机图像取得部31所取得的图像原样显示，因此，不进行不必要的处理，能够降低装置的处理负荷。

此外，即使照相机2的运动一度超过了规定的范围，只要照相机2的运动在接收到的拍摄图像的拍摄时点处于规定的范围内，运动解析指示部33a就判断为照相机2的运动未超过规定的范围。例如，在照相机2从基准时起旋转30度以上后重新回到基准时的照相机的朝向的情况下，运动解析指示部33a判断为照相机2的运动处于规定的范围内，指示图像运动解析部7进行图像运动解析。因此，即使文字暂时偏离出照相机的拍摄范围，也能够当其再次回到照相机的拍摄范围的情况下，跟踪该文字的位置来显示翻译后的文字。

接着，说明本实施方式2的翻译显示装置1a的控制部3a的处理的流程。图5是示出本发明的实施方式2的翻译显示装置1a的控制部 3a的处理的流程的一例的流程图。在此，关于与实施方式1的控制部3的处理的流程同样的处理，将说明省略。

接着步骤S1之后，运动解析指示部33a从照相机图像取得部31 取得拍摄图像。接着，运动解析指示部33a判断从作为拍摄存储部6 所存储的基准图像的时点的基准时到接收到的拍摄图像的拍摄时的照相机2的运动是否超过规定的范围(步骤S11)。运动解析指示部33a在判断为照相机2的运动超过规定的范围的情况下(在步骤 S11中为“是”的情况下)，运动解析指示部33a将从照相机图像取得部31接收到的拍摄图像发送给图像生成部34a。(步骤S12)。接着步骤S12之后的步骤S9的处理如下。图像生成部34a将从运动解析指示部33a接收到的拍摄图像原样作为生成图像。图像生成部34a将生成图像发送给显示部8，使显示部8显示生成图像(步骤S9)。然后转移至步骤S10。

即，在翻译显示装置1a中，照相机图像取得部31是取得照相机 2所拍摄的图像的装置，翻译显示装置1a还具备检测照相机2的运动的传感器9。在以基准图像的拍摄时为基准，照相机2的运动超过规定的范围的情况下，图像运动解析部7不给定运动信息。显示部8 将照相机图像取得部31所取得的图像原样显示。

在此，作为照相机2的运动超过规定的范围的情况，可以想到在照相机图像取得部31最近取得的图像中未拍摄到在基准图像中提取出的文字的情况。在该情况下，不需要跟踪提取出的文字的位置，也不需要显示将该文字翻译后的文字。

根据上述的构成，在照相机2的运动超过规定的范围的情况下，图像运动解析部7不给定运动信息，显示部8将照相机图像取得部31 所取得的图像原样显示，因此，不进行不必要的处理，能够降低装置的处理负荷。

另外，在上述的构成中，在当前时点(上述照相机图像取得部 31最近取得的图像的拍摄时)照相机2的运动超过规定的范围的情况下，不进行不必要的处理，因此，即使照相机2的运动一度超过了规定的范围，只要照相机2的运动在当前时点处于规定的范围内，图像运动解析部7就给定运动信息且显示部8将翻译后的文字重叠进行显示。因此，即使文字暂时偏离出照相机的拍摄范围，也能够当其重新回到照相机的拍摄范围的情况下，跟踪该文字的位置来显示翻译后的文字。

〔实施方式3〕

翻译显示装置1的控制部3、OCR处理部4、翻译处理部5和图像运动解析部7以及翻译显示装置1a的控制部3a、OCR处理部4、翻译处理部5和图像运动解析部7可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)实现，也可以使用CPU(Central Processing Unit：中央处理单元)通过软件实现。

在后一情况下，翻译显示装置1和1a具备执行作为实现各功能的软件的程序的命令的CPU、以计算机(或者CPU)可读取的方式记录有上述程序和各种数据的ROM(Read Only Memory：只读存储器)或者存储装置(将它们称为“记录介质”)、展开上述程序的RAM (Random Access Memory：随机存取存储器)等。然后，通过使计算机(或者CPU)从上述记录介质读取并执行上述程序，达到本发明的目的。作为上述记录介质，能够使用“非暂时性有形介质”，例如带、盘、卡、半导体存储器、可编程逻辑电路等。另外，上述程序也可以经由可传输该程序的任意的传输介质(通信网络、广播波等)提供给上述计算机。此外，本发明也可以通过利用电子传输将上述程序具体化的嵌入载波的数据信号的方式实现。

〔总结〕

本发明的方式1的翻译显示装置(1、1a)具备依次取得图像的图像取得单元(图像取得部31)和翻译从图像中提取出的文字的翻译单元(翻译处理部5)，上述翻译单元是在上述图像取得单元取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的单元，上述翻译显示装置还具备：运动信息给定单元(图像运动解析部7)，其给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、上述图像取得单元最近取得的图像中的上述被拍摄物体的位置偏移，基准图像是最近结束了由上述翻译单元进行的上述翻译处理的图像；以及显示单元(显示部8)，其基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到上述图像取得单元最近取得的图像进行显示。

根据上述的构成，上述翻译单元在不是正在对其它图像进行翻译处理的情况下，翻译从上述图像取得单元所取得的图像中提取出的文字，另一方面，在正在对其它图像执行翻译处理的情况下，对上述图像取得单元所取得的图像不执行翻译处理。换言之，上述翻译单元在结束了对1个图像的翻译处理后，对上述图像取得单元最初取得的图像进行翻译处理。因此，即使翻译处理时间变长了，上述翻译单元也能够输出与该翻译处理时间相应的最新的翻译结果。即，能够将从图像中提取出的翻译对象的文字的位置和该文字的翻译内容的准确性维持在一定程度以上。

另外，显示单元基于在上述基准图像中提取出文字的位置和上述运动信息将在上述基准图像中翻译出的文字重叠到上述图像取得单元最近取得的图像进行显示。也就是说，显示单元基于过去翻译的结果跟踪翻译后的文字的位置进行显示。因此，上述显示单元能够在上述图像取得单元取得图像的定时将翻译后的文字重叠到该图像进行显示。而且，上述显示单元基于最近的翻译结果显示翻译后的文字，因此，如上所述，能够将翻译后的文字的内容及其显示位置维持在一定程度以上的准确性进行显示。

从而，起到不使显示定时延迟(不使帧率降低)，即能够将翻译内容和翻译后的文字的显示位置维持在一定程度以上的准确性进行显示的效果。

本发明的方式2的翻译显示装置(1a)可以是，在上述方式1中，上述图像取得单元取得照相机(2)所拍摄的图像，上述翻译显示装置还具备检测上述照相机的运动的检测单元(传感器9)，在以上述基准图像的拍摄时为基准，上述照相机的运动超过规定的范围的情况下，上述运动信息给定单元不给定上述运动信息，上述显示单元将上述图像取得单元所取得的图像原样显示。

作为上述照相机的运动超过规定的范围的情况，可以想到在上述图像取得单元最近取得的图像中未拍摄到在上述基准图像中提取出的文字的情况。在该情况下，不需要跟踪提取出的文字的位置，也不需要显示将该文字翻译后的文字。

根据上述的构成，在上述照相机的运动超过规定的范围的情况下，上述运动信息给定单元不给定上述运动信息，上述显示单元将上述图像取得单元所取得的图像原样显示，因此，不进行不必要的处理，能够降低装置的处理负荷。

另外，在上述的构成中，在当前时点(上述图像取得单元最近取得的图像的拍摄时)上述照相机的运动超过规定的范围的情况下，不进行不必要的处理，因此，即使上述照相机的运动一度超过了规定的范围，只要上述照相机的运动在当前时点处于规定的范围内，上述运动信息给定单元就给定上述运动信息且上述显示单元将翻译后的文字重叠进行显示。因此，即使文字暂时偏离出照相机的拍摄范围，也能够当其重新回到照相机的拍摄范围的情况下，跟踪该文字的位置来显示翻译后的文字。

本发明的方式3的翻译显示装置(1a)可以是，在上述方式2中，在上述照相机满足从上述基准图像的拍摄时起旋转了规定的角度以上的情况、以规定的速度以上进行了移动的情况以及移动了规定的距离以上的情况中的至少任一情况时，认定上述照相机的运动超过规定的范围。

本发明的方式4的翻译显示方法可以是，包含：图像取得步骤，依次取得图像；以及翻译步骤，翻译从图像中提取出的文字，上述翻译步骤是在上述图像取得步骤中取得某图像时，当不是正在对该某图像以外的其它图像进行翻译处理的情况下对该某图像执行翻译处理的步骤，上述翻译显示方法还包含：运动信息给定步骤，给定运动信息，上述运动信息表示以基准图像中的被拍摄物体的位置为基准的、在上述图像取得步骤中最近取得的图像中的被拍摄物体的位置偏移，上述基准图像是最近结束了上述翻译步骤的图像；以及显示步骤，基于在上述基准图像中提取出文字的位置和上述运动信息，将在上述基准图像中翻译出的文字重叠到在上述图像取得步骤中最近取得的图像进行显示。根据上述的构成，起到与方式1同样的效果。

本发明的各方式的翻译显示装置也可以由计算机实现，在该情况下，通过使计算机作为上述翻译显示装置所具备的各单元进行动作来由计算机实现上述翻译显示装置的翻译显示装置的控制程序以及记录有上述控制程序的计算机可读取的记录介质也在本发明的范畴内。

本发明不限于上述的各实施方式，能在权利要求所示的范围内进行种种变更，将不同实施方式各自所公开的技术方案适当组合而得到的实施方式也包含在本发明的技术范围内。而且，通过将各实施方式分别公开的技术方案组合，能够形成新的技术特征。

工业上的可利用性

本发明能够用于智能手机、功能手机、数码照相机、数码摄像机、汽车导航系统、PC、PDA等。

附图标记说明

1/1a 翻译显示装置，2 照相机，5 翻译处理部(翻译单元)， 7 图像运动解析部(运动信息给定单元)，8 显示部(显示单元)，9 传感器(检测单元)，31 照相机图像取得部(图像取得单元)， P0/P1 基准图像，P1/P2/P3/P4 图像，S1/S20 图像取得步骤， S23 翻译步骤，S26 运动信息给定步骤，S9 显示步骤。