专利名称：图像显示装置的制作方法
技术领域：
本发明涉及一种图像显示装置。
背景技术：
已知有在投影面上投影操作图标的投影装置(例如参照专利文献1)。根据该投影装置，能够通过用手指碰触投影到投影面的操作图标来进行操作。在先技术文献专利文献专利文献1 JP特开2009-064109号公报
发明内容
发明要解决的课题但是，在上述投影装置中存在以下情况将手遮在投影面上时，操作图标成为手影，无法判断用指尖点何处。本发明的目的在于提供一种能够明确所点的部位的图像的图像显示装置。用于解决课题的手段本发明的图像显示装置的特征在于，包括图像显示部，显示基于图像数据的图像；检测部，检测与指示部件的前端对应的位置，该指示部件用于指示由上述图像显示部显示的上述图像的一部分；提取部，从上述图像数据中提取关于包含与上述前端对应的位置的预定区域的图像数据；和控制部，使上述图像显示部显示窗口，该窗口显示基于由上述提取部提取出的提取图像数据的图像。发明效果根据本发明的图像显示装置，能够明确所点的部位的图像。
图1是表示第一实施方式的投影仪的投影状态和摄影状态的立体图。图2是表示第一实施方式的投影仪的构成的框图。图3是表示第一实施方式的投影仪中的处理的流程图。图4是表示由第一实施方式的投影仪投影的投影图像上的提取区域的图。图5是表示由第一实施方式的投影仪投影的投影图像上的提取区域的图。图6是表示由第一实施方式的投影仪在投影图像上重叠投影的窗口的图。
图7是表示由第一实施方式的投影仪在投影图像上重叠投影的窗口的图。图8是表示由第一实施方式的投影仪在窗口内重叠投影的指示符的图。图9是表示由第一实施方式的投影仪投影的具有透过性的窗口的图。
图10是表示由第一实施方式的投影仪投影的具有透过性的窗口的图。图11是表示由第一实施方式的投影仪在投影图像上重叠投影的窗口的图。图12是表示指尖相对于由第一实施方式的投影仪投影的投影图像的区域的进入方向的图。图13是表示由第一实施方式的投影仪在投影图像上重叠投影的窗口的图。图14是表示由第一实施方式的投影仪在与投影图像不同的区域投影的窗口的图。图15是表示第二实施方式的平板终端的操作状态的图。图16是表示第二实施方式的平板终端的构成的框图。图17是表示第二实施方式的平板终端中的处理的流程图。图18是表示在第二实施方式的平板终端中推定的遮蔽区域的图。图19是表示在第二实施方式的平板终端中推定的遮蔽区域的图。图20是表示在第二实施方式的平板终端的显示部中显示的窗口的图。图21是表示在第二实施方式的平板终端的显示部中显示的窗口的图。图22是表示在第二实施方式的平板终端的显示部中显示的窗口的图。图23是表示在第二实施方式的平板终端的显示部中显示的窗口的图。图24是表示在第二实施方式的平板终端的显示部中显示的窗口的图。图25是表示第三实施方式的平板终端的操作状态的图。图26是表示第三实施方式的平板终端中的处理的流程图。图27是表示在第三实施方式的平板终端中推定的遮蔽区域的图。图28是表示第四实施方式的平板终端的操作状态的图。图29是表示第四实施方式的平板终端的构成的框图。图30是表示第四实施方式的平板终端中的处理的流程图。图31是表示在第四实施方式的平板终端的显示部显示的图像的图。图32是表示第五实施方式的小型终端的图。图33是表示第五实施方式的小型终端的构成的图。图34是表示第五实施方式的小型终端中的处理的流程图。图35是表示第五实施方式的小型终端被纵向保持的状态的图。图36是表示第五实施方式的小型终端被横向保持的状态的图。图37是表示在实施方式的平板终端中握持手接触了显示部的状态的图。图38是表示在实施方式的平板终端中握持手接触了外框部分的状态的图。图39是表示以右手为握持手来保持实施方式的平板终端且使其向左下倾斜的状态的图。图40是表示实施方式的平板终端的摄影范围的图。图41是表示实施方式的平板终端的操作状态的图。图42是表示实施方式的平板终端的操作状态的图。
具体实施例方式以下参照附图对第一实施方式的图像显示装置以投影仪为例进行说明。图1是表示第一实施方式的投影仪2的投影状态和摄影状态的立体图。投影仪2包括由金属 或塑料构成的框体4，框体4被放置在桌子6等的上面即放置面G上。此外，在框体4的前面设置有用于对放置面G进行投影图像8的投影的投影窗10、用于拍摄手12等指示部件的摄影窗 14，上述指示部件用于指示投影图像8的一部分。图2是表示第一实施方式的投影仪2的系统构成的框图。投影仪2包括CPU20， 在CPU20上连接有具备未图示的电源开关等的操作部22 ；相机24，具有用于拍摄被拍摄体的由CCD等构成的摄像元件；图像存储部26，存储由相机24拍摄的图像的图像数据；程序存储部30，存储用于进行与摄影、投影等相关的设定、控制的程序；存储卡32，存储投影的图像的图像数据；投影部34，投影基于图像存储部26、存储卡32所存储的图像数据的图像；手识别部36，进行所拍摄的图像中是否包含手12的形状的判断；位置检测部38，检测指尖正下方的投影图像8上的位置以及成为手12的影子的投影图像8上的区域；方向检测部40，根据在手识别部36中判断出的手12的形状来检测手12所指示的方向。在此，投影部34包括电源控制部，进行LED光源46的点亮和熄灭；投影控制部52，进行LC0S50的显示控制，该LC0S50用于显示投影的图像。接下来参照图3所示的流程图对第一实施方式的投影仪2中的处理进行说明。首先，框体4被放置在放置面G上，电源开关接通后，CPU20对投影部34进行投影开始的指示， 从存储卡32读出图像数据，由投影控制部52在LC0S50上显示基于图像数据的图像。此外， 电源控制部48根据投影开始的指示而点亮LED光源46，如图1所示从投影窗10向斜下方向射出投影光，而将投影图像8投影到放置面G上(步骤Si)。此外，CPU20通过相机24开始包含投影图像8的区域的摄影(步骤S2)。在此，相机24的摄影通过动画摄影或以一定时间间隔的静止图像摄影来进行，由相机24拍摄的图像的图像数据被存储到图像存储部26。然后，CPU20从图像存储部26读出图像数据，由手识别部36进行图像数据中是否包含手12的形状的判断(步骤S3)。在此，是否包含手12的形状的判断如下进行，S卩，通过图案匹配等来从图像数据检测手12的区域和指尖的位置。图像数据中不含手12的形状时(步骤S3为否)，CPU20反复进行步骤S3的操作。 而在图像数据中包含手12的形状时(步骤S3为是)，CPU20通过位置检测部38检测指尖正下方的投影图像8上的位置、以及手12的影子的投影图像8上的区域(步骤S4)。然后，CPU20如图4所示，从投影图像8的图像数据提取关于以指尖正下方的位置为基准的预定区域60的图像数据，并将提取出的图像数据存储到图像存储部26(步骤S5)。 在此，预定区域60的范围根据手12的影子的面积来决定。因此，CPU20在手12的影子的面积较小时，提取关于较窄范围的区域60的图像数据(参照图4)，而在手12的影子的面积较大时，提取关于较大范围的区域60的图像数据(参照图5)。然后，CPU20从图像存储部26读出所提取的图像数据，并指示投影部34将显示基于所提取的图像数据的图像的窗口投影到手12所处一侧的相反侧的不成为手12的影子的区域上(步骤S6)。例如，在图4所示的位置存在手12时，如图6所示将窗口 62投影到指尖正下方的位置的左侧的不成为手12的影子的区域。在此，窗口 62的尺寸根据提取图像数据的区域60的尺寸来决定。因此，投影部34 在提取图像数据的区域60较窄时投影较小尺寸的窗口 62 (参照图6)，而在提取图像数据的区域60较大时投影较大尺寸的窗口 62 (参照图7)。另外，相机24的摄影通过动画摄影等进行， 因此逐次检测指尖正下方的位置。并且，显示以指尖正下方的位置为基准的预定区域60的图像的窗口 62由投影部34逐次投影。因此，手12的位置在投影图像8上移动时，窗口 62的投影区域也跟随手12的位置而移动。然后，CPU20根据图像数据判断指尖是否与放置面G接触(步骤S7)。并且，在指尖不与放置面G接触时(步骤S7为否)，CPU20反复进行步骤S4 6的操作。而在指尖与放置面G接触时(步骤S7为是)，CPU20通过方向检测部40根据在手识别部36中判断出的手12的形状来检测手12的指示方向(步骤S8)。检测出手12的指示方向时，CPU20指示投影部34，如图8所示将与手12的指示方向对应的指示符64重叠投影到窗口 62内(步骤S9)。根据该第一实施方式的投影仪2，在投影图像8上重叠投影窗口 62 (该窗口 62显示以指尖正下方的位置为基准的预定区域60所包含的图像)，从而可以明确手12所点的部位的图像。此外，通过在窗口 62内重叠投影表示手12的指示方向的指示符64，可以更加明确手12所点的投影图像8上的位置。另外，在上述第一实施方式的投影仪2中，在窗口 62内仅显示了基于所提取的图像数据的图像，但也可以是窗口 62具有透过性。此时，也可以与窗口 62的尺寸连动地变更透过率。从而，在投影图像8上重叠投影了窗口 62时，操作者也可以识别隐于窗口 62之下的部分的图像。此外，也可以如图9所示，在显示较小尺寸的窗口 62时将窗口 62的透过率设定得较小，如图10所示在显示较大尺寸的窗口 62时将窗口 62的透过率设定得较大。从而，在较大区域隐于窗口 62之下时，操作者也可以识别整个投影图像8。此外，在上述第一实施方式的投影仪2中，在投影图像8中在手12所处一侧的相反侧的区域上投影了窗口 62，但例如如图11所示，在指尖正下方的位置位于投影图像8的边缘部附近，手12的相反侧没有能够投影窗口 62的空间时，也可以在手12所处一侧投影窗口 62。从而，无论手12指示投影图像8上的何处均可以适当地投影窗口 62。此外，在上述第一实施方式的投影仪2中，也可以如图12所示具备方向判断部，以判断手11进入的方向属于沿着投影方向的方向A和与投影方向交叉的方向B中的哪一个， 并根据进入的方向来变更投影窗口 62的位置。例如，手12从沿着投影方向的方向A进入时，若手12的区域处于指尖正下方的位置的右侧，则在左侧的区域投影窗口 62 (参照图6)。 此外，在手12从与投影方向交叉的方向B进入时，若手12的区域处于指尖正下方的位置的上侧，则可以在下侧的区域显示窗口 62(参照图13)。此外，在上述第一实施方式的投影仪2中，在手识别部36中通过从图像数据检测手12的区域和指尖的位置来判断图像数据中是否包含手12的形状，但也可以通过检测指示棒等的区域和前端位置来判断图像数据中是否包含指示棒等的形状。从而，在用手12以外的指示部件指示了投影图像8的一部分时，也可以检测指示部件的前端的正下方的位置以及指示部件的影子的区域，可以将显示包含指示位置的预定区域的窗口 62投影到投影图像8上。此外， 在上述第一实施方式的投影仪2中，以在投影图像8上重叠投影窗口 62的情况为例进行了说明，但也可以将窗口 62投影到与投影图像8不同的区域。例如，可以是投影仪2除了投影部34之外还包括投影窗口 62的辅助投影部，如图14所示，经由与投影窗10相邻的辅助投影窗70将窗口 62投影到与投影图像8相邻的区域72。从而，可以更加明确手12所点的部位的图像。此外，通过在窗口 62内重叠投影表示手12的指示方向的指示符64，可以更加明确手12所点的投影图像8上的位置。此时也可以使窗口 62的尺寸与提取图像数据的区域60的尺寸相对应。此外，在图14中将窗口 62投影到与投影图像8相邻的区域72，但也可以将投影图像8和窗口 62在一个区域内并排投影。例如，可以对一个区域进行2分割，在一侧投影投影图像8，在另一侧投影窗口 62。此外，在上述第一实施方式的投影仪2中，在桌子6的放置面G上进行了投影图像 8的投影，但投影图像也可以投影到壁面、地面等其他平面上。此外，也可以投影到球这样的曲面、移动物体等上。此外，在上述第一实施方式的投影仪2中，通过相机24进行包含投影图像8的区域的摄影，但也可以代替相机24，而由距离图像传感器扫描激光来进行投影仪2和位于包含投影图像8上的区域处的指示部件之间的测距，取得距离图像数据。从而，可以容易地检测指尖正下方的位置以及手12的影子的区域，可以将显示包含指示位置的预定区域的窗口 62投影到投影图像8上。接下来对第二实施方式的图像显示装置以手持型的平板终端为例进行说明。图15 是表示第二实施方式的平板终端3的操作状态的图。操作者用握持手76支撑平板终端3， 用不是握持手76的手12触摸显示部78的表面，从而进行平板终端3的操作。图16是表示第二实施方式的平板终端3的系统构成的框图。平板终端3包括 CPU80，在CPU80上连接有具备未图示的电源开关等的操作部82 ；显示控制部84，进行显示部78的显示控制，该显示部78用于显示基于图像数据的图像；触摸面板86，检测与显示部78接触的手指的位置；图像存储部87，暂时存储以触摸的位置为基准的预定区域的图像数据；程序存储部88，存储用于进行与显示部78的显示等相关的设定、控制的程序；存储卡 90，存储在显示部78中显示的图像的图像数据；以及加速度传感器91，通过检测重力加速度来计测平板终端3的倾斜角度。接下来参照图17所示的流程图对第二实施方式的平板终端3中的处理进行说明。 首先，平板终端3由操作者的握持手76支撑(参照图15)，电源开关接通后，CPU80通过加速度传感器91计测平板终端3的倾斜角度，根据倾斜角度识别平板终端3是纵向还是横向。因此，如图15所示，操作者以能够纵长地看显示部78的方式支撑平板终端3时，CPU80 识别成平板终端3为纵向。然后，CPU80从存储卡90读出显示到显示部78的初始画面的图像数据，并在显示部78上显示基于图像数据的图像(步骤Sll)。然后，操作者使手12接触显示部78后， CPU80通过触摸面板86检测手12的指在显示部78中接触的位置(以下称为接触位置) (步骤S12)。然后，CPU80根据接触位置推定遮蔽区域(步骤S13)。在此，CPU80在接触位置越是位于显示部78的下侧的情况下将遮蔽区域的面积推定得越小，而在接触位置越是位于显示部78的上侧的情况下将遮蔽区域的面积推定得越大。例如，如图18所示，在触摸了靠近显示部78的下侧边缘部的位置时，将接触位置周边的较窄区域94推定为遮蔽区域。此夕卜，如图19所示，在触摸了靠近显示部78的中央的位置时，将接触位置下侧的较大区域96 推定为遮蔽区域。 在此，即使在接触位置相同的情况下，由左手遮蔽的显示部78的区域和由右手遮蔽的显示部78的区域也不同，因此，CPU80包含由不是触摸显示部78的手遮蔽的区域在内来推定遮蔽区域。例如，如图19所示，操作者用右手触摸了显示部78时，包含在用左手触摸了相同位置时遮蔽的区域在内而推定为遮蔽区域。同样，在操作者用左手触摸了显示部 78时，包含用右手触摸了相同位置时遮蔽的区域在内而推定为遮蔽区域。然后，CPU80如图4所示，从显示于显示部78的图像的图像数据提取关于以接触位置为基准的预定区域的图像数据，并将提取出的图像数据存储到图像存储部87(步骤 S14)。在此，预定区域的面积根据遮蔽区域的面积来决定。因此，CPU80在如图18所示遮蔽区域的面积较小时，提取关于较窄范围的区域98的图像数据，而在如图19所示遮蔽区域的面积较大时，提取关于较大范围的区域99的图像数据。然后，CPU80从图像存储部87读出所提取的图像数据，并将显示基于所提取的图像数据的图像的窗口显示到显示部78的未被手12遮蔽的区域(以下称为非遮蔽区域)上 (步骤S15)。例如，如图20所示，在触摸了靠近显示部78的左下侧的边缘部的位置时，在接触位置的右上侧的非遮蔽区域显示窗口 100。此外，如图21所示，在触摸了靠近显示部 78的中央下侧的边缘部的位置时，在接触位置的上侧的非遮蔽区域显示窗口 100。此外，如图22所示，在触摸了靠近显示部78的右下侧的边缘部的位置时，在接触位置的左上侧的非遮蔽区域显示窗口 100。在此，窗口 100的尺寸根据提取图像数据的区域的尺寸来决定。因此，在提取图像数据的区域较窄时显示较小尺寸的窗口 100，而在提取图像数据的区域较大时显示较大尺寸的窗口 100。另外，操作者通常将手指朝向上侧来触摸显示部78，因此，CPU80如图20 22所示，将以上侧为指示方向来指示接触位置的指示符102重叠显示到窗口 100内。另外，在触摸靠近显示部78的上侧的边缘部的位置、在接触位置的上侧没有显示窗口 100的空间时，CPU80在手12的右侧或左侧的非遮蔽区域显示窗口 100。例如，如图 23所示，在触摸了靠近显示部78的左上侧的边缘部的位置时，在接触位置的右侧的非遮蔽区域显示窗口 100。此外，如图24所示，在触摸了靠近显示部78的右上侧的边缘部的位置时，在接触位置的左侧的非遮蔽区域显示窗口 100。另外，操作者通常将手指朝向上侧来触摸显示部78，因此CPU80如图23、24所示，将以上侧为指示方向来指示接触位置的指示符 102重叠显示在窗口 100内。根据该第二实施方式的平板终端3，在显示于显示部78的图像上重叠显示窗口 100 (该窗口 100显示以接触位置为基准的预定区域所包含的图像)，从而可以明确用指尖触摸的部位的图像。此外，通过在窗口 100内重叠显示表示手12的指示方向的指示符102， 可以更加明确手12所点的图像上的位置。接下来，对第三实施方式的图像显示装置以手持型的平板终端为例进行说明。该第三实施方式的平板终端，对第二实施方式的平板终端3的触摸面板86使用了灵敏度高的静电容量方式的触摸面板。因此，省略关于与第二实施方式相同的构成的详细说明，仅对不同部分进行说明。此外，对与第二实施方式相同的构成标以相同的标号进行说明。图25是表示第三实施方式的平板终端13的操作状态的图。如图15所示，操作者用握持手76支撑平板终端13，将不是握持手76的手12插入检测区域108时，由触摸面板 86检测手12 ，推定遮蔽区域并在显示部78显示窗口。操作者在将窗口显示到显示部78的状态下用手12触摸显示部78而进行平板终端3的操作。接下来参照图26所示的流程图对第三实施方式的平板终端13中的处理进行说明。首先，平板终端13由操作者的握持手76支撑(参照图25)，电源开关接通后，CPU80通过加速度传感器91计测平板终端13的倾斜角度，根据倾斜角度识别平板终端13是纵向还是横向。因此，如图25所示，操作者以能够纵长地看显示部78的方式支撑平板终端13时， CPU80识别成平板终端13为纵向。然后，从存储卡90读出显示到显示部78的初始画面的图像数据，并在显示部78 上显示基于图像数据的图像(步骤S21)。然后，操作者使手12靠近显示部78并在将手插入检测区域108后(参照图25)，CPU80通过触摸面板86检测手12的位置和形状，并根据手12的位置和形状来识别触摸显示部78的手12是右手还是左手(步骤S22)。然后，CPU80根据右手或左手的位置和形状推定遮蔽区域(步骤S23)。例如，如图 27所示，在操作者将右手插入检测区域108时，将由右手遮蔽的显示部78的区域110推定为遮蔽区域。同样，在将左手插入检测区域108时，将由左手遮蔽的显示部78的区域推定为遮蔽区域。此外，CPU80根据右手或左手的位置和形状来推定指尖正下方的显示部78的位置。然后，CPU80从显示于显示部78的图像的图像数据，提取关于以指尖正下方的位置为基准的预定区域的图像数据，并将提取出的图像数据存储到图像存储部87(步骤 S24)。在此，预定区域的面积根据遮蔽区域的面积来决定。然后，CPU80从图像存储部87 读出所提取的图像数据，并如图20 24所示将显示基于所提取的图像数据的图像的窗口显示到显示部78的非遮蔽区域上(步骤S25)。在此，窗口的尺寸根据提取图像数据的区域的尺寸来决定。另外，触摸面板86进行的手12的位置和形状的检测被逐次进行，因此手 12的位置在检测区域108移动时，窗口的显示区域也跟随手12的位置而移动。然后，CPU80通过触摸面板86判断手12的指是否与显示部78接触(步骤S26)。 并且，在手12的指不与显示部78接触时(步骤S26为否)，CPU80反复进行步骤S22 26 的处理。而在手12的指与显示部78接触时(步骤S26为是)，CPU80如图20 24所示将以上侧为指示方向来指示接触位置的指示符重叠显示到窗口内(步骤S27)。根据该第三实施方式的平板终端13，通过使用灵敏度高的静电容量方式的触摸面板86，操作者可以在触摸显示部78之前推定遮蔽区域，并在显示于显示部78的图像上重叠显示窗口(该窗口显示以指尖正下方的位置为基准的预定区域所包含的图像)。接下来对第四实施方式的图像显示装置以手持型的平板终端为例进行说明。如图 28所示，第四实施方式的平板终端23在第二实施方式的平板终端13的上侧的外框部分附加相机112，由相机112拍摄要触摸显示部78的操作者的手12。因此，对与第二实施方式相同的构成省略详细说明，仅对不同部分进行说明。此外，对与第二实施方式相同的构成标以相同的标号。
图29是表示第四实施方式的平板终端23的系统构成的框图。平板终端23包括 CPU80，在CPU80上连接有操作部82 ；相机112，具有用于拍摄被拍摄体的由CXD等构成的摄像元件；显示控制部84，进行显示部78的显示控制；触摸面板86 ；图像存储部87 ；程序存储部88 ；存储卡90 ；加速度传感器91 ；以及手识别部114，判断在所拍摄的图像中是否包含手12的形状。 接下来参照图30所示的流程图对第四实施方式的平板终端23中的处理进行说明。首先，平板终端23由操作者的握持手76支撑(参照图28)，电源开关接通后，CPU80通过加速度传感器91计测平板终端23的倾斜角度，根据倾斜角度识别平板终端23是纵向还是横向。因此，如图28所示，操作者以能够纵长地看显示部78的方式支撑平板终端23时， CPU80识别成平板终端23为纵向。然后，CPU80从存储卡90读出显示到显示部78的初始画面的图像数据，并在显示部78上显示基于图像数据的图像(步骤S31)。然后，CPU80如图28所示，通过相机112开始要触摸显示部78的操作者的手12的摄影(步骤S32)。在此，相机112的摄影在图28所示的X的范围进行。此外，摄影通过动画摄影或以一定时间间隔的静止图像摄影进行，由相机112拍摄的图像的图像数据被存储到图像存储部87。然后，CPU80从图像存储部87读出图像数据，由手识别部114进行图像数据中是否包含手12的形状的判断(步骤S33)。在此，是否包含手12的形状的判断如下进行，即， 通过图案匹配等来检测手12以及手12的指尖的位置。图像数据中不含手12的形状时(步骤S33为否)，CPU80反复进行步骤S33的操作。而在图像数据中包含手12的形状时(步骤S33为是)，CPU80根据图像数据中包含的手12的位置来推定遮蔽区域(步骤S34)。此外，推定指尖正下方的显示部78的位置。然后，CPU80从显示于显示部78的图像的图像数据，提取关于以指尖正下方的位置为基准的预定区域的图像数据，并将提取出的图像数据存储到图像存储部87(步骤 S35)。在此，预定区域的面积根据遮蔽区域的面积来决定。然后，CPU80从图像存储部87读出所提取的图像数据，并如图20 24所示将显示基于所提取的图像数据的图像的窗口显示到显示部78的非遮蔽区域上(步骤S36)。在此，窗口的尺寸根据提取图像数据的区域的尺寸来决定。另外，相机112的摄影通过动画摄影等进行，因此逐次检测指尖正下方的位置。并且，显示以指尖正下方的位置为基准的预定区域的图像的窗口在显示部78中逐次显示。因此，手12的位置在显示部78中移动时，窗口的投影区域也跟随手12的位置而移动。然后，CPU80通过触摸面板86判断手12的指是否与显示部78接触(步骤S37)。 并且，在手12的指不与显示部78接触时(步骤S37为否)，CPU80反复进行步骤S34 37 的操作。而在手12的指与显示部78接触时(步骤S37为是)，CPU80如图20 24所示， 将以上侧为指示方向来指示接触位置的标示符重叠显示到窗口内(步骤S38)。根据该第四实施方式的平板终端23，由相机112拍摄要触摸显示部78的操作者的手12，从而可以根据所拍摄的图像的图像数据中包含的手12的位置来正确地推定遮蔽区域。此外，用相机112拍摄操作者的手12 (参照图28)，因此即使操作者的手12从显示部78离开，只要图像数据中包含手12的形状就可以识别操作者的手12。因此，还可以附加平板终端23在识别到操作者的手12时执行预定的操作的功能。例如，图31的左侧的图像显示到显示部78时，手12进入相机112的摄影区域，CPU80从由相机112拍摄的图像数据识别出操作者的手12。此时，CPU80可以如图31的右侧的图所示，在显示于显示部78的图
像中重叠显示操作按钮。接 下来，对第五实施方式的图像显示装置以小型的手持型终端(例如移动电话、 智能电话等，以下称为小型终端)为例进行说明。图32是表示第五实施方式的小型终端43 的图。如图32所示，小型终端43在平板状框体的一个表面具备能够进行触摸面板的操作的显示部120，在框体的侧面的整周具备检测操作者的握持手的触摸传感器122。图33是表示第五实施方式的小型终端43的系统构成的框图。小型终端43包括 CPU130，在CPU130上连接有具备未图示的电源开关等的操作部132 ；显示控制部134，进行显示部120的显示控制，该显示部120用于显示基于图像数据的图像；触摸面板136，检测与显示部120接触的手指的位置；图像存储部137，暂时存储以触摸的位置为基准的预定区域的图像数据；程序存储部138，存储用于进行与显示部120的显示等相关的设定、控制的程序；存储卡140，存储在显示部120中显示的图像的图像数据；加速度传感器141，通过检测重力加速度来计测小型终端43的倾斜角度；以及触摸传感器122。接下来参照图34所示的流程图对第五实施方式的小型终端43中的处理进行说明。首先，小型终端43由操作者的握持手76支撑，电源开关接通后，CPU130通过加速度传感器141计测小型终端43的倾斜角度，根据倾斜角度识别小型终端43是纵向还是横向。例如，如图35所示，操作者以能够纵长地看显示部120的方式支撑小型终端43时，CPU130识别成小型终端43为纵向，如图36所示，操作者以能够横长地看显示部120的方式支撑小型终端43时，CPU130识别成小型终端43为横向。然后，CPU130从存储卡140读出显示到显示部120的初始画面的图像数据，并在显示部120上显示基于图像数据的图像(步骤S41)。然后，CPU130检测与触摸传感器122接触的手指的位置和个数，根据检测出的手指的位置和个数，识别握持手76和触摸显示部120的手12(步骤S42)。例如，如图35所示，操作者用左手纵向地支撑了小型终端43。并且，通过触摸传感器122检测出1根手指与小型终端43的左侧面接触，4根手指与右侧面接触。此时，CPU130将左手识别为握持手 76，将不是握持手的右手识别为触摸显示部120的手12。此外，如图36所示，操作者用左手横向支撑了小型终端43。并且，通过触摸传感器122检测出在小型终端43的上下侧面的左侧各有1根手指与之接触。此时，CPU130将左手识别为握持手76，将右手识别为触摸显示部120的手12。然后，操作者使手指12接触显示部120后，CPU130通过触摸面板136检测显示部 120中的手指的接触位置(步骤S34)。然后，CPU130根据接触位置以及由触摸传感器122 识别出的触摸的手12的信息来推定遮蔽区域(步骤S44)。例如，将右手识别为触摸的手 12时，将用右手的指尖触摸了显示部120时遮蔽的显示部120的区域推定为遮蔽区域。同样，在将左手识别为触摸的手12时，将用左手的指尖触摸了显示部120时遮蔽的显示部120 的区域推定为遮蔽区域。在此，CPU130在接触位置越是位于显示部120的下侧的情况下将遮蔽区域的面积推定得越小，而在接触位置越是位于显示部120的上侧的情况下将遮蔽区域的面积推定得越大。
然后，CPU130从显示于显示部120的图像的图像数据，提取关于以接触位置为基准的预定区域的图像数据，并将提取出的图像数据存储到图像存储部137(步骤S45)。在此，预定区域的面积根据遮蔽区域的面积来决定。因此，CPU130在遮蔽区域的面积较小时， 提取关于较窄范围的区域的图像数据(参照图18)，而在遮蔽区域的面积较大时，提取关于较大范围的区域的图像数据(参照图19)。然后，CPU130从图像存储部137读出所提取的图像数据，并如图20 22所示，将显示基于所提取的图像数据的图像的窗口显示到显示部120的非遮蔽区域上(步骤S46)。 在此，窗口的尺寸根据提取图像数据的区域的尺寸来决定。另外，操作者通常将手指朝向上侧来触摸显示部120，因此，CPU130如图20 22所示，将以上侧为指示方向来指示接触位置的指示符重叠显示到窗口内。根据该第五实施方式的小型终端43，在显示于显示部120的图像上重叠显示窗口 (该窗口显示以接触位置为基准的预定区域所包含的图像)，从而可以明确用指尖触摸的部位的图像。此外，通过在窗口内重叠显示表示 手12的指示方向的指示符，可以更加明确手12所点的图像上的位置。此外，可以识别触摸显示部120的手是右手还是左手，因此可以高精度地推定遮蔽区域。另外，在上述第五实施方式的小型终端43中，识别握持手76和触摸显示部120的手12时的手指的位置和个数，不限于第五实施方式中说明的例子。例如，在图35中示例了 4根手指与小型终端43的右侧面接触的情况，但接触的手指的根数也可以是2根或3根。 此外，在图36中示例了在小型终端43的上下侧面的左侧各有1根手指与之接触的情况，但也可以在小型终端43的侧面的左上角和左下角各有1根手指与之接触，此外也可以在小型终端43的左侧面和下侧面的左侧各有1根手指与之接触。此外，在上述第二实施方式的平板终端3中，也可以构成为能够识别触摸显示部 78的手12是右手还是左手。例如，在手指超过预定时间与显示部78接触的情况下，CPU80 判断手指接触的位置(以下称为持续接触位置)是显示部78右侧的端部还是左侧的端部。 并且，如图37所示，在持续接触位置为显示部78的左侧的端部时，CPU80将左手识别为握持手76，将不是握持手76的右手识别为触摸显示部78的手12。同样，在持续接触位置为显示部78的右侧的端部时(未图示)，CPU80将右手识别为握持手76，将不是握持手76的左手识别为触摸显示部78的手12。从而，CPU80可以考虑触摸的手12是右手还是左手来高精度地推定遮蔽区域。此外，也可以如图38所示，在显示部78的外框部分79也配置触摸传感器，并判断超过预定时间与外框部分79接触的手指的位置是显示部78的右侧的端部还是左侧的端部。从而，在手指不与显示部78接触时，CPU80也可以识别握持手76和触摸显示部78的手12是右手还是左手。此外，也可以将触摸传感器进一步配置在平板终端3的背面。此时，若操作者的手指超过预定时间与平板终端3的背面接触，则CPU80判断手指接触的位置是显示部78的右侧端部的背侧还是左侧端部的背侧。然后，CPU80根据判断结果来识别握持手76和触摸显示部78的手12是右手还是左手。此外，在上述第二实施方式的平板终端3中，也可以根据平板终端3的倾斜角度来识别握持手76和触摸显示部78的手12。例如，如图39所示，操作者用右手支撑平板终端3，通过加速度传感器91检测出平板终端3向左下倾斜。此时，CPU80将右手识别为握持手 76，将左手识别为触摸显示部78的手12。同样，操作者用左手支撑平板终端3，通过加速度传感器91检测出平板终端3向右下倾斜(未图示)。此时，CPU80可以将左手识别为握持手76，将右手识别为触摸显示部78的手12。此外，在上述第二实施方式的平板终端3中，也可以构成为能够通过触摸面板86 检测多个接触位置。并且，也可以在多个手指接触显示部78时推定包含多个接触位置的遮蔽区域。从而，在用多个手指进行触摸面板86的操作时也可以明确指尖所触摸的部位的图像。此外，在上述第四实施方式的平板终端23中，如图40所示，在相机112的摄影范围Y中也可以包含平板终端23的表面。并且，也可以根据由相机112拍摄的图像的图像数据来判断指尖是否与平板终端23的表面接触。从而，在平板终端23不具备触摸面板时也可以检测接触位置。此外，在上述第四实施方式的平板终端23中，也可以根据由相机112拍摄的图像的图像数据来检测操作者的眼睛的位置，考虑操作者的视点来推定遮蔽区域。例如，如图41 所示，在操作者从正上方看平板终端23进行操作时，CPU80将位于手12的正下方的显示部 78的区域推定为遮蔽区域。此外，如图42所示，在操作者的脸部向左侧倾斜而从倾斜方向看平板终端23来进行操作时，CPU80可以将与手12的正下方相比位于右侧的显示部78的区域推定为遮蔽区域。此时，在显示部78中显示的窗口的位置与在从正上方看平板终端23 而进行操作时(参照图41)的窗口位置相比也显示在右侧。从而，可以根据操作者的视点来高精度地推定遮蔽区域，而以操作者容易看到的方式显示窗口。此外，在上述第二 第五实施方式的终端中，也可以具备历史存储部，该历史存储部将触摸了显示部78的手12是右手还是左手作为历史信息来存储，并且所述终端根据历史信息设定触摸显示部78的手12是右手还是左手。例如，在表示触摸了显示部78的手 12是右手的历史信息连续预定个数时，CPU80将右手设定为触摸显示部78的手12。从而， CPU80可以根据设定的信息快速且正确地推定遮蔽区域。另外，也可以通过操作者的操作来设定触摸显示部78的手12是右手还是左手。此外，也可以在电源开关被断开时删除历史 fn息ο此外，在上述第二 第五实施方式的终端中，窗口也可以具有透过性。此时，可以与窗口的尺寸连动地变更透过率。从而，在显示于显示部中的图像上重叠显示了窗口时，操作者也可以识别隐于窗口之下的部分的图像。此外，可以在显示较小尺寸的窗口时将窗口的透过率设定得较小，在显示较大尺寸的窗口时将窗口的透过率设定得较大。从而，在较大区域隐于窗口之下时，操作者也可以识别在显示部中显示的整个图像。此外，在上述第二 第五实施方式的终端中，以用手进行触摸面板的操作的情况为例进行了说明，但也可以利用指示棒等进行触摸面板的操作。并且，也可以将通过指示棒等遮蔽的显示部上的区域推定为遮蔽区域。此外，在上述第二 第五实施方式的终端中，以在显示于显示部中的图像上重叠显示窗口为例进行了说明，但也可以对显示部中的显示区域进行2分割，在一个显示区域显示图像，在另一个显示区域显示窗口。从而，可以更加明确手12所点的部位的图像。此外，通过在窗口内重叠显示用于表示手12的指示方向的指示符，可以更加明确手12所点的显示部上的位置。此外，此时也可以使窗口的尺寸与提取图像数据的区域的尺寸对应。
以上说明的实施方式是为了容易理解本发明而进行的记载，并不用于限定本发明。因此，上述实施方式所公开的各要素还包含属于本发明的技术范围的所有设计变更、均等物。
权利要求
1.一种图像显示装置，其特征在于，包括 图像显示部，显示基于图像数据的图像；检测部，检测与指示部件的前端对应的位置，该指示部件用于指示由上述图像显示部显示的上述图像的一部分；提取部，从上述图像数据中提取关于包含与上述前端对应的位置的预定区域的图像数据；和控制部，使上述图像显示部显示窗口，该窗口显示基于由上述提取部提取出的提取图像数据的图像。
2.根据权利要求1所述的图像显示装置，其特征在于，上述图像显示部包括投影部，该投影部将基于图像数据的图像投影到投影面， 上述控制部使显示基于上述提取图像数据的图像的窗口投影到上述投影部。
3.根据权利要求2所述的图像显示装置，其特征在于，上述控制部将上述窗口投影到与由上述投影部投影的上述图像不同的区域。
4.根据权利要求2所述的图像显示装置，其特征在于，上述控制部在由上述投影部投影的上述图像上重叠投影上述窗口。
5.根据权利要求3或4所述的图像显示装置，其特征在于，上述控制部在由上述投影部投影的上述图像上，根据上述指示部件的影子的面积来决定上述窗口的显示面积。
6.根据权利要求4或5所述的图像显示装置，其特征在于，上述控制部在由上述投影部投影的上述图像上，在不成为上述指示部件的影子的区域中重叠投影上述窗口。
7.根据权利要求6所述的图像显示装置，其特征在于，上述控制部以与上述前端对应的位置为基准、在上述指示部件所处的区域的相反侧的区域中重叠投影上述窗口。
8.根据权利要求4 7中任一项所述的图像显示装置，其特征在于， 上述窗口具有透过性，上述控制部根据上述窗口的面积来变更上述窗口的透过率。
9.根据权利要求3 8中任一项所述的图像显示装置，其特征在于，包括指示符图像存储部，存储表示指示方向的指示符图像的图像数据；和方向检测部，检测上述指示部件的指示方向，上述控制部在由上述指示部件指示了上述投影面上的上述图像时，根据上述指示方向在上述窗口上的与上述指示的位置对应的位置重叠投影上述指示符图像。
10.根据权利要求2 9中任一项所述的图像显示装置，其特征在于，上述投影面为该图像显示装置的放置面。
11.根据权利要求1所述的图像显示装置，其特征在于， 上述图像显示部包括用于显示基于图像数据的图像的显示面，上述控制部使显示基于上述提取图像数据的图像的窗口显示到上述显示面。
12.根据权利要求11所述的图像显示装置，其特征在于，包括推定部，根据由上述检测部检测出的位置，推定由上述图像显示部显示的上述图像被上述指示部件遮蔽的遮蔽区域，上述控制部在由上述推定部推定的上述遮蔽区域以外的区域上显示上述窗口。
13.根据权利要求11或12所述的图像显示装置，其特征在于，上述控制部显示根据由上述推定部推定的上述遮蔽区域的面积而确定的大小的上述窗口。
14.根据权利要求12或13所述的图像显示装置，其特征在于，上述检测部包括检测与上述显示面接触的上述指示部件的前端的位置的触摸面板， 上述推定部根据由上述触摸面板检测出的上述指示部件的前端的位置来推定上述遮蔽区域。
15.根据权利要求1 14中任一项所述的图像显示装置，其特征在于，该图像显示装置为便携式信息终端。
16.根据权利要求15所述的图像显示装置，其特征在于， 包括握持手检测部，检测保持该图像显示装置的握持手，上述推定部考虑由上述握持手检测部检测出的握持手来推定上述遮蔽区域。
17.根据权利要求16所述的图像显示装置，其特征在于，包括判断部，判断操作者的手持续与上述显示面接触的位置和时间， 上述握持手检测部根据上述判断部的判断结果来检测上述握持手。
18.根据权利要求16所述的图像显示装置，其特征在于， 包括计测部，计测该图像显示装置的倾斜角度，上述握持手检测部根据由上述计测部计测出的上述倾斜角度来检测上述握持手。
19.根据权利要求16所述的图像显示装置，其特征在于，包括接触检测部，检测与该图像显示装置的侧面接触的操作者的手指的位置和个数， 上述握持手检测部根据与该图像显示装置的侧面接触的上述操作者的手指的位置和个数来检测上述握持手。
20.根据权利要求14所述的图像显示装置，其特征在于，上述触摸面板为静电容量方式的触摸面板，其能够在上述指示部件的前端接触上述图像显示部之前识别上述指示部件。
21.根据权利要求12或13所述的图像显示装置，其特征在于， 包括摄影部，拍摄上述指示部件，上述推定部根据由上述摄影部拍摄的图像数据中包含的上述指示部件的位置，来推定上述遮蔽区域。
22.根据权利要求21所述的图像显示装置，其特征在于， 上述摄影部拍摄操作者的眼睛，上述推定部考虑由上述摄影部拍摄的图像数据中包含的上述操作者的眼睛的位置，来推定上述遮蔽区域。
23.根据权利要求11 22中任一项所述的图像显示装置，其特征在于， 上述窗口具有透过性，上述控制部根据上述窗口的面积来变更上述窗口的透过率。
24.根据权利要求1 23中任一项所述的图像显示装置，其特征在于，上述检测部检测与操作者的手的前端对应的位置。
全文摘要
本发明提供一种图像显示装置，其包括图像显示部，显示基于图像数据的图像；检测部，检测与指示部件的前端对应的位置，该指示部件用于指示由上述图像显示部显示的上述图像的一部分；提取部，从上述图像数据中提取关于包含与上述前端对应的位置的预定区域的图像数据；和控制部，在上述图像显示部中显示窗口，该窗口显示基于由上述提取部提取出的提取图像数据的图像。
文档编号H04N5/74GK102447865SQ201110306348
公开日2012年5月9日 申请日期2011年10月8日 优先权日2010年10月7日
发明者栗林英范, 高野静二 申请人:株式会社尼康