专利名称：信息显示系统及其信息处理装置、指示装置和标记显示法的制作方法
技术领域：
本发明涉及可取得指示位置的坐标信息的信息显示系统、用于该信息显示系统的信息处理装置、同样用于该信息显示系统的指示装置、以及信息显示系统中的指示标记显示方法。
背景技术：
专利文献1特开平6-308879号公报专利文献2特开2001-148025号公报专利文献3特开2001-166881号公报专利文献4特开2001-325069号公报专利文献5美国专利第6275214号说明书作为图像显示装置之一，最近投影仪的使用越来越广泛。作为由与该投影仪连接的信息处理设备(例如个人计算机)取得由该投影仪投影的投影画面上的任意位置的坐标的方法，除进行指示的装置(指示棒、激光指示器等)之外，还需要用于拍摄投影画面的固定照相机或光学传感器，因此信息显示系统变得很大，在通用性方面存在问题。
为解决此问题，迄今为止已有各种各样的提案。例如，可列举出专利文献1的“光学式指示系统”、专利文献2的“位置检测装置及其方法、平面姿势检测装置及其方法”、专利文献3的“指示装置及其方法”、专利文献4的“位置检测装置及其方法”、专利文献5的“COMPUTERPRESENTATION SYSTEM AND METHOD WITH OPTICALTRACKING OF WIRELESSPOINTER利用无线指示器的光学追踪的计算机演示系统和方法”等。
专利文献1在显示画面上设置发光元件，由设置在指示器(该指示器起到作为指示装置的作用)上的光电变换元件接收该发光元件所发的光，根据光电变换元件的输出信号计算出指示器的轴方向，在对应于该轴方向的位置显示指示器标志，但为了检测位置，必须在显示画面上设置至少一个发光元件。
此外，专利文献2、3、4利用摄像装置(照相机)作为指示装置，拍摄显示图像的特征图像，从该特征形状取得坐标。因此，用照相机拍摄的图像中必须包含特征形状，例如，屏幕必须为矩形，或者必须由照相机拍摄显示在显示图像中的几何图形。
此外，专利文献4必须在显示画面上的各位置配置多个作为标志的对象，还显示与图像的原有内容无关的内容。
此外，专利文献5用从手持式光学光束指示器(激光指示器等)发出的光束来指示显示在屏幕上的显示图像的某个位置，用摄像装置拍摄它们，由计算机处理该摄影图像，来检测该指示位置。
该专利文献5使用激光指示器等作为指示装置。由于激光指示器不是用户普遍所有的东西，例如在演示(presentation)会场等中，主办方方必须准备作为指示装置的激光指示器。此外，有人指出从激光指示器发出的光束在安全性上也存在问题。
此外，由于该专利文献5的技术仅仅把由激光指示器等指示的位置检测为指示位置而已，因此，在该指示位置不能进行输入任何命令之类的操作。亦即，由于在激光指示器中没有输入命令等的功能，因此实现在指示位置进行其它操作(例如输入命令等)的操作是很困难的。
此外，上述各种专利文献2、3、4、5作为绝对坐标取得指示位置，未考虑作为相对坐标取得指示位置。
发明内容
因此，本发明的目的在于提供一种不设置固定照相机或光学传感器，可以把用户一般所有的便携设备用作指示装置来确定(特定すゐ)指示位置，并且可以在该指示位置输入显示数据等命令的信息显示系统、信息处理装置、指示装置和信息显示系统中的指示标记显示方法。
(1)作为绝对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，上述指示装置具有摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息，上述信息处理装置具有指示坐标确定装置，其从上述指示装置接收上述摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把上述指示装置所要指示的位置的坐标确定为指示坐标；显示图像信息存储装置，其存储上述显示图像信息；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(2)此外，作为绝对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；指示坐标确定装置，其接收来自该摄影装置的该摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把上述指示装置所要指示的位置的坐标确定为指示坐标，上述信息处理装置具有显示图像信息存储装置，其存储上述显示图像信息；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(3)此外，作为作为绝对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息，上述信息处理装置具有指示坐标确定装置，其接收来自上述指示装置的上述摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把上述指示装置要指示的位置的坐标确定为指示坐标；显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还将指示标记合成到该显示图像信息上的由上述指示坐标确定装置确定的指示坐标上进行显示。
(4)此外，作为绝对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄包含该指示装置在上述显示图像上所要指示的位置的规定范围，输出与该规定范围对应的摄影图像信息；指示坐标确定装置，其接收来自该摄影装置的摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把该指示装置所要指示的位置的坐标确定为指示坐标，上述信息处理装置具有显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还将指示标记合成到该显示图像信息上的由上述指示坐标确定装置确定的指示坐标上进行显示。
(5)在上述(1)至(4)的任何一项所述的信息显示系统中，优选的是上述的拍摄规定范围是由上述摄影装置具有的校准(視準)装置设定的可拍摄范围，把由该校准装置设定的可拍摄范围的中央部作为由上述指示装置所要指示的位置，取得该位置的坐标作为指示坐标。
(6)在上述(1)至(5)的任何一项所述的信息显示系统中，优选的是上述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应的判定，是通过根据上述摄影图像信息生成模板图像信息，将该模板图像信息与对应于摄影时刻的显示图像的显示图像信息进行模式匹配(pattern matching)来进行的。
(7)在上述(1)至(6)的任何一项所述的信息显示系统中，优选的是上述指示装置是具有摄影功能和通信功能的便携式信息终端设备。
(8)在上述(1)至(7)的任何一项所述的信息显示系统中，优选的是上述指示装置具有命令输入装置，上述信息处理装置具有接收来自上述指示装置的命令并处理该命令的命令处理装置，如果在由该信息处理装置确定上述指示坐标之后，从上述命令输入装置发出命令，则进行该命令处理，把该处理结果反映到上述指示坐标上。
(9)作为绝对坐标取得指示位置的信息显示系统中所用的本发明的信息处理装置的特征在于，具有下述功能在上述(1)或(3)所述的信息显示系统中所用的信息处理装置接收从上述指示装置输出的摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把上述指示装置所要指示的位置确定为指示坐标之后，将指示标记合成到上述显示图像信息上的该确定的指示坐标上进行显示；(10)在作为绝对坐标取得指示位置的信息显示系统中所用的本发明的信息处理装置是在上述(2)或(4)所述的信息显示系统中所用的指示装置，其特征在于，具有下述功能判定由上述摄影装置所得到的摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把该指示装置所要指示的位置的坐标确定为指示坐标；(11)在作为绝对坐标取得指示位置的信息显示系统中所用的本发明的信息处理装置的数据处理程序，记述有上述(9)所述的信息处理装置执行的数据处理步骤，其特征在于，包含下述步骤接收从上述指示装置输出的摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像信息的哪个部分相对应；根据该判定结果，把上述指示装置所要指示的位置确定为指示坐标之后，将指示标记合成到上述显示图像信息上的该确定的指示坐标上进行显示。
(12)在作为绝对坐标取得指示位置的信息显示系统中所用的本发明的指示装置的数据处理程序，记述有上述(10)所述的指示装置执行的数据处理步骤，其特征在于，包含下述步骤判定来自上述摄影装置的摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应；根据该判定结果，把该指示装置所要指示的位置的坐标确定为指示坐标。
(13)在作为绝对坐标取得指示位置的信息显示系统中的本发明的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，上述指示装置由该指示装置具有的摄影装置拍摄包含在上述显示图像上所要指示的位置的规定范围，将与该规定范围对应的摄影图像信息输出到上述信息处理装置方；在上述信息处理装置方，从上述指示装置接收上述摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把上述指示装置所要指示的位置确定为指示坐标之后，将指示标记合成到上述显示图像信息上的该确定的指示坐标上进行显示。
(14)在作为绝对坐标取得指示位置的信息显示系统中的本发明的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。该指示标记显示方法也可以这样进行处理上述指示装置由该指示装置具有的摄影装置拍摄包含在上述显示图像上所要指示的位置的规定范围，得到与该规定范围对应的摄影图像信息，判定该摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应，根据该判定结果，把该指示装置所要指示的位置确定为指示坐标，将与该确定的指示坐标对应的指示坐标信息输出到上述信息处理装置方，在上述信息处理装置方，将指示标记合成到与从上述指示装置传送的指示坐标信息对应的指示坐标上进行显示。
(15)在上述(13)或(14)所述的信息显示系统的指示标记显示方法中，优选的是上述拍摄的规定范围是由上述摄影装置具有的校准装置设定的可拍摄范围，把由该校准装置设定的可拍摄范围的中央部作为由上述指示装置所要指示的位置，取得该位置的坐标作为指示坐标。
(16)在上述(13)至(15)的任何一项所述的信息显示系统的指示标记显示方法中，优选的是上述摄影图像信息与对应于摄影时刻的显示图像的显示图像信息的哪个部分相对应的判定，是通过根据上述摄影图像信息生成模板图像信息，将该模板图像信息与对应于摄影时刻的显示图像的显示图像信息进行模式匹配来进行的。
(17)作为相对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。其特征在于，上述指示装置具有摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，上述信息处理装置具有显示图像信息存储装置，其存储与上述显示图像对应的显示图像信息；显示图像信息生成装置，其在上述显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由上述指示装置计算出的上述指示坐标移动向量对应的量的位置，合成到上述显示图像信息进行显示。
(18)此外，作为相对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。其也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄某个任意的范围，输出与该范围对应的摄影图像信息；上述信息处理装置具有指示坐标移动向量计算装置，其对通过改变或不改变上述指示装置的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息与从上述指示装置的摄影装置得到的当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；显示图像信息存储装置，其存储与上述显示图像对应的显示图像信息；显示图像信息生成装置，其在上述显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由上述指示坐标移动向量计算装置计算出的上述指示坐标移动向量对应的量的位置，合成到该显示图像信息进行显示。
(19)此外，作为相对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；摄影图像信息存储装置，其存储通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息；指示坐标移动向量计算装置，其将存储在该摄影图像信息存储装置中的摄影图像信息与当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，上述信息处理装置具有显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还在该显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由上述指示装置计算出的上述指示坐标移动向量对应的量的位置，合成到上述显示图像信息进行显示。
(20)此外，作为相对坐标取得指示位置的本发明的信息显示系统具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄某个任意的范围，输出与该范围对应的摄影图像信息，上述信息处理装置具有摄影图像信息存储装置，其存储通过改变或不改变上述指示装置的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息；指示坐标移动向量计算装置，其把存储在该摄影图像信息存储装置中的摄影图像信息与从上述指示装置的摄影装置得到的当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还在该显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由上述指示坐标移动向量计算装置计算出的上述指示坐标移动向量对应的量的位置，合成到上述显示图像信息进行显示。
(21)在上述(17)至(20)的任何一项所述的信息显示系统中，优选的是把时间上比当前时刻靠前的摄影图像信息与当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量的处理是通过把根据当前时刻的摄影图像信息生成的模板图像信息与时间上比上述当前时刻靠前的摄影图像信息进行模式匹配，判定上述当前时刻的摄影图像信息与时间上比上述当前时刻靠前的摄影图像信息的哪个部分相对应，根据该判定结果，求出上述当前时刻的摄影图像信息的移动量和移动方向，根据求出的移动量和移动方向，计算出指示坐标移动向量。
(22)在上述(17)至(21)的任何一项所述的信息显示系统中，优选的是上述指示装置是具有摄影功能和通信功能的便携式信息终端设备。
(23)在上述(17)至(22)的任何一项所述的信息显示系统中，优选的是上述指示装置具有命令输入装置，上述信息处理装置具有接收来自上述指示装置的命令并对其进行处理的命令处理装置，在该信息处理装置中，在确定上述指示坐标之后，从上述命令输入装置发出命令时，进行该命令处理，将其处理结果反映到上述指示坐标上。
(24)在作为相对坐标取得指示位置的信息显示系统中所用的本发明的指示装置是在上述(17)或(19)所述的信息显示系统中所用的指示装置，其特征在于，具有下述功能对通过该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意的范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到上述信息处理装置。
(25)在作为相对坐标取得指示位置的信息显示系统中所用的本发明的信息处理装置是在上述(18)或(20)所述的信息显示系统中所用的信息处理装置，其特征在于，具有下述功能对通过改变或不改变上述指示装置具有的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，在上述显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与上述计算出的指示坐标移动向量对应的量的位置，合成到上述显示图像信息进行显示。
(26)在作为相对坐标取得指示位置的信息显示系统中所用的本发明的指示装置的数据处理程序，记述有上述(24)所述的指示装置执行的数据处理步骤，其特征在于，包含下述步骤对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；将该指示坐标移动向量输出到上述信息处理装置。
(27)在作为相对坐标取得指示位置的信息显示系统中所用的本发明的信息处理装置的数据处理程序，记述有上述(25)所述的信息处理装置执行的数据处理步骤，其特征在于，包含下述步骤对通过改变或不改变上述指示装置具有的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；在上述显示图像上，把当前时刻显示的指示标记，在仅偏离了与上述计算出的上述指示坐标移动向量对应的量的位置，合成到上述显示图像信息进行显示。
(28)在作为相对坐标取得指示位置时的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，上述指示装置对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到上述信息处理装置，上述信息处理装置把在上述显示图像上当前时刻显示的指示标记，在仅偏离了与由上述指示装置计算出的上述指示坐标移动向量对应的量的位置，合成到上述显示图像信息进行显示。
(29)当将作为相对坐标取得指示位置时的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，其具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法也可以这样进行处理上述指示装置通过该指示装置具有的摄影装置拍摄任意范围，在上述信息处理装置方，对通过改变或不改变上述指示装置具有的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，在上述显示图像上，把当前时刻显示的指示标记，在仅偏离了与上述计算出的指示坐标移动向量对应的量的位置，合成到上述显示图像信息进行显示。
(30)在上述(28)或(29)所述的信息显示系统的指示标记显示方法中，优选的是对时间上比上述当前时刻靠前的摄影图像信息与当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量的处理是通过对从上述当前时刻的摄影图像信息生成的模板图像信息与时间上靠前的摄影图像信息进行模式匹配，判定上述当前时刻的摄影图像信息与时间上比上述当前时刻靠前的摄影图像信息的哪个部分相对应，根据该判定结果，求出上述当前时刻的摄影图像信息的移动量和移动方向，根据求出的移动量和移动方向，计算出指示坐标移动向量。
(31)作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统，具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。其特征在于，上述指示装置具有摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息与上述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，上述信息处理装置具有显示图像信息存储装置，其存储与上述显示图像对应的显示图像信息；指示坐标确定装置，其根据上述显示图像信息和来自上述指示装置的上述摄影图像信息以及指示坐标移动向量，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的临时指示位置确定为指示坐标；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(32)此外，作为作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统，具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；上述信息处理装置具有指示坐标移动向量计算装置，其对通过改变或不改变由上述指示装置的摄影装置得到的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息与上述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；显示图像信息存储装置，其存储与上述显示图像对应的显示图像信息；指示坐标确定装置，其根据上述显示图像信息和上述指示坐标移动向量以及来自上述指示装置的摄影图像信息，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标；显示图像信息生成装置，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(33)此外，作为作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统，具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，它也可以具有这样的结构上述指示装置具有摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息与上述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；指示坐标确定装置，其根据上述摄影图像信息和上述指示坐标移动向量以及显示图像信息，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标；上述信息处理装置具有显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其把指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(34)在上述(31)至(33)的任何一项所述的信息显示系统中，上述指示坐标确定处理可以这样进行，以上述临时指示位置作为基准设定规定范围，在该规定范围内，通过将上述摄影图像与摄影时刻的显示图像信息进行模式匹配，分别计算出各位置的相关性，根据计算出的相关性，确定上述移动后的指示坐标。
并且，即使在(31)、(32)、(33)、(34)的各信息显示系统中，也可以应用上述(5)、(6)、(7)、(8)、(21)项所述的内容。
(35)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的信息处理装置，是上述(31)中所述信息显示系统中所用的信息处理装置，其特征在于，具有下述功能根据存储在上述显示图像信息存储装置中的显示图像信息和来自上述指示装置的上述摄影图像信息以及上述指示坐标移动向量，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标，把指示标记合成到该确定的指示坐标上进行显示。
(36)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的指示装置，是上述(31)所述的信息显示系统中所用的指示装置，其特征在于，具有下述功能对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意的范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到上述信息处理装置。
(37)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的信息处理装置，是上述(32)所述的信息显示系统中所用的信息处理装置，其特征在于，具有下述功能对通过由上述指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，根据该计算出的指示坐标移动向量和上述摄影图像信息以及上述显示图像信息，求出作为指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标，把指示标记合成到该确定的指示坐标上进行显示。
(38)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的指示装置，是上述(33)所述的信息显示系统中所用的指示装置，其特征在于，具有下述功能对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，根据该指示坐标移动向量和摄影时刻的摄影图像信息以及显示图像信息，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标。
(39)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的信息处理装置的数据处理程序，记述有上述(35)所述的信息处理装置执行的数据处理步骤，其特征在于，包含下述步骤根据存储在上述显示图像信息存储装置中的显示图像信息和来自上述指示装置的上述摄影图像信息以及上述指示坐标移动向量，求出指示标记移动后的临时指示位置；在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标；把指示标记合成到该确定的指示坐标上进行显示。
(40)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的指示装置的数据处理程序，记述有上述(36)所述的指示装置执行的数据处理步骤，其特征在于，包含下述步骤对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；将该指示坐标移动向量输出到上述信息处理装置。
(41)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的信息处理装置的数据处理程序，记述有上述(37)所述的信息处理装置执行的数据处理步骤，其特征在于，包含下述步骤对通过由所述指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；根据该计算出的上述指示坐标移动向量和上述摄影图像信息以及上述显示图像信息，求出作为指示标记移动后的临时指示位置；在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标；将指示标记合成到该确定的指示坐标上进行显示。
(42)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中所用的本发明的指示装置的数据处理程序，记述有上述(38)所述的指示装置执行的数据处理步骤，其特征在于，包含下述步骤对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；根据该指示坐标移动向量和摄影时刻的摄影图像信息以及显示图像信息，求出指示标记移动后的临时指示位置；在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标。
(43)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到上述信息处理装置方；上述信息处理装置根据来自上述指示装置的上述摄影图像信息和上述指示坐标移动向量以及显示图像信息，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标，将指示标记合成到与上述显示图像对应的显示图像信息上的上述确定的指示坐标上进行显示。
(44)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。该指示标记显示方法也可以这样进行处理上述指示装置通过该指示装置具有的摄影装置拍摄任意范围，上述信息处理装置对通过由上述指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时间的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，根据该计算出的指示坐标移动向量和上述摄影图像信息以及上述显示图像信息，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标，并把指示标记合成到与上述显示图像对应的显示图像信息上的上述确定的指示坐标上进行显示。
(45)在作为绝对坐标取得指示位置的信息显示系统与作为相对坐标取得指示位置的信息显示系统组合形成的本发明的信息显示系统中的指示标记显示方法，是一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置。该指示标记显示方法也可以这样进行处理上述指示装置对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时间的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，根据该指示坐标移动向量和与显示图像对应的显示图像信息，求出指示标记移动后的临时指示位置，在包含该临时指示位置的规定范围内，把指示标记移动后的指示位置确定为指示坐标；上述信息处理装置把指示标记合成到上述显示图像信息上的上述确定的指示坐标上进行显示。
(46)在上述(43)至(45)的任何一项所述的信息显示系统中的指示标记显示方法中，上述指示坐标确定处理可以这样进行以上述临时指示位置作为基准设定规定范围，通过在该规定范围内对上述摄影图像与摄影时刻的显示图像信息进行模式匹配，分别计算出各位置的相关性，根据计算出的相关性，确定上述移动后的指示坐标。
并且，在(43)、(44)、(45)的各信息显示系统中的指示标记显示方法中，也可以应用上述(15)、(16)、(30)中所述的内容。
上述的发明可大体划分为作为绝对坐标取得指示位置并在该取得的坐标位置上进行指示标记显示的发明；作为相对坐标取得指示位置并在该取得的坐标位置上进行指示标记显示的发明；以及将两者组合起来的发明。
在作为绝对坐标取得的坐标位置上进行指示标记显示的发明，可利用兼具摄影功能和通信功能的便携式信息终端设备作为指示装置，拍摄包含由该指示装置所要指示的显示图像上的位置的规定范围，将与该规定范围对应的摄影图像信息输出到作为信息处理装置的个人计算机(以下称为PC)等。进而，在接收到该摄影图像信息的PC上，判定该摄影图像信息与对应于当前的显示图像的显示图像信息的哪个范围相对应，根据该判定结果，把指示装置所指示的位置的坐标确定为指示坐标，将指示标记合成到该确定的指示坐标上进行显示。
这样，本发明中，没有必要在显示图像上特别设置特殊形状或标志等，没有必要同时拍摄特殊图像，只要拍摄包含指示位置的范围即可。
此外，由于通过用摄影装置拍摄指示位置来确定指示坐标，将在PC方生成的指示标记显示在该位置，因此与用激光指示器等对指示位置进行指示不同，可以防止在显示的指示标记上发生抖动。亦即，若指示者用激光指示器等进行指示，则照射在指示位置的光点大多由于手的抖动等而抖动，但本发明通过在PC方或在指示装置上进行抖动校正处理，可使消除抖动。
此外，通过把由校准装置(摄影装置的取景器或显示器等)设定的可拍摄范围的中央部作为指示器的指示位置，因此可以容易而且正确地进行指示位置的设定。
此外，由于通过根据指示装置所拍摄的规定范围的摄影图像信息生成模板图像，并对该模板图像信息与显示图像信息进行模式匹配，来判定摄影图像与显示图像整体的哪个部分相对应，利用该判定结果来确定指示位置，因此可以高精度地确定指示位置。
此外，在这样的作为绝对坐标取得指示位置的系统中，如上所述，指示坐标的确定可在信息处理装置(PC)方进行，但也可以在指示装置方进行。在此情况下，指示装置具有指示坐标确定装置。
在信息处理装置(PC)方进行指示坐标确定的优点在于，指示装置只是简单地将摄影图像信息发送到信息处理装置，可以减少指示装置的运算量。此外，在指示装置方不必设置确定指示坐标所需的(例如图像处理用的)硬件或软件。因此，作为指示装置可以利用一般的便携式信息设备。此外，由于一般PC的处理能力比指示装置高，因此能更高速地进行坐标确定等处理，也可以容易且高速地进行复杂的图像处理运算，可以高精度地确定坐标。
另一方面，在指示装置方进行指示坐标确定的优点在于，从PC方来看，可以把指示装置看作单纯的设备。亦即，由于只要对该设备(指示装置)发送显示图像信息，就可从该设备将绝对坐标信息发送过来，因此在PC方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC方的运算量。
此外，在作为相对坐标取得指示位置并在该取得的坐标位置上进行指示标记显示的发明中，将当前时刻的摄影图像信息与时间上比其靠前一帧的摄影图像信息进行比较，根据其比较结果计算指示坐标移动向量，将该指示坐标移动向量输出到PC，该PC在当前时刻显示的显示图像上，把当前时刻显示的指示标记，在仅偏离了与由指示装置计算出的指示坐标移动向量对应的量的位置，合成到与当前时刻显示的显示图像对应的显示图像信息进行显示。
当作为相对坐标取得该指示位置时，由于由指示装置确定的摄影对象也可以不是显示图像，因此，很少受到摄影场所的制约，在宽阔的演示会场等通过很多人进行指示的情况下也很便于使用。此外，由于可用PC鼠标的感觉来使用指示装置，因此指示操作易于进行也是其特征之一。
此外，当作为相对坐标取得指示位置时，由于不需要把保存在PC方的显示图像信息，作为用于求出相对坐标的指示坐标移动向量计算所需的信息，因此计算指示坐标移动向量的运算可以只在指示装置方进行。
这样，由于在进行指示坐标移动向量的计算时不需要显示图像信息，因此没有必要进行将显示图像信息加载到指示装置方之类的处理，此外，由于只要仅把由指示装置算出的指示坐标移动向量信息发送到信息处理装置方即可，因此在指示装置和PC之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷。
此外，由于利用摄影装置求出指示坐标移动向量，在PC方显示生成的指示标记，因此与用激光指示器对指示位置进行指示不同，可以防止显示的指示标记发生抖动。亦即，若指示者用激光指示器等进行指示，则照射在指示位置的光点大多由于手的抖动等而产生抖动，但本发明通过在PC方或指示装置上进行抖动校正处理，可以消除抖动。
此外，在这样的作为相对坐标取得指示位置的系统中，如上所述，指示坐标移动向量的计算可以在指示装置方进行，但也可以在信息处理装置(PC)方进行。并且，当在PC方进行指示坐标移动向量的计算时，PC方具有指示坐标移动向量计算装置和摄影图像信息存储装置。
如上所述，在指示装置方进行指示坐标移动向量计算的优点在于，由于只要仅把指示装置算出的指示坐标移动向量信息发送到PC方即可，因此在指示装置和PC之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷，除此优点之外，从PC方来看，可以把指示装置看作单纯的设备。亦即，由于从该设备(指示装置)向PC简单地发送相对坐标信息，因此在PC方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC方的运算量。
另一方面，在信息处理装置(PC)进行指示坐标移动向量计算的优点在于，指示装置只是简单地将摄影图像信息发送到信息处理装置，因此可以减少指示装置的运算量。此外，在指示装置方不必设置用于计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置，可以利用一般的便携式信息设备。此外，由于一般PC的处理能力比指示装置高，因此能更高速地进行指示坐标移动向量的计算处理，可以高精度地进行指示坐标移动向量的计算。
此外，作为在上述各发明中所用的指示装置，作为具有摄影功能和通信功能的便携式信息终端设备，可以使用带照相机的移动电话机、数字照相机、数字摄像机等，但其中，通过使用带照相机的便携式信息设备(特别是移动电话机)，使用更加方便。亦即，由于带照相机的移动电话机广为普及、其原本就具有通过网络的通信功能、此外还具有输入字符的接口、能够用单手操作等，在功能性和操作性方面都很优秀，因此使用更加方便。
此外，由于最近在这种移动电话机中，有的还可以安装任意的应用程序，因此在这样的移动电话机的情况下，只要安装指示应用程序就可以实现，不必改造硬件、不必为实现本发明而新制作硬件是很大的特征。
此外，具体来说，把作为绝对坐标取得指示坐标和作为相对坐标取得指示坐标组合起来的发明，亦即上述(31)至(46)的发明是利用通过指示装置的移动求出的相对坐标移动向量信息，对显示图像与模板图像进行模式匹配的区域进行限定，对该限定的区域与由摄像装置拍摄的最新的摄影图像(模板图像)进行模式匹配。
从而，由于把通过作为相对坐标确定指示位置的处理而得到的指示位置作为临时指示位置，在其周边设定规定的模式匹配区域，只要在该模式匹配区域内进行模式匹配即可，因此与把显示图像整个区域作为模式匹配的对象的情况相比较，可以大幅度减少模式匹配所需的运算量，可以高速且高精度地进行指示位置的确定。
此外，在(31)的发明中，指示坐标移动向量计算处理是在指示装置方进行的，但该指示坐标移动向量计算处理也可在信息处理装置方进行。这就是(32)的发明，在此情况下，在信息处理装置方设置指示坐标移动向量计算装置，将来自指示装置的摄影图像信息发送到信息处理装置方的指示坐标移动向量计算装置，在信息处理装置方计算指示坐标移动向量。该指示坐标移动向量计算处理可以按与上述相同的步骤来进行。
然后，指示坐标确定装置利用来自指示装置方的摄影装置的摄影图像信息、根据自身的指示坐标移动向量计算装置算出的指示坐标移动向量、以及存储在显示图像信息存储装置中的摄影时刻的显示图像，进行指示坐标的确定。
这样，在信息处理装置方进行指示坐标移动向量计算的优点在于，指示装置只是简单地将摄影图像信息发送到信息处理装置，可以减少指示装置的运算量。此外，在指示装置方不必设置计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置，可以利用一般的便携式信息设备。此外，由于一般信息处理装置的处理能力比指示装置高，因此除了能更高速地进行指示坐标移动向量计算处理之外，由于也可以容易且高速地进行复杂的图像处理运算，因此可以进行高精度的指示坐标移动向量的计算。
进而，(32)的发明将指示坐标确定装置设置在指示装置方，在指示装置方一直进行到指示坐标确定处理为止，在此情况下，存在于指示装置方的指示坐标确定装置利用来自摄影装置的摄影图像以及由指示坐标移动向量计算装置计算出的指示坐标移动向量，还取得来自信息处理装置方的显示图像，进行指示坐标确定处理，将这样确定的指示坐标发送到信息处理装置方。
这样，将指示坐标确定装置设置在指示装置方，指示装置方一直进行到指示坐标确定处理为止的优点在于，从PC方来看，可以把指示装置看作单纯的设备。亦即，由于只要对该设备(指示装置)发送显示图像信息，即可从该设备将绝对坐标信息发送过来，因此在信息处理装置方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少信息处理装置方的运算量。
此外，在上述(31)至(33)的任何一项所述的信息显示系统中以及上述(43)至(45)的任何一项所述的信息显示系统中的指示标记显示方法中，指示坐标确定处理是通过一边以上述推测的位置为基点沿规定的路径，在上述摄影图像的摄影时刻的显示图像上的规定范围内移动该摄影图像，一边进行该摄影图像与上述显示图像的模式匹配，计算在各位置上的相关性，根据计算出的相关性，确定上述移动后的指示坐标。从而，可以高效且高精度地确定指示坐标。
此外，在上述各发明中，通过在指示装置方设置命令输入装置，在PC方设置接收来自指示装置的命令并对其进行处理的命令处理装置，当从指示装置的命令输入装置发出命令时，在PC方可以接收该命令，进行命令处理并将其处理结果反映到上述指示装置的指示坐标上。
例如，指示者通过指示装置指示显示图像上的任意位置时，可以在该指示位置输入字符或修改显示内容，不仅可以简单地指示出指示位置，而且也可以进行显示内容的编辑和修正操作。亦即，这使计算机的远程操作成为可能。
图1是说明本发明的实施方式1的结构图。
图2是说明实施方式1中作为绝对坐标取得指示位置的示例图。
图3是说明实施方式1中的指示坐标确定处理步骤的流程图。
图4是说明实施方式1中的将指示标记合成到显示图像上的处理的流程图。
图5是说明本发明的实施方式2的结构图。
图6是说明实施方式2中作为相对坐标取得指示位置的示例图。
图7是说明实施方式2中的指示坐标移动向量计算处理步骤的流程图。
图8是图7的指示坐标移动向量计算处理的具体例的说明图。
图9是说明实施方式2中的将指示标记合成到显示图像上的处理的流程图。
图10是说明本发明的实施方式3的结构图。
图11是实施方式3的指示坐标确定处理的说明图。
图12是通过实施方式3中的指示装置(带照相机的移动电话机)3进行的指示操作例的说明图。
图13是实施方式3中用于进行指示坐标确定的模式匹配的动作例的说明图。
图14是说明本发明的实施方式4的结构图，是用于实现作为绝对坐标取得指示位置之后可在该指示坐标上执行命令的结构图。
图15是进行命令输入，将对该命令的处理的执行结果显示在确定坐标位置的一例的示意图。
图16是进行命令输入，将对该命令的处理的执行结果显示在确定坐标位置的另一例的示意图。
图17是说明本发明的实施方式4的结构图，是用于实现作为相对坐标取得指示位置之后可在该指示坐标上执行命令的结构图。
符号说明1信息处理装置(PC1)；2信息显示装置；3指示装置(带照相机的移动电话机)；11显示图像信息存储装置；12显示图像信息生成装置；13指示坐标确定装置；14命令处理装置；21投影仪；22屏幕；23显示图像；31校准装置；32摄影装置；33指示坐标移动向量计算装置；34摄影图像信息存储装置；35命令输入装置；M指示标记；Pt临时指示位置；Is摄影图像；It模板图像；Id显示图像；V指示坐标移动向量；Id显示图像；ap模式匹配区域。
具体实施例方式
以下，对本发明的实施方式进行说明。在该实施方式中，对以下的例子进行说明假设采用投影仪作为图像显示装置，将该投影仪连接到作为信息处理装置的PC，将该PC上的数据用投影仪投影到墙壁或屏幕上，对该投影的图像用指示装置指定任意位置，取得该确定位置的坐标信息，在该坐标上显示指示标记。
此外，作为指示装置，假定使用具有拍摄图像的摄影功能和具有可将由此得到的图像信息发送到网络或PC上的通信功能的便携式信息终端设备(例如，带照相机的移动电话机、具有通信功能的数字照相机、具有通信功能的数字摄像机等)。
并且，由于本发明既可以作为绝对坐标取得指示位置，还可以作为相对坐标取得指示位置，因此把作为绝对坐标取得指示位置的例子作为实施方式1，把作为相对坐标取得指示位置的例子作为实施方式2，把组合两者来确定指示坐标的例子作为实施方式3进行说明，进而，作为实施方式4，对以下处理进行说明使在所指示的坐标位置上可以输入命令，在PC上执行所输入的命令，将其执行结果反映到该取得的坐标位置上。
实施方式1图1是表示说明该实施方式1所需的结构要素的图，其结构要素大体划分为作为信息处理装置的PC1；显示从该PC1输出的信息的信息显示装置2；指示该信息显示装置显示的图像上的任意位置的指示装置3。
并且，如上所述，假定作为指示装置3使用具有摄影功能和通信功能的便携式信息终端(带照相机的移动电话机、具有通信功能的数字照相机、具有通信功能的数字摄像机等)。
PC1具有显示图像信息存储装置11，其存储应显示的图像的图像信息；显示图像信息生成装置12，其具有以下功能在生成当前时刻应显示的图像信息的同时，把指示标记合成到显示图像上的所指示的坐标位置上；指示坐标确定装置13，其确定由指示装置3指示的坐标(应显示指示标记的坐标)。
此外，信息显示装置2由投影图像信息的投影仪21、投影图像信息的屏幕22构成。
此外，指示装置3具有校准装置31，它是具有上述摄影功能的便携式信息终端通常具有的取景器或显示画面等；摄影装置32，其拍摄由该校准装置31设定的规定范围的图像。并且，可以通过无线局域网、红外线通信、利用电话线路的网络等任何通信装置，把来自该指示装置3的信息发送到PC1。
对这样的结构的将指示标记显示在由指示装置3指示的位置上的具体动作进行说明。
通过操作该PC1的操作者的操作，读出存储在PC1的显示图像信息存储装置11中的显示图像信息，由显示图像信息生成装置12对所读出的图像信息进行显示图像信息生成处理，使其能够用投影仪21进行显示处理，此后，发送到投影仪21，由投影仪21投影到屏幕22(参考图2)等。
图2是用指示装置3(在该图2的例中假设其为带照相机的移动电话机，该带照相机的移动电话机也标注符号3)指示由投影仪21投影的显示图像23上的任意位置的示例图。从该图2可知，用带照相机的移动电话机3拍摄包含投影到屏幕22上的显示图像23上的任意位置P(图中以黑圆表示)。
该任意位置P是在投影到屏幕22上的显示图像23上显示指示标记的位置，以下称其为指示位置P。使该指示位置P成为用带照相机的移动电话机3的校准装置(在此情况下是带照相机的移动电话机3的显示画面31)设定的可拍摄范围的中央部。并且，在显示图像23上表示的虚线框a是由该带照相机的移动电话机3的显示画面31设定的可拍摄范围(一般是显示画面的显示范围)，用该虚线框a包围的范围成为一次摄影可拍摄的范围。
这样，利用带照相机的移动电话机3的摄影功能，在将指示位置P设置在该显示画面31的中央部即可拍摄范围a的中央部的状态下进行摄影时，通过通信装置将该摄影图像信息发送到PC1。从而，在PC1上，由该指示坐标确定装置13按图3的流程图所示的步骤进行指示坐标确定。
图3是PC1的指示坐标确定装置13进行的指示坐标确定处理步骤的示意图，当取得从带照相机的移动电话机3发送的摄影图像信息时(步骤S1)，首先进行畸变或亮度等的校正处理，进而，进行缩放等各种前处理(步骤S2)，根据该前处理后的摄影图像信息生成模板图像信息(步骤S3)。通过在步骤S2进行的前处理，该模板图像信息变为适于检测与显示图像信息的匹配度的分辨率。
进而，判定该模板图像信息与显示在屏幕22上的显示图像整体的哪个部分相对应。可通过应用对该模板图像信息与存储在显示图像信息存储装置11中的显示图像信息中的与摄影时刻显示的显示图像对应的显示图像信息进行模式匹配等图像识别技术，来进行该判定处理(步骤S4)。
进而，当判定出模板图像信息与对应于摄影时刻显示的显示图像的显示图像信息的哪个部分相对应之后，将该判定的部分的中央部作为指示位置P，把与该指示位置P对应的坐标确定为指示坐标(步骤S5)。
这样，当通过指示坐标确定装置13得到与指示位置P对应的指示坐标之后，将指示标记M(参考图2)合成到该指示坐标上进行显示。从而，在投影到屏幕22上的显示图像23上的用户指示位置P上显示在PC1上生成的指示标记M。
图4是说明将指示标记M显示在投影到屏幕22上的显示图像23上的指示位置P的处理步骤的流程图。当通过上述图3所示的处理确定指示坐标后，取得该指示坐标(步骤S11)，从保持指示标记图像信息的指示标记图像信息保持部(在该例中，假设指示标记图像信息被保持在显示图像信息存储装置11中)读出指示标记图像信息(步骤S12)。
进而，将该读出的指示标记图像信息合成到与摄影时刻的显示图像对应的显示图像信息的规定坐标上(由图3确定的指示坐标)(步骤S13)，生成已在指示坐标上合成了指示标记信息的显示图像信息(步骤S14)。
从而，在投影到屏幕22上的显示图像23上，在由带照相机的移动电话机3所指示的指示位置P上显示指示标记M。
这样，当想要指示投影到屏幕22上的显示图像23上的某个特定位置时，使打算用带照相机的移动电话机3指示的该位置(指示位置P)在该带照相机的移动电话机3的校准装置(显示画面)31的中心，只要拍摄该部分的图像，就可以使指示标记M显示在显示图像的指示位置P。
并且，在上述实施方式中，以使用带照相机的移动电话机作为指示装置3为例进行了说明，但并不限于带照相机的移动电话机，当然同样可以在具有通信功能的数字照相机或具有通信功能的数字摄像机等上实施。此外，在上述实施方式中，以把指示标记图像信息保持在PC1上的显示图像信息存储装置11为例进行了说明，但该指示标记图像信息也可以保持在其它场所(例如，指示装置3方)，也可以从该保持场所读出指示标记图像信息，将其传送到PC1。
这样，在实施方式1中，只要用该指示装置3拍摄包含由指示装置3所要指示的位置的规定范围即可，不必象以往那样在显示图像上显示特征形状等。此外，由于在该实施方式1中的指示坐标的确定是通过把由指示装置3拍摄得到的模板图像信息与对应于投影到屏幕22上的显示图像的显示图像信息进行模式匹配来决定的，因此指示坐标的检测精度高也是其特征之一。
并且，在该实施方式1中，对将指示坐标确定装置13设置在PC1方，在PC1方进行指示坐标确定处理的例子进行了说明，但也可以把该指示坐标确定装置13设置在指示装置3方，在指示装置3方进行指示坐标确定处理。在此情况下，指示装置3的指示坐标确定装置13从PC1方的显示图像信息存储装置11读出摄影时刻显示的显示图像，进行相对于显示图像的指示坐标确定处理，将这样确定的指示坐标发送到PC1方(显示图像信息生成装置12)。
这样，指示坐标确定处理也可以不在PC1方，而在指示装置3方进行。
并且，前面已说明过，将指示坐标确定装置13设置在PC1方，在PC1方进行指示坐标确定处理的优点在于，指示装置3只简单地把摄影图像信息发送到PC1，可以减少指示装置3的计算量。此外，在指示装置3方不必设置指示坐标确定所需的硬件或软件。因此，作为指示装置3可以利用一般的便携式信息设备。此外，由于一般PC1的处理能力比指示装置3高，因此能更高速地进行坐标确定等处理，也可以容易且高速地进行复杂的图像处理运算，可以高精度地确定坐标。
另一方面，将指示坐标确定装置13设置在指示装置3方，在指示装置3方进行指示坐标确定处理的优点在于，从PC1方来看，可以把指示装置3看作单纯的设备。亦即，由于只要对该设备(指示装置3)发送显示图像信息，就可从该设备发送来绝对坐标信息，因此在PC1方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC1方的运算量。
实施方式2该实施方式2是作为相对坐标取得指示位置的示例。在该实施方式2中，也与实施方式1相同，以下述情况为例进行说明将作为图像显示装置的投影仪21连接到PC1，由投影仪21将该PC1上的数据投影到屏幕22上，对投影到该屏幕22上的显示图像23，用指示装置3确定任意位置，在该确定位置上显示指示标记M。
图5是说明该实施方式2所需的结构要素的示意图，与实施方式1相同，其结构要素可大体划分为PC1；连接到该PC1的投影仪21；指示用投影仪21投影的显示图像上的任意位置的指示装置3。并且，在该实施方式2中，也是将指示装置3作为带照相机的移动电话机3进行说明。
在该实施方式2中，PC1具有显示图像信息存储装置11，其存储应显示的图像的图像数据；显示图像信息生成装置12，其具有以下功能在生成当前时刻应显示的图像数据的同时，把指示标记M合成到显示图像23上的所指示的位置。
此外，指示装置3具有校准装置(在此情况下也是带照相机的移动电话机3的显示画面)31；摄影装置32，其用于拍摄由该校准装置31设定的可拍摄范围的图像；指示坐标移动向量计算装置33，其用于计算指示坐标移动向量；摄影图像信息存储装置34，其作为帧缓冲器，用于存储从一帧大小的摄影图像得到的特征图像。并且，可以利用无线局域网、红外线通信、电话线路的网络等任意的通信装置，把来自该指示装置3的信息发送到PC1。
由于该实施方式2是作为相对坐标取得指示位置的方式，因此只要取得移动了指示装置3的移动方向和移动量(指示坐标移动向量)即可。因此，无论带照相机的移动电话机3拍摄何处均可，例如，如图6所示，也可以拍摄不在投影到屏幕22上的显示图像23中的场所。
其次，对该实施方式2的具体的指示动作进行说明。假设将存储在PC1的显示图像信息存储装置11的显示图像信息中的某个显示图像信息发送到投影仪21，将其显示图像23投影到屏幕22上。
在此状态下，首先，利用带照相机的移动电话机3的摄影功能，拍摄任意场所(在图6所示的显示图像的外侧亦可)。并且，此时，假设指示标记M显示在作为其初始位置(设其为P0)的显示图像23中的例如中央部。
其次，用带照相机的移动电话机3拍摄下一帧，通过将其与先前拍摄的前一帧进行比较，计算移动方向和移动量，由指示坐标移动向量计算装置33计算指示坐标移动向量。计算该指示坐标移动向量可利用后述的模式匹配或MPEG(Motion Picture Expert Group-电影专家组)等所采用的移动检测技术。
进而，根据该计算出的指示坐标移动向量，把显示在显示图像23上的指示标记M显示在从当前位置(此时为初始位置P0)偏离了指示坐标移动向量的量的位置。亦即，原来在图6中的初始位置P0的指示标记M被显示在从初始位置P0偏离了计算出的指示坐标移动向量的量的位置P1。
图7是说明上述指示坐标移动向量计算装置33进行的指示坐标移动向量计算处理的流程图。在图7中，首先，通过指示装置3(此处为带照相机的移动电话机3)拍摄某个位置(步骤S21)，对所拍摄的图像进行畸变或亮度等的校正处理，进而，为了抽出特征点，作为前处理进行二进制化(2值化)处理等处理(步骤S22)，从该前处理结束后的摄影图像抽出特征点，取得特征图像(步骤S23)。
进而，将该特征图像与保持在摄影图像信息存储装置34中的前一帧的特征图像进行比较，计算指示坐标移动向量(步骤S24)，将其作为指示坐标移动向量输出的同时(步骤S25)，通过将上述步骤S23所得到的特征图像作为新的前一帧特征图像写入摄影图像信息存储装置34中，进行特征图像的更新(步骤S26)。进而，若继续移动指示装置(此时为带照相机的移动电话机)3，则返回到步骤S21。
这样，当由指示坐标移动向量计算装置33计算出指示坐标移动向量时，在仅偏离了与所计算出的指示坐标移动向量对应的量的位置，显示指示标记M。
并且，当用带照相机的移动电话机3所拍摄的摄影图像是最初的摄影图像，没有得到前一帧特征图像时，将由该最初的摄影图像得到的特征图像保存在摄影图像信息存储装置34中，等待第2次以后的摄影操作，当通过第2次拍摄得到特征图像时，将该特征图像与保持在特征图像信息存储装置中的前一帧(由最初的摄影图像得到的特征图像)进行比较，求出指示坐标移动向量，把通过该第2次拍摄得到的特征图像作为前一帧特征图像，写入摄影图像信息存储装置34中，更新存储内容。
参考图6和图8，说明用上述图7的流程图说明过的处理的具体例。
首先，例如，如图6所示，用带照相机的移动电话机3拍摄某个位置(此处为屏幕22外侧的某个位置)。并且，假定在该位置偶尔存在“A”字符。使该“A”字符处在用带照相机的移动电话机3的校准装置31(显示画面31)设定的可拍摄范围(图中用虚线框a表示)的中央位置进行拍摄，对该摄影图像(将其作为第(n-1)帧的摄影图像)施行前处理(2进制化等)，假设得到图8(a)那样的特征图像。
然后，使带照相机的移动电话机3如图6所示移动到左斜上方的位置，拍摄同一“A”字符。此时，由于使带照相机的移动电话机3如图6所示移动到左斜上方，“A”字符位于从由带照相机的移动电话机3的校准装置31(显示画面31)设定的可拍摄范围(图中用虚线框a表示)的中央位置向右斜下方偏移的位置，得到该位置的摄影图像(将其作为第n帧的摄影图像)。假定通过对该第n帧摄影图像进行上述同样的前处理，得到如图8(b)所示的特征图像。
进而，将该图8(b)所示的特征图像与保持在摄影图像信息存储装置34中的前一帧特征图像(此时为第(n-1)帧的特征图像)进行比较，计算出指示坐标移动向量。对该指示坐标移动向量的计算处理进行说明。
首先，根据第(n-1)帧的特征图像，生成模板图像It。亦即，从如图8(c)所示的特征图像(这是图8(a)的特征图像)中以其中心坐标(0，0)为基准，如图8(d)那样，剪切出以作为其基准的中心坐标(0，0)为中心的例如5像素×5像素的图像(用图8(c)中的粗线框表示的范围的图像)，将其作为模板图像It。
然后，将该图8(d)所示的模板图像It与图8(b)所示的第n帧的特征图像进行模式匹配，使其位置为对准状态以得到最高的相关性(相似度)(参考图8(e))，当求出该状态下的模板图像It相对于基准坐标(0，0)的坐标时，可得到坐标(2，-1)。并且，图8(c)和图8(e)分别是与该图8(a)、图8(b)相同的图像，但为了明确区别模板图像It的范围和特征图像，用比图8(a)、图8(b)的黑色浅的黑色来表示它们。
这样，作为从第(n-1)帧的特征图像中剪切出模板图像It的基准坐标、以及模板图像It与第n帧的特征图像的匹配结果为相似度最高的模板图像It的位置中的模板图像It的中心坐标，得到了(2，-1)，这表示第(n-1)帧特征图像与第n帧特征图像之间横向错开-2个像素，纵向错开+1个像素，这表示第n帧特征图像相对于第(n-1)帧特征图像，在水平方向移动了-2，在垂直方向移动了+1。若作为向量表示的话，为(-2，1)的移动量，该(-2，1)是此时要求出的指示坐标移动向量。亦即，此时通过带照相机的移动电话机3的移动，如图8(f)所示，可认为用实线表示的框(对应于模板图像It外周的框)移动到用虚线表示的框。
这样，当求得指示坐标移动向量时，如图6所示，将投影到屏幕22的显示图像23上的指示标记M，显示在以当前的指示位置P0为基点偏离了所算出的指示坐标移动向量的位置P1。
图9是说明将指示标记M合成到在屏幕22上所投影的显示图像23上的指示位置P1进行显示的处理步骤的流程图，对表示在图4所示的实施方式1中的处理，加入了利用由上述图7说明过的处理步骤所求出的指示坐标移动向量与当前时刻的指示坐标来求出应显示指示标记M的指示坐标的处理。
亦即，当作为相对坐标取得指示位置时，由于只要求出从当前位置起向什么方向移动和移动多少距离的向量(指示坐标移动向量)即可，因此，首先取得当前的指示标记M的指示坐标和所算出的指示坐标移动向量(步骤S31)，根据所取得的当前坐标位置和指示坐标移动向量，重新求出所指示的指示坐标(步骤S32)。
然后，当这样求出新的指示坐标后，取得该指示坐标(步骤S33)，其后与图4的步骤S12到步骤S14相同，从指示标记图像信息保持部(在本例中，也假设指示标记图像信息被保持在显示图像信息存储装置11中)读出指示标记图像信息(步骤S34)。该读出的指示标记图像信息被合成到与当前时刻的显示图像对应的显示图像信息的指示坐标上(在步骤S33取得的指示坐标)(步骤S35)，生成在指示坐标上附加了指示标记的显示图像信息(步骤S36)。
这样，在实施方式2中，由于只要能够取得移动指示装置3(此处假设其为带照相机的移动电话机3)的移动方向和移动量(指示坐标移动向量)即可，因此在指示装置3方也可以不拍摄投影到屏幕22上的显示图像，而是拍摄其它场所。亦即，可以象使用连接到PC等的鼠标那样使用指示装置3，使用非常方便。并且，在该实施方式2的情况下，虽然指示装置3采用可取得动态图像的装置比较合适，但当然也可以是只能输入静态图像的照相机。
此外，在该实施方式2中，也以使用带照相机的移动电话机作为指示装置3为例进行了说明，但并不限于带照相机的移动电话机，当然同样可以在具有通信功能的数字照相机或具有通信功能的数字摄像机等上实施。
此外，以把指示标记图像信息保持在PC1的显示图像信息存储装置11为例进行了说明，但也如实施方式1中所述，该指示标记图像信息也可以保存在其它场所(例如，指示装置3方)，也可以从该保存场所读出指示标记图像信息，将其传送到PC1。
这样，在实施方式2中，由于作为指示装置3的摄影对象的图像也可以不是从投影仪投影的显示图像23，因此可以减少摄影范围的制约。从而，例如在宽阔的演示会场等通过很多人进行指示的情况下也很便于使用。此外，由于可用PC鼠标的感觉来使用指示装置，指示操作易于进行也是其特征之一。
此外，当作为相对坐标取得指示位置时，由于不需要把PC1方所保存的显示图像信息，作为用于求出相对坐标的指示坐标移动向量计算所需的信息，因此计算指示坐标移动向量的运算可以只在指示装置3方进行。
这样，当进行指示坐标移动向量计算时，不需要显示图像信息，也就没有必要进行将显示图像信息加载到指示装置3方的处理，此外，由于只要把由指示装置3算出的指示坐标移动向量发送到PC1方即可，因此在指示装置3和PC1之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷。
并且，在上述实施方式2中，指示坐标移动向量计算处理在指示装置3方进行，但该指示坐标移动向量计算处理也可以在PC1方进行。此时，在PC1方设置指示坐标移动向量计算装置33和摄影图像信息存储装置34，将来自指示装置3的摄影图像信息发送到指示坐标移动向量计算装置33，计算出指示坐标移动向量。该指示坐标移动向量计算处理可以按与上述相同的步骤进行。
这样，指示坐标移动向量计算可以不在指示装置3方进行，而在PC1方进行。
并且，已经说明过，在指示装置3方进行指示坐标移动向量计算的优点在于，由于只要仅把在指示装置3算出的指示坐标移动向量信息发送到PC1方即可，因此在指示装置3和PC1之间，不必进行信息量很大的图像信息的发送和接收，因此可以减轻两者间的通信负荷，除此优点之外，从PC1方来看，可以把指示装置3看作单纯的设备。亦即，由于从该设备(指示装置)对PC1简单地发送相对坐标信息，因此在PC1方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC1方的运算量。
另一方面，在PC1方进行指示坐标移动向量计算的优点在于，在指示装置3中只是简单地将摄影图像信息发送到PC，可以减少指示装置3的运算量。此外，在指示装置3方不必设置计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置3，可以使用一般的便携式信息设备。此外，由于一般PC1的处理能力比指示装置3高，因此能更高速地进行指示坐标移动向量计算处理，除此之外，也可以容易且高速地进行复杂的图像处理运算，可以高精度地进行指示坐标移动向量的计算。
实施方式3该实施方式3通过将上述实施方式1和实施方式2组合起来，使指示装置3能够高速且高精度地确定显示图像中的指示坐标。
亦即，在实施方式1中，当指示装置3进行指示坐标的确定时，如图3的流程图所示，当取得从带照相机的移动电话机3发送的摄影图像信息时(步骤S1)，首先进行畸变或亮度等各种校正处理，进而，进行缩放等各种前处理(步骤S2)，根据该前处理后的摄影图像信息生成模板图像信息(步骤S3)。对该模板图像信息与存储在显示图像信息存储装置11中的显示图像信息中摄影时刻显示的显示图像相对应的显示图像信息进行模式匹配，判定该模板图像信息与显示在屏幕22上的显示图像整体的哪个部分相对应(步骤S4)。
然后，当判定出模板图像信息与对应于摄影时刻显示的显示图像的显示图像信息的哪个部分相对应后，把该判定部分的中央部作为指示位置P，把与该指示位置P对应的坐标确定为指示坐标(步骤S5)。
这样来进行指示坐标的确定，但在实施方式1中，指示坐标确定装置13进行的指示坐标确定处理是将模板图像与显示图像全体进行模式匹配来确定指示坐标，而在该实施方式3中，利用在实施方式2中说明过的通过带照相机的移动电话机3的移动求得的指示坐标移动向量信息，对模板图像与显示图像的应当进行模式匹配的区域进行限定，对该限定区域进行模板图像与显示图像的模式匹配。
图10是说明该实施方式3所需的结构要素的示意图，它是说明实施方式1所用的图1和说明实施方式2所用的图5的组合。亦即，该图10所示的结构为把图1的结构中的指示装置3改为图5的指示装置3的结构。因此，与图1相同，信息处理装置(PC)1具有显示图像信息存储装置11、显示图像信息生成装置12、指示坐标确定装置13。此外，指示装置3除具有校准装置31、摄影装置32之外，还具有指示坐标移动向量计算装置33、摄影图像信息存储装置(帧缓冲器)34。
说明这样的结构中的动作。首先，与实施方式1和实施方式2相同，假设在屏幕22上，将存储在PC1的显示图像信息存储装置11中的显示图像信息中的某个显示图像信息发送到投影仪21，将其显示图像23投影到屏幕22上。
在该状态下，首先，利用带照相机的移动电话机3(在该实施方式3中，也把指示装置3作为带照相机的移动电话机3进行说明)的摄影功能，拍摄屏幕22的某个范围。其次，利用带照相机的移动电话机3拍摄下一帧，通过将其与先前拍摄的前一帧进行比较，计算移动方向和移动量，由指示坐标移动向量计算装置33计算指示坐标移动向量。
然后，将由摄影装置32拍摄的最新摄影图像和由指示坐标移动向量计算装置33计算出的指示坐标移动向量信息发送到PC1的指示坐标确定装置13。该指示坐标确定装置13利用由该摄影装置拍摄的最新摄影图像和由指示坐标移动向量计算装置33计算出的指示坐标移动向量信息、以及存储在显示图像信息存储装置12中的摄影时刻(带照相机的移动电话机3的摄影装置32的摄影时刻)的显示图像，进行指示坐标的确定。以下详细说明该指示坐标确定装置13的动作。
图11是指示坐标确定装置13进行的指示坐标确定处理的示意图，(a)表示带照相机的移动电话机3方的摄影图像在时间轴T上的变化，(b)表示从PC1方的显示图像信息存储装置11取得的显示图像在时间轴T上的变化。
该带照相机的移动电话机3的摄影图像在时间轴T上的变化与以下情况对应用户通过将带照相机的移动电话机3如图12所示那样沿虚线箭头方向移动，使该带照相机的移动电话机3的可拍摄范围(图12用虚线框包围的区域a0、a1)沿虚线箭头变化。并且，在图12中，表示将带照相机的移动电话机3从初始位置P0移动到该情况下的移动最终位置P1后的状态。亦即，从摄影装置32输出对应于带照相机的移动电话机3的移动的各帧的摄影图像，但在图11中，只表示出最新(时间Tn)的摄影图像Is(n)及其前一帧摄影图像Is(n-1)以及更前一帧的摄影图像Is(n-2)。
同样，对从PC1方的显示图像信息存储装置11取得的显示图像，在图11中也只表示出最新(时间Tn)的显示图像Id(n)和其前一显示图像Id(n-1)以及更前一显示图像Id(n-2)。
并且，在图11中，假定最新的摄影图像(时间Tn的摄影图像)是将带照相机的移动电话机3移动到图12的移动最终位置P1的状态下拍摄得到的摄影图像。
进而，如在实施方式2中所说明的那样，在指示坐标移动向量计算装置33上，根据从摄影装置32得到的时间上连续的多个摄影图像，计算出指示坐标移动向量(将其称为指示坐标移动向量V)(图11的步骤S41)，根据该计算出的指示坐标移动向量V，求出指示标记M的指示位置(在该实施方式3中称其为临时指示位置Pt)。
该临时指示位置Pt位于从初始位置P0偏离指示坐标移动向量V的量的位置。并且，在该实施方式3中，该临时指示位置Pt不是指示标记M的实际显示位置，首先，求出临时指示位置Pt，根据它决定最终指示位置。
然后，当求出临时指示位置Pt后，进行模式匹配区域的限定，将该限定的区域设定为模式匹配区域(步骤S42)。亦即，设定以临时指示位置Pt为中心的规定范围，将所设定的规定范围作为模式匹配区域。进而，在该模式匹配区域内，对摄影图像与在该摄影图像的摄影时刻的显示图像进行模式匹配(步骤S43)。进而，根据该模式匹配的结果，进行指示坐标的确定(步骤S44)。
其次，对根据该模式匹配结果进行的指示坐标的确定处理，参考图13进行说明。
如上所述，根据从摄影装置32得到的时间上连续的多个摄影图像计算出指示坐标移动向量V，根据该计算出的指示坐标移动向量V，求出指示标记M的临时指示位置Pt。进而，以该临时指示位置Pt为基准，设定模式匹配区域ap。在图13中，将以Pt为中心的纵为5像素、横为5像素的范围作为ap进行表示。对模式匹配区域ap的宽度等，可作本例之外的种种设定。
进而，从利用带照相机的移动电话机3的摄影装置32得到的摄影图像Is(n)(图13中用打上阴影线的矩形表示)，通过在实施方式1的说明中使用的图3的从步骤S2到步骤S3所示的处理相同的处理，生成模板图像It(n)。
其次，对于先前求出的以临时指示位置Pt为中心的规定的模式匹配区域ap内的每个像素位置，对模板图像It(n)与摄影图像Is(n)的摄影时刻的显示图像Id(n)进行模式匹配。
在所设定的模式匹配区域ap内的模式匹配处理结束后，作为坐标取得迄今为止求得的具有最高相关性的像素的位置，把该坐标确定为要求出的指示位置(设其为指示位置P1)，将指示标记M移动到该指示坐标P1上进行显示。
在该图13中，表示出指示坐标P1存在于临时指示位置Pt的左斜下方的例子，在该指示坐标P1上显示指示标记M。
如以上说明的那样，在实施方式1中说明过的作为绝对坐标确定指示位置时，将摄影图像与显示图像全部区域进行模式匹配以确定指示位置，但根据该实施方式3，通过同时利用实施方式2中说明过的作为用相对坐标确定指示位置的处理，将通过用相对坐标确定指示位置的处理得到的指示位置作为临时指示位置，在其周边设定规定的模式匹配区域，由于只要在该模式匹配区域内进行模式匹配即可，因此与把显示图像整个区域作为模式匹配对象的情况相比较，可以大幅度减少模式匹配的运算量，可以高速且高精度地进行指示位置的确定。
并且，在该实施方式3中，与上述实施方式1和实施方式2相同，也以使用带照相机的移动电话机作为指示装置3为例进行了说明，但并不限于带照相机的移动电话机，当然同样可以在具有通信功能的数字照相机或具有通信功能的数字摄像机等上实施。此外，以把指示标记图像信息保持在PC1的显示图像信息存储装置11中为例进行了说明，但如实施方式1所述的那样，该指示标记图像信息也可以保持在其它场所(例如，指示装置3方)，也可以从该保持场所读出指示标记图像信息，将其传送到PC1。
并且，在该实施方式3中，指示坐标移动向量计算处理在指示装置3方进行，但也如同在实施方式2中说明过的那样，该指示坐标移动向量计算处理也可以在PC1方进行。在此情况下，在PC1方设置指示坐标移动向量计算装置33和摄影图像信息存储装置34，将来自指示装置3的摄影图像信息发送到指示坐标移动向量计算装置33，计算出指示坐标移动向量。该指示坐标移动向量计算处理可以按与上述相同的步骤进行。
进而，指示坐标确定装置13利用来自摄影装置32的摄影图像信息和指示坐标移动向量计算装置33计算出的指示坐标移动向量、以及存储在显示图像信息存储装置11中的摄影时刻的显示图像，进行指示坐标的确定。
这样，在PC1方进行指示坐标移动向量计算的优点在于，在指示装置3只是简单地将摄影图像信息发送到PC，可以减少指示装置3的运算量。此外，在指示装置3方不必设置用于计算指示坐标移动向量所需的硬件或软件。因此，作为指示装置3，可以利用一般的便携式信息设备。此外，由于一般PC1的处理能力比指示装置3高，因此能更高速地进行指示坐标移动向量的计算处理，除此之外，由于也可以容易且高速地进行复杂的图像处理运算，因此可以高精度地进行指示坐标移动向量的计算。
进而，在该实施方式3的情况下，也可以将存在于PC1方的指示坐标确定装置13设置在指示装置3方，在指示装置3方一直进行到指示坐标确定处理为止。在此情况下，作为指示装置3的结构要素，除摄影装置32、指示坐标移动向量计算装置33、摄影图像信息存储装置(帧缓冲器)34之外，还设置指示坐标确定装置13。进而，存在于该指示装置3方的指示坐标确定装置13利用来自摄影装置32的摄影图像和由指示坐标移动向量计算装置33计算出的指示坐标移动向量，进而，还从PC1方的显示图像信息存储装置11取得摄影时刻显示的显示图像，进行指示坐标确定处理，将由此确定的指示坐标发送到PC1方(显示图像信息生成装置12)。
这样，将指示坐标确定装置13设置在指示装置3方，在指示装置3方一直进行到指示坐标确定处理为止的优点在于，从PC1方来看，可以把指示装置3看作单纯的设备。亦即，由于只要对该设备(指示装置3)发送显示图像信息，就可从该设备将绝对坐标信息发送过来，因此在PC1方不必特别进行复杂的处理，不必设置用于图像处理的复杂的硬件或软件，并且还可以减少PC1方的运算量。
实施方式4该实施方式4对以下例子进行说明在上述实施方式1、2、3中，在由指示装置3进行指示所得到的指示坐标位置上，可以对PC1发出某种命令，在PC1上进行与该命令对应的处理，将其结果反映到指示标记位置。并且，此处对作为绝对坐标取得指示坐标的情况(实施方式1的情况)进行说明。
图14是用于实现该实施方式4的结构图，相对于图1所示的结构图，其不同之处仅在于在指示装置3方设置命令输入装置35，在PC1设置命令处理装置14，由于其它的结构要素与图1相同，因此对同一部分赋予相同符号，并省略其说明。此外，在该实施方式4中，也假设使用带照相机的移动电话机3作为指示装置3。
在此情况下，由于指示装置3是带照相机的移动电话机3，因此命令输入装置35可以使用设置在该带照相机的移动电话机3上的按键输入部，假设可以通过操作该按键输入部发出各种各样的命令。
命令处理装置14用于执行与从带照相机的移动电话机3发出的命令对应的处理。
并且，例如也可以利用该带照相机的移动电话机3具有的通信功能，通过因特网等将来自带照相机的移动电话机3的命令发送到PC1，此外，也可以通过红外线通信等直接发送到PC1，可以考虑各种该通信装置。
图15是从该带照相机的移动电话机3进行命令输入，并将对该命令的处理结果反映在投影到屏幕22的显示图像23的某个指示位置(由带照相机的移动电话机3指示的指示坐标位置)的例子，在该图15的例子中，表示出将来自带照相机的移动电话机3的命令从基站4通过因特网5等发送到PC1的例子。
在该例中，从带照相机的移动电话机3输出的命令是将“Hello”这一单词显示在由该带照相机的移动电话机3指示的指示位置P(参考图2)上。亦即，通过在上述实施方式1中所说明的步骤，进行取得作为指示标记的显示位置的指示坐标的处理，在其结果得到的指示标记的指示坐标上，通过发出显示“Hello”这一单词的命令，在PC1方接收该命令，在该时刻的指示标记的指示坐标上显示“Hello”。
由于PC1可通过指示装置掌握指示的坐标，因此可以进行在指示标记的指示坐标上执行命令的处理。
图16是对图15输入另一命令的例子，该图16表示将数值显示在指示标记的指示坐标上的例子，在此情况下，通过由带照相机的移动电话机3进行作为命令的数值输入，在PC1方，例如使表计算应用程序运行，执行对该命令的处理，将该处理结果显示在确定坐标上。
并且，上述的例子对作为绝对坐标取得指示位置的坐标时的命令输入以及对该命令的处理进行了说明，但在作为相对坐标取得指示位置的坐标的情况下，也可以基本同样执行。
图17是对作为绝对坐标取得指示位置的坐标时(实施方式2的情况)的命令输入以及对该命令的处理进行说明的结构图，相对于图5表示的结构图，其不同之处仅在于在指示装置3方设置命令输入装置35，在PC1中设置命令处理装置14，由于其它的结构要素与图5相同，因此通过对同一部分赋予相同符号，省略其说明。
在这样的情况下，也是通过如上述实施方式2说明过的步骤得到的指示标记的指示坐标上发出某个命令，在PC1方执行对应于该命令的处理，可以在该时刻的指示标记的指示坐标上反映出对该命令的处理结果。
此外，在实施方式3中，当然也可以进行与实施方式1和实施方式2同样的命令输入。
并且，本发明并不限于上述实施方式，在不脱离本发明的主旨的范围内，可实施种种变形。例如，在上述各实施方式中，对在演示会场等中对由投影仪投影到屏幕上的显示图像的指示操作进行了说明，但本发明中的显示设备并不仅限于投影仪，也可以应用于连接个人计算机(PC)的液晶显示器等各种显示设备等，此外，也可以应用于各种游戏设备。
此外，本发明可以作成记述以上说明的用于实现本发明的处理步骤的处理程序，可将该处理程序预先存储在软盘、光盘、硬盘等存储介质上，本发明包含存储该处理程序的存储介质。此外，也可以从网络得到该处理程序。
权利要求
1.一种信息显示系统，其具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，所述指示装置具有摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；指示坐标移动向量计算装置，其对通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，所述信息处理装置具有显示图像信息存储装置，其存储与所述显示图像对应的显示图像信息；显示图像信息生成装置，其在所述显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由所述指示装置计算出的所述指示坐标移动向量对应的量的位置，合成到所述显示图像信息进行显示。
2.一种信息显示系统，其具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，所述指示装置具有摄影装置，其可以拍摄某个任意的范围，输出与该范围对应的摄影图像信息，所述信息处理装置具有指示坐标移动向量计算装置，其对通过改变或不改变所述指示装置的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息与从所述指示装置的摄影装置得到的当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；显示图像信息存储装置，其存储与所述显示图像对应的显示图像信息；显示图像信息生成装置，其在所述显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由所述指示坐标移动向量计算装置计算出的所述指示坐标移动向量对应的量的位置，合成到所述显示图像信息进行显示。
3.一种信息显示系统，其具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，所述指示装置具有摄影装置，其可以拍摄由该指示装置所要拍摄的任意范围，输出与该范围对应的摄影图像信息；摄影图像信息存储装置，其存储通过改变或不改变该摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息；指示坐标移动向量计算装置，其将存储在该摄影图像信息存储装置中的摄影图像信息与所述当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，所述信息处理装置具有显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还在该显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由所述指示装置计算出的所述指示坐标移动向量对应的量的位置，合成到所述显示图像信息进行显示。
4.一种信息显示系统，其具有信息处理装置；信息显示装置，其可将保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，其特征在于，所述指示装置具有摄影装置，其可以拍摄某个任意的范围，输出与该范围对应的摄影图像信息，所述信息处理装置具有摄影图像信息存储装置，其存储通过改变或不改变所述指示装置的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的时间上比当前时刻靠前的摄影图像信息；指示坐标移动向量计算装置，其把存储在该摄影图像信息存储装置中的摄影图像信息与从所述指示装置的摄影装置得到的当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量；显示图像信息存储装置，其存储与显示图像对应的显示图像信息；显示图像信息生成装置，其在将存储在该显示图像信息存储装置中的图像信息作为显示图像信息生成的同时，还在该显示图像信息上，把当前时刻显示的指示标记，在仅偏离了与由所述指示坐标移动向量计算装置计算出的所述指示坐标移动向量对应的量的位置，合成到所述显示图像信息进行显示。
5.如权利要求1至4的任何一项所述的信息显示系统，其特征在于，把时间上比所述当前时刻靠前的摄影图像信息与当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量的处理是通过把根据所述当前时刻的摄影图像信息生成的模板图像信息与时间上比所述当前时刻靠前的摄影图像信息进行模式匹配，判定所述当前时刻的摄影图像信息与时间上比所述当前时刻靠前的摄影图像信息的哪个部分相对应，根据该判定结果，求出所述当前时刻的摄影图像信息的移动量和移动方向，根据求出的移动量和移动方向，计算出指示坐标移动向量。
6.如权利要求1至5的任何一项所述的信息显示系统，其特征在于，所述指示装置是具有摄影功能和通信功能的便携式信息终端设备。
7.如权利要求1至6的任何一项所述的信息显示系统，其特征在于，所述指示装置具有命令输入装置，所述信息处理装置具有接收来自所述指示装置的命令并对其进行处理的命令处理装置，在该信息处理装置中，在确定所述指示坐标之后，从所述命令输入装置发出命令时，进行该命令处理，将其处理结果反映到所述指示坐标上。
8.如权利要求1或3所述的信息显示系统中所用的指示装置，其特征在于，所述指示装置具有下述功能对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意的范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到所述信息处理装置。
9.如权利要求2或4所述的信息显示系统中所用的信息处理装置，其特征在于，所述信息处理装置具有下述功能对通过改变或不改变所述指示装置具有的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，在所述显示图像上，把当前时刻显示的指示标记，在仅偏离了与所述计算出的指示坐标移动向量对应的量的位置，合成到所述显示图像信息进行显示。
10.一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，所述指示装置对通过由该指示装置具有的摄影装置改变或不改变其摄影位置和摄影角度中的至少一方对任意范围进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，将该指示坐标移动向量输出到所述信息处理装置，在所述信息处理装置方，在所述显示图像上，把当前时刻显示的指示标记，在仅偏离了与由所述指示装置计算出的所述指示坐标移动向量对应的量的位置，合成到所述显示图像信息进行显示。
11.一种信息显示系统中的指示标记显示方法，该信息显示系统具有信息处理装置；信息显示装置，其可以把保持在该信息处理装置上的信息显示在显示面上；指示装置，其指示由该信息显示装置显示的显示图像上的任意位置，该指示标记显示方法的特征在于，所述指示装置通过该指示装置具有的摄影装置拍摄任意范围，在所述信息处理装置方，对通过改变或不改变所述指示装置具有的摄影装置的摄影位置和摄影角度中的至少一方进行多次摄影所得到的当前时刻的摄影图像信息与时间上比其靠前的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量，在所述显示图像上，把当前时刻显示的指示标记，在仅偏离了与所述计算出的指示坐标移动向量对应的量的位置，合成到所述显示图像信息进行显示。
12.如权利要求10或11所述的信息显示系统中的指示标记显示方法，其特征在于，对时间上比所述当前时刻靠前的摄影图像信息与当前时刻的摄影图像信息进行比较，根据其比较结果计算出指示坐标移动向量的处理是通过对从所述当前时刻的摄影图像信息生成的模板图像信息与时间上比所述当前时刻靠前的摄影图像信息进行模式匹配，判定所述当前时刻的摄影图像信息与时间上比所述当前时刻靠前的摄影图像信息的哪个部分相对应，根据该判定结果，求出所述当前时刻的摄影图像信息的移动量和移动方向，根据求出的移动量和移动方向，计算出指示坐标移动向量。
全文摘要
本发明提供一种利用由指示装置拍摄的摄影图像来取得决定指示位置的信息、显示指示标记的信息显示系统及其信息处理装置、指示装置和标记显示法。例如使用带照相机的移动电话机等作为指示装置3，通过摄影装置32拍摄由投影仪等图像显示装置2所投影的显示图像23上任意位置的规定范围并输出摄影图像信息。连接图像显示装置2的信息处理装置1具有指示坐标确定装置13，其判定来自指示装置3的摄影图像信息与当前时刻的显示图像的哪个范围相对应，根据该判定结果确定该指示装置3的指示坐标；显示图像信息存储装置11，其存储与显示图像23对应的显示图像信息；显示图像信息生成装置12，其将指示标记合成到上述显示图像信息上的上述确定的指示坐标上。
文档编号G06F3/033GK1841290SQ200610057740
公开日2006年10月4日 申请日期2004年3月29日 优先权日2003年3月28日
发明者山田纪彦 申请人:精工爱普生株式会社