图像提供装置、图像提供装置的控制方法以及记录介质与流程

本发明涉及图像提供装置、图像提供装置的控制方法以及记录介质。

背景技术：

提出了各种进行与显示面上的指示体的位置对应的处理(以下，也称为“规定的处理”)的显示装置。在规定的处理中，例如，根据指示体的位置在显示面上描绘出线。显示装置将用于执行规定的处理的操作用图像显示在显示面上。操作用图像例如是将指示体的前端位置表示为指示体的位置的指示器图像、和用于辅助执行规定的处理的菜单栏图像中的至少任意一个图像。菜单栏图像例如包含用于执行规定的处理的按钮。在专利文献1中公开了显示装置和图像提供装置，该显示装置能够将作为操作用图像的第1图像显示于显示面，该图像提供装置能够向显示装置提供图像信息，并且进一步提供表示作为操作用图像的第2图像的信息。该显示装置在从图像提供装置受理了图像信息的情况下，可认为从图像提供装置受理了表示第2图像的信息而不显示第1图像。

专利文献1：日本特开2013-88840号公报

即使以往的显示装置从图像提供装置受理图像信息，也存在未受理表示第2图像的信息的情况。在该情况下，以往的显示装置虽然需要显示第1图像，但由于被认为从图像提供装置受理了表示第2图像的信息，所以不显示第1图像。因此，第1图像和第2图像均未显示。因此，显示装置和图像提供装置均不执行规定的处理。

技术实现要素：

本发明所要解决的课题之一在于，在显示装置和图像提供装置能够执行与显示面上的指示体的位置对应的规定的处理的情况下，降低显示装置和图像提供装置均不执行规定的处理的可能性。

本发明的优选方式(第1方式)的图像提供装置向能够执行与显示面上的指示体的位置对应的规定的处理和第1处理的显示装置提供图像信息，并且该图像提供装置能够执行第2处理和所述规定的处理，在该第1处理中，将用于执行所述规定的处理的第1图像显示于所述显示面，在该第2处理中，向所述显示装置提供表示用于执行所述规定的处理的第2图像的信息，在该图像提供装置中，包含：受理部，其从所述显示装置受理所述显示装置正在执行所述第1处理的通知；判定部，其判定所述图像提供装置是否正在执行所述第2处理；以及控制部，其在所述受理部受理了所述通知并且所述判定部判定为所述图像提供装置正在执行所述第2处理的情况下，使所述显示装置中止所述第1处理。

在以上方式中，图像提供装置在正在执行第2处理的情况下，使显示装置中止第1处理。因此，能够降低显示装置和图像提供装置均不执行规定的处理的可能性。并且，还能够降低显示装置和图像提供装置均执行规定的处理的可能性。

在第1方式的优选例(第2方式)中，在所述图像提供装置正在执行所述第2处理时所述受理部受理了所述通知的情况下，所述控制部使所述显示装置中止所述第1处理。

在以上方式中，即使是正在执行第2处理的状况下执行第1处理的情况，第1处理也被中止。因此，能够降低出现显示装置和图像提供装置都执行规定的处理的状况的可能性。因此，能够抑制在该状况下产生的便利性下降。

在第1方式的优选例(第3方式)中，在所述受理部受理了所述通知之后所述图像提供装置执行了所述第2处理的情况下，所述控制部使所述显示装置中止所述第1处理。

在以上方式中，即使是正在执行第1处理的状况下执行第2处理的情况，第1处理也被中止。因此，能够降低出现显示装置和图像提供装置都执行规定的处理的状况的可能性。因此，能够抑制在该状况下产生的便利性下降。

在第3方式的优选例(第4方式)中，该图像提供装置包含取得部，该取得部在所述显示装置中止了所述第1处理时所述指示体包含在从所述显示面起规定的范围内的情况下，从所述显示装置取得表示所述指示体包含在所述规定的范围内的事件信息。

在中止了第1处理时指示体包含在从显示面起规定的范围内的情况下，显示装置正在执行与指示体的位置对应的规定的处理的可能性较高。因此，在以上方式中，通过从显示装置取得事件信息，图像提供装置能够进行与中止了第1处理的状况下的指示体的位置对应的规定的处理。因此，能够进行用户所期待的处理。

在第1方式的优选例(第5方式)中，该图像提供装置包含存储部，该存储部对表示能够执行所述第2处理的软件的软件信息进行存储，当在所述图像提供装置上执行的软件是所述软件信息所示的软件的情况下，所述判定部判定为所述图像提供装置正在执行所述第2处理，在所述受理部受理了所述通知并且正在所述图像提供装置上执行所述软件的情况下，所述控制部使所述显示装置中止所述第1处理。

在以上方式中，即使是执行软件信息所示的软件的情况，也能够降低出现显示装置和图像提供装置都执行规定的处理的状况的可能性。因此，能够抑制在该状况下产生的便利性下降。

在第1方式～第5方式的优选例(第6方式)中，所述显示装置与所述图像提供装置能够通过第1通信和第2通信来连接，在该第1通信中，将所述图像信息发送到所述显示装置，在该第2通信中，在所述图像提供装置与所述显示装置之间收发所述图像信息以外的信息，所述控制部在通过所述第2通信进行连接时受理了切断所述第2通信的指示的情况下，指示所述显示装置执行所述第1处理。

在以上方式中，在第2通信被切断之后，显示装置也能够执行规定的处理，因此能够提高便利性。

在本发明的优选方式(第7方式)的图像提供装置的控制方法中，该图像提供装置向能够执行与显示面上的指示体的位置对应的规定的处理和第1处理的显示装置提供图像信息，并且该图像提供装置能够执行第2处理和所述规定的处理，在该第1处理中，将用于执行所述规定的处理的第1图像显示于所述显示面，在该第2处理中，向所述显示装置提供表示用于执行所述规定的处理的第2图像的信息，在该图像提供装置的控制方法中，所述图像提供装置从所述显示装置受理所述显示装置正在执行所述第1处理的通知，判定是否正在所述图像提供装置上执行所述第2处理，在受理了所述通知并且判定为所述图像提供装置正在执行所述第2处理的情况下，使所述显示装置中止所述第1处理。

在以上方式中，图像提供装置在正在执行第2处理的情况下使显示装置中止第1处理。因此，能够降低显示装置和图像提供装置均不执行规定的处理的可能性。并且，还能够降低显示装置和图像提供装置均执行规定的处理的可能性。

本发明的优选方式(第8方式)的程序能够在图像提供装置中执行，该图像提供装置向能够执行与显示面上的指示体的位置对应的规定的处理和第1处理的显示装置提供图像信息，并且该图像提供装置能够执行第2处理和所述规定的处理，在该第1处理中，将用于执行所述规定的处理的第1图像显示于所述显示面，在该第2处理中，向所述显示装置提供表示用于执行所述规定的处理的第2图像的信息，其中，该程序使所述图像提供装置执行以下处理：从所述显示装置受理所述显示装置正在执行所述第1处理的通知，判定所述图像提供装置是否正在执行所述第2处理，在受理了所述通知并且判定为所述图像提供装置正在执行所述第2处理的情况下，使所述显示装置中止所述第1处理。

在以上方式中，在图像提供装置正在执行第2处理的情况下使显示装置中止第1处理。因此，能够降低显示装置和图像提供装置均不执行规定的处理的可能性。并且，还能够降低显示装置和图像提供装置均执行规定的处理的可能性。

附图说明

图1是示出第1实施方式的显示系统1的结构的图。

图2是示出pj交互模式的一例的图。

图3是示出pc交互模式的一例的图。

图4是示出第1实施方式的显示系统1的一例的图。

图5是示出投射部16的一例的图。

图6是第1实施方式的流程图(其1)。

图7是第1实施方式的流程图(其2)。

图8是示出第2实施方式的显示系统1的一例的图。

图9是第2实施方式的流程图(其1)。

图10是第2实施方式的流程图(其2)。

标号说明

1：显示系统；11：投影仪；12：指示体；12a：前端；13：存储部；14：处理部；141：通信部；142：pj交互处理执行部；1421：第1操作用图像取得部；1422：pj描绘处理执行部；15：图像处理部；16：投射部；17：摄像部；18：位置确定部；21：pc；22：存储部；23：处理部；231：pc交互处理执行部；2311：第2操作用图像提供部；2312：pc描绘处理执行部；232：图像生成部；233：取得部；235：受理部；236：判定部；237：控制部；sg1：第1操作用图像；sg2：第2操作用图像。

具体实施方式

以下，参照附图对用于实施本发明的方式进行说明。但是，在各附图中，使各部分的尺寸和比例尺与实际的适当不同。并且，由于以下所述的实施方式是本发明的优选的具体例，所以在技术上给出了优选的各种限定，但只要在以下的说明中没有特别限定本发明的内容的记载，则本发明的范围并不限于这些方式。

<第1实施方式>

图1是示出第1实施方式的显示系统1的结构的图。显示系统1包含投影仪11(显示装置的一例)和pc(personalcomputer：个人计算机)(图像提供装置的一例)21。投影仪11与pc21能够通过第1通信和第2通信来连接，在该第1通信中，pc21将表示作为投射对象的图像g(参照图2)的图像信息gi(参照图4)发送到投影仪11，在该第2通信中，在pc21与投影仪11之间收发图像信息gi以外的信息。第1通信例如经由rgb(redgreenblue)线缆、dvi(digitalvisualinterface：数字视频接口)线缆或者hdmi(注册商标)(high-definitionmultimediainterface：高清晰度多媒体接口)线缆等通信线缆61来进行。第2通信例如经由usb(注册商标)(universalserialbus：通用串行总线)线缆62来进行。

以下，将第1通信称为“图像用通信”，将第2通信称为“usb通信”。

图像信息gi的形式例如是演示文件、文档文件或jpeg(jointphotographicexpertsgroup：联合图像专家组)等图像文件。

投影仪11将从pc21接收的图像信息gi所示的图像投射到投射面sc(显示面的一例)。投射面sc并不限于固定在墙面的平板，也可以是墙面。这里，将在投射面sc上投射图像的范围设为实际投射区域11a(可显示区域)。

在显示系统1中，在投影仪11投射图像的期间，用户能够手持着指示体12来执行投射面sc的实际投射区域11a中的位置指示操作。指示体12是笔型或棒形的操作器件。指示体12是为了指示投射面sc上的任意的位置而使用的。投影仪11具有将指示体12的前端12a的位置检测为指示体12的位置的功能，并经由usb通信将表示检测出的位置的坐标的控制信息输出到pc21。

显示系统1将操作用图像(第1图像和第2图像的例子)投射在投射面sc上。操作用图像是为了执行与投射面sc上的指示体12的位置对应的处理(规定的处理)而使用的。显示系统1能够根据对操作用图像的操作来执行规定的处理。在规定的处理中，例如，根据指示体12的位置在投射面sc上描绘出线。以下，也将规定的处理称为“描绘处理”。

显示系统1具有pj交互模式和pc交互模式。在第1实施方式中，显示系统1不同时启动pj交互模式和pc交互模式。在pj交互模式中，投影仪11执行交互处理。在pc交互模式中，pc21执行交互处理。以下所记载的“交互模式”表示pj交互模式和pc交互模式的总称。

在交互处理中，执行用于显示操作用图像的处理，并且执行与对操作用图像的操作对应的描绘处理。以下，为了容易说明，将投影仪11所执行的交互处理称为“pj交互处理”，将pc21所执行的交互处理称为“pc交互处理”。以下所记载的交互处理表示pj交互处理和pc交互处理的总称。并且，将投影仪11所执行的描绘处理称为“pj描绘处理”，将pc21所执行的描绘处理称为“pc描绘处理”。以下所记载的描绘处理表示pj描绘处理和pc描绘处理的总称。

在交互处理中，例如，根据指示体12的位置在投射面sc上描绘出线。投影仪11将操作用图像显示在投射面sc上。

以下，将用于执行pj描绘处理的操作用图像称为“第1操作用图像(第1图像的例子)”，将表示第1操作用图像的信息称为“第1操作用图像信息”。同样，将用于执行pc描绘处理的操作用图像称为“第2操作用图像(第2图像的例子)”，将表示第2操作用图像的信息称为“第2操作用图像信息”。以下所记载的操作用图像表示第1操作用图像和第2操作用图像的总称。

操作用图像是将前端12a的位置表示为指示体12的位置的指示器图像和用于辅助执行描绘处理(规定的处理)的菜单栏图像中的至少任意一个图像。以下，为了简化说明，将操作用图像设为菜单栏图像。

在显示系统1执行pj交互处理的情况下，投影仪11执行将第1操作用图像投射到投射面sc上的第1处理。并且，在显示系统1执行pc交互处理的情况下，pc21执行向投影仪11提供第2操作用图像信息的第2处理。以下，将第1处理称为“第1操作用图像投射处理”，将第2处理称为“第2操作用图像提供处理”。以上，投影仪11执行第1操作用图像投射处理和pj描绘处理作为pj交互处理。同样，pc21执行第2操作用图像提供处理和pc描绘处理作为pc交互处理。

在pc交互模式中，pc21执行第2操作用图像提供处理，将表示由图像信息gi所示的图像和第2操作用图像叠加而得的叠加图像的叠加图像信息发送到投影仪11。投影仪11能够将接收到的叠加图像信息所示的叠加图像投射到投射面sc上而执行描绘处理。

使用图2和图3对pj交互模式的一例和pc交互模式的一例进行说明。

图2是示出pj交互模式的一例的图。如图2所示，在投射面sc内的实际投射区域11a中投射有叠加图像olg1。叠加图像olg1包含第1操作用图像sg1、从pc21接收的图像信息gi所示的图像g、以及通过pj描绘处理而描绘出的线段lg1。从图2所示的状态之前的状态起进行说明。投影仪11投射出图像g和第1操作用图像sg1。然后，投影仪11对前端12a的位置进行拍摄以确定前端12a的位置，并判断第1操作用图像sg1内的任意按钮是否被按下。

在图2的例子中，假设描绘出与前端12a的轨迹对应的线段的处理所对应的按钮被按下。投影仪11对前端12a的位置再次进行拍摄以确定前端12a的位置。接着，投影仪11通过pj描绘处理来生成表示与所确定的位置对应的线段lg1的图像信息。以下，将通过描绘处理而生成的图像称为“操作位置关联图像”，将表示操作位置关联图像的图像信息称为“操作位置关联图像信息”。然后，投影仪11将由图像g、操作位置关联图像信息所示的线段lg1以及第1操作用图像sg1叠加而得的叠加图像olg1投射到投射面sc上。

图3是示出pc交互模式的一例的图。如图3所示，在投射面sc内的实际投射区域11a中投射有叠加图像olg2。叠加图像olg2包含第2操作用图像sg2、图像信息gi所示的图像g、以及通过pc描绘处理而描绘出的线段lg2。从图3所示的状态之前的状态起进行说明。pc21生成表示由第2操作用图像sg2和图像g叠加而得的叠加图像的叠加图像信息，并发送到投影仪11。投影仪11将从pc21接收的叠加图像信息所示的叠加图像投射到投射面sc上。通过利用投影仪11对该叠加图像进行投射，将第2操作用图像sg2投射到投射面sc上。然后，投影仪11对前端12a的位置进行拍摄以确定前端12a的位置，并判断第2操作用图像sg2内的任意按钮是否被按下。

在图3的例子中，假设描绘出与前端12a的轨迹对应的线段的处理所对应的按钮被按下。投影仪11对前端12a的位置进行拍摄以确定前端12a的位置，并将确定后的位置发送到pc21。pc21生成表示与确定后的位置对应的线段lg2的操作位置关联图像信息。然后，pc21生成表示由图像g、第2操作用图像sg2以及操作位置关联图像信息所示的线段lg2叠加而得的叠加图像olg2的叠加图像信息，并将生成的叠加图像信息发送到投影仪11。投影仪11将接收到的叠加图像信息所示的叠加图像olg2投射到投射面sc上。

如图2和图3所示，第1操作用图像sg1与第2操作用图像sg2的外观类似，pj交互处理与pc交互处理的操作感也类似。因此，pj交互模式与pc交互模式相互类似。当从功能方面进行比较时，通常，在pj交互模式中，投影仪11不将操作位置关联图像保存为临时信息。另一方面，在pc交互模式中，pc21以能够重新编辑的形式对操作位置关联图像信息进行保存，或者对前端12a的轨迹进行录像保存等，能够重新使用操作位置关联图像。

因此，在第1实施方式中，在想要同时执行pj交互处理和pc交互处理的情况下，会执行比pj交互处理高性能的pc交互处理而不执行pj交互处理。

图4是示出第1实施方式的显示系统1的一例的图。针对投影仪11和pc21分成pj交互模式、pc交互模式、交互模式的控制来进行说明。

<pj交互模式>

以下，对显示系统1为pj交互模式的情况进行说明。第1实施方式的投影仪11包含存储部13、处理部14、图像处理部15、投射部16、摄像部17以及位置确定部18。

存储部13是可由计算机读取的记录介质。存储部13例如是作为非易失性存储器之一的闪存。存储部13并不限于闪存，可以适当变更。存储部13对第1操作用图像信息sgi1和处理部14所执行的投影仪11的程序进行存储。

处理部14是cpu(centralprocessingunit：中央处理单元)等计算机。处理部14通过读取并执行存储部13所存储的投影仪11的程序来实现通信部141和pj交互处理执行部142。pj交互处理执行部142包含第1操作用图像取得部1421和pj描绘处理执行部1422。另外，处理部14可以由1个或多个处理器构成。可以通过构成处理部14的1个或多个处理器来实现通信部141和pj交互处理执行部142。可以通过1个或多个处理器来实现图像处理部15。通信部141和pj交互处理执行部142各自的处理结果被储存在存储部13中。

在显示系统1为pj交互模式的情况下，pj交互处理执行部142执行pj交互处理。具体来说，pj交互处理执行部142所包含的第1操作用图像取得部1421取得第1操作用图像信息sgi1并发送到图像处理部15。

图像处理部15对所受理的图像信息实施图像处理，从而生成表示投射于投射面sc的投射图像的图像信息。例如，图像处理部15根据从pc21受理的图像信息gi和从第1操作用图像取得部1421受理的第1操作用图像信息sgi1，生成表示由图像信息g所示的图像g和第1操作用图像sg1叠加而得的叠加图像的叠加图像信息。

投射部16将由图像处理部15生成的图像信息所示的投射图像投射到投射面sc上。使用图5对投射部16的结构进行说明。

图5是示出投射部16的一例的图。投射部16包含光源161、作为光调制装置的一例的3个液晶光阀162(162r、162g、162b)、作为投射光学系统的一例的投射透镜163、以及光阀驱动部164等。投射部16利用液晶光阀162对从光源161射出的光进行调制而形成图像(图像光)，从投射透镜163对图像进行放大投射。将图像显示在投射面sc上。

光源161包含：光源部161a，其由氙灯、超高压汞灯、led或激光光源等形成；以及反射器161b，其减少光源部161a放射出的光的方向偏差。从光源161射出的光在通过未图示的积分光学系统减少了亮度分布的偏差之后，被未图示的颜色分离光学系统分离成作为光的3原色的红色(r)、绿色(g)、蓝色(b)的色光成分。r、g、b的色光成分分别入射到液晶光阀162r、162g、162b中。

液晶光阀162由在一对透明基板之间封入了液晶的液晶面板等构成。在液晶光阀162中形成有由呈矩阵状排列的多个像素162p构成的矩形的像素区域162a。在液晶光阀162中，能够按照各像素162p对液晶施加驱动电压。当光阀驱动部164对各像素162p施加与表示投射于投射面sc的图像的图像信息对应的驱动电压时，各像素162p被设定为与图像信息对应的光透过率。因此，从光源161射出的光通过透过像素区域162a而被调制，按照各色光来形成与投射于投射面sc的图像信息对应的图像。

回到图4的说明。

摄像部17对实际投射区域11a进行拍摄。在实际投射区域11a中包含有投射部16所投射出的图像。此外，在实际投射区域11a中有时还包含指示体12。摄像部17将表示拍摄到的图像的拍摄图像信息发送到位置确定部18。在拍摄图像信息的形式中具有以下所示的两种形式。第1形式是rgb形式或yuv形式。第2形式只是yuv形式中的亮度成分(y)。

摄像部17所能够拍摄的光具有以下所示的两种方式。第1方式的光是可见光。第2方式的光是红外线等不可见光。在摄像部17能够拍摄不可见光的情况下，指示体12具有以下所示的两种方式。第1方式的指示体12射出不可见光。摄像部17对从指示体12射出的不可见光进行拍摄。第2方式的指示体12具有能够反射不可见光的反射部。投影仪11对投射面sc投射不可见光。摄像部17对被指示体12的反射部反射的非可见光进行拍摄。

位置确定部18根据从摄像部17获得的拍摄图像信息来确定前端12a的位置。具体来说，位置确定部18根据拍摄图像信息来确定表示投射面sc中的前端12a的位置的二维坐标。此外，位置确定部18根据前端12a是否与投射面sc接触(“指示体包含在从显示面起规定的范围内”的一例)来确定与指示体12相关联的事件。与指示体12相关联的事件例如是落笔事件和提笔事件。落笔事件表示前端12a与投射面sc接触。在表示落笔事件的事件信息中包含表示已确定的前端12a的位置(即，前端12a与投射面sc接触的位置)的位置信息。提笔事件表示与投射面sc接触的前端12a从投射面sc离开。在表示提笔事件的事件信息中包含表示已确定的前端12a的位置(即，前端12a从投射面sc离开的位置)的位置信息。

如果显示系统1是pj交互模式，则位置确定部18将表示已确定的事件的事件信息发送到pj描绘处理执行部1422，如果显示系统1是pc交互模式，则位置确定部18将表示已确定的事件的事件信息发送到通信部141。以下，接着对显示系统1是pj交互模式的情况进行说明。

pj描绘处理执行部1422根据由位置确定部18确定的事件来执行pj描绘处理。例如，pj描绘处理执行部1422生成表示从落笔事件的位置到提笔事件的位置的线段的操作位置关联图像信息。pj描绘处理执行部1422将所生成的操作位置关联图像信息发送到图像处理部15。图像处理部15根据图像信息gi、第1操作用图像信息sgi1以及操作位置关联图像信息，生成表示由图像g、第1操作用图像sg1以及操作位置关联图像叠加而得的叠加图像的叠加图像信息。图像处理部15将所生成的叠加图像信息发送到投射部16。由此，在投射面sc上显示操作位置关联图像。

如以上那样，在pj交互模式中，第1操作用图像取得部1421取得第1操作用图像信息sgi1，图像处理部15生成表示包含有第1操作用图像sg1的叠加图像的叠加图像信息，投射部16对表示叠加图像信息的叠加图像进行投射。因此，通过第1操作用图像取得部1421、图像处理部15以及投射部16的协同动作来执行第1操作用图像投射处理。通过执行第1操作用图像投射处理，显示系统1能够执行pj交互处理。此外，pj描绘处理执行部1422执行pj描绘处理。

<pc交互模式>

以下，对显示系统1是pc交互模式的情况进行说明。第1实施方式的pc21包含存储部22和处理部23。

存储部22是可由计算机读取的记录介质。存储部22例如是作为非易失性存储器之一的闪存。存储部22并不限于闪存，能够适当变更。存储部22对图像信息gi、第2操作用图像信息sgi2、以及由处理部23执行的pc21的程序进行存储。

处理部23是cpu等计算机。处理部23通过读取并执行存储于存储部22的pc21的程序来实现pc交互处理执行部231、图像生成部232、取得部233、受理部235、判定部236以及控制部237。pc交互处理执行部231包含第2操作用图像提供部2311和pc描绘处理执行部2312。另外，处理部23也可以由1个或多个处理器构成。可以通过构成处理部23的1个或多个处理器来实现pc交互处理执行部231、图像生成部232、取得部233、受理部235、判定部236以及控制部237。pc交互处理执行部231、图像生成部232、取得部233、受理部235、判定部236以及控制部237各自的处理结果被存储在存储部22中。

pc交互处理执行部231、图像生成部232、取得部233、受理部235、判定部236以及控制部237例如通过读取并执行应用软件(以下，称为“应用”)的程序来实现。在第1实施方式中，上述应用例如是由投影仪11的制造商开发出的特定的应用。特定的应用根据用户的操作等来生成图像信息gi，并将图像信息gi存储于存储部22。例如，如果特定的应用是演示软件，则图像信息gi是演示文件。

在显示系统1是pc交互模式的情况下，pc交互处理执行部231执行pc交互处理。具体来说，pc交互处理执行部231所包含的第2操作用图像提供部2311取得第2操作用图像信息sgi2，并提供给图像生成部232。

图像生成部232根据图像信息gi和第2操作用图像信息sgi2，生成表示由图像g和第2操作用图像sg2叠加而得的叠加图像的叠加图像信息。图像生成部232经由图像用通信将所生成的叠加图像信息发送到投影仪11。图像处理部15对由图像生成部232生成的叠加图像信息实施图像处理，从而生成表示投射于投射面sc的投射图像的图像信息。投射部16将投射图像投射到投射面sc上。由此，第2操作用图像sg2被投射到投射面sc上。摄像部17对实际投射区域11a进行拍摄，位置确定部18确定前端12a的位置。

如上述那样，在显示系统1是pc交互模式的情况下，位置确定部18将表示已确定的事件的事件信息发送到通信部141。通信部141经由usb通信将事件信息发送到pc21。

取得部233将从通信部141受理的事件信息发送到pc描绘处理执行部2312。pc描绘处理执行部2312根据由取得部233取得的事件信息所示的事件，执行pc描绘处理。例如，pc描绘处理执行部2312生成表示从落笔事件的位置到提笔事件的位置的线段的操作位置关联图像信息。pc描绘处理执行部2312将所生成的操作位置关联图像信息发送到图像生成部232。图像生成部232根据图像信息gi、第2操作用图像信息sgi2以及操作位置关联图像信息，生成表示由图像g、第2操作用图像sg2以及操作位置关联图像叠加而得的叠加图像的叠加图像信息。图像生成部232经由图像用通信将所生成的叠加图像信息发送到投影仪11。图像处理部15对由图像生成部232生成的叠加图像信息实施图像处理，从而生成表示投射于投射面sc的投射图像的图像信息。投射部16将投射图像投射到投射面sc上。由此，操作位置关联图像被投射到投射面sc上。

如以上那样，在pc交互模式中，第2操作用图像提供部2311能够向投影仪11提供第2操作用图像信息sgi2而使显示系统1执行pc交互处理。此外，pc描绘处理执行部2312执行pc描绘处理。

<交互模式的控制>

以下，对pj交互模式和pc交互模式的控制进行说明。通信部141经由usb通信将正在执行第1操作用图像投射处理的执行中通知发送到受理部235。例如，在第1操作用图像取得部1421从存储部13取得了第1操作用图像信息sgi1的情况下，通信部141将执行中通知发送到受理部235。受理部235从通信部141受理执行中通知。

判定部236判定是否正在执行pc交互处理。将正在执行pc交互处理的状态称为“执行中状态”。例如，在特定的应用启动而使第2操作用图像提供部2311取得了第2操作用图像信息sgi2的情况下，判定部236判定为执行中状态。

在受理部235受理了执行中通知并且判定部236判定为执行中状态的情况下，控制部237经由usb通信来发送使投影仪11中止pj交互处理的指示。第1操作用图像取得部1421在受理了中止pj交互处理的指示的情况下，中止第1操作用图像信息sgi1的取得。通过中止第1操作用图像信息sgi1的取得，第1操作用图像投射处理被中止。同样，如果pj描绘处理执行部1422正在执行pj描绘处理，则结束pj描绘处理。

例如，在判定部236判定为执行中状态的状况下受理部235受理了执行中通知的情况下，控制部237使投影仪11中止pj交互处理。在判定部236判定为执行中状态的状况下受理部235受理了执行中通知的情况例如是指如下情况：在执行特定的应用而使显示系统1为pc交互模式的状况下，投影仪11启动了pj交互处理。

并且，在受理部235受理了执行中通知的状况下判定部236判定为执行中状态的情况下，控制部237使投影仪11中止第1操作用图像投射处理。进而，如果pj描绘处理也正在执行，则控制部237也使pj描绘处理中止。在受理部235受理了执行中通知的状况下判定部236判定为执行中状态的情况例如是在显示系统1为pj交互模式的状况下特定的应用被启动的情况。

在受理部235受理了执行中通知的状况下判定部236判定为执行中状态的情况下，pj交互处理处于执行中。因此，用户对指示体12进行操作的期间有可能是落笔事件确定后且提笔事件确定前的一系列操作的中途。落笔事件确定后且提笔事件确定前的情况是指前端12a与投射面sc接触的情况。在前端12a与投射面sc接触的情况下，用户期待通过指示体12的操作来进行描绘。

为了完成与上述一系列操作对应的描绘处理，当控制部237中止了第1操作用图像投射处理时，在前端12a与投射面sc接触的情况下，通信部141将虚拟的落笔事件信息发送到取得部233。优选虚拟的落笔事件信息所示的事件的位置是实际上确定了落笔事件的位置。

取得部233从通信部141取得虚拟的落笔事件信息。取得部233将虚拟的落笔事件信息发送到pc描绘处理执行部2312。在pc描绘处理执行部2312接收到虚拟的落笔事件信息之后，受理基于用户操作的提笔事件信息，因此能够完成与一系列操作对应的描绘处理。

使用图6和图7对第1实施方式的显示系统1的流程图进行说明。图6所示的流程图示出了在判定部236判定为执行中状态的状况下受理部235受理执行中通知的情况(即，在正在执行特定的应用的状况下投影仪11启动了pj交互处理的情况)。图7所示的流程图示出了在受理部235受理了执行中通知的状况下判定部236判定为执行中状态的情况(即，在显示系统1是pj交互模式的状况下特定的应用被启动的情况)。

图6是第1实施方式的流程图(其1)。处理部23启动特定的应用(步骤s601)。接着，受理部235经由usb通信向投影仪11询问pj交互处理的执行状态(步骤s602)。通信部141经由usb通信将pj交互处理的执行状态发送到受理部235(步骤s603)。这里，在图6所示的显示系统1的状态中，对pj交互处理的启动进行监视，第1操作用图像取得部1421可处于执行中。然而，由于pj描绘处理执行部1422尚未受理事件信息，所以pj描绘处理不处于执行中。

受理部235判断所受理的执行状态是否为执行中状态(步骤s604)。在所受理的执行状态不是执行中状态的情况(步骤s604：否)下，在经过了一定时间之后，受理部235再次执行步骤s602的处理。

在所受理的执行状态为执行中状态的情况(步骤s604：是)下，控制部237经由usb通信来指示pj交互处理的中止(步骤s605)。pj交互处理执行部142在受理了中止指示的情况下，中止pj交互处理(步骤s606)。如上述那样，由于只有第1操作用图像取得部1421处于执行中，所以第1操作用图像取得部1421中止第1操作用图像信息sgi1的取得。

在步骤s605的处理结束之后，处理部23判断特定的应用是否结束(步骤s607)。在特定的应用处于执行中的情况(步骤s607：否)下，在经过了一定时间之后，处理部23再次执行步骤s607的处理。

另一方面，在特定的应用结束的情况(步骤s607：是)下，控制部237经由usb通信来指示投影仪11执行pj交互处理(步骤s608)。在步骤s608的处理结束之后，pc21结束图6所示的动作。

pj交互处理执行部142在受理了执行指示的情况下执行pj交互处理(步骤s609)。在步骤s609的处理结束之后，投影仪11结束图6所示的动作。

图7是第1实施方式的流程图(其2)。第1操作用图像取得部1421取得第1操作用图像信息(步骤s701)。然后，pj描绘处理执行部1422执行pj描绘处理(步骤s702)。接着，通信部141判断是否能够经由usb通信与pc21进行usb通信(步骤s703)。在无法与pc21进行usb通信的情况(步骤s703：否)下，在经过了一定时间之后，通信部141再次执行步骤s702的处理。在能够与pc21进行usb通信的情况(步骤s703：是)下，通信部141等待接收来自pc21的指示。

判定部236判定特定的应用是否处于执行中(步骤s704)。在特定的应用不处于执行中的情况(步骤s704：否)下，在经过了一定时间之后，判定部236执行步骤s704的处理。另一方面，在特定的应用处于执行中的情况(步骤s704：是)下，控制部237指示pj交互处理的中止(步骤s705)。

pj交互处理执行部142判断是否受理了pj交互处理的中止(步骤s706)。在没有受理pj交互处理的中止的情况(步骤s706：否)下，pj描绘处理执行部1422再次执行步骤s702的处理。另一方面，在受理了pj交互处理的中止的情况(步骤s706：是)下，pj交互处理执行部142中止pj交互处理(步骤s707)。然后，在前端12a与投射面sc接触的情况下，通信部141经由usb通信将虚拟的落笔事件信息发送到pc21(步骤s708)。

取得部233从投影仪11取得虚拟的落笔事件信息(步骤s709)。取得部233将所取得的落笔事件信息发送到pc描绘处理执行部2312。在步骤s709的处理之后，取得部233根据用户对指示体12的操作来取得提笔事件信息，并发送到pc描绘处理执行部2312。pc描绘处理执行部2312根据所受理的落笔事件信息所示的事件和提笔事件信息所示的事件，执行pc描绘处理。

在步骤s709的处理结束之后，处理部23判断特定的应用是否结束(步骤s710)。在特定的应用处于执行中的情况(步骤s710：否)下，在经过了一定时间之后，处理部23再次执行步骤s710的处理。

另一方面，在特定的应用结束的情况(步骤s710：是)下，控制部237经由usb通信来指示投影仪11执行pj交互处理(步骤s711)。在步骤s711的处理结束之后，pc21结束图7所示的动作。

pj交互处理执行部142在受理了执行指示的情况下执行pj交互处理(步骤s712)。在步骤s712的处理结束之后，投影仪11结束图7所示的动作。

在与第1实施方式对应的pc21和pc21的控制方法中，在受理部235受理了执行中通知并且判定部236判定为执行中状态的情况下，控制部237使投影仪11中止pj交互处理。这样，在pj交互处理和pc交互处理处于执行中的情况下，pc21使投影仪11中止第1操作用图像投射处理。因此，能够降低投影仪11和pc21均不执行交互处理的可能性。并且，还能够降低投影仪11和pc21均执行交互处理的可能性。

并且，pc21使用是否正在执行交互处理这样的、是否执行交互处理的可靠信息来判断投影仪11和pc21中的哪个执行交互处理。因此，与使用受理图像信息gi这样的、不一定执行交互处理的不确定信息的情况相比，pc21能够更准确地进行判断。

并且，在pc交互处理和pj交互处理处于执行中的情况下，通过中止pj交互处理来抑制在执行两个交互处理时引起的便利性降低。关于在执行两个交互处理时引起的便利性降低，例如，假设描绘处理是描绘出线的处理。基于该假设，当投影仪11和pc21都执行描绘线的处理时，作为投影仪11和pc21所分别描绘出的结果，存在描绘出两条线的情况。由于用户想要描绘出1条线，所以处理结果与想要的结果发生偏离，便利性受损。

并且，在pc交互处理和pj交互处理处于执行中的情况下，通过中止pj交互处理并继续执行pc交互处理，能够执行更高功能的pc交互处理。

并且，如果pc21和投影仪11通过usb通信来连接，并且特定的应用处于启动的状况，则用户只要掌握pc交互处理始终在运行即可。通过该掌握，用户能够容易地确定显示系统1的交互模式。由于能够容易地确定显示系统1的交互模式，所以能够提高交互模式的便利性。

关于交互模式的确定与便利性的关系，pc交互处理与pj交互处理有时不会成为完全相同的结果而是存在差异，当处理结果与用户想要的结果发生偏离时，便利性下降。例如，即使是描绘出线的处理，在pj描绘处理和pc描绘处理中，也存在所描绘出的线的粗细不同的情况。在该情况下，当执行pj描绘处理和pc描绘处理中的、用户不想要的描绘处理时，会以不是以用户所想要的线的粗细来进行描绘，便利性下降。并且，如图2和图3所示，由于pj交互模式与pc交互模式类似，所以用户很难通过外观和操作感来确定显示系统1的目前的交互模式。

然而，在第1实施方式中，由于用户能够容易地确定显示系统1的交互模式，所以处理结果容易与用户想要的结果一致，能够提高便利性。

在第1实施方式中，在判定部236判定为执行中状态的状况下受理部235受理了执行中通知的情况下，控制部237使投影仪11中止pj交互处理。这样，即使是执行特定的应用而使显示系统1为pc交互模式的状况下pj交互处理被启动的情况，也能使pj交互处理中止并继续执行pc交互处理的执行。因此，即使是上述情况，也能够抑制执行两个交互处理，从而能够抑制便利性下降。

在第1实施方式中，在受理部235受理了执行中通知的状况下判定部236判定为执行中状态的情况下，使投影仪11中止第1操作用图像投射处理。这样，即使在显示系统1为pj交互模式的状况下特定的应用启动后的情况，也能使pj交互处理中止而执行pc交互处理。因此，即使是上述情况，也能够抑制执行两个交互处理，从而能够抑制便利性下降。

在第1实施方式中，在从控制部237中止了pj交互处理的状况下，取得部233在前端12a与投射面sc接触的情况下取得虚拟的落笔事件信息。如上述那样，取得虚拟的落笔事件信息的情况是指在落笔事件确定后到提笔事件确定前的一系列操作的中途从控制部237中止了pj交互处理的情况。在该情况下，用户期待通过指示体12的操作来进行描绘。

因此，通过取得虚拟的落笔事件信息，能够进行与上述一系列操作对应的pc描绘处理，能够进行用户所期待的描绘。

<第2实施方式>

在第1实施方式中，判定部236根据特定的应用是否正启动来判定pc交互处理是否处于执行中。另一方面，在第2实施方式中，存储部22存储对应用进行确定的信息，该应用具有能够实现pj交互处理执行部142的程序，判定部236参照存储部22的存储内容来判定pc交互处理是否处于执行中。此外，在第2实施方式中，控制部237在受理了切断usb通信的指示的情况下，指示投影仪11执行pj交互处理。以下，对第2实施方式进行说明。另外，在以下例示的各方式和各变形例中，对作用或功能与第1实施方式同样的要素赋予在第1实施方式中使用的标号而适当省略各自详细的说明。

图8是示出第2实施方式的显示系统1的一例的图。对与第1实施方式的变更部位进行说明。

存储部22也对软件信息sci进行存储。软件信息sci是指能够执行pc交互处理的应用。例如，软件信息sci包含能够执行pc交互处理的应用的id(identifier：标识符)或名称。

在第2实施方式中，pc交互处理执行部231、图像生成部232以及取得部233是通过由处理部23读取并执行软件信息sci所示的应用的程序来实现的。软件信息sci所示的应用例如是根据投影仪11的规格而通过与投影仪11的制造商不同的第三方开发出的应用。该应用根据用户的操作等来生成图像信息gi，并将图像信息gi存储于存储部22。另一方面，受理部235、判定部236以及控制部237是通过由处理部23读取并执行驻留于pc21的服务的程序而实现的。驻留于pc21的服务例如是由投影仪11的制造商开发的。

当在pc21上执行的应用是软件信息sci所示的软件的情况下，判定部236判定为pc21正在执行pc交互处理。

当在投影仪11与pc21通过usb通信进行连接时控制部237受理了切断usb通信的指示的情况下，指示投影仪11执行pj交互处理。

使用图9和图10对第2实施方式的显示系统1的流程图进行说明。图9所示的流程图示出了在受理部235受理了执行中通知的状况下判定部236判定为执行中状态的情况(即，在显示系统1为pj交互模式的状况下应用被启动的情况)。图10所示的流程图是在显示系统1为pc交互模式的状况下受理了切断usb通信的指示的情况。

图9是第2实施方式的流程图(其1)。受理部235经由usb通信向投影仪11询问pj交互处理的执行状态(步骤s901)。通信部141经由usb通信将pj交互处理的执行状态发送到受理部235(步骤s902)。这里，与图6所示的状况同样，在图9所示的显示系统1的状态下对pj交互处理的启动进行监视，第1操作用图像取得部1421可处于执行中。然而，由于pj描绘处理执行部1422尚未受理事件，所以pj描绘处理不处于执行中。

受理部235判断所受理的执行状态是否为执行中状态(步骤s903)。在所受理的执行状态不是执行中状态的情况(步骤s903：否)下，在经过了一定时间之后，受理部235再次执行步骤s901的处理。

在所受理的执行状态是执行中状态的情况(步骤s903：是)下，判定部236判定软件信息sci所示的应用是否处于执行中(步骤s904)。在软件信息sci所示的应用不处于执行中的情况(步骤s904：否)下，在经过了一定时间之后，受理部235再次执行步骤s901的处理。

另一方面，在软件信息sci所示的应用处于执行中的情况(步骤s904：是)下，控制部237经由usb通信来指示pj交互处理的中止(步骤s905)。在步骤s905的处理结束之后，pc21结束图9所示的动作。

pj交互处理执行部142在受理了中止指示的情况下中止pj交互处理(步骤s906)。如上述那样，由于只有第1操作用图像取得部1421处于执行中，所以第1操作用图像取得部1421中止第1操作用图像信息sgi1的取得。在步骤s906的处理结束之后，投影仪11结束图9所示的动作。

图10是第2实施方式的流程图(其2)。控制部237判断是否与投影仪11处于usb通信中(步骤s1001)。

在不与投影仪11处于usb通信中的情况(步骤s1001：否)下，在经过了一定时间之后，控制部237再次执行步骤s1001的处理。另一方面，在与投影仪11处于usb通信中的情况(步骤s1001：是)下，控制部237判断是否通过pc21的用户的操作受理了usb通信的切断指示(步骤s1002)。

在未受理usb通信的切断指示的情况(步骤s1002：否)下，在经过了一定时间之后，控制部237执行步骤s1002的处理。另一方面，在受理了usb通信的切断指示的情况(步骤s1002：是)下，控制部237经由usb通信来指示pj交互处理的执行(步骤s1003)。

pj交互处理执行部142在受理了执行的指示的情况下执行pj交互处理(步骤s1004)。在步骤s1004的处理结束之后，投影仪11结束图10所示的动作。

在步骤s1003的处理结束之后，控制部237切断usb通信(步骤s1005)。在步骤s1005的处理结束之后，pc21结束图10所示的动作。

在与第2实施方式对应的pc21和pc21的控制方法中，在pc21上执行的应用是软件信息sci所示的软件的情况下，判定部236判定为正在执行pc交互处理的状态。由此，并不限于特定的应用，即使在执行由第三方开发的、可进行pj交互处理的应用的情况下，也能够抑制执行两个交互处理，从而能够抑制便利性下降。

在第2实施方式中，当在通过usb通信进行连接的状况下受理了切断usb通信的指示的情况下，控制部237指示投影仪11执行pj交互处理。由此，显示系统1在usb通信被切断之后也能够执行交互处理，所以能够提高便利性。并且，当在通过usb通信进行连接的状况下受理了切断usb通信的指示的情况下，指示投影仪11执行pj交互处理，该动作也可以应用在第1实施方式的pc21中。例如，通过将步骤s607和步骤s710的处理置换为“判断特定的应用是否结束、或者是否受理了usb通信的切断指示的处理”，在第1实施方式中，在usb通信被切断之后也能够执行交互处理。

<变形例>

本实施方式可进行多种变形。以下例示了具体的变形方式。从以下的例示中任意选择的两个以上的方式可在不相互矛盾的范围内适当合并。另外，在以下例示的变形例中，对作用或功能与实施方式相同的要素赋予在以上说明中参照的标号而适当省略各自详细的说明。

<第1变形例>

在上述各方式中，第1实施方式中通过特定的应用来生成图像信息gi，在第2实施方式中通过软件信息sci所示的应用来生成图像信息gi。即，在上述各方式中，生成图像信息gi的应用与执行pc交互处理的应用是相同的，但也可以不同。例如，当基于第1实施方式对第1变形例进行说明时，存储部22包含表示与特定的应用相关联的应用的关联信息。例如，用户将想要与特定的应用同时使用的应用登记为关联信息。例如，关联信息所示的应用是不具有pc交互处理的文本创建应用、表计算应用、或者演示应用等。第1变形例的特定的应用下的图像生成部232生成表示叠加图像的叠加图像信息，该叠加图像是在由关联信息所示的应用生成的图像信息gi所示的图像g上叠加第2操作用图像sg2而得的。

在图6中，在检测到启动中的应用的情况下，处理部23判断是否在关联信息中示出了该应用。当在关联信息中示出了该应用的情况下，处理部23执行步骤601的处理。

<第2变形例>

在上述各方式中，作为指示体12包含在从投射面sc起规定的范围内的一例，假设前端12a与投射面sc接触，但不限于此。例如，落笔事件可以表示前端12a包含在从投射面sc起规定的范围内，提笔事件可以表示前端12a位于从投射面sc起规定的范围之外。

<第3变形例>

在上述各方式中，规定的处理是描绘处理，但并不限于描绘处理。例如，规定的处理也可以是与描绘相关的处理。例如，与描绘相关的处理例如是对该处理之后描绘的直线的粗细进行变更的处理，或者，对该处理之后描绘的所描绘的直线的颜色进行变更的处理。

<第4变形例>

在上述各方式中，第2通信是usb通信，但并不限于usb通信。例如，第2通信也可以是依据ieee(instituteofelectricalandelectronicsengineers：电气与电子工程师学会)1394的通信。并且，第1通信和第2通信可以是无线通信，也可以是有线通信。

<第5变形例>

在上述各方式的投射部16中，使用液晶光阀作为光调制装置，但光调制装置并不限于液晶光阀，可以适当变更。例如，光调制装置可以是使用了3个反射型的液晶面板的结构。并且，光调制装置也可以是使用了1个液晶面板的方式、使用了3个数字微镜器件(dmd)的方式、使用了1个数字微镜器件的方式等结构。在光调制装置仅使用了1个液晶面板或dmd的情况下，不需要相当于颜色分离光学系统或颜色合成光学系统的部件。并且，除了液晶面板和dmd之外，光调制装置还可以采用能够对光源发出的光进行调制的结构。

<第6变形例>

通过由处理部14和处理部23执行程序而实现的要素的全部或者一部分例如可以由fpga(fieldprogrammablegatearray：现场可编程门阵列)或asic(applicationspecificic：专用集成电路)等电子电路通过硬件来实现，也可以通过软件与硬件的协同动作来实现。

<第7变形例>

在上述各方式中，显示装置是投影仪，但只要是能够显示图像的装置即可，并不限于投影仪。例如，在显示装置为lcd(liquidcrystaldisplay：液晶显示器)的情况下也能够应用上述各方式。同样，在上述各方式中，图像提供装置为pc，但只要是能够提供图像信息的装置即可，并不限于pc。例如，在图像提供装置为平板终端或智能手机的情况下也能够应用上述各方式。并且，在图1中，将pc表示为笔记本型pc，但pc也可以是台式pc。