双向显示方法和双向显示装置与流程

本发明涉及双向显示方法和双向显示装置。

背景技术：

已知如下的双向显示装置：将基于从外部设备输入的图像信号的图像和描绘了与对画面的操作对应的文字、图画等对象的图像合成起来显示。这里，将基于从外部设备输入的图像信号的图像称作外部图像，将与对画面的操作对应的对象称作操作输入对象。

专利文献1公开了如下的技术：根据从PC(Personal Computer：个人计算机)的OS(Operating System：操作系统)向应用程序通知的滚动信息等，使独立于应用程序的评论显示在画面上移动，或将其从画面上消除。

在先技术文献

专利文献

专利文献1：日本特开平9-258948号公报

技术实现要素：

发明要解决的课题

从外部设备输入到双向投影仪中的图像信号是用于显示由外部设备描绘的图像的信号，因此，如果进行了对外部设备的操作，则外部图像发生变化。与此相对，操作输入对象是由双向投影仪描绘的图像而且是外部设备未参与一切处理的图像。因此，在现有的双向投影仪中，即使从外部设备输入的图像信号发生变化，操作输入对象也不会变化。因此，例如，在置换了与外部图像对应的外部设备的情况下，与变化后的外部图像无关的操作输入对象会与变化后的外部图像一起被投影。并且，还存在为了消除与变化后的外部图像无关的操作输入对象，需要进行对操作输入对象进行编辑的操作的问题。

本发明是为了解决上述问题而完成的，其目的之一在于使得不需要对不再与外部图像对应的操作输入对象进行编辑的操作。

用于解决课题的手段

(1)用于达成上述目的的双向显示方法包括：图像信号输入步骤，从外部设备输入图像信号；显示步骤，根据显示信号将图像显示于画面上；操作检测步骤，检测对所述画面的操作；描绘步骤，描绘与对所述画面的操作对应的操作输入对象；输出步骤，输出用于显示合成图像的所述显示信号，该合成图像是对基于所述图像信号的外部图像与所述操作输入对象进行合成而得到的；信号变化检测步骤，检测所述图像信号的属性或所述图像信号的变化；以及联动编辑步骤，在检测出所述图像信号的属性或所述图像信号的变化时，以与所述外部图像的变化对应的方式对所述操作输入对象进行编辑。

根据本发明，不需要对不再与外部图像对应的操作输入对象进行编辑的操作。这里，图像信号的属性包含图像信号表示的图像的分辨率、输入图像信号的路径以及输入图像信号的外部设备。

(2)在用于达成上述目的的双向显示方法的所述联动编辑步骤中，在检测出表示输入与所述外部图像对应的所述图像信号的所述外部设备的置换的所述图像信号的属性或所述图像信号的变化时，消除所述操作输入对象。

通过采用这种结构，不需要消除不再与外部图像对应的操作输入对象的操作。

(3)在用于达成上述目的的双向显示方法的所述联动编辑步骤中，在检测出表示所述外部图像所表示的外部对象的放大或缩小的所述图像信号的属性或所述图像信号的变化时，使所述操作输入对象随着所述外部对象的放大或缩小而放大或缩小。(4)此外，在检测出表示所述外部图像所表示的外部对象的移动的所述图像信号的属性或所述图像信号的变化时，使所述操作输入对象随着所述外部输入对象的移动而移动。

通过采用这些结构，能够使与变化前的外部图像对应的操作输入对象对应于变化后的外部图像。

此外，本发明还可以应用于双向显示装置。另外，权利要求所述的各单元的功能可通过利用结构本身确定功能的硬件资源、利用程序确定功能的硬件资源或它们的组合而实现。此外，这些各单元的功能不限于分别通过物理上彼此独立的硬件资源而实现的情况。

附图说明

图1是本发明实施方式的画面结构图。

图2是本发明实施方式的框图。

图3是本发明实施方式的画面结构图。

图4是本发明实施方式的流程图。

图5是本发明实施方式的画面结构图。

图6是本发明实施方式的画面结构图。

图7是本发明实施方式的流程图。

图8是本发明实施方式的画面结构图。

具体实施方式

以下，根据附图对本发明的实施方式进行说明。此外，对于各图中对应的结构要素赋予同一符号，省略重复的说明。

1.概要

作为本发明的双向显示装置的一个实施例的投影仪1是在作为画面的墙壁、桌子、专用屏幕等的投影面上投影并显示图像的装置。如图1A所示，投影仪1对作为合成图像的窗口图像A2进行投影，该合成图像是对基于从PC、智能手机等外部设备输入的图像信号的外部图像A22a和与对投影面的操作对应的操作输入对象A21g进行合成而得到的。

在从显示基于从第一外部设备输入的图像信号的图1A所示的外部图像A22a的状态转移至基于从第二外部设备输入的图像信号的图1B所示的外部图像A22b的状态时，投影仪1消除根据对显示有外部图像A22a的投影面的操作而与外部图像A22a一起显示的操作输入对象A21g。

2.投影仪的结构

如图2所示，投影仪1在第一壳体1a上具有光源驱动部16、投影光源17、液晶光阀10、液晶驱动部11作为显示部，还具有输入输出接口14、控制部15、外部存储151、操作部18、电源部19等。另外，投影仪1在与第一壳体1a连接的第二壳体1b上具有接收部21和位置检测部22作为操作检测部。并且，投影仪1具有电子笔23作为发送部。

投影光源17由高压水银灯、LED(Light emitting diode：发光二极管)、激光器等构成，被光源驱动部16驱动。作为图像信号输入部和信号变化检测部的输入输出接口14具有USB端子、以太网(注册商标)端子、HDMI(注册商标)端子、RS232c端子、USB端子等多种输入端子，从外部设备输入各种图像信号。控制部15执行存储在外部存储器151中的控制程序，从而对投影仪1的各部进行控制。另外，作为描绘部、输出部和联动编辑部发挥功能的控制部15具有图像信号处理部13和OSD处理部12，根据从外部设备输入的图像信号和从位置检测部22输入的操作位置信号执行描绘处理，输出作为显示信号的投影信号。图像信号处理部13将外部图像层的图像数据和操作输入层的图像数据作为基于从外部设备输入的图像信号和从位置检测部22输入的操作位置信号的描绘处理的结果，输出至OSD处理部12。OSD处理部12将各层的图像数据合成后输出与液晶光阀10对应的投影信号。液晶驱动部11将从OSD处理部12输出的投影信号变换为用于对液晶光阀10的各像素进行驱动的模拟信号。液晶光阀10具有3个液晶面板10a、10b、10c，这3个液晶面板10a、10b、10c分别按照每个像素对从投影光源17发射且被未图示的分色镜分离的红、绿、蓝的波长的光的透过率进行控制。操作部18具有用于输入投影OSD选单的指示的选单键181、用于选择OSD选单的项目的选择键182和确定键183、以及用于使从外部电源向电源部19的电力供给进行通断的电源开关184。电源部19向投影仪1的各部供给电力。

接收部21是对投影面的投影区域A1整体进行摄像的红外线摄像机，其接收红外线波长的光，在投影区域A1内电子笔23的末端接触投影面的期间中，输出与从电子笔23照射的红外线波长的光对应的图像数据。位置检测部22对从接收部21输出的图像数据进行解析，从而检测红外线波长的光的发光位置、即电子笔23的位置，输出表示电子笔23的位置的操作位置信号。操作位置信号通过控制部15被转换为窗口图像A2的坐标。

电子笔23在笔型的壳体上具有接触传感器231、发光部232和电源开关233。接触传感器231设置于电子笔23的末端，检测与对象物的接触状态以及非接触状态。发光部232设置于电子笔23的末端附近，在接触传感器231检测与对象物的接触状态的期间内，照射红外线波长的光作为操作信号。电源开关233是用于对从未图示的电池向接触传感器231和发光部232的电力供给进行控制的开关。

3.双向投影方法

3-1.描绘层和描绘区域

下面，参照图3，对控制部15描绘外部图像和操作输入对象的层和区域(描绘区域)进行说明。

图3A所示的外部图像层A20和图3B所示的操作输入层A21被合成到图3C所示的投影区域A1内的描绘区域A2s。这里，将合成外部图像层A20和操作输入层A21而得到的描绘区域A2s的图像称作窗口图像。根据液晶光阀10的有效区域的分辨率(实际分辨率)和梯形畸变校正值，确定出在作为投影仪1可投影的最大区域的投影区域A1上的窗口图像的描绘区域A2s。在实施梯形畸变校正的情况下，窗口图像的描绘区域A2s如图3C中虚线所示那样成为比作为投影仪1可投影的最大区域的投影区域A1小的非矩形区域。另外，作为梯形畸变的校正值，既可以根据对投影状态进行检测的结果而自动设定，也可以使用OSD选单而使用户进行设定。控制部15的图像信号处理部13对图3A所示的外部图像层A20和操作输入层A21分别进行描绘，OSD处理部12在区域A2s中对2个层进行重叠合成，从而输出用于对窗口图像A2进行投影的投影信号。

在外部图像层A20上，根据从输入输出接口14输入的图像信号、即从外部设备输出的图像信号，描绘外部图像。在外部图像的纵横比与窗口图像A2的纵横比不同的情况下，控制部15对外部图像的描绘区域A22s进行设定，以使得外部图像不会从窗口图像A2的描绘区域突出，外部图像的2条边重合于窗口图像A2的2条边。在所输入的图像信号表现的外部图像的分辨率与所设定的描绘区域的分辨率不一致的情况下，外部图像被放大或缩小。

操作输入层A21在区域A2s内，被描绘在外部图像层A20的前面。在操作输入层A21上，图像信号处理部13描绘图标A21a、A21b、A21c、A21d、A21e、A21p、以及与从位置检测部22输入的操作位置信号对应的操作输入对象A21g。图标A21a、A21b、A21c、A21d、A21e示出这样的区域：使用户选择以何种图形将对投影面的操作区域使用电子笔23进行的操作反映于操作输入图像A21上。

控制部15在从位置检测部22输入表示描绘图标A21a、A21b、A21c、A21d、A21e的区域的操作位置信号时，准备与各个区域对应的描绘处理。

在电子笔23的末端接触到投影图标A21a的区域时，图像信号处理部13将此后在投影面上的电子笔23的末端的接触轨迹作为操作输入对象A21g而描绘于操作输入层A21上。在电子笔23的末端接触到投影图标A21b的区域时，图像信号处理部13变更在操作输入层A21上描绘的线的粗细。在电子笔23的末端接触到投影图标A21c的区域时，图像信号处理部13将以此后在投影面上的电子笔23的末端的接触轨迹的起点和终点作为对角线的两端的矩形描绘在操作输入层A21上。在电子笔23的末端接触到投影图标A21d的区域时，图像信号处理部13将与以此后在投影面上的电子笔23的末端的接触轨迹的起点和终点作为对角线的矩形内切的椭圆描绘在操作输入层A21上。在电子笔23的末端接触到投影图标A21e的区域时，图像信号处理部13在此后的投影面上的电子笔23的末端的接触轨迹上，消除与此前使用电子笔23的对投影面的操作对应的操作输入对象A21g。另外，在准备或执行与这些图标A21a、A21b、A21c、A21d、A21e对应的描绘处理的期间内，图像信号处理部13进行用于强调所对应的图标A21a、A21b、A21c、A21d、A21e的描绘。另外，图标A21p表示为了输入印刷指示而应该使电子笔23的末端接触投影面的区域。

3-2.操作输入对象的联动编辑

下面，参照图4对伴随图像信号的属性变化而进行的操作输入对象的编辑进行说明。控制部15在从输入输出接口14输入到控制部15的图像信号的属性变化时，开始步骤S2以后的更新处理(S1)。具体而言，控制部15对从输入输出接口14输入到控制部15的图像信号的分辨率是否发生了变化进行判定。即，这里，判定是否存在输入与外部图像对应的图像信号的外部设备的置换。

在步骤S2中，控制部15对属性发生变化后的图像信号的分辨率和纵横比进行判定。

接着，控制部15根据属性变化后的图像信号描绘外部图像(S3)。此时，控制部15如上所述设定外部图像的描绘区域，根据需要使其放大或缩小，同时在外部图像层A20上描绘外部图像。

接着，控制部15对操作输入对象进行编辑(S4)，然后，输出用于对投影区域A1整体进行投影的显示信号(S5)。

在对连接于输入输出接口14的特定端子上的外部设备进行置换的情况下、例如在以前与纵长的画面分辨率的智能手机连接的USB端子上连接了横长的画面分辨率的PC的情况下，从输入输出接口14输入到控制部15的图像信号的分辨率发生变化。这种情况下，控制部15如图5B所示那样将在从输入输出接口14输入的图像信号的属性变化前描绘的图5A所示的操作输入对象A21g消除。其结果是，利用投影仪1显示于投影面上的图像按照图1A至图1B所示发生变化，操作输入对象A21g从画面上消失。

这里，作为从操作输入层上仅消除操作输入对象的方法，对操作输入层的各像素预先赋予表示操作输入对象或图标的识别符，将附有表示操作输入对象的识别符的所有像素重置为初始值。另外，这里所谓的初始值是指在对层进行重叠合成时背面的外部图像层的像素以100％的权重相加、前面的操作输入层的像素以0％的权重相加而得到的像素值。另外，还可以采用如下方法：将操作输入层预先划分为用于描绘操作输入对象的层和用于描绘图标A21a、A21b、A21c、A21d、A21e、A21p的层，或者将操作输入对象和图标分别预先描绘在不同的层上，将用于描绘操作输入对象的层整体重置为初始值。

根据以上说明的实施例，如果将连接于投影仪1的外部设备进行置换，则与从置换前的外部设备输入的图像信号对应的操作输入对象从画面上消失，因此，不需要对不再与外部图像对应的操作输入对象进行编辑的操作。

4.其他实施方式

此外，本发明的技术范围不限于上述实施例，显然可以在不脱离本发明主旨的范围内进行各种变更。

例如，可以与连接有外部设备的端子对应地管理操作输入层，在从外部设备向输入输出接口14输入图像信号的端子发生变化的情况下，对操作输入层的显示/非显示进行切换。例如，假设在HDMI端子上连接BD(Blu-ray Disc)控制器，在RGB端子上连接讲演用的PC，在RS232c端子上连接控制用的PC。这种情况下，与连接讲演用PC的RGB端子对应地预先存储操作输入层。在利用控制用PC将图像信号的输入端子从RGB端子切换为HDMI端子的情况下，从外部设备向输入输出接口14输入图像信号的端子发生变化。控制部15根据该变化，将操作输入层从显示状态更新为非显示状态即可。由此，在图像信号的输入端子从HDMI端子切换为RGB端子的情况下，将操作输入层从非显示状态更新为显示状态，从而能够再次显示与讲演用PC所描绘的外部对象对应的操作输入对象。

另外，例如，假设在RGB端子上连接讲演用的第一PC，在USB端子上连接讲演用的第二PC，在RS232c端子上连接控制用的PC。这种情况下，与连接第一PC的RGB端子对应地预先存储第一操作输入层，与连接第二PC的USB端子对应地预先存储第二操作输入层。例如，在利用控制用PC将图像信号的输入端子从RGB端子切换为USB端子的情况下，将图6A所示的与RGB端子对应的第一操作输入层A21a从显示状态更新为非显示状态，将图6B所示的与USB端子对应的第二操作输入层A21b从非显示状态更新为显示状态。其结果是，投影仪1的投影图像例如从图1A所示的状态变化至图6C所示的状态。反之，在利用控制用PC将图像信号的输入端子从USB端子切换至RGB端子的情况下，将与图6B所示的USB端子对应的第二操作输入层A21b从显示状态更新为非显示状态，将与图6A所示的RGB端子对应的第一操作输入层A21a从非显示状态更新为显示状态。如果这样地与连接外部设备的端子对应地管理操作输入层，则能够根据向投影仪1输入图像信号的外部设备切换多个操作输入图像。

另外，例如还可以根据图像信号本身的变化对操作输入对象进行编辑。图7示出根据图像信号本身的变化对操作输入对象进行编辑的处理的流程。控制部15通过对图像信号进行解析，判定是否发生了滚动、放大或缩小的画面操作，在发生了画面操作的情况下，执行S11以后的联动编辑处理(S10)。具体而言，对图像信号进行解析，检测有无图像信号表示的外部对象的移动、放大和缩小。这里的外部对象是指外部设备所描绘的文字或图画。接着，控制部15根据图像信号的解析结果，对作为画面的操作量的外部对象的移动量、放大倍率、缩小倍率进行计算(S11)。接着，控制部15根据画面的操作量，对操作输入对象进行编辑(S12)。具体而言，控制部15如图8B所示那样对操作输入对象A21g进行再次描绘，以使得图8A所示的更新前的操作输入对象A21g随着外部对象的移动、放大或缩小而移动、放大或缩小。这样根据图像信号本身的变化对操作输入对象进行编辑，从而能够使与变化前的外部图像对应的操作输入对象对应于变化后的外部图像。

另外，例如，作为检测对投影面的操作的手段，既可以使用激光帘，也可以使用红外线波长以外的波长的光。此外，也可以不使用电子笔那样具备发送操作信号的功能的发送部，而检测从激光帘照射且被手指反射的红外线波长的光，从而检测对投影面的操作。

另外，例如，为了投影图像，既可以使用1个液晶面板对光进行调制，也可以使用反射型的液晶面板对光进行调制，还可以使用DMD(Digital Mirror Device：数字镜器件)对光进行调制。另外，例如，为了对投影图像进行放大投影，既可以使用凸面镜，也可以不使用镜子。另外，例如，可以在触摸面板显示器等的显示装置中应用本发明。

标号说明

1：投影仪，1a：第一壳体，1b：第二壳体，9：日本特开平，10：液晶光阀，10a、10b、10c：液晶面板，11：液晶驱动部，12：OSD处理部，13：图像信号处理部，14：输入输出接口，14：图像信号输入部，15：控制部，16：光源驱动部，17：投影光源，18：操作部，19：电源部，21：接收部，22：位置检测部，23：电子笔，151：外部存储，181：选单键，182：选择键，183：确定键，184：电源开关，231：接触传感器，232：发光部，233：电源开关，A1：投影区域，A2：窗口图像，A20：外部图像层，A21：操作输入层，A21：操作输入图像，A21g：操作输入对象，A22a：外部图像，A22b：外部图像，A22s：描绘区域，A2s：描绘区域。