本发明涉及适合于输入多个图像信号而投影合成图像的投影仪等的显示装置、显示方法以及存储介质。
背景技术：
在特开2014-052930号公报中提出了一种投影仪，该投影仪连接多台例如4台个人计算机作为用于输入图像信号的外部设备，基于从各个人计算机输入的图像信号，将画面分割而同时投影多个图像。
一般地，在将多个输入图像分割投影到1个画面的情况下，是将投影的画面按等分进行分割，将多个图像配置在分割后的各画面之后，同时进行显示。
另外，分割后的画面的纵横比是确定的，另一方面，分配到该画面位置的从个人计算机等输入的图像的纵横比是多种多样的，例如在视频信号中，横：纵为4：3、16：9等的横长的情况较多。另外，在文档的图像中由于用纸的关系，横：纵为1.41：1的横长或1：1.41的纵长的情况较多。
并且，在分割后的画面的区域和投影到该区域的从个人计算机等输入的图像的纵横比不同的情况下，通常来说，常见的是在分割后的画面的上下或左右，设定预先设定的安全色例如黑色、蓝色的纯色区域作为不进行信息的投影的非投影区域，使得输入的图像的整体进入分割的画面。
因此，在执行基于从个人计算机等输入的多个图像信号的投影的情况下，根据投影的图像信号的种类的不同，有如下可能：在画面内上述非投影区域所占的比例高，尽管通过投影仪将图像进行放大投影，但是投影图像中的有效部分所占的面积仍相对小，而看不清楚投影内容。
本发明是鉴于上述实际情况而完成的，其目的在于提供能根据输入的多个图像信号，尽可能减少非投影区域而有效使用画面的面积的显示装置、显示方法以及程序。
技术实现要素：
本发明的一方式是一种显示装置，具备：输入部，其从多个外部设备输入多个图像信号；显示部，其显示图像；设定部，其基于与由上述输入部输入的多个图像信号分别对应的纵横比，设定上述多个图像的显示条件；以及显示控制部，其基于由上述设定部设定的内容，从由上述输入部输入的多个图像信号生成合成图像并显示在上述显示部中。
本发明的另一方式是一种显示方法，是具备从多个外部设备输入多个图像信号的输入部和显示图像的显示部的装置的显示方法，具有：设定步骤，基于与由上述输入部输入的多个图像信号分别对应的纵横比，设定上述多个图像的显示条件；以及显示控制步骤，基于在上述设定步骤中设定的内容，从由上述输入部输入的多个图像信号生成合成图像并显示在上述显示部中。
本发明的再一方式是一种计算机可读取的存储介质，存储有能由计算机执行的程序，该计算机内置有具备从多个外部设备输入多个图像信号的输入部和显示图像的显示部的装置，上述程序使上述计算机作为如下各部发挥功能：设定部，其基于与由上述输入部输入的多个图像信号分别对应的纵横比，设定上述多个图像的显示条件；以及显示控制部，其基于由上述设定部设定的内容，从由上述输入部输入的多个图像信号生成合成图像并显示在上述显示部中。
附图说明
图1是例示使用本发明的一实施方式的投影仪的投影环境的图。
图2是示出该实施方式的投影仪的概略功能构成的框图。
图3是示出该实施方式的合成图像的配置和尺寸变更的设定处理内容的流程图。
图4是例示该实施方式的普通模式下的4个图像的分割投影状态的图。
图5是例示该实施方式的尺寸调整模式下的4个图像的分割投影状态的图。
具体实施方式
以下参照附图说明本发明的在使用投影仪的投影环境下进行演示的情况下的一实施方式。
图1是例示上述投影环境的图。在该图中，1是投影仪，2a～2d分别是提供向投影仪1投影的图像的个人计算机(以下称为“pc”)。
投影仪1和3台pc(外部设备)2a～2c分别通过符合例如hdmi(注册商标)(high-definitionmultimediainterface：高清晰度多媒体接口)规格的兼作声音信号用的图像信号用的视频线缆vc1～vc3进行有线连接。
另外，上述pc(外部设备)2d通过符合例如ieee802.11a/11b/11g/11n规格的无线lan技术与投影仪1进行无线连接。
投影仪1接收从这些pc2a～2d提供的图像数据、特定的应用程序的文件数据等，基于这些数据，在此将合成了4个图像的投影图像随时投影到屏幕sc上。
图2是示出上述投影仪1的概略功能构成的框图。图像输入部11具备多个例如d-sub15类型的rgb输入端子、管脚插孔(rca)类型的视频输入端子和声音输入端子、hdmi(注册商标)端子、usb端子等，例如各具备3个。输入到图像输入部11的各种规格的图像信号由图像输入部11根据需要进行数字数据化后，经由总线b发送给定标器(scaler)12。
定标器12将经由总线b输入的例如最大4个系统的图像数据分别统一为适合投影的规定格式的图像数据并随时写入显示存储器13中。
投影部14基于写入到该显示存储器13中的图像数据执行投影。该投影部14包含：例如作为显示元件的微镜元件及其驱动电路；通过3原色的led分时发光的光源部；以及将上述光源部发出的光照射到上述微镜元件后由其反射光形成的光像朝向上述屏幕sc投射的投影透镜光学系统等。
上述微镜元件通过使排列为阵列状的多个例如4kuhdtv(横3840像素×纵2160像素)的量的微小镜子的各倾斜角度分别以高速进行打开/关闭动作，从而由其反射光形成光像。
另外，与输入到图像输入部11的图像信号一起输入的声音信号根据需要被数字数据化后，从图像数据分离并提供给声音输出部15。声音输出部15具备pcm声源等声源电路，在投影动作时将提供的声音数据进行模拟化，驱动扬声器部16进行扩声放音，或者根据需要产生蜂鸣声等。
另外，无线lan接口(i/f)17使用无线lan天线18接收从上述pc2d通过无线连接发送来的数据。在接收到的数据是例如jpeg文件等施加了数据压缩的图像数据、pdf文件等文档数据、在演示等的特定的应用程序中使用的幻灯片图像数据等的情况下，解码器19对它们进行解码并生成适合投影的图像数据，将其向上述定标器12送出。
另外，在通过上述图像输入部11输入了图像数据时等，文字识别部20对图像数据执行文字识别处理，由此能随同文字串的识别结果得到图像中使用的各种文字的字体的尺寸等信息。
cpu21控制上述各电路的全部动作。该cpu218经由总线b与主存储器22和ssd(solidstatedrive：固态硬盘)23连接。主存储器22由例如sram构成，作为cpu21的工作存储器发挥功能。ssd23由电可重写的非易失性存储器构成，存储cpu21执行的动作程序、各种常规数据等。cpu21使用上述主存储器22和ssd23，统一执行该投影仪1内的控制动作。
上述cpu21根据来自键操作部24的键操作信号执行各种投影动作。该键操作部24包含设置于投影仪1的主体的键操作部和接收来自该投影仪1专用的未图示的遥控器的红外线的红外线受光部，将基于用户在主体的键操作部或遥控器中所操作的键的键操作信号经由总线b向cpu21输出。
而且，总线b连接着加速度传感器25。该加速度传感器25由例如3轴加速度传感器构成，通过在设置有投影仪1的状态下检测重力加速度的方向，能检测设置投影仪1的姿势。
此外，上述pc2a～2d各自的硬件电路的构成是非常常见的公知技术，省略其图示和说明。这些pc2a～2d中的至少1台安装有作为应用程序之一的演示程序，能对为该程序创建的文档文件(演示用文件)进行再现。
接着，说明上述实施方式的动作。
在本实施方式的投影仪1中，对于来自多个个人计算机等的图像信号输入，能选择对投影的各图像进行尺寸调整的尺寸调整模式和不对投影的各图像进行尺寸调整的普通模式。
图3是示出在上述尺寸调整模式的投影动作之初cpu21执行的合成图像的配置和尺寸变更的设定处理内容的流程图。
首先，cpu21将用于选择输入图像信号的外部设备的变量i设定为初始值“1”(步骤s101)。
作为确定输入了图像信号的外部设备的顺序，例如先判断与图像输入部11有线连接的外部设备，后判断经由无线lan接口17和无线lan天线18无线连接的外部设备。但是，该顺序能通过用户的任意的设定而变更。
根据上述变量i，判断经由图像输入部11或无线lan接口17输入的第i个图像信号是rgb输入、视频信号输入或hdmi(注册商标)输入等图像本身的输入，还是以文字处理软件、制表软件、演示软件等应用软件的文件数据的形式输入的(步骤s102)。
在此，在判断为直接输入了图像数据的情况下(步骤s102的“是”)，cpu21根据构成输入的图像数据的纵横的各像素数取得纵横比(步骤s103)。
接着，cpu21通过使上述文字识别部20对输入的图像数据执行从文字部分的切出到文字识别的处理，检测图像中的每个文字的尺寸，从而取得最大的文字尺寸、最小的文字尺寸、最频繁出现的文字尺寸的各尺寸信息。
此外，也可以判别由图像输入部11输入的多个图像信号各自的输入来源是“只有图像”还是“带有文本”。即使“只有图像”和“带有文本”具有相同的纵横比，也能使显示部的“只有图像”的区域(面积)比“带有文本”的区域(面积)小。这是因为，在缩小显示部的“带有文本”的区域(面积)的倍率的情况下，若过度缩小，则文字尺寸会变为阈值以下而难以读取，但是在“只有图像”的情况下，即使设为与“带有文本”的区域(面积)的缩小率相同的缩小率，由于是图像，因此也不会如文字那样难以识别。
cpu21基于所取得的各尺寸信息，取得作为该图像的基准的文字尺寸(步骤s104)。通过设定例如最小的文字尺寸作为该基准的文字尺寸，从而会在能可靠地辨认图像中的全部文字的状态下进行投影。
另一方面，也可以将最频繁出现的文字尺寸设定为基准的文字尺寸。在该情况下，虽然有可能产生在投影画面上不能辨认最小的文字尺寸的文字的可能性，但是在判断为无法准确地投影文字的情况下，通过将文字尺寸增大1个尺寸，使得例如如果最小的文字尺寸是10.5点则将其变为11点，从而能在这个画面中实现图像中的文字易于读取的环境。
接着，cpu21对上述变量i的值进行“+1”更新设定(步骤s105)，之后，根据是否存在该更新设定后的第i个图像输入，判断是否完成了对每个图像输入的信息的取得(步骤s106)。
当判断为存在更新设定后的第i个图像输入，未完成图像的信息的取得时(步骤s106的“否”)，cpu21再次返回到从上述步骤s102起的处理，继续进行同样的处理。
在上述步骤s102中，在判断为输入的图像信号不是图像本身的输入，而是以应用软件的文件数据的形式输入的情况下(步骤s102的“否”)，cpu21利用解码器19，使用对应的应用程序从输入的数据取得在文件数据中记述的图像的纵横比以及文字数据部分的最大的文字尺寸、最小的文字尺寸、最频繁出现的文字尺寸的各尺寸信息，取得作为基准的文字尺寸(步骤s107)。
在此，也预先设定取得最小的文字尺寸或最频繁出现的文字尺寸中的任意一方作为基准的文字尺寸。
在取得作为基准的文字尺寸后，cpu21进入从上述步骤s105起的处理。
这样，对于来自输入了图像本身的外部设备的图像，通过步骤s103、s104的处理取得纵横比和基准的文字尺寸，另一方面，对于以应用软件的文件数据的形式进行了输入的外部设备，通过步骤s107的处理从该程序中记述的数据中取得纵横比和基准的文字尺寸。
在对来自所连接的全部外部设备例如4台pc2a～2d的输入完成了纵横比和作为基准的文字尺寸的信息的取得，并对变量i的值进行“+1”更新设定而使其成为“5”后(步骤s105)，在判断为没有第5个输入的时点(步骤s106的“是”)，cpu21根据全部输入，基于各图像的纵横比，进行图像的配置本身和各图像的分割范围的放大/缩小，进行最佳化使得非投影区域成为最小(步骤s108)。
图4例示在设定了不执行该图3的尺寸调整模式的处理而不对投影的各图像进行尺寸调整的普通模式的情况下，将来自上述pc2a～2d的各图像均匀地进行画面分割而由投影部14投影到屏幕sc上的状态。
在输入的图像信号的图像的纵横比和均匀分割后的各区域的纵横比不同的情况下，没有非投影区域则无法对图像进行投影，因此如图所示，图像(1)～图像(4)均是伴随着由阴影线示出的非投影区域进行投影的。
特别是，在具有纵长的纵横比的图像(4)的情况下，由于通过均匀分割而被分配的投影区域是横长的纵横比，因此，即使配置为图像(4)的纵方向是占满的，其左右的非投影区域的面积也是非常大的。
与此相对，图5示出通过图3的上述步骤s108的处理调整配置和尺寸，进行最佳化使得非投影区域成为最小的例子。
在图5中，调换了上述图4中的图像(2)和图像(3)的位置，与均匀分割的情况相比，图像(1)、图像(2)以及图像(4)放大了，图像(3)缩小了。
而且，关于图像(1)和图像(3)，在分割的投影区域内不存在非投影区域，关于图像(2)和图像(4)，在分割的非投影区域内，非投影区域所占的面积也非常小。
在上述步骤s108中进行上述的最佳配置后，cpu21判断配置后的各图像的实际面积是否在预先设定的缩小范围内，例如，将在普通模式下对投影区域进行了均匀分割的情况下的、除了非投影区域以外的该图像的实际投影面积设定为“100”，根据是否每个图像均未低于减去40[％]的“60”，判断被过度缩小的图像是否1个也没有(步骤s109)。
在此，在判断为配置后的图像中的至少1个图像的实际面积未收于预先设定的缩小范围内而被过度缩小的情况下(步骤s109的“否”)，cpu21对判断为被过度缩小的图像进行重新设定，使其上升1个等级，例如以均匀分割时的图像的实际面积为基准，使其实际图像面积比在紧前的步骤s108中进行了最佳化后的实际图像面积上升2.5[％](步骤s110)，之后，在将该重新设定作为条件维持的基础上，进入上述步骤s108，再次执行得到最佳配置的处理。
这样，通过根据需要反复执行步骤s108、s109、s110的处理，虽然非投影区域的面积每次稍微增加，但是能设定成不存在被过度缩小的图像。
在上述步骤s109中判断为没有被过度缩小的图像的情况下(步骤s109的“是”)，接下来cpu21判断作为通过上述最佳配置进行了放大或缩小的设定后的各图像的基准的文字尺寸是否与投影部14的投影分辨率对应(步骤s111)。
即，cpu21根据该时点已最佳配置的各图像的放大/缩小率和各图像各自的基准的文字尺寸，在上述步骤s111中判断：在从结果来看基准的文字尺寸变得最小的图像中，基准的文字尺寸乘以该时点的放大/缩小率的结果是否与投影部14的分辨率对应而能投影。
在此，在判断为低于能投影的范围，无法准确地投影文字的情况下(步骤s111的“否”)，cpu21对该图像重新设定新的放大/缩小率来将文字尺寸增大1个尺寸，使得例如如果在该时点该图像的基准的文字尺寸是10.5点则将其变为11点(步骤s112)，之后，在将该重新设定作为条件进行维持的基础上，进入上述步骤s108，再次执行得到最佳配置的处理。
这样，通过根据需要反复执行步骤s108、s109、s111、s112的处理，虽然非投影区域的面积每次稍微增加，但是能与投影部14的投影分辨率对应地，仅配置包含能可靠地辨认的文字的图像。
在上述步骤s111中判断为作为进行放大或缩小的设定后的各图像的基准的文字尺寸与投影部14的投影分辨率对应时(步骤s111的“是”)，cpu21认为在该时点已完成多个图像的最佳配置，确定对各输入图像的设定后将其设定在上述定标器12中(步骤s113)，至此完成了该图3的处理，并且完成了初始设定，而转移到实际的投影动作。
根据以上详述的本实施方式，能根据输入的多个图像信号，尽可能减少非投影区域而有效使用画面的面积。
另外，在上述实施方式中，以均匀分割画面的情况为基准，对进行各图像的放大/缩小的范围设定限制，由此能避免多个图像间的面积的平衡极端混乱，能提供容易观看的自然的图像。
而且，在上述实施方式中，考虑到投影部14的投影分辨率，进行各图像的尺寸调整，使得在能可靠地辨认配置设定后的各图像的基准的文字尺寸的状态下进行投影，因此特别能确保对重视文字信息的存在的文档图像等进行投影的情况下的画质。
另外，在上述实施方式中，在如例示的rgb输入、视频信号输入或hdmi(注册商标)输入等这样将图像本身信号化而进行输入的情况下，通过文字识别处理，从图像中识别文字及其尺寸，因此也能应对这些图像信号的输入。
此外，虽然在上述实施方式中没有说明，但是也可以想到会有如下情况：在投影仪1中，不是在与屏幕sc正对的状态下进行图像的投影，而是以投影光轴与屏幕不正交这样的斜的投影角度执行投影的环境。
在该情况下，为了避免在投影面上形成在远离进行投影的装置的一侧投影范围扩大这样的梯形的投影，具有梯形校正功能的机型较多。
在该梯形校正功能中，通过预先在用于形成光像的显示元件部限制进行显示的范围使其为倒梯形，将在投影面上投影的图像维持为矩形，结果是，离进行投影面上的投影的装置越远侧，分辨率越降低。
因此，在考虑到作为基准的文字尺寸和投影分辨率来设定图像的放大/缩小率的情况下，也考虑到梯形校正功能的执行带来的分辨率的降低，特别是对图像的缩小率设定限制，由此能可靠地避免进行投影的画质的降低。
此外，在上述实施方式中，说明了将多台个人计算机进行有线连接和无线连接而应用于将多个图像投影到非投影对象的屏幕等的投影仪的情况，但是本发明不限于此，例如，在如将从多个智能手机投稿的图像合成并显示到1台平板终端的画面这样的应用程序等当中，也同样是有用的。
在这一点上，无论在整体上纵横比相似的纵长图像和横长图像混合存在的情况下，还是在纵横比极端不同的图像例如用毛笔书写有俳句的诗笺的纵长图像等混合存在来生成合成图像的情况下，根据本发明的技术，均能尽量消除无用的显示区域。
此外，在本发明中，即使在由输入部输入的多个图像信号的纵横比不同的情况下，也能使显示部中的多个图像的像素利用率最大，使作为在显示部上不显示为图像的区域的无用部分最小。
此外，本发明不限于上述实施方式，能在实施阶段中在不脱离其主旨的范围内进行各种变形。另外，各实施方式也可以适当组合进行实施，在该情况下能得到组合的效果。而且，上述实施方式中包含各种发明，通过从公开的多个构成要件选择出的组合能提取出各种发明。例如，即使从实施方式中示出的全部构成要件删除几个构成要件，在能解决问题并得到效果的情况下，删除该构成要件后的构成能被提取为发明。
以下附记在本申请的原始权利要求书中记载的发明。
一种计算机可读取的存储介质，存储有能由计算机执行的程序，该计算机内置有具备从多个外部设备输入多个图像信号的输入部和显示图像的显示部的装置，上述程序使上述计算机作为如下各部发挥功能：
设定部，其基于与由上述输入部输入的多个图像信号分别对应的纵横比，设定上述多个图像的显示条件；以及
显示控制部，其基于由上述设定部设定的内容，从由上述输入部输入的多个图像信号生成合成图像并显示在上述显示部中。