显示控制装置和显示控制方法

显示控制装置和显示控制方法
【专利摘要】根据实施例，提供了显示控制装置和显示控制方法。显示控制装置包含第一接收器、第一确定单元和显示控制器。第一接收器被配置成接收屏幕上的坐标值，该坐标值按照用户的操作以时间序列被输入。第一确定单元被配置成确定由第一接收器接收到的坐标值所形成的图形的定位，以致该图形被放进非活动区域，该非活动区域不同于在屏幕上显示指示正在被执行的程序的第一内容的第一显示区域，并且将非活动区域中布置有图形的区域确定为第二显示区域。显示控制器被配置成控制以在第二显示区域上显示指示不同于第一内容的程序的第二内容。
【专利说明】显示控制装置和显示控制方法
[0001]相关申请的交叉引用
[0002]这个申请基于并且要求2013年7月31日提交的第2013-159853号日本专利申请的优先权的利益；其全部内容通过引用被结合于此。

【技术领域】
[0003]此处描述的实施例一般地涉及显示控制装置、显示控制方法和计算机程序产品。

【背景技术】
[0004]近年来，为了商务用途和个人用途，已经广泛地应用了用于将正在同时被执行的多个计算机程序显示为多个窗口的多窗口操作系统。
[0005]在安装有多窗口操作系统的装置中，已经已知了以下技术。即，已经已知了按照用户的操作来确保在显示屏中的某个位置处的新的显示区域、改变内容显示区域的允许图形的形状等等的技术。


【发明内容】

[0006]此处描述的实施例的目的是提供一种显示控制装置和显示控制方法。
[0007]根据显示装置，包含第一接收器、第一确定单元、和显示控制器。第一接收器被配置成接收屏幕上的坐标值，该坐标值按照用户的操作以时间序列被输入。第一确定单元被配置成确定由第一接收器接收到的坐标值所形成的图形的定位，以致该图形被放进非活动区域，该非活动区域不同于在屏幕上显示指示正在被执行的程序的第一内容的第一显示区域，并且将非活动区域中布置有图形的区域确定为第二显示区域。显示控制器被配置成控制以在第二显示区域上显示指示不同于第一内容的程序的第二内容。

【专利附图】

【附图说明】
[0008]图1是图示根据第一实施例的显示控制装置的配置的实例的图；
[0009]图2图示第一实施例中的笔划的实例；
[0010]图3图示第一实施例中的被绘制的图像数据和笔划的数据结构；
[0011]图4是图示第一实施例中的第一显示区域和非活动区域的视图；
[0012]图5是图示第一实施例中的第一显示区域和非活动区域的视图；
[0013]图6是图示外接第一实施例中的被绘制的图像数据的矩形的视图；
[0014]图7是图示通过将第一实施例中的被绘制的图像数据块识别为图形所获得的结果的视图；
[0015]图8是用于说明第一实施例中的尺寸确定处理的视图；
[0016]图9是用于说明第一实施例中的尺寸确定处理的视图；
[0017]图10是用于说明通过第一实施例中的第一确定单元的处理的视图；
[0018]图11是用于说明通过第一实施例中的第一确定单元的处理的视图；
[0019]图12是图示由包含在根据变形例的被绘制的图像数据中的各个坐标值所形成的图形的视图；
[0020]图13是图示第一实施例中的显示控制装置的操作的实例的流程图；
[0021]图14图示改变变形例中的第一显示区域的方法；
[0022]图15图示改变变形例中的第一显示区域的方法；
[0023]图16是图示根据第二实施例的显示控制装置的功能配置的实例的图；
[0024]图17是用于说明设定第二实施例中的字符输入区域的方法的实例的视图；和
[0025]图18是图示第二实施例中的显示控制装置的操作的实例的流程图。

【具体实施方式】
[0026]下面将参考附图详细地描述各种实施例。
[0027]第一实施例
[0028]图1是图示根据第一实施例的显示控制装置1的功能配置的实例的图。如图1中所示，显示控制装置1包含第一接收器101、获取单元102、第一确定控制器103、和显示控制器104。虽然没有在图1中所示，但是显示控制装置1包含显示各种类型的图像的显示装置。显示装置能够通过触摸屏液晶显示装置等等被配置。在以下描述中，在其上显示图像的显示装置的表面被称为“屏幕”。
[0029]第一接收器101接收按照用户的操作以时间序列输入的屏幕上的坐标值。更具体地，第一接收器101接收由通过手写输入的一个或者一个以上的笔划所形成的被绘制的图像数据。笔划对应于连续的被绘制的图像。在这个实例中，笔划指示利用笔等等所绘制的自笔等等已经与在其上描述文件的表面(在这个实例中，屏幕)接触以后直到笔从该表面被提起为止的轨迹。笔划可以通过某个方法(某个手写输入方法能够被使用)被输入到屏幕上。其实例包含通过在触摸屏(或者触摸板)上移动笔来输入笔划的方法、通过在触摸屏上移动用户的手指来输入笔划的方法、通过操作鼠标来输入笔划的方法、以及通过操作电子笔来输入笔划的方法。注意，该方法不局限于它们。在实施例中，作为手写输入方法，通过移动笔来输入笔划同时使得该笔与触摸屏(屏幕)接触被用作实例。
[0030]通常通过在预定时刻(例如，以恒定周期)采样用户手写的轨迹上的点来获得笔划。在实施例中，每当用户利用笔触摸屏幕来开始书写时，第一接收器101在预定时刻进行采样，以便获取形成一个笔划的屏幕上的坐标值。换句话说，第一接收器101接收以时间序列输入的屏幕上的坐标值。
[0031]图2图示了获取到的笔划的实例。举例来说，假设笔划中的被采样的点的采样周期是恒定的。在图2中，(a)图示了被采样的点的坐标，以及(b)图示了暂时以线性内插方式连续的点结构。取决于绘制速度，被采样的点的坐标之间的间隔是不同的。在各个笔划之中，被采样的点的数目能够是不同的。
[0032]描述了被绘制的图像数据的数据结构以及笔划的数据结构。图3示意性地图示了被绘制的图像数据的数据结构以及笔划的数据结构。如图3(a)中所示，被绘制的图像数据的数据结构是包含“笔划的总数”以及“笔划结构”的阵列的结构。“笔划的总数”指示包含在屏幕的整个区域中的笔划的数目。“笔划结构”的数目对应于笔划的总数。笔划结构指示一个笔划的数据结构。
[0033]如图3(b)中所示，通过在其上移动笔的屏幕上的坐标值的集合(点结构)来表达一个笔划的数据结构。更具体地，一个笔划的数据结构是包含“点的总数”、“开始时间”、以及“点结构”的阵列的结构。“点的总数”指示形成笔划的点的数目。“点结构”的数目对应于点的总数。开始时间指示用户利用笔触摸屏幕来开始书写笔划的时间。
[0034]点结构能够取决于输入装置。在图3(c)的实例中，一个点结构是具有指示点被采样处的坐标值(X，y)以及与初始点(例如，上述开始时间)的时间差的信息的结构。坐标在屏幕的坐标系中，并且例如，在左上角被设定为原点时，可以处于其值随着它们更靠近右下角而向正侧更大的这种形式。
[0035]例如，指示用户使用笔绘制的笔划的数据可以利用如图3中所示的数据结构被保存在存储器(未图示)上。当笔即使在从笔已经从屏幕被提起时的时间点(已经完成一个笔划的输入时的时间点)开始已经经过预定时间段之后也没有再次与屏幕接触时，第一接收器101可以确定用户的手写输入完成。
[0036]再次参考图1继续描述。获取单元102从随后将描述的显示控制器104中获取区域信息。区域信息使得可以在屏幕上指定显示第一内容的第一显示区域以及除了第一显示区域之外的非活动区域。第一内容指示在屏幕上被显示作为窗口并且正在被执行的程序。还能够认为，第一显示区域是在屏幕上被分配给第一内容的区域。当第一内容不存在时，获取单元102获取指定屏幕上的整个区域的区域信息作为非活动区域。此外，各种信息能够被用作指定区域信息中的第一显示区域的信息。例如，指定第一显示区域的信息可以通过包含在对应于第一内容的窗口中的至少等于或者超过一个的坐标群(xl，yl)、(x2, y2)、(x3, y3)、(x4, y4)、(x5, y5)、...、和(xn, yn)来被配置。替代地，指定第一显示区域的信息可以通过外接窗口的矩形的左上坐标(X，y)、指示宽度w的信息、和指示高度h的信息来被配置。
[0037]图4是示意性地图示第一显示区域和非活动区域的实例的平面图。图4中的参考数字401表示整个屏幕。图4中的参考数字402表示显示第一内容的第一显示区域(对应于正在被执行的程序的窗口)。各种内容能够被用作第一内容。其实例包含能够输入文本的内容、能够计算数字的内容、能够预测天气的内容、以及在其上布置回车按钮的内容。
[0038]图4中的参考数字403表示非活动区域。在图4中，当假设整个屏幕401的面积是401A、第一显示区域402的面积是402A、以及非活动区域的面积是403A时，满足401A =402A+403A 的关系。
[0039]图5是示意性地图示第一显示区域和非活动区域的另一个实例的平面图。图5中的参考数字501表示整个屏幕。图5中的参考数字502和503表示对应于正在被执行的程序(第一内容)的窗口。图5中的参考数字504表示非活动区域。如图5中所示，当对应于正在被执行的等于或者超过两个的程序的窗口被显示在屏幕上时，这些窗口被集体地设定为第一显示区域，并且获取单元102获取使得这种第一显示区域能够被指定的区域信息。
[0040]获取单元102将获取自显示控制器104的区域信息供给到第一确定控制器103。
[0041]再次参考图1继续描述。第一确定控制器103确定由第一接收器101接收到的坐标值所形成的图形的位置，以致图形被放进上述非活动区域，并且第一确定控制器103将在非活动区域中的在其上布置有图形的区域确定为第二显示区域。在实施例中，第一确定控制器103基于被绘制的图像数据以及从获取单元102接收到的区域信息，确定由包含在第一接收器101接收到的被绘制的图像数据中的各个坐标值所形成的图形(在以下描述中，有时被简单地称为“图形”)的位置，以致该图形被放进非活动区域。然后，第一确定控制器103将在非活动区域中的在其上布置有图形(其位置已经被确定的图形)的区域确定为第二显示区域。
[0042]如图6中所示，外接被绘制的图像数据的矩形能够被设定为图形。外接矩形指示通过参考来自包含在被绘制的图像数据中的坐标群的最小和最大X坐标以及最小和最大y坐标，将最小X坐标和最小y坐标设定为左上坐标、将最大X坐标和最小X坐标之间的差设定为该矩形的宽度、以及将最大1坐标和最小y坐标之间的差设定为该矩形的高度所获得的矩形。在图6的实例中，参考数字602表示外接被绘制的图像数据601的矩形，参考数字604表示外接被绘制的图像数据603的矩形，和参考数字606表示外接被绘制的图像数据605的矩形。
[0043]在实施例中，第一确定控制器103将外接第一接收器101接收到的被绘制的图像数据的矩形设定为上述图形，并且确定该图形的位置，以致被设定的图形被放进由从获取单元102接收到的区域信息所指定的非活动区域。虽然第一确定控制器103在实施例中从获取单元102接收区域信息，但是第一确定控制器103不局限于以这种方式接收区域信息。替代地，例如，第一确定控制器103可以从显示控制器104获取区域信息。在这种情况下，不需要设置获取单元102。
[0044]虽然如上所述，在实施例中，由第一接收器101接收到的坐标值所形成的图形被表达为在其中包含第一接收器101接收到的坐标值以致矩形的面积最小的矩形，但是该图形不局限于此。例如，通过进行抗锯齿处理所获得的结果能够被设定为上述图形，通过抗锯齿处理，使得轮廓比第一接收器101接收到的被绘制的图像数据的轮廓更平滑。此外，通过对被绘制的图像数据进行图形识别所获得的结果能够被设定为上述图形。图形识别的代表性实例是使用图案识别的方法，并且从而能够识别诸如矩形、椭圆形和三角形的各种形状。
[0045]图7图示了当通过对被绘制的图像数据进行图形识别所获得的结果被设定为上述图形时的实例。在图7的实例中，参考数字702表示通过对被绘制的图像数据701进行图形识别所获得的结果，参考数字704表示通过对被绘制的图像数据703进行图形识别所获得的结果，以及参考数字706表示通过对被绘制的图像数据705进行图形识别所获得的结果。在被绘制的图像数据706情况下，开始点和结束点彼此远离，并且当通过进行抗锯齿处理或者图形识别所获得的结果被设定为图形时，因为封闭区域不存在，所以不能计算图形的面积。为了解决这个，当不能计算被设定的图形的面积时，以及当包含两个封闭区域或者两个以上的封闭区域时，如上参考图6所述，包含其中将外接被绘制的图像数据的矩形重新设定为上述图形的方法的多个方法能够被组合使用作为设定方法。设定方法不必局限于上述方法。
[0046]此外，在实施例中，第一确定控制器103可变地基于图形的边缘和屏幕的边缘之间的距离或者图形的边缘和第一显示区域的边缘之间的距离，来确定上述图形的尺寸。更具体地，当图形的边缘和屏幕的边缘之间不存在第一显示区域并且图形的边缘和屏幕的边缘之间的距离等于或者小于阈值时，第一确定控制器103确定上述图形的尺寸，以致图形的边缘到达屏幕的边缘。另外，当图形的边缘和屏幕的边缘之间存在第一显示区域并且图形的边缘和第一显示区域的边缘之间的距离等于或者小于阈值时，第一确定控制器103确定上述图形的尺寸，以致图形的边缘到达第一显示区域的边缘。在以下描述中，该处理有时被称为“尺寸确定处理”。然后，第一确定控制器103将屏幕中的在其上布置有已经确定了位置和尺寸的图形的区域确定为显示第二内容的第二显示区域。
[0047]在下文中，参考图8描述第一确定控制器103的详细内容。图8中的参考数字801表示整个屏幕。图8中的参考数字802表示第一显示区域。图8中的参考数字803表示非活动区域。图8中的参考数字804表示上述图形(在这个实例中外接被绘制的图像数据的矩形)。在图8的实例中，屏幕的左上角被设定为原点(0，0)，并且X坐标和y坐标的各个值在它们更靠近右下角时向正侧被增加。在图8的实例中，屏幕的宽度被设定为w，并且其高度被设定为h。
[0048]在图8的实例中，假设图形804的左上顶点的坐标是(xt，yt)、图形804的宽度是wl、以及图形804的高度是hi。首先，第一确定控制器103通过比较图形804的坐标值和第一显示区域802的坐标值，来确定图形804和第一显示区域802是否彼此重叠。当第一确定控制器103确定它们彼此不重叠时，第一确定控制器103确定图形804的边缘和屏幕的边缘之间的距离或者图形804的边缘和第一显示区域802的边缘之间的距离是否等于或者小于阈值。
[0049]如通过举个实例所描述的，在图8的实例中，在图形804的上边缘810和最靠近图形804的上边缘810并且与图形804的上边缘810相对的屏幕801的周缘的上边缘811之间不存在第一显示区域802。基于此，第一确定控制器103确定图形804的上边缘810和屏幕801的上边缘811之间在y方向上的距离是否等于或者小于阈值。更具体地，第一确定控制器103确定指示图形804的上边缘810的y坐标“yt”和指示屏幕801的上边缘811的y坐标“0”之间的距离( = yt)是否等于或者小于阈值。该阈值能够通过各种方法被设定。例如，限定的像素数量能够被设定为阈值，或者与屏幕801的近似10%的高度h相对应的值也能够被设定为阈值。
[0050]然后，当第一确定控制器103确定指示图形804的上边缘810的y坐标的“yt”和指示屏幕801的上边缘811的y坐标的“0”之间的距离等于或者小于阈值时，改变图形804的尺寸，以致图形804的上边缘810到达屏幕801的上边缘811，如图9中所示。在图9的实例中，第一确定控制器103将图形804的左上顶点的坐标从(xt，yt)改变为(xt，0)。这将图形804的高度从hi放大到hl+yt。另一方面，当第一确定控制器103确定指示图形804的上边缘810的y坐标的“yt”和指示屏幕801的上边缘811的y坐标的“0”之间的距离大于阈值时，不进行如图9中所示的改变。
[0051]再次参考图8描述另一个实例。在图8的实例中，在图形804的左边缘812和最靠近图形804的左边缘并且与图形804的左边缘相对的屏幕801的周缘的左边缘之间存在第一显示区域802。基于此，第一确定控制器103确定图形804的左边缘812和最靠近图形804的左边缘812并且与图形804的左边缘812相对的第一显示区域802的周缘的右边缘814之间在X轴方向上的距离是否等于或者小于阈值。该阈值能够通过各种方法被设定。例如，限定的像素数量能够被设定为阈值，或者与屏幕801的近似10%的宽度w相对应的值也能够被设定为阈值。
[0052]然后，以上述相同的方式，当第一确定控制器103确定图形804的左边缘812的x坐标和第一显示区域802的右边缘814的X坐标之间的距离等于或者小于阈值时，改变图形804的尺寸，以致图形804的左边缘812到达第一显示区域802的右边缘814。另一方面，当第一确定控制器103确定图形804的左边缘812的x坐标和第一显示区域802的右边缘814的X坐标之间的距离大于阈值时，不进行上述改变。
[0053]第一确定控制器103对于图形804的其他边缘(下边缘、右边缘)进行与上述处理相同的处理。
[0054]当第一确定控制器103确定图形804和第一显示区域802如图10中所示的彼此重叠时，改变图形804的尺寸(图11的实例中的宽度)，以致图形804和第一显示区域802如图11中所示的彼此不重叠。在图11的实例中，第一确定控制器103通过切除图形804与第一显示区域802重叠的部分来进行尺寸改变。尺寸改变方式不局限于此，并且例如，第一确定控制器103还能够改变图形804的位置，以致图形804被放进非活动区域803，以便不与第一显示区域802重叠，而不改变图形804的尺寸。然后，第一确定控制器103还能够在改变图形804的尺寸和位置之后进行上述尺寸确定处理，以致图形804不与第一显示区域802重叠。
[0055]此外，在与实施例不同的通过对被绘制的图像数据进行图形识别所获得的结果被设定为上述图形的情况下，即使当图形1304不是如图12中所示的矩形时，也能够通过计算外接被设定的图形1304的矩形并且将其用于上述尺寸确定处理，来获得与上述结果相同的结果。
[0056]再次参考图1继续描述。显示控制器104控制以在显示单元(未图示)上显示各种类型的图像。在实施例中，显示控制器104控制以在第二显示区域上显示指示与第一内容不同的程序的第二内容。此外，显示控制器104还设定上述区域信息。当第二内容被预先确定时，显示控制器104控制以显示该内容。另一方面，当第二内容没有被确定时，显示控制器104控制以通过添加使得用户能够可视地检查第二显示区域的效果来显示第二显示区域。显示第二内容的方法的实例如下。被显示以便被放进第二显示区域的第二内容可以以放大或者缩小的方式被显示。替代地，第二内容可以被显示，而不改变放大率，并且通过添加滚动条等等，在内容中显示命令按钮等等处的位置可以是可变的。显示第二内容的方法不必局限于它们。
[0057]效果的实例包含各种方法，诸如通过利用线条、虚线等等来突出第二显示区域的外周的方法(通过突出显示的方法)，以及通过利用某个颜色来填充第二显示区域的方法。可以设定某个颜色的透过率，以致非活动区域的背景能够以透视的方式被看到。总之，显示控制器104能够控制以突出第二显示区域来用于显示，并且控制以利用其透过率被设定的某个颜色填充第二显示区域来用于显示。另外，显示控制器104可以按照显示区域的形状来确定内容中的命令按钮的布置。更具体地，命令按钮能够被布置在外接第二显示区域的矩形的右上坐标周围。
[0058]上述显示控制装置1的硬件配置是使用包含中央处理单元(CPU)、诸如只读存储器(ROM)和随机存取存储器(RAM)的存储装置、显示装置、以及输入装置的计算机的硬件配置。CPU执行存储在存储装置中的程序，以便执行上述显示控制装置1的各个部分(第一接收器101、获取单元102、第一确定控制器103、和显示控制器104)的功能。各个部分不局限于以这种方式被执行，并且上述显示控制装置1的各个部分的至少一部分功能可以通过硬件电路(例如，半导体集成电路)被执行。此外，实施例中的显示控制装置1可以通过个人计算机(PC)、平板终端、或者移动终端被配置。
[0059]接下来，描述实施例中的显示控制装置1的操作的实例。图13是图示显示控制装置1的操作的实例的流程图。如图13中所示，首先，第一接收器101接收通过手写输入的被绘制的图像数据(步骤S201)。然后，获取单元102从显示控制器104获取上述区域信息(步骤S202)。第一确定控制器103将外接在步骤S201接收到的被绘制的图像数据的矩形设定为上述图形(步骤S203)。随后，第一确定控制器103确定在步骤S203设定的图形的位置，以致该图形被放进由在步骤S202获取到的区域信息所指定的非活动区域，并且进行上述尺寸确定处理，以便确定该图形的尺寸。然后，第一确定控制器103将屏幕上的在其上布置有已经确定了位置和尺寸的图形的区域确定为第二显示区域(步骤S204)。此后，显示控制器104控制以在第二显示区域上显示第二内容(步骤S205)。
[0060]如上所述，在实施例中，外接通过手写输入的被绘制的图像数据的矩形(图形)的位置被确定，以致该矩形被放进非活动区域，并且在屏幕上的在其上布置有矩形的区域被设定为显示第二内容的区域。这能够实现显示第二内容的区域能够按照用户的输入被设定以具有合适的尺寸的有益效果。
[0061 ] 在实施例中，可变地基于矩形的边缘和屏幕的边缘之间的距离或者矩形的边缘和显示正在被执行的第一程序的第一显示区域的边缘之间的距离，来确定矩形的尺寸。更具体地，当矩形的边缘和屏幕的边缘之间不存在第一显示区域并且矩形的边缘和屏幕的边缘之间的距离等于或者小于阈值时，确定矩形的尺寸，以致矩形的边缘到达屏幕的边缘。另夕卜，当矩形的边缘和屏幕的边缘之间存在第一显示区域并且矩形的边缘和第一显示区域的边缘之间的距离等于或者小于阈值时，确定矩形的尺寸，以致矩形的边缘到达第一显示区域的边缘。也就是说，在实施例中，当矩形的边缘和屏幕的边缘之间的空白区域或者矩形的边缘和第一显示区域的边缘之间的空白区域小于预定尺寸时，第二显示区域被设定，以便在其中包含该空白区域。这能够确保第二显示区域的足够尺寸。
[0062]第一实施例的变形例
[0063]例如，当第一接收器101接收针对生成非活动区域的输入，同时非活动区域不存在(屏幕的整个区域是第一显示区域的情形)时，显示控制器104还能够改变第一显示区域，以便生成非活动区域。然后，当已经生成了非活动区域时，接收手写输入。随后，进行与上述第一实施例相同的处理。作为针对生成非活动区域的输入，能够采用各种模式，诸如通过利用用户的手指或者笔从右到左、从左到右、从上到下、和从下到上来搜索屏幕的轻拂输入，像“一”、“一”、“丨”、和“丨”的符号标记的手写输入，以及通过轻击屏幕预定次数(例如三次)的输入。
[0064]例如，第一显示区域以以下方式被改变。S卩，如图14(a)中所示，当屏幕的整个区域是第一显示区域1401(换句话说，正在被执行的第一内容被显示在整个屏幕上)时，如果第一接收器101接收针对生成非活动区域的输入，那么如图14(b)中所示，显示控制器104改变第一显示区域1401，以便生成非活动区域1403。作为改变方法，非活动区域可以被预先限定，以便具有特定的尺寸，或者活动区域可以按照输入被设定成被生成在左半部分、右半部分、上半部分或者下半部分上。
[0065]如图15(a)中所示，当多个窗口(第一显示区域)占用屏幕的整个区域并且非活动区域不存在时，如果例如与上述输入相同的输入在窗口 1502的区域中被接收到，那么如图15(b)中所示，只能够使得窗口 1502的尺寸变小，以便生成非活动区域1504。
[0066]例如，可以采用其中第一接收器101只有当使得针对生成非活动区域的输入到屏幕中的特定的区域上时才接收输入的模式。特定的区域可以通过任何方法被设定。例如，较佳地，即使当用户进行用于进行针对生成非活动区域的操作(手写操作、轻拂操作、轻击操作等等)输入时也在第一内容的功能正在被执行的同时不抑制第一内容的功能的区域被设定为特定的区域。
[0067]第二实施例
[0068]接下来，描述第二实施例。在第二实施例中，假设第二内容没有被预先确定，并且第二内容在确定第二显示区域之后被确定。与上述第一实施例中的那些部分共有的部分的描述被适当地省略。
[0069]图16是图示第二实施例中的显示控制装置2的功能配置的实例的图。如图16中所示，显示控制装置2进一步地包含设定控制器105、第二接收器106、字符识别单元107、和第二确定控制器108。
[0070]设定控制器105在第一确定控制器103确定第二显示区域之后，将屏幕的至少一部分区域设定为字符输入区域。在实施例中，设定控制器105将与屏幕上的第二显示区域相对应的区域设定为字符输入区域。设定控制器105能够实际上将第二显示区域(在这个实例中，在屏幕1801上的矩形1803中的区域，矩形1803外接由包含通过手写输入的被绘制的图像数据1802中的各个坐标值所形成的图形)设定为字符输入区域。替代地，例如，如图17中所示，设定控制器105还能够将包含屏幕1801上的矩形1803的某个范围1804设定为字符输入区域。字符输入区域不局限于以上述方式被设定。例如，可以采用其中设定控制器105没有被设置并且屏幕的整个区域被用作字符输入区域的模式。
[0071]第二接收器106在第一确定控制器103确定第二显示区域之后，接收已经按照用户的操作以时间序列输入的屏幕上的坐标值。在实施例中，第二接收器106只接收按照用户的操作以时间序列输入在字符输入区域中的坐标值。也就是说，第二接收器106只接收通过手写输入到由设定控制器105设定的字符输入区域上的被绘制的图像数据。例如，在图17中，假设包含矩形1803的某个范围1804被设定为字符输入区域。在这种情况下，第二接收器106在确定第二显示区域之后，只接收通过手写输入到包含矩形1803的范围1804上的被绘制的图像数据1806，而不接收通过手写输入到范围1804的外面上的被绘制的图像数据1807。
[0072]应当注意，例如，在没有设置第二接收器106的情况下，上述第一接收器101还可以起第二接收器106的作用。
[0073]字符识别单元107识别第二接收器接收到的坐标值的轨迹是否表达字符。在实施例中，字符识别单元107确定形成第二接收器106接收到的被绘制的图像数据的每个笔划所属于的字符、图形和表格中的任何一个，以便识别第二接收器106接收到的被绘制的图像数据是否表达字符。字符识别单元107例如使用鉴别器来计算相对于每个笔划的相似性。注意，鉴别器预先学习，以确定每个笔划所属于的字符、图形和表格中的任何一个。然后，为了与文档平面(在这个实例中，屏幕)上的空间接近度和连续性结合在一起，字符识别单元107通过马尔科夫随机场(Markov random field,MRF)来表达相似性。通过估计具有最高不连续性的区域，笔划还能够被划分成字符区域、图形区域、和表格区域(例如，X.-D.Zhou、C.-L.LiU、S.0uin1u、E.Anquetil, “Text/Non-text Ink Stroke Classificat1n inJapanese Handwriting Based on Markov Random Fields，，，ICDAR’OYProceedings of theNinth Internat1nal Conference on Document Analysis and Recognit1n,第 1 卷，第377-381 页，2007)。
[0074]当字符识别单元107识别第二接收器106接收到的坐标值的轨迹表达字符时，第二确定控制器108将与由第二接收器接收到的坐标值的轨迹所表达的字符相对应的程序确定为第二内容。更具体地，当识别出第二接收器106接收到的坐标值的轨迹表达字符时，第二确定控制器108将第二接收器106接收到的坐标值的轨迹(被绘制的图像数据)转换成文本数据，并且将与变换后的文本数据相对应的内容确定为第二内容。文本数据通过标准称呼“字符码”被形成，并且在数据从键盘等等被输入时被使用。具体地，当如图17中所示的被绘制的图像数据1806被输入时，输入的被绘制的图像数据1806被转换成“text”的文本数据，然后，内容列表上的被匹配的内容能够被确定为第二内容。当没有匹配内容时，具有最高匹配率的内容能够被确定为第二内容。当多个内容可能是候选者时，显示作为候选者的多个内容的内容也能够被确定为第二内容。当没有找到候选者时，显示字符串“请再次输入”的内容也能够被确定为第二内容。此外，通过手写输入的被绘制的图像数据不局限于指示程序名称，并且例如，可以指示文件名。另外，当各个内容以及与该内容相对应的诸如字符、图形和标记的被绘制的图像被预先登记时，能够采用包含其中被登记的内容被用于确定第二内容的方法的各种方法，并且确定第二内容的方法不必局限于上述方法。
[0075]上述显示控制装置2的硬件配置是使用包含CPU、诸如ROM和RAM的存储装置、显示装置、以及输入装置的计算机的硬件配置。CPU执行存储在存储装置中的程序，以便执行上述显示控制装置2的各个部分(第一接收器101、获取单元102、第一确定控制器103、显示控制器104、设定控制器105、第二接收器106、字符识别单元107、以及第二确定控制器108)的功能。各个部分不局限于以这种方式被执行，并且上述显示控制装置2的各个部分的至少一部分功能可以通过硬件电路(例如，半导体集成电路)被执行。此外，实施例中的显示控制装置2可以通过个人计算机(PC)、平板终端、或者移动终端被配置。
[0076]接下来，描述实施例中的显示控制装置2的操作的实例。图18是图示显示控制装置2的操作的实例的流程图。在如图18中所示的步骤S1701到步骤S1704处的处理内容与在如图13中所示的步骤S201到步骤S204处的处理内容相同，并且其具体描述被省略。
[0077]在步骤S1704处的处理之后，设定控制器105设定上述字符输入区域(步骤S1705)。然后，第二接收器106接收通过手写输入到在步骤S1705处设定的字符输入区域上的被绘制的图像数据(步骤S1706)。第二确定控制器108确定第二内容(步骤S1707)。更具体地，如上所述，当字符识别单元107识别在步骤S1706处接收到的被绘制的图像数据表达字符时，第二确定控制器108将与由在步骤S1706处接收到的被绘制的图像数据所表达的字符相对应的程序确定为第二内容。随后，显示控制器104控制以在第二显示区域上显示第二内容(步骤S1708)。在如图18中所示的在步骤S1704处确定第二显示区域之后，显示控制器104还能够通过添加使得用户能够可视地识别第二显示区域的效果来显示第二显示区域，直到在步骤S1707处确定第二内容为止。
[0078]例如，可以使用一种配置，在该配置中，对应于上述第一实施例的第一模式和对应于上述第二实施例的第二模式被包含作为显示控制装置的操作状态(模式)，并且操作模式能够基于用户的操作或者是否满足特定条件来被切换到任何一个模式。
[0079]计算机程序
[0080]在上述显示控制装置(1或者2)上被执行的程序可以被存储在连接到诸如因特网的网络的计算机中，并且借助于网络通过被下载来被提供作为计算机程序产品。此外，在上述显示控制装置(1或者2)上被执行的程序可以借助于诸如因特网的网络被提供或者分布作为计算机程序产品。另外，在上述显示控制装置(1或者2)上被执行的程序可以被嵌入以及被提供在例如ROM中作为计算机程序产品。
[0081]虽然已经描述了某些实施例，但是这些实施例仅仅通过实例的方式被呈现，而不意欲限制本发明的范围。实际上，此处描述的新颖的实施例可以以各种其他的形式被具体化；此外，在不背离本发明的精神的情况下，可以以此处描述的实施例的形式进行各种省略、替换和变化。附有的权利要求书和它们的同等物意欲覆盖将属于本发明的范围和精神的这种形式或者修改。
【权利要求】
1.一种显示控制装置，其特征在于，包括: 第一接收器，所述第一接收器被配置成接收屏幕上的第一组坐标值，所述第一组坐标值基于用户的操作以时间序列被输入； 第一确定控制器，所述第一确定控制器被配置成定位由所述第一组坐标值形成的图形，以致所述图形被放置在非活动显示区域中，所述非活动显示区域不同于第一显示区域，在所述第一显示区域中，在所述屏幕上显示指示正在被执行的程序的第一内容，并且所述第一确定控制器被配置成将其中布置有所述图形的一部分所述非活动显示区域设定为第~■显不区域；和 显示控制器，所述显示控制器被配置成在所述第二显示区域中显示指示不同于所述第一内容的程序的第二内容。
2.如权利要求1所述的装置，其特征在于，所述第一确定控制器被配置成可变地按照所述图形的边缘和所述屏幕的边缘之间的距离或者所述图形的边缘和所述第一显示区域的边缘之间的距离，来确定所述图形的尺寸。
3.如权利要求2所述的装置，其特征在于， 所述第一确定控制器被配置成，当所述图形的所述边缘和所述屏幕的所述边缘之间不存在所述第一显示区域并且所述图形的所述边缘和所述屏幕的所述边缘之间的所述距离等于或者小于第一阈值时，确定所述图形的所述尺寸，以致所述图形的所述边缘到达所述屏幕的所述边缘，和 所述第一确定控制器被配置成，当所述图形的所述边缘和所述屏幕的所述边缘之间存在所述第一显示区域并且所述图形的所述边缘和所述第一显示区域的所述边缘之间的所述距离等于或者小于第二阈值时，确定所述图形的所述尺寸，以致所述图形的所述边缘到达所述第一显示区域的所述边缘。
4.如权利要求1所述的装置，其特征在于，所述图形指示矩形，所述矩形包含所述第一接收器接收到的所述坐标值，以致所述矩形的面积最小。
5.如权利要求1所述的装置，其特征在于，所述显示控制器被配置成突出所述第二显示区域用于显示。
6.如权利要求1所述的装置，其特征在于，所述显示控制器被配置成用某个颜色来填充所述第二显示区域，所述某个颜色的透过率被设定用于显示。
7.如权利要求1所述的装置，其特征在于，所述显示控制器被配置成，当所述非活动显示区域不存在并且所述第一接收器接收指示生成所述非活动显示区域的输入时，改变所述第一显示区域，以便生成所述非活动显示区域。
8.如权利要求1所述的装置，其特征在于，进一步包括: 第二接收器，所述第二接收器被配置成在所述第一确定控制器确定所述第二显示区域之后，接收所述屏幕上的第二组坐标值，所述第二组坐标值基于所述用户的操作以时间序列被输入； 字符识别控制器，所述字符识别控制器被配置成识别所述第二组坐标值的轨迹是否表达字符；和 第二确定控制器，所述第二确定控制器被配置成，当所述字符识别控制器识别所述第二组坐标值的所述轨迹表达所述字符时，将与由所述第二组坐标值的所述轨迹表达的所述字符相对应的程序确定为所述第二内容。
9.如权利要求8所述的装置，其特征在于，进一步包括设定控制器，所述设定控制器被配置成在所述第一确定控制器确定所述第二显示区域之后，将所述屏幕的至少部分区域设定为字符输入区域，其中 所述第二接收器被配置成基于所述用户的操作，接收以时间序列输入的所述字符输入区域中的坐标值。
10.如权利要求9所述的装置，其特征在于，所述设定控制器被配置成将所述屏幕上的与所述第二显示区域相对应的区域设定为所述字符输入区域。
11.一种显示控制装置的显示控制方法，其特征在于，包括: 接收屏幕上的坐标值，所述坐标值基于用户的操作以时间序列被输入； 定位由所述坐标值形成的图形，以致所述图形被放置在非活动显示区域中，所述非活动显示区域不同于第一显示区域，在所述第一显示区域中，在所述屏幕上显示指示正在被执行的程序的第一内容； 将其中布置有所述图形的一部分所述非活动显示区域设定为第二显示区域；和 在所述第二显示区域中显示指示不同于所述第一内容的程序的第二内容。
【文档编号】G06F3/0484GK104346071SQ201410365940
【公开日】2015年2月11日 申请日期:2014年7月29日 优先权日:2013年7月31日
【发明者】平川大介, 柴田智行 申请人:株式会社东芝