具备多个应用的数据处理装置及方法
【专利摘要】具备多个应用的数据处理装置及方法。仅通过从对在应用的执行中能够受理的多种指示信息(命令)进行了表现的各标识(标记)的排列中由用户指定任意的标识，就能够执行分配给该标识的动作。通过解析文本摄像机(3)对纸片(7)的摄影图像，由此识别由用户指示的纸片(7)上的标记(8)(步骤S37)，通过根据该标记(8)来参照标记表(Y)(步骤S38)，由此读出与该标记(8)对应的命令(步骤S38)，并且对当前执行中的应用指示执行与该命令相应的动作(步骤S39)。
【专利说明】具备多个应用的数据处理装置及方法
【技术领域】
[0001]本发明涉及具备多个应用的数据处理装置及方法。
【背景技术】
[0002]以往，在对个人计算机等数据处理装置输入命令(指示信息)的情况下，作为简化该命令输入的技术，存在作为命令输入介质而使用纸片的技术，即用摄像机摄影用户用指尖等指定纸片上所印刷的多个标识(标记)的任一个的情况，并对其摄影图像进行解析，由此判别哪个标识被指示，并输入分配给该标识的命令的技术(日本特开2012-14606号公报)。
[0003]但是，上述的专利文献的技术是对用户在纸介质小册子(纸片)上指定的标记进行识别，并使与该标记对应的信息内容显示在地面上的引导系统，当由于将标记与信息内容建立对应而能够显示的内容数增加时，纸介质上的标记数也变多，作为整体变得烦杂,反而存在损害操作性的危险性。
【发明内容】
[0004]本发明的课题在于，仅通过用户从对在应用的执行中能够受理的多种指示信息进行了表现的各标识的排列中指定任意的标识，就能够执行分配给该标识的动作。
[0005]本发明具备下述构成。
[0006]本发明一个技术方案为一种数据处理装置，具备多个应用，其特征在于，具备:
[0007]标识存储机构，按每个应用将在该应用的执行中能够受理的多种指示信息与表现了该各指示信息的多种标识建立对应而进行存储管理；
[0008]判别机构，判别从排列输出与当前执行中的应用能够受理的多种指示信息对应的各标识的输出介质内通过用户操作而任意地指定的标识；
[0009]选择机构，根据由上述判别机构判别的标识来参照上述标识存储机构，由此选择与该标识对应的指示信息；以及
[0010]控制机构，进行用于使当前执行中的应用进行按照由上述选择机构选择的指示信息的动作的控制。
[0011]本发明另一个技术方案为一种数据处理装置，具备多个应用，其特征在于，具备:
[0012]取得机构，取得在应用的执行中能够受理的多种指示信息；
[0013]生成机构，按由上述取得机构取得的多种指示信息的每种，生成表现了各指示信息的多种标识；
[0014]标识存储机构，将由上述取得机构取得的多种指示信息与由上述生成机构生成的多种标识建立对应而进行存储管理；以及
[0015]输出机构，对由上述生成机构生成的多种标识进行排列输出。
[0016]本发明另一个技术方案为一种数据处理方法，是具备多个应用的数据处理装置中的方法，包括:[0017]存储管理步骤，按每个应用将在该应用的执行中能够受理的多种指示信息与表现了该各指示信息的多种标识建立对应而进行存储管理；
[0018]判别步骤，判别从排列输出与当前执行中的应用能够受理的多种指示信息对应的各标识的输出介质内通过用户操作而任意地指定的标识；
[0019]选择步骤，根据由上述判别步骤判别的标识来参照上述存储管理步骤中的存储内容，由此选择与该标识对应的指示信息；以及
[0020]控制步骤，进行用于使当前执行中的应用进行按照由上述选择步骤所选择的指示信息的动作的控制。
[0021]本发明另一个技术方案为一种数据处理方法，是具备多个应用的数据处理装置中的方法，包括:
[0022]取得步骤，取得在应用的执行中能够受理的多种指示信息；
[0023]生成步骤，按由上述取得步骤取得的多种指示信息的每种，生成表现了各指示信息的多种标识；
[0024]存储管理步骤，将由上述取得步骤取得的多种指示信息与由上述生成步骤生成的多种标识建立对应而进行存储管理；以及
[0025]排列输出步骤，对由上述生成步骤生成的多种标识进行排列输出。
[0026]发明效果
[0027]根据本发明，仅通过用户从对在应用的执行中能够受理的多种指示信息进行了表现的各标识的排列中指定任意的标识，就能够执行分配给该标识的动作，能够期待操作性的进一步提闻。
【专利附图】
【附图说明】
[0028]图1是表示视频会议系统(通信系统)的框图。
[0029]图2是用于说明构成视频会议系统的数据处理装置I侧的文本摄像机3的图。
[0030]图3是用于说明作为命令输入介质的纸片7的图。
[0031]图4是用于说明标记识别方法的图。
[0032]图5是表示带内置摄像机的数据处理装置I的基本构成的框图。
[0033]图6是用于说明在应用执行中所显示的画面的配置文件X的图。
[0034]图7是用于说明标记表Y的内容的图。
[0035]图8是例示了应用画面的图。
[0036]图9是用于说明片管理表Z的图。
[0037]图10是用于说明数据处理装置I的动作的流程图。
[0038]图11是接在图10的动作之后的流程图。
[0039]图12是接在图11的动作之后的流程图。
[0040]图13是用于说明本实施方式的变形例的图。
【具体实施方式】
[0041]以下，参照图1?图12来说明实施方式。
[0042]图1是表示视频会议系统(通信系统)的框图。[0043]视频会议系统是远程的会议参加者(发言者)彼此能够在自己的终端画面上看到对方的面部图像(例如动画)、资料图像的同时、与对方进行声音通话的通信系统。该视频会议系统是作为带内置摄像机的数据处理装置1，例如经由公用通信网(因特网、无线通信网)2连接有台式、笔记本式的个人计算机、平板终端等便携式终端装置，能够在各数据处理装置I之间进行高速双向通信的远程会议系统。
[0044]在数据处理装置I上，有线连接或无线连接有对会议用的资料等进行摄影的文本摄像机3、将麦克风与头戴式听筒一体化了的耳机4、以及印刷装置5。在这种情况下，会议参加者(发言者)S1、S2、S3、…的全体成员或其中几个人，除了数据处理装置1、耳机4以外，还具备文本摄像机3和印刷装置5。另外，在图示的例中，例示在发言者S1、S2侧具备文本摄像机3、印刷装置5的情况，此外，使发言者S1、S2、S3、…中的一人(发言者S2)为主持人(协调者)。
[0045]数据处理装置I将从自己的内置摄像机(在图1中省略图示)取得的自己的面部图像数据、从文本摄像机3取得的资料图像数据、从耳机4取得的自己的声音数据进行压缩处理，而向其他各数据处理装置I发送，此外，当从其他数据处理装置I接收取得远程会议对方的面部图像数据、资料图像数据、对方的声音数据时，将该图像数据、声音数据进行解压处理而显示在自己的终端画面上、向耳机4进行声音输出、或将资料图像数据向印刷装置5发送而进行印刷输出。
[0046]图2是用于说明在数据处理装置I侧有线连接或无线连接的文本摄像机3的图。
[0047]文本摄像机3为对载放在桌面等上的会议用的资料6等从其上方(大致正上方)进行摄影的台式的数字摄像机，虽然省略图示，但来自摄影透镜的被摄体像在摄像元件(CXD、CMOS等)上成 像，由此能够高精细地摄影静止图像、动态图像。
[0048]此外，文本摄像机3除了作为摄影会议用的资料6的摄像机起作用以外，还作为对载放在其摄影范围内的命令输入用的纸片7进行摄影的摄像机起作用。另外，文本摄像机3构成为，除了包含摄影透镜、摄像元件的图像数据生成部以外，还具有包含中央运算处理装置、图像处理装置等的图像数据处理部，但也可以在数据处理装置I侧具备该图像数据处理部。
[0049]纸片7是按每个应用(例如会议)排列印刷有对该应用能够受理的多种指示信息(命令)进行了表现的各标识(标记)8的纸片，按每个应用(例如会议)从印刷装置5印刷发行纸片7。
[0050]在作为该会议用而将最佳的纸片7载放在文本摄像机3的摄影范围内的状态下，当用户(会议参加者)进行用指尖等指出纸片7上的所期望的标识(标记)8的指出操作时，文本摄像机3对该用户指出标记8的情况进行摄影。数据处理装置I从文本摄像机3取得其摄影图像，并解析该摄影图像，由此判别用户指定了哪个标记8，而输入分配给该标记8的命令。
[0051]另外，指出操作可以使指尖接触或接近标记8，只要能够识别用户指定了哪个标记8，则与其接近程度无关。如此，纸片7在使向标记8的指出操作与数据处理装置I侧的动作(与标记8的种类相应的动作)连动时被使用。
[0052]图3是用于说明纸片7的图。
[0053]纸片7为排列印刷有多种标记8的带状的纸片，在图示的例中，例示了将矩形的标记8排列印刷成2X4的矩阵状的情况。在纸片7的上部右端侧，与片名“会议(I) ”一起印刷有表示了片识别信息(片ID)的条形码信息9。
[0054]各标记8上的字符串写明了能够输入的命令名，例如，在图中，从上段左侧的标记8起印刷有“资料(I) ”、“资料(2) ”、“发言者(SI) ”、“发言者(S2) ”的字符串(命令名)，此夕卜，从下段左侧的标记8起印刷有“发言者(S3) ”、“发言”、“赞成”、“印刷”的字符串(命令名)。
[0055]此处，“资料⑴”、“资料⑵”的标记8，是在要求该资料数据的发送时用户指定的标记。“发言者(si)”、“发言者(S2)”、“发言者(S3)”的标记8，是在要求发言者的影像(面部图像)的发送时用户指定的标记。“发言”的标记8是在自己发言时对主持人要求协调时用户指定的标记。
[0056]“赞成”的标记8，是在对方的发言内容较好的情况下等、传达赞同该发言者的情况时用户指定的标记。如此，印刷在纸片7上的各种标记8和与该标记8的种类相应的动作一对一地建立有关联。另外，纸片7上的各种标记8按每个应用而不同，按每个应用而与不同的动作建立有关联。
[0057]图4是用于说明在利用纸片7而用户进行指出所期望的标记8的指出操作的情况下、其标记识别方法的图。
[0058]当由文本摄像机3摄影用户指出纸片7上的标记8的情况时，数据处理装置I根据其摄影图像而如下地判别(识别)指示了哪个标记8。S卩，纸片7上的矩形标记8的整体由其红色的矩形框(红色框)构成。文本摄像机3通过滤色器功能而仅摄影红色。
[0059]数据处理装置I从由文本摄像机3取得的摄影图像中提取与标记8的矩形框最接近的尺寸的红色框图像。在图示的例中，例示出提取了资料⑴和资料⑵的标记8的红色框图像的情况，从该红色框图像中确定由于用户的指出而红色框具有欠缺(被手指遮断)的部分的红色框图像，将该红色框图像识别为由用户指出的标记8。
[0060]另外，在图示的例中，是资料⑴和资料⑵的标记8中、资料⑵的标记8被识别为用户通过指出操作而指定的标记8的情况。由此，能够获取资料(2)而使其显示在自己的终端画面上。
[0061]图5是表示带内置摄像机的数据处理装置(例如笔记本式的个人计算机)I的基本构成的框图。
[0062]成为数据处理装置I的核心的CPUll是通过来自电源部12的电力供给而动作，根据存储部13内的各种程序来控制该数据处理装置I的整体动作的中央运算处理装置。存储部13存储各种程序、信息，除了存放有用于根据图10?图12所示的动作步骤来实现本实施方式的程序、各种应用等的程序区域13a以外，还具有存储该数据处理装置I所需要的各种数据的数据区域13b和临时存储用的工作区域13c，在数据区域13b中存储有后述的配置文件X、标记表Y、片管理表Z等。
[0063]通信部14在电子邮件功能、因特网连接功能等动作时，与宽带的公用通信网连接(例如光通信连接)。键操作部15具备按钮式的各种键，输入数据、命令。指示器(鼠标)16选择指定画面上的图标、按钮而输入数据、命令。
[0064]此处，在本实施方式中，作为输入当前执行中的应用能够受理的命令的机构，并不限定于如上述那样利用了纸片7的命令输入，还能够通过利用鼠标16来指示指定显示画面上的图标、按钮而输入同样的命令、或通过键操作部15的键操作而输入同样的命令。
[0065]显示部17为具有纵横比不同的画面的高精细液晶显示器或有机EL(ElectroLuminescence:电致发光)显示器，显示作业画面等。内置摄像机18为对其对面的用户(会议参加者)进行摄影的数字摄像机，虽然省略图示，但能够通过使来自摄影透镜的被摄体像在摄像元件(<XD、CM0S等)上成像而高精细地摄影静止图像、动态图像。外部连接部19具有USB (Universal Serial Bus)连接器,能够连接摄影会议用的资料等的文本摄像机3、耳机4、印刷装置5等。
[0066]图6是用于说明在应用执行中显示的画面的配置文件X的图。
[0067]配置文件X为应用画面的布局用，为设定有在应用的执行时显示的画面上将图标配置在哪里、或以怎样的大小来配置等的画面布局的构成的文件。这种配置文件X按照每个应用的画面来设置，在一个应用中使用多个画面的情况下，与画面数对应地设置多个配置文件X。
[0068]如此，在一个应用中设置有多个配置文件X的情况下，按每个配置文件X来准备有纸片7。即，纸片7如上述那样按每个应用来准备，但进一步，在一个应用中设置有多个配置文件X的情况下，按每个配置文件X来准备。
[0069]图示的例为，作为各种应用A、B、C的画面布局用，而设置有“配置文件⑴会议
(I)”、“配置文件⑵会议(2)”、“配置文件(3)会议(3)”的情况。在该“配置文件⑴会议(I)”中设定有内部表(U)、内部表(12)，在“配置文件(2)会议(2)”中设定有内部表
(21)、内部表(22)、内部表(23)，在“配置文件(3)会议(3)”中设定有内部表(31)、内部表
(32)。
[0070]图7是用于具体地表示设置在配置文件X内的内部表的设定内容，并且说明根据该内部表的设定内容而自动生成的标记表Y的内容的图。
[0071]图示的例为，作为配置文件X的内部表，表示“配置文件(I)会议(I)”的内部表
(II)、内部表(12)，内部表(11)具有“命令”、“鼠标指示画面坐标位置”、“键”的各项目。“命令”表示在应用画面上显示的图标、并且表示分配给该图标的命令，图示的例子表示设定有“发言”、“赞成”、“印刷”、…的情况。
[0072]“鼠标指示画面坐标位置”表示通过鼠标操作而选择图标的情况下的图标(“发言”、“赞成”、“印刷”、…)的坐标位置。图8是表示应用画面上的图标的显示例的图。其例示的状态为，在图示的应用画面中配置显示有多人的对方的面部图像，并且作为各种资料而配置显示资料(I)、资料(2)，进一步在应用画面上的规定位置，显示有多个图标。
[0073]“鼠标指示画面坐标位置”表示该应用画面上的图标的显示坐标位置。“键”表示代替鼠标操作中的图标选择的键操作，与图标“发言”、“赞成”、“印刷”对应地分配设定有“F1”、“F2”、“F3”、…的各键。
[0074]内部表(12)具有“命令”、“鼠标指示画面坐标位置”、“键”的各项目，在“命令”中设定有“资料⑴”、“资料⑵”、“资料⑶”、“发信者(SI) ”、“发信者(S2) ”、“发信者(S3) ”、…。根据这种内部表(11)、内部表(12)的设定内容而自动生成标记表Y。
[0075]标记表Y是将使在应用的执行中能够受理的多种命令与表现了该各命令的多种标记8建立了对应的纸片7按每个应用进行存储管理的信息片，具有“命令”、“标记”的各项目。此外，在标记表Y中存储有识别各纸片7的每个的片ID。[0076]在图示的例中，在与内部表(11)对应的标记表Y中，作为与“发言”、“赞成”、“印刷”、…的“命令”对应的“标记”，而设定有“M1”、“M2”、“M3”、…，在与内部表(12)对应的标记表Y中，作为与“资料⑴”、“资料⑵”、“资料⑶”、“发言者(SI) ”、“发言者(S2) ”、“发言者(S3) ” 的“命令”对应的“标记”，而设定有“Μ11”、“Μ12”、“Μ13”、“Μ14”、“Μ15”、“Μ16”。进一步，在标记表Y中，作为对其进行识别的“片ID”而设定有“ ID1”。
[0077]图9是用于说明片管理表Z的图。
[0078]片管理表Z是每当自动生成标记表Y时、就存储管理与标记表Y有关的信息的表，具有“配置文件ID”、“内部表1D”、“片ID”的各项目。
[0079]如此，片管理表Z将使各纸片7的各个与应用的各个建立对应的片ID作为链接信息而存储管理，图示的例子为设定有如下的片管理表Z的情况:“配置文件ID”被设定“应用A(会议(1))”、“内部表1D”被设定“(11)”、“片ID”被设定“ID1”，此外，“配置文件ID”被设定“应用A(会议(I)) ”、“内部表1D”被设定“ (12) ”、“片ID”被设定“ID2”，进一步“配置文件ID”被设定“应用A (会议⑵)”、“内部表1D”被设定“(21)，，、“片ID”被设定“ ID3”。
[0080]接着，参照图10~图12所示的流程图来说明本实施方式的数据处理操作I的动作概念。此处，这些流程图所记述的各功能，以可读取的程序代码的形式存放，按照该程序代码的动作被逐次执行。此外，还能够逐次执行按照经由网络等传输介质传输来的上述程序代码的动作。
[0081]即，除了记录介质以外，还能够利用经由传输介质从外部供给的程序/数据来执行本实施方式特有的动作。另外，图10~图12是表示数据处理装置I的整体动作中本实施方式的特征部分的动作概要的流程图，在从该图10~图12的流程退出时，返回整体动作的主流程(省略图示)。
[0082]图10~图12是用于说明根据起动对象的应用的选择而开始执行的数据处理装置I的动作(本实施方式的特征性动作)的流程图。
`[0083]首先，数据处理装置I的CPU11，在使通过用户操作等而选择指定的应用起动(图10的步骤SI)之后，使其默认画面在显示部17上布局显示(步骤S2)，并且根据默认画面的显示内容对其配置文件X的内部表进行默认设定(步骤S3)。在该状态下，调查是否通过用户操作而指示了画面构成的变更设定(步骤S4)。
[0084]此处，在用户将选择的应用的画面布局例如设定为会议(I)用的情况下，在召开该会议之前，为了将该画面布局适宜地变更设定为会议(I)用而指示画面构成的变更设定。
[0085]此时，在通过用户操作而指示了画面构成的变更设定时(步骤S4中“是”)，进行图标、按钮的追加、删除等根据用户操作来任意地变更画面布局的处理(步骤S5)。由此，当变更画面布局时，调查是否通过用户操作而指示了将该变更后的画面布局登记为配置文件父(步骤36)。
[0086]此时，如果没有该登记指示(步骤S6中“否”)，则返回上述的步骤S4，但如果有该登记指示(步骤S6中“是”)，则进行提取应用画面上的图标、按钮(步骤S7)、并且基于提取的图标、按钮来设定内部表的处理(步骤S8)。在这种情况下，按每个提取的图标、按钮来取得分配给图标、按钮的命令，从而除了对“命令”、“鼠标指示画面坐标位置”的各项目进行设定以外，还对将与特定的图标、按钮对应地分配给该图标、按钮的命令进行输入的“键”项目进行设定。
[0087]接着，调查是否通过用户操作而指示了画面构成的变更设定的结束(步骤S9)，在指示变更设定的结束之前(步骤S9中“否”)，返回上述的步骤S4，以下，反复进行上述的动作(步骤S4?S9)，但在指示了变更设定的结束时(步骤S9中“是”)，存储包括如上述那样设定的内部表的配置文件X，并且生成其配置文件ID而附加到配置文件X (步骤S10)。
[0088]接着，调查是否通过用户操作而指示了标记表(信息片)Y的制作(步骤311)，如果没有该制作指示(步骤Sll中“否”)，则图10?图12的流程结束。
[0089]此外，如果有标记表Y的制作指示(步骤Sll中“是”)，则生成与在上述的步骤S7中提取的各图标对应的标记8 (步骤S12),并基于该标记8来自动生成标记表Y (步骤S13)。在这种情况下，按每个提取的图标、按钮，自动生成使分配给该图标、按钮的命令与如上述那样生成的标记8建立了对应的标记表Y。
[0090]此后，生成片ID并存储到标记表Y中(步骤S14)。由此，当生成标记表Y时，作为与该片有关的信息而生成具有“配置文件ID”、“内部表ID'“片ID”的各项目的记录并追加登记到片管理表Z (步骤S15)。
[0091]此后，将“片ID”变换为条形码信息9，与该条形码信息9 一起将标记表Y内的各“标记”从外部连接部19向印刷装置5发送而印刷输出(步骤S16)。在这种情况下，在印刷装置5侧，根据规定的印刷形式使其将条形码信息印刷到规定的位置，并且依次排列印刷标记表Y的“标记”。例如，排列印刷“标记Ml”、“标记M2”，但在这种情况下，在“标记Ml”中作为命令名而印刷“发言”，在“标记M2”中作为命令名而印刷“赞成”。
[0092]由此，自动发行纸片7，但该纸片7按每个应用(进一步按在应用执行中显示的每个画面(配置文件X))来生成。即，在存在多个在应用执行中显示的画面的情况下，按每个该应用画面来取得图标、按钮(命令)，根据按多个画面的每个而取得的各图标、按钮来生成多种标记，按多个画面的每个来生成标记表Y，并且按多个画面的每个印刷发行纸片7。当这种印刷结束时，图10?图12的流程结束。
[0093]另一方面，如果没有指示画面构成的变更设定(步骤S4中“否”)，则转移至图11的流程，调查是否通过用户操作而指示了配置文件X的读出(步骤S17)。此处，用户在会议的召开时，通过用户操作来指示预先作为会议用而设定的配置文件X的读出。
[0094]此时，在指示了配置文件X的读出时(步骤S17中“是”)，参照片管理表Z，而显示各配置文件X的一览(步骤S18)。而且，当通过用户操作而从该一览画面中选择指定任意的配置文件X时(步骤S19)，参照片管理表Z，而从该选择指定的配置文件X中读出内部表(步骤S20)，使显示部17显示与该内部表的设定内容相应的应用画面(步骤S21)。
[0095]如此，在显示有所期望的会议用的应用画面的状态下，取得来自文本摄像机3的摄影图像(步骤S22)，并通过解析该摄影图像来调查是否通过用户的指出操作而指定了纸片7上的任一个标记8 (步骤S23)。此处，如果没有通过指出操作而指定标记8 (步骤S23中“否”)，则调查是否进行了键操作或鼠标操作的任一个(步骤S24)，如果键操作或鼠标操作均未进行(步骤S24中“否”)，则返回上述的步骤S22。
[0096]此时，在检测到键操作或鼠标操作时(步骤S24中“是”)，根据哪个键被操作、或哪个图标、按钮的位置被鼠标操作，来从内部表中读出与该操作键建立了对应的命令或与鼠标操作了的位置(图标、按钮)的各个建立了对应的命令(步骤S25)，并对当前执行中的应用指示执行与该命令相应的动作(步骤S26)。
[0097]调查通过这种应用的动作执行是否需要向其他内部表转移(步骤S27)，在不需要向其他内部表转移时(步骤S27中“否”)，返回上述的步骤S22而成为操作等待状态，而在需要向其他内部表转移时(步骤S27中“是”)，在将该其他内部表指定为读出对象(步骤S28)之后，返回上述的步骤S20，读出该内部表的设定内容，以下反复进行上述的动作。
[0098]此外，通过解析来自文本摄像机3的摄影图像而通过指出操作指定了纸片7上的任一个标记8时(步骤S23中“是”)，转移至图12的流程，通过解析摄影图像而读入纸片7上的条形码信息并变换为片ID (步骤S29)。
[0099]此后，从片管理表Z读出与当前执行中的配置文件X的内部表建立了对应的“片ID”，并使其与从纸片7读入的片ID进行比较，调查两者是否一致(步骤S30)。S卩，调查放置在文本摄像机3之前的纸片7是否为与当前执行中的应用画面对应的纸片7。
[0100]此时，在检测到两者不一致时(步骤S30中“否”)，由于不是与当前执行中的应用画面对应的纸片7，因此参照预先任意地设定的优先标志(省略图示)，调查是否使从纸片7读入的片ID比从片管理表Z读出的片ID优先(步骤S31)。
[0101]S卩，调查是否使放置在文本摄像机3之前的纸片7比当前执行中的应用画面优先，在设定为不优先时(步骤S30中“否”)，即，在使从片管理表Z读出的片ID优先的情况下，在显示了要求更换纸片7的消息(步骤S36)之后，返回图11的步骤S22。
[0102]此外，在使从纸片7读入的片ID优先的情况下(步骤S31中“是”)，根据该片ID来参照片管理表Z，读出与其建立了对应的配置文件X(步骤S32)，并调查其是否与当前执行中的应用相同(步骤S33)。S卩，虽然片ID不一致，但调查应用是否相同，如果为相同的应用(步骤S33中“是”)，例如在从纸片7读入的片ID为“ID1”、从片管理表Z读出的片ID为“ ID2”的情况下，由于应用同为“A”，因此转移至下一步骤S34，从其配置文件X中读出内部表并使其布局显示(步骤S35)。
[0103]此外，如果两者的应用不相同(步骤S33中“否”)，则在使与从纸片7读入的片ID对应的应用起动(步骤S34)之后，从其配置文件X中读出内部表并布局显示(步骤S35)。
[0104]此外，在从纸片7读入的片ID与从片管理表Z读出的片ID —致的情况下(步骤S30中“是”)，通过解析文本摄像机3对纸片7的摄影图像来识别由用户指示的纸片7上的标记8 (步骤S37),并根据该标记8来参照标记表Y(步骤S38),而读出与该标记8对应的命令(步骤S38)，并且对当前执行中的应用指示执行与该命令相应的动作(步骤S39)。此后，转移至图11的步骤S27。
[0105]如以上那样，本实施方式中，数据处理装置I为，当在排列印刷有与当前执行中的应用能够受理的多种指示信息(命令)对应的各标识(标记)8的纸片7上，用户指出任意的标记8时,判别该标记8,并且根据该标记8来参照标记表Y,由此选择与该标记8对应的命令，并使当前执行中的应用进行按照该命令的动作，因此能够将纸片7上的各标记8的排列作为应用单位，对于用户来说，仅通过从数量少的标记排列中指出所期望的标记8，就能够执行分配给该标记8的动作，能够期待操作性的进一步提高。
[0106]S卩，应用执行中(会议中)的画面整体，如图8所示那样烦杂且难以看清，需要在正确的位置进行操作，对于不习惯操作的用户，操作性较差，但由于仅通过在应用单位的纸片7上指出任意的标记8的指出操作即可，因此能够期待操作性的提高，能够专注于会议。[0107]CPUll根据从纸片7取得的条形码信息(片ID)来参照片管理表Z，由此确定与该片ID对应的应用，在该应用为当前执行中的情况下，判别用户在纸片7上指定的任意的标记8，因此能够根据纸片7来确定应用，并且在该应用为当前执行中的情况下，能够使使用了纸片7的标记指定有效，能够维持纸片7与应用的对应关系。
[0108]在根据纸片7而确定的应用不为当前执行中的情况下，通过消息显示来报知该内容，因此对于用户来说，通过进行纸片7的更换，能够维持纸片7与应用的对应关系。
[0109]在根据纸片7而确定的应用不为当前执行中的情况下，使该应用起动，因此对于用户来说，不进行特别的操作就能维持纸片7与应用的对应关系。
[0110]作为输入当前执行中的应用能够受理的命令的机构，并不限定于利用了纸片7的命令输入，还能够通过利用鼠标16来指示指定显示画面上的图标而输入命令，因此对于习惯操作的用户来说，能够选择输入机构，使用性能变好。
[0111]作为输入当前执行中的应用能够受理的命令的机构，并不限定于利用了纸片7的命令输入，还能够通过键操作来输入命令，因此对于习惯操作的用户来说，能够选择输入机构，使用性能变好。
[0112]标记表Y按一个应用内的每个配置文件X使该应用执行了该配置文件X时能够受理的多种命令与表现了该各命令的多种标记8建立对应而存储管理，因此能够使在应用的执行时所显示的画面布局的构成与多种标记8建立对应。
[0113]取得在应用的执行中能够受理的多种命令，而生成表现该各命令的标记8并存储到标记表Y中，因此能够进行标记表Y的自动生成。
[0114]在由文本摄像机3摄影了用户在纸片7上指定了任意的标记8的状态时，数据处理装置I通过解析其摄影图像来判别指定了哪个标记8，因此对于用户来说，仅通过指出标记8的方向就能够进行应用处理。
[0115]取得在应用的执行中能够受理的多种命令，并且生成表现了各命令的多种标记8，使该多种命令与多种标记建立对应而存储到标记表Y中，并且将生成的多种标记排列输出，因此对于用户来说，仅通过在自动生成的纸片7上指出任意的标记8，就能够执行分配给该标记8的动作，能够期待操作性的进一步提高。
[0116]在应用的执行中能够受理的多种命令，还能够成为分配给通过鼠标16的操作而能够指示指定的显示画面上的各图标、按钮的命令，因此作为输入当前执行中的应用能够受理的命令的机构，并不限定于利用了纸片7的命令输入，还能够利用鼠标16进行命令输入，对于习惯操作的用户来说，能够选择输入机构，能够期待使用性能的进一步提高。
[0117]在应用的执行中能够受理的多种命令，还能够成为分配给键操作部15上的各键的命令，因此作为输入当前执行中的应用能够受理的命令的机构，并不限定于利用了纸片7的命令输入，还能够进行基于键操作的命令输入，对于习惯操作的用户来说，能够选择输入机构，能够期待使用性能的进一步提高。
[0118]按在应用执行中所显示的多个画面(配置文件X)的每个来取得能够受理的多种命令，根据按多个画面而取得的各命令来生成多种标记，按多个画面的每个使多种命令与多种标记建立对应而存储到标记表Y中，并且按多个画面的每个来排列输出生成的多种标记，因此能够按在应用执行中所显示的多个画面的每个来自动生成纸片7。
[0119]另外，在上述的实施方式中，在利用纸片7而用户进行了指出所期望的标记8的指出操作的情况下，作为其标记识别方法，如图4所示，从各标记8中确定由于指出而红色框具有欠缺(被手指遮断)的部分的红色框图像，将该红色框图像识别为由用户指出的标记8，但在存在多个一部分欠缺了的红色框图像那样的情况下，也可以如下那样从该多个红色框图像中选择其中一个。
[0120]例如，如图13所示，在纸片7上按照3行X4列而排列印刷有标记8的情况下，由于指出而成为多个标记8 (图中被涂黑的标记部分)、即在图示的例中从上方第二行左起第三列的标记8和第三行第三列及第四列的标记8的一部分欠缺(被手指遮断)的状态。
[0121]在这种情况下，也可以为，确定一部分欠缺了的多个标记8中、例如最上侧的标记
8、在图示的例中为第二行第三列的标记8，将该标记8识别为由用户指出的标记8。另外，也可以为，根据指出的方向，将最左侧的标记8或最右侧的标记8识别为被指出的标记8。
[0122]在上述的实施方式中，印刷发行排列印刷有多种标记8的纸片7，但也可以在显示部17上排列显示多种标记8。如果如此排列显示多种标记8，则不需要印刷装置5。
[0123]在上述的实施方式中，由文本摄像机3摄影用户指出纸片7上的标记8的状态，但也可以为，设置在显示面板上配置有触摸面板的触摸显示部(省略图示)，在使该触摸显示部排列显示有多种标记8的状态下，在用户触摸了任意的标记显示位置时，识别所触摸的标记。如果如此排列显示多种标记8，则不需要印刷装置5及文本摄像机等摄像装置。
[0124]在上述的实施方式中，作为表现了命令的多种标识而表示了标记8，但不限定于标记，也可以为字符串、记号等。此外，例如也可以为，在标识的数量较少那样的情况下，将上下左右的位置、区域作为多种标识。
[0125]此外，在上述的实施方式中，例示了适用于视频会议系统的情况，但也可以为视频会议以外的通信系统，并且不限定于系统，也可以为数据处理装置单体。进一步，作为数据处理装置，也可以为台式、笔记本式的个人计算机、平板终端等便携式终端装置，还可以为智能电话等便携式电话机、电子游戏机、音乐播放器、数码像机。
[0126]此外，上述的实施方式中示出的“装置”、“部”，也可以按功能分离为多个壳体，而不限定于单个壳体。此外，上述的流程图所记述的各步骤，并不限定于时间序列的处理，也可以并列地处理或个别独立地处理多个步骤。
[0127]以上，对本发明的实施方式进行了说明，但本发明并非限定于此，而是包括专利请求范围所记载的发明和与其等同的范围。
【权利要求】
1.一种数据处理装置，具备多个应用，其特征在于，具备: 标识存储机构，按每个应用将在该应用的执行中能够受理的多种指示信息与表现了该各指示信息的多种标识建立对应而进行存储管理； 判别机构，判别从排列输出与当前执行中的应用能够受理的多种指示信息对应的各标识的输出介质内通过用户操作而任意地指定的标识； 选择机构，根据由上述判别机构判别的标识来参照上述标识存储机构，由此选择与该标识对应的指示信息；以及 控制机构，进行用于使当前执行中的应用进行按照由上述选择机构选择的指示信息的动作的控制。
2.如权利要求1所述的数据处理装置，其特征在于， 上述标识存储机构为，按每个应用来存储管理将在应用的执行中能够受理的多种指示信息与表现了该各指示信息的多种标识建立对应的信息片，并且存储管理将上述信息片的各个与应用的各个建立对应的链接信息， 上述数据处理装置进一步具备: 取得机构，从排列输出上述多种标识并且输出上述链接信息的输出介质内取得该链接/[目息;以及 确定机构，根据由上述取得机构取得的链接信息来参照上述标识存储机构，由此确定与该链接信息建立对应的应用， 上述判别机构为，在由上述确定机构确定的应用为当前执行中的情况下，判别从上述输出介质内通过用户操作而任意地指定的标识。
3.如权利要求2所述的数据处理装置，其特征在于， 进一步具备报知机构，该报知机构为，在由上述确定机构确定的应用不为当前执行中的情况下，报知该内容。
4.如权利要求2所述的数据处理装置，其特征在于， 进一步具备起动机构，该起动机构为，在由上述确定机构确定的应用不为当前执行中的情况下，使该应用起动。
5.如权利要求1所述的数据处理装置，其特征在于， 具备指示输入机构，该指示输入机构为，通过指示指定在显示画面上显示的图标或按钮，来输入上述当前执行中的应用能够受理的指示信息， 上述控制机构为，根据由上述指示输入机构输入的指示信息、由上述选择机构选择的指示信息的任一个，进行用于使当前执行中的应用进行按照该指示信息的动作的控制。
6.如权利要求1所述的数据处理装置，其特征在于， 具备键输入机构，该键输入机构为，通过键操作来输入上述当前执行中的应用能够受理的指示信息， 上述控制 机构为，根据由上述键输入机构输入的指示信息、由上述选择机构选择的指示信息的任一个，进行用于使当前执行中的应用进行按照该指示信息的动作的控制。
7.如权利要求1所述的数据处理装置，其特征在于， 上述标识存储机构为，按一个应用内的每个配置文件，将在由该应用执行了该配置文件时能够受理的多种指示信息与表现了该各指示信息的多种标识建立对应而进行存储管理。
8.如权利要求1所述的数据处理装置，其特征在于， 进一步具备标识生成机构，该标识生成机构为，取得在应用的执行中能够受理的多种指示信息而生成表现该各指示信息的标识， 上述标识存储机构为，将所取得的上述各指示信息与所生成的上述各标识建立对应而进行存储管理。
9.如权利要求1所述的数据处理装置，其特征在于， 上述判别机构为，通过解析由摄像机构摄影从排列印刷有上述各标识的纸介质或排列显示有上述各标识的显示介质内通过用户操作而指定任意的标识的状态而得到的图像，由此判别指定了哪个标识。
10.如权利要求1所述的数据处理装置，其特征在于， 上述判别机构为，根据通过用户操作而在排列显示有上述各标识的触摸显示部上所触摸的位置，来判别指定了哪个标识。
11.一种数据处理装置，具备多个应用，其特征在于，具备: 取得机构，取得在应用的执行中能够受理的多种指示信息； 生成机构，按由上述取得机构取得的多种指示信息的每种，生成表现了各指示信息的多种标识； 标识存储机构，将由上述取得机构取得的多种指示信息与由上述生成机构生成的多种标识建立对应而进行存储管理；以及 输出机构，对由上述生成机构生成的多种标识进行排列输出。
12.如权利要求11所述的数据处理装置，其特征在于， 在应用的执行中能够受理的多种指示信息，是分配给能够通过指示输入机构进行指示指定的显示画面上的各图标或各按钮的指示信息。
13.如权利要求11所述的数据处理装置，其特征在于， 在应用的执行中能够受理的多种指示信息，是分配给键输入机构上的各键的指定信肩、O
14.如权利要求11所述的数据处理装置，其特征在于， 上述取得机构为，按在上述应用执行中所显示的多个画面的每个，取得能够受理的多种指示信息， 上述生成机构为，按在上述应用执行中所显示的多个画面的每个，根据由上述取得机构取得的各指示信息来生成多种标识， 上述标识存储机构为，按在上述应用执行中所显示的多个画面的每个，将由上述取得机构取得的多种指示信息与由上述生成机构生成的多种标识建立对应而进行存储管理， 上述输出机构为，按在上述应用执行中所显示的多个画面的每个，对由上述生成机构生成的多种标识进行排列输出。
15.如权利要求11所述的数据处理装置，其特征在于， 上述输出机构为，将由上述生成机构生成的多种标识在纸介质上进行排列印刷、或在显示介质上进行排列显示。
16.一种数据处理方法，是具备多个应用的数据处理装置中的方法，包括:存储管理步骤，按每个应用将在该应用的执行中能够受理的多种指示信息与表现了该各指示信息的多种标识建立对应而进行存储管理； 判别步骤，判别从排列输出与当前执行中的应用能够受理的多种指示信息对应的各标识的输出介质内通过用户操作而任意地指定的标识； 选择步骤，根据由上述判别步骤判别的标识来参照上述存储管理步骤中的存储内容，由此选择与该标识对应的指示信息；以及 控制步骤，进行用于使当前执行中的应用进行按照由上述选择步骤所选择的指示信息的动作的控制。
17.一种数据处理方法，是具备多个应用的数据处理装置中的方法，包括: 取得步骤，取得在应用的执行中能够受理的多种指示信息； 生成步骤，按由上述取得步骤取得的多种指示信息的每种，生成表现了各指示信息的多种标识； 存储管理步骤，将由上述取得步骤取得的多种指示信息与由上述生成步骤生成的多种标识建立对应而进行存储管理；以及 排列输出步骤，对由`上述生成步骤生成的多种标i只进行排列输出。
【文档编号】G06F3/01GK103631376SQ201310367570
【公开日】2014年3月12日 申请日期:2013年8月21日 优先权日:2012年8月24日
【发明者】长谷川浩一, 金村俊明 申请人:卡西欧电子工业株式会社, 卡西欧计算机株式会社