图象合成装置,图象合成方法及所用媒体的制作方法

专利名称：图象合成装置,图象合成方法及所用媒体的制作方法
技术领域：
本发明涉及可用于实际物体和计算机内的假设物体的合成图象的形成设备中的图象合成装置，图象合成方法及其所用媒体。
JP特开平9-6798号文献曾公开一种“信息处理方法及所用装置”，该信息处理方法及所用装置被用为下述系统，它通过附加于实际物体上的彩色编码对由照相机拍摄的该实际物体进行辨别，再以叠加方式将与上述实际物体有关的信息合成于照相机的影象上。
若将上述现有装置置于与监视器成整体的摄象机中，并且写入添加有彩色编码的绘画，则可实现下述的信息提供系统，在该信息提供系统使与该绘画有关的说明显示于监视器中。
另外，作为假设物体与实际物体进行相互作用的系统，在“Procceedings ofUIST’91，ACM，pp.27-33”及“Communications of the ACM，vol 36，no.7，pp.86-96，1993”中公开了“Digital Desk”。
上述系统中，在装置的上方设置照相机和投影仪。于是，根据写于装置的纸(实际物体)上信息，由手指或笔指定操作人员拟作为图象而提取出的数值列或绘画等范围，就可自动提取该数值列等的图象。另一方面，使作为预先由系统存储的另一绘制图象(假设物体)，台式小型计算机的图象等通过投影仪投影于装置的另外的纸(实际物体)上。由此，将上述台式计算机的图象与上述抽出的数值列图象合成，并投影于同一纸面上。该投影图象有如下述的合成图象，通过操作被投影的台式小型计算机的键进行操作，输入上述数值列，这种合成图象表示有好象显示上述数值列的状态。上述系统可按照上述方式用作实际物体的图象与假设物体的图象的图象合成装置。
另外，“Procceedings of CHI’92，ACM，pp.587-592”文献提出，在装置的局部处设置感应板，以便也通过手指进行高精度的指示。
虽然上述现有的信息处理方法及其所用装置指出可通过彩色编码辨别实际物体，通过叠加方式显示与其有关的信息图象，但是上述装置存在下述的问题，即不能从操作人员指定的位置，相对实际书类等实际物体，自动取出所需的信息的图象，不能将该取出图象与假设物体的图象共同进行加工并显示。
也即，在上述现有系统中，操作人员不能自动将所需信息图象从实际物体中提取出，从而具有下述的问题，即不能形成预先存储的实际物体和假设物体组合所形成的合成图象。
按照现有的系统，不能通过手指或笔输入，在作为图象而提取的对象物中指定与所述物体或信息的数量相当的基本区域，故而不能分别单独地提取多个物体的图象。于是，会产生下述问题，即在对象物数量或所处理图象的个数较多的情况下，拟作为图象抽出的对象物指定处理会给该装置的操作人员造成较大负担。
考虑到上述现有装置的问题，本发明的目的在于提供一种图象合成装置，图象合成方法及其所用的媒体，作为采用悬吊式摄影照相机应用于显示实际物体与假设问题的图象合成装置，比如在记录于书类的信息中，以指示杆等指示所需强调的信息部分，可自动地对上述信息检测，所述信息指操作人员所拟强调的信息区域，或其所拟强调的信息为文字，或照片，另外可自动地进行下划线或加网线等，具有其信息特征的装饰处理。
另外，考虑到上述现有系统中的上述问题，本发明的另一目的在于提供一种图象合成装置，图象合成方法及所用媒体，所述图象合成装置包括取出轮廓功能，这种提取轮廓功能是通过将拟提取抽出的多个物体放于显示器上，以仅提供1条包围全部这些物体的闭合曲线的方式，分别取出相应的物体。
为了实现上述目的，权利要求1所述的本发明涉及下述图象合成装置，其特征在于该图象合成装置包括给定的拍摄机构；指示位置检测机构，用于从拍摄机构拍摄的图象，对显示信息的面上给出的指示信息位置进行检测；指示对象信息检测机构，用于检测与提供上述指示位置检测机构所检测出的指示位置对应地，显示于所述面上的指示对象信息的区域和/或其指示对象的信息的特征量；附加图象形成机构，用于根据上述区域和/或特征量、形成附加图象，添加于上述指示对象信息的图象上；图象合成机构，它将上述拍摄机构所得的上述指示对象信息的图象与所形成的所述附加图象进行合成。
权利要求15所述的本发明涉及下述的图象合成装置，其特征在于该图象合成装置包括给定的拍摄机构；闭合曲线信息检测机构，用于检测闭合曲线信息，所述闭合曲线包围下述的多个提取对象候补，它们可构成由上述拍摄机构所拍摄，显示于规定面上的信息和/或多个物体内部，图象提取的对象候补；分别提取机构，用于根据上述检测出的闭合曲线信息和上述提取对象信息候补的图象信息，从上述包围的多个提取对象候补图象中，分别取出相应的提取对象候补的图象；图象合成机构，用于通过上述分别提取的图象，进行图象合成。
权利要求16所述的本发明涉及下述的图象合成装置，其特征在于该图象合成装置包括给定的拍摄机构；闭合曲线信息检测机构，用于检测闭合曲线信息，所述闭合曲线包围所述拍摄机构拍摄的信息内，可构成指示对象的多个指示对象信息；分别抽出机构，用于根据所述测出的闭合曲线信息和指示对象的图象信息，从上述包围的多个指示对象信息图象中分别取出相应的指示对象信息的图象；指示信息检测单元，检测上述分别提取的图象区域和/或其图象的特征量；附加图象形成单元，用于根据上述测出的图象区域和/或图象特征量，形成附加图象，添加于上述指示对象信息的图象上；图象合成机构，用于将上述拍摄机构得出的指示对象信息的图象与上述形成的附加图象进行合成。
再有，权利要求17所述的本发明涉及下述图象合成装置，其特征在于该图象合成装置包括输入显示的整体式显示器；拍摄机构，该拍摄机构用于对上述显示器的显示部中至少一部分进行拍摄；闭合曲线信息检测机构，用于检测闭合曲线信息，所述闭合曲线包围下述多个物体，这些物体可构成放在上述显示器上的多个实际物体内的图象提取对象候补；分别提取机构，用于根据上述测出的闭合曲线信息，以及通过拍摄机构拍摄的上述所包围多个物体的图象信息，从上述包围的多个物体的图象中，分别提取相应的物体的图象；附加图象形成单元，通过上述分别抽出的图象，附加图象形成显示于上述显示器中；显示方法选择单元，用于选择上述所形成的附加图象在显示器中的显示方法；图象合成机构，用于根据上述选择的显示方法，将上述附加图象和上述实际物体的图象进行合成。
另外，权利要求18所述的本发明涉及图象合成装置，其特征在于该图象合成装置包括输入显示整体式显示器；照相机，用于拍摄上述显示器显示单元的至少一部分拍摄；闭合曲线信息检测机构，用于检测闭合曲线信息，该闭合曲线包围下述多个物体，这些物体可构成放在上述显示器上的多个实际物体内的图象提取对象候补；分别提取机构，用于根据上述测出的闭合曲线信息，以及通过照相机拍摄的上述所包围多个物体的图象信息，从上述包围的多个物体的图象中，分别提取相应的物体的图象；附加图象形成单元，用于通过上述分别抽出的图象，形成附加图象显示于上述显示器中；显示方法选择单元，用于选择上述形成的附加图象在显示器中的显示方法；控制单元，用于根据上述选择的显示方法，通过照相机对显示于上述显示器中的附加图象，在放置于上述显示器上的实际物体进行拍摄。
权利要求19所述的本发明涉及图象合成装置，其特征在于该图象合成装置包括输入显示的整体式显示器；拍摄机构，用于拍摄上述显示器显示部分的至少一部分进行拍摄；指示位置检测单元，用于检测以指示位置信息指示放在上述显示器上的实际物体；实际物体提取机构，用于根据上述测出的指示位置信息，从所述拍摄机构拍摄的图象中提取所述实际物体的图象；附加图象形成单元，用于通过上述提取的图象，形成附加图象，显示于上述显示器中；显示方法选择单元，用于选择上述形成的附加图象在显示器中的显示方法；图象合成机构，用于根据上述选择的显示方法，将上述附加图象和上述实际物体的图象进行合成。
权利要求25所述的本发明涉及下述图象合成方法，其特征在于该方法包括下述步骤利用指示信息指示显示信息的面中的指定位置；拍摄上述面上显示的信息和上述指示信息；根据该拍摄结果，检测由上述指示信息指示的指示位置；检测根据上述指示位置而显示于上述面上指示对象的信息的区域和/或特征量；根据上述指示对象信息区域和/或特征量，形成附加图象，附加于上述指示对象信息的图象；将上述指示对象信息的图象与上述所形成的附加图象进行合成。
另外，权利要求27所述的本发明涉及下述的图象合成方法，其特征在于该方法包括下述步骤拍摄显示于规定面上的信息和/或多个物体；提供下述多个提取对象候补的闭合曲线，所述多个提取对象候补构成上述拍摄信息和/或多个实际物体内的图象提取对象的候补；检测上述提供的闭合曲线信息；根据上述测出的闭合曲线和提取对象候补的图象信息，从上述包围的多个提取对象候补的图象中，分别取出相应的提取对象候补的图象；通过上述分别提取的图象，进行图象合成。
下面参照附图对本发明结构的实施例进行描述。


图1为本发明第1实施例的结构方框图；图2为本发明第1实施例的动作步骤流程图；图3为表示上述实施例中的书类实例的示意图；图4为表示上述实施例中用边框画像进行装饰的实例的示意图；图5为表示上述实施例的笔型指示机构检测指示位置和指示区域实例的示意图6为表示上述实施例的笔型指示机构的文字区域和照片区域装饰实例的示意图；图7为表示上述实施例的笔型指示机构的现有装饰区域显示变换方法实例的示意图；图8为本发明第2实施例的结构方框图；图9为本发明第2实施例的动作步骤流程图；图10为表示上述实施例的笔型指示机构上设置的多个标记器及其安装方法实例的示意图；图11为表示上述实施例中的以标记种类识别进行装饰实例的示意图；图12为本发明第3实施例的结构方框图；图13为本发明第3实施例的动作步骤流程图；图14为上述实施例中现有装饰画像显示方法实例的示意图；图15为上述实施例中现有装饰画像选择方法实例的示意图；图16为上述实施例中现有装饰画像复制方法实例的示意图；图17为本发明第4实施例的结构方框图；图18为本发明第4实施例的动作步骤流程图；图19为上述实施例中通过模板比较方式进行书类移动参数推定的一个实例的示意图；图20为本发明第5实施例的结构方框图；图21为本发明第5实施例的动作步骤流程图；图22为上述实施例中以设置标记进行装饰实例的示意图；图23为上述实施例中以设置标记去除方式取消装饰画像实例的示意图；图24为本发明第6实施例的结构方框图；图25为本发明第6实施例的动作步骤流程图；图26为上述实施例中设置用指示机构，对书类倾斜度进行修正的检测指示信息区域实例的示意图；图27为本发明第7实施例的结构方框图；图28为本发明第7实施例的动作步骤流程图；图29为本发明第8实施例的结构方框图；图30为本发明第8实施例的动作步骤流程图31为上述实施例中钩形标记进行的装饰区域指示方法实例的示意图；图32为上述实施例中的钩形标记实例的示意图；图33为上述实施例中以钩形标记进行的装饰结果实例的示意图；图34为本发明第9实施例的结构方框图；图35为本发明第9实施例的动作步骤流程图；图36为本发明第10实施例的方框图；图37为本发明第11实施例的方框图；图38为本发明第12实施例的结构方框图；图39为本发明第12实施例的动作步骤流程图；图40为上述实施例中的在显示器上设置实际物体实例的示意图；图41为上述实施例中由笔输入对实际物体进行选择的实例示意图；图42为上述实施例中的实际物体取出结果实例的示意图；图43为上述实施例中由得实际物体进行装饰的实例示意图；图44为上述实施例中以笔输入方式进行信息记入的实例示意图；图45为上述实施例中提取实际物体部分30具体结构的方框图；图46为上述实施例中提取实际物体步骤的流程图；图47为上述实施例的轮廓模型交叉的实例示意图；图48为本发明第13实施例的结构方框图；图49为本发明第14实施例的结构方框图；图50为本发明第15实施例的结构方框图。
第1实施例图1为本发明图像合成装置第1实施例的结构图。
图1中的标号1表示对记载有信息的书类进行拍摄的照相机，最好为彩色CCD照相机，标号2表示由照相机1对笔100在书类上的指示位置进行检测的指示位置检测单元。标号3表示检测上述指示位置处所记指示信息区域及特征量的指示信息检测单元。标号4表示附加图象形成单元，它可形成与所检出的指示信息特征量对应的附加图象。标号5表示存储由附加图象形成部5形成之附加图象的附加图象存储单元。标号6表示指示位置其它信息附加方法确定单元，它可根据上述检测出的指示位置，确定上述附加图象的合成显示方法。标号7表示使照相机1中的影象与上述附加图象进行合成的图象合成单元，标号8表示显示由图象合成单元7合成的图象用的显示单元，最好为投影仪或显示器。
另外，笔100中最好设置易于对指示位置进行检测的，并且具有规定RGB值的指示器标记100a，以及指示位置检测开始开关100b。标号1000表示由普通ROM或RAM等存储器与CPU构成的控制单元，与上述标号1～8所表示的部分连接，并控制各部分的动作和每个部分之间的数据交换。在这里，笔100、标记100a等部件与本发明的指示机构对应，而指示信息检测部3与本发明的指示对象信息检测机构对应。
下面描述本实施例的动作，并描述本发明图象合成方法的一个实施例。
图2为本实施例图象合成装置的工作过程流程图。
为了以易于理解的方式说明本实施例的工作过程，这里是对式**(overhead)照相机中设有本发明的实例进行描述的。悬吊式照相机一般用于大学中的讲义或演示。如图3所示，这时是在纸或书类上写入文字，或者出示照片或实际的立体物体。该情况与由照相机1拍摄的影象按原样显示于监示器等显示单元8中的情况相当。
按照上述方式，本实施例可用作辅助讲义等的装置，在讲义中希望强调的位置等地方，可根据具有笔的指示位置或指示对象的指示对象信息(在本说明书将“指示对象信息”简称为“指示信息”)的区域或特征，形成各种附加图象(假设物体)，将该附加图象与照相机中的影象合成，对书类等进行装饰等操作。
按照上述实施例，在往白纸上写黑字的常规使用方面，按以笔100指示希望强调的记入部分中的一部分的方式，检测该记入部分的区域。下面对下述实施例进行描述，并且在对与笔100的指示位置相对应的附加图象的控制进行描述的同时，说明本实施例的动作步骤，本实施例特指对上述记入部分的信息特征量进行检测，对该记入部分是文字或照片的记入部分信息特征进行判断，在该记入部分的图象中进行与该特征相适合的装饰。
步骤1a图象的获取通过照相机将图3所示的书类和指示杆100拍摄为图象l(x，y)。
步骤2a指示位置检测开始开关的状态检测当指示位置检测开始开关100b关闭时，由后面将要描述的步骤8a所得到的图象显示于显示单元8中。当上述开关100b打开时，进行步骤3a。
步骤3a笔用标记100a的指示位置的检测
由指示位置检测部2从图象l(x，y)，将下述区域作为指示位置进行检测，该区域指具有规定颜色(标记100a所具有的规定范围的RGB值)的规定尺寸的区域。
比如，就每个象素l(x，y)来说，按顺序检测是否符合表示标记颜色的规定范围RGB值(在标记偏红色的情况下，比如按180＜R＜255且120＜G＜140且60＜B＜120的关系)，当标记的颜色时，在以其象素为中心的规定尺寸的区域，抽出具有表示标记颜色规定范围的RGB值的象素。计算包括全部抽出象素的外接长方形，如果该长方形为规定尺寸，则判定为标记，指示位置处于标记中心(mx，my)。在未对标记进行检测的情况下，进行步骤7a。
步骤4a指示位置的信息附加方法的确定这里，判断是否指示图象端部附近进行，在指示位置处于图象(书类)端部的情况下，比如当图象尺寸为长×宽480×640时，而指示器中心(mx，my)满足mx＜30，my＜30，610＜mx，450＜my中的任何一个关系时，在步骤4a-1中选择图象。
步骤4a-1边框图象的选择附加图象存储部5存储至少一个边框图象，这包括演示的人的职务或讲演的时间，在指示书类端部时，如图4所示，通过图象合成单元7将边框图象叠加于照相机1的影象上，并将其显示于显示单元8中。在存有多个边框图象的情况下，每当指示书类端部时，选择不同的图象。由此，可在形成正常纸页(OHPsheet)时显示所提供的职务、时间或边框，同时可在通常未书写的纸的上述位置提供上述内容。
步骤5a指示位置的信息附加方法的确定这里，判断是否指示未经装饰的信息是否指示，如果有指示，由指示信息检测单元3检测指示器中心附近是否有黑象素。在有黑象素的情况下，存储文字等信息，通过步骤5a-1计算其特征量，通过步骤5a-2形成并存储与该特征量相对应的装饰图象。
步骤5a-1指示对象信息区域和特征量的计算首先，由指示信息检测部3计算指示对象信息区域。在位于相对指示器中心(mx，my)的规定范围内的黑象素中设置标记。在有上述标记的各黑象素中以重新返回的方式设置标记。如果没有带标记的黑象素，则终止标记的设置。
如图5所示，在比如按照与x轴平行的方式显示字符串的情况下，如果将标记的象素x坐标y坐标中的相应的最小值、最大值设为xl，xr，yr，则长方形(xl，yl)-(xr，yr)为指示对象信息区域。
下面计算用来辨别是属于字符串，还是属于照片的特征量，比如指示区域中的全部象素中白色(给定范围的RGB值)象素所占的比例。在指示区域为照片的情况下，白色象素较少。与此相对，在为字符串的情况下，由于黑色象素和白色象素交替显示，所以，与照片的区域相比，白色象素所占比例较大。因此，如果白色象素所占有的比例小于规定的极限值，则为照片区域，如果大于上述极限值，则判定为字符串的区域。
步骤5a-2装饰图象的形成与存储利用附加图象形成部4，根据在步骤5a-1中算出的区域及其特征量，形成装饰用附加图象。
比如，由于以加网纹的方式进行强调照片区域，不容易看清楚，故对照片区域形成镶边，而字符串则以加底纹方式强调。以下述方式形成加底纹图象，即在通过步骤5a-1检测出的指示区域中，将除黑色以外的象素的RGB值置换为规定颜色的RGB值。图6表示指示区域中白色象素所占比例小于15％时形成照片的情况，以及上述比例大于15％时形成字符串情况的装饰结果。另外，经装饰的区域存储于现有装饰区域中。
步骤6a指示位置的信息附加方法的确定判断笔100的指示位置是否位于步骤5a-2中所存储的现有装饰区域内，若判定指示现有装饰区域，则通过步骤7a，根据其位置改变装饰的显示方法。除此之外，进行步骤1a。
步骤7a现有装饰区域显示方法的改变如图7所示，指示位置的另一信息附加方法确定单元6按照下述方式改变显示方法，即将现有装饰区域700划分为多个区域(在图7中，包括前部701和后部702)，比如指示前部701，则消除其装饰，如果指示后部702，则其装饰闪烁，将其与照相机1中的影象合成，并显示于显示单元8中。
另外，在按照上述方式未在步骤3a中检测到标记100a的情况下，进行步骤7a，这时，停止显示所有附加图象。由此，通过下述方式可暂时消除全部附加图象，即在再次于不同的纸上开始写文字之前，在照相机的视场之外按下笔100的开关100b。
步骤8a图象的合成与显示图象合成部7，通过比如叠加等方式将照相机1中的影象，与通过附加图象存储部5形成的装饰用图象进行合成，并显示于显示单元8中。
上面描述的情况是，按照步骤1a～步骤8a中所述顺序，实现第1实施例，则进行演示的人以指示杆指示本人所写信息中要强调的部分，自动取出该部分的特征，之后叠加适合的装饰用图象。
因此，无需变换分别使用各种颜色的笔。另外由于可根据笔的指示位置对装饰方法进行简单的变换，如果指示比如书类的端部附近，则自动提供边框、职务或时间等，或在已装饰的信息部分中，通过其指示位置去掉装饰，或使该装饰闪烁，这样，即使不预先形成演示用的资料，仍可进行有效的演示。
此外，上述步骤中，是根据位于笔等的指示位置的指示对象区域或特征量形成附加图象的，但是也可通过叠加等方式仅仅对下述图象进行合成与显示，这种图象指预先存储于笔等指示位置处的“箭头”等图象。上述方式对于下述情况等很有效，即比如在英语讲课等过程中，将教科书放置于悬吊式照相机处，指示英语单词的重音位置，或者在电视会议或计算机会议过程中，指示手头资料或模型等应予单独强调的地方或当前要说明的部分等情况。
在上述步骤中，虽然以通常的数字化实例举例说明图象l(x，y)，但也可仅打开在指示位置检测开关100b时进行数字化处理。
第2实施例下面说明本发明的图象合成装置的第2实施例。
在第1实施例中，字符串与照片的装饰方法各只有1种，但是第2实施例是按照下述方式构思的，即更简单地采用多种装饰方法。
图8为第2实施例的结构图，在本实施例中，与图1所示的第1实施例相同的结构部分采用相同的标号，故略去对它们的具体说明。
第2实施例与第1实施例的主要不同点在于以标记种类与指示位置判断单元9代替指示位置检测部2用于识别提供给笔等的多个标记的种类，以不同标记相应附加图象形成单元10代替附加图象形成部4，用于形成随着指示器种类的不同而改变的附加图象的。在这里，标记种类与指示位置判断单元9与本发明的指示位置检测机构相对应，而不同标记相应附加图象形成单元10与本发明的附加图象形成机构相对应。
下面通过图9的流程图说明以上述方式构成的第2实施例图象合成装置的动作进行。但是，由于相对表示第1实施例动作的图2流程9增加了新的步骤，故这里仅说明对不同的步骤3b，步骤5b和步骤7b。
在本实施例中，说明下述实例，该实例是按照下述方式构成的，即如图10所示，指示杆前端设有100a-1～100a-4这4种标记，根据照相机1中的影象识别在100a-1～100a-4这4种标记中之一中是否指示书类进行，可以很简单地使用多种装饰方法。
步骤3b标记颜色的判断由标记种类与指示位置判断单元9，判断提供给笔100的，朝向照相机1的指示器的颜色。
具体来说，在图象l(x，y)中，对每种指定的颜色(本实施例中，包括图10所示标记所具有的红色和青色)计算象素的数量，而将具有多个象素的颜色确认为朝向照相机1的笔用标记的颜色。比如，这里检测红色象素的数量和青色象素的数量，比较这些象素数量的大小。由此，可更加灵活地判定没有出现错误，因为即使在有一些笔100，同时检测出有2种颜色的情况下，仍将认为象素数量较多的颜色判定为用于指示的指示器的颜色。
步骤5b指示器种类的判断由标记种类指示位置判断部9，判断是加底纹用标记(100a-1，100a-2)，还是下划线用标记(100a-3，100a-4)。
具体来说，计算由步骤4b测得的笔100上标记区域所具有的规定颜色的象素数量。由于加底纹用标记与下划线用标记相比较，前者中规定颜色的象素数量较少，这样，根据规定的极限值可判断出是属于哪一种标记。另外，标记区域所具有的规定颜色象素数量为通过步骤3b所判定的规定颜色的象素数量。
步骤7a2根据指标记种类形成装饰图象不同标记相应于附加图象形成单元10依步骤5b判定的标记种类，以及由步骤7b1所得的特征量，形成装饰图象。比如，图11表示下述实例，其指示对象信息为字符串情况下的，红色底纹(图11中的标记100a-1)和青色下划线(图11中的标记100a-4)的装饰图象。另外，在指示对象信息为照片的情况下，仅仅改变镶边的颜色。
按照上述第2实施例的结构，由于通过对提供给笔100等多种标记进行识别的方式来改变装饰方法，这样可通过变换多种颜色的笔节省记入的时间，从而可顺利地进行演示。
第3实施例下面说明本发明图象合成装置的第3实施例。
第3实施例是按照下述方式构思的，即相对第1、第2实施例，还以复制等方式再次使用已形成的现有装饰用图象。
图12为第3实施例的结构图。本实施例中与图1所示第1实施例相同的结构部分采用相同的标号，故略去对它们的具体说明。
第3实施例与第1实施例的主要不同点在于还附加的现有附加图象复制单元11，它将存储于附加图象存储单元5中的现有装饰图象一览表与照相机1的影象合成并显示之，通过笔100等对其进行选择，之后将其合成并显示于书类上的另一指示位置。
下面通过图13的流程图说明按照上述方式构成的第3实施例的图象合成装置的工作过程。
如图13所示，由于第3实施例的动作过程是在第1实施例动作程序中的步骤3a与步骤4a之间插入了步骤1c～步骤3c，故这里仅对该插入部分进行说明。
步骤1c现有装饰图象一览表的显示首先，如果迄今，通过附加图象形成部4形成比如1个装饰用的图象，则如图14中左上部分所示，以叠加方式将设有称为“一览表”的标题显示于照相机1的影象中。
接着，如果按照与第1实施例的步骤3a相同的方式测得的指示位置位于该区域内，则如图14所示，以叠加方式将加有底纹的“3.按分裂型轮廓模型取出实际物体”的图象，与标有下划线的“4.原型系统功能”图象显示于照相机1的影象中。
步骤2c现有装饰图象的选择如图15所示，在通过步骤1c以一览表方式显示的现有装饰图象中，按照与第1实施例中的步骤3a相同的方式检测笔100的指示位置，选择位于该指示位置处的现有图象。
步骤3c现有装饰图象的复制
如图16所示，将通过步骤2c所选择的图象以叠加方式显示于以与第1实施例中步骤3a相同的方式检出的笔100的指示位置中。
由上述步骤，则由于实施第3实施例可以一览表的方式显示现有装饰图象，并将其以通过笔等指示的方式进行复制，这样即使在使用多本书类的情况下，仍可不必在书类中以任何程度写入相同的字符串，从而可更加顺利地进行演示。
第4实施例下面说明本发明图象合成装置的第4实施例。
第1～3实施例是针对书类相对照相机保持固定的情况下进行说明的，但是第4实施例则是按照即使在往书类中写字，书类相对其原有位置移动的情况下，现有装饰图象随着书类的移动而叠加于正确的位置。
图17为第4实施例的结构图，该实施例中与图1所示第1实施例相同的结构部分使用相同的标号，故这里略去对它们的详细具体说明。
第4实施例与第1实施例的主要不同点在于还附加移动参数推定部12用于推定书类移动位置，以及，附加图象变形部13它由推定的移动参数使现有的装饰图象变形。
下面参照图18的流程图按上述方式构成的第4实施例图象合成装置的工作过程。第4实施例的动作是在第1实施例动作的步骤1a与步骤2a之间插入下述的步骤1d～步骤4d。
步骤1d有无现有的装饰区在参照附加图象形成部5，具有现有装饰图象的场合下，上述移动参数推定部12进行步骤2d，如果没有现有装饰图象，上述推定部12进行步骤2a。
步骤2d从现有装饰图象选择部分图象为从任意的现有装饰图象中，实现时间上连续的两个图象间的叠加，选择图19所示的小区域作为模板。
另外，上述时间上连续的两个图象为所述书类移动前后时刻的图象，这是由照相机1拍摄的。
步骤3d部分图象的比较与时间上连续的两个图象之间进行模板符合的同时，计算移动参数。由于这种情况下的书类移动主要是平行移动(xd，yd)与旋转运动θ，比如模板在0＜θ＜360°，(xd，yd)∈R(规定的寻找范围R参照图19)之间运动，将亮度值之差的平方和为最小的θ，(xd，yd)作为移动参数。
步骤4d装饰图象的变形借助步骤3d算出的移动参数，使附加图象形成部5中所存的全部图象变形。
按照上述第4实施例，通过部分装饰图象在连续的边框之间进行模板比较，计算书类的移动参数从而使装饰图象变形，则即使在演示过程中书类移动的情况下，仍可正确地对所强调的部分进行装饰。
第5实施例下面说明本发明图象合成装置的第5实施例。
第1实施例指的是通过笔等指定每个地方所强调的部分，用以删除其装饰，这与进行装饰的情况相同，指示该部分。第5实施例的构思是，即以更加简单并且直观的方式进行多点的强调或删除。
图20为第5实施例的结构图，在本实施例中，与图1所示的第1实施例相同的结构部分使用相同标号，故这里略去对它们的具体说明。
第5实施例与第1实施例的主要不同点在于除了笔100等笔型指示机构以外，还采用设置用指示机构200，用于指示以置于书类上的方式进行装饰的部分；采用多个不同指示机构位置检测部14代替指示位置检测单元2，用于对多个不同的指示机构进行检测；采用下述的多个不同指示机构相应指示信息检测单元15代替指示位置检测单元2，该检测单元15用于根据指示机构的种类检测由指示机构指示的信息区域或特征量；另外的多个不同指示机构相应附加图象形成单元16代替附加图象形成单元4，用以根据指示机构种类形成不同的附加图象。在此，本发明的指示机构为包括笔100等笔型指示机构和设置用指示机构200的机构。另外，笔100等的笔型指示机构或设置用指示机构200分别与本发明的指示部件相对应。此外，多个不同指示机构指示位置检测部14与本发明的指示位置检测机构对应，多个不同指示机构相应指示信息检测单元15与本发明的指示对象信息检测机构对应。还有，多个不同指示机构相应附加图象形成单元16与本发明的附加图象形成机构对应。
下面参照图21的流程图说明按上述方式构成的第5实施例图象合成装置的工作过程。这里仅说明与第1实施例的动作不同的步骤2e，步骤2e1，步骤2e2，步骤8e。这里，采用下述实例说明设置用指示机构200，该实例采用与具有前面第1、第2实施例说明的笔100的指示器不同的黄色标记。如图22所示，这里同样是按照第2实施例所示方式，以下述实例说明设置用指示机构，该实例采用了加底纹用标记200a和下划线用标记200b这两种指示器。这里，可通过下述方式简单地实现这两种标记200a，200b，即在比如由玻璃或塑料等材料形成的、象硬币或按钮那样的圆形物体表面通过印刷等方式形成图22所示的不同的形式。另外，还可由下述层状部件简单地形成上述指示器，该部件的内表面构成粘贴面，其外表面印刷有与图22不同的形式。此外，上述按钮形状的物体的素色表面上还可粘贴上述层状部件。
步骤2e设置用指示机构的检测由多个不同指示机构位置检测单元14，从第1实施例的步骤1a获取的图象l(x，y)中，按照与步骤3a相同的方式，将具有规定设置用标记颜色(在规定范围的RGB值中，这里比如是，黄色180＜R＜255，且180＜G＜255，且60＜B＜120)的规定尺寸的区域作为设置用标记进行检测。但是，由于一般设置有多个设用指示器，故抽出全部具有规定颜色的规定尺寸的区域。
以其外接长方形的左上(xl(i)，yl(i))，以及右下(xr(i)，yr(i))的顶点组(xl(i)，yl(i))-(xr(i)，yr(i))存储设置用标记的位置。但是，标号j表示标记的数量。另外，根据区域中所含有的规定颜色的象素数量，可识别加底纹用，以及下划线用这两种标记200a，200b。
步骤2e-1根据设置用指示机构计算指示区域和特征量如图22所示，由多个不同指示机构相应指示信息检测单元16，寻找与检测到的标记位置邻接的长方形区域(xr(i)，yl(i))-(图象宽度，yr(i))中具有最大x坐标的黑色象素，将该x坐标作为xmax(i)。此时，虽然沿x轴方向寻找每个y坐标进行，但在未检测到有规定长度间的黑色情况下，终止寻找。由此，**即使在偏离书类污迹或希望强调的记入部分的痕迹处形成信息，也不臻误取而将这些信息。在这里，长方形(xr(i)，yl(i))-(xmax(i)，yr(i)构成所指示的区域。
接着，按与第1实施例的步骤5a相同的方式，判断指示区域是文字，还是照片。
步骤2e-2设置用指示机构用附加图象的形成按照与第1实施例中步骤5a-2相同的方式，根据由步骤1e-1算出的区域和特征量，形成加底纹用或下划线用的附加图象。
步骤8e由于在步骤1e中，是按照规定时间间隔获取图象l(x，y)的，于是图象合成部7可更新显示部8的图象显示。此时，与设置用标记位置相对应，再次合成附加图象。由此，如果按图23所示方式去除设置用标记，则由于未再次合成附加图象，从而清除装饰。
按照上述方式实现第5实施例，由于按照规定时间间隔检测设置用指示器进行，所以可提供在设置标记时进行装饰，在去除标记时将装饰删除的直观易懂的操作方法。
第6实施例下面说明本发明的图象合成装置的第6实施例。
第4实施例是描述的情况，该即使在书类中写入字等的情况下书类发生偏移，相对其原有位置产生移动的情况下，笔型指示机构的现有指示区域仍以随书类移动的方式而叠加于正确的位置。
与此相对，第6实施例的构思是，在采用第5实施例中所用设置用指示机构的情况下，书类发生移动。
图24为第6实施例的结构图，本实施例中，与图17所示第4实施例及图20所示第5实施例相同的结构部分采用相同的标号，故这里省略对它们的具体说明。
第6实施例与第4、第5实施例的主要不同点在于采用下述设置用标记利用移动参数推定单元17代替移动参数推定单元12，所述推定部17根据设置标记的指示部分的倾斜度计算书类移动参数中的旋转运动，即倾角。由此，如果以平行的方式记人笔型指示机构的指示信息与设置用标记的指示信息，则以设置用标记的指示信息的倾斜度作为书类的倾斜度使演示用部分图象旋转，根据该旋转可计算书类平行移动的参数。在此，设置标记利用移动参数推定单元17与本发明的移动参数计算部对应。
下面根据图25的流程图说明按上述方式构成的第6实施例图象合成装置的工作过程。第6实施例的动作是在第5实施例中动作的步骤1e与步骤3e之间插入下面的步骤1f～步骤6f。
步骤1f计算设置用指示器的指示信息倾角如图26所示，根据多个指示机构相应指示信息检测单元15，首先在与检测有指示器的位置邻接的长方形区域(xr(i)，yl(i))-(图象宽度，yr(i))中寻找对应每个y坐标值y(k)中，具有最大x坐标的黑色象素，将该x坐标作为x-max(k)。此时，在对每个y坐标沿x轴方向进行寻找的过程中，在未检测到规定长度间的黑色情况下，终止寻找。由此，按图26所示的实施例可检测出仅仅位于倾斜的指示信息的上部的候补点。接着，就记入部分的上部候补点，求出最小2乘近似直线A。该直线与照相机坐标系中的x轴间的夹角为指示信息的倾角θ。另外，y(k)不必按照1个的方式增加，如果记入部分的上部候补点也可以为2个以上。
步骤2f设置用指示器的倾斜修正指示区域的检测由于通过步骤1f算出的最小2乘直线A，与照相机坐标系中x轴间的夹角为记入部分的倾角，于是处于下述状态的直线分别构成直线B，B’，该状态指使直线A沿远离原点的方向，及靠近原点的方向平行移动，而且直线A上不存在1个黑色象素。在直线B，B’，与直线x＝xr(i)，x＝(图象宽度)围成的区域内寻找具有最大x坐标x-max(i)的黑色象素。在直线A的倾角θ为正值时，下述区域构成指示信息区域，即直线B与x＝xr(i)的交点B1、从该交点B1至直线B’的垂线的垂足坐标位置B2、x＝x-max(i)与直线B的交点B3、从该交点B3至直线B’的垂线的垂足坐标位置B4这4个点所围成的区域。在此，以照相机1的照相机坐标系(x-y坐标系)为基准，按图26所示方式，沿右旋方向产生的倾角θ正值。
步骤3f笔型指示机构的现有装饰区域的有无参照附加图象形成单元5设置用指示器利用移动参数推定单元17，具有由笔型指示机构形成的现有装饰图象时，进行步骤4f，如果没有上述图象，则进行步骤3e。
步骤4f部分图象根据倾角的变形由于现有装饰图象随书类的移动而变形，因而设置用指示器利用移动参数推定单元17选择第4实施例中步骤2d所述的模板比较用部分图象，使该图象按照通过步骤1f算出的书类倾角旋转变形。
步骤5f部分图象比较的平行移动参数计算按照上述方式，用步骤4f形成模板，在于对时间上为连续的两个图象之间进行比较，计算移动参数。由于模板按照书类旋转移动参数θ作旋转运动，故所计算的移动参数仅仅构成平行移动(xd，yd)。
步骤6f装饰图象的变形由步骤5f计算出的移动参数使附加图象形成部5中所有的全部图象变形。
如果按照上述方式实施第6实施例，在采用设置用标记的情况下，即使在书类产生移动，仍可检测指示区域的倾角和该区域进行，另外即使有由笔型指示机构产生的现有装饰图象，仍可计算出其移动参数，并将现有装饰图象变形且合成，这样在采用设置用标记的演示过程中，即使书类产生移动，仍可正确地装饰希望强调的部分。
第7实施例下面说明本发明图象合成装置的第7实施例。
第5实施例说明的，是该以仅仅设置或去除设置用标记的方式可简单地进行标记的装饰。第7实施例的构思是，导入设置标记的装饰及效果声音，另外可简单地进行操作确认，从而可进一步提高演示的效果。
图27为第7实施例的结构图，本实施例中与图20所示第5实施例相同的结构部分采用相同的标号，故在这里略去对它们的具体说明。
第7实施例与第5实施例的主要不同点在于添加标记数量增减检测单元18，它按照规定时间间隔检测的设置用标记的数量的增减，选择规定声音数据进行。另外，标号19表示存储声音数据的声音数据存储单元，标号20表示重放所选声音数据的扬声器。这里，标记数量增减检测单元18与本发明的设置用标记件增减检测机构对应。
下面参照图28的流程图说明按上述方式构成的第7实施例图象合成装置的工作过程。
第7实施例的动作是在第5实施例动作的步骤8e与步骤9e之间插入下面的步骤1g～步骤4g。
步骤1g边框间的设置用指示器数量的比较由标记数量增减检测单元18，在边框之间对检测出的设置用标记的数量进行比较，若为增加，进行步骤2g，若为减少的场合，进行步骤3g，而在未变化的情况下，进行步骤9e。
步骤2g增加用声音数据的选择选择增加用声音数据，进行步骤4g。
步骤3g减少用声音数据的选择选择减少用声音数据，进行步骤4g。
步骤4g效果声音的输出控制部1000通过扬声器20输出步骤2g或步骤3g中所选的声音数据输出。
由上述步骤，在书类上设置新的指示器或去除上述指示器时，仅仅检测设置用指示器数量的变化，便可在对指示信息进行装饰的同时输出效果声音。
如果按照第7实施例，由于通过指示器数量的增减可识别添加于书类上或从书类上去除指示器的情况，并可根据该识别情况添加效果声音，这样，不仅可以很容易进行操作的确认，而且还可进一步进行高效的演示。
第8实施例下面说明本发明图象合成装置的第8实施例进行。
第1～第7实施例说明的是相对于由逐条记明或拍照构成的较单纯的书类对指示部分进行检测和装饰。第8实施例的构思是，还通过辨认多个标识的形状与对应关系的方式，从而可对图文并茂的书类进行装饰。
图29为第8实施例的结构图，本实施例中与图20所示第5实施例相同的结构部分采用相同的标号，故这里略去对它们的具体说明。
第8实施例与第5实施例的主要不同点在于添加标记形状辨认单元21及标记相应确定单元22，所述标记形状辨认部21用于辨认两种以上的标识形状，所述标记相应确定单元22根据通过标记形状辨认单元21辨认的标识的形状确定规定组合的标记的对应关系。这里，标记形状辨认单元21与本发明的标识形状辨认机构对应，另外上述标记相应确定单元22与本发明的标记相应确定机构相对应。
下面通过图30的流程图说明按照上述方式构成的第8实施例图象合成装置的工作过程。为了更清楚地描述本实施例的工作过程，下面实例中说明，在有图31所示字符串与图形混合的书类中，采用两种钩状标记标记装饰与所见钩形对应的区域装饰。如果所述的标记在比如学校老师进行讲课预习后预先标记教科书中提到的地方也是可以的。还可以将标记指示成层状粘贴于这样的物品上，也可用荧光笔等描绘于书类上。
下面说明第8实施例的动作步骤。第8实施例的动作是在第5实施例动作的步骤1e与步骤2e之间插入下面的步骤1h～步骤5h。
步骤1h钩状形标记的检测由多个不同标记位置检测单元14，检测从图象中规定尺寸的区域作为标记进行检测，该区域具有表示钩形标记的规定颜色(规定范围的RGB值)。
步骤2h标记形状的辨认由标记形状辨认单元21辨认检测出的标记的种类进行辨认。在这里，对图32所示的开始标记与结束标记进行辨认。具体来说，按照图32所示方式，将所检测出的标记区域4等分，在区域0～3中计算具有表示标记规定颜色(RGB值)的象素的数量，如果其数量在区域0中较多，则判定为开始标记，反之，则判定为结束标记。
步骤3h根据标记对应关系检测记入部分由标记相应确定部22，根据是开始标记还是结束标记，确定指定哪个区域。首先，就全部开始标记来说，计算其与位于其右下方的全部结束标记的距离。之后，将该开始标记与上述距离为最小的标记建立对应关系。
步骤4h指示信息的特征量的检测由多个不同标记相应指示信息检测单元15，计算作为指示信息的特征量的，比如指示区域中白色象素所占有的比例。由于一般指示区域中白色象素所占比例满足下述关系，即(图面)＜(字符串)＜(照片)，这样根据适合的极限值可对这些特征量进行辨认。
步骤5h记入部分的装饰由多个不同指示机构相应附加图象形成单元16，在通过步骤3a检测出的指示信息区域中，将以规定颜色的RGB值替换为除黑色以外的象素的RGB值的图象作为附加图象，并且存储于附加图象形单元5中。
按照上述步骤，可使钩形标记正确地建立对应关系，并对图33所示的指定区域进行装饰。
按照第8实施例，则还可对下述书类进行装饰，该书类指不仅包括逐条记明的文字列，而且还包括有文字与图形混合图面的更为复杂的书类。
第9实施例下面说明本发明图象合成装置的第9实施例。
相对第1～第8实施例，第9实施例的构思是，即使在照相机变焦的情况下，仍可正确地显示所强调的部分。
图34为第9实施例的结构图，本实施例中与图1所示第1实施例相同的结构部分采用相同的标号，故在这里略去对它们的具体说明。
第9实施例与第1实施例的主要不同点在于还添加用于检测照相机1变焦倍数的变焦倍数检测单元23，以及根据所检测出的变焦倍数使装饰图象放大缩小的装饰图象放大缩小单元24。
下面根据图35的流程图说明按上述方式构成的第9实施例图象合成装置的工作过程。
第9实施例的动作是在第1实施例动作中的步骤1a与步骤2a之间插入下面的步骤1i～步骤3i。
步骤1i现有指示区域的有无附加图象放大缩小单元24在参照附加图象形成单元5形成现有附加图象时，进行步骤2i，而在没有上述附加图象时，进行步骤2a。
步骤2i变焦倍数的检测通过变焦倍数检测单元23，借助控制单元1000检测照相机1的变焦信号，将其传送给附加图象放大缩小单元24。
步骤3j装饰图象的放大缩小按照通过步骤2l所检测出的变焦倍数，对存储于附加图象形成部5中所存的全部图象进行放大或缩小。
按照上述第9实施例，由于即使在照相机进行变焦的情况下，仍可按照变焦倍数对附加图象进行放大缩小，这样可正确地装饰希望强调的部分，从而可进一步扩大演示的幅度。
第10实施例下面说明本发明的图象合成装置的第10实施例。
第1～9实施例表示的是下述的实例，即用颜色或下划线对笔、设置标记等多个指示机构所指定的区域进行装饰。第10实施例的构思是，不另外显示用规定颜色着色的指定区域。
图36为第10实施例的结构图，本实施例中与图1所示实施例相同的结构部分采用相同的标号，故在这里略去对它们的具体说明。
第10实施例与第1实施例的主要不同点在于添加着色指定区域删除单元25，它用于检测规定颜色着色的所包括的区域，删除该区域的信息的显示。
下面描述上述第10实施例图象合成装置的工作过程。
着色指定区域删除部25连续扫描图象，将具有规定RGB值的相近(比如，标号8附近)象素作为相同的指定区域而设置相同的标记。接着，相对设置有相同标记的规定数量以上的象素组，以规定颜色(RGB值)全部代替设置有标记的同一组中的象素的颜色。
按照上述第10实施例，由于以规定颜色着色的指定区域的信息未显示于显示单元中，当老师以规定的颜色涂敷作为笔记而记录于教科书上的问题答案或注释部分时，听者不能看到不必要的信息。
第11实施例下面说明本发明图象合成装置的第11实施例。
第1～10实施例针对的情况是指由于仅以规定的指示手段指示书类，形成、合成并显示对该指示手段进行装饰或强调的图象，这样可简单高效地进行演示，而第11实施例还考虑了扩大有良好效率的教育系统。
图37为第11实施例的结构图，本实施例与图1所示第1实施例相同的结构部分采用相同的标号，故在这里略去对它们的具体说明。
第11实施例与第1实施例的主要不同点在于还添加有下述的浏览相应文件形成更新单元26，它们能可由互连网中的浏览程序显示的方式保存由图象合成单元5合成的图象。另外，标号27表示受主页管理的服务器，它通过网络等与多个终端连接。
下面说明上述第11实施例的图象合成装置的工作过程。
下面所述实例说明学校的老师在讲课时采用本实施例图象合成装置的情况。控制单元1000向存储图象的存储器装填信息，比如通过按压与控制单元1000相连接的键盘的规定键保存被图象合成单元5合成的图象保存。或还可采用按照与第3实施例相同的方式，在比如照相机1的影象中叠加称为“图象保存”的图象，并用笔等对其进行指示。于是，老师可把讲课时形成的图象中对学生有用的图象保存于系统中。接着，浏览相应文件形成/更新单元26将所保存的图象变换为GIF或JPEG格式，相对服务器27，形成或更新可以此作为参考的HTML文件。由此，学生可从校外阅览上述讲义资料。
如果按照上述步骤实施本实施例11，由于形成的合成图象登录于网络的主页上，这样可通过终端从校外参加大学等学校的讲课，或重复使用讲义资料，另外老师可实现提供报告**(report)课题等的高效教育支持系统。
第12实施例下面说明本发明的图象合成装置的第12实施例。
第1～11实施例针对情况是指由于仅以笔等方式指示记载于书类等中的实际信息，并且以叠加方式显示与该特征对应合成的附加图象，这样可实现高效演示系统，第12实施例的构思是，简单地获取多个实际物体，作为用于合成的附加图象，可将对其加工，合成后的图象传送给传真机或电视机等设备。
图38为第12实施例的结构图，在本实施例中与图1所示第1实施例相同的结构部分采用相同的标号，故在这里略去对它们的具体说明。
第12实施例与第1实施例的主要不同点在于以输入显示整体式显示器28代替显示单元8，本实施例包括输入位置检测单元29，用于检测上述显示器28中的输入位置、实际物体取出单元30，它按照至少可对显示器28的显示部中至少一部分进行拍摄的方式设置照相机1，并且可将抽出置于显示器28中显示部上的实际物体的轮廓，装饰图象形成单元31，通过加工由实际物体取出单元30抽出物体的图象进行，形成用于装饰或强调的、显示于显示器中的附加图象‘用于存储所形成的附加图象的附加图象存储单元32；装饰功能选择单元33，它用于选择所形成的附加图象在显示器中的显示方法；以及图象传送接收单元34，用于接收下述图象，或将该图象传送给传真机或电视机中，所述图象是合成显示器28上的实际物体与上述显示器28中的显示图象得到的。另外，控制单元1000由ROM等存储器与CPU构成，在该存储器中存有与通过上述显示器28输入相对应的处理数据。
下面说明本实施例的工作过程。
图39为第12实施例的图象合成装置的动作的流程图。图40为借助本实施例中输入显示整体式显示器及照相机进行拍摄的范围的一个实例。为了更加清楚地描述本实施例的动作，这里描述的实例是指在加入公司的庆祝仪式上，在领到手表的人上合成谢礼的信息的图象，并将其传送给传真机的场合。
下面对本实施例的动作步骤进行描述。
步骤1j实际物体的设置在借助设在输入显示整体式显示器28上方的照相机1进行拍摄的区域内，设置拟用为信息的实际物体。如图40所示，这里描述的实例中，在显示器28上设置从拟发送信息的一方领取的手表，以及进入公司被确定配属后从公司领到的姓名卡。这里，当显示器28的输入面采用超音波表面弹性波方式或电磁感应式的材料时，即使在放置手表等较硬物体的情况下，仍不致错误地判定在显示器28中具有输入信息。另外，如果该物体较轻，采用压敏式或抵抗膜方式的材料，同样不会出现错误判定。由控制部1000进行控制显示器28中是否有输入。
步骤2j取出实际物体如图41所示，最好将由装饰功能选择单元33进行选择的功能作为图标显示于显示器28中。当按压实际物体抽出图标401时，拟获取的实际物体成变为选择的模式。借助笔输入，以一条闭合曲线包围拟取出的实际物体(这里为手表和姓名卡)。控制单元1000接收笔输入的最终信号，首先通过照相机1获取拍摄区域中的图象，之后启动实际物体取出单元30，以所获取的图象为基础取出实际物体。这里，通过按压笔输入图标411来实现的笔输入的开始及结束。实际物体取出单元30按照图42所示的方式，按照与物体的数量相对应的数量自动将一条闭合曲线分开(在这里为2个)，将手表和姓名卡分别单独取出。后面将在进行详细描述上述方法。另外，如果笔输入为超音波表面弹性波方式，则手指，或橡皮等柔软的材料，压敏式或抵抗膜式时，所述材料也可为普通的圆珠笔的中介这种较硬的材料也可通过手指输入。
步骤3j选择装饰模式的控制单元1000启动装饰图象形成单元31，使所取出的实际物体的图象颜色或形状发生变化，形成装饰用图象，并将该图象存储于装饰图象存储单元32中。虽然上述结果有多种实现方法，但这里说明的是，缩小的实例。控制单元1000将装饰图象形成单元31所形成的装饰图象(图42中由所抽取的实际物体的缩小图象422表示)，及图42所示的装饰模式按钮421，显示于显示器28中。在此，按下述方式选择装饰图象与装饰模式，即以笔等触及显示于显示器28中的图象或按钮的图标相接触。由输入位置检测单元29处理这些输入指示。
也可考虑有多种装饰模式，但是在这里，以“背景”、“边缘”、“自由”这3种模式进行说明。“背景”模式为显示器28的全部显示区域，“缘”模式为沿上述显示区域的内侧，“自由”模式为以笔等在与显示器28接触的任意地方表示相应的装饰图象。图43表示结果，从之是从抽出实际物体的缩小图象422中选择手表图象作为装饰图象，并用笔选择与“边缘”模式相对应的按钮421-a进行而得到的，也即表示控制部1000根据“边缘”模式，沿显示器28显示区域的内侧边缘缩小而形成的手表图象422图象。
步骤4j信息输入以笔输入方式输入拟传送给对方的信息。比如输入图44所示的信息。该笔输入是以下述方式进行的，即通过笔将与输入面接触位置的显示器显示变换为规定颜色(比如黑色)。
步骤5j合成图象传送如图44所示，当按压显示器28中显示的“传送”按钮402时，控制单元1000首先启动图象合成单元7，将由照相机1捕捉到的、位于显示器28上的实际物体的图象数据，与显示于显示器28中的装饰图象的数据或信息数据进行合成图象处理，并保存为位图格式等保存。接着，通过图象传送接收单元34将上述保存的图象变换为数据格式与向其传送数据的设备对应的数据格式，并传送合成图象。比如在向传真机传送数据时，可将图象变换为扫描宽度格式。
此外，由实际物体抽出单元30处理上述通过照相机1而捕捉到的位于显示器28上的实际物体的图象数据，之后传送给图象合成单元7，从而在图象合成单元7中与由存储单元32输出的上述装饰图象的数据等合成。
另外，除了上述的合成方法，也可采用下述方式。
这是一种，由照相机1按照原样拍摄显示器28上的实际物体，以及显示器28显示的装饰图象或信息。这种情况下，还可将照相机1给出的合成图象直接传送给图象传送接收单元34。另外，与前述的合成方法不同，这时显示器28显示的装饰图象或信息等图象的质量较差。
下面具体描述上述步骤2j中用实际物体抽出单元30取出显示器28上实际物体的方法。
图45表示实际物体取出单元30的具体结构图。图45中的标号35表示存储照相机1拍摄的图象的图象存储单元；标号36表示轮廓式样存储单元，它对输入显示器28的闭合曲线作为图象存储单元35中的图象中所存对象物轮廓候补点进行离散处理并存储；标号37表示轮廓试样变形单元，用于按照一定规则使轮廓式样存储单元36中所有的轮廓候补点移动；标号38表示轮廓式样交叉判断单元，用于对按预定组合使上述轮廓候补点连接形成的闭合曲线是否有交叉现象进行判断，标号39表示轮廓分裂单元，用于在由上述交叉判断单元38检测出有交叉时，将轮廓候补点分类成多个组；标号40表示轮廓候补点形成/取消单元，用于在通过上述交叉判断单元38判断没有交叉情况下，添加新的轮廓候补点；或取消上述轮廓候补点，标号41表示用于判断轮廓是否取出完毕的抽出完毕判断单元。
下面参照图46所示的流程图说明按上述方式构成的实际物体取出单元30的工作过程。图象存储单元35由普通的RAM构成，对照相机1拍摄的图象进行数字化处理，并予存储。按照以比如8比特表示其亮度的方式存储经数字化处理的图象中的象素数据。下面描述实际物体抽出单元30的动作程序。
步骤2j-1轮廓候补点的初期配置将构成由前述步骤2j以笔输入方式输入到显示器1中的闭合曲线(轮廓式样)的n个点，存储于轮廓式样存储单元36作为初始轮廓候补点vi(xi(0)，yi(0))(i＝1，2，…，n)。标号i表示连接轮廓候补点所成闭合曲线(轮廓式样)的轮廓候补点连接顺序。上述轮廓式样存储单元36由普通RAM构成。
步骤2j-2轮廓模型的变形由轮廓式样变形单元37使全部轮廓候补点的位置移动1次。由此，将轮廓候补点连接形成的闭合曲线变形。另外，该闭合曲线是按预定的连接顺序连接轮廓候补点形成的。
通过下述方式实现轮廓试样的变形，即沿下述方向使每个轮廓候补点移动，该方向指使在轮廓试样中预先定义的能量-Esnake达到最小。该定义的能量将在后面进行描述。
比如，假使每个轮廓候补点在规定范围内移动，可使上述候补点移动到使Esnake(vi)达到最小的位置，也可对每个轮廓候补点vi(xi，yi)(i＝1，2，…n)计算Esnake(vi)中的最速下降向量(-Esnake/xi，-Esnake/yi)，按下述数学式使上述候补点移动。
xi(t+1)＝xi(t)-Kx( Esnake/xi)yi(t+1)＝yi(t)-Ky(Esnake/yi) (1)但是，t(i＝1，2，…n)表示每个点的移动次数。另外，Kx＞0，Ky＞0为控制轮廓候补点的移动量的恒定数。每个轮廓候补点的第1次移动可按照沿轮廓逐次地，或以每个点各自独立地并列方式进行。但是，在能量-Esnake(vi)增加的情况下，上述候补点不移动。此时，标志**(flag)F(vi)(i＝＝1，对于不移动的轮廓候补点，F(vi)＝0。作为轮廓模型中的能量-Esnake(vi)，可采用由下述公式表示的各能量项之和。另外，可根据对象物的特征采用多种形式理解。
(1)表示轮廓试样的平滑性的EsplineEspline(vi)=(1/2)Σi=1n[Wsp1|vi-vi-1|2+Wsp2|vi+1-2vi+vi-1|2]----(2)]]>使(2)式的结果达到最小值的轮廓候补点的移动方向为使轮廓式样收缩的方向。这里，vi，vi-1，vi+1中的i，i-1，i-1分别附加有字母v。上述情况也同样适用于下面的数学公式。
(2)与围绕轮廓式样的闭合区域的面积相当的EareaEarea(vi)=(1/2)Σi=1nWarea[xi(yi+1-yi)-(xi+1-xi)yi]----(3)]]>但是，xn+1＝x1，yn+1＝y1。使(3)式达到最小值的轮廓候补点移动方向为对应于与轮廓式样垂直的方向。采用Erea，可取出呈下凹形状的对象物的轮廓。在这里，xi，xi+1中的i，i+1分别附加有字母x。另外，yi，yi+1中的i，i+1分别附加有字母y。上述情况同样适用于下述数学公式。
(3)对轮廓候补点间的距离进行平均处理的EdistEdist(vi)=(1/2)Σi=1nWdist{|dav-|vi-vi-1||}2----(4)]]>但是，dav表示轮廓候补点间的距离。(4)图象亮度l(vi)梯度增大的EedgeEedge(vi)=-(1/2)Σi-1nWedge|▿I(vi)|2]]>=-(1/2)Σi=1nWedge[(∂I(vi)/(∂xi)2+(∂I(vi)/yi)2----(5)]]>使(5)式的结果达到最小值的轮廓候补点移动方向为亮度梯度值增大的方向，即对象物朝向轮廓部分的方向。
(5)图象亮度值EintensEintens(vi)=Σi=1nEintensI(vi)----(6)]]>使(6)式的结果为最小值的轮廓候补点移动方向为Wntens＞0时的亮度减小(变暗)方向，和Wintens＞0时的度增加(变亮)的方向。另外，(2)-(6)式中的Wsp1，Wsp2，Warea，Wdist，Wedge，Wintens＞0分别为各能量项的主要系数。
使轮廓式样产生变形，使(2)-(6)中能量项之和达到最小值，则初始轮廓开始收缩，而对于对象物的轮廓部分，使各个能量项造成的轮廓候补点产生移动的向量以平衡方式停止移动。将此时的轮廓候补点按照规定顺序连接形成的多角形作为对象物的轮廓取出。
步骤2j-3轮廓式样的交叉判断由轮廓式样交叉判断单元38对判断在按照规定连接顺序将轮廓候补点连接成的闭合曲线(多角形)中是否共有不同的两条组合产生交叉。但是连接两条的情况除外。交叉的判断比如可按照下述方式进行。如果线段vivi+1与线段vjvj+1有交点，则存在满足下述等式的实数p(0≤p≤1)，q(0≤q≤1)。
p(vi+1-vi)+vi＝q(vj+1-vj)+vj (7)(7)式为关于p，q的联立方程式，它有按下述公式计算的行列式det为0时的解，此时线段vivi+1与线段vjvj+1仅仅在1个点交叉。(但是当det＝0时，会产生线段vivi+1与线段vivj+1一致的情况，根据在行列式计算前轮廓候补点是否一致判断此情况下的交叉。)det＝(xi-xi+1)(yj+1-yj)-(xj+1-xj)(yi-yi+1) (8)因此，如果在det≠0时，按照下述算公式计算出的p，q满足0≤p≤1，0≤q≤1的关系，则判定将轮廓候补点按照规定连接顺序连接形成的多角形(轮廓模型)产生交叉，进行步骤步骤4a，除了上述情况以外，则进行步骤5a。
p＝((yj+1-yj)(xi-xj)+(xj-xj+1)(yi-yj))/detq＝((yi+1-yi)(xi-xj)+(xi-xi+1)(yi-yj))/det (9)步骤2j-4轮廓式样的分裂由轮廓模型分裂单元39将轮廓模型分裂为多个，返回步骤2a。轮廓式样在构成有交点的线段的轮廓候补点处分裂。图47表示在轮廓式样中的能量采用Earea的情况下产生的典型交叉的实例。Earea取正值或负值，本实例中按下述方式将轮廓式样分裂为2个，即按使其符号不变化的方式，分别连接轮廓候补点vi与vj+1，vj与vi+1。因此，连接顺序为{v1，…，vi，vj+1，…，vn}与{vi+1，…，vj}的轮廓候补点组以新分裂的方式分别形成独立的轮廓式样。虽然同时在多处产生交叉，但是反复进行分裂为两个的步骤，可分裂成多个轮廓式样。
步骤2j-5轮廓候补点的形成/删除的判断由轮廓候补点的形成/取消单元40形成新的轮廓候补点或与取消之。比如，可在下述情况下形成轮廓候补点或删除之。当相的轮廓候补点间的距离满足|vi+1-vi|＞DTH时，两点vi，vi+1之间产生新的离散点。DTH为预定的轮廓候补点之间的最大距离。如果具有所形成的离散点，则Gflag＝1，如果没有上述离散点，则Gflag＝0。另外，删除满足COsθ＞θTH(θ为vivi-1与vivi+1之间的夹角)关系的离散点vi。θTH为判断预定的轮廓式样的尖点的阈值。如果有删除的离散点，则Dflag＝1。如果没有这种离散点，则Dflag＝0。通过附加形成轮廓候补点，补充通过分裂而减少的各对象物轮廓候补点的数量，从而可正确地取出多个对象物的轮廓。另外如果按照删除步骤，删除止于的对象物中轮廓以外位置处的轮廓候补点，则可避免错误地取出轮廓。
步骤2j-6取出完毕的判断在全部轮廓候补点不发生移动(i；F(vi)＝0)，也不发生新的轮廓候补点的形成或删除(Gflag＝0并且Gflag＝0)时，由取出完毕判断单元41结束轮廓的取出。除上述情况外，返回步骤2a。
按照上述方式，以步骤1～步骤5和步骤2j-1～步骤2j-6描述的操作顺序实施第12实施例，拟合成的多个实际物体置于显示器上，通过仅仅提供一个包括这些实际物体的闭合曲线，检测随着该闭合曲线的变形而本身产生交叉的情况，将其分裂为多个，从而单独取出这些曲线，因此可简单地形成实际物体与假设物体的合成图象。另外即使在所形成的合成图象较多的情况下，仍可减轻使用者取出实际物体的负担。
此外，上述步骤1j～步骤4j可不必按照上述顺序，比如，先输入步骤4j中的信息，之后再将实际物体存入到计算机中，可通过对其任意组合而对图象进行合成，从而形成装饰图象。另外不言而喻，也可按照任意顺序反复进行上述步骤1j～步骤4j，从而可对图象进行合成。但是，在装饰图象或通过笔输入的信息显示于显示器中后，在取出新放置于该显示器上的实际物体时，仅仅在用笔进行闭合曲线的输入的同时，在由照相机1获取图象期间，将包括由笔输入的闭合曲线的显示器28的显示区域中部分区域变换为规定的颜色(比如，白色或黑色)。由此，可在不影响假设物体的情况下，仅仅取出实际物体。
再有，不言而喻，本实施例很容易实现下述的扩展，即通过与数字式照相机连接与快拍摄影照片合成，通过与话筒连接添加声音信息。
第13实施例下面说明对本发明图象合成装置的第13实施例。
第12实施例说明的情况是指在用笔输入信息的情况下，通过按压称为“笔”的按钮，使用者将下述指令输入系统中，该指令用于辨别是输入了信息，还是输入了用于选择实际物体的闭合曲线。第13实施例的构思是，在减轻向上述系统进行输入的负担，并且使用者不用按压选择按钮的情况下，提供下述的界面，该界面将普遍使用的实际的笔或擦字橡皮，或传真机等小型式样用作可直观理解其功能的立体图标，从而可更加简单地合成图象。此时，本实施例的构思是，即即使在假设物体显示于显示器28中，并且具有与可辨别的多个实际物体相同颜色的情况下，无论什么样的实际物体，仍可对其进行稳定地辨别。
图48为第13实施例的结构图，本实施例中，与图38所示第12实施例相同的结构部分采用相同的标号，故这里略去对它们的具体说明。
第13实施例与第12实施例的主要不同点在于在第12实施例中，附加立体图标登记单元42以及立体图标辨别单元43。上述立体图标登记单元42用来登记向系统进行输入的笔等实际物体或立体图标；上述立体图标辨别单元43用于在显示器具有输入信息情况下，辨别该输入信息的输入方式。
下面仅仅通过与第12实施例不同的结构部分，对按照上述方式构成的第13实施例的图象合成装置的工作过程。
首先，说明立体图标登记单元42的动作。使用者通过下述方式启动立体图标登记单元42，即在合成图象之前，按压由装饰功能选择单元33显示于显示器28中的图标。当立体图标登记单元42启动时，具有“文字输入”、“删除”等系统的功能一览表显示于显示器1中。使用者用照相机1拍摄普遍使用的圆珠笔、擦写橡皮等实际物体，将其特征量登记于上述一览表中。上述一览表以文本格式作为文件保存，当立体图标登记部42启动时，可在显示器28中显示其信息。作为特征量，存储分别具有与RGB值相应的频数分布。另外，当用照相机拍摄时，最好在物体实际使用的状态下对其进行拍摄。另外，也可在产品出厂时，附加专用的笔、擦写橡皮，以及传真机立体图标等，并存储相应的功能，而不必由使用者进行设定。
下面说明立体图标辨别单元43的动作。每当向显示器28输入信息时，立体图标辨别部43便启动。控制部1000控制是否在显示器28中有输入信息及其位置指标。该立体图标辨别单元43首先从控制单元1000接收显示器28中的输入位置指标，在该位置显示与立体图标的尺寸相对应的，有规定颜色(如白色)和规定尺寸(如120象素的四方正方形)的区域，由照相机1获取图象。接着，在所获取的图象中，仅对前述区域检测各象素的RGB值形成频数分布，判断是否使用下述物体的立体图标，该图标的登记于立体图标登记单元42中的频数分布与最相似性较高。上述相似性为频数分布中的各级差绝对值之和。其结果是，如果判断为笔，则作为文字输入的笔的移动轨迹显示于显示器28中。另外如果判断为传真机的小型图标，则传送合成图象。但是，在采用传真机图标等的场合，如果照相机的视角宽于图象合成区域，则可通过将上述图标置于该部分中，而不受合成图象的影响。
按照上述步骤，通过仅检测实际物体的特征量，可在不受显示图象的影响的情况下，正确辨别任何立体图标，这样可稳定地使用登记的立体图标，从而可通过更加直观的操作进行图象合成。
按照上述第13实施例，由于在显示器的输入位置显示规定颜色和尺寸的区域，之后再获取图象，仅对该区域进行颜色检测，这样可在不影响显示图象的情况下，仅检测实际物体的特征量，由于即使在显示于显示器中的假设物体包括与可辨别的多个实际物体相同颜色的情况下，仍可正确地辨别任何实际物体，从而可稳定地使用所登记的立体图标，可以更加直观的操作进行图象合成。
第14实施例下面说明本发明图象合成装置的第14实施例进行说明。
第12实施例针对在用笔输入信息时的场合，文字颜色为黑色的情况进行了说明。一般在笔输入系统的情况下，使用者可由菜单选择所喜欢的颜色的形式。比如，在合成图象传送对方为单色传真机时，当在明亮的图象中输入文字时，笔的颜色为黑色，在较暗的图象时，白色的笔可形成清楚的图象。第14实施例的构思是根据图象的亮度，自动改变笔的颜色，从而可进一步减轻系统中的式样变更输入的负担，另外可合成更加清楚的图象。
图49表示第14实施例的结构图。本实施例中与图38所示第12实施例相同的结构部分采用相同的标号，故这里略去对它们的具体说明。
第14实施例与第12实施例的主要不同点在于在第12实施例中附加显示图象亮度计算单元44，以及笔输入颜色变换单元45。上述显示图象亮度计算单元44用于计算显示图象的亮度、上述笔输入颜色变换单元45用于根据通过上述显示图象亮度计算单元44所计算出的亮度，改变笔输入的颜色。
下面仅就与第12实施例不同的显示图象亮度计算单元44和笔输入颜色变换单元45，说明按照上述方式构成的第14实施例图象合成装置。
在对显示器28进行笔输入时启动显示图象亮度计算单元44，计算整个显示图象的平均亮度。由第13实施例中的方法判断是否进行笔输入。笔输入颜色变换单元45参照显示图象亮度计算单元44算出的平均亮度，在上述平均亮度在256等级中的180以上时，确定笔输入的颜色为黑色，上述情况以外时，确定笔输入的颜色为白色。由此，在较亮的图象中输入文字时，笔的颜色为黑色，而在较暗的图象时，笔的颜色自动变为白色，这样使用者可在未意识到选择笔输入颜色的的情况下，合成其中的文字较清楚的图象。
按照上述第14实施例，由于根据显示图象的亮度改变笔输入的颜色，这样可合成输入文字更加清楚的图象。
第15实施例下面说明本发明的图象合成装置的第15实施例进行说明。
第12实施例描述的是改变取出的图象的尺寸和颜色的装饰图象。另外在第14实施例中，根据显示图象中的亮度改变笔输入的颜色，从而合成其中的文字信息较清楚的图象。第15实施例的构思是，根据放置于显示器1上的实际物体的颜色或亮度改变显示图象的颜色或亮度，从而可合成更加清楚的图象。
图50为第15实施例的结构图。本实施例中与图38所示第12实施例相同的结构部分，采用相同的标号，故这里略去对它们的具体说明。
第15实施例与第12实施例的主要不同点在于在第15实施例中附加显示图象修正单元46，46用于根据实际物体的亮度或颜色改变显示图象的亮度或颜色。
下面就与第12实施例不同的显示图象修正单元46，说明按上述方式构成的第15实施例图象合成装置的工作过程。
在图象合成结束，并按压传送按钮时启动显示图象修正单元46。首先，该显示图象修正单元46通过启动实际物体取出单元30，将具有与照相机1拍摄区域相同尺寸的长方形作为初始轮廓式样，从而取出显示器上的实际物体全部。之后，上述显示图象修正单元46计算取出的全部物体的平均亮度。最后，根据该平均亮度，改变显示器28中的显示图象的亮度。在实际物体较亮时(如平均亮度以上的情况下)，通过也使显示图象变亮(比如使每个象素值的亮度提高20％)可整体形成清楚的合成图象。
按照上述第15实施例，根据显示器上实际物体的颜色或亮度对应地改变显示图象的颜色或亮度，从而可合成更加清楚的图象。
但是，也可按照下述方式实现与上述相同的动作，即制作下述的磁记录媒体或光记录媒体，媒体中记录有下述的程序，该程序用于在计算机中实现在上述各实施例中任何一个中描述的每个步骤(或每个机构)的全部或部分步骤(或处理动作)。
另外，虽然本发明的分别取出机构在上述实施例中为实际物体抽出单元，并且是针对用于输入显示整体式显示器的场合进行描述的，但是本发明并不限于此，也可采用下述图象合成装置。
即，这时的图象合成装置包括照相机等拍摄机构，用于拍摄显示照片，或插图等许多信息的书类等的表面和/或物体；闭合曲线检测机构，用于检测闭合曲线信息，所述闭合曲线包围由上述拍摄机构拍摄的多个照片或插图等中的信息，或多个物体内的、可构成图象取出对象的多个候补插图的取出对象候补；分别取出机构，根据上述测出的闭合曲线信息和上述插图等取出对象候补的图象信息，从上述包围曲线的多个插图等取出对象候补的图象中，分别取出这些插图等图象；图象合成机构，它通过上述分别取出的插图等图象，对信息等其它图象进行图象合成。由此，可拍摄规定面内上所显示的信息和/或多个物体，可提供能构成包围图象取出对象候补的多个取出对象候补的闭合曲线，可对所提供的闭合曲线信息进行检测，根据上述测出的闭合曲线信息和上述取出对象候补的图象信息，可从上述所包围的多个取出对象候补的图象中，分别取出这些取出对象候补的图象，可利用上述分别取出的图象进行图象合成。
按照上述结构，与上述情况相同，即使有多个图象取出对象的情况下，与已有技术相比较，可发挥下述效果，即进一步减轻用于指示这些取出对象的作业负担。因此，与已有技术相比较，可更加容易地进行指示区域的指定。
或者，也可采用下述的图象合成装置。
这时的图象合成装置包括拍摄机构，用于拍摄对显示照片，插图，字符串等信息的面；闭合曲线信息检测机构，用于在用上述拍摄机构拍摄的多个上述信息内，检测包围能构成指示对象的多个指示对象信息的闭合曲线；分别取出机构，该分别取出机构用于根据上述检测出的闭合曲线和指示对象信息的图象信息，从上述包围的多个指示对象信息图象中分别取出这些指示对象信息的图象；指示信息检测单元，用于检测上述分别取出的图象区域和/或其图象特征量；附加图象形成单元，用于根据上述检测出的图象区域和/或图象特征量，形成附加于上述指示对象信息的图象；附加图象存储单元，用于存储上述形成的附加图象；图象合成部，用于将上述拍摄机构获得的指示对象信息的图象与上述所形成的附加图象进行合成。上述结构也可用于第8实施例所描述图象合成装置的变换实施例中。即如图31所示，在取出对象为多角形图形的集合及两张照片的情况下，按照第8实施例所述的方式，分别指示每个对象，并提供包围上述两种对象的一个闭合曲线。分别取出机构的结构与上述相同。
按照上述结构，与上述情况相同，即使有多个图象取出对象的情况下，与已有技术相比较，可发挥下述效果，即指进一步减轻用于指示这些取出对象的作业负担。
另外，在上述实施例中本发明的图象合成装置，是针对用于具有实际物体抽出单元的输入显示整体式显示器的情况进行描述的，但是本发明的图象合成装置是不限于这种情况，其也可采用下述图象合成装置。
这种图象合成装置包括输入显示整体式显示器；拍摄机构，用于拍摄上述显示器的显示单元的至少一部分；指示位置检测单元，用于检测指示放置于上述显示器上的实际物体用的指示位置信息，实际物体取出机构，用于从上述拍摄机构拍摄的图象中取出上述实际物体的图象；附加图象形成单元，用于从上述所取出的图象形成显示于上述显示器中的附加图象；附加图象存储单元，用于存储上述形成的附加图象；显示方法选择单元，用于选择在上述形成的附加图象在显示器中的显示方法；图象合成单元；用于根据上述选择的显示方法，合成上述附加图象及上述实际物体的图象。由此，可按照已有技术中没有的方式，发挥下可简单形成实际物体与假设物体合成图象的效果。
按照上述方式实施第1实施例，由于进行演示的人只以指示杆指示所写的信息自身中的希望强调部分，自动取出该部分的区域或特征，叠加适当的装饰图象，从而不必以替换方式分别使用各种颜色。此外，由笔等的指示位置可简单地变换装饰方法，如果指示书类的端部附近，由于可给出边框，职务，日期等，或可通过其指示位置在已装饰的信息部分，删除装饰，可使上述装饰变亮，这样即使在预先未形成演示纸页的情况下，仍可获得高效的演示。
因此，具有可更加容易地进行根据图象的区域成特征量等装饰或强调等处理的优点。
此外，按照第2实施例，由于可通过识别笔等给出的多种标记，变换装饰方法，这样可替换具有多种颜色的笔，节省所记入等时间，可顺利地进行演示。
按照第3实施例，由于可通过叠加方式以一览表形式显示已有的装饰图象，可以通过指示杆指示这些图象的方式进行复制，这样，即使在采用多本书类的情况下，在无需向书类中多次写入相同的字符串情况下，仍可顺利地进行演示。
按照第4实施例，由于通过在以部分装饰图象为模板而连续的边框之间进行模板比较，可计算书类的移动参数，使装饰图象产生变形，这样即使在于演示过程中书类移动的情况下，仍可正确地装饰希望强调的部分，使用者可在不注意书类移动的情况下实现演示。
按照第5实施例，由于若设放置标记，即进行装饰，而若去掉标记，即删除装饰的直观易懂的操作，这样无论什么人，均可进行高效的演示。
按照第6实施例，由于通过设置标记检测记入部分或书类的倾斜度，可减少可移动参数可推定数量，而由于更加快速地合成与书类的移动相应的附加图象，更可减少合成图象的提示较晚而造成的不谐调感觉。
按照第7实施例，由于对标记的数量的增减进行检测，从而可辨别设置标记的情况和去掉标记的情况下，而由于可形成与该情况相应的效果声音，更可进行尤其高效的演示。
按照第8实施例，通过确认多个标记的形状，与该确认情况相对应，还可装饰图文并茂的复杂书类，从而可进一步提高演示的效果。
按照第9实施例，由于可根据照相机的变焦倍率放大缩小装饰图象，这样即使在照相机变焦的情况下，仍可正确地装饰强调的部分，可进一步扩大演示的范围。
按照第10实施例，由于可通过只对不希望由荧光笔等显示的部分进行着色，从图象中将该着色部分删除，从而可使不希望让观众看到的部分隐蔽起来。
按照第11实施例，由于可在互连网中的主页上登记形成的合成图象，这样可通过终端机在校外参加大学等学校的讲课，再次使用讲义，另外老师可提供报告课题，从而可实现高效的教育支持系统。
按照第12实施例，由于可将希望合成的多个实际物体置于显示器上，可提供一个只包括这些实际物体的闭合曲线，检测随着闭合曲线的变形而产生的自身交叉，将其分裂为多个，这样可单独取出这些曲线，从而可简单地形成实际物体与假设物体的合成图象。
按照第13实施例，由于仅仅在与显示器输入位置对应的规定位置检测立体图标的辨别用颜色，这样可在不影响显示图象的情况下，正确辨别任何立体图标进行，从而可稳定地使用所登记的立体图标，可通过更加直观的操作进行图象合成。
按照第14实施例，由于可根据显示图象亮度改变笔输入的颜色，这样可合成其输入文字更加清楚的图象。
按照第15实施例，由于可根据显示器上实际物体的颜色或亮度改变显示图象的颜色或亮度，这样可合成更加清楚的图象。
权利要求
1.一种图象合成装置，其特征在于它包括给定的拍摄机构；指示位置检测机构，该指示位置检测机构用于从通过拍摄机构所拍摄的图象中，检测显示信息的面上给出的指示信息位置进行检测；指示对象信息检测机构，用于检测与上述指示位置检测机构检测出的指示位置对应，而显示于上述面上指示对象信息的区域和/或其指示对象信息的特征量；附加图象形成机构，用于根据上述区域和/或上述特征量形成附加在指示对象信息图象上的附加图象；图象合成机构，它将上述拍摄机构得到的上述指示对象信息的图象，与上述形成的附加图象进行合成。
2.根据权利要求1所述的图象合成装置，其特征在于包括指示位置其它信息附加方法确定单元，用于根据上述检测出的指示位置，确定上述附加图象的合成方法和/或显示方法；上述图象合成机构在进行上述合成时，采用由上述信息附加方法确定单元得出的确定结果。
3.根据权利要求1所述的图象合成装置，其特征在于所述附加图象为装饰和/或强调所述指示对象信息图象的图象。
4.根据权利要求1所述的图象合成装置，其特征在于包括指示机构，用于指示具有一种或多种上述指示信息的指示对象；所述指示位置检测机构还通过从上述拍摄机构拍摄的图象中得出的上述指示信息，判断指示信息的种类；上述附加图象形成机构还采用上述判断出的指示信息种类，形成上述附加图象。
5.根据权利要求1或4所述的图象合成装置，其特征在于它包括用于存储上述形成的附加图象的附加图象存储单元；现有附加图象复制单元，将所述附加图象存储部中所存的上述附加图象，与通过上述拍摄机构得到的图象进行合成，并以一览表方式显示，在上述指示位置合成并显示由该以一览表方式显示而选择的上述附加图象。
6.根据权利要求1，4或5所述的图象合成装置，其特征在于包括移动参数推定单元，用于推定显示上述信息的面移动后位置的；附加图象变形单元，它根据上述所推定的移动参数使上述附加图象变形。
7.根据权利要求1，4，5或6所述的图象合成装置，其特征在于所述指示机构包括多个指示部件；所述指示位置检测机构针对上述多个指示部件中的每一个，检测上述指示位置；所述指示对象信息检测单元针对上述多个指示部件中的每一个进行上述检测；上述附加图象形成机构针对上述多个指示部件中的每一个形成上述附加图象。
8.根据权利要求7所述的图象合成装置，其特征在于所述多个指示部件内的至少一个指示部件为下述的设置用指示部件，用于通过设置于显示上述信息的面上的方式指示上述指示对象。
9.根据权利要求8所述的图象合成装置，其特征在于所述指示对象信息检测机构根据上述设置用指示部件的设置位置，推定上述指示对象信息的区域中、相对上述拍摄机构坐标系的倾角，通过该推定的倾角，计算上述指示对象信息区域和/或指示对象信息特征量；所述图象合成装置设置有移动参数计算单元，用于通过上述推定出的倾角，推定显示上述信息的面的平行移动参数。
10.根据权利要求7或9所述的图象合成装置，其特征在于它包括设置用指示部件增减检测机构，用于检测设置于显示上述信息的面上的上述设置用指示部件数量的增减；声音数据存储单元，用于存储与上述设置用指示部件的数量的增减对应的声音数据；扬声器，用于根据上述设置用指示部件数量的增减，输出上述声音数据存储单元中的声音数据。
11.根据权利要求7，9或10所述的图象合成装置，其特征在于所述指示机构包括不同形状的指示部件；所述图象合成装置包括指示部件相应确定机构，用于根据给定的组合基准，使上述不同的指示部件之间建立对应关系。
12.根据权利要求1～11任何一项所述的图象合成装置，其特征在于所述拍摄机构为照相机；所述图象合成装置包括变焦倍数检测单元用于检测上述照相机的变焦倍率；附加图象放大缩小单元，用于根据上述检测的变焦倍率对上述附加图象进行放大缩小。
13.根据权利要求1～12任何一项所述的图象合成装置，其特征在于它包括着色指定区域删除单元，用与上述给定颜色不同的颜色调换显示上述信息的面上的给定颜色区域。
14.根据权利要求1～13中的任何一项所述的图象合成装置，其特征在于它包括浏览程序相应文件形成/更新单单元，以可由互连网中的浏览程序显示的格式保存上述图象合成机构合成的图象。
15.一种图象合成装置，其特征在于它包括给定的拍摄机构；闭合曲线信息检测机构，用于检测闭合曲线信息，所述闭合曲线包围下述的多个取出对象候补，该多个抽出对象候补可构成由上述拍摄机构拍摄而显示于给定面上的信息和/或物体内部的、图象取出的多个对象候补；分别取出机构，用于根据上述检测出的闭合曲线信息和上述取出对象信息候补的图象信息，从所述包围的多个取出对象候补图象中、分别取出相应的取出对象候补的图象；图象合成机构，用于通过上述分别取出的图象进行图象合成。
16.一种图象合成装置，其特征在于它包括给定的拍摄机构；闭合曲线信息检测机构，用于检测闭合曲线信息，所述闭合曲线包围由上述拍摄机构拍摄信息内、可构成指示对象的多个指示对象信息；分别取出机构，用于根据上述检测出的闭合曲线信息和指示对象的图象信息，从上述包围的多个指示对象信息图象中分别取出相应的指示对象信息的图象；指示信息检测单元，用于检测上述分别取出的图象区域和/或图象特征量；附加图象形成单元，用于根据上述检测出的图象区域和/或图象特征量，形成附加于上述指示对象信息的图象上的附加图象；图象合成机构，用于将上述拍摄机构得出的指示对象信息的图象，与上述形成的附加图象进行合成。
17.一种图象合成装置，其特征在于它包括输入显示整体式显示器；拍摄机构，该拍摄机构用于对上述显示器显示部分中的至少一部分进行拍摄；闭合曲线信息检测机构，用于检测闭合曲线信息，所述闭合曲线包围下述多个物体，这些物体构成置于所述显示器上的多个实际物体内的图象取出对象候补；分别取出机构，用于根据上述检测出的闭合曲线信息及上述拍摄机构拍摄的上述包围的多个物体的图象信息，从这些所包围的多个物体的图象中，分别取出相应的物体的图象；附加图象形成单元，用于从上述分别取出的图象形成显示于上述显示器中的附加图象；显示方法选择单元，用于选择上述形成的附加图象在显示器中的显示方法；图象合成机构，用于根据上述选择的显示方法，合成上述附加图象和上述实际物体的图象。
18.一种图象合成装置，其特征在于它包括输入显示整体式显示器；照相机，用于拍摄上述显示器显示部分中的至少一部分进行拍摄；闭合曲线信息检测机构，用于检测闭合曲线信息，所述闭合曲线包围下述多个物体，这些物体构成置上所述显示器上的多个实际物体内的图象取出对象候补；分别取出机构，用于根据上述检测出的闭合曲线信息及上述照相机拍摄的上述包围的多个物体的图象信息，从这些包围的多个物体的图象中，分别取出相应的物体的图象；附加图象形成单元，用于从上述分别取出的图象形成显示于上述显示器中的附加图象；显示方法选择单元，用于选择上述形成的附加图象在显示器中的显示方法；控制单元，用于根据上述选择的显示方法，由照相机拍摄显示于上述显示器中的上述附加图象及置于上述显示器上的实际物体。
19.一种图象合成装置，其特征在于它包括输入显示整体式显示器；拍摄机构，用于对上述显示器显示部分中的至少一部分进行拍摄；指示位置检测单元，用于检测指示置于上述显示器上的实际物体用的指示位置信息；实际物体取出机构，用于根据上述检测出的指示位置信息，从上述拍摄机构拍摄的图象中取出上述实际物体的图象；附加图象形成单元，用于从上述取出的图象，形成显示于上述显示器中的附加图象；显示方法选择单元，用于选择上述所形成的附加图象在显示器中的显示方法；图象合成机构，用于根据上述选择的显示方法，合成上述附加图象和上述实际物体的图象。
20.根据权利要求15～17任何一项所述的图象合成装置，其特征在于上述分别取出机构包括；图象存储单元，用于存储上述拍摄机构拍摄的图象；轮廓模型存储单元，用于存储上述闭合曲线信息作为候补轮廓；轮廓模型变形单元，用于按照一定的规则使存储于上述轮廓模型存储部所存中的候补轮廓发生变形；轮廓模型交叉检测单元，用于检测是否有上述候补轮廓的交叉；轮廓模型分裂单元，用于在上述交叉检测单元判定有交叉时，将上述轮廓模型存储部中所存的候补轮廓分裂为多个；取出完毕判断单元，用于根据上述分裂结果，判断轮廓取出是否完毕；在上述轮廓取出完毕之后，取出由上述分裂而形成的轮廓所包围的图象。
21.根据权利要求17或19所述的图象合成装置，其特征在于它包括立体图标登记单元，用于通过向上述显示器输入，登记实际物体的特征量及其功能；立体图标辨别单元，用于在上述显示器中具有输入时，通过所述特征量辨别用于该输入的实际物体。
22.根据权利要求17或19所述的图象合成装置，其特征在于它包括显示图象亮度计算单元，用于计算上述显示器显示图象的亮度；笔输入颜色变换单元，用于根据上述显示图象亮度计算单元算出的亮度改变笔输入的颜色。
23.根据权利要求17或19所述的图象合成装置，其特征在于还附加下述显示图象修正单元，它根据置于上述显示器上实际物体的亮度或颜色，改变显示图象的亮度或颜色。
24.一种媒体，该媒体的特征在于用于记录下述程序，该程序用于在计算机中实现权利要求1～23中任一项所述机构的全部或部分的机构功能。
25.一种图象合成方法，其特征在于它包括下述步骤由指示信息指示显示信息面中的规定位置；拍摄显示于上述面上的信息和上述指示信息；根据该拍摄结果，检测由上述指示信息指示的指示位置；对根据上述指示位置，检测显示于上述面上指示对象的信息的区域和/或特征量；根据上述指示对象信息的区域和/或特征量，形成附加于上述指示对象信息图象上的附加图象；合成上述指示对象信息的图象及上述形成的附加图象。
26.根据权利要求25所述的方法，其特征在于在合成上述图象时，根据上述指示位置确定上述附加图象的合成方法法和/或显示方法，确定结果事合成上述图象。
27.一种图象合成方法，其特征在于它包括下述步骤拍摄显示于规定面上的信息和/或多个物体；提供下述多个取出对象候补的闭合曲线，所述多个取出对象候补可构成所述所拍摄的信息和/或多个实际物体内的图象抽出对象的候补；检测上述所提供的闭合曲线信息；根据上述检测的闭合曲线和取出对象候补的图象信息，从上述包围的多个取出对象候补图象中，分别抽出取应的取出对象候补的图象；由上述分别取出的图象，合成图象。
28.一种媒体，其特征在于该媒体记录下述程序，所述程序用于在计算机中实现权利要求25～27中任一项步骤中的全部或部分的步骤。
全文摘要
一种图象合成装置,根据笔等的指示位置、指示区域及指示信息的特征量,生成合适的附加图象,在显示部合成并显示。该图象合成装置包括拍摄记载信息的文件用的摄像机、检测笔等在文件上的指示位置的检测单元、检测记载于该指示位置的指示信息的特征量用的指示信息检测单元、根据指示信息的特征量形成装饰指示信息的图象的附加图象形成单元、存储所形成的附加图象的附加图象生成单元、根据该指示位置决定信息附加方法的决定单元及将摄像机拍摄的图象与附加图象合成的单元。
文档编号G06T3/00GK1186991SQ9712595
公开日1998年7月8日 申请日期1997年11月1日 优先权日1997年11月1日
发明者荒木昭一, 今中武 申请人:松下电器产业株式会社