图像数据分割的制作方法

背景技术：

二维和三维扫描技术允许物理对象的形状、轮廓和其他特征的数字捕获或获取。例如，在二维扫描应用中，各种硬件和软件可以用于捕获纸质文档或其他平面对象。在三维扫描应用中，各种硬件和软件可以用于捕获诸如用户的手之类的对象，以将该对象显示在装置或监视器上或者创建数字模型。

附图说明

图1是根据本公开的示例的用于捕获并分割对象数据的装置的图；

图2是根据本公开的示例的具有第一组对象的图1的装置的透视图；

图3是根据本公开的示例的具有第二组对象的图1的装置的透视图；

图4是根据本公开的示例的具有第三组对象的图1的装置的透视图；

图5是根据本公开的示例的具有第四组对象的图1的装置的透视图；

图6图示了根据本公开的示例的捕获并分割图像数据的流程图；

图7图示了根据本公开的示例的基于图像特征分割图像数据的流程图；并且

图8图示了根据本公开的示例的基于对象类型改进(refine)对象的第一列表的分割的流程图；以及

图9是根据本公开的示例的具有第一组对象的移动计算机系统的透视图。

具体实施方式

在计算系统中，可以采用扫描仪来扫描二维对象和三维对象两者。在一些示例中，可以利用单个传感器一次扫描多个对象，并且待扫描的各种对象可以是不同类型的。例如，用户可以试图在传感器的视场内一遍扫描二维矩形平面对象和三维非矩形对象。

在这些情况下，计算系统中采用的扫描仪或其他传感器也许不能够分割或者分开(在本文中“分割”)被扫描的对象。例如，扫描仪或传感器也许不能够从彼此中分割对象，或者也许不能够从已知或未知背景中分割对象。此外，扫描仪或其他传感器也许不能够基于对象分类或类型来处理或者优化对象的分割。

根据用于分割图像数据的一个示例，包括彩色像素数据、ir数据和深度数据的图像数据是从传感器接收的。所述图像数据基于所述图像数据的至少一个计算特征被分割成对象的第一列表。至少一个对象类型是针对对象的第一列表中的至少一个对象而确定的。对象的第一列表的分割基于所述至少一个对象类型被改进成对象的第二列表。在示例中，对象的第二列表被输出。

图1是根据本公开的示例的用于捕获并分割对象数据的装置的图。装置100可以包括处理器102、非暂时性计算机可读存储装置或介质104、显示器或显示适配器106和接收器108。装置100可以耦合到垫或触敏垫112、照明源/投影仪部件114和传感器116，如在下面更详细地讨论的。

图2是根据本公开的示例的具有第一组对象的图1的装置的透视图。

在示例中，图1图示了由至少一个用户202利用的计算机系统或装置100(“装置”)，所述至少一个用户202可以将对象握在手214或216中，或者将对象放置在垫212上，或者，一般而言在表面上，使得可以不需要用户在扫描操作期间握着对象。

如在下面更详细地讨论的，装置100可以包括传感器集群204、一个或多个传感器(“传感器”)206、投影仪(或投影仪和反射镜系统)208(在下文中“投影仪”)、显示器210和垫212。在一些示例中，垫212可以是触敏的。在一些示例中，显示器210可以显示由传感器206捕获的文档或其他对象，如在下面更详细地讨论的。

装置100可以用于捕获或者扫描诸如图2的文档218和文档220之类的对象。在一些示例中，文档218可以是一张纸，然而文档220可以是纸质收据。在一些示例中，可以在显示器210上显示被捕获或者扫描的对象218和对象220的实时表示。

装置100一般而言可以包括任何适合的计算装置，诸如台式计算机、膝上型计算机、笔记本、上网本、一体化计算机、平板电脑，或能够与至少一个传感器对接的智能手机。装置100可以包括可以彼此电耦合的处理器、存储器和存储装置。也可以将由传感器206或垫212感测或者接收到的用户输入传送到装置100，包括传送到装置100的处理器、存储器和存储装置。

显示器210也可以由支撑结构(未示出)支撑，所述支撑结构可以包括底座和直立构件。支撑结构可以支撑显示器210以及传感器集群204和传感器206的重量，所述传感器206可以是悬臂式的，使得传感器206悬停在垫212上方。

传感器集群204可以包括一个或多个传感器206和/或一个或多个照明源，诸如投影仪208。投影仪208可以包括用于从计算装置接收数据并且投影与该输入数据相对应的一个或多个图像的任何适合的数字光投影仪部件。

传感器206可以包括多个传感器和/或相机以测量和/或检测传感器206的视场下面或视场内的对象或参数。例如，传感器206可以包括环境光传感器、相机、深度传感器和三维(3d)用户界面传感器。传感器206可以计算、检测、生成或者以其他方式感测梯度、边缘、强度、颜色、纹理和/或区域或图像和/或对象。

在示例中，相机206可以包括被布置成捕获布置在垫212上或者一般地在传感器206的视场下面或视场内的对象和/或文档的静止图像或视频的彩色相机。

在示例中，深度传感器206可以指示三维对象何时在工作表面上，诸如在垫212上，或者在其他示例中，在适合于扫描的工作台或其他表面上。特别地，深度传感器206可以感测或者检测三维对象的存在、形状、轮廓、运动和/或深度，或对象的一个或多个特定特征。因此，在一些示例中，深度传感器206可以采用任何适合的传感器或相机布置来感测并检测布置在传感器的视场中的对象和/或每个像素的深度值，而不论红外、颜色或其他如何。在一些示例中，深度传感器206可以包括具有ir光的均匀泛光的单个红外(ir)相机传感器、具有ir光的均匀泛光的双ir相机传感器、结构化光深度传感器技术、飞行时间(tof)深度传感器技术或其某种组合。

在示例中，环境光传感器206可以被布置成测量装置100周围的环境的光的强度，以便在一些示例中调整传感器集群204中的另一传感器的曝光设定，和/或调整遍及诸如例如投影仪208或显示器210之类的装置从其他源发射的光的强度。

在示例中，用户界面传感器206可以包括用于跟踪诸如例如手、触针、指点装置等之类的用户输入装置的一个或多个任何适合的装置(例如，传感器或相机)。在一些示例中，用户界面传感器206可以包括一对相机，该对相机被布置成随着用户输入装置(例如，触针)由用户202在传感器206的视场内移动而立体地跟踪该用户输入装置(例如，触针)的位置。在其他示例中，用户界面传感器206可以包括被布置成检测由用户输入装置发射或者反射的红外光的一个或多个红外相机或传感器。

在各种示例中，传感器集群204可以包括代替或除上面所描述的传感器之外的其他传感器和/或相机，和/或在不同的配置中，诸如供台式机、平板电脑或智能手机使用。

传感器集群204中的传感器206或一般而言可由装置100访问的任何传感器206可以电且通信地耦合到彼此和/或装置100或装置100的组件，使得可以向装置100发送在传感器集群204内生成的数据，并且可以向传感器206传送由装置100发出的命令。

图3是根据本公开的示例的具有第二组对象的图1的装置的透视图。在示例中，对象302和对象304可以是在各种方位上或者在各种角度下的矩形形状的彩色相片。

图4是根据本公开的示例的具有第三组对象的图1的装置的透视图。在示例中，对象402和对象404可以是在各种方位上或者在各种角度下的贴纸或其他平面非矩形对象。

图5是根据本公开的示例的具有第四组对象的图1的装置的透视图。在示例中，对象502和对象504可以是在各种方位上或者在各种角度下的3d对象。

图6图示了根据本公开的示例的捕获并分割图像数据的流程图。

在块602中，图像数据由例如传感器206或能够捕获或者检测二维或三维对象数据的其他传感器来接收、处理或者捕获。图像数据可以包括诸如rgb或yuv数据、ir数据、深度数据之类的彩色像素数据，和/或与图像数据有关的其他数据或参数。在一些示例中，可以接收视频数据，或者可以接收视频帧。在一些示例中，可以对照已知背景(例如，垫112或其他已知表面)来捕获在块602中接收到的图像数据。

在块604中，基于图像数据的特征将来自块602的图像数据分割成对象。作为一些示例，图像特征可以包括图像的梯度、边缘、强度、颜色、纹理和/或区域。作为一个示例，块604可以包括应用边缘检测算法。关于图7在下面更详细地讨论块604的分割。

在块606中，基于块604的分割生成对象的第一列表。例如，在块604中，边缘检测算法可能已检测到两个对象，例如，图2中所示的两个对象218和220，所述两个对象可以用于在块606中填充对象的第一列表。在一些示例中，对象的第一列表可以是基于块604的分割的对象的初步、粗略或未改进的列表。也可以应用诸如连接组件分析之类的算法，以例如检测对象的边界框、对象的纵横比或其他参数或特性。

在块608中，可以确定对象的第一列表中的对象中的每一个的对象类型。各种算法可以用于基于例如对象的形状、深度、颜色或其他特征或属性来确定对象类型。

在一个示例中，可以在块608中将在块602中从传感器接收到的深度图与在块606中生成的对象的第一列表进行比较。对于深度图与对象的第一列表之间的每个匹配，可以做出对象是三维的确定。对于对象的第一列表中的与深度图中的对象不匹配的每个对象，可以做出对象是二维的确定。在其他示例中，对于对象的第一列表中的每个对象，可以检查深度图中的对应区域以确定该对象是否是三维的。

在块608中，可以基于对象的其他特征进一步对上述示例的对象测定类型或者分类。例如，可以将对象分类为灰度矩形或者为彩色圆。也可以生成分类的各种组合。

在一个示例中，在块608中，可以应用诸如感测平行或垂直线之类的线拟合技术以确定对象是否是矩形的。在另一示例中，可以应用颜色检测算法以确定对象是灰度的还是彩色的。

在块610中，基于在块608中确定的一个或多个对象类型改进对象的第一列表。如关于图8在下面更详细地讨论的，改进对象的第一列表可以包括针对每个对象类型来应用特定函数、滤波器或算法以改进对象的第一列表的分割。

在块612中，紧跟块610中的附加分割之后输出对象的更新的或第二列表。对象的第二列表可以包括对象的第一列表中的对象的相同列表，加上与经改进分割的对象有关的附加信息或特性，诸如边界框或轮廓。例如，对象的第二列表可以包括与分割改进相关的改进位置、大小、边缘、边界、颜色或其他对象特性。作为一个示例，具有锯齿边缘的对象的第一列表中的对象可以出现在具有表示平滑边缘的特性的对象的第二列表中。在另一示例中，对象的第一列表中的对象可以出现在像素边界移位的或者具有对比度调整的对象的第二列表中。在一些示例中，可以向用户、向软件程序、向打印机或3d打印机或者向另一输出源输出对象的第二列表。

图7图示了根据本公开的示例的基于图像特征分割图像数据的流程图，如上面关于块604所讨论的。块704至714中的一个或块704至714的组合可以用于基于图像特征、属性或特性将图像数据分割成对象。在一些示例中，可以计算图像特征。在其他示例中，可以在没有计算的情况下得到、访问或者以其他方式获得图像特征或值。

根据一个示例，在块704中，针对在块602中接收到的图像数据来计算一个或多个梯度。可以计算或者检测图像数据中的两个或更多个rgb或yuv通道的梯度数据，同时所述通道被组合到单个梯度图中。在一些示例中，也可以检测来自红外通道的数据并且将该数据组合到单个梯度图中。

在一些示例中，可以去除或者忽视在梯度图中检测到的背景信息以产生用于分割的图像数据中的对象的图。背景去除可以包括从图像数据的边缘(例如，传感器视场的边缘)开始，并且应用区域生长算法以去除背景数据和/或检测对象。

根据一个示例，在块706中，可以对图像数据应用诸如canny边缘检测器之类的边缘检测算法。边缘检测可以包括在图像数据中标识亮度级改变的点以计算或者检测图像的边缘，以分割图像数据中的对象。

根据一个示例，在块708中，可以分析或者计算图像数据中的像素值的强度。分析强度可以包括应用诸如流域分割算法之类的算法。在一些示例中，纹理分割算法可以遍及图像计算纹理特征以得到纹理图。该纹理图中的均匀区域可以对应于对象或具有类似外观的对象的至少部分，从而允许分割。

根据一个示例，在块710中，可以在图像数据中分析或者计算颜色。对于每个像素，例如，颜色空间可以用于分割图像数据中的对象。例如，可以将rgb值转换为包括色调、饱和度和值的hsv。然后还可以使用经转换的颜色空间来计算其他特征，诸如在块704中所描述的梯度。

根据一个示例，在块712中，可以在图像数据中检测或者计算纹理。例如，可以检测像素与邻近像素或区域之间的关系以分割图像数据中的对象。例如，对于每个中心像素，可确定该中心像素与周围像素之间的关系以创建均匀纹理区域的纹理图。在一些示例中，灰度级共生矩阵可以用于检测纹理。

根据一个示例，在块714中，可以在图像数据中检测或者计算区域。例如，可以将具有类似特性的一组像素标识为区域。在一些示例中，可以在区域检测中使用均值移位算法来分割图像数据中的对象。

图8图示了根据本公开的示例的基于对象类型改进对象的第一列表的分割的流程图，如上面关于块610所讨论的。块804至810中的一个或块804至810的组合可以用于基于在块608中确定的一个或多个对象类型来改进对象的第一列表的分割。更具体地，在一些示例中，改进对象的第一列表的分割可以包括应用分割边界的改进或对象的可视外观的改进。

在块804中，作为一个示例，如果对象被确定为灰度的二维矩形文档，则可以应用文本锐化滤波器或算法。在其他示例中，可以应用与图像处理有关的其他滤波器或算法。

在块806中，作为示例，如果对象被确定为彩色的二维矩形文档，诸如照片，则可以应用颜色或对比度调整滤波器或算法。在其他示例中，可以应用其他对比度、亮度或颜色滤波器或算法。

在块808和块810中，作为示例，如果对象被确定为二维非矩形对象或三维对象，则可以应用诸如边界平滑、边界细化和/或图像抠图之类的补偿滤波器或算法。作为另一示例，可以应用图切割算法以恢复对象的在先前处理中(诸如在示例中的块704中)过去除的背景或梯度数据。在其他示例中，可以应用其他补偿滤波器或算法。

图9是根据本公开的示例的具有第一组对象的移动计算机系统的透视图。在各种示例中，图2的传感器集群204、显示器210和垫212可以用其他组件替换、消除或者合并到其他组件中。例如，传感器906和传感器集群908可以被安装在三角架910上或者以其他方式安装或者手持。作为另一示例，可以将显示器210合并到具有移动显示器914的移动装置912中。

上述讨论意在说明本公开的原理和各种实施例。一旦上述公开被充分地领会，许多变化和修改就将对本领域的技术人员变得显而易见。意图是，以下权利要求被解释成包含所有这样的变化和修改。