本节主要目的是介绍图像分割的一些基本概念。来源于东北大学 魏颖教授的数字图像课程笔记。

• 本节重点：1）图像分割的基本概念及图像分割分类的基础；2）边缘分割法；3）阈值分割法；4）区域分割法。

图像分割概述

  人类视觉在观察和分析一幅图像时，总是首先将注意力集中在图像中的感兴趣的物体或区域，即将其从其他景物中分离开来，然后对其进行特征分析，再根据其特征和大脑中对其的认识进行识别。计算机进行图像处理、识别的过程也是类似的过程，一个典型的图像处理与识别过程如下图所示：

  如上图所示：图像预处理可以通过前面介绍的图像变换、增强与滤波、图像复原等进行。图像分割就是把图像分解成各具相同性质的、互不交叠的、有意义的区域和目标的技术和过程，这里的性质可以是灰度、颜色、纹理、轮廓等，目标可以是单个区域，也可以是多个区域。

  图像分割是计算机进行图像处理与分析中的一个重要环节，是一种基本的计算机视觉技术。图像分割质量的好坏直接影响整个图像处理与分析系统的结果，关系到目标识别与理解的成败，因此，图像分割的作用是至关重要的。另外，图像的分割和目标的分离，用较少的数据量代表原始图像中的目标，使得更高层的图像分析和理解成为可能。图像分割的作用非常重要，多年来一直受到关注和重视，至今已提出了上千种各种类型的图像分割算法，而且新的图像分割算法也在不断的诞生。

  把图像空间按照一定的要求分成一些“有意义”的区域 的技术叫图像分割。例如：（1）要确定航空照片中的森林、耕地、城市区域等，首先需要将这些部分在图象上分割出来。（2）要辨认文件中的个别文字，也需先将这些文字分选出来。

  把图像分解成构成它的部件和对象的过程；有选择性地定位感兴趣对象在图像中的位置和范围。

  一幅图像通常是由代表物体的图案与背景组成，简称物体与背景。若想从一幅图象中“提取”物体，可以设法用专门的方法标出属于该物体的点，如把物体上的点标为“1”，而把背景点标为“0”，通过分割以后，可得一幅二值图象。

  目的：把图像空间分成一些有意义的区域，与图像中各种物体目标相对应。通过对分割结果的描述，可以理解图像中包含的信息。

  实质：图像分割是将像素分类的过程，分类的依据可建立在:像素间的相似性，非连续性。

  图像分割和集合定义的描述：

  图像分割是将图像空间 $R$ 划分为 $n$个互不重叠的区域：

  其中 $P(R_i)$为作用于 $R_i$ 中所有象素的相似性逻辑谓词。

  区域（region）：图像中相邻的具有类似性质的点组成的集合。同一区域中的像素是相邻的，就是说区域是像素的连通集。

  连通（connectedness）：在连通集的任意两个像素间，存在一个完全由这个集合中的元素构成的路径。同一区域中的任意两个像素间至少存在一条连通路径。

  图像分割方法和种类

  以不同的分类标准，图像分割方法可以划分为不同的种类。

  图像分割应用：

  机器阅读理解；OCR录入；遥感图像自动识别；在线产品检测；医学图像样本统计；医学图像测量；图像编码；图像配准的预处理

并行边界分割：边缘检测

  根据灰度梯度的变化规律检测出物体的边缘，将边缘闭合形成物体的边界，进而分割区域。

  在这一节边缘检测里面主要来介绍一下三个知识点：1. 边缘检测概述；2. 边缘检测方法；3. 常用微分算子。

  什么叫边缘呢？边缘的定义如下：物体的边缘是以图像的局部特征不连续的形式出现的，也就是指图像局部亮度变化最显著的部分，例如灰度值的突变、颜色的突变、纹理结构的突变等，同时物体的边缘也是不同区域的分界处。边缘的灰度特征：通常沿边缘的走向灰度变化平缓，垂直于边缘走向的灰度变化剧烈。

  边缘检测方法有很多，主要有以下几种：1. 空域微分算子；2. 拟合曲面；3. 小波多尺度边缘检测；4. 基于数学形态学的边缘检测。其中的空域微分算子也就是传统的边缘检测方法。如Roberts算子、Prewitt算子和Sobel算子等。拟合曲面的方法是：利用当前像素邻域中的一些像素值拟合一个曲面，然后求这个连续曲面在当前像素处的梯度。常用的微分算子有一阶微分算子(梯度算子)和二阶微分算子。

• 一阶微分算子：
  
  
  
  
  

• 二阶微分算子
  
  
  
  
  

串行边界分割—边界跟踪

  边界跟踪概述：

  轮廓跟踪也称边缘点连接，是一种基于梯度的图像分割方法。是指从梯度图中一个边界点出发，依次通过对前一个边界点的考察而逐步确定出下一个新的边界点，并将它们连接而逐步检测出边界的方法。

• 步骤：

  (1) : 确定轮廓跟踪的起始边界点。根据算法的不同，选择一个或多个边缘点作为搜索的起始边缘点。

  (2) : 选择一种合适的数据结构和搜索策略，根据已经发现的边界点确定下一个检测目标并对其进行检测。

  (3) : 制定出终止搜寻的准则(一般是将形成闭合边界作为终止条件)，在满足终止条件时结束搜寻。

• 常用方法有两种：探测法和梯度图法。

举例：一种简单的边界跟踪法(二值图像）：

  (1)：扫描发现灰度值从0开始变为1的像素时，存储它的坐标(i, j)值。
  (2)：从像素(i, j-1)开始反时针方向研究8-邻域像素，第一次出现像素值为1的像素记为pk，开始k=1，也同样存储p1的坐标。
  (3)：同上，反时针方向从pk-1以前的像素研究pk的8-邻域，把最先发现灰度值为1的像素记为pk+1。
  (4)：当pk=p0而且pk+1=p1时，跟踪结束。在其它情况下，把k+1更新当作k返回第(3)步。

并行区域分割—阈值分割

  本节主要介绍四个知识点：1. 阈值分割概述； 2. 经典阈值选取方法；3. 动态阈值分割法；基于熵的分割方法。其中经典阈值选取方法介绍直方图凹面分析法；最佳阈值搜寻方法；迭代阈值选取方法。基于熵的分割方法中介绍一维最大熵分割方法；二维最大熵分割方法。

• 阈值分割概述：

  现 状：阈值法是一种传统的图像分割方法，因其实现简单、计算量小、性能较稳定而成为图像分割中最基本和应用最广泛的分割技术．已被应用于很多的领域。

  适用范围：特别适用于目标和背景占据不同灰度级范围的图像，也就是说它在处理前景和背景有很强对比的图像时特别有用。

  目的：按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域布局有这种一致属性

  原理：以一定的图像模型为依托，通过取阈值后得到的图像，各个区域可以分离开。最常用的图像模型是假设图像由具有单峰灰度分布的目标和背景组成。

  分类：单阈值分割：仅使用一个阈值分割的方法。多阈值分割：如果图像中有多个灰度值不同的区域，那么可以选择一系列的阈值以将每个像素分到合适的类别中去。

  方法分类：根据使用的是图像的局部信息还是整体信息分为：上下文无关(non-contextual)方法(基于点(point-dependent)的方法)；上下文相关(contextual)方法(基于区域(region-dependent)的方法)。

  方法分类：根据对全图使用统一阈值还是对不同区域使用不同阈值分为：全局阈值分割：分割过程中对图像上每个像素所使用的阈值都相等。局部阈值分割：每个像素所使用的阈值可能不同 ，也叫自适应阈值方法。

• 全局阈值：假定物体和背景分别处于不同灰度级，图像被零均值高斯噪声污染。图像的灰度分布曲线近似用两个正态分布概率密度函数分别代表目标和背景的直方图，利用这两个函数的合成曲线拟合整体图像的直方图，将会出现两个分离的峰值。然后依据最小误差理论针对直方图的两个峰间的波谷所对应的灰度值求出分割的阈

  全局阈值方法的不足之处：该方法适用于具有良好双峰性质的图像，但需要用到数值逼近等计算，算法十分复杂，而且多数图像的直方图是离散、不规则的。

• 自适应阈值：
  
• 经典阈值选取方法

  （1） 直方图凹面分析法：

  图像的灰度直方图是一种离散分布，其包络曲线是一条连续曲线。从直观上说，图像直方图双峰之间的谷底，应该是比较合理的图像分割阈值。

  具体应用时，多使用高斯函数g(z,σ) 与直方图的原始包络函数h(z)相卷积而使包络曲线得到一定程度的平滑:

  （2） 最大类间方差法：


  （3） 最佳阈值选取方法：

  原理：来源于Bayes最小误差分类方法。通常图像中目标和背景的灰度值有部分交错，分割时总希望减少分割误差。利用背景和目标的灰度概率分布函数可以在一定条件下确定最优阈值。

  若Eb(T)是目标类错分到背景类的概率，Eo(T)是背景类错分到目标类的概率，总的误差概率 E(T) =Eb(T)＋Eo(T)，使E(T)取最小值，即为最优阈值选取方法，也称最小误差阈值 。

  具体方法：

  假设一幅图像包含两个灰度级并混有高斯加性噪声。令z表示灰度级值，此时该图像的灰度直方图可以看成是对灰度取值的概率密度函数p(z)的近似。


  假设图像中的暗区域相应于背景，亮区域相应于目标，并且可定义阈值T，使得所有灰度值小于T的像素可以被认为是背景点，而灰度值大于T的像素可以被认为是物体点。此时，物体点误判为背景点的概率为:

$$E_1(T)={\int }_{-\infty }^T{p}_2(z)dz$$

  将背景点误判为物体点的概率为：

$$E_2(T)={\int }_T^{+\infty }{p}_1(z)dz$$

  总的误判概率为：

$$E(T)=P_2{E}_1(T)+p_1{E}_2(T)$$

  （4） 迭代阈值选取方法：

  利用程序自动搜寻出比较合适的阈值。
步骤：
  ① 首先选取原始图像灰度的极大和极小值的均值作为初始值Tk。
  ② 根据阈值T将图像分割为前景和背景，分别求出两者的平均灰度值ZO和ZB 。
  ③ 求出新阈值Tk+1=(ZO+ZB)/2；
  ④若Tk=Tk+1，则所得即为阈值；否则转2，迭代计算 。

• 动态阈值分割法：

  对于只用一个固定的全局阈值对整幅图像进行分割不能取得良好效果的情况，用与像素位置相关的一组阈值（即阈值是坐标的函数）来对图像各部分分别进行分割。这种与坐标相关的阈值叫动态阈值。

  这类算法的时间和空间复杂性比较大，但抗噪能力强，对一些用全局阈值不易分割的图像有较好的分割效果。

  （1） 阈值插值法：

  首先将图像分解成系列子图，然后对每个子图计算一个局部阈值。通过对这些子图所得到的阈值进行插值，就可以得到对原图中每个像素进行分割所需要的合理阈值。对应每个像素的阈值合起来构成的一个曲面，叫作阈值曲面。

  (2) 分水岭阈值分割法：

  分水岭(watershed)阈值算法可以看成是一种特殊的自适应迭代阈值方法，算法的主要目标是找出分水线。

  对于这样一种“地形学”的解释，需考虑三点：
  (a)局部最小值点；
  (b)当一滴水放在某点的位置上的时候，水一定会下落到一个单一的最小值点；
  ©当水处在某个点的位置时，水会等概率地流向不止。

  基本思想：

• 基于熵的阈值分割方法：

  基本思想是利用图像的灰度分布密度函数定义图像的信息熵，根据假设的不同或视角的不同提出不同的熵准则，最后通过优化该准则得到阈值。

  一维熵：

  图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量。令Pi表示图像中灰度值为i的像素所占的比例，则灰度图像的一维熵定义为：

$$H=-\sum _{i=0}^{255}{p}_{i}lg{P}_i$$

  二维熵：

  图像的二维熵能够反映灰度分布的空间特征。设图像中某像素的灰度值为$i$，以该像素为中心的邻域的灰度均值为$j，i$与j组成特征二元组$(i,j)$。设$f(i,j)$为图像中特征二元组$(i,j)$出现的频数，$P_{ij}$为$(i,j)$发生的概率：

$$P_{ij}=f(i,j)/N^2$$

  其中$N\times N$为图像的大小。离散图像的二维熵定义为：

$$H=-\sum _{i=0}^{255}\sum _{j=0}^{255}{P}_{ij}lg{P}_{ij}$$

• 多阈值分割法

  多阈值分割可以看作单阈值分割的推广，前面讨论的大部分阈值化技术都可以推广到多阈值的情形。基于小波的多阈值方法；基于边界点的递归多阈值方法；均衡对比度递归多阈值方法。

• 阈值分割算法总结：

  尚无通用的分割理论；对于分割质量的评价没有统一的标准。如何把评价和分割联系起来尚有许多工作要做。一个可能的方法是结合人工智能技术，建立分割专家系统。

串行区域分割—区域分裂与合并

  本节主要介绍两点：区域生长和区域分裂与合并。区域生长中介绍其基本概念和单一型区域生长法。区域分裂与合并里面，介绍分裂。合并，分裂合并。

• 区域生长：

  概 述：区域生长是区域分割最基本的方法。所谓区域生长就是一种根据事先定义的准则将像素或者子区域聚合成更大区域的过程

  基本思想：以一组生长点（ seed-point ）开始，搜索其邻域，把图像分割成特征相似的若干区域。比较相邻区域与生长点特征的相似性，若足够相似，则作为同一区域合并，形成新的生长点。以此方式将特征相似的区域不断合并、直到不能合并为止，最后形成特征不同的各区域。

  在实际应用时，要解决三个问题：1）确定区域的数目；2）选择有意义的特征；3）确定相似性准则。

  准则：特征相似性是构成与合并区域的基本准则，相邻性是指所取的邻域方式。根据所用的邻域方式和相似性准则的不同，产生各种不同的区域生长法。

  方法分类：将灰度相关的值作为区域生长准则，区域生长可分为单一型(像素与像素)、质心型(像素与区域)和混合型(区域与区域)三种。

• 单一型区域生长法

  原理：以图像的某个像素为生长点，将特征相似的相邻像素合并为同一区域；然后以合并的像素为生长点，重复以上的操作，最终形成具有相似特征的像素的最大连通集合。

步骤：
  (1)对图像进行扫描，找出尚没有归属的像素。当寻找不到这样的像素时结束操作。
  (2)把这个像素灰度同其周围(4-邻域或8-邻域)不属于任何一个区域的像素进行比较，若灰度差值小于某一阈值，则将它们合并为同一个区域，并对合并的像素赋予标记。
  (3)从新合并的像素开始，反复进行(2)的操作。
  (4)反复进行(2)、(3)，直到区域不能再合并为止。
  (5)返回(1)，寻找能作为新区域出发点的像素

决定因素：

  区域生长的结果很大程度上取决于邻域的大小m。如果m过小，可能搜索不到期望的区域；m值过大，会将与目标相邻的背景结构也提取出来。因此m的选择需要同时考虑这两种情况。

  优缺点：

  这种方法简单，但如果区域之间的边缘灰度变化很平缓或边缘交于一点时，两个区域会合并起来。

• 区域分裂与合并：

  区域生长分割方法需要根据先验知识人工选取种子点，显然不能适用于无法获得先验知识的自动分割问题。

  区域分裂合并法不需要预先设定种子点，而是按某种一致性准则分裂或合并区域，当一个区域不满足一致性准则时被分裂成几个小的区域，当相邻区域性质满足一致性准则时合并成一个大区域

  它的关键是分裂和合并规则的设计。

  区域分离合并方法可以实现图像的自动分割，通过分裂运算，属于不同物体的区域和边界被提取出来，通过合并运算，属于同一物体的邻接区域被合并，虚假的边界被消除。

  开始时将图像分割成一系列任意不相交的区域，然后将它们进行合并或分裂得到各个区域。最常用的是四叉树分解法。

二值图像的处理

• 数字图像形态学处理技术

  基本概念和运算 ：

  用数学形态学处理图像时，要设计一种搜索图像信息的“探针”，即结构元素，这些结构元素通常是一些小的简单集合，如圆形、正方形等的集合：

  数学形态学是由一组形态学的代数运算子组成的，它的基本运算有4个： 膨胀（或扩张）、腐蚀（或侵蚀）、开启和闭合， 它们在二值图像和灰度图像中各有特点

  基于这些基本运算还可推导和组合成各种数学形态学实用算法，用它们可以进行图像形状和结构的分析及处理，包括图像分割、特征抽取、边界检测、 图像滤波、图像增强和恢复等。

  数学形态学方法利用一个称作结构元素的“探针”收集图像的信息，当探针在图像中不断移动时， 便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。数学形态学基于探测的思想，与人的FOA(Focus Of Attention)的视觉特点有类似之处。

  作为探针的结构元素，可直接携带知识（形态、大小、甚至加入灰度和色度信息）来探测、研究图像的结构特点。

• 腐蚀
  
  
  
  
• 膨胀
  
  
• 开、闭运算
  
  
  

分割评价

  本节主要介绍：评价方法及分类；最终测量精度；实用分割评价框架。

  （1）掌握各算法在不同分割情况中的表现，以通过选择算法参数来适应分割具有不同内容的图像和分割在不同条件下采集到的图像的需要。（2）比较多个算法分割给定图像的性能，以帮助在具体分割应用中选取合适的算法。

  评价方法的基本要求：（1）应具有通用性（2）应采用定量和客观的性能评价准则（3）应选取通用的图像进行测试，以使评价结果具有可比性，图像应尽可能反映客观世界的真实情况和实际应用的共同特点。

  直接法：分析法；间接法：实验法。

  图像分割是一个将一幅数字图像划分为不交叠的、连通的像素集的过程。分割算法主要有边缘分割法、阈值分割法、区域分割法等。

  边缘是指其周围像素灰度变化不连续的那些像素的集合。常见的边缘检测方法有空域微分算子、拟合曲面、小波多尺度边缘检测以及基于数学形态学的边缘检测。

  阈值分割算法是区域分割算法中具有代表性的一类分割算法。常用的方法有全局阈值、基本自适应阈值方法、动态阈值方法和基于熵的二值化方法。

  基于形态学方法的图像分割技术是用具有一定形态的结构元素去量度和提取图像中的对应形状以达到对图像分析和识别的目的。

  基于区域的分割是以直接寻找区域为基础的分割技术。区域生长就是一种根据事先定义的准则将像素或者子区域聚合成更大区域的过程。

我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习