文献综述
随着图像设备分辨率的快速增长、计算设备计算能力的显著提高,人们对高光谱图像属性与特征的认知也在随着获取的信息量的增多而不断加深。基于高光谱图像对相关地物区域进行划分正是高光谱图像处理领域的一个重要的研究方向。
- 超像素分割
对于包含数据量较大的地物图像,在对其进行进一步操作前,先进行一定程度的预处理是十分必要的。在众多预处理手段中,超像素(Super-pixel)分割[1]是近年来兴起的一种快速处理技术:它将原始图像分割为一定数量的具有语义意义的子区域。使用超像素块替代原始像素进行计算有利于提取局部特征与表达图片的整体结构信息,同时也大大减少了后续处理的计算复杂度。
超像素生成算法可大致分为基于图论的方法,与基于梯度上升的方法。不同的超像素算法有着不同的计算步骤,也有着不同的性能倾向。
在基于图论的分割方法中,Graph-based Segmentation (GS) - 基于图论的高效图像分割算法[3]提出将图像中的像素作为图的节点,将超像素块定义为组成像素的最小生成树。此算法可以很好地粘附到图像边界,且运行效率较高。但文章[3]指出,此算法生成的超像素块的尺寸与形状极不规则,且彼此间差异较大。与GS算法不同的是,Normalized Cuts (NC) - 归一化切割算法[4]则为分割边缘定义了一个成本函数,在运算中递归地使用轮廓、纹理线索对图像进行分割,通过使成本函数达到全局最小化的方法进行超像素块划分。此种算法产生的超像素块边界十分规则,且拥有较好的分类精度,但边界贴合性能不如GS算法,计算过程中的递归步骤也使得其运行效率较低。Super-pixel Lattices (SL) - 超像素晶阵法[5]在图片上分割出更小的水平或垂直区域中的最佳路径或接缝,以此生成由竖直、水平折线组成网格所围成的超像素块。此种方法的生成效果和速度在目前看来均不理想。Graph-Cut (GC) - 图切割算法[6],使用类似于文章[7]中提出的基于纹理合成的全局优化方法,通过将重叠的图像块拼接在一起以获得超像素块。重叠的过程使得每个像素仅属于各重叠区域中的一种。此方法拥有两个变种,分别用来生成紧凑超像素(Graph-Cut a)与恒定强度超像素(Graph-Cut b)。GC算法虽然在运行效率与切分精度上逊色于GS算法,但其支持对超像素数量的控制。
另一方面,基于梯度上升的方法中也包含运行效果较好的成员,以及图像处理领域中的经典方法。其中,Mean-Shift (MS) - 均值漂移算法[8] 是一种十分经典,被广泛应用于目标跟踪、图像聚类等领域的算法。当其被运用于超像素分割时,具有良好的抗噪性能与边界粘附性,但产生的超像素块的尺寸与形状极不均匀。Water-Shed (WS) - 分水岭算法[9],考虑了相邻像素间的颜色相似性,将在空间位置上相近,且颜色距离也相近的像素点互相连接以构成封闭轮廓以形成超像素块。此方法考虑了像素在空间关系上的相似性和相似区域的封闭性,相比阈值分割、边缘检测等基础图像分割方法有所改进,但其应用于超像素生成时会生成尺寸和形状高度不规则的超像素块,且边界粘附性能并不突出,虽然运行效率较高,但较差的划分精度和常见的过切分现象使它的整体性能大打折扣。Turbo-pixel (TP) - 涡轮像素算法[10],使用基于水平集的“几何流”,从一组种子位置开始向外逐渐扩张以形成超像素块。“几何流”的流动扩张过程依赖于局部图像梯度,目的是在图像平面上规则地分布超像素。TP算法中的超像素被约束为均匀的尺寸,具有紧凑性且具有较好的边界粘附性能。此算法在文章[1]的测试中对小尺寸图像表现出了较好的时间性能,但随着图像尺寸的增加其运行效率下降较快,且分割精度不是十分优秀。Quick-Shift (QS) - 快速漂移算法[11],是一种类似于MS算法的快速模式搜索算法,该算法通过不断将初始数据向量移动到具有更高能级的最近邻域模态以实现超像素区域的划分。虽然此算法具有相对良好的边界粘附性能,但运行速度一般,且无法对生成的超像素块的数量和大小进行控制。
在这些算法之外,文章[2]中提出了Simple Linear Iterative Clustering(SLIC)算法。该算法基于K-means,在拥有简洁的计算过程的同时,相比超像素分割领域之前提出的诸多算法,在运行效率及分类精度上均取得了不小的提升,且支持对超像素块形态于数量的控制。该算法与上述其他算法拥有两个重要区别:
- 将搜索空间限制为与超像素大小成比例的区域,显着地减少了优化过程中的像素距离计算所涉及到的像素的数量,降低了处理过程的时间复杂度。
- 加权的距离度量组合了颜色和空间的相似性度量,充分利用了图像的空间信息和颜色信息,且同时提供对超像素的尺寸和紧凑性的控制。
SLIC算法的主要步骤为:在限制大小的区域中,以综合颜色与空间信息的距离度量为基础进行K-means聚类,并在聚类完成后将孤立结点根据连通分量分配给最近的超像素块。SLIC算法以十分简洁的步骤达到了很好的超像素划分效果。SLIC算法无论在时间性能还是切分精度上都比较早期的超像素分割算法更好。但SLIC算法对聚类中心的随机选取过程可能造成冗余聚类中心的出现,且算法本身的抗噪性能较差。
算法 |
优点 |
缺点 |
Graph-based Segmentation (GS) |
边界粘附性好、运行效率高 |
超像素块尺寸与形状极不规则且彼此间差异大 |
Normalized Cuts (NC) |
超像素块边界规则、切分精度高 |
边界粘附性能稍差、运行效率低 |
Super-pixel Lattices (SL) |
超像素块十分规则、适应拓扑图像 |
边界粘附效果与生成速度较差 |
Graph-Cut (GC) |
支持控制超像素数量、边界贴合较好 |
要求原始图像的不同区域间拥有较大差异 |
Mean-Shift (MS) |
抗噪性能好、边缘贴合优秀 |
生成的超像素极不规则 |
Water-Shed (WS) |
运行效率较高 |
切分精度低、过分割现象严重 |
Turbo-pixel (TP) |
超像素尺寸均匀、边界粘附性好、小规模问题上效率较高 |
切分精度一般、效率随问题规模下降快 |
Quick-Shift (QS) |
边界粘附性良好 |
运行效率一般、无法控制超像素数量和尺寸 |
SLIC |
可控制超像素的尺寸与紧凑性,超像素形状均匀;时间性能、切分精度优秀 |
抗噪性能较差,易生成冗余的聚类中心 |
表1:超像素生成算法对比
对于本课题中数据量较大的高光谱地物信息图像,使用基于SLIC算法的超像素分割算法进行图像的预处理将为后续步骤提供有益的帮助。
- 聚类
聚类的意义为,按照某种给定的度量标准(如空间距离、颜色距离),将一个数据集分割为不同的类或簇,使得同一个簇内的数据点之间的相似性尽可能大,同时使不在同一个簇中的数据点之间的差异性尽可能地大。即使得聚类完成后,同类数据尽量聚集在一起,不同类数据尽量分离。在本课题的情景下,聚类是利用地物图像信息进行地物相关区域划分的核心步骤。
作为在机器学习、图像处理等领域被十分广泛运用的处理手段,聚类领域诞生了多种经典、可靠的算法。
K-means算法,作为典型的基于原型的目标函数聚类方法的代表,由三位学者于上世纪50、60年代分别独立地提出[12]。K-means算法通过重复将每个样本根据其与质心的距离进行归类,并通过新样本集更新质心的过程,以使得聚类逐渐收敛。K-means算法的思路直观,计算过程简洁,也因此成为了大量复杂算法的基础。但因为原始的K-means算法要求在每次重复过程中都要计算所有样本与各质心间的相似度,使得其在大规模数据集上的收敛速度较慢。此外,K-means算法更适用于凸状的数据集,而不适合于细长或形状不规则的数据集合。在传统K-means算法的基础上,Mini-batch K-means算法[13]被提出。此算法针对K-means算法的时间性能进行优化,每次更新样本分类后仅随机选取一部分样本点对质心进行更新,以达到避免时间复杂度随数据规模快速增加的目的。此算法得到的聚类效果比原版K-means稍差,但计算速度更快。
在基于K-means的算法之外,历年来也有许多基于其他原理的方法被提出,其中,较为出名的Density-Based Clustering(DBSCAN)[14]算法将像素点的局部密度作为聚类标准,通过设定一定的密度阈值作为聚类与聚类边界的分界以将密度较大的区域互相连接形成聚类。DBSCAN算法的聚类中心的确认、数据点的分配过程不涉及迭代,因而对数据集的规模的敏感性较低。虽然在较规则的测试集上DBSCAN拥有比K-means类算法更出色的精度,但此算法设定阈值进行噪音识别的方法可能导致低密度点被错分为噪音,且合适的密度阈值在实践中往往是难以设定的。此后,Density Peaks - 峰值密度(DP)算法[15]的提出解决了DBSCAN非动态设定密度阈值导致的一系列问题。DP算法引入边界区域的概念,将处于聚类边缘的区域作为整体,以各边缘区中最高的局部密度值充当DBSCAN算法中的阈值角色,达到动态设定“噪音阈值”的目的,此外DP算法将非中心区域的数据点分类为单独的“聚类光晕”区域,而非直接丢弃。DP算法在改进了DBSCAN算法的缺陷的同时,也不同于K-means类算法只能检测球形聚类簇,可以对不规则形状的聚类簇进行有效探测。此外,DP算法也如DBSCAN算法一样,在将数据点分配给聚类的过程中不涉及到递归的过程,仅通过单步步骤便可完成执行。更为灵活的应用场景和出色的聚类性能使得DP算法在提出后被广泛应用于机器学习和图像处理,对于DP算法的继续研究也在不断进行[16][17]。
算法 |
不规则簇探测 |
数据点分配 |
噪音阈值设定 |
数据丢弃 |
数据集大小敏感性 |
K-means |
不可 |
迭代 |
无 |
无 |
线性增长 |
Mini-batch |
不可 |
迭代 |
无 |
无 |
低于K-means,取决于更新点规模 |
DBSCAN |
可 |
单步 |
非动态 |
有 |
低 |
DP |
可 |
单步 |
动态 |
无 |
低 |
表2:聚类算法对比
对于本课题,因高光谱图像中的地物信息不可能完全按照球形簇分布,在对算法鲁棒性和精度的要求下,在超像素分割等预处理步骤后,相比K-means类算法,选用基于DP的聚类算法进行聚类步骤的操作更为合适。
参考文献:
- X. Ren and J. Malik, 'Learning a classification model for segmentation,' IEEE International Conference on Computer Vision, vol.1, pp. 10-17, 2003.
- R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua and S. Suuml;sstrunk, 'SLIC Superpixels Compared to State-of-the-Art Superpixel Methods,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 11, pp. 2274-2282, 2012.
- P. Felzenszwalb and D. Huttenlocher. Efficient graph-based image segmentation. International Journal of Computer Vision (IJCV), vol.59, no. 2, pp. 167–181, 2004.
- J. Shi and J. Malik, 'Normalized cuts and image segmentation,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 8, pp. 888-905, 2000.
- A. Moore, S. Prince, J. Warrell, U. Mohammed and G. Jones, 'Superpixel lattices,' 2008 IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2008.
- O. Veksler, Y. Boykov, and P. Mehrani. Superpixels and supervoxels in an energy optimization framework. European Conference on Computer Vision (ECCV), 2010.
- V. Kwatra, A. Schodl, I. Essa, G. Turk, and A. Bobick, 'Graphcut textures: Image and video synthesis using graph cuts,' ACM Transactions on Graphics, vol. 22, no. 3, pp. 277–286, 2003.
- D. Comaniciu and P. Meer, 'Mean shift: a robust approach toward feature space analysis,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 5, pp. 603-619, 2002.
- L. Vincent and P. Soille, 'Watersheds in digital spaces: an efficient algorithm based on immersion simulations,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, no. 6, pp. 583-598, 1991.
- A. Levinshtein, A. Stere, K. Kutulakos, D. Fleet, S. Dickinson and K. Siddiqi, 'TurboPixels: Fast Superpixels Using Geometric Flows,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 12, pp. 2290-2297, 2009.
- R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua and S. Suuml;sstrunk, 'SLIC Superpixels Compared to State-of-the-Art Superpixel Methods,' IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 11, pp. 2274-2282, 2012.
- A. Jain, 'Data Clustering: 50 Years Beyond K-means,' Pattern Recognition Letters, vol. 31, no. 8 ,pp. 651-666, 2010.
- D. Sculley, 'Web-scale k-means clustering.' International Conference on World Wide Web, vol.219, pp. 1177-1178, 2010.
- M. Ester, H. Kriegel, and X. Xu, 'A density-based algorithm for discovering clusters a density-based algorithm for discovering clusters in large spatial databases with noise.' International Conference on Knowledge Discovery and Data Mining, pp. 226-231, 1996.
- A. Rodriguez and A. Laio, 'Clustering by fast search and find of density peaks,' Science, vol. 344, no. 6191, pp. 1492-1496, 2014.
- W. Yu, Z. Wang, S. Li, and X. Sun. Hyperspectral image clustering based on density peaks and superpixel segmentation. Journal of Image and Graphics, vol. 21, no. 10, pp. 1402-1410, 2016.
- J. Yang, G. Wang, and Z. Pang. Relative researches of clustering by fast search and find of density peaks. Journal of Nanjing University (Nature Science), vol. 53, no. 4, pp. 791-800, 2017.
文献综述
随着图像设备分辨率的快速增长、计算设备计算能力的显著提高,人们对高光谱图像属性与特征的认知也在随着获取的信息量的增多而不断加深。基于高光谱图像对相关地物区域进行划分正是高光谱图像处理领域的一个重要的研究方向。
- 超像素分割
对于包含数据量较大的地物图像,在对其进行进一步操作前,先进行一定程度的预处理是十分必要的。在众多预处理手段中,超像素(Super-pixel)分割[1]是近年来兴起的一种快速处理技术:它将原始图像分割为一定数量的具有语义意义的子区域。使用超像素块替代原始像素进行计算有利于提取局部特征与表达图片的整体结构信息,同时也大大减少了后续处理的计算复杂度。
超像素生成算法可大致分为基于图论的方法,与基于梯度上升的方法。不同的超像素算法有着不同的计算步骤,也有着不同的性能倾向。
在基于图论的分割方法中,Graph-based Segmentation (GS) - 基于图论的高效图像分割算法[3]提出将图像中的像素作为图的节点,将超像素块定义为组成像素的最小生成树。此算法可以很好地粘附到图像边界,且运行效率较高。但文章[3]指出,此算法生成的超像素块的尺寸与形状极不规则,且彼此间差异较大。与GS算法不同的是,Normalized Cuts (NC) - 归一化切割算法[4]则为分割边缘定义了一个成本函数,在运算中递归地使用轮廓、纹理线索对图像进行分割,通过使成本函数达到全局最小化的方法进行超像素块划分。此种算法产生的超像素块边界十分规则,且拥有较好的分类精度,但边界贴合性能不如GS算法,计算过程中的递归步骤也使得其运行效率较低。Super-pixel Lattices (SL) - 超像素晶阵法[5]在图片上分割出更小的水平或垂直区域中的最佳路径或接缝,以此生成由竖直、水平折线组成网格所围成的超像素块。此种方法的生成效果和速度在目前看来均不理想。Graph-Cut (GC) - 图切割算法[6],使用类似于文章[7]中提出的基于纹理合成的全局优化方法,通过将重叠的图像块拼接在一起以获得超像素块。重叠的过程使得每个像素仅属于各重叠区域中的一种。此方法拥有两个变种,分别用来生成紧凑超像素(Graph-Cut a)与恒定强度超像素(Graph-Cut b)。GC算法虽然在运行效率与切分精度上逊色于GS算法,但其支持对超像素数量的控制。
另一方面,基于梯度上升的方法中也包含运行效果较好的成员,以及图像处理领域中的经典方法。其中,Mean-Shift (MS) - 均值漂移算法[8] 是一种十分经典,被广泛应用于目标跟踪、图像聚类等领域的算法。当其被运用于超像素分割时,具有良好的抗噪性能与边界粘附性,但产生的超像素块的尺寸与形状极不均匀。Water-Shed (WS) - 分水岭算法[9],考虑了相邻像素间的颜色相似性,将在空间位置上相近,且颜色距离也相近的像素点互相连接以构成封闭轮廓以形成超像素块。此方法考虑了像素在空间关系上的相似性和相似区域的封闭性,相比阈值分割、边缘检测等基础图像分割方法有所改进,但其应用于超像素生成时会生成尺寸和形状高度不规则的超像素块,且边界粘附性能并不突出,虽然运行效率较高,但较差的划分精度和常见的过切分现象使它的整体性能大打折扣。Turbo-pixel (TP) - 涡轮像素算法[10],使用基于水平集的“几何流”,从一组种子位置开始向外逐渐扩张以形成超像素块。“几何流”的流动扩张过程依赖于局部图像梯度,目的是在图像平面上规则地分布超像素。TP算法中的超像素被约束为均匀的尺寸,具有紧凑性且具有较好的边界粘附性能。此算法在文章[1]的测试中对小尺寸图像表现出了较好的时间性能,但随着图像尺寸的增加其运行效率下降较快,且分割精度不是十分优秀。Quick-Shift (QS) - 快速漂移算法[11],是一种类似于MS算法的快速模式搜索算法,该算法通过不断将初始数据向量移动到具有更高能级的最近邻域模态以实现超像素区域的划分。虽然此算法具有相对良好的边界粘附性能,但运行速度一般,且无法对生成的超像素块的数量和大小进行控制。
在这些算法之外,文章[2]中提出了Simple Linear Iterative Clustering(SLIC)算法。该算法基于K-means,在拥有简洁的计算过程的同时,相比超像素分割领域之前提出的诸多算法,在运行效率及分类精度上均取得了不小的提升,且支持对超像素块形态于数量的控制。该算法与上述其他算法拥有两个重要区别:
- 将搜索空间限制为与超像素大小成比例的区域,显着地减少了优化过程中的像素距离计算所涉及到的像素的数量,降低了处理过程的时间复杂度。
- 加权的距离度量组合了颜色和空间的相似性度量,充分利用了图像的空间信息和颜色信息,且同时提供对超像素的尺寸和紧凑性的控制。
SLIC算法的主要步骤为:在限制大小的区域中,以综合颜色与空间信息的距离度量为基础进行K-means聚类,并在聚类完成后将孤立结点根据连通分量分配给最近的超像素块。SLIC算法以十分简洁的步骤达到了很好的超像素划分效果。SLIC算法无论在时间性能还是切分精度上都比较早期的超像素分割算法更好。但SLIC算法对聚类中心的随机选取过程可能造成冗余聚类中心的出现,且算法本身的抗噪性能较差。
以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。