第 1 章 绪论
1.1 研究背景及意义
遥感技术,是 20 世纪 60 年代兴起的一种探测技术,随着各项技术的快速发展,获取高分辨遥感图像逐渐变得容易,目前可以查询到的国产高分辨遥感影像高分一号,高分二号、资源三号等都投入了研究使用。高分辨遥感图像为获取新地理信息提供了一种快速、经济的途径,为遥感技术的进一步应用奠定了重要的基础。遥感图像应用的目标是提取信息并且识别感兴趣的目标(如建筑、船舶、车辆、飞机等),来完成我们对图像的理解。遥感数据具有多源性、真实性、实时性、海量性等优点。
道路作为现代交通体系中的主体,在车辆管理、城市规划、环境监测、交通导航、灾后重建等多个领域扮演着不可或缺的角色,具有重要的地理、政治、经济意义。遥感图像数据已经迅速成为自动提取道路网络的主要数据源,它可以提供高精度的地面信息以及更复杂的背景细节,还可以进行大规模的道路监控,给道路提取带来了很大的改进空间。高分辨率遥感图像的优势明显,它的高分辨能够使机器发现图像中的细节,但高分辨道路的提取技术研究仍面临许多问题,未广泛的投入应用。
随着成像技术的发展,大量高分辨率卫星图像的出现,为遥感图像的分析和分类开辟了新的可能性。高空间分辨遥感图像包含丰富的光谱和几何信息,从高分辨率遥感图像中自动提取道路是一项基本任务[1],该任务已经研究了多年,研究者们针对不同的道路类型等方面提出了多种不同的方法用于从遥感图像提取道路。然而,遥感图像道路提取研究仍面临着很多问题和挑战。首先,一般传统的道路提取方法依赖于所选择的特征,人工选择的道路特征会受到多种因素影响,例如传感器类型、空间分辨率、光谱和天气等,影响自动提取道路任务。其次,道路类型多样,如高速公路的沥青路面、普通道路的混凝土路面;不同区域的图像,例如城市区域主干道、农村区域等给任务带来挑战。另外,遥感图像中的道路对象,具有较大的类内差异和较低的类间差异的异形结构区域,即复杂的道路结构特征[2],并且道路会被建筑物阴影和树木等造成视觉遮挡,以致于两者特征之间差异不明显,进而不能准确反映道路信息,常见的道路提取困难举例如图 1.1 所示。
软件工程论文参考
1.2 国内外研究现状
自 1972 年美国发射第一颗陆地观测卫星以来,包括了图像压缩、图像分类、图像解译和图像融合等多项应用于遥感图像处理的技术都得到了快速的发展[3]。遥感图像中的道路特征经常会受到多种因素的影响,例如传感器的类型、光谱、空间分辨率、天气情况、光照变化、以及地面特征等。由于道路背景情况十分复杂,无法使用一般的结构模型来建模,所以通常需要分析道路的特征和模型。
1.2.1 遥感图像道路的基本特征
高分辨遥感图像中,不同的道路特征具有不同的属性,大多数道路提取可以被视作将图像分为道路类和非道路类的二分类问题,通常可以利用道路的几何特征、光谱特征和纹理特征对遥感图像进行分析识别。道路特征通常从以下四个方面进行总结:
(1)几何特征:道路通常为细长的形状,它可以有不同的宽度,但同一条道路的宽度相对固定,总体呈现为长条带形,曲率较小在局部范围内不会突然发生很大的变化,有明显的方向特征。道路交叉口也有比较固定的几种形式。
(2)拓扑特征:道路的拓扑结构呈现互通的网状结构,道路网络一般是不会突然中断的,多种交叉路口将不同类型的道路连贯起来,在道路比较复杂的地方会形成比较密集的网状。
(3)辐射特征:道路的灰度值或者颜色变化十分缓慢,相对来说一致的。道路通常会有两条比较明显的边缘线,并且有较大的边缘梯度。但在城市道路中,由于道路两旁的树木、建筑物会造成边缘梯度不明显。
(4)上下文特征:道路和周边地物存在一定的空间语义关系,被认为是道路的上下文特征。道路两旁的树木、建筑物、车辆、道路指示牌等地物都与道路间存在联系,它们会对道路的原有特征造成影响,但也可以用作道路提取的间接推理标志。
遥感图像在实际应用中,大多数的道路提取方法不是用单一的特征建模,而是会采用多种道路特征结合在一起建模,对疑似道路进行筛选和优化,从而从图像中提取出道路。因此,如何从遥感图像中自动、精确地提取道路是一项非常有挑战性的工作。针对这些问题,传统方法和深度学习两个方面来介绍道路提取的研究现状。
........................
第 2 章 相关理论与技术
2.1 卷积神经网络基础理论
早在 20 世纪 90 年代,LeNet-5 就成功的应用于数字识别,CNN 的设计最初是受到LeNet[43]模型的启发,它是用于特征提取的简单卷积堆栈和用于空间子采样的最大池操作。CNN 是由大量神经元通过相互连接而构成的自适应非线性动态网络系统,是对生物神经网络的一种模拟和近似。CNN 作为深度学习的分支,它依次由卷积层、池化层、激活功能层和全连接层堆叠而成,它的结构示意图如图 2.1 所示,它可以通过卷积和汇聚运算从低到高提取图像的多层次特征,并且能够高效、自动地提取多尺度语义特征,具有强大的特征提取能力,善于从数据中挖掘出抽象的特征表示,并且能够直接处理任意尺寸的输入图像,来获得更加具有表达性的图像特征。CNN 拥有权值共享、局部感知及下采样等特性,这些特性可以使 CNN 获得有效的图像特征的同时,又能有效削减权值的数量,很大程度上的减少了网络模型的复杂度。
软件工程论文怎么写
2.2 常用的卷积神经网络模型
在遥感图像数据应用中,卷积神经网络的方法优于传统方法,多种卷积神经网络算法被运用到遥感图像道路提取,一定程度上提升分割性能和自动性。基于语义分割的遥感图像道路提取通常是基于编码器-解码器结构,编码器部分是用于提取特征,然后进行分类的,解码器部分则是将编码器的先前丢失的空间细节信息逐渐恢复。在深度学习中,常见的具有编码器-解码器结构的语义分割网络有 FCN、U-Net、SegNet 等。
(1)FCN 模型
全卷积网络(FCN)是 2015 年提出的,它被广泛的应用和推广于语义分割领域,实现了全卷积网络在像素级预测上端到端的训练。同样,基于深度神经网络和 FCN 的分割方法也被开发出来,用于从高分辨率遥感图像中提取道路。
该模型通常编码和解码两个路径组成,由下采样、收缩、组成编码路径,用于提取并解释上下文信息。由上采样、扩展、组成解码路径,根据编码路径中提取的上下文信息,对分割图进行特定定位或者构建。然后通过跳过连接结合不同尺度的图像特征,使模型具有更高的精度和鲁棒性。由于它们仅由局部连接(卷积、汇集和上采样)组成,没有采用全连接层,有效的减少计算时间和参数数量,这也意味着 FCN 可以接受任意尺寸的输入图像。FCN 的缺点是对像素进行分类没有充分考虑像素之间的关系,缺乏空间一致性。
(2)U-Net 模型
U-Net 模型最初的提出是用于医学图像分割的语义分割模型,适用于高分辨率图像,针对医学图像可用的训练数据比较小以及小样本数据训练,训练效果优势明显。由于整个网络结构类似于字母“U”,所以称之为 U-Net。该模型是一个典型的编码器-解码器结构,编码器部分利用卷积层和激活函数进行特征提取,然后利用最大池化层降低空间尺寸和分辨率,并且增加通道数。在解码器部分,转置卷积恢复空间分辨率,然后利用跳跃连接将两部分同层的特征进行级联,作为后续卷积层的输入。U-Net 通过跳跃连接实现了不同层级的特征融合,低级特征可以复制到相应的高层创建信息传输路径,允许信号传播自然之间的低和高水平,这不仅有助于反向传播,还可以补充低层和高层语义特征的细节。综上,本文的两个模型都是基于 U-Net 模型的改进,用于遥感图像的道路分割。
..............................
第 3 章 基于卷积注意神经网络提取遥感图像道路.................................... 21
3.1 道路数据集制作....................................................22
3.1.1 获取遥感数据....................................................22
3.1.2 图像标签制作.............................................23
第 4 章 使用轻量级卷积注意网络提取遥感图像道路.........................30
4.1 轻量级卷积注意网络.............................30
4.1.1 SCAtt-Unet 网络......................30
4.1.2 空间通道注意力........................30
第 5 章 遥感图像道路提取系统的设计实现.......................45
5.1 系统概述..................45
5.1.1 需求分析...............45
5.1.2 系统功能概述...................45
第 5 章 遥感图像道路提取系统的设计实现
5.1 系统概述
道路提取系统通常涉及几种不同类型的技术。由于不同国家对道路的定义和道路的建设的标准不同,在农村、郊区和城市地区,所有类型的土地结构都没有理想的道路提取结构,很难形成一个通用的道路提取体系,所以设计一个适用于多种类型遥感图像道路提取系统是十分有意义的,所以本系统集成了马萨诸塞州道路和北京方庄道路两个数据集,包含了城市、郊区和农村等多种复杂的道路情况,有益于实现一个多种类型道路通用的系统。
5.1.1 需求分析
遥感图像道路提取系统,可以应用在多个领域之中,为了让用户更加快速直观地了解到当前的道路规划情况,开发一个高效的道路提取系统很有必要。遥感图像包含了多种类别,其中有高光谱遥感图像、卫星图像以及航空图像等。此外道路数据集包含了多样的地域情况,例如城市、郊区和农村道路的背景条件和特征(例如颜色、纹理等)有很大的不同。此外,遥感数据集制作的成本高昂,可用的公开数据集较少,然而数据集的类型也是多样化的。另外针对道路提取的算法也是多样的,不同算法道路提取的效果也是不一致的。综上,本文设计了一个集成本文所提出的所有遥感图像道路模型,系统可以直观的在不同数据集上对比各种算法的道路提取效果,实现快速、准确从高分辨率从遥感图像中提取出道路。
5.1.2 系统功能概述
本文系统针对前文的实验与研究的算法,编程实现了遥感图像道路提取系统。本系统希望通过图形化界面,更直观分析道路提取效果,选取最佳的提取效果。其中本文的算法使用 2 个具有挑战性的数据集来验证算法。因此本系统设计了一个数据集选择模块,用于观察不同数据集的算法提取效果。同时还设计了实验过程的进度提示、道路提取结果图。该系统的设计流程步骤如图 5.1 所示。
(1)需求分析:根据系统想要实现的功能要求,分析系统设计的功能模块,然后结合编程软件的性能,构思设计一个简单直观易操作的界面,操作实现道路提取系统。
(2)设计规划:根据需求分析,确定系统所需要的功能模块,设计系统主界面,理清模块之间的操作流程,考虑功能模块的分布。结合开发软件,考虑系统的适用性和技术的可行性,完成最终的设计方案。
(3)总体设计和详细设计:确定规划设计的总体思路之后,根据模块之间的逻辑关系,设计功能模块之间的联动,然后设计界面和操作功能,根据每个模块的实际功能进行详细的设计。
......................
第 6 章 总结与展望
6.1 本文工作总结
本文是在综合国内外高分辨率遥感图像目标提取的基础上研究的。针对高分辨遥感图像中道路类型的复杂性、背景干扰严重等原因导致分割精度低的难点问题,以及传统道路提取算法的不足,进一步研究了卷积神经网络的模型,并且基于改进的模型来实现对遥感图像道路的提取,并且最终能够达到较好的实验效果。截止到本论文完成,主要完成以下工作:
(1)分析了目前道路提取的国内外研究现状,总结了自动从高分辨率遥感图像中提取道路的难点,以及目前道路提取方法存在的不足,介绍算法的想法与来源。
(2)针对遥感图像中道路被树木、建筑阴影严重遮挡造成分割道路出现不连续的情况,提出了 AGs-Unet 模型。该模型结合了 U-Net 模型和注意力机制的优势,在模型的跳过连接结构部分添加 AG,从编码器提取的粗尺度信息上进行选择,扩大了模型的感受野,选择对道路提取有用的特征,有效的缓解了 U-Net 等模型在遥感图像中分割道路过度利用低层特征造成过分割的风险,从而提升了道路提取模型的性能。最后利用准确率、召回率和 F1-score 等评估标准对多种方法的目标提取分割效果进行对比分析。
(3)为了进一步提升分割道路的性能,加快模型的推理计算速度,并且有效的减少模型的参数量。在网络模型中,考虑在通道信息注意力的基础上,结合空间信息对特征进行选择,从空间和通道两个维度添加注意力,获取了更多有用的道路语义信息,抑制或者弱化背景等无关的噪声。另外将模型中的常规卷积替换成深度可分离卷积,在有效的降低训练模型的参数量的同时,减少模型的预测时间。与其他方法对比分析表明,该方法能够准确、快速的提取道路信息,面对树木遮挡情况也能展示出良好的鲁棒性。
(4)制作数据集,为了验证本文算法在多种不同的道路类型下的模型性能,制作了一个城市区域道路数据集,与公开的马萨诸塞州道路数据集共同用于实验验证。
(5)遥感图像道路提取系统的设计与实现,对系统进行编译,设计了简单直观的界面,方便用户操作,该系统集成本文用到的所有模型,可以直观的对比各种算法的道路提取效果,并且可以快速准确的提取出道路。
参考文献(略)