本文是一篇软件工程论文，本文针对面向深度学习应用的资源调度，建立传输时延与计算时延模型，提出一种基于提前退出策略的深度强化学习资源调度方法，使用深度强化学习选取最佳模型退出点，实现面向深度学习应用时延与准确率指标的联合优化。
第一章 绪论
1.1 研究背景和意义
信息技术的进步带动了社会快速发展，从集中式的大数据处理到万物互联的物联网（Internet of Things，IoT），崭新的技术不断带来庞大的社会效益。得益于5G技术迅速推广，IoT应用的落地也在加快，以车联网为代表的IoT技术更是展示出无穷潜力，行业快速渗透，规模不断扩大[1]。车联网通过对信息平台中的动态信息直接整合与利用，为车辆提供快速、高效、智能的服务[2]。在改善城市交通运输状况的同时也可以促进交通服务智能化与信息化。车对外界信息交换（Vehicle to Everything，V2X）是车联网场景的核心技术部分，通过整合定位系统、导航技术、无线通信交流技术与深度学习技术等，及不断的技术迭代逐渐实现L1-L5级别的自动驾驶[3]。V2X使得车与其余车联网场景设备之间互相通信以获得实时交通信息，进而借助此类信息提高驾驶安全性、道路畅通性，提升交通效率、加速处理车载任务等[4][5]。当前我国市场规模巨大，在相关政策的支持下，2020年中国V2X市场规模已经超过1400亿元，预计到2022年底，其规模将超越3000亿元，增速处于世界领先水平。
《国家车联网产业标准体系建设指南》中指出“通过建立完善的智能网联汽车标准体系，引导和推动我国智能网联汽车技术发展和产品应用，构建安全、高效、健康、智慧运行的未来汽车社会”。《中国制造2025》中也指出“未来汽车产业智能化场景的实现是制造业永恒追求的极致实践”，由此可见汽车智能化是未来转型、创新、升级的重要发展方向。具体而言，车联网提出未来的解决方案需要能够支持千万级终端秒级传输和数据上传，以及海量事件实时触发。对持续上传的海量车况和行车数据，实时进行数据建模分析、根据用户位置和请求进行需求分析、对数据进行各种维度的汇总和分析[6][7]。
...............................
1.2 国内外研究现状与问题分析
与传统集中式的云计算相比，边缘计算将部分算力下沉到靠近目标终端的边缘设备上以提供高服务质量与低延时的服务。同时，充分关注服务器的资源利用率、能耗等指标。车联网场景是边缘计算应用场景的一个重要研究方向，且近年来全球各大厂商对智能车联网场景的研究需求也日益增长。越来越多的研究开始关注车联网环境下的端边协同应用。鉴于本文主要针对车联网应用场景下的资源调度关键技术进行研究，包括传统的批处理任务与基于深度学习的任务。因此下面针对车联网环境下面向端边协同的资源调度研究展开文献研究与讨论。
1.2.1 面向批处理任务的端边协同资源调度研究现状
车联网应用场景下批处理任务通常指单个任务复杂程度低、计算资源要求低的简单任务。但在车联网应用场景中批量产生的任务也可能会导致无法忍受的延迟、低资源利用率等问题。通过使用边缘服务器实现端边协同资源调度可以使得场景承载批量车辆任务的存储和计算需求，减少响应时延并提高资源利用率。
针对批处理的的资源调度，崔等人[25]提出一种面向移动边缘计算应用的任务调度方法，该方法在执行过程中对节点的执行位置和调度顺序进行优化决策，能有效解决移动设备资源受限的问题。张等人[26]通过构建一个基于移动边缘计算的框架使得任务既能分配到边缘设备以“车辆到基础设施”形式通信，也能分配到邻近车辆进行“车辆到车辆”通信。Chen等人[27]提出一种基于小型基站的分配框架，通过效率分析降低小型基站的能源成本，实现分布式和自发地资源调度。Yu等人[28]提出一个基于缓存改进的任务调度模型，通过在资源共享场景中移动终端节点上的联合调度策略来最小化整体执行延迟。Liu等人[29]提出一种具有资源调度策略的新型任务调度系统，以实现本地执行和远程卸载之间的资源供应平衡，从而实现最低能耗。Dinh等人[30]提出一种基于强化学习资源调度方案，该方案具有潜在的博弈，能最大限度地提高移动设备在移动边缘计算中的效用。
...............................
第二章 车联网环境下面向端-边协同的资源调度相关理论
2.1 引言
近年来，车联网发展规模逐渐扩大，汽车智能化程度也在提高，越来越多的厂家开始将战略目标向车联网转移。但是考虑到车载应用或者用户的移动应用种类繁多且不断丰富，所需的计算能力也在不断增长。此时需要更优越的解决方案来应对这种挑战。因此，将任务分配到边缘服务器并返回结果是理想的解决方案。利用边缘服务器强大的处理能力进行本地处理，减轻应用端的计算压力同时快速反馈结果、降低传输时延、减少服务等待时间，以改善用户服务质量、提高经济收益。此外，智能车联网场景对Edge AI的需求也在逐渐提高，其中一个重要场景就是目标检测，该应用是许多其他智能应用的基础。不论是识别目标、车道线辅助驾驶等都需要强大的计算处理能力，而结合边缘计算执行端边协同恰好是理想的解决方案[47][48][49]。但是考虑到车联网场景对时延的严格要求，需要探寻一种合理的解决方案同时兼顾时延与准确率[50][51]。
具体而言，在2.2节对面向批处理任务的端边协同资源调度方法进行理论分析，包括基于进化算法的资源调度技术、面向资源调度的多目标属性决策技术；在2.3节对面向深度学习应用的端边协同资源调度方法理论进行介绍，包括深度学习网络模型、模型分割方案与提前退出思想、强化学习与深度强化学习。
.............................
2.2 面向批处理任务的端边协同资源调度相关理论
车联网环境下面向批处理任务的端边协同资源调度方法的相关理论主要包含：多目标优化算法与多目标属性决策技术。
2.2.1 多目标属性决策技术
不同评价指标最终得到的结果在数值范围上有所区别，量纲单位也不同，因此无法直接从中得出最理想的资源调度策略。为消除指标之间的量纲影响，需要采用数据标准化处理方法对求解的结果进行标准化处理。该方法在不改变原有数据的数据分布的基础上，对原有数据的数值范围进行缩放，常采用线性变化法，本文采用隶属于多目标属性决策技术的优劣解距离法与多准则决策法。方法引入两个概念：理想值和非理想值。理想值是指最佳解决方案，非理想值与理想值含义相反。根据条件确定的最佳选择最接近理想值且最远离非理想值。具体而言，若是当前资源调度策略与理想调度策略的相对距离最近且与非理想调度策略的相对距离最远，则当前策略为最佳。
随着处理器计算能力的提升，深度学习的发展有了长足进步。反向传播算法自1986年提出以来很大程度上帮助解决神经网络所需要复杂计算量的问题。卷积神经网络（Convolutional Neural Networks，CNN）于20世纪90年代末被提出，这是一次较早的尝试用深度学习解决图像问题并取得成功应用。2012年，自从AlexNet被提出，该领域取得突破进展随后迅速发展，诸如GoogleNet、RestNet、DenseNet等优秀网络被相继提出[56][57][58][59]。然而，这种对准确率提高的发展趋势也带来了一些弊端：模型深度过深、复杂度过高等，这些模型在一些真实应用场景难以合理使用。因此，MobileNet和ShuffleNet等旨在应用于移动设备或者嵌入式设备的深度网络也被进一步提出[60][61]。在许多评估、预测任务中，基于深度学习的神经网络模型开始逐渐替代传统人工构造的特征，为这些任务提供一个效率更高、效果更好的解决方案。本文采用ResNet101作为本文的主体网络，其变形的ResNet18基本结构如图2-1所示：
软件工程论文怎么写
..........................
第三章 车联网环境下面向批处理任务的端-边协同资源调度方法 ................................. 18
3.1 问题描述与分析 .............................. 18
3.2 面向批处理任务的资源调度问题建模与定义 ............................... 19
第四章 车联网环境下面向深度学习应用的端-边协同资源调度方法 ............................. 33
4.1 问题描述与分析 .......................................... 33
4.2 面向深度学习应用的资源调度问题建模与定义 ......................... 34
第五章 总结与展望 .................................. 50
5.1 论文工作总结 ............................... 50
5.2 研究展望 .......................................... 51
第四章 车联网环境下面向深度学习应用的端-边协同资源调度方法
4.1 问题描述与分析
在IoT的诸多应用场景中，车联网场景是极具发展潜力的应用场景。但是，诸如道路拥堵预测、事故预警、路径优化等未来更适用的应用都是基于深度学习的复杂任务。此类任务需要更多的计算资源与更可靠通信，这对车联网提出更高层次的要求。边缘计算为车联网场景下的任务执行提供丰富的存储空间和计算资源，但是上述任务除了需要访问存储的数据，还存在深度学习应用特有的问题。第三章面向批处理任务的资源调度策略无法解决面向深度学习应用的资源调度问题。
就汽车终端自身来说，实现智能应用必须搭载相关的DNN模型。但是车载终端的内存限制了可以部署的模型大小。同样，当任务处理需要实时响应时，处理能力更是一个重要变量。不可否认的是车联网场景对时延要求极为严格，但是不能忽略准确率而过度追求时延，因为基于深度学习应用的主要评价指标就是准确率。因此，哪些已知的技术可以权衡时延与准确率而被应用于该场景是一个亟待解决的问题。提前退出网络结构或许是可行的方案。
软件工程论文参考
本章通过计算ResNet18每层的计算速度和中间参数量的大小，更直观地展现提前退出带来的优势。如图4-1所示，Param表示不同层的参数量，MACs是与计算速度相关的指标，Conv、Bn、Relu、Maxpool、Avgpool、Fc和Layer都是指网络中的不同层。可以看出，不同层的产生的计算参数量与计算速度差距较大，这表明在CNN上设置的分区点一旦不合适就会导致终端设备上的计算开销变大，时延也会相应增加，并且终端设备和边缘服务器之间的通信开销也会增大。基于以上观察，在合适的分割点提前退出可以减少计算、节省带宽资源，加速CNN推理、降低时延。
..................................
第五章 总结与展望
5.1 论文工作总结
本文首先介绍面向端-边协同的车联网资源调度关键技术研究的研究背景和意义，以及当前车联网结合边缘计算的研究现状。指出当前车联网环境下端-边协同资源调度存在的问题，即缺乏时延指标与特定问题的目标指标之间的权衡考虑。针对面向批处理任务的资源调度，构建一个将RSU与MABS协同考虑进车联网环境的混合场景，分析场景资源使用情况，建立时延与资源利用率模型，设计一种自适应资源调度方法，实现对混合车联网场景的时延和资源利用率指标的权衡。针对面向深度学习应用的资源调度，建立传输时延与计算时延模型，提出一种基于提前退出策略的深度强化学习资源调度方法，使用深度强化学习选取最佳模型退出点，实现面向深度学习应用时延与准确率指标的联合优化。本文主要的研究工作包括：
（1）在面向批处理任务的资源调度方法研究中，批处理任务在执行的过程中存在消耗较高的物理资源和数据资源的事实。同时，部署RSU与MABS边缘节点的混合场景也使得资源调度更加复杂。针对这些挑战，本文提出一种自适应的资源调度方法。具体而言，分析资源使用情况，建立资源调度过程中的时延模型与资源利用率模型，其次利用多目标优化算法获得均衡的调度策略集合。再利用简单加权法、逼近理想解排序法和多准则决策得出最优的分配策略。最后对提出的方法与其他三种算法进行对比，证明该方法在优化时延和资源利用率方面具有一定的优越性。
（2）在面向深度学习应用的端边协同资源调度方法研究中，基于深度学习的目标检测任务在终端执行时存在需要大量计算资源但是终端计算能力有限。同时，车联网场景对时延的严格要求也使得该类任务的资源调度更加复杂。针对这些挑战，本文提出一种基于提前退出策略的深度强化学习资源调度方法。具体而言，通过借鉴提前退出和模型分割思想对ResNet101修改，增加退出分支结构。
参考文献（略）