本文是一篇软件工程论文，本文从以图藏图任务本身出发，提出基于残差学习的以图藏图算法框架，并围绕此框架实施了两个具体详细地解决方案。在这些解决方案中，本文也对以图藏图任务本身进行先验正则，提出了有效的深度神经网络的改进策略包括网络模块和网络训练策略。
第一章 绪论
1.1 研究背景
从社会发展史看，人类经历了农业革命、工业革命，目前正在经历着信息革命。农业革命增强了人类生存能力，使人类从采食捕猎走向栽种畜养，从野蛮时代走向文明社会。工业革命拓展了人类体力，以机器取代了人力，以大规模工厂化生产取代了个体工场手工生产。而信息革命则增强了人类脑力，带来生产力又一次质的飞跃，对国际政治、经济、文化、社会、生态、军事等领域发展产生了深刻影响。在未来的几年里，中国数据圈将受到来自物联网设备信号、元数据、娱乐相关数据、云计算和边缘计算增长的驱动，其中生产力数据和物联网数据占比将从2015年的11%增长至2025年的40%。我国产生的数据量将从2018年的约7.6ZB增至2025年的48.6ZB，数据交易迎来战略机遇期[1]。与此同时，美国2018年的数据量约为6.9ZB。到2025年，这个数字预计将达到30.6ZB，海量的数据为新型生产关系提供了丰富的生产资料。 然而，随着爆炸式数据增长的出现，信息安全问题也越来越受到各界人士的广泛关注和研究[2]。与此同时，大量的互联网多媒体数据传输也给信息安全技术带了很多的机遇。
在现有的环境和技术背景下，保证数据安全的主要途径有信息加密和信息隐藏。加密技术是一种通过特定算法将输出数据转换成人类无法识别的密文信息的技术。这种技术虽然有效地保护了互联网数据的隐秘性，但是极易受到网络信道监听者的怀疑和拦截。因此，加密技术并没有保护网络数据传输行为的隐蔽性。在此背景下，信息隐藏技术便应运而生。在同一时期内，算力、数据和深度学习模型成为了当代人工智能的三驾马车，大力推动了计算机视觉、自然语言处理、语音识别等各个领域的发展，其中也包括信息安全领域。随着深度学习技术在计算机视觉领域中的广泛使用，基于深度学习的信息隐藏方法和技术逐渐成为了信息隐藏领域中的重要研究方向。
..............................
1.2 研究意义
2019年，Google提出了以图藏图任务[3, 4]，并利用卷积神经网络（Convolutional Neural Networks, CNNs）和自编码器（Auto-Encoder, AE）网络架构进行了图像信息隐藏的初步地探索，也取得了具有里程碑意义的实验结果。这标志着信息安全领域中的各项工作进一步细化，信息隐藏和传输防御进行了分离。因此，以图藏图任务的研究对信息隐写术、数字图像水印等信息安全任务有极大的推动作用。除此之外，以图藏图任务也是自监督学习领域中非常有潜力的辅助任务。
目前，基于深度学习的以图藏图方法仍然处于初级发展阶段，这些方法得到的含密图像视觉质量有一定的提升空间。导致这一现象的根本原因是许多方法只是简单地对深度神经网络中主流或先进的网络模块进行组合、堆叠，并没有对本质原理进行进一步地理解、探索和改进，所以很快遇到了发展瓶颈。因此，对以图藏图任务背后的原理进行发现、研究和讨论，并能够探索出一套新的以图藏图框架是非常有必要的。
..........................
第二章 相关技术背景简介
2.1 残差学习相关技术简介
纵观整个深度学习发展，残差结构和残差学习在深度神经网络模型中有举足轻重的地位[32, 39-41]。如图2-1所示，残差神经网络中每个模块由两个分支构成，分别是非线性映射层和恒等映射层，最终通过对应元素加法得到该模块的输出。可以发现，残差模块的输出和输入是同等大小的。利用恒等映射，ResNet中每层网络得到的特征图都会由前一层信息的补充，不断强化特征图的表达力。
软件工程论文怎么写
早些年，随着GoogleNet[42]和VGG[31]等网络的提出，加深网络层数能够达到更好的任务表现已经形成了共识。然而，有研究者发现，随着网络进一步加深，实验效果并没有朝着普遍认知的方向发展。通过研究总结发现，随着深度神经网络层数的加深，通常会出现以下几个问题：
（1）计算资源的大量消耗：神经网络的主要计算过程是浮点数的矩阵运算，可以通过GPU的并行计算单元进行加速。然而，随着网络层数越来越深，需要的计算资源急剧增加，并且不与增长的任务表现成正相关关系。目前工业领域可以通过GPU集群和分布式运算解决计算资源的问题，但是这样的方式也是杯水车薪，性价比非常低。
（2）模型容易过拟合：非常深的深度神经网络拥有了大量的参数，所以具备了非常强大的表达力和模型容量。因此，当提供的数据量不够多时，会使得模型形成过拟合状态，即模型在训练集和测试集上的表现差距非常之大。此外，大量参数的模型也违反了奥卡姆剃刀原则。该问题的解决方案是如果可以在浅层网络与深层网络之间搭建一条恒等映射（Identity Mapping）的信息传输渠道，那么有望在深层网络中获取到浅层网络的信息。
..............................
2.2 计算机视觉中的注意力机制相关简介
众所周知，人类对世界的观察和信息获取往往都是具有针对性的。例如，当人们观察一幅画时，会很容易地被画中的人物所吸引，此时人的注意力会集中于这幅画中的人物。同样地，当深度神经网络需要辨别图片中的物体时，不应该是对整张图片进行逐一地观察、信息提取和识别，而应该具有针对性地注意到物体所在的区域，然后对其进行信息提取、识别等工作。这样的想法就产生了深度神经网络中的注意力机制（Attention Mechanism）。
软件工程论文参考
注意力机制的本质是对对象（图片、文本、视频等）内的组件进行的一种寻址操作，如图2-3所示。假设对象????=(???? ,???? ,⋯,???? )是由????个组成部分构成，例如一张大小为????×????图像由????∗????个三维像素点构成，即???? ∈{0,1,2,⋯,255} ，则其中的组成部分也是一个一个的像素点。
.............................
第三章 基于局部与全局残差学习的深度以图藏图方法 .................... 13
3.1 以图藏图任务的残差定义 ....................... 13
3.1.1 结构学习简介 .......................................... 13
3.1.2 基于含密图像重建的以图藏图框架 ................................... 15
第四章 基于SU-Net的深度以图藏图方法 .................... 35
4.1 Transformer相关架构介绍 ..................... 35
4.1.1 Vision Transformer ................................. 35
4.1.2 Swin Transformer .................................. 36
第五章 总结与展望 ............................ 51
5.1 工作总结 ................................................... 51
5.2 研究展望 ............................................. 52
第四章 基于SU-Net的深度以图藏图方法
4.1 Transformer相关架构介绍
本节对视觉Transformer进行相关介绍，并对原始的ViT[82]模型存在的问题进行总结。根据ViT本身存在的问题和以往视觉工作经验，本节采用Swin Transformer和U-Net设计一个SU-Net以图藏图网络。该网络结合了CNN和Transformer的优点，采用U-Net的信息补偿特点进一步提升了基于残差学习的以图藏图算法的表现。
4.1.1 Vision Transformer
软件工程论文参考
2018年，Google首次采用自注意力机制提出了Transformer网络架构[74]，该架构大力推动了自然语言处理领域的发展。随着自注意力机制和Transformer模型的问世，自然语言处理领域迎来了翻天覆地的变化。利用自监督学习技术对自然语言处理模型进行预训练并作用于下游任务的模型逐渐成为了自然语言处理领域的范式。随后的时间里，计算机视觉研究者受到Transformer架构的启发，将图像建模为序列数据，探索出了视觉Transformer网络架构，即Vision Transformer（ViT）[82]和相关变体，例如TNT[83]、CeiT[84]、DeiT[85]、DeepViT[86]等众多模型已经在各种计算机视觉任务上取得了惊人的表现。
..............................
第五章 总结与展望
5.1 工作总结
新摩尔定律证明了人类在互联网中产生的数据在以每18个月翻一番的速度迅猛增长，这给信息安全带来了机遇的同时也带了巨大的挑战。网络上大量传输的图像和视频资源可以作为信息安全的发展资源。与此同时，大量的数据充斥着不安全的信息，为个人利益、社会利益乃至国家利益产生了威胁。国内外广大研究者对信息安全十年来做了大量的研究，并在不同的需求指导下产生了一些知名方法。近年来，随着人工智能技术的发展，尤其是深度学习，信息安全领域的研究进入了新的发展阶段。以图藏图技术就是对隐蔽通信领域中的一项细分工作。然而，由于以图藏图技术仍然处于发展的早期。采用简单的卷积神经网络对其进行实现形成了一个基本的算法框架，奠定了以图藏图发展的基础，明确了以图藏图的发展方向。但是，明确的框架也对以图藏图的发展产生了束缚，本文通过重新提出的新的以图藏图 算法框架，并进一步提升了以图藏图任务的表现。
本文从深度学习、结构学习等多个基本理论角度对以图藏图进行了深入的分析，并在此基础上提出了新的以图藏图算法框架。本文的主要工作如下：
（1）本文提出了基于残差学习的以图藏图算法框架。通过其他计算机视觉研究领域的先验知识，本文把以图藏图任务重新定义为在载体图像上附加上残差图而不是直接重建和恢复含密图像。
（2）根据基于残差学习的以图藏图算法框架，本采用全局残差连接和局部残差块组合的方式构建网络架构，即ResHiding-Net。此外，该方案还提出了新的基于离散余弦变换的注意力机制使得隐藏图像能够更加高效地分散到载体图像中，从而进一步提升含密图像的视觉质量。
（3）根据基于残差学习的以图藏图算法框架，本文提出了第二个实现方案，即基于Swin Transformer和U-Net的以图藏图网络，称为SU-Net。该方案一方面通过自注意力机制对CNN的局部性感受野进行信息补偿；另一方面，网络通过协作式迭代训练策略，使得整个隐藏和恢复网络能够更加针对性地完成对应的工作。
参考文献（略）