第一章 绪论
1.1 研究背景
目前，全世界的汽车拥有量呈爆炸式增长，汽车虽方便了我们的出行，但同时也造成了城市交通巨大的压力，随着人工智能技术的不断提升，将神经网络技术应用于车牌识别领域也越来越符合现今的发展趋势，车牌识别技术正面临着巨大的机遇与挑战。
智能交通管理[1]最大作用是对车辆自动识别和分析，图像智能化识别是人们使用数学相关算法和计算机技术对真实图片的分析和理解。研究这项技术对于推动社会进步和改善人类生活具有重要意义。多年来，人类在图像自动识别领域取得了令人瞩目的成就，该技术的广泛应用已经是人类现代化的重要体现。在智能化交通领域中，车牌定位与车辆识别技术在智能化中都扮演着重要的作用，它能够有效的提高城市车辆的通行效率，减少大量的人力、物力和财力，降低停车场的管理难度，具有便捷、高效、安全等特点。目前，车牌自动识别技术[2][3]的应用主要有以下四个方面：
（1）智能车牌识别系统在商场出入口和社区停车场中的应用[4]。该系统早期应用于高速公路对车辆的管理，后来有人将该技术应用于停车场及设区出入口的车辆控制系统中，有效的提高了车辆的自动管理能力，节省了大量人力，将传统的人工登记变成机器自动识别和记录。车牌识别技术是停车场及小区智能化管理中重要的组成部分。在现实生活中，车牌识别系统通过摄像头来获取图像，自动识别图像中车辆类型和车牌号码，并且记录车辆的出入时间。该系统在停车场的应用不仅可以实现车辆的自动出入管理、自动计时收费以及自动计算剩余车位数量，还有效的维持了停车辆的秩序，对于内部车辆来说，无需频繁的取卡或者缴费，可以直接进出，外来车辆只需要在出去的时候缴纳停车费即可。该系统的广泛应用，为我国社会效益和经济效益提供了可靠的保障。
（2）智能车牌识别系统在高速公路收费站的应用。俗话说“要致富，先修路”，公路的建设是我国经济快速发展的必要条件。改革开放 40 年以来，随着城市经济圈范围不断扩大，高速公路的建设进入突飞猛进的阶段，人们的生活方式也得到了极大的改善。根据交通运输部通告，中国将新增高速公路通车里程5000 公里，预计到“十三五”末，国家高速公路主线将基本贯通。这也对高速公路车辆智能识别技术研究提出了更高的要求了，其中就要集高清抓拍、图像处理、智能补光、人工智能、深度学习、神经网络等多个技术于一体，具有车牌号码二次识别功能，效提升路网车牌识别率，满足“营改增”车辆识别率要求，解决了无人值守自助发卡机车型识别、ETC 车道车型比对、多义性路径精准车型分析的难题，并且实施方便，维护成本低。
................................
1.2 国内外相关研究
对于车牌识别技术[5]的研究最早出现在 20 世纪 80 年代，当时只是初步的构思与设计，并没有系统的实现。随着计算机视觉领域的发展[6]，开始了全球性的研究热潮，机器视觉获得了蓬勃发展，新的概念、新的理论也不断涌现。人们对其开始了广泛的研究，当时主要途径就是采用简单的图像处理方法来解决相应的问题，最大的特点就是人工干预性较强。到了 20 世纪 90 年代，较为典型的是A.S.Johnson 等提出的图像特征提取，图像分割，图像字符的识别等三个部分构[7]成了完整的车牌自动识别系统，后期出现了图像视觉领域中的字符识别技术(Optical Character Of Recognition Technology)，它是通过图片中的二值化算法来定位车牌，然后利用边界纹理特征对字符的提取，再利用最邻近算法分类器[8]，得出车牌的候选号码，最终在对这些候选号码进行检查核实。这个时期对车牌的定位与识别在准确率上有较大的突破，但在识别的速度上有待提高。
随着计算机技术的不断发展，计算能力也有了大幅度的提高，目前在人工智能领域中，深度学习技术是这一领域中的重大突破。2012 年，在 ImageNet 图像识别比赛中，杰弗里·辛顿带领的团队采取卷积神经网络模型 AlexNet[9]一举夺冠，AlexNet 采用的是 Re Lu 激活函数，从根本上解决了当时所遇到的梯度梯度消失问题，并且通过硬件 GPU 来提高训练模型的运行速度。同一年，斯坦福大学的吴恩达教授带领团队将深度神经网络—DNN 应用于图像的识别领域上，并取得了惊人的成果，在 ImageNet 测评中将原有的错误率从原先的 26%降为 15%。自此之后，深度学习技术脱颖而出，受到大量学术界和公司科研团队的关注。随着深度学习的不断进步，使得数据处理能力显著提高。2014 年，Facebook 公司利用深度学习算法成立了 DeepFace 项目，在人脸识别领域上将准确率提升到了97%以上，再一次证明了深度学算法在图像识别领域的一骑绝尘。2016 年，谷歌公司利用深度学习算法开发的 AlphaGo 在国际顶尖的围棋比赛中，以 4:1 战胜了韩国选手李世石，使全球范围内对深度学习的热度再次掀起，这也证明了深度学习技术已经超越了人类。
................................
第二章 卷积神经网络
2.1 引言
人工智能[23][24]是人类通过技术手段制造出带有智能的系统，它的研究大致可以分为几个技术上的问题。目前很多工具和物品都应用到了人工智能，主要包括搜索、逻辑推理、数学优化等问题。机器学习[25]可以看做是人工智能的一个研究分支,是一种通过实验数据自动学习图像里的特征，并利用训练出来的模型对数据进行预测。深度学习也可以看成是机器学习的分支，它的发展来源于对人类神经网络的深入研究，而多个神经网络通过机器学习相应算法来对图像的处理，深度学习[26][27]也是一种网络模型框架，其中最为典型的算法就是卷积神经网络，通过大量的数据进行训练来获取特征，因此特别擅长对图像的处理。
卷积神经网络是包含一系列操作方式，比如卷积计算、池化操作等，具有深层次的网络结构，是深度学习最为经典的算法之一。对卷积神经网络的研究开始于 20 世纪 80 年代，而最早的卷积神经网络是 LeNet-5 网络结构[28[29]，它最初被提出来是对手写字体的识别和应用。该网络结构包含卷积层、池化层和全连接层。其中卷积计算和池化操作相互配合，形成了多个卷积组，每一层可以对特征进行提取，最后再通过全连接层进行分类。对于卷积层的操作主要受生物学上感受野（Receptive Field）的机制而提出的，池化层的操作主要是对数据进行分区采样，
可以看成把一个大的矩阵降采样成一个小的矩阵，减少计算量，同时还可以防止过拟合现象。总而言之，卷积神经网络是一种能对图数据进行深度学习的方法。如图下所示，这是一个经典的卷积神经网络结构[30]。
..............................
2.2 卷积神经网络结构
2.2.1 卷积层
当输入是彩色图像，每个矩阵分别对应 R、G、B 矩阵。如图 2-2 所示，其中原输入矩阵为 3 个 5*5 的矩阵，在输入周围加上了 1 的 padding，变成了 3 个 7*7的矩阵。另外使用了两个卷积核，我们只关注于卷积核 W0。由于输入是 3 个 7*7的矩阵，或者说是 7*7*3 的张量，那么对应的卷积核 W0 应该是 3*3*3 的张量。另外这里每次卷积计算移动 2 个像素，也就是步幅为 2。最终的卷积过程和上面的 2 维矩阵计算类似，这里采用的是两个张量的三个子矩阵计算后，再把卷积的结果相加，最后再加上偏移量 b。因此 7*7*3 的张量和 3*3*3 的卷积核张量 W0计算后，结果是一个 3*3 的矩阵，同时由于我们有两个卷积核，那么最终结果便是 3*3*2 的张量。如果把上面的卷积过程用数学表达出来的话，那么表达式如下所示，其中 n_in 为输入矩阵的个数，或者说是最后一维的维数。Xk 代表第 k 个输入矩阵，Wk 代表第 k 个子卷积核矩阵，s(i,j)即卷积核 W 对应的输出矩阵元素的值，如下公式（2-1）：
...............................
3.1 基于边缘特征车牌定位算法..................................15
3.2 基于颜色特征的车牌定位算法.................................18
第四章 利用级联卷积神经网络对车牌精准定位.............................25
4.1 车牌数据集.....................................25
4.1.1 车牌数据集获取..................................25
4.1.2 数据增强.....................................25
第四章 利用级联卷积神经网络对车牌精准定位
4.1 车牌数据集
4.1.1 车牌数据集获取
深度学习近两年来发展极为迅速，在计算能力大大提高的情况下，很多深度学习方向的思想都得以实现。但是，深度学习有一个令人头疼的缺点，那就是需要大量样本来进行训练才能达到较好的泛化。因此，大规模的车牌数据集对我们神经网络模型的训练起到至关重要的作用。车牌识别与人脸识别或者其他物体识别不同，车牌识别所要的数据集在公开的数据网站上并不是很多，这就需要我们人为去创造数据集。
本文在收集车牌数据集时花费了大量的时间与精力，并通过三个途径来获取车牌的数据集。第一部分，通过爬虫工具从网络上进行车牌数据的爬取；第二部分，通过在车牌开源库 EasyPR 中提供的数据集 3000 张车牌图片；第三部分，人工去获取数据集，利用摄像头在多个收费站、停车场、路边等限定下场景进行车牌的采集；本文将利用真实车牌样本 8000 张作为实验样本数据。
..........................
总结
在本文中，提到了车牌精准定位的研究意义和当前国内外对其研究的情况，详细介绍了当前比较典型的车牌检测算法，在数学形态学的车牌定位算法上，提出了与边缘特征的车牌定位算法相结合多特征的方法，改进了传统的数学形态特征的车牌定位方法, 同时提高了车牌定位的速度和准确度。在基于深度学习的车牌定位算法上，创新之处是设计出三层的级联卷积神经网络，先利用目标检测算法 R-CNN 对图像中的车辆进行检测，然后通过第二层的卷积神经网络对车牌进行粗检测，最后再通过第三层的卷积神经网络对车牌的四个关键点进行精细检测。实验证明，无论是在限定下场景还是非限定下场景，我们提出的级联卷积神经网络对车牌关键点定位都有较好的鲁棒性和准确性。
由于本实验数据有一部分是通过人工来获取的，与人脸识别或者物体识别数据集不同，它的数据集并没有大量的在网络上公布，所以也体现出数据的缺乏。其次，在实验过程中，在第一层面对目标检测算法上，我们采用的是 R-CNN 网络架构，在训练和检测上速度较慢，后期可以对其进行改进来提高训练检测精度和速度。
参考文献（略）