1 绪论
1.1 研究背景及意义
2020 年，国家电网董事长毛伟明在电网内部召开的科技创新大会上指出，要围绕能源电力科技前沿，加强人工智能等技术的应用，推进电网向能源互联网转型升级[3][4]。关于电力行业安全生产的问题，在 2020 年，国家电网召开安全生产电视电话会上也明确指出，在安全生产方面要有体制机制创新，要健全保障体系，健全制度体系，加强基础建设，加强队伍建设，保障投入，强化科技支撑[5]。为了响应党和国家，还有电网公司的各项政策，本文采用了人工智能和北斗等技术，对电力作业的安全性，提供了一定的保障。
1.1.1 电力事故统计分析
图 1.1 电力事故分布情况
电力系统的集成，为人类社会带来了极大的便利，也推动了社会发展，随着互联网的急速发展，我们不仅越来越依赖电力，而且对电力只会越来越依赖，因为我们离不开电脑、手机，家电等很多使用电力，为人们的生活带来了便利和娱乐的产品。经过多年的发展，我们国家的电力系统越来越完善，也越来越庞杂，对它进行维护和施工需要的工人也越来越多，电力生产队伍日益庞大。然而，不可避免的，在电力生产行业，电力事故总是时有发生。电力事故不仅会造成人员伤亡，带来经济损失，还会影响电力系统的稳定性，影响人们的电力使用。现代人的生活已经离不开电力，哪怕只是短暂的停电，也可能会对人们的生活造成很大的影响。所以，为了避免电力事故带来的这些不好影响，我们需要在事故可能发生的时候，做出一定的预警，在一定程度上阻止事故的发生。
........................
1.2 国内外研究现状
1.2.1 基于深度学习的目标检测研究现状
2011 年，CNN（卷积神经网络）开始出现在人们的视野中，博得一定的关注。在 2012年，基于卷积神经网络的 AlexNet 模型[9]成功取得 ImageNet 图像分类比赛的冠军，并且成绩十分突出，遥遥领先。随后经典的 VGGNet 网络[10]于 2014 年由牛津大学研究人员和谷歌公司研究人员共同推出，并在分类和定位比赛项目中，表现良好，取得了优秀的成绩成绩，VGGNet 可以看做是加深的 AlexNet，证明加深网络的深度，可以在一定程度上提升网络的最终性能。基于深度学习的目标检测模型 R-CNN[11]作为开山之作，一经推出，便获取了无数的关注。2015 年，作者又在 R-CNN 上做出了改进，推出了 Fast R-CNN 网络[12]，相比 R-CNN 拥有更快的速度。随后在 2016 年，Ross Girshick 在 Fast R-CNN 网络上做了很大的优化，提出了 Faster R-CNN 网络[13]，使得网络的综合性能明显提升，尤其是在速度方面。由于网络过深会带来模型准确度不升反降的问题，He K 等人提出了一种 ResNet 网络[14]，学习残差，有效的解决了网络层数过深带来的退化问题。2016 年还有由 Redmon J 等人创造性地提出的 YOLO 网络[15]，第一次实现了 one-stage 的方法，去掉了候选框提取的这一步骤，节省了大量的时间，实现了快速准确的目标检测。2017年，由 Lin 等人推出了经典的 FPN 网络[16]，FPN 网络构建了一个特征金字塔，可以很好地应对小目标检测，同时可以应用在实例分割任务中。在 Faster R-CNN，ResNet 和 FPN出现，并取得较好效果之后，He K 等人在 Faster R-CNN 的基础之上加入了全卷积网络FCN 分支，可以实现语义分割，并且还融入了 ResNet 和 FPN 思想，从而推出了可以用于语义分割的 Mask R-CNN 网络[17]，网络的优势在于，训练收敛速度快，分割结果优秀，可以同时完成目标检测，语义分割和人体关键点检测的任务。2018 年，Cai Z 等人提出了一种 Cascade R-CNN 网络[18]，利用级联的思想，选取出更加高质量的样本，可以再样本数量不减少的情况下，训练出质量更高的检测器。2019 年，Tian Z 等人提出了一种基于全卷积的 one-stage 网络，称为 FCOS[19]，抛弃掉了传统的 anchor 和 proposal 阶段，经过小幅度的修改，即可应用在关键点检测等领域。Zhou 等人提出了一种 anchor-free的目标检测方法 CenterNet[20]，还可以应用于肢体识别或 3D 目标检测。从 2012 年至今，出现了很多性能优秀，值得学习的神经网络结构，都拥有启发意义，这里就不再一一例举。
.................................
2 电力作业异常行为识别相关理论
2.1 传统目标检测方法
传统的目标检测方法，一般分为三个步骤，如图 2.1 所示。其中选择窗口通常采用的是滑动窗口法，即穷举扫描。而图像特征提取方法和分类器则有多种方法，针对不同的检测目标，需要手动设计特征提取和选择分类器。下面将对常用的特征提取方法和分类器进行介绍。
图 2.1 传统目标检测方法步骤
2.1.1 图像特征提取方法
（1）LBP 特征
LBP（Local Binary Pattern）算子是常见的特征提取算法，由于 LBP 算子对纹理变化较为敏感，因此常用于纹理特征提取。
最初提出的 LBP 算法首先将图像分成若干个的小区域，然后对针对每个区域进行计算，取区域中心的像素值为比较值，将当前 3×3 的区域内其余的 8 个像素值与单签区域的比较值进行比较，若像素值大于当前区域的比较值，则将该位置像素点的值置为 1，若像素值小于当前区域的比较值，则将该位置像素点的值置为 0。经过这个操作之后，由于每个区域中都有 8 个像素点与比较值做出了比较，而每一次比较又会产生一位数字（0 或 1），将这 8 位数字按一定的顺序结合起来，就能够得到一个 8 位的二进制数，然后将这个二进制数转换为十进制，就可以得到当前区域中心像素点的 LBP 码，由于是个8 位的二进制数，所以 LBP 码一共有 256 种，可以将这个值作为这个小区域的特征值，加以利用。 通过以上方法进行提取，可以为输入图像的每个像素点都计算出一个 LBP 码，然后使用每个像素点获取的 LBP 码替代原像素值，仍然能够得到一幅图像，由 LBP 码表示的图像如图 2.2 所示。
............................
2.2 基于深度学习的目标检测方法
基于深度学习的目标检测方法可以分为 One-stage 算法和 Two-stage 算法。基于神经网络的目标检测最开始是 Two-stage 网络 R-CNN，为了加快训练速度，One-stage 算法也接踵而至。One-stage 算法在利用神经网络提取特征之后，直接回归检测目标的类别概率值和位置坐标，而 Two-stage 算法在提取特征之后，还要进行候选区域的提取，然后再针对候选区域进行检测目标的分类，和位置坐标的回归。下面我们将分为这两类，对深度学习目标检测算法进行系统的介绍。
2.2.1 Two-stage 目标检测系列算法
（1）R-CNN 系列
2012 年，R-CNN 的作者想要利用卷积神经网络实现目标检测的任务。想要实现这个目的，就需要解决两个问题，一是如何使用卷积网络实现定位，二是如何使用较小规模的数据集训练出效果较好的网络模型。针对第一个问题，R-CNN 采用了提取候选区域的方法（Region Proposal）。对于第二个问题，R-CNN 采用微调的方法，利用 AlexNet 预训练好的模型。R-CNN 的目标检测思路如图 2.7 所示：
图 2.7 R-CNN 检测流程
......................
3 电力作业异常行为识别算法设计 ............................................. 21
3.1 基于双流 Faster R-CNN 的目标检测方法 ....................................... 21
3.1.1 颜色空间 ................................................ 23
3.1.2 双流 Faster R-CNN 网络结构 ............................. 25
4 电力作业异常行为识别系统实现 .............................................. 35
4.1 系统整体架构设计 .......................................... 35
4.2 硬件系统设计 ............................... 35
5 总结与展望 .............................................. 45
5.1 本文工作总结 ............................................. 45
5.2 未来工作展望 ............................. 45
4 电力作业异常行为识别系统实现
4.1 系统整体架构设计
对电力作业现场整体情况和系统实现所需要的功能进行完善的分析之后，我们确定出来的系统整体架构如图 4.1 所示，具体包括信息收集单元，信息处理单元，信息显示单元，硬件控制单元四个部分。
其中信息收集单元包括摄像头，安全帽，电源，超宽带和 ZigBee 等硬件设备，可以为服务器提供图像信息和传感信息。
信息处理单元包括交流电源，CPU，GPU，内存条，磁盘，主板等设备，可以组装成一台服务器，运行系统软件与算法，可以利用前期设计的双流 Faster R-CNN 神经网络模型和阈值判断的方法对信息收集单元传入到的图像信息和传感器信息进行分析处理，可以实现工作人员，工作服，安全帽，手套，接地桩的检测和是否进入危险区域的判断，若发现现场存在异常行为则进行语音报警。
信息显示单元包括一个显示器，信息显示单元与信息处理单元的服务器相连接，将信息处理单元对图像信息和传感器信息的处理结果以图像的形式显示出来并提供人机交互功能按钮，具体可以进行现场作业图像的信息保存功能和现场作业视频信息的保存功能。
硬件控制单元包括树莓派，机械臂，摄像头和交流电源。根据神经网络模型检测结果提供的工作人员在图像中的位置信息使用传统图像处理方法进行处理，随后利用树莓派控制机械臂夹带摄像头调整视角，实现工作人员跟踪功能。
本文中由信息收集单元，信息处理单元，信息显示单元，硬件控制单元四个部分组成的电力作业异常行为识别系统，相比于目前针对电力作业安全保障的研究方案具有以下优势：1.能够实时智能识别、提高检测的精度；2.具有较好的鲁棒性与准确率；3.具备了更加完善的功能；4.实现了一整套系统，可以直接应用于电力作业现场。
................................
5 总结与展望
5.1 本文工作总结
本文以电力作业安全保障为背景，综合分析了当前国内外对于电力作业安全保障方面所做的一些工作，从而提出一种基于深度学习的电力作业异常行为识别系统，对电力作业现场可能存在的异常行为进行检测与分析，发现现场作业人员存在异常行为时，及时进行语音提醒，督促现场作业人员纠正自己的错误行为。本文提出的一种基于深度学习的电力作业异常行为识别系统，其主要工作总结如下：
（1）数据收集与整理。我们收集了 100G 以上的高清现场作业视频，从中摘取了近万帧现场作业图像，分别对每帧图像的安全帽，工作服，接地桩，手套，工作人员等目标进行了详细的标注。
（2）软件系统设计。具体包括的功能有基于双流 Faster R-CNN 进行的目标检测功能，基于 MySQL 设计的登录系统功能，基于 Python 内置的语音播放功能，基于超宽带信号的精确定位功能，基于树莓派与机械臂的自动跟踪功能，基于OpenCV 的图像保存与视频保存功能，基于 QT 的 UI 设计等功能。软件系统的构建使用 Python 语言，OpenCV 图像处理开发库，Qt5GUI 编程和 PyCharm2019,Qt Designer 等开发工具完成开发。
（3）硬件系统设计。主要包含一个智能安全帽的设计和一个便携式机箱的设计。由智能安全帽和便携式机箱共同提供信息收集单元，信息处理单元，信息显示单元，硬件控制单元这四个部分的功能。
（4）算法设计。本文设计了电力作业现场的目标检测方法，目标跟踪方法和作业人员实时定位方法。特别地针对目标检测方法，由于现有方法的不足，会造成检测精度不高，引起误报的问题，本文提出了一种基于 Faster R-CNN 的双流网络结构，解决现有方法存在的弊端。针对目标跟踪方法，我们设计了一种由树莓派，机械臂，USB 摄像头和一套滑轨装置组成的 PTZ 机械装置，结合本文提出的目标检测方法，实现了目标跟踪。针对现场定位的功能，我们设计了一个由超宽带，ZigBee，安全帽组成的智能安全帽。并使用 KNN 算法对 ZigBee 传输过来的超宽带信号进行分类，从而实现对作业现场工作人员的实时定位。
参考文献（略）