第一章 绪论
1.1课题研究的背景和意义
人类的情绪由客观外界事物刺激而产生，是多种感觉、思想和行为协同作用产生的心理与生理状态。情绪的定义既广泛也复杂，喜、怒、哀、乐是日常生活中最为常见的情绪，也有其他比较微妙复杂的情绪，如嫉妒、羞愧、同情、失望等。情绪与人类的日常生活息息相关，因为人是感性的，其行为举止、推理判断等都很难避免内心情绪的影响[1]。情绪的作用无处不在，因此对于人类情绪识别的研究有着广阔的应用前景。在交通运输方面，尤其对于需要长时间保持注意力高度集中的职业，如飞机机长、火车和客车司机等，通过检测他们的情绪信息，如清醒程度、焦虑程度、疲劳程度等，可以有效的判断他们是否能够正常驾驶，从而保证当天的出行安全[2]；在医疗护理方面，通过开发情绪识别技术，可以有效地帮助精神病医生诊断和预防病患的各种情绪问题，例如抑郁症、焦虑症和创伤后应激障碍等。所以，实现对患者情绪状态的实时检测，可以提供给患者更好的医疗护理，完善智能医疗系统；在教育方面，通过实时监测学生的情绪信息，可以判断出其学习时的兴趣程度和大脑的负荷程度[3]，从而有针对性的对学生进行辅导，提高其学习效率；在娱乐方面，通过结合用户的情绪信息，可以提供给用户各种场景下的增强体验[4]，如计算机游戏、个性化的推荐系统等。对于情绪信息的利用可以从多方面改善人们的生活，因此，迫切需要开发一种高效可靠的情绪识别技术。
广义而言，情绪识别是基于监测和分析人类各种身体表现的模式识别任务。应用于情绪识别的方法有很多，比较常见的是通过明确的身体活动（例如，面部表情，身体姿势和声音）来识别情绪状态[5]。虽然身体活动是将情绪信息和个人感受传达给他人的主要方式，但是在某些情况下，人们可能会有意识地隐藏、假装甚至夸大这些情绪，所以通过身体活动来识别人的情绪有时会失效。在各种情绪识别方法中，基于脑电信号的方法由于与面部表情等身体活动线索相比，精度更高、客观评价更可靠，从而获得了更多的关注[6]。深入理解不同情绪状态下的脑电模式可以从根本上推进情绪识别模型的开发，因此，越来越多的研究者开始采用基于脑电信号的方法，来进行情绪识别的课题研究。另
.............................
1.2国内外研究现状
目前，基于脑电信号的情绪识别研究已经颇具规模。研究的目标之一是提高模型准确率,主要思路是通过各种不同的方法找到适合情绪识别的脑电特征表示以及优化模型等。另一目标是找出与情绪最相关的频段和脑区，为基于脑电的情绪识别模型的开发提供良好的生理基础。就目前而言，已经有了较多研究者突破了这两个方面的研究。Nie[7]等人首先通过带通滤波将脑电信号转换到 δ（1-3Hz）、θ（4-7Hz）、α（8-13Hz）、β（14-30Hz）和 γ（31-50Hz）五个频带上，然后通过短时傅里叶变换计算出每个通道上的各个频带的频谱能量，并以此作为脑电的频域特征来进行情绪识别; Li[8]等人提出了一种频带搜索的方法，来选择适合做情绪识别的最佳频带，他们使用共同子空间模式和线性支持向量机来区分悲伤和愉快两种情绪，他们的实验结果证明 γ 频带（大约 30-100Hz）最适合做图片刺激的情感识别；Valenzi[9]结合已有的研究成果，通过实验证明了适合情绪识别的 8 个信道，分别为 AF3, AF4, F3, F4, F7, F8, T7 和 T8；Davidson[10,11]等人证明了不后悔和后悔情绪分别与左额叶和右额叶的活动有关。Sammler[12]等人研究了脑电信号和愉快、悲伤的音乐之间的关联，他们发现愉快的音乐与额中线部分 Beta 频带的能量相关。
最近，深度学习方法被应用于处理如 EEG，EMG，ECG 和 SC 等生理信号。L?ngkvist[13]等人应用深度置信网络和隐马尔可夫模型来检测多模式临床睡眠数据的睡眠阶段，其实验结果与传统方法相当。Martinez[14]等人训练了一个高效的深层卷积神经网络，利用皮肤电导和血容量脉冲信号对四种情绪（放松，焦虑，兴奋和乐趣）进行分类。他们表示，深度学习方法优于传统的特征提取和选择方法，学习到的情绪识别模型精度更高。Bashivan[15]等人提出使用循环和卷积神经网络的混合模型来进行基于脑电的认知负荷分类任务，在四个认知负荷水平上报告的分类准确率约为 90％。
.........................
第二章 脑电与情绪概述
2.1脑电信号概述
2.1.1脑电信号简介
脑电（ElectroEncephaloGram, EEG）也称脑电波图，是大脑产生的、由皮层传导的电信号，它由置于头皮上的传感器采集得到。人的大脑在活动时，大脑皮层上的神经元细胞会产生微弱的生物电流，该电流会随着时间而变化。脑电是大脑神经元细胞电生理活动在大脑皮层的总体反映，它包含了大量的生理与心理信息，而且具有无创、便携、低成本和高时间分辨率等特点，因此在生理学和心理学的研究中应用十分广泛。
脑电是一种比较敏感的客观指标，不仅在脑科学的理论研究中有着重要的意义，在临床实践中也有着十分重要的应用，与人类的生命健康息息相关。通过分析脑电可以检测出患者的各种疾病情况，如癫痫病、脑中风、脑瘤和脑炎等颅内病变。另外，利用脑电来识别人的情绪状态也是目前被广泛研究的一项脑电应用。
随着相关技术的发展，脑电设备的体积越来越小，可携带性越来越强，被试的活动也相对自由。脑电设备衍生出一种逐渐被大众接受的产品，而不仅仅局限于医疗和科学研究，使脑电的应用越来越广泛并逐渐影响着生活的各个方面。因此，对于脑电信号的研究有着十分重要的意义。
2.1.2脑电信号的采集
大脑神经细胞的跨膜静息电位为-70mV，受刺激后，膜内电位上升，开始除极化，形成动作电位。由于大脑皮层组织很厚，而神经元数量很多且单个神经元的电活动非常微小，因此很难在头皮上直接测得单个神经元产生的信号，通常测得的脑电信号是大脑皮层某区域内大量神经组织突触后电位同步总和而成的。
.............................
2.2情绪概述
2.2.1 情绪的产生
虽然这些年来，研究人员一直进行着情绪的研究，但是对于情绪的定义一直没有一个明确的标准。心理学认为情绪是一种复杂的精神状态，它通过生理与心理的共同作用来影响人的思想和行为。早期人们用生理学理论来解释情绪，美国心理学家 Lindsley 提出情绪的基础是唤醒/动机机制[19]，他认为情绪的表达有三种方式：（1）通过大脑皮层产生，如担忧、思考、焦虑（皮层唤醒）；（2）通过内脏产生，如哭泣、出汗等自主神经活动的作用（皮层、间脑与脑干的唤醒）；（3）通过身体动作产生，如肌肉紧张、面部表情（躯体运动的激活）。情绪产生的过程必然伴随着生理过程，该理论肯定了生理唤醒以及神经系统活动与情绪的关系。
在实验研究的基础上，
Schachter 和 Singer 提出了情绪的唤醒理论[20]，他们认为情绪的产生由生理唤醒和认知两个因素决定。生理唤醒是指伴随情绪产生的生理反应，是非特异的，而决定情绪状态特异性的是认知因素。认知因素是指生理唤醒和环境刺激的认知理解，个体对外界环境刺激的认知决定了最终产生什么样的情绪。
目前一般认为情绪是由大脑皮层和皮层下神经元协同活动产生的结果。皮层下神经活动过程的作用处于突出地位，大脑皮层起着调节制约的作用，所以可以通过研究大脑皮层以及皮层下神经活动来进行情绪的研究。已有研究表明，情绪状态不同，脑电模式也会随之变化，
因此使用脑电信号来进行情绪识别是可行的[6]。
..............................
第三章 基于脑电信号的情绪识别方法综述 ......................... 10
3.1脑电信号的预处理 ......................................... 10
3.2脑电信号的特征提取 .............................11
第四章 基于 LSTM 的脑电情绪识别模型 .................................................. 18
4.1长短时记忆网络 ........................................... 18
4.2数据集简介 ...................................... 20
第五章 基于脑电的情绪检测系统 ........................................... 27
5.1系统总体架构 .............................. 27
5.2客户端的设计与实现 ............................. 28
第五章 基于脑电的情绪检测系统
5.1系统总体架构
用户通过 Windows 客户端登录至情绪检测系统实现对被试的情绪检测。用户登录至系统后，首先通过客户端新建被试者档案，并上传要分析的脑电信号，点击开始检测后，服务器端将对脑电信号进行相关预处理，接着对预处理后的信号进行特征提取，并用特征选择算法对提取到的特征进行降维，降维后的特征向量将输入至构建好的情绪识别模块，该模块将判断出被试者的各种情绪状态，包括愉悦程度、清醒程度和喜欢程度，然后将这些情绪变化情况、统计信息和未来的情绪预测结果返回至客户端。所以，客户端的主要功能包括：用户注册及登录、新建被试档案、上传脑电信号、结果展示等。服务器端的主要功能包括用户验证、增加用户、脑电预处理、脑电特征提取与降维、情绪检测和情绪检测记录保存等功能。系统还提供了各种辅助功能，主要包括脑电分析与处理、常用脑电特征的提取、历史检测记录查询等。
.............................
第六章 总结与展望
6.1本文的主要工作
随着可穿戴设备和干电极技术的迅速发展，人们能够很方便地在自然环境下记录和分析大脑活动信号。通过分析这些脑电信号并结合机器学习技术，可以在某种程度上识别出用户的情绪信息。目前，基于脑电信号的情绪识别技术已逐渐应用于各个领域，如安全辅助驾驶、计算机游戏、辅助学习和智能医疗等。但如何有效地识别出情绪信息仍是一个研究难点。在该背景下，论文利用特征工程方法，结合最新的深度学习技术通过脑电信号对用户进行情绪识别。本文的具体工作如下：
（1）论文首先对基于脑电信号的情绪识别方法进行了探讨，并针对传统机器学习方法的缺陷，结合深度学习技术中的 LSTM，提出一种基于 LSTM 的脑电情绪识别模型。用该方法对 DEAP数据集中的脑电数据进行情绪识别模型的构建和情绪的预测，通过和已有的方法相比，本文所提出的模型能够取得更好的识别结果。
（2）基于脑电信号设计并实现了情绪检测系统，该系统可以检测出被试的情绪信息，包括用户的清醒程度、愉悦程度和喜欢程度。本文并对该系统进行了详细说明，包括：Windows 客户端的功能设计与实现，用户通过客户端可以方便地了解到被试各种情绪的变化情况和区间统计情况；服务器端调用脑电预处理模块，实现对被试脑电的降噪、滤波等处理；调用脑电特征提取模块，实现对被试脑电的特征提取；利用 Python 下的 Scikit-learn 工具包构建情绪识别模块，通过 DEAP 数据集中的脑电数据开发了情绪识别机器学习模型。客户端和服务器均使用 Python 平台开发，开发周期短，方便后期系统的维护和扩展，且可以进一步改进其中的各种算法。
参考文献（略）