第 1 章 绪论
1.1 研究背景与意义
大脑是人体最重要且最为复杂的器官,它是一个由约百亿个神经元以及千万亿个突触组合而成的对信息进行处理以及作出决策的系统,它是人体的“总指挥”[1]。人脑控制着人体五官对外界事物的反应,掌管着人类的语言、思维和实践等等高级神经活动;作为人体的神经中枢,大脑的状态最直观的表现为人的精神状态。越来越多科研学者试图通过各种途径来研究大脑的状态,其中最为主要的途径就是脑功能神经影像方法。该方法可以分为有创和无创两类,无创的方法主要包括基于电磁生 理 成 像 的 脑 电 图 ( electroencephalography , EEG ) 以 及 脑 磁 图(magnetoencephalography,MEG)[2];基于光学成像的近红外光谱技术(near-infraredspectroscopy, NIRS),该技术可以计算出大脑血液的含氧量,进而判断大脑状态[3]。有创的主要为神经元放电信号测量以及皮层电位测量。而近年来,脑科学研究者开始偏重于通过脑电图来进行脑研究的工作,原因是相较于其他成像技术,EEG有较多优点:具有无创性[4];毫秒级的时间分辨率;频域、时域、非线性动力学等等多种特征分析方法。因此通过EEG对脑功能进行研究是能够较好地反映出实时的大脑状态信息。脑电信号分析伴随着计算机科技的高速发展,在神经学科以及心理学科等领域获得的关注也越来越多。随着社会的快速发展,人们的生活节奏也日渐加快,人类的健康也出现了各种各样的问题,尤其越来越多的神经系统类疾病出现在人们视野中,如顽固性失眠、神经衰弱、抑郁症、精神分裂症等等。而据卫生部近期调查:中国约有上亿人的神经系统处于失衡状态,且每年呈上升趋势。人体大脑长期处于高压、紧张、睡眠不足的状态中,会对人的精神状态产生巨大影响。而长期以来,人们习惯性的使用安定类药物对精神类疾病进行治疗,如镇静剂、巴比妥、苯巴比妥等等。虽然此类药物对抗精神类疾病的时候,能起到重要作用,但在发挥疗效的同时,对人体也会产生种种的副作用,尤其长期使用,则会产生成瘾现象。而近年来,许多医疗学者基于脑波疗法对脑疾病患者进行治疗,而脑波治疗,实质上是利用声、光等频率的变化,从而来影响调节患者某一失调的脑波频段,让患者的脑电信号恢复至正常水平。脑波疗法同时也是药物治疗等其他心理治疗方法的一种重要辅助手段。其中脑波调节的手段则有多种:生物反馈法、脑深部电刺激、经颅磁刺激以及外部声光刺激等等。而由于外部声光诱发具有无创、简单、安全等优点,在近年来受到越来越多研究者的青睐,尤其外部声音的诱发越发成为研究的热点。
........
1.2 国内外研究现状
在脑科领域的研究中,许多研究者青睐以不同旋律的音乐来刺激诱发人类情绪,通过采集到的EEG数据对情绪脑机制进行研究。如Shahabi、Moghimi等人[7]研究大脑如何响应快乐、忧郁以及中性的音乐,通过对采集到的EEG数据的分析,提出了一种可自动评估音乐情绪的工具。袁全、刘兴华、李大琛等人[8]研究表明通过音乐诱发进入放松情绪状态时,此时EEG在θ波段有增加趋势,在α波段有明显减少趋势。董倩倩[9]通过分析不同音乐旋律下的脑电重心频率,发现快节奏音乐的脑电重心频率明显高于慢节奏音乐。Sammler、Grigutsch等人[10]同样发现在轻松愉快的音乐中,θ波能量出现的更多。Sourina、Liu Y等人[11]提出了一种基于EEG与ArousalValence情感模型的情绪识别算法,可实时识别恐惧、沮丧、悲伤、快乐、愉快和满意这六种情绪。赖永秀、高婷婷等人[12]利用愉快、快乐、悲伤和恐惧这四种情绪的音乐片段作为刺激材料,通过对脑电α波功率进行分析,指出脑电α波功率的变化与情绪的极性和强度密切相关。Lin YP、Wang CH等人[13]利用不同的旋律音乐让人产生喜悦、愤怒、悲伤和快乐四种情绪,同时记录下四种情绪状态下的EEG信号,并基于支持向量机算法对四种情绪状态进行了分类。Bhatti、Majid等人[14]则用利用说唱、嘻哈、金属等不同旋律的音乐来刺激诱发出快乐、悲伤、爱和愤怒的情绪,从时域和频域两方面分析记录下的EEG信号,进而使用MLP分类器对人类情绪进行识别。因此,大脑处理不同旋律的音乐,会产生不同的心理变化和生理反应。在旋律轻松的音乐中,人则会逐渐呈现出一种放松的状态。音乐的旋律不同,会引起大脑产生不同的响应;而音乐节拍不同,也同样会引起人脑产生不同的反应。如 Francesca、Robert 等人[15]研究表明不同的音乐节拍对心理的唤醒程度会产生不同的效果,增加节拍速度会让大脑兴奋、心理唤醒程度增加,快节奏比慢节奏的音乐更容易引发唤醒。马维毅等人[16]研究了改变音乐节拍会引起 α 波更大的变化。Sakharov、Davydov[17]与 Bandopadhyay[18]的研究表明节拍缓慢的音乐让人的觉醒水平明显下降。袁媛[19]则利用四种不同节拍速度的音乐刺激大脑,对采集到的 α 波能量谱进行分析后,提出结论:不同节拍速度的音乐的确能够引起大脑产生不同的反应。卢章平等人[20]通过分析驾驶员在驾驶过程中倾听不同节奏音乐下的脑电功率谱,发现在中、快节奏音乐的环境中,脑电功率趋向高频段且有助于长时间缓解疲劳和提高注意力。Dalton 等人[21-22]同样发现不同的音乐节拍、旋律会对驾驶员在驾驶中产生不同的效果,中等的音乐节拍速度和音量的音乐能更好的且较长时间的提高驾驶员的警觉性。Salamon、Bernstein 等人[23]则发现节奏缓慢的低强度音乐能在一定程度上缓解人焦躁的情绪,减轻压力。
..........
第 2 章 脑电与音乐的基础理论
2.1 脑电信号与音乐的基础
脑电信号的实质就是一种生物电的活动。最早在1875年,英国的克顿就首先在兔子和猴子的大脑皮质层检测到直流的电压信号。在20世纪初期,科研者们开始了对人类脑电图的研究[25]。1924年,德国的精神病学家Hans Berger首次检测和描述了人类脑电图,他在实验中发现人脑也能产生一种电信号,并且首次记录下了人类大脑的脑电活动,这也是人类史上最早获得的人类头皮脑电图,并取名为electroencephalogram,即EEG。紧接着1929年Berger教授发表了“关于人的脑电图”一文,这也是史上首次人类脑电图相关论文,也因此Hans Berger教授被后人尊称为“人类脑电图之父”。而在1933年,英国的著名生理学家、诺贝尔奖获得者EdgarDouglas Adrian教授在其实验室进一步验证并确认了脑电信号。从而开始形成了脑电图理论。自从Edgar Douglas Adrian教授验证确认Berger教授的研究结果后,脑电图在临床上的研究在全球迅速发展开来。1934年,德国和美国的一批精神科研究者开始着手脑电图的研究。在1935年,Davis、W.G.Lennox等哈佛学派的研究者,发现了癫痫患者在发作时,会产生3Hz的棘慢综合波,这给研究脑电图与临床表现之间关系的学者带来了希望,也进一步促进脑电图在临床医学上的研究发展。而在1936年,英国的W.G.Walter在脑肿瘤患者的脑电图中发现了慢波,即慢波出现的位置也就是肿瘤所在的部位,这样通过慢波位置从而无需开颅也能确定肿瘤位置。这一发现证实了脑电图在临床诊断方面具有重大价值,并扩展了脑电图的应用。脑电图(EEG)实质上只通过采集设备对脑中大量神经细胞发生的自发性周期性的电场变化进行记录并放大[26-28]。对比与只有1~2ms持续时间的神经细胞的动作电位,而位于α频段(8~13Hz)脑电波变化周期约有100ms。且在麻醉状态下,神经细胞体的动作电位消失,而脑皮层的电位活动仍存在,因此否决了脑电活动是由神经元细胞体或神经纤维产生的电位所组成的说法。而大部分脑科学者认为脑电波是脑皮层大量神经元突触后形成的电位所组成。因为当记录到脑皮层出现周期性变化的α频段波时,监测到神经细胞突触后的电位产生了相似的周期性变化。
.........
2.2 音乐刺激材料生成模型
目前,本文为了探索不同音乐元素对人类大脑进行刺激诱导后,会使脑状态产生哪些特殊的变化,从而依据不同的音乐节拍选取中国古典轻音乐、西方古典轻音乐、西方电子合成音乐这三类不同旋律的音乐进行实验。选取的中国古典轻音乐包括《高山流水》、《江上清风游》、《平湖秋月》等,且这类音乐节拍约为55BPM;西方古典轻音乐主要为班得瑞与神秘园的乐曲包括《Childhood Memory》、《Songfrom a Secret Garden》、《The promise》等乐曲,且音乐节拍也约为55BPM;西方电子合成音乐主要通过现代电子乐器的手段进行合成的音乐,包括《Janji-SummerMemories》、《Trip》、《Sea》等歌曲,它们本身的音乐节拍约为130BPM。而为了探究音乐节拍以及左右声道对大脑状态进行诱导的效果,建立起生成音乐刺激材料的模型,通过模型生成所需的音乐刺激材料,如图2.2所示。其中音乐节拍渐变过程:1)针对音乐节拍为55BPM的古典音乐(中西方),由于歌曲本身节拍较缓慢,为了大脑能够更快的进入音乐情景中,固通过Cool Edit pro 2.0软件让原歌曲的起始节拍变为115BPM,再对歌曲前1min的节拍进行1BPM的降速处理,1s降低1BPM,至第60s时恢复至55BPM,即恢复至原歌曲原本节拍;2)针对音乐节拍为130BPM的西方电子合成音乐,由于歌曲本身节拍较快,为了大脑能够更快的进入音乐情景中,固让原歌曲的起始节拍变为70BPM,再对歌曲前1min的节拍进行1BPM的加速处理,1s升高1BPM,至第60s时恢复至130BPM,即恢复至原歌曲原本节拍。左右声道交替变化:1)针对中西方古典音乐,在歌曲前1min,每10s进行一次左右声道振幅交替,即第一个10s内,左声道的振幅提高0.5倍,第二个10s,左声道恢复至原本振幅,而右声道振幅则提高0.5倍,如此交替变化至第60s时,左右声道都恢复至原始振幅;2)针对西方电子合成音乐,由于歌曲本身节奏较快,为了让其歌曲效果突出,左右振幅变化参数为1倍。本文每组实验中,每位被试者对同首乐曲都会倾听2次,即一次原歌曲,一次编改后的歌曲,且同时记录下对应的脑电信号,以便之后的数据对比分析。
........
第 3 章 基于重心频率的脑电信号分析...........16
3.1 脑电信号的处理流程...... 16
3.2 脑电功率谱重心频率的计算.......... 17
3.2.1 脑电功率占比计算........ 17
3.2.2 脑电功率谱的重心频率........ 17
3.3 脑电功率谱重心频率的分析及讨论...... 18
3.4 本章小结.......... 28
第 4 章 基于机器学习的脑状态分类.....29
4.1 大脑状态分类的识别算法原理...... 29
4.2 脑电信号的预处理.......... 33
4.3 脑电信号的特征提取...... 33
4.3.1 时域特征........ 34
4.3.2 频域特征........ 34
4.4 分类结果分析及讨论...... 35
4.5 本章小结.......... 39
第 5 章 总结与展望...........40
5.1 本文工作总结.......... 40
5.2 未来研究工作.......... 42
第 4 章 基于机器学习的脑状态分类
4.1 大脑状态分类的识别算法原理
状态分类基本上采用的是机器学习的算法,学习从信号中提取特征的重要信息然后在这些特征的基础上进行分类。在本文中,为了了解被试者在多种音乐的诱导调节中所产生的效果优劣,针对A阶段(调节前阶段)和C阶段(调节后阶段)这两种大脑状态,使用Python 3.5分别运行GBDT、SVM以及随机森林这三种不同的分类器进行分类识别。支持向量机(SVM) 是由Cortes等人提出的一种比较著名的线性分类器,它是建立在统计学习理论的VC维理论和结构风险最小原理基础上[48-49]。SVM是把低维的样本空间通过非线性映射,升维至高维度空间,从而转化了需要解决问题的类型,原本是对低维样本空间进行非线性的分类,现变成了对高维空间进行线性的分类。而其中升维会大大增加计算的复杂性,SVM则巧妙的使用核函数解决了这一问题,因为通过核函数的展开定理,就无需清楚非线性映射的显式表达式。SVM的核心是对核函数的应用,所以使用不同的核函数会产生不同的SVM,而其中使用比较普遍的核函数一般有这四种:线性核函数、高斯径向基函数、多项式核函数、二层神经网络核函数,且这四种核函数分别所对应的公式如式(4-1)所示。
...........
总结
在现代生活的快节奏、高压力下,人们的精神状态起伏变化很大,如若未能及时调整自身心态,则容易埋下精神科类疾病的种子,久而久之对身体造成极大的危害。随着现代生理学与认知神经学研究的不断进步,以音乐的形式来诱导调节大脑活动状态的方式越来越受到人们的关注。而音乐中节拍的律动以及左右声道独特的发声方式,则是对大脑活动产生影响的关键因素。因此,本文以期能够探索出一种独特的音乐方式比传统的音乐方式能够更快且更有效的促进对大脑状态的调节,固提出一种在不同旋律轻音乐的基础上做一个节拍渐变以及左右声道振幅交替变化的音乐方式。而随着神经成像技术的迅猛发展,脑电信号的采集也越来越简易方便,EEG也就成为了科研者们研究音乐对人类大脑状态产生影响的主要途径。固本文通过收集音乐刺激诱导下的EEG数据,对其进行处理和分析,结果表明本文提出的音乐方式确实能够更快且更有效的促进对大脑的诱导调节效果。本文首先介绍了音乐对大脑活动产生影响的EEG研究背景、意义以及国内外现状,从而引出本文所要探索的研究问题,即:1)改变音乐本身的节拍因素以及左右声道的发声方式,是否能够加快促使大脑进入预期的调节效果。2)心理学上表明不同旋律的音乐对大脑产生的调节效果不一样,节奏缓慢的古典轻音乐能够诱导大脑进入放松状态,节奏欢快的电子合成音乐则能提高大脑一定的警觉性,那么对这些不同旋律类型音乐的元素进行有规律的改动后,对大脑诱导调节的效果是否能够更快更好。其次介绍了脑电与音乐方面的基础理论知识、脑电信号的采集以及本文提出的在原歌曲的基础上做一个节拍渐变以及左右声道振幅交替变化的音乐方式。接着重点介绍基于重心频率的脑电信号分析,通过对不同类型实验下的EEG重心频率的分析,可得结论:1)被试者倾听中国古典轻音乐或西方古典轻音乐时,能够促使大脑状态进入放松状态,而倾听西方电子合成音乐时,会促使大脑提高一定的警觉性;2)改动后的中国古典轻音乐以及西方古典轻音乐,相较于对应的原歌曲,前者诱导被试者大脑状态产生变化的时间明显快于后者;3)改动后的西方电子合成音乐与原歌曲相比,前者诱导被试者状态产生变化的时间较快于后者。
..........
参考文献(略)