第一章 绪论
1.1 课题来源
本硕士论文受国家自然科学基金“共融机器人重大研究计划”项目支持，项目号：91848112，项目名称: 基于侵入式脑机接口的脑控机器人手臂研究。
躯体感觉运动功能对人的生活至关重要，我们靠皮肤上的感受器接受来自外部世界的信息，经过外周神经系统传输到脊髓、经由不同通路包括小脑、脑干、丘脑等到达大脑皮层完成解析、计算、决策工作并生成最终的控制指令又经由下行通路包括丘脑、小脑、脑干、脊髓传递实现对于多个肌肉的精细协调控制。该通路使得我们可以以合适的轨迹、速度到达目标物体，以合适的手指协调姿态、力抓取感兴趣的目标物体并实时地根据外界环境变化做出调整；使得我们可以做出各种交流手势，身体语言；也使得我们可以使用工具。
但很多人因为各种各样的原因中风、车祸、枪击、战争、其他疾病包括肌萎缩侧索硬化症（amyotrophic lateral sclerosis，
ALS）、脊髓损伤，失去了躯体感觉运动功能，而且这些人正在逐渐增多，特别表现为庞大的中风病人群体的持续增加。据一项调查称，到 2010 年，全球有 3.3 亿有中风病史的存活人群。特别是发展中国家的中风发病率在逐渐上升，达到 10%[1]，
中国作为一个人口大国，其中风病患数量约达 1300 万chenZhong2018。这些人失去了躯体感觉运动功能，从而无法实现生活自理，比如不能独自进食、喝水，往往需要有专门的人照顾，给患者本人的心理上造成了沉重负担，对其家庭、社会也造成了高昂的经济费用支出和人力成本支出。尽管解决此问题的最佳办法是医学上能够使得神经、器官再生，但是在这项巨大的医学挑战被克服之前，使用机器辅助患者生活或者促进其康复，能够很大程度上改善这些问题，因此相关技术的研发迫在眉睫。
...........................
1.2 国内外研究现状
1.2.1 不同脑电信号类型及原理
如图Figure 1–1所示，脑机接口技术的核心是大脑信号的获取和解析，脑机接口领域中使用的信号按照原理主要分为电生理信号，血氧水平依赖信号 (Blood-oxygen-level-dependentimaging, BOLD)，磁信号。磁信号原理是大脑中的电流会产生磁场，可以用非常敏感的磁强计测量，这种测量技术称为 Magnetoencephalography(MEG)，当人进行任务时，电场变化引起的磁场变化可以被测量处理从而反映大脑的功能活动。血氧水平信号即大脑血液中氧气和二氧化碳含量水平，其紧密依赖于响应的大脑组织活动水平，故而可用来反映大脑不同组织的激活程度。采集手段包括功能磁共振，近红外成像两种方法。电信号因为时间分辨率很高约为0.001s，适合用于实时输出的脑机接口系统，因此以下主要介绍本文关注的电生理信号。
电信号的原理是，依靠大脑中各种化学离子的转运，神经细胞改变膜内外电位差来产生和传递信息，使得大脑形成不同尺度的电场，是直接反映大脑活动的方法。采集方法十分多样，在脑机接口中常见的如图Figure 1–2(A), 展示了电极放置示意图与对应的信号波形，包括使用头皮脑电 Electroencephalogram (EEG) 获得宏观的场电位信号, 脑皮层电图 Electrocochleography(ECoG) 贴在皮层表面获得介观层面的场电位信号，使用皮层内微电极获得多神经元的 Spike峰电位和微电极局部场电位 micro-Local Field Potential (mLFP)。图Figure 1–2(B) 展示了实际的手术/实验操作中的电极及其放置方式，除了以上三种，最下面还展示了近年来逐渐兴起的立体定向脑电图信号 (Stereo-Encephalography, SEEG) 通过针状的深部电极获得介观层面的场电位信号，其信号波形与 ECoG 类似。ECoG 和 SEEG，LFP&Spike 需要外科手术植入电极，属于侵入式（invasive）信号，EEG 属于非侵入式 (non-invasive) 信号。
.................................
第二章 实验平台
2.1 用于手势解码的立体脑电实验平台
2.1.1 受试者
本课题与华山医院神经外科合作，严重癫痫病人临床手术评估时会给病人植入 ECoG 电极或 SEEG 电极来监测神经活动，以定位癫痫发生的病灶便于手术切除。在病人植入电极等待病灶识别这两周内，我们开展运动相关的实验并收集相关数据，数据包括：该病人的大脑神经电活动数据、肌电数据，核磁共振扫描图像、CT 图像等。电极植入不因实验因素而受影响，完全是基于病人疾病情况而植入。由于每个病人可能的病灶位置不同，因此电极植入位置也区别很大。本实验共计 25 名受试者参与，这 25 名受试者的基本信息情况如表所示。在阅读并自愿签署知情同意书后，开展实验。实验用手基本采用植入电极所在脑半球对侧手，双侧植入情况下以电极多的半球为准。
2.1.2 实验范式
实验在病房开展，实验范式由 EPrime 软件编写展示在 LCD 屏幕上，病人保持舒适状态坐在病床上，正对着电脑屏幕，一个海绵枕头放在病人手下，以支撑手部运动，帮助手部悬空便于执行手势。每个被试执行一个主实验，S8 以后的病人另外执行两个控制实验，即一共 16 个被试参与了控制实验。实验中，病人被提醒不能有其他非必要的实验无关动作并使用与植入电极对侧的手开展运动。在每个实验中，如图Figure 2–2所示，在病人手臂伸腕桡侧 (extensorcarpiradialis muscle) 肌肉处，贴两块表面肌电电极，采集 EMG 信号以记录运动输出信号，每次实验中，具体的肌肉位置是人为决定的，确保在病人做三种手势时，这部分肌肉有比较明显的活动，此为行为学记录。总体而言，病人的参与度较高，精神状态尚佳。每次实验开始前，都预先让病人演练，确保病人熟悉动作，能够严格按照范式执行。
.................................
2.2 用于初级感觉皮层研究的皮层内微刺激实验平台
2.2.1 受试者
受试者是一位 32 岁的 C5 完全脊髓受损的男性患者 FG，距离实验时间受损已达 2.5 年，受试者在胳膊上段的前外侧具有残余的感觉功能，以及胳膊上段和前臂部分后外侧、手部有残余周围神经痛感，在肩膀，肘部，头部有残余运动能力，对实验签署了知情同意书，并知晓实验可能的风险。所有的实验步骤由南加州大学 (University of Southern California (USC)) 和Rancho Los Amigos 国家康复医院 (Rancho Los Amigos National Rehabilitation Hospital, RLA) 的评定委员会 Institutional Review Boards (IRB) 认证通过。受试者的颅内电极植入在南加州大学Keck 医院 (Keck Hospital) 完成，本课题的实验和数据采集在 RLA 完成。
2.2.2 电极植入
受试者植入了三块 utah 电极 (Blackrock Microsystems, Salk Lake City, UT)，如图Figure 2–6，分别在 SMG 区域有一块 96 通道电极，在 Broadmann 5d 区域即通常认为的 ventral premotor(PMv) 有一块 96 通道的电极，以及 primary sensory cortex(S1) 有两块 48 通道的电极。本研究接受 FDA IDE 为了延长电极植入的时间的认证。
由于该项目的目的是，探索初级感觉皮层的局部功能连接。我们在这里只详细介绍 S1 区域电极的植入过程。神经成像使用 GE 3T 8 通道头圈扫描仪，功能数据使用 T2 加权单次激发回波成像序列 (TR = 2000 ms; 层厚 = 3 mm; in-plane resolution = 3 x 3 mm; TE = 30 ms; flipangle = 80; fov= 192 x 192 mm; matrix size = 64 x 64; 33 slices (no-gap) oriented 20 degrees relativeto ACPC line)，解剖成像使用 GE T1 Bravo 序列 ((TR = 1590 ms; TE = 2.7 ms; fov =176 x 256x 256 mm; 1 mm isotropic voxels))。我们使用 Analysis of Functional NeuroImage(AFNI) 做广义线性模型 (General Linear Model, GLM) 分析。任务阶段的成像被切片 scan-time 校正，3D 运动校正，空间平滑 (3mm full-width half-max)，然后转换成百分比信号变化，最后去趋势化[57]。Freesurfer 用来做皮层表面重建。
................................
3.1 数据处理 . . . . . . . . . . . . . . . 27
3.1.1 预处理 . . . . . . . . . . .. . . . . 27
3.1.2 性能指标 . . . . . . . . . . . . . 31
第四章 不同分类器性能比较 . . . . . . . . . . . . . . . . . . . . . . . . 46
4.1 几种常用模型 . . . . . . . . . . .. . . . . . . . 46
4.1.1 判别分析 . . . . . . . . . . . . . . . . . 46
4.1.2 k 近邻算法 . . . . .. . . . . . . . 47
第五章 初级感觉皮层功能连接网络 . . . . . . . . . . . . . . . . . . . 54
5.1 指标选择 . . . . . . . . . . . . . . . . . . . . 54
5.1.1 常用指标介绍 . . . . . . . . . . . . . . 54
5.1.2 常见问题 . . . . . . . . . .. . . . . . 56
第五章 初级感觉皮层功能连接网络
5.1 指标选择
5.1.1 常用指标介绍
功能连接相当于研究大脑的“软件连接”，因为“硬件连接”需要研究具体的结构连接以及动态的神经元之间突触传递，在当前的技术手段难以解决。当前一个比较广泛认可的假设是：节律震荡能够为动态的网络协同提供一种组织机制[8, 9, 70, 71]，节律震荡很有可能反映了局部神经元集群同步的节律性兴奋震荡[72]，当位于网络中的两个不同节点的节律同步或以其他非线性方式相联系时，这种同步可以促进信息在不同节点之间的传递[73]，所传递信息可能表现为动作电位的爆发 (burst)，这种在节律震荡时发生的爆发可能进一步加强信息传递的可靠性，或者帮助建立远程同步连接。在这种假设下，大脑可以通过实时地改变不同区域参与节律活动同步的强度，模式或者频率，则可以协调不同区域间的信息传递，根据不同区域或神经元之间的节律震荡关系，可以得到其网络协同关系。
要量化神经震荡的交互关系，常用的衡量功能连接的指标及分类如图Figure 5–1：有向连接与无向连接的区别在于能否给出功能连接信息传递的方向，基于模型和无模型的方法区别在于前者通常基于线性假设，认为两个信号之间的交互是线性的，如皮尔森相关系数，无模型的方法即不基于线性假设的方法，典型的如互信息 (mutual information) 能够估计变量之间的任何（线性或非线性）相互关系。以上举的例子都是无向连接的衡量指标，忽略了数据的时间结构，将时间序列信号视为平稳随机信号，信号本身在前后时间上没有关系，即使两个序列被相同地随机打乱，也不影响指标，有向连接则考虑到时间结构，如互相关函数能够反映两个信号在时间上的领先或落后关系，最大互相关出现的时间延迟被认为是一个神经元活动领先另一个神经元活动的时间，这种有向连接也被称为有效连接 (effective connectivity)。但是，当神经信号之间是双向连接而且这种情况在大脑连接中极为普遍，互相关函数就会缺乏一个明显的峰值，可能会在正负时延处各有显著的相关系数，表明了一种复杂的，在多个延迟处发生的双向连接。Granger causality 能够克服 cross-correlation 的缺点，能够分别估计从 x到 y，从 y 到 x 的连接。有向连接中无模型的指标被用来检测信号之间线性或非线性的信息传递方向，如传递熵 (transfer entropy) 是一种一般的，基于信息论的方法，用以研究信号之间有向交互，它是一种一般的指标，认为因必须提前于果，能够检测非线性交互，如被用来衡量信号的进行性相位估计之间的有向交互。
....................................
6.1 全文总结
本文针对面向手部感觉运动功能恢复的植入式脑机接口系统开展了研究。旨在恢复感觉运动功能的脑机接口系统能够为瘫痪以及中风患者的生活带来充分的辅助作用。本文围绕该类脑机接口系统研发所面临的两个重要问题：（1）手部运动解码；（2）双向脑机接口系统需要感觉反馈，而实现感觉反馈对躯体感觉皮层的连接网络认识不足的问题，分别展开了研究。具体地，全文总结如下：
1. 论文首先介绍了植入式双向脑机接口系统的原理以及其所依赖的神经机制。然后对基于不同植入式电信号解码手部运动进行了仔细的调研，发现在基于植入式脑电 (iEEG)手势解码工作中，往往只关注传统的感觉运动皮层，而忽略来自后顶叶皮层的在神经机制上反映运动意图的信号，因此引出了本文的一个研究课题即基于立体定向脑电图信号 SEEG 联合后顶叶皮层信号解码手势。其次对双向脑机接口系统进行了调研，并关注了电刺激提供感觉反馈的相关研究，发现该类研究遇到的很大困难是因为对躯体感觉皮层的神经机制特别是神经元所处的网络机制认识不充分，由此引出了本文的另一个研究课题，即使用微电极阵列记录到的局部场电位信号 (mLFP) 分析躯体感觉皮层的功能连接网络，并揭示了皮层内电刺激对该功能连接网络的影响，从而有助于更清晰地认识其中的网络机制。
2. 为回答 SEEG 是否能够在后顶叶皮层（PPC）记录到运动意图信号，能够记录到多少，记录到什么样的信号，能否辅助手势解码这些问题，本研究募集了 25 名植入深部电极的癫痫患者，并设计了包含三种不同手势的运动任务，整合所有病人的数据到一个标准大脑模板上后，对电极记录到的立体定向脑电图信号进行进一步分析，首先大范围地探索了不同大脑区域的任务激活与手势选择电极比例，发现感觉运动皮层和后顶叶皮层激活较多，且通过分析其激活时间，发现后顶叶皮层激活往往早于感觉运动皮层，进一步通过分类器解码结果表明，联合后顶叶皮层能够比仅仅使用感觉运动皮层收到更好的解码效果。本研究为提高基于植入式脑电信号的脑机接口提供了一个新的信号来源。
参考文献（略）