面向智能问答系统的答案选择与自然语言推理模型

本文主要完成的工作如下：（1）介绍本文的课题背景，在充分调研了国内外的研究工作后，分析了目前研究成果中所存在的值得改进之处，提出本文的研究所具有的实际意义。（2）提出了一种基于残差深度可分离卷积与自注意力的答案选择模型 RDSCS。该模型利用深度可分离卷积神经网络对问题与答案的局部特征进行提取，然后使用自注意力机制提取整体特征，并以此为基础对所有候选答案进行排序。最后通过实验验证，相比于其他的一些基于深度学习的答案选择模型，该模型能够更准确地对候选答案进行排序。

第一章 绪论

1.1研究背景和意义
在互联网技术高速发展的背景下，每个人都被各色各样的信息环绕着，而文本信息在其中占了相当大的比例。对用户而言，直接从海量的文本数据中获取有价值的信息是相当困难的。因此，需要一座“桥梁”将用户与信息相连，帮助用户高效地找到自己想要的内容。搜索引擎是一种完成该任务的传统方法。在搜索引擎中，用户通过输入若干关键字的方式来获取系统筛选过的网页，然后再对这些网页进行进一步选取。然而，仅仅通过关键字很难完整表达用户的意图，同时关键字在各种人类语言中都可能会出现一词多义的现象，如何选取合适的关键词来表达意图也和用户的知识水平有关。而假使用户可以通过输入完整的句子方式获取答案，这些问题将在一定程度上得到解决
另一方面，客户服务存在于日常生活中的诸多领域。传统的人工客服很难做到二十四小时在线，同时每个人工客服能够完成的工作有限，如果客户量大，或是客服在某些客户上花费了较长时间，都有可能导致部分客户的长时间等待。但是，大部分用户咨询的问题都是常见的，为每个用户都提供人工服务会造成大量的资源消耗，且长时间的等待将会严重影响用户的体验。因此，各类公司都开始研发智能问答系统并将其投入使用。但是，现有的问答系统只能作为人工客服的一种辅助工具存在，想要用问答系统完全替代人工客服还需要攻克大量难题。
对智能问答系统的研究在上世纪中期就已经开始了。在那个年代，图灵认为检测计算机智能水平的最好方法就是测试计算机理解语言以及通过语言来表达意图的能力，同时以此为基础设计出了图灵测试。该测试指出，将人与问答系统在隔离的前提下进行人机交互，若超过 30%的人无法判断交互的对象，那么这个问答系统就拥有了足够的智能。在图灵测试提出后，科研工作者也不断向这个方向进行努力。受限于技术条件，那个时代的问答系统只能够回答某个很小的领域中的相关问题。在 1961 年，BASEBALL[1]系统被开发出来，该系统是用来回答美国职业棒球比赛的相关问题的。而在阿波罗登月后，能够回答月球岩石样本问题的LUNAR 系统[2]也被开发出来。然而，由于计算机硬件能力的限制，那个时代的问答系统仅仅停留在实验室中研究的阶段，并不能投入实际使用。
.........................

1.2研究内容
本文针对面向智能问答系统的答案选择与自然语言推理模型展开了一系列的研究工作，首先详细介绍了智能问答系统的诞生背景、发展历程等，然后详细介绍了国内外对于智能问答系统的研究工作，重点从面向问答系统的答案选择方法及自然语言推理模型两个角度开展了研究工作。一方面，对问答系统中将候选答案进行排序的答案选择模型展开研究，提出了一种基于残差深度可分离卷积和自注意力机制的答案选择模型。另一方面，针对在用户与问答系统的多轮交互中输入的信息前后不一致的问题，提出了一种基于混合池化的自然语言推理模型。本文的具体研究内容如下所述：
（1）关于答案选择模型的研究：首先讨论了答案选择模型的发展现状，并进一步分析了现有模型的不足之处，然后针对分析的结果提出了一种基于残差深度可分离卷积和自注意力机制的答案选择模型，该模型首先利用深度可分离卷积对句子中的局部特征进行提取，再进一步使用多头部自注意力机制提取句子的全局特征，最后得到问题与答案的向量表示并通过相似度计算函数得到该答案相对于问题的得分，得分越高的答案与问题的相关程度越大。
（2）关于自然语言推理模型的研究：首先对现有的自然语言推理模型进行了分析，然后针对不足之处提出了一种基于混合池化的自然语言推理模型，该模型首先利用 LSTM 对需要判断关系的句子进行处理，然后利用最大池化与多维注意力机制池化的分支结构得到句子的向量表示，在将句意融合后利用分类器得出最后的结果。
（3）使用 Django 框架作为服务端构建了面向保险领域的智能客服系统。该系统共有智能问答、问题搜索以及问题列表三个模块。智能问答模块将本文所提出的 RDSCS 作为答案选择模型，给用户提供了可以通过输入问句直接获得问题答案的服务，问题搜索模块能够实现基于关键词对问题进行搜索，而问题列表模块将所有常见问题以列表的形式展现给用户。
..............................

第二章 相关背景知识介绍

2.1自然语言处理
2.1.1 自然语言处理简介
自然语言处理的定义如下[25]：自然语言处理需要从语言层面对人与人之间以及人机之间的交互进行研究，研发具有语言表现能力以及语言应用能力的模型，运用计算框架实现并不断优化这些模型，并设计对研究的任务进行评测的指标。自然语言处理所面临的挑战主要包括以下几个方面[26]：
（1）人类的语言歧义性很强，一方面，句子间即使只有少部分词语不同，其中的含义就有可能大相径庭，而另一方面，多种形式的句子都能够表达同样意思。
（2）语言是符号化和离散的。人类通过完整的句子来表达要描述的事物，而句子由词语以及字符构成。然而，无论是字符还是词语，都是离散的符号，两个单词之间的关系只有通过人类大脑理解才能得到。在计算机视觉中，图像的色彩变换直接可以通过像素值的加减来表示，而在自然语言中，没有直接的运算可以将一个单词转为另一个单词。同时，多个单词还会组合成短语，而短语与单词本身的含义可能并没有直接关系。因此，不能够仅仅将句子看成是单词的排列，而是需要结合语境，从一整个句子甚至整篇文本来理解。
（3）不同的单词与短语间能够进行海量的组合，这使得句子的数量也无法计算的，同时每一年都会有很多新词出现，这导致文本数据的稀疏性。
自然语言处理的主要研究思路有两种[27]，基于规则、模板的方法以及基于统计学的方法。基于规则、模板的方法需要研究人员对具体的语言进行研究，从而对语言中的规律进行总结，构造出能够表示语言的规则或是模板，从而以此为基础构建能够将自然语言转化为以结构化形式存在的符号的系统。这类系统在将句子通过一系列预先构造好的词法、语法规则解析后，会得到对应的语义符号。
............................

2.2问答系统
按照获取答案的方式，智能问答系统的常见类型以及每一类问答系统的特点如下所述：
（1）基于规则模板的问答系统。早期的问答系统大多是基于规则模板的，这样的问答系统也被称为“专家系统”[30]。专家系统需要通过人工规则的方式对用户的输入进行解析，从而理解出用户想要表达的意思。在用户输入问题后，系统将其进行解析，并根据预先设计的问题模板进行匹配，然后从数据库中获得答案。基于规则及模板的问答系统的优点在于，当用户的输入符合事先编辑好的规则模板时，系统将能够给出准确的答案，但是用户的输入一定要符合规则，且系统能够回答的问题会限定于某个具体的领域，假如用户的输入没有规则模板与之相匹配，那么该系统将无法给出回答。另一方面，在构建系统时需要相关领域的专家对该领域的规则模板进行编写，在系统投入实际使用后也需要专家不断进行维护工作，这样的过程需要花费大量的成本雇佣领域专家。
（2）基于常见问答对的问答系统(Frequently Asked Questions, FAQ)。这类问答系统的数据库中存储着大量常见问答对，而系统的核心模块需要根据用户的输入从数据库中检索出候选答案集合，并对候选答案进行排序，最后返回答案。这样的问答系统结构简洁，同时数据库中所存储的问答对都是经过筛选的，这些答案都是符合语法以及正常逻辑的完整句子，因此系统返回给用户的答案也更加接近于人类的日常语气。但是，此类问答系统的实际效果取决于自身数据库中问答对的数量，如果用户输入的问题在数据库中没有相似的问答对，那么系统将无法给出答案。在数据源方面，由于目前很多问答社区已经积累了足够多的优质问答，许多常见领域的问题都已经有了优秀的回答，如果经过人工筛选，很多领域都能够获得较为不错的数据源，因此这类问答系统常常能够给出令人满意的结果。

........................

第三章 基于残差深度可分离卷积与自注意力的答案选择模型..................................... 24
3.1任务介绍..................................... 24
3.2模型结构.......................... 25
第四章 基于混合池化的自然语言推理模型 ................................ 40
4.1任务介绍............................ 40
4.2模型结构................................... 40
第五章 原型系统设计与构建 ........................................ 55
5.1系统整体架构设计................................... 55
5.2模块设计与实现.......................... 56

第五章 原型系统设计与构建

5.1系统整体架构设计目前，在线客服在很多行业中都起着重要作用。但是，人工客服能够服务的客户数量是有限的，一旦用户数量较多，人工客服将难以及时进行回复，这会严重影响到用户的体验。另一方面，大部分用户所咨询的问题都是较为常见的，处理大量重复雷同的问题是人工客服所不可避免的。因此，研发能够帮助用户自助解决疑惑的智能客服系统是非常有必要的。智能客服系统不仅可以有效节约人工成本，同时可以减少用户搜索答案或是等待人工客服给予帮助的时间。智能客服系统设计的目标在于将用户关注的问题与数据库中存储的答案相匹配，因此本系统提供给用户多种获取答案的渠道。系统主要的功能目标如下：
（1） 提供用户通过智能问答的方式获取答案的功能；
（2） 提供通过关键字搜索的方法对数据库中的相关问题进行查询的功能；
（3） 提供对数据库中问题进行浏览的功能。

............................

第六章 总结与展望

6.1总结
虽然目前智能问答系统在国内外已得到了广泛应用，但是其中的相关功能及技术仍然存在极大的不足。本文使用深度学习的相关技术，在调研、分析和总结了现有研究成果的基础上，对面向智能问答系统的答案选择以及自然语言推理模型进行了研究，提出了一种基于残差深度可分离卷积与自注意力的答案选择模型以及一种基于混合池化的自然语言推理模型。在智能问答系统中，答案选择模型能够完成对召回的答案进行排序并返回用户最终答案的工作，而自然语言推理模型可以判断用户的前后输入间的逻辑关系。本文主要完成的工作如下：
（1）介绍本文的课题背景，在充分调研了国内外的研究工作后，分析了目前研究成果中所存在的值得改进之处，提出本文的研究所具有的实际意义。
（2）提出了一种基于残差深度可分离卷积与自注意力的答案选择模型 RDSCS。该模型利用深度可分离卷积神经网络对问题与答案的局部特征进行提取，然后使用自注意力机制提取整体特征，并以此为基础对所有候选答案进行排序。最后通过实验验证，相比于其他的一些基于深度学习的答案选择模型，该模型能够更准确地对候选答案进行排序。
（3）提出一种基于混合池化的自然语言推理模型 MPMDA。该模型中的混合池化层使用了一种分支结构，该结构同时对句意编码层的结果进行最大池化处理以及基于多维注意力的加权平均池化处理，从而形成句子的向量表示。实验以及原型系统表明，该模型能更有效地对句子间的逻辑关系进行判断。
（4）构建了面向保险领域的智能客服原型系统，该系统主要包括了智能问答模块、问题搜索模块以及问题列表模块。智能问答模块使用本文所提出的 RDSCS 答案选择模型，给用户提供了以通过输入问句的方式来获得信息的服务，问题搜索模块实现了基于关键词对问题进行搜索的功能，而问题列表模块将所有常见问题以列表的形式展现给用户。该系统可以从多个方面帮助用户，担当高效率客服的角色。
参考文献（略）