第 1 章 绪论
1.1 研究背景及意义
2018 年我国人口总数为 13.9 亿，正在逐渐步入 14 亿规模，随着人口规模的不断增大，对于生活中必不可少的资源-对水资源的需求持续增长，相反，随着经济和工业的发展，水污染的程度也逐渐增加，干净水的缺失成为了目前社会可持续发展的重要难题。自 2015 年以来，国务院提出水污染的主要来源是工业企业的污染物排放。要求工业企业要注重自身污染物的防治工作。2017 年清华大学环境学院教授级高工张鸿涛指出，我国工业化规模逐年扩大，用水需求也逐年增加，虽然在国家的管控下，污染废水的排放逐年下降，但是趋势较小，因此迫切的需要企业构建自身污染水平监测、预测和治理平台成为了当前工业企业可持续发展的重要难题。
我国的石油化工企业是水污染的相对较严重部门，并且由于污水数量大、污水指标多样、排污时间不定等问题很难进行准确的监测和治理。石油化工废水与生活污水不同，其废水排放量大，波动也大，一般生产一吨的化学产品要产生几倍甚至是几十倍的污水，并且随着生产工艺的变化，废水有时是连续排放的，有时是间歇式排放的， 难以量化的管理。另外，化学污水中的化学和物理性质及其复杂，不仅含有硫、油、氰化物和酚，此外，还含有多环芳烃化合物，芳香胺化合物，杂环化合物等。甚至一些石化废水中也含有有毒物质。不同的污染物也有其对应的不同治理方法，因此对于水质的实时监测尤其重要。近年来，随着物联网的普及，可以使用传感器获取到的污水数据再将其传入到互联网中，然后相关数据进行可视化管理，但随着企业规模和市场需求的变化，数据的规模和种类都不断的增多，这为企业管理提出了挑战，并且大量的监测数据也是加强企业污水治理的一个有利因素，通过对数据的分析和挖掘能够制定出更有效的污水治理方法。
针对这些问题本文根据企业排污需求，整合所有污水数据指标，构建了一个集实时污水质量检测和排污情况预测的排污监管系统。该系统的实现可以帮助企业充分掌握污水处理的状态，提高污水处理的效率。还能根据企业排污历史数据，预测未来排污情况，提前进行排污计划。并且，该管理系统还应该将所有涉及污染的部门纳入到系统当中，结合企业原本的人力资源管理系统，即能够实现对排污现状的全面管理，又能避免整合全部数据，进一步发挥大数据的优势。
..........................
1.2 研究现状
工业相对比较发达的欧洲，在中国之前就陷入工业污染的漩涡中，因此欧洲各个国家均建设了多种水污染治理管理平台，例如西班牙的 Tragsa 公司开发建设的 MEGA 工程，该工程使用 OPC 基础上的 UA 通信标准，使工厂车间和企业级之间的数据收集，信息建模和通信更安全，更可靠。并在此基础之上建设了从水质监测、数据传输到数据使用整个过程的监管链路，是物联网技术应用到污水治理的典型应用。在美国，工业大革命之后就相应的开展了污水治理工作，但是使用至一个世纪后不仅技术老旧复杂，也不能适应现阶段的污水水质复杂情况，因此美国环保署文件称随着信息技术的发展，物联网，云计算和大数据等高科技将在废水处理过程中发挥重要作用。随后，美国水利联合会还确认在旧污水处理过程中引入新的信息技术，可有效提高污水处理效率，提高污水处理监督的可靠性。是改善污水处理管理过程的第一选择。而对应的美国制造商们也在污水处理设备改造过程中看到了商机，研发了大量的融合物联网和云计算的智慧水务管理设备和系统。
在中国，随着国家更加关注环境问题，人们的环保意识逐渐加强。大数据、云计算和物联网等技术的不断推广和运用，使得环境保护逐渐被贴上了数据化、精准化和智能化的标签。在我国大部分地区环境污染地带多处于工作人员无法到达的地带，使用大数据等技术收集数据、分析处理各项数据数值，为了更有效地发挥数据的作用，这种数据分析方法不仅可以实时预测水质，它还可以提高污水处理的针对性和个性化，促进环境管理的效果。当前在我国很多部门也都采取了环保和信息技术结合的应用，例如乌梁素海案例、 河北空气质量保障智慧平台、无锡生态环境物联网监测监控体系等二十多省市建设方案。石化企业的污水涉及多种污染，可分为含油污水，无硫水和高浓度有机污水。不同的污水使用物理或化学方法来减少污染，例如重力沉降，氧化和剥离。不同的污水成分需要进行针对性的污水处理，因此需要对污水水质准确检测，并进行分析，能够极大程度上提高污水处理的效率和针对性。
.............................
第 2 章 相关理论与问题分析
2.1 大数据技术简介
大数据，即 Big Data，一个如今人们已经耳熟能详的概念，最早提出于 2008 年。 2008年，在 Google 成立十周年之际，世界着名的自然杂志发表了一期特刊，讨论未来大数据处理技术面临的机遇和挑战，其中就提出了“ Big Data”的概念。
大数据的概念能广为人知主要因为两件事情，其中一件事情发生在 2011 年，麦肯锡全球研究院的研究报告 《大数据——下一个创新、竞争和生产力的前沿》 解释了大数据的概念，并详细的列举了大数据核心技术。 然后，通过 Gartner Emerging Technology Maturity Curve 和 2012 Victor Meyer-Schonberger 的《大数据时代：生活、工作与思维的大变革》的宣传和推广大数据的概念开始风靡全球。
2.1.1 大数据概念
由于数据或用户的差异，大数据的概念通常会给出不同的理解。 美国咨询公司麦肯锡公司（McKinsey Company）是大数据研究的先驱，该公司在其报告中给出了大数据的定义。 指出大数据是指比可以获取，存储，管理和分析的传统数据库工具更大的数据集。该报告还强调，必须超过某个 TB 值的数据集不能被视为大数据。 国际数据公司（IDC）定义了四大特征的大数据，即海量数据量（体积），快速数据流和动态数据系统，各种数据类型和巨大的数据值。
1. 数据量大（Volume）
大数据的第一个特征是数据量很大，包括非常大的采集，存储和计算量。大数据的其实计算最少应该是 PB 级的，也可以采用更大的单位 EB 或 ZB。
2. 类型繁多（Variety）
大数据的第二个特征是种类繁多，包括类别、来源以及结构。正式多种多样的大数据类型为大数据的数据处理能力提出了更高的的按要求。
3. 价值密度低（Value）
大数据之所以称之为大数据就是因为其数据量庞大，对应的数据价值密度就相对较低，必须得经过清洗与筛查才能获得其中的有效数据。特别是随着互联网和物联网的广泛使用，信息数据无处不在，价值密度越来越低。 根据业务逻辑并结合大量的数据挖掘和数据分析获得有价值的数据是大数据主要解决的问题。
.......................
2.2 问题分析及解决方案
2.2.1 污水处理问题分析
随着社会发展，石油化工工艺也飞速的发展，但是伴随而来的环境安全隐患也是屡禁不止，例如化工污染物的随意排放不仅给土地资源带来了极大的负担，而且也威胁到人们的生活所必需的水资源。因此对化工废物，主要是化工废水的处理是关乎到人类生存的重要问题。
从产生途径的角度分析，在整个石油化工工艺的进行的过程中都有相关的污染的可能。从化学原料的加工开始，每一个工艺过程都需要大量的新鲜水资源的参与，而后排出含有不同污染物的废水，并且随着工艺的变化废水中污染物的含量和种类都随时在变化，这给污水处理带来了巨大的挑战，怎样准确的掌握污水成分并提出针对性处理措施是目前石化企业可持续发展的主要问题。
2.2.2 污水水数据特征分析
石化废水是工艺废水，冷却水，废水洗涤水和石油生产和化学生产过程中产生的设备现场冲洗水。这些污水如果不经过净化处理会产生非常严重的水质污染，不仅会影响人们的日常生活用水，也会影响农作物等的生长。因此，应对不同类型的化学污水进行净化然后排放。本文讨论的污水就是石油化工企业产生的污水，通过多个监测点降监测到的水质数据上传至中央处理器中，它可以表征和促进后续的纯化工作。那么，从大数据的角度分析，污水数据的特征主要有以下几种：
1．种类多
由于污水数据的类型多样，因此传递给监测点数据也是多种多样，要对数据做好分析首先要明确水质数据当中的各种参数，和各个参数之间的关联关系，然后根据水污染处理方法所需的关键参数进行传输；另外传递过来的数据往往是零散无固定结构的，无法直接传入到数据库当中，需要首先制定数据模型，对传递过来的数据首先进行数据清洗建模，然后进行存储。
2．规模大
因为需要更加准确的将不同工厂的不同地点的水质监测数据上传到服务器当中，因此设定的监测点的数量很庞大，远远多于工厂的数量。并且，各个监测点需要同时监测多种的数据，因此数据的规模会非常庞大，符合大数据规模的要求。
........................
3.1 系统总体需求 ........................ 13
3.2 系统功能需求分析 ..................... 13
第 4 章 系统概要设计 ...................... 19
4.1 总体架构设计 ....................... 19
4.2 系统功能模块设计 ....................... 20
第 5 章 系统的详细设计与实现 ...................... 30
5.1 系统实现环境 .................... 30
5.2 功能模块的详细设计 ..................... 30
第 5 章 系统的详细设计与实现
5.1 系统实现环境
在系统的实现过程中，需要给系统配置合适的实现环境。
（1）开发配置：
本文使用的是 Mac 系统、Web 服务器使用 Apache Tomcat 8.0、系统平台使用 Hadoop 3.1.0、计算云 Spark 2.3.1、Java 服务器使用的实 JDK 1.6、IDE 环境是 MyEclipse 10。
（2）数据库配置：
数据库使用 HBase。
系统的登录模块包含系统的登录和注册两个功能：
（1）系统登录模块工作流程为：用户首先输入用户名称和用户密码，点击登录按钮，系统自动判断输入数据同数据库中数据的匹配程度，若匹配成功则成功登录系统，进入系统管理界面；如不匹配则反馈不匹配的内容，提示用户输入的不正确的信息进行重新输入。
（2）系统注册模块工作流程为：用户首先输入个人信息，生成用户信息表单，JQuery validator 负责验证表单信息，验证通过后表单信息传到数据库中保存。
........................
第 6 章 总结与展望
6.1 总结
参考文献（略）