第一章 绪论
1.1 研究背景和意义
公安是一个涉及国家和人民生命财产安全的关键行业,担负着维护国家安全和社会稳定的重要职责。公安事业的可持续发展,离不开成功有效的开展信息化建设。自 21 世纪初, 全国公安机关开展了“金盾工程”网络基础建设[1]。经过多年的努力,公安信息网已发展成覆盖全国所有城市、涵盖公安各警种信息应用服务的大型专用网络,公安信息化建设进入了一个全新的发展阶段。
公安信息化建设的脚步见证了信息技术的飞速发展,大数据时代的到来同样引发了公安信息化建设的变革,大数据、云计算、人工智能等信息技术的迅猛发展将警务工作领进了一个全新的时代。近几年,依托于公安信息网,确立建设了公安部情报信息综合应用平台、全国被盗抢汽车信息系统、各警种数据存储中心等中大型应用服务平台,各省、地市级公安机关针对自身的业务场景,也分别开发了符合自身业务需求的应用系统,这使得公安信息网中汇集了海量的警务数据资源的同时,也催生了情报信息主导警务工作的警务模式。
大数据背景下的警务模式可以划分成存储、管理、应用三个部分:存储即通过摄像头、传感器、射频设备(RFID)、移动终端等网络设备对公安管理对象和治安管控对象进行信息采集,然后通过公安信息网络将数据传输到各单位的数据库;管理即整合各信息系统中的数据资源、软硬件资源形成警务云平台,按需为各警种的业务部门提供信息处理服务;应用即公安机关各单位利用警务云平台提供的信息资源、软硬件资源依据自身的业务场景对大量数据进行综合分析研判,形成警务信息情报,最终建立情报导防、情报导侦的作战机制,精确、快速的管控影响社会治安稳定的突出问题[2]。
在大数据时代,公安工作必将会面临诸多新的挑战,加强公安信息化建设,特别是借助大数据、云计算、物联网等新一代信息技术实现科技强警,是当下警务工作发展的一个重要内容。彭知辉[3]提出,应将大数据融入公安信息处理流程,实现对信息处理流程的重构和优化。以往学者将以信息资源为基础的信息汇集过程称为“整合”,但在大数据环境下单纯的对信息进行的“整合”过程已经不能满足需要,以新信息技术处理的“融合”成为了公安信息处理的有力武器,对新形势下提高公安机关警情研判能力、维护社会稳定具有重要意义[4]。
............................
1.2 国内外现状
1.2.1 我国公安信息融合现状
我国公安信息化建设工作开始于上世纪 90 年代,经过多年的不断发展,依托“金盾工程”、“天网工程”、“公安信息化”、“基础信息化”等科技专项工程的建设,目前公安机关已经能够应用基于重点人员资源库建立的三级预警网络实现对相关人员的布控预警和先期干预的执行;搭建了以“大情报”为龙头的应用平台及业务系统,汇聚海量公安数据资源,完善公安业务信息化流程,牢固树立了情报信息主导警务工作的理念,提高了公安机关维护国家安全、驾驭社会治安局势的能力[5]。
然而,面对大数据时代带来的诸多挑战,从信息融合的角度进行审视,传统的公安信息工作仍存在许多不足之处。
(1)硬件资源方面的问题
从硬件部署角度看,公安单位硬件资源的采购审批流程复杂漫长,部署效率低下,对硬件设备的品牌、型号、性能、兼容性等属性没有明确的要求,设备之间缺少统一的数据交换标准。 从资源利用的角度看,公安应用系统的部署多采用传统的部署模式,即为每套系统独自采购设备的模式,硬件资源无法动态调度,设备负载不均,资源浪费现象普遍存在。
(2)数据融合方面的问题
从数据的角度看,数据的采集、存储、访问没有健全的规范进行约束,采集到的数据质量参差不齐,数据结构复杂多样,信息资源重复建设,数据之间存在冲突,应用程序之间存在技术壁垒;用户授权制度保守僵硬,PKI 使用监管不严格,存在私用、乱用的现象,操作日志流于形式,数据分级模式单一,存在安全漏洞,对个人隐私保护力度不够。
从数据源的角度看,数据源分布散漫,信息资源缺少索引,数据源的访问请求多为简单的单一查询,并发访问量较少,信息利用率较低,不同地域、不同警种甚至不同部门之间存在“私有数据库”,虽然都处于同一公安信息网中,不同数据源的数据却不能实现互通和共享。
..........................
第二章 公安信息融合与云服务技术
2.1 公安信息融合的政策框架
2015 年 8 月,国务院总理李克强主持召开国务院常务会议,通过《促进大数据发展行动纲要》[11],提出要加强顶层设计和统筹协调,规范各部门信息共享的范围和共享方式,加快政府信息平台的整合,消除信息孤岛,大力推动政府信息系统和公共数据的开放共享[12]。2016 年 9 月,国务院印发《政务信息资源共享管理暂行办法》[13],明确了政府信息资源共享的原则要求、共享范围、共享方式以及信息共享工作的监督保障机制[14]。同年公安部下发的《公安机关信息共享规定》[15]对信息共享工作提出了指导意见,要求加快省部两级信息共享平台的建设,加大公安机关信息资源的整合力度,加快公安云数据建设。《“十三五”平安中国建设规划》指出:“建立健全社会治安防控体系,要求提升预防预警能力,牢固树立情报信息主导警务工作的理念,充分发挥公安情报信息的前瞻性、引领性、预警性作用,加快警务信息综合平台建设,完善情报主侦体制,初步实现警务保障模式由被动转为主动”。
(1)从部分数据走向全量数据,要求公安情报工作应符合时代发展的特征,增强对情报信息的处理能力。在汇集多源数据的同时,拥有处理海量数据信息的运算能力,真正实现将公安部门拥有的信息资源转化为有价值的情报。
(2)从被动反应转向主动预防,要求公安部门充分发挥公安情报信息的前瞻性、引领性、预警性作用,贯彻落实“打防结合,预防为主”的方针,努力从源头上预防和减少社会矛盾。
(3)从一维分析到多维分析的转变。通过对公安信息网中各类信息源的整合,集成大数据、云计算技术,实现情报主侦的新模式,推动案件侦破工作由单源向多源,由一维向多维,由片面向多角度的侦察模式转变。
.........................
2.2 公安信息融合的技术分析
2.2.1 Web3.0 的崛起
传统的公安信息平台为了确保通信的安全性、可靠性,大部分采用了 C/S 模式,但采用这种服务模式向一线科所和警务室进行普及的难度较大,运维成本较高。随着 Web 技术的快速发展,考虑到基层警务的实战需求和全警应用的目标,将 Web 技术应用于公安信息建设中是十分必要的[17]。
Web1.0 时代是以门户网站、搜索引擎为代表的早期网络时代。它的出现解决了基层民警、科室获取信息的需求,信息的交互采用的是“公安网络—民警”这样的单向传递模式。
Web2.0 的出现解决了 Web1.0 没有解决的人与人之间沟通、参与、互动的需求。互联网中,典型的应用包括 Blog、P2P、Wiki、Tag 等[18]。在 Web2.0 支撑下的公安信息网中,软件被看作是一种服务,网络中的各类网站演化成为为警务人员提供各种网络服务的服务平台。警务人员在进行网络活动时,既是信息的生产者、传递者,又是信息的消费者和反馈者。Web2.0 模式下,公安干警的创造性和创造的积极性均得到了极大的激发。
Web3.0 是 Web2.0 延伸和发展。它在 Web2.0 的基础上加入了语义网[19],将网络中的无序的信息进行最小单位的拆分,依托元数据、规则库等将词义进行结构化和标准化,再通过对网页添加上元数据[20],进而实现信息与语义的关联,在此基础上完成跨数据库、跨系统甚至跨服务域的数据聚合和信息融合,从而为用户提供更加个性化、智能化、精准化的检索服务[21]。Web3.0 时代的公安信息网络具有以下三个特性:
(1)数据自由整合。Web3.0 时代的公安信息网克服了数据的不兼容性,任何一个拥有可以接入公安信息网的计算机的警务人员,都能够获得当下所有可以获得的信息。
(2)智能化的搜索引擎。Web3.0 支撑下的公安信息网能够针对不同的个人、单位、警种建立个性化的信息需求模型,在信息搜索时提供更加精准的结果。
(3)兼容多种终端平台。Web3.0 支持警务人员从 PC 端、移动端以及其他客户端获取公安网中的信息,并能够保证结果的一致性。
..........................
3.1 引言 ...............................21
3.2 分布式应用服务域内的交互性问题 ...............................21
3.2.1 问题概述 ..................................21
3.2.2 服务域内的时钟同步 .............................22
第四章 公安大数据云平台中的任务调度算法 ...................................39
4.1 引言 ................................39
4.2 公安大数据云平台中的任务调度 ...................................39
4.3 标准萤火虫算法 ..............................40
第五章 公安大数据云存储分析平台 ...............................49
5.1 引言 ...................................49
5.2 需求分析 ...............................49
第五章 公安大数据云存储分析平台
5.1 引言
伴随着云计算、大数据、区块链等信息科技的迅猛发展,信息技术已经深深地融入到人类活动的各个领域,政治、经济、军事、科学、生活等各方面正展现出新的面貌。经过多年的信息化建设,公安主干网中汇集了海量的业务数据资源,公安信息融合面对来源广泛、规模庞大、结构多样的情报信息,需要解决信息孤岛、存储扩展等问题,并结合大数据分析技术进行全方位、多角度的分析,才能实现多源信息的有效融合,升情报分析的能力。
本章以目前公安情报分析融合大数据分析为背景,提出了对公安大数据云存储分析平台建设的需求。应用大数据存储技术,将公安部门各类信息系统独立存储的情报数据汇集到该平台构建的数据仓库中,使用第三章提出的针对服务域交互性问题的解决办法,正确处理数据抽取、同步等服务域交互过程中的同步问题;应用大数据计算技术,将警员搭建的情报分析模型转换成计算机可执行的分析任务,利用第四章提出的任务调度算法合理安排情报分析任务的执行,最终通过前端技术将分析结果可视化,最终达到构建公安大数据云存储分析平台的目的。
.........................
第六章 总结与展望
6.1 总结
本文的主要工作和成果如下:
(1)对国内外警务信息的融合状况进行概况分析之后,对公安信息融合进行了分析。首先解析了公安信息融合的政策框架,阐明了我国政府以及公安部门对信息融合的积极态度,其次从 Web3.0、物联网、大数据三个角度介绍了公安信息融合的技术基础。
(2)从云计算技术和云存储技术两个方面对云服务技术进行了讲述,从警务云计算平台模型为例,从基础服务层、平台服务层、数据服务从和应用服务层四个层面研究云服务技术在公安信息化建设中的应用。
(3)对公安信息网中分布式应用的交互性问题进行了研究,提出了服务域内分布式应用交互控制方法,包括了基于时钟同步的事件采样周期策略以及事件序列号机制;对于服务域间的交互控制,在服务域内分布式应用交互控制方法的基础上增加了时钟关系矩阵进行时钟转换,同时提出了时钟服务代理的选举算法;对事件消息接收顺序不一致现象给出了交互控制修复方法。
(4)对公安大数据云平台中的任务调度算法进行了研究,提出了改进萤火虫算法的公安大数据云计算任务调度算法,在传统萤火虫算法中引入混沌扰动策略增强种群搜索能力,引入真实物理反弹理论作为种群多样性控制策略,维护种群多样性。
参考文献(略)