摘要：本研究以新型城镇化和大部制机构改革背景下的广州市城乡建设档案为例，深入分析了看似互不兼容的档案类别的文件和档案形成及利用规律，基于无范式发布的机制，建立了广州市城乡建设档案统一检索平台，创新了城建档案的大数据检索与海量日志挖掘、超大图纸在线浏览、多类型电子文件管理、城市时空特征集成、基于BIM思想的档案全生命周期管理集成等技术应用。

　　关键词：新型城镇化；大部制；城建档案；大数据

　　一、研究背景

　　城建档案作为社会城市发展过程中相关档案资料，是支撑城市社会整体向前发展的核心资源，为城市规划建设提供重要基础资料和理论依据，对城市规划建设有重要的作用，是城市建设过程中不可或缺的重要资源。当下大数据、云计算等信息技术日新月异，广州市城市建设规模迅猛发展，各类城建档案数据急剧上升。急需构建提高城建档案馆的档案资源建设能力、档案管理信息化能力、公共服务能力、社会协同创新能力，为城市规划、建设、管理提供支撑、保障、服务。

　　因此，根据《国家新型城镇化规划（2014—2020年）》 中关于绿色城市、智慧城市、人文城市和服务型政府建设的新型城市建设要求及《广州“十二五”信息化总体规划》关于广州社会转型的新要求，贯彻执行《广州市城乡建设档案管理办法》，落实广州市城市建设档案馆的全市规划管理业务档案、建设工程档案、地下管线档案等城乡建设档案统一利用的职责，提升全市城建档案管理工作水平，广州市城市建设档案馆和广州市城市规划勘测设计研究院运用信息资源管理、数字连续体、知识管理、电子文件管理、大数据、协同创新、集成管理等先进理念来指导，建设应用现代信息技术，实现管理自动化、文件归集电子化、档案利用网络化，提供城建档案数字资源远程访问、城建档案数据交换与互操作能力的集成化管理平台——广州市城乡建设档案统一检索平台（下简称城建档案统一检索平台），保证城建档案信息的真实性、可靠性、完整性和长久可用性。

　　二、研究思路

　　研究主要应对新型城镇化和大部制机构改革背景下城市建设领域文件和档案管理的发展趋势。本项目以广州市城乡建设档案为例，结合广州市信息化统一基础支撑环境，在因改革和发展而归档范围剧增的情况下，通过深入分析看似互不兼容的档案类别的文件和档案形成及利用规律，创新无范式发布机制，使异构化数据源的发布与存储实现数据归一化，并在此基础上，建立了城建档案统一检索平台，实现服务归一化，为上级主管部门的统一政务平台和统一业务管理平台提供更优化更全面的城建档案信息服务，做好档案服务保障。在此过程中，还需进一步解决亿级大数据检索、超大图纸在线浏览、多类型电子文件管理、城市时空特征集成、建筑全生命周期管理与档案全生命周期管理集成等城建档案检索与利用中的老大难问题。

图2-1技术路线图

　　三、研究内容

　　本项目的主要研究成果为软件一套，总体框架由基础支撑环境、数据资源层、业务应用层、平台服务层四大部分构成，主要包括城建档案数据检索系统、城建档案数据总线系统、城建档案权限管理系统、城建档案数据利用审计跟踪系统等四个方面的内容。

图3-1软件总体架构

　　（一）城建档案数据检索系统

　　城建档案检索系统是档案数据主要应用的模块，实现了档案数据、档案元数据的分类检索、简单检索、高级检索、智能检索和全文检索等多种检索功能，同时实现档案数据多种浏览方式，包括大图浏览、分类浏览等。此外，还实现了档案借阅授权和变更等利用应用、档案收藏夹和在线互动等功能。

图3-2检索系统功能架构

　　（二）城建档案数据总线系统

　　数据总线系统是档案数据的入口，实现了ISO格式的档案数据自动定时发布、按更新时间发布、按类发布等批量发布功能，资源目录文件管理和资源目录数据库管理以及元数据管理等功能。

图3-3数据总线功能架构

　　（三）城建档案权限管理系统

　　权限管理系统通过基于角色的用户管理，实现登录用户在系统中的数据权限控制和功能权限控制。

图3-4权限管理系统功能架构

　　（四）城建档案数据利用审计跟踪系统

　　数据利用审计跟踪系统是城建档案统一检索平台的监控模块，实现系统中所有行为的记录和定义，挖掘分析用户行为日志对系统进行监控和异常预警。

图3-5审计跟踪系统功能架构

　　四、创新点与特色

　　（一）基于分布式计算技术建立面向具有城市时空特征的海量城建档案高效索引，建立智能搜索引擎，实现数据快速检索

　　城建档案类型众多，总的来说包括结构化数据和非结构化数据（包含文本文档、扫描文档、图纸影像、音频、视频），根据数据类型、更新频率，结合Quartz任务调度，读取结构化数据基本信息、档案时间、空间坐标，采用tika解析非结构化文本文档，并进行类型判别、内容提取、内容清洗、分词建立等一系列处理，再通过lucene实现动态建立全量和增量索引，分布存储在MongoDb分片集群中。多数据源索引是系统的前瞻性、可操作性和可扩展性的保障。本系统既支持多种类型结构化数据库索引，也支持本地文件、网络文件、FTP等多途径文件索引。

图4-1索引建立流程图

　　（二）基于图像金字塔模型的瓦片图像分割技术和NoSQL数据库技术，实现超大体量影像档案多级平滑漫游、快速浏览

　　城建档案除了存储元数据等信息外还存储大量规划建设的图纸资料，图纸图像精度高、文件大，从几十兆到几百兆，采用浏览器直接加载，非常容易使浏览器崩溃，使用缩略图方式却不能满足精度的要求，无法满足图纸档案共享共用的需求。在档案建立索引的过程中，通过任务调度为图像建立金字塔，将图纸文件分解为各级金字塔切片图片，并存储在NoSQL数据库中，通过浏览器分层加载，实现超大影像多级别平滑、快速浏览。

图4-2超大图像处理流程图

　　（三）基于BIM建设思想建立城建档案全生命周期管理，基于GIS+数据库技术将多元化的城建档案信息标准化，整合WebGIS和移动端城建档案检索系统，提升档案服务智慧化能力

　　随着“多规”合一、城市精细化管理的开展及延伸，结合GIS实现建设工程项目全生命周期档案及空间可视化将是城建档案信息化利用的重要方向。本项目为建设工程项目建立了从项目前期阶段、立项阶段、实施阶段、验收阶段及运维阶段现状全链条GIS可视化管理模式。基于城建档案统一的四级管理结构，即项目级、案卷级、文件级、电子文件索引级，形成城建档案信息标准化。其中项目级基本信息中存在多各与位置地址相关的字段，包括工程地点、地形图号、建设用地规划许可证号、建设工程规划许可证号、建设工程规划验收合格证号等，本项目结合上述信息对地址进行匹配，形成初步点位坐标和地块范围红线，并通过地形图号及审批要件信息纠正空间坐标。

图4-3新增档案空间化流程图

　　（四）海量日志异常挖掘

　　基于LogSig聚类算法进行日志解析，挖掘web日志账户安全、数据泄露的分类信息，对比程序中嵌入的用户登录、注销、档案资料浏览等用户合法操作的结构化数据，及时预警账户安全和数据泄露问题。

图4-4标准化说明文件规范

　　（五）无范式发布

　　城建档案涵盖范围广，数据格式及类型多，每种类型的档案数据著录内容不同，档案数据的格式除了常见的图片格式以外，还有音频、视频格式等，如何将各种类型的档案包自动发布到统一的数据库实现在同一平台上的检索是本项目的关键问题。

　　为解决这个问题，本项目提出一个标准化说明文件，文件内填写出各类档案的数据与四级管理结构（项目级、案卷级、文件级、电子文件索引级）的映射关系、表间的关联关系、表的字典、文件移交清单的校验规则、移交数据的路径、文件版本等信息，压入电子档案包一级目录，形成一个可以自解释的数据包。所有映射关系的填写由档案产生单位负责。当电子档案包移交至城建档案馆后，城建档案统一检索平台通过读取标准化说明文件，自动解释并将档案数据自动发布至四级管理结构中。无范式发布对档案数据的内容、格式、形式不作任何要求，仅对结构描述作统一规范。

图4-5标准化说明文件规范

　　五、成果市场推广应用前景分析

　　本项目在建设过程中逐渐建立了多种类、多形态的城市建设领域档案的融合管理模式，通过系统实现主体联盟、关系连通、要素联结、过程连贯的统一检索与利用，形成可复制、可推广的一套创新技术与做法。

　　（一）高性能检索提升了档案检索的效率，特别是OCR图像识别技术和全文检索技术的应用，能够将检索单元扩大到每张扫描件，将所有档案信息都纳入了检索的范围，提升了检索结果的查全率和查准率。这为城建档案利用的推广提供了有力的技术支持。

　　（二）可扩展的数据存储框架和无范式发布，能够支持城建档案多种类别、多种文件格式、海量数据的存储问题。采用此项技术框架，能够应对机构改革带来的接收档案类型的变化和电子文件归档趋势。

　　（三）超大图在线浏览技术，是引入在地理信息系统和遥感图像处理中广泛使用的金字塔瓦片技术，能够在普通浏览器上查看超大图，保持了图像信息的准确传达，能够提供在线的图纸查看服务。

　　（四）新技术的应用，为档案资源的盘活和挖掘、数字政府的建设打好坚实的基础，能够充分发挥城建档案资源在政府信息共享、信息公开和服务方面的利用效能。

　　六、实施成效

　　本项目通过引入全文检索、大数据等新技术手段，实现安全、高效、人性化的城建档案在线查询、浏览、打印、下载、预约借阅。同时能为城乡规划、土地管理、城乡建设等专业管理部门提供更安全高效的数据接入，形成部门间异构应用系统间松耦合的信息共享和业务协同。带来如下效益：

　　（一）整合城建档案资源，为上级主管部门内部机构整合、管理制度整合和业务整合提供档案服务保障，保持工作的连续性和稳定性；

　　（二）建设应用现代信息技术，实现管理自动化、文件归集电子化、利用网络化，提供城建档案数字资源远程访问、城建档案数据交换与互操作能力的集成化管理平台，保证城建档案信息的真实性、可靠性、完整性和长久可用性；

　　（三）构建城建档案馆的档案资源建设能力、档案管理信息化能力、公共服务能力、社会协同创新能力，为城市规划、建设、管理提供支撑、保障、服务，并确保系统的前瞻性、可操作性和可扩展性。