Design and Implementation of Data Management and Pre-processing System for Cross-Fault Flow Deformation
-
摘要: 设计并建设基于MySQL的跨断层数据库,采用C/S架构(客户机/服务器架构)研发基于地理信息系统的数据管理与预处理软件平台。该软件平台不仅包括观测资料和监测场地基础信息,还包括显示监测环境信息、场地演化等功能,更重要的是提供消除凸跳、消除台阶、等间隔处理等数据预处理功能,为用户自由定制专业数据提供功能支持。该软件平台的研发将发挥跨断层流动形变在防震减灾中的作用。Abstract: A cross-fault database based on MySQL is designed and built, and a data management and preprocessing system based on GIS is developed by using C/S framework. The software not only has the system of observational data and basic information of monitoring site, but also has the functions of displaying monitoring environment information, site evolution and so on. More importantly, it provides functions such as eliminating sudden jump and step and so on. The research and development of this system will greatly play the role of cross-fault flow deformation in earthquake prevention and disaster reduction.
-
Key words:
- Cross-fault /
- Database /
- Data management /
- Data preprocessing
-
引言
跨断层形变监测被认为是较可靠的地震前兆监测手段之一。跨断层场地形变观测是根据大地形变测量原理,在断层上进行断层垂直、水平活动的直接观测技术,观测量是断层两侧的相对位移量,其物理意义明确,观测信息直观,观测手段成熟,在我国已有40多年的历史,积累了大量有价值的观测资料,在地震预测研究、地质探测、地球运动学和地球动力学研究中发挥了重要作用(周辉等,2017)。
跨断层流动形变监测是野外监测工作,监测环境易受非地震因素影响。监测环境常遭受到破坏,使监测场地需进行修复、改造,而相关信息无法在现有数据库中获得,从而使监测人员、资料使用人、管理人员无法了解场地变化过程(陆明勇等,2011)。据不完全统计,全国跨断层流动形变监测场地每年被不同程度地破坏,全国跨断层流动监测工作已有40多年的历史(宋彦云,2009)。由于过去计算与存储技术的落后,很多监测数据为纸质数据,即使有电子版数据,也不是全部原始监测数据,而是月均值数据。目前已有跨断层流动形变数据库主要包括近十几年的监测数据记录,包括监测场地卫星图、测线分布图、断层上下测盘构造介质、测量方向、测桩示意图、干扰因素、场地破坏信息、仪器变化信息等,也未完全建立监测场地基础信息库(陆明勇等,2015)。
2013年中国地震局第一监测中心对跨断层数据管理进行了初步探索和尝试,形成了基于FTP文件传输协议并采用Server-U软件管理用户权限的数据管理模式,这种管理模式能快速形成有效的数据管理系统,功能相对简单,用户易操作。该管理模式保存了几十年的跨断层观测资料,资料充足完整,数据可查、可读、可下载,初步形成了对跨断层数据的管理,在一定程度上满足了当时用户的需求。但此管理模式导致数据管理业务与数据分析业务隔离,不利于形成完整、系统的集数据管理与产品服务于一体的综合业务,且随着用户对跨断层需求的提升,仅提供数据浏览和下载功能的简易数据管理平台已不适应当前业务需求,须建设基于专业数据库的集跨断层监测数据管理及预处理的共享服务平台。
1. 系统总体设计
研发全国跨断层流动形变数据与预处理系统,使其不仅包括观测资料和监测场地基础信息,还包括监测场地卫星图、测线分布图、断层上下测盘构造介质、测量方向、测桩示意图、干扰因素、场地破坏信息、仪器变化信息等,并具有显示监测环境信息、场地演化等功能,更重要的是提供消除凸跳、消除台阶、等间隔处理等数据预处理功能,为用户自由定制专业数据提供支持。
考虑存取安全性、快捷性、交互性及业务需求等特点,本系统选用C/S架构(客户机/服务器架构)。在客户机终端上实现具体的业务逻辑,负责数据输入与输出,在服务器端架设数据库应用程序,负责对来自Client端的数据进行处理,系统网络框架如图 1所示。C/S配备点对点的结构模式,适用于局域网,其安全性较高,符合将系统部署到地震局行业内网的要求。
跨断层流动形变数据管理与预处理系统分4个层面,即平台层、数据存储层、应用层、用户层(图 2)。平台层嵌入了GMap组件作为实现地理信息展示与分析的技术支撑,GMap组件是在Windows桌面地图类软件开发中使用的开源组件,在Windows Forms中能通过天地图、谷歌地图等实现寻找路径、地理编码和地图展示等功能(刘宇,2018;梁志强,2018),适合跨断层空间数据的空间表达和空间分析。同时系统采用了TeeChart作为时序图绘制的图表控件,TeeChart具有体积较小、使用方便、有利于产品集成等特点(陈翔宇,2018)。
数据存储层系统采用MySQL产品作为数据库,MySQL是源码开放的关系型数据库,其数据体积小、访问速度快、运行成本低,适合微型和中型规模系统(江昊琳等,2014)。
应用层是软件应用的核心,是业务处理的集中层。系统将业务管理从业务逻辑层面贯穿,业务涉及用户管理、数据管理、数据预处理、统计输出、系统工具等。系统充分考虑不同应用层面的管理角色,兼顾管理单位和使用单位,提供全面的解决方案。
用户层主要将业务划分结果按权限为用户提供不同的功能,使数据管理与数据处理业务互相隔离。
2. 数据库设计
跨断层流动形变数据管理和预处理系统的设计应用关系数据库理论,基于MySQL数据库对跨断层相关信息进行数据管理和维护。为满足用户灵活的数据转移和自由定制个性化数据需求,系统设计了远程数据库和本地数据库并存的数据库架构方式。远程数据库部署于学科组服务器,由学科组管理员运维管理;本地数据库部署于客户端,由客户运维管理。系统在应用层实现了由远程库到本地库的单向传输,以保证用户可实时获取最新标准数据;同时封闭了本地库至远程库的逆向传输通道,以确保远程库数据不被本地库数据污染。
系统涉及的实体主要包括跨断层基础信息、测线信息、观测数据、断层数据、地震目录、各省局信息和用户信息等,其中跨断层基础信息与测线信息之间具有从属关系,测线信息与观测数据之间具有从属关系,各省局用户与各省级用户之间具有从属关系。主要涉及的数据库表包括跨断层场地基础信息表、测线信息表、观测数据表、数据提交表、断层信息表、地震目录表、省局单位信息表、用户信息表(表 1)。
表 1 跨断层数据管理与预处理系统数据关系表Table 1. List of attributes in data management and pre-processing system for cross-fault flow deformation名称 属性 场地基础信息表 单位编码、场地编码、场地名称、观测类型、历史场地、经度、纬度、高程、所在地、所跨断层编码、起测时间、场地运行状况、标石类型、建设单位、监测单位、场地概况、地质概况、资料变更、卫星图、场地布设图、年测周期、其他情况、备注 测线信息表 场地编码、测线编码、测线名称、基础测项、辅助测项、观测周期、上下盘、建立时间、起测时间、测线长度、测站数、所属断层、断层倾向、断层倾角、夹角、测点岩性、仪器更换情况、起点、终点、运行状况 观测数据表 测线编码、观测日期、观测值、备注 数据提交表 用户名、单位编码、场地编码、测线编码、观测日期、观测值、提交日期、备注 断层信息表 断层编码、活动性质、长度、形成时代、最新活动时代、地震活动、产状、水平断距、垂直断距、走滑速率、倾滑速率、古地震大小和总数、断裂带特征和结构、地貌特征和断崖水系、地球物理特征、火山喷发、岩浆侵入、确定断层活动依据、坐标 地震目录表 经度、纬度、发生时间、震级、发震地点、震源深度 省局单位信息表 单位名称、单位编码 用户信息表 用户名、密码、用户所属单位、用户权限、用户状态 3. 功能设计与实现
面向各省局跨断层数据使用人员,实现跨断层数据的高效管理、智能数据预处理和初步分析功能,辅以地理信息系统和图表统计工具实现跨断层空间数据的可视化、时间序列数据的统计等功能。
3.1 综合性数据管理体系
数据管理体系减少了从数据生产到数据入库的中间载体,降低数据在传输过程中产生的粗差,为用户提供更高质量的数据,并提供更高效和人性化的数据管理手段、更便捷直观的数据检索和可视化表达方式。在充分考虑数据库表之间从属关系的基础上实现基于多线程技术的数据入库方案,该方案支持无限制开辟线程,线程间并行操作且相互独立的特性保证了在“多对一”的复杂关系中做到有序插入记录,提高数据入库效率(图 3(a))。基于空间数据和属性数据的多条件复合检索方案实现了数据检索方式的多样化,检索结果支持属性表和地图标识联动(图 3(b))。此外,数据管理系统包括对观测数据、场地数据、地震目录、断层数据等数据的综合管理,还包括观测数据上报、观测数据审核、观测数据批量下载、监测单位及场地信息增删改查、场地布设图演变、删除测线、查看测线趋势、场地定位等,是功能较多的综合性数据管理体系。
3.2 智能数据预处理体系
数据预处理体系是系统核心模块,支持海量震例查询和多样化表达、时间序列数据预处理方法集成和同步可视化等。图标工具包括历史地震标注、震例清除及图片导出等功能,实现时间序列可视化及地震目录与观测数据的有机结合。数据处理方法包括时间序列四则运算、消除台阶、消除突跳、测项合并、测项拆分及基于多项式插值的等间隔处理功能,用户可使用该模块对原始数据进行噪点处理和自由定制。
系统基于震例数据与地图数据、观测数据的时空关联对其可视化表达进行了研究,采用人性化的可视化表达手段形象、贴切地展现各类数据(如观测数据、震例数据、地图数据、断层数据、场地数据)及其内在关系。表现形式包括基于GIS的空间可视化和基于时间序列的可视化,同时辅以震例标注、删除、拖拽、缓冲区分析等工具,使用户在直观感受可视化效果的同时自由定制个性产品(图 4)。
受外界因素(如观测点破坏、新旧测点过渡、观测仪器更新、交通活动因素、降雨积水因素等)的影响,跨断层观测数据常出现台阶、突跳等噪声数据,从而难以真实反映断层活动信息。为有效过滤噪声数据,系统研发了消除台阶、消除突跳、四则运算、测项合并、测项拆分及基于多项式插值的等间隔处理等一系列数据处理工具,协助用户进行数据清理,获取“干净”的跨断层观测数据。数据处理效果如图 5所示。
3.3 系统辅助工具
系统同时提供曲线样式设置工具(曲线样式、横纵轴样式、标题样式等功能)、地图操作工具(地图切换、放大缩小、地图拖拽等)、资料完整性统计(自动抽取各省局场地数据、观测数据、测线数据等相关数据,对数据完整性情况进行评价,以统计图和表格的形式对资料完整性情况进行对比和表达)等系统辅助工具,满足系统操作更人性化的需求。
4. 关键技术
4.1 基于GMap的空间分析
基于GIS对不同类型空间数据进行叠加分析和缓冲区分析,为用户提供多样化手段,在进行数据查看、下载的同时构建各分类数据间的空间关联,赋予数据更多的空间意义和分析价值。缓冲区主要对点、线、面地理实体或主体自动建立其周围一定距离的带状区,用于确定实体或主体对邻近对象的辐射范围或影响度(黄杏元等,2008)。缓冲区分析流程如图 6所示,分析效果如图 4(a)所示。
4.2 地震目录分页显示技术
为解决因海量地震在地图中渲染时占用计算机内存过多造成的系统卡顿甚至崩溃问题,本系统采用地震目录分页显示技术将海量地震数据进行分割,分块渲染在地图中。执行换页操作时,实时清理过期数据缓存,加载新数据,使当前渲染数据始终控制在一定数量级内,分页流程如图 7所示。
实际应用效果表明,该系统可优化内存管理模式,提高数据显示效率,避免海量震例渲染造成系统卡顿、崩溃的问题。
5. 结论
跨断层观测作为形变学科前兆观测的重要手段,研究快速检索和获取数据的方法,及时提供具有一定参考价值的数据衍生产品,建设集成数据管理功能和产品服务功能的综合性平台,可为科研人员提供有价值的研究基础和参考。跨断层流动形变数据管理与预处理系统正逐步投入使用,实现了全国跨断层流动形变数据的有效管理,数据预处理、场地历史演变、GIS空间分析、空间数据可视化等功能起到了良好效果。随着移动平台技术的不断发展,将研发从数据采集端(基于安卓系统的跨断层记簿器)到数据库的远程传输功能,进一步减少数据转移过程中的质量损失,实现数据资源的有效整合与共享。
-
表 1 跨断层数据管理与预处理系统数据关系表
Table 1. List of attributes in data management and pre-processing system for cross-fault flow deformation
名称 属性 场地基础信息表 单位编码、场地编码、场地名称、观测类型、历史场地、经度、纬度、高程、所在地、所跨断层编码、起测时间、场地运行状况、标石类型、建设单位、监测单位、场地概况、地质概况、资料变更、卫星图、场地布设图、年测周期、其他情况、备注 测线信息表 场地编码、测线编码、测线名称、基础测项、辅助测项、观测周期、上下盘、建立时间、起测时间、测线长度、测站数、所属断层、断层倾向、断层倾角、夹角、测点岩性、仪器更换情况、起点、终点、运行状况 观测数据表 测线编码、观测日期、观测值、备注 数据提交表 用户名、单位编码、场地编码、测线编码、观测日期、观测值、提交日期、备注 断层信息表 断层编码、活动性质、长度、形成时代、最新活动时代、地震活动、产状、水平断距、垂直断距、走滑速率、倾滑速率、古地震大小和总数、断裂带特征和结构、地貌特征和断崖水系、地球物理特征、火山喷发、岩浆侵入、确定断层活动依据、坐标 地震目录表 经度、纬度、发生时间、震级、发震地点、震源深度 省局单位信息表 单位名称、单位编码 用户信息表 用户名、密码、用户所属单位、用户权限、用户状态 -
陈翔宇, 2018.基于TeeChart的无人机实时参数显示及告警系统.遥测遥控, 39(3):35-37. doi: 10.3969/j.issn.2095-1000.2018.03.006 黄杏元, 马劲松, 2008.地理信息系统概论.3版.北京:高等教育出版社. 江昊琳, 熊建伟, 瞿旻等, 2014.地震监测仪器综合管理系统的设计与应用.高原地震, 26(4):38-42. https://www.cnki.com.cn/Article/CJFDTOTAL-GYDZ201404009.htm 梁志强, 2018.基于C#+GMap.NET实现营造林图斑坐标获取方法的研究.防护林科技, 176(5):67-68, 71. https://www.cnki.com.cn/Article/CJFDTOTAL-FHLK201805030.htm 刘宇, 2018.GMap.NET组件在飞行航迹仿真软件开发中的应用.信息与电脑, (9):96-98, 101. https://www.cnki.com.cn/Article/CJFDTOTAL-XXDL201809037.htm 陆明勇, 刘天海, 黄宝森等, 2011.跨断层流动形变监测环境及监测技术探讨.大地测量与地球动力学, 31(5):141-145. https://www.cnki.com.cn/Article/CJFDTOTAL-DKXB201105030.htm 陆明勇, 熊道慧, 于海生等, 2015.首都圈地区跨断层流动形变基础与数据及其监测环境信息库的构建.国际地震动态, (10)32-38. https://www.cnki.com.cn/Article/CJFDTOTAL-GJZT201510006.htm 宋彦云, 2009.中国地震观测简要回顾与展望.地震地磁观测与研究, 30(5):1-4. https://www.cnki.com.cn/Article/CJFDTOTAL-DZGJ200905001.htm 周辉, 王文青, 赵峰等, 2017.基于Android的跨断层测距记簿程序的开发.现代电子技术, 40(1):17-19. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ201701005.htm -