摘要：随着经济、科技的飞速发展，环境保护技术领域也日新月异。在水环境监测方面，提高水质监测的及时性、数量大、自动化程度高已成为环境保护工作者关注的焦点。传统现场取样的实验室分析水质检测、分析速度、操作过程，更不能第一次实时水质信息，同时由于有限数量的样本测试，无法获得大量的实时检测数据，水质监测报告不全面、真实的反映了环境作为一个整体的水质现状。因此，对通过在线监测技术获取的大量水质监测大数据进行统计分析，对于水环境监测技术的推广具有重要的现实意义。
关键词：水质在线监测；大数据；应用
一、大数据与水质在线监测之间的关系
在线水质监测系统主要是基于在线自动分析仪器，并利用传感器技术、自动测量技术、大数据技术和云计算技术，等等，实现连续、及时、准确的监测水域的水质目标，并满足智能的发展和信息化水质监测。云计算技术具有分布式存储结构，可以完成并行计算，为水质监测过程中产生的海量数据提供计算和存储服务。大数据技术不仅具有数据分析和价值信息挖掘技术，而且当数量级增加到一定程度时，能够满足资源挖掘和业务应用的需要。因此，大数据、云计算、水质在线监测三者之间的关系如图1所示。
图1 大数据、云计算、水质在线监测三者的关系
二、大数据技术在水质在线监测中的应用
目前，某化工企业已经配备了相关的在线水质监测设备，可以实现水质的采集、监测和数据上传。但在应用阶段，化工企业管理部门的职能是查询水质监测数据，无法进行分析和统计。因此，为了帮助企业管理者更准确地掌握水质的实时情况，采取有效措施减少污染，促进企业信息化的发展，本文对基于大数据的污水监控系统建设进行了研究。
1、系统总体架构设计
传统的管理信息系统主要由感知层、网络层和应用层三层构成。基于大数据的污水监测系统具有新的数据处理层。该层用于管理在线水质检测采集的大量数据，实现数据分析、统计和存储。
图2 基于大数据的水质在线监测管理系统结构图
2、系统功能模块设计分析
（1）工厂信息管理：该模块用于实现污水处理厂、水质监测点和各种水质监测设备的信息管理。由于该化工企业存在多个污水处理厂，各污水处理厂的规模、污水处理类型和设备存在较大差异。因此，该模块的使用可以帮助管理者清晰的了解各个工厂的实时运行状态，完成对所有污水和水质监测设备的检查和维护。
（2）实时监控管理：所谓的实时监控管理，进行实时监测污水组成每个水质监测点，和执行监测分析和预警的超过标准，直观地显示系统中，提醒相关管理人员注意，并采取有效措施，减少污水的超过标准的问题。
（3）水质分析与管理：在目前的污水处理过程中，有些水质监测标准不能通过设备直接测量和读取，水质测量必须在采样后在实验室完成。因此，在系统中增加了水质分析与管理模块，更新水质监测结果。
（4）大数据分析：由于大量终端传感器设备一直在检测污水水质，因此传输到系统的数据量非常大，必须采取有效措施对这些数据进行处理。使用大数据分析模块，不仅可以实现数据的初步处理，来消除冗余、错误数据操作，也可以使用相关指数法，数据的深度分析和计算，以及水质测试结果图表的形式显示，有效提高相关工作人员的工作效率。
（5）用户管理：该模块主要实现对用户的管理，针对不同的用户需求赋予不同的访问权限。同时记录系统运行日志，为系统后期维护提供支持服务。
3、数据的存储
本系统数据库主要采用Hadoop平台构建。为了满足实时处理和高数据容量的要求，采用HBase架构来实现海量数据的存储。其主要组成部分体现在以下几个方面：
（1）实时数据采集引擎：首先，将化工厂各污水检测点采集的水质数据存入污水处理厂关系数据库。系统部署后，Sqoop可以将上述历史数据导入HDFS。利用Fum实时数据采集引擎，实现污水数据的实时存储。
（2）基于HadoopHDFS的大数据存储文件系统：由于实时水质数据量大，数据量随时间呈指数级增长。因为为了更好的实现对海量数据的管理和存储，系统采用了基于HadoopHDFS的大数据存储文件系统。
（3）基于HBase的数据存储引擎：在数据存储过程中，使用HBase技术可以有效地增加数据存储空间，为相关管理人员提供方便的数据读写和查询功能。
三、水质在线自动监测系统的管理
1、提高监测工作人员的素质
水质自动监测站的相关工作人员中，首先是上级领导人员自身要认识到水质监测工作的重要性，这是保障水质监测工作顺利进行的关键，水质监测领导部门需要协调各种工作，将水质自动监测工作放在工作重点中。另外是水质自动监测站的技术管理维护人员，要注重对自身的专业知识和技能的提升，在水质监测工作中要有一颗善于发现的心，对水质情况自动监测结果实时汇报，特别是针对水质监测系统出现异常的情况，一定要在第一时间内完成对相关故障的处理和掌握，及时修复水质自动监测系统中出现的问题。另外水质监测站的维护技术人员要对水质自动监测的操作流程实行全面掌握，这就需要相关的工作人员自身具备多方面的专业知识能力和技能，但是一个人很难掌握全部的知识和技能，这就需要一个水质监测人才队伍，同时要协调队伍内部成员的各自工作任务，然后各行其职，实现工作之间的配合。
2、提高水质自动监测的日常维护水平
水质自动监测系统采用的是自动化的监测模式，但也需要在日常管理中对水质监测站进行日常的管理和维护，在很大程度上决定了之后的水质监测结果。为了减少水质监测系统在进行水质监测中故障出现次数，相关的管理部门应该根据当地的水质情况制定合理的水质自动监测系统维护方案。
另外需要定期对相关监测仪器进行检修，因为仪器在使用过程中会有一个使用寿命的问题，一旦过了使用年限，就容易导致很多问题的出现，所以需要定期不定期的对仪器进行检查，对已经出现问题或者是过了使用寿命的一起进行及时的更换，避免在后期的使用导致检测工作出现更大的问题。如果是仪器在使用寿命之内，但是出现了问题，就需要采取相应的措施进行及时的补救，避免因为仪器问题给水质监测结果带来影响。在所有的设备仪器中，计算机是最关键的设备仪器，计算机所有水质监测结果数据的重要保存途径，所以需要保障计算正常运作，在维护计算机正常工作的同时，要将计算机中重要的监测数据进行备份处理，避免因为计算机故障导致数据丢失的情况出现。
结束语
总之，借助水质在线监测技术，新技术的引入，如大型数据分析，实时并显著改善水质监测结果的准确性，并通过对大量数据的统计分析技术，玩大数据技术在大规模在线水质监测数据的作用，促进水质监测行业的可持续发展在我国，为我国水环境的不断改善提供了有力的技术支持。
参考文献：
[1]张锡辉，郑振华，欧阳二明，等.水源水质在线监测预警系统的建设[J].中国给水排水，2005，21（11）：14-17.
[2]孙海林，李巨峰，朱媛媛.我国水质在线监测系统的发展与展望[J].中国环保产业，2009（3）：12-16.
[3]吕艳霞，王翠荣，王聪，等.大数据环境下的不确定数据流在线分类算法[J].东北大学学报：自然科学版，2016，37（9）：1245-1249.
论文作者:王健
论文发表刊物:《基层建设》2019年第19期
论文发表时间:2019/9/21
标签：水质论文; 在线论文; 数据论文; 水质监测论文; 实时论文; 技术论文; 污水论文; 《基层建设》2019年第19期论文;