基于Deep Q-Learning深度强化学习的乡镇污水处理系统设计研究

基于 Deep Q-Learning深度强化学习的乡镇污水处理系统设计研究

吴光夏

十一冶建设集团有限责任公司第三建筑安装工程分公司 广西 柳州市 545007

摘要：目前，乡镇污水处理点多面广。进水水质水量差异大，出水稳定达标难度大，技术管理难，出水标准高，运行成本高。单位处理能力波峰波谷离散，能耗比高，处理效率低。污水处理设施出现长期低效运行的情况。各种在线监测仪器种类繁多，构造功能各异，数据量巨大。为优化运行能效，研究基于深度学习的自适应控制系统，能提高污水处理稳定性、精确性与效率。

关键词：城镇污水处理；深度学习；机器学习；自动化；监控

引言

乡镇污水采用分散式处理方式，规模很小，如果按照常规参数设计，配置的反应器容积和设备能力也很小，由于设备规模越小，反应动力、稳定性和耐冲击能力越差，大多为微小规模（1~50吨/日规模）的一体化生物反应罐。乡镇污水处理点多面广，各个站点远离通信基础设施。可以采用的物联网（IOT）技术类型有云技术、边缘计算等，有效解决传统PLC的算力不足，功耗高，鲁棒性差的问题。边缘计算就地解决算力过低，能耗高的问题，定时采集本地数据进入云平台，参与大数据挖掘和平台控制。

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。 深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。污水场站的进出水具有时序性（下图）。深度学习对于时序数据具有良好的线性拟合性能。

某污水处理厂日内SS和COD进水曲线图。

1. 系统概述

基于边缘计算的乡镇污水处理智能监控系统架构，主要对系统整体拓扑结构、功能结构进行设计，为系统整体设计与实现进行规划。实施目标主要包括两个方面：基于边缘计算的污水处理数据采集、基于深度学习的污水处理过程预测与控制。

系统以在线传感器节点作为物联网的数据感知设备，对污水处理设备与污水处理过程中各个中间环节的污水水质进行监测，监测结果交给本地存储平台。数据及时采集就地分析计算，在FPGA或者ASIC高速计算单元上运行深度学习算法对监测数据进行处理分析，产生预测结果，并对污水处理设备进行智能化控制。FPGA或者ASIC加速可有效降低能耗，增加数据吞吐量，减少能耗和延迟。

DATA

Trained

Model

Compressed

Model

2. 系统设计

DL（deep learning）是监督学习需要学习训练集，强化学习不需要训练集只通过环境进行返回奖励值reward，同时也存在着噪声和延迟的问题，所以存在很多状态state的reward值都是0。也就是样本稀疏DL每个样本之间互相独立，而RL(reinforcement learning)当前状态的状态值是依赖后面的状态返回值的。

通过各种传感器，收集浊度、流量、电导率等理化指标，作为环境状态(status)数据,完成对于加药、曝气等动作（act）的控制，最后达到目标出水指标（reward）。

3. 总结

该系统将Deep Q-Learning深度强化学习引入污水处理中，实现对污水处理过程中污水处理设备与各阶段水质不间断、自动化监测。该系统基于Deep Q-Learning深度强化学习技术，构建污水处理的深度强化学习模型，可以有效解决乡村污水处理实时、自动化、智能化的要求。

参考文献

[1]束慧,基于物联网技术的污水处理过程动态监控系统（J）,计算机测量与控制,2014(8)

[2]陈枣儿,CASS工艺污水处理自动控制系统研究(J),科技与创新,2015(11)