环境监测数据平台:从采样到告警的最小可用架构
不要一上来就做「大平台」。讲清最小可用架构的四层:采样、传输、存储、告警,以及数据量估算、断网补传与告警风暴的处理。
环境监测项目最容易犯的错,是先做「大屏」再做「数据」。真正的最小可用系统只有四层,每层解决一个确定的问题。
一、采样层
数据终端职责:
- 按周期读取传感器(Modbus RTU/485、模拟量、脉冲)
- 做基础滤波(滑动平均、去极值)
- 本地缓存(断网时存 7–30 天)
- 上报(MQTT/HTTP)
关键设计:
- 采样周期 与 上报周期 分离。采样 1 分钟,上报 10 分钟,本地存原始值。
- 本地缓存 用循环队列,容量按「通道数 × 天数 × 记录大小」估算。
- 时间戳 用数据终端本地时钟,定期 NTP 校准。
二、传输层
| 方式 | 带宽 | 功耗 | 适用 |
|---|---|---|---|
| 4G | 高 | 中 | 有信号、数据量中等 |
| NB-IoT | 低 | 低 | 小数据量、电池供电 |
| LoRa | 低 | 低 | 自建网关、站点密集 |
| 以太网/Wi-Fi | 高 | 高 | 固定基地 |
断网补传:数据终端检测到连接失败时,把数据写入本地队列;恢复后按时间顺序补传,服务端按「设备ID + 时间戳」去重。
这是最容易被忽略的功能——没有补传,一次断网就丢一天数据。
三、存储层
数据量估算: 日增记录 = 站点数 × 通道数 × (86400 / 上报间隔)
例:20 个站点 × 10 通道 × (86400/600) = 28,800 条/天,约 1000 万条/年。
选型:
| 数据量 | 方案 |
|---|---|
| <1000 万条/年 | MySQL/PostgreSQL 单表 + 时间索引 |
| 1000 万–1 亿 | 时序数据库(InfluxDB、TDengine) |
| >1 亿 | 时序库集群 + 冷热分层 |
建议:先用 PostgreSQL/TimescaleDB,够用很久。不要一上来就上 Hadoop。
四、告警层
告警规则要有四个要素:
- 阈值:超限值(如温度 >35℃)
- 持续时间:连续 3 个周期超限才报(避免瞬时抖动)
- 静默期:同一告警 30 分钟内不重复推送
- 升级:15 分钟未处理 → 通知上级
告警风暴:一个站点断网,10 个通道全部「无数据」,会瞬间产生 10 条告警。处理方式:
- 按「站点」聚合,不按「通道」报
- 设备离线告警优先于数据异常告警
- 维护窗口内屏蔽告警
五、最小可用架构
`` 传感器 → 数据终端(本地缓存)→ 4G/MQTT → 接入服务 → 时序库 ↓ 规则引擎 → 通知(短信/电话/微信) ↓ Web 界面(曲线、报表、导出) ``
四台机器就够:接入服务、数据库、Web、备份。不需要微服务、不需要 Kubernetes。
六、三个实施建议
- 先做「能用」,再做「好看」:大屏是最后一步,先把数据存对、告警发对人。
- 告警一定要有「人」:系统只能通知,处理要靠人。明确值班表与升级路径。
- 留原始数据:所有计算值都要能从原始数据重算,否则后期换算法就废了。
七、成本参考(20 站点)
| 项目 | 年成本 |
|---|---|
| 数据终端(含 4G 流量) | 300–600 元/站点 |
| 云服务器(4 核 8G) | 3000–6000 元 |
| 短信/语音通知 | 500–2000 元 |
| 运维(含现场) | 1–3 万元 |
| 合计 | 2–5 万元/年 |
环境监测平台的价值是「数据可信、告警可达」。做到这两点,20 个站点和 200 个站点用的是同一套架构。
本文为本站原创技术整理,参数与做法请结合现场条件复核。不同品牌设备的取电方式、最小负载与协议实现差异较大,改造前建议先做小范围验证。