1、节能减排监控系统的计算框架研究摘要:海量采集数据的存储和高并发访问、节能减排计算业务的快速增长及计算逻辑的频繁变化 ， 使得目前基于Windows技术的计算框架的处理能力和扩展性成为节能减排系统应用深化过程中的瓶颈 。
针对遇到的问题 ， 设计了基于Linux系统、Hadoop大数据技术和Lua脚本驱动的分布式计算框架 ， 将复杂的计算业务拆分成彼此独立的可重用计算组件 ， 利用Lua脚本技术实现计算组件之间的关联关系和计算组件的计算逻辑 。
目前 ， 利用这种计算框架建立了节能减排计算平台 ， 为江苏全省所有统调燃煤机组环保电价考核业务提供高吞吐量、高扩展性和高效可靠的计算服务 。
关键词:节能减排；分布式计算；脚本技术；L 。

2、ua；Hadoop；HBase 江苏省自2006年开始建立了“燃煤机组烟气脱硫实时监控及信息管理系统” ， 经过多年的努力 ， 先后建立起脱硫、脱硝、除尘等各类节能减排应用 。
随着应用的深化 ， 采集数据由最初的3000测点扩展到目前的40万测点 。
数据量随之剧增 。
同时 ， 计算业务也日趋复杂 ， 算法逻辑频繁调整 ， 目前的数据库服务器和计算服务器承受了巨大的资源压力 。
为了解决当前出现的问题 ， 本文提出了一个基于大数据技术的节能减排分布式计算框架 ， 要求能够适应多变的业务需求以及高并发的数据处理要求 。
节能减排分布式计算框架是一套基于Linux系统、Hadoop大数据平台 ， 支持Lua脚本驱动的计算平台 ， 它具有较高的扩展性和数 。

3、据并发处理能力 ， 支持海量数据存储 ， 能够解决当前系统中遇到的各类问题 。
1计算框架需求分析 节能减排分布式计算框架的建立是为节能减排系统服务的 ， 数据计算模型与节能减排具体应用密切相关 。
目前主要考虑三种业务的计算模型 。
脱硫业务：对脱硫相关设备的测点数据进行处理和统计 ， 对统计结果进行深层次的分析 。
脱硝业务：对脱硝相关设备的测点数据进行处理和统计 ， 对统计结果进行深层次的分析 。
除尘业务：对除尘相关设备的测点数据进行处理和统计 ， 对统计结果进行深层次的分析 。
2系统整体架构 节能减排分布式计算框架构建在Linux操作系统上 ， 在实现上分为三层结构：数据库服务系统、公共服务系统、平台服务系统 ， 结构如图1所示 。
。

4、2.1数据库服务系统 由大数据系统（Hadoop）和关系型数据库系统（DB2）构成 ， 其中大数据系统（Hadoop）是核心 ， 关系型数据库系统用于辅助支撑 。
Hadoop主要用于存储历史数据、结果数据、档案数据、分布式计算框架管理数据 。
2.2公共服务系统 公共服务系统是分布式计算框架的数据处理核心 ， 负责数据访问驱动接口、脚本驱动引擎、安全处理、日志处理以及计算框架和应用的异常处理 。
根据分布式计算框架的特性 ， 公共服务系统将会对外暴露出多个数据接口 ， 用于上层应用的数据访问、数据处理、业务算法实现以及脚本驱动 。
2.3平台服务系统 平台服务系统包括：脚本编辑系统、平台运行系统、辅助系统 。
脚本编辑系统具有 。

5、业务算法配置、脚本编写和管理功能；平台运行系统具有任务调度、执行功能 ， 脚本编辑系统编写的脚本将通过运行系统驱动；辅助系统包括外部历史数据、档案数据的导入和存储 。
3节能减排大数据中心 节能减排分布式计算框架将数据分成四类 ， 分别是：现场实时采集数据、计算结果、档案数据、分布式计算框架管理数据 。
数据的存储基于Hadoop系统的HBase数据库 。
Hadoop的核心是HDFS和MapReduce ， HDFS为海量数据提供存储 ， MapReduce为海量数据提供检索计算1 。
HBase是一个分布式的、面向列的开源数据库 ， 它在Hadoop之上提供了非结构化的数据存储能力2 。
3.1现场实时采集数据 在分布式计算 。

6、框架中 ， 现场实时采集的数据存储于历史数据表中 。
节能减排分布式计算框架中最大测点数约40万 ， 大部分测点数据的采集周期为每10秒 ， 数据量巨大 。
考虑到节能减排数据的规模以及大数据检索性能 ， 历史数据表按年分表存储 。
历史数据存储以测点编码、小时时间为行检索关键字 ， 存储对应小时的历史数据 ， 该测点的一个小时数据按四个列族方式存储 ， 每个列族存储15分钟数据 。
3.2结果数据 结果数据包括节能减排相关计算业务的处理结果 ， 包括脱硫、脱硝、除尘小时排放数据、考核数据和事件统计数据等 。

稿源：(未知)

【傻大方】网址：/a/2021/0821/0023881739.html

标题：节能|节能减排监控系统的计算框架研究