上海科技进步一等奖!华东师大团队破解实时分析型海量数据内存管

上海科技进步一等奖!华东师大团队破解实时分析型海量数据内存管



今日上午,上海市科学技术奖励大会举行。会上表彰了2017年度在上海科技创新中作出突出贡献的科技工作者。华东师大作为第一完成单位组织推荐的3项成果获得表彰。





上海科技进步一等奖!华东师大团队破解实时分析型海量数据内存管

华东师大数据科学与工程学院钱卫宁教授团队



其中,由华东师大数据科学与工程学院钱卫宁教授团队牵头,联合上海优刻得信息科技有限公司、国家安全生产监督管理总局通信信息中心、上海心河信息技术有限公司等几家单位共同完成的《基于云服务的实时分析型内存数据管理系统关键技术及应用》项目荣获科技进步一等奖。在奖励大会上,项目第一完成人钱卫宁教授作为获奖代表,走上主席台接受了市领导的颁奖。



上海科技进步一等奖!华东师大团队破解实时分析型海量数据内存管

左三为华东师大数据科学与工程学院钱卫宁教授



此外,由华东师大计算机科学与软件工程学院、生态与环境科学学院完成的项目也荣获表彰。



获2017年度上海市科技奖项目名单(第一完成单位):

项目名称

获奖类别

获奖等级

校内单位

校内完成人

基于云服务的实时分析型内存数据管理系统关键技术及应用

科技进步奖

一等奖

数据科学与工程学院

钱卫宁、张蓉、周傲英、周敏奇

高效安全跨网数据交换关键技术研究与应用

技术发明奖

二等奖

计算机科学与软件工程学院

何道敬、刘虹

城市生活垃圾处理二次污染控制微生物技术应用

科技进步奖

三等奖

生态与环境科学学院

谢冰、苏应龙、崔玉雪、武冬、王晓媛

上海市科技进步一等奖

基于云服务的实时分析型内存数据管理系统关键技术及应用



上海科技进步一等奖!华东师大团队破解实时分析型海量数据内存管



互联网技术的飞速发展在促进新经济爆发式增长、传统行业转型变革的同时,也为各领域积累海量优质数据资源奠定了基础。对这些数据的实时分析处理,是充分发挥数据价值、提升企业竞争力、提升政府治理水平的关键,是金融欺诈检测、政府应急响应、数字营销和推荐等应用的关键技术问题。





另一方面,金融、电信、能源、制造、零售、数字媒体等应用领域核心信息系统“自主可控、安全可靠”已成为我国信息技术的主要发展战略。作为信息系统的基础系统软件,数据管理系统核心技术点多、系统集成度高,长期以来依赖于国外厂商的产品或技术。



应用需求的驱动和支撑硬件技术的发展,特别是众核处理器、大容量内存、高速网络等技术的普及,以及云计算平台的有力支撑,为数据的实时分析型处理问题的解决提供了新思路。项目以解决海量数据实时分析型查询处理问题为目标,系统研究了内存数据管理系统的系统架构和实现,实时数据注入方法,云计算平台优化和系统测试方法等核心技术,实现了核心技术创新和系统研发,以及新型应用的推广使用。项目创新点如下:

1.  研制了基于内存集群的分析型查询处理引擎,通过弹性流水线等技术,获得了优于主流开源软件系统的查询处理性能;

2.  提出并实现了强一致性实时数据注入方法,解决了业务系统与分析系统间的实时数据同步问题,实现了200毫秒内的数据同步;

3.  提出并实现了基于数据流监控的在线监测与运维方法,解决了云数据库服务的可靠性和可用性问题,系统的业务可用性达 99.99%,数据持久性达 99.9999%。

该项目发表论文 95 篇;申请知识产权 44 项。另外,该项目联合研发的系统已成功应用于超过 5 万家企业客户,管理、分析的数据量已超过 10PB,其业务包括多家银行和金融支付机构或企业的实时风控,互联网教育、在线广告、数字娱乐、网络通讯、科研和信息系统运维等领域的实时监控与推荐等。总之,该项目探索了一条核心信息系统摆脱国外IT企业垄断,自主研发、应用推广的道路,取得了显著的经济和社会价值。



 

来源 | 科技处

文 | 齐晴

图 | 洪道诚 吕安琪

编辑|吴冬妮

更多阅读

上海市科学技术奖励大会,华东师大四项成果获奖!

华东师大科学家领衔项目斩获上海市科技进步一等奖



上海科技进步一等奖!华东师大团队破解实时分析型海量数据内存管