DDST数据驱动软件技术实验室Data Driven Software Technology

面向大数据的内存计算关键技术与系统
2019年6月15日

项目“面向大数据的内存计算关键技术与系统”于2015年经科技部批准立项(国科发高[201596号),编号为 2015AA015300,项目首席专家为黄林鹏,项目牵头单位为上海交通大学。

“面向大数据的内存计算关键技术与系统”项目旨在针对大数据对内存计算技术的挑战, 围绕内存计算技术和系统相关的体系架构、核心软件及大数据应用等重要环节,深入研究新型混合内存体系结构、混合内存计算系统软件、并行编程模型以及大数据管理等关键技术,探索基于新型混合内存体系结构的内存计算前沿核心技术,构建新型混合内存体系结构、开发内存计算系统软件、并行处理环境及数据管理等验证平台和原型系统,通过关键技术与系统的示范性应用,促进面向大数据处理的内存计算核心技术的进步。围绕该目标,项目组聚集了国内体系结构和系统软件等领域的专家,组成八个课题,共同开展研究工作。

项目基于新型非易失存储介质,设计并研制了具有持久内存管理系统、混合内存文件系统、混合内存并行编程和运行支撑中间件、混合内存数据管理系统和支持大数据实时处理的混合内存服务器原型验证系统,并开展了面向大数据处理的示范应用验证。

项目研发的面向大数据的内存计算关键技术与系统能应对大数据应用需求,可为不同行业的大数据处理提供解决方案,预期将推动传统数据存储和处理产业的技术发展与升级,具有良好的产业化前景。

项目围绕异构混合内存体系结构、面向大数据处理的混合内存硬件平台架构、内存计算系统软件、面向大数据应用的新型内存计算系统软件、基于内存计算的并行处理系统、面向异构内存计算系统的并行模型与编程框架、基于内存计算的数据管理系统、基于内存计算的实时大数据系统等8项研究内容展开关键技术攻关及系统研发,各项研究内容关系如下图所示。



上海交通大学DDST实验室作为课题负责单位与华中科技大学、复旦大学的研究人员一起承担了课题三“内存计算系统软件研究与开发”的研发任务, 验收专家认为课题组

(1)  研究了可重构混合内存架构方法、非易失内存多模式访问接口技术和异构内存缓存管理策略及访存优化机制,研发了混合内存管理系统和文件系统,研制了混合内存系统模拟器。

(2)  在混合内存层次和平行架构动态转换方法、混合内存特性感知的多版本文件系统设计、异构内存自适应管理机制和基于效用的缓存替换策略等方面具有创新。

(3)  研究成果通过了第三方测试,并在轨迹大数据存储和处理、图计算等应用上得到了验证。

DDST

数据驱动软件技术实验室

地址:上海市闵行区东川路800号上海交通大学电信群楼东313
Email: ddst@sjtu.edu.cn