DDST数据驱动软件技术实验室Data Driven Software Technology

持久性内存存储技术与系统研究
2019年6月15日

内存计算已成为大数据高时效处理的重要模式,现有DRAM内存具有容量难扩展、数据易失、能耗高等缺陷,而新兴的非易失存储器件如PCM、3D XPoint、RRAM等具有存储密度高、非易失、接近内存的访问性能及字节寻址等特性,这将极大满足大数据处理对存储性能、大容量内存及扩展性的需求。然而,持久性内存全新的硬件特性将彻底颠覆现有存储系统架构和系统软件设计等。

项目拟研究分布式持久性内存存储系统架构,研制分布式持久性共享内存框架及新型编程模型、分布式持久性内存文件系统、分布式持久性内存数据库系统、高速交换网络、本地混合内存存储系统等,突破分布式持久性内存存储系统的一批关键技术,构建分布式持久性内存存储系统,并示范应用于典型大数据场景。

项目总体架构如下所示,由清华大学舒继武教授担任项目首席。


DDST实验室负责课题2,课题负责人为黄林鹏教授,研究任务包括基于分布式持久性共享内存框架,研制分布式持久性内存文件系统,具体内容包括:研究可扩展元数据服务,采用解耦合和哈希分散的方式组织元数据,将元数据索引压力分摊到分布式节点,优化元数据高并发访问性能,支持可扩展元数据服务;研究节点间新型 I/O 机制,利用 RDMA 原语特性研制客户端主动数据访问机制,减少数据拷贝和通信开销,提高访问性能;研究文件数据负载均衡机制,根据负载特征设计元数据及数据缓存,提高本地读写请求命中率,并自适应负载变化,在不造成明显内存损耗代价下减少通信开销;研究轻量级数据一致性保障机制,优化分布式节点间日志拷贝,通过关键元数据传输设计减少数据拷贝对存储空间与网络带宽的占用,以减少分布式一致性开销,在保证系统数据一致性基础上优化系统整体性能;研究典型大数据应用支持,提供兼容接口,对接典型应用,分析应用的文件特征及负载特征,针对数据冷热特性及读写特性,优化文件响应速度,提升服务性能。

DDST

数据驱动软件技术实验室

地址:上海市闵行区东川路800号上海交通大学电信群楼东313
Email: ddst@sjtu.edu.cn