傻大方


首页 > 潮·科技 > >

Fluid0.4新版本正式发布:支持数据预热,优化小文件场景( 二 )



按关键词阅读:


有关多数据集单节点混合部署的简单介绍 , 可参考 Github 上的示例文档 。
致谢

  • 徐之浩(南京大学 PASALab)对于支持小文件场景和数据预热功能的贡献
  • 谢远东(云知声)对于多数据集单节点混合部署功能开发和场景验证
  • 仇伶玮(中国电信)对于 Fluid 架构拆分的贡献 , 他将 runtime 和 dataset 控制器拆分 , 支持未来两个组件的并行演进
总结Fluid 0.4 版本将继续致力于解决社区用户在实际生产环境中反馈的问题和需求 , 扩展 Fluid 在各场景的适用性 , 提升用户体验:
  • 首先 , 对海量小文件数据集支撑能力的优化使 Fluid 能够更好地应对不同的使用场景;
  • 其次 , 全新的 DataLoad 自定义资源为用户提供了一种简单的数据预热解决方案;
  • 再者 , 对 Spark 等大数据应用数据访问的支持使得 Fluid 能够为不同种类的数据密集型应用提供支撑能力;
  • 最后 , 多数据集的混合部署使得 Fluid 更能适应实际生产环境的需求 。
作者简介顾荣 博士 , 南京大学计算机系副研究员 , 研究方向大数据处理系统 , 已在 TPDS、ICDE、JPDC、IPDPS、ICPP 等领域前沿期刊会议发表论文 20 余篇 , 主持国家自然科学基金面上项目/青年项目、中国博士后科学基金特别资助项目多项 , 研究成果落地应用于阿里巴巴、百度、字节跳动、中国石化、华泰证券等公司和开源项目 Apache Spark、Alluxio , 获 2018 年度江苏省科学技术一等奖、2019 年度江苏省计算机学会青年科技奖 , 担任中国计算机学会系统软件专委会委员/大数据专委会通讯委员、江苏省计算机学会大数据专委会秘书长、Fluid 开源项目 co-founder、Alluxio 开源项目 PMC 成员 。


稿源:(未知)

【傻大方】网址:http://www.shadafang.com/c/111J2X3H020.html

标题:Fluid0.4新版本正式发布:支持数据预热,优化小文件场景( 二 )


上一篇:Max|用了3天之后,iPhone 12 Pro Max 512GB国行版体验

下一篇:降为|跳水价iPhone成新宠,苹果狠心6088降为2199,库克高兴不了