浪擎DAYS灾备系统全面破解海量小文件备份难题( 二 )
分布式多通道备份
当文件数量达到千万级别并且文件的大小差异很大 , 从几KB到几十MB都有 , 这种大小差异很大的海量小文件备份时的难度更大 , 即使采用并行多通道的方式也会由于文件数据大小差异过大 , 导致不同通道传输的数据总量不同 , 部分通道会有闲置的情况 , 最终导致数据传输时间相对较长 。
针对这种情况 , 浪擎在并行多通道备份的基础上做了深度的优化 , 提出分布式多通道备份方案 , 实现多通道备份的负载均衡 , 让每个通道都能够满负荷进行数据传输 , 并行合并数据再结合实时的数据交互减少初始化的时间 , 达到整体的性能提高和最优化的海量小文件备份方案 。
多节点、多任务、多网卡传输
除了采用多种备份方式进行海量小文件的备份外 , 为了充分利用现有资源和提供备份的速率 , 浪擎还采用了多节点、多任务、多网卡的方式进行数据传输 。 多节点是通过将多个服务节点进行数据存储 , 减少单节点的性能的局限性对备份数据传输的影响;多任务是并行多个任务来实现数据传输 , 充分利用时间资源;多网卡是充分利用单节点上的多个网卡资源采用多个网卡进行数据传输 , 让并行任务整体的备份效率提高 。
关于浪擎
浪擎科技以“最大化数据价值”为使命 , 致力于数据安全与智能领域的产品研发和技术服务 , 从而推动数字化转型发展的大变革 。 2011年投身灾备产品研发 , 2015年进军全国市场 , 浪擎科技现已在上海与成都建立了两大研发中心 , 在北京、浙江、江苏、江西、四川等20余省市部署了事业办事处
数据安全产品线为重要业务和数据提供全生态、全栈式的备份保护 , 实现云上云下云间的数据安全与管理;数据智能产品线为用户构建数据中台提供全环境的、敏捷智能的数据汇聚融合与共享管理 , 助力数据驱动业务 。
- 灾备知识总结:容灾与备份区别、灾备技术、容灾体系规划
- 中心|国内最大自主可控大数据灾备中心在乌兰察布投产运营
- 详解数据中心灾备切换技术
- 乌兰察布|国内最大!自主可控大数据灾备中心在乌兰察布投运
- 内蒙古|国内最大大数据灾备中心落户内蒙古“草原云谷”
- 内蒙古|内蒙古政务云大数据灾备中心落成投运
- 国家大数据灾备中心|杨森滟:为大数据赋能智慧城市贡献“人民方案”
