浪擎DAYS灾备系统全面破解海量小文件备份难题数据时代在数据时代

数据时代
在数据时代，数据和业务的保护、数据的管理成为企业发展所必需的基础条件。据有效统计，当前，数据量增长、重要性呈指数级激增。据国外媒体报道，来自国际数据公司和数据存储公司希捷的一份新报告显示，随着云计算、大数据、物联网等技术产业的快速发展，数据流量增长速率正在不断加快，到2025年，预计新增数据总量将从2018年的33ZB增加到175ZB 。在过去几年，全球的数据量以每年40%以上的速度增长，在未来这个速度会更快。庞大的数据量中非结构化数据占80%左右。通常我们认为大小在1MB以内的文件称为小文件，百万级数量及以上称为海量小文件，由此量化定义海量小文件。
文章插图
海量小文件的应用在生活中已越来越常见，社会化网络、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用产生的数据，不仅存储容量巨大，而且数据类型繁多、数据大小变化幅度大、流动快等显著特点，往往能够产生千万级、亿级甚至十亿、百亿级的海量小文件。
技术挑战
数据即资产，庞大的数据资产对各企业的重要性不言而喻，需要对这些海量小文件提供保护方案来保证数据资产的安全性。但是传统的文件备份是通过基于二叉树遍历的文件系统的遍历后进行单通道的数据传输实现的。如果全部是几K的文件，磁盘的遍历时间远远大于实际的数据读取时间。这给高效的实现海量小文件备份带来了挑战。
用户故事
三甲医院A每天有上万的病人，每个病人每天产生的病例文件(包括病例、影像等文件)平均为1M ，医院平均每天的病人有1万人，那一年的文件的大小是3.4TB、365万数据左右。按医院门诊病例保存要求15年，那就有51TB、5475万个数据。
该三甲医院还要十几个分院，而当前的数据中台和大数据建设需要该医院的总部将所有分院的数据进行汇聚和融合，初步评估数据中台和大数据的底层数据是PB级别（1PB=1024TB）。
法院B有一个电子文件的项目，该法院有100TB左右的数据，想要建设该市所有法院的电子文件的统一管理平台，粗略评估后总数据有3.6PB ，并且有很多几kb的小文件，如果按平均文件大小100KB来算，总共有396亿左右的数据量。
【浪擎DAYS灾备系统全面破解海量小文件备份难题】我们再看一下网速，千兆网下网络的峰值基本只有100+M/S ，按照平均速度100M/s来进行数据传输， 100TB的数据在千兆网下，需要12天才能传完数据。
但是使用传统的文件备份方式在文件数量达到千万级时对业务系统的影响会很大，如果业务系统是运行很久的服务器，资源不充足的情况下甚至会导致业务系统卡顿；而文件大小低于100KB的海量小文件，在用传统的文件备份方式进行备份时速度会迅速降低，之前测试1kb的千万个小文件的备份速度只能以kb/s进行传输。
所以如何能够面对海量小文件、海量小文件的时候能够快速、低影响的进行备份就成了当前急需解决的技术问题。
浪擎解决方案
浪擎DAYS灾备系统全面破解海量小文件备份难题，高效守护企业数据资产安全。
磁盘级备份
磁盘级备份是指采用磁盘块的方式进行数据的备份，备份文件所在的磁盘或者分区，并且恢复的时候可以自定义所需的文件进行恢复。通过磁盘级备份能够解决海量小文件备份过程中频繁的IO访问对业务系统带来的影响，是海量备份方案中对业务系统影响最小的方案之一。并且由于采用磁盘级的备份，无论文件数量有千万还是百亿，大小是1M还是1KB ，对整体的备份速度都没有影响，即千兆网下，磁盘级备份速度可以一直保持峰值（平均100M/S）进行传输。
文章插图
并行多通道备份
当文件数量达到千万级别时，以传统的单通道式文件备份的形式来进行海量小文件备份，备份速度会越来越慢。针对这种情况，浪擎自主研发了并行多通道的方式进行备份，通过初始化遍历所有的文件，然后将文件平均分配给多个通道进行数据传输，数据传输完后进行数据落盘的操作来实现并行多通道备份。并且即使采用最普通的8核CPU服务器进行海量小文件备份也能同时用16个通道进行海量小文件的数据传输。 10万以上的文件采用并行多通道的方式进行备份，备份时间是单通道的一半，并且文件数量越多，备份效率越高。