按关键词阅读:

文章图片

文章图片
目录
- 一、什么是内存碎片
- 二、如何判断有内存碎片
- 三、内存碎片是怎么形成的3.1 jemalloc分配机制导致3.2 数据的修改删除操作导致
- 四、如何清理内存碎片4.1 重启4.2 redis内存碎片自动清理机制
- 五、和现实的类比
这里有个风险点是:redis释放的内存有可能是不连续的 , 这种不连续的内存很可能无法再次使用 , 最终造成了内存的浪费 , 这种空闲但是无法使用的内存便是内存碎片 。
接下来主要介绍redis的内存碎片情况 , 产生原因以及最终的应对方案 。
二、如何判断有内存碎片可以通过redis提供的命令来查看redis的内存使用情况:
./redis-cli info memory
执行结果
# Memoryused_memory:5930032used_memory_human:5.66Mused_memory_rss:8359936used_memory_rss_human:7.97M...mem_fragmentation_ratio:1.32
used_memory是redis数据所占的内存大小 。 used_memory_rss是操作系统分配给redis的所有内存(包含没有使用的碎片) 。
mem_fragmentation_ratio= used_memory_rss / used_memory
mem_fragmentation_ratio:
- 大于1但是小于1.5:是相对合理的 , 碎片化可以接受 , 可以不进行碎片整理 。 下一节的碎片形成的原因可以看出 , 碎片本身是无法彻底避免的 。
- 大于1.5:碎片化严重 , 超过了50% 。 这种情况下需要想办法对碎片进行整理 , 降低碎片化绿
- 小于1.0:redis数据所占内存小于操作系统所分配的内存 , 这不能说没有碎片 , 这个时候说明redis的内存发送了swap , 有一部分数据被交换到了硬盘 , 会严重影响redis的性能 , 需要马上解决的 , 具体见操作系统swap对redis的影响 。
当redis申请内存时候 , jemalloc会分配一个大于所需内存但是最接近2^n的大小 , 比如需要20字节 , jemallo会分配32字节 。 这样天然就有12个字节的碎片存在 , 且无法避免 。
jemalloc这种分配方式的好处是减少内存分配的次数 , 上面的例子中需要20字节 , 但是分配了32 , 如果后期再需要10字节 , 则不再需要二次分配内存 。
3.2 数据的修改删除操作导致redis每个键值的大小都不一致 , 当有内存释放后有可能太小最终无法被马上使用 。
上图中假定A、B、C三块内存都为4KB , A被释放后会有总共有3*4=12KB的内存可用 。 但是由于A、B、C不连续 , 如果这个时候有一个10KB的数据需要分配内存 , 以上内存是无法使用的 , 这就是内存的浪费 。
大量的内存碎片会导致内存被浪费 , 这就需要对内存的碎片进行清理 。
四、如何清理内存碎片4.1 重启重启是最简单的办法 , 但是重启后如果没有开启rdb或者aof , 数据会彻底丢失 。
如果开启了持久化机制 , 恢复需要一定的时间 , 恢复期间redis本身又不可用 。
所以重启不是第一选择 , 比较优雅的办法是采用redis自身的碎片清理机制 。
4.2 redis内存碎片自动清理机制4.0版本后redis提供了自动内存碎片清理机制 。 核心思想就是对内存进行搬家合并 , 让空闲的内存合并到一起 , 形成大块可以使用的连续空间 。 继续上面的例子 。
可以看到通过碎片整理的内存能够存储10KB的数据 。
开启碎片自动清理
默认是关闭的 。
CONFIG SET activedefrag yes
redis自己的配置说明
特别需要注意的是redis的自动内存碎片清理是由主线程执行的 , 执行期间无法处理客户端请求 , 这会阻塞redis , 影响redis的性能 , 所以不能频繁的执行碎片清理 。
redis也提供了一些参数用于控制碎片执行的时机和条件 。
redis的上述配置文件也说明了 , 如非真的有必要 , 不要开启碎片清理 。
五、和现实的类比
买火车票 , 比如一班火车只有四个座位 , 分别在两排 。 每一排都连着 。分页标题#e#
这个时候卖出两张票 , 被两个人买了 , 分别是第一排的一个座位和第二排的一个座位 , 剩余两个座位 。
这时候有人想买两张连在一排的座位 , 就买不到了 , 虽然还有两个座位 , 这就是碎片 , 是浪费 。
【操作系统|百万架构谈Java:Redis内存碎片】平时坐火车我们有时候为了坐一起 , 会找协调其他旅客换座位 , 这就类似于碎片整理 。
来源:(Java正道的光)
【】网址:/a/2021/0202/kd669346.html
标题:操作系统|百万架构谈Java:Redis内存碎片