一百二十六、HBase内存压缩

概述

内存压缩(AKA Accordion)是hbase-2.0.0中的一项新功能。它首先在Accordion的Apache HBase博客上推出 :通过内存压缩进行HBase Breathes。引用博客:

Accordion重新应用LSM主体[ Log-Structured-Merge Tree,HBase基于MemStore的设计模式,以便在数据仍在RAM中时消除冗余和其他开销。这样做可以降低刷新到HDFS的频率,从而减少写入放大和整个磁盘占用空间。由于刷新次数较少,因此MemStore溢出时写入操作停止的频率降低,因此写入性能得到改善。磁盘上的数据越少,对块缓存的压力越小,命中率越高,最终读取响应时间越长。最后,减少磁盘写入也意味着在后台执行的压缩更少,即从生产(读取和写入)工作中窃取的周期更少。总而言之,内存压缩的效果可以被设想为催化剂,使系统整体上移动得更快。

Accordion提供开发人员视图:内存压缩的开发人员视图。

内存压缩在大量数据流失时效果最佳;当数据仍在内存中时,可以消除覆盖或过度版本。如果写入都是唯一的,则可能会拖动写入吞吐量(内存中压缩成本CPU)。我们建议您在部署到生产之前进行测试和比较。

文章永久链接:https://ddkk.com/?p=12458