HBase常用参数
type
Post
status
Published
date
Dec 2, 2022
slug
hbase-common-parameters
summary
tags
开发
大数据
category
技术分享
icon
password
Put相关参数
hbase.hregion.memstore.flush.size
建议设置为HDFS块大小的整数倍，在内存足够put负载大情况下可以调整增大。单位：字节。默认：134217728。
hbase.regionserver.global.memstore.size
建议设置为“hbase.hregion.memstore.flush.size * 写活跃region数 / RegionServer GC -Xmx”。默认值为“0.4”，表示使用RegionServer GC -Xmx的40%。
hbase.hstore.flusher.count
MemStore的flush线程数，在put高负载场景下可以适当调大。默认值：2。
hbase.regionserver.thread.compaction.small
HFile compaction线程数，在put高负载情况下可以适当调大。默认：10。
hbase.hstore.blockingStoreFiles
当列簇的HFile数达到该阈值，阻塞该region的所有操作，直到compcation完成，在put高负载场景下可以适当调大。默认：16。
Scan相关参数
hbase.client.scanner.timeout.period
客户端和RegionServer端参数，表示scan租约的时间，建议设置为60000ms的整数倍，在读高负载情况下可以适当调大。单位：毫秒。默认：60000。
hfile.block.cache.size
数据缓存所占的RegionServer GC -Xmx百分比，在读高负载情况下可以适当调大以增大缓存命中率以提高性能。默认值为“0.25”，表示使用RegionServer GC -Xmx的25%。默认：0.4。
Handler相关参数
hbase.regionserver.handler.count
RegionServer上的RPC服务器实例数，建议设置为200 ~ 400之间。默认：30。
hbase.hregion.max.filesize
表示HBase中Region的文件总大小的最大值。当Region中的文件大于该参数时，将会导致Region分裂。 该参数设置过小时，可能会导致Split操作过于频繁。当设置过大时，可能导致Compact需要处理的文件大小增加，影响Compact执行效率。
hbase.hregion.memstore.flush.size
在RegionServer中，当写操作内存中存在超过memstore.flush.size大小的memstore，则MemStoreFlusher就启动flush操作将该memstore以hfile的形式写入对应的store中。
如果RegionServer的内存充足，而且活跃Region数量也不是很多的时候，可以适当增大该值，可以减少compaction的次数，有助于提升系统性能。
同时，这种flush产生的时候，并不是紧急的flush，flush操作可能会有一定延迟，在延迟期间，写操作还可以进行，Memstore还会继续增大，最大值为“memstore.flush.size” * “hbase.hregion.memstore.block.multiplier”。当超过最大值时，将会阻塞操作。适当增大“hbase.hregion.memstore.block.multiplier”可以减少阻塞，减少性能波动。
默认：134217728。单位字节。
hbase.regionserver.global.memstore.size
RegionServer中，负责flush操作的是MemStoreFlusher线程。该线程定期检查写操作内存，当写操作占用内存总量达到阈值，MemStoreFlusher将启动flush操作，按照从大到小的顺序，flush若干相对较大的memstore，直到所占用内存小于阈值。
阈值 = “hbase.regionserver.global.memstore.size” * “hbase.regionserver.global.memstore.size.lower.limit” * “HBase_HEAPSIZE”
说明：
该配置与“hfile.block.cache.size”的和不能超过0.8，也就是写和读操作的内存不能超过HeapSize的80%，这样可以保证除读和写外其它操作的正常运行。
hbase.hstore.blockingStoreFiles
在region flush前首先判断file文件个数，是否大于hbase.hstore.blockingStoreFiles。
如果大于需要先compaction并且让flush延时90s（这个值可以通过hbase.hstore.blockingWaitTime进行配置），在延时过程中，将会继续写从而使得Memstore还会继续增大超过最大值 “memstore.flush.size” * “hbase.hregion.memstore.block.multiplier”，导致写操作阻塞。当完成compaction后，可能就会产生大量写入。这样就导致性能激烈震荡。
增加hbase.hstore.blockingStoreFiles，可以减低BLOCK几率。
默认：16。
hbase.regionserver.thread.compaction.throttle
控制一次Minor Compaction时，进行compaction的文件总大小的阈值。Compaction时的文件总大小会影响这一次compaction的执行时间，如果太大，可能会阻塞其它的compaction或flush操作。
2684354560（单位：字节）
hbase.regionserver.thread.compaction.throttle
控制一次Minor Compaction时，进行compaction的文件总大小的阈值。Compaction时的文件总大小会影响这一次compaction的执行时间，如果太大，可能会阻塞其它的compaction或flush操作。
2684354560（单位：字节）
hbase.hstore.compaction.min
当一个Store中文件超过该值时，会进行compact，适当增大该值，可以减少文件被重复执行compaction。但是如果过大，会导致Store中文件数过多而影响读取的性能。
3
hbase.hstore.compaction.max
控制一次compaction操作时的文件数量的最大值。与“hbase.hstore.compaction.max.size”的作用基本相同，主要是控制一次compaction操作的时间不要太长。
10
hbase.hstore.compaction.max.size
如果一个HFile文件的大小大于该值，那么在Minor Compaction操作中不会选择这个文件进行compaction操作，除非进行Major Compaction操作。
这个值可以防止较大的HFile参与compaction操作。在禁止Major Compaction后，一个Store中可能存在几个HFile，而不会合并成为一个HFile，这样不会对数据读取造成太大的性能影响。
9223372036854775807（单位：字节）
hbase.hregion.majorcompaction
设置Major Compaction的执行周期。默认值为604800000毫秒。由于执行Major Compaction会占用较多的系统资源，如果正在处于系统繁忙时期，会影响系统的性能。
如果业务没有较多的更新、删除、回收过期数据空间时，可以把该值设置为0，以禁止Major Compaction。
如果必须要执行Major Compaction，以回收更多的空间，可以适当增加该值，同时配置参数“hbase.offpeak.end.hour”和“hbase.offpeak.start.hour”以控制Major Compaction发生在业务空闲的时期。
hbase.regionserver.maxlogs & hbase.regionserver.hlog.blocksize
hbase.regionserver.maxlogs表示一个RegionServer上进行Flush的Hlog的文件数量的阈值，如果大于该值，RegionServer会强制进行flush操作。
hbase.regionserver.hlog.blocksize表示每个HLog文件的最大大小。如果HLog文件大小大于该值，就会滚动出一个新的HLog文件，旧的将被禁用并归档。 这两个参数共同决定了RegionServer中可以存在的未进行Flush的hlog数量。当这个数据量小于MemStore的总大小的时候，会出现由于HLog文件过多而触发的强制flush操作。这个时候可以适当调整这两个参数的大小，以避免出现这种强制flush的情况。