0%

大数据存储框架之Phoenix(3) 重要的配置(官方)

大数据基础框架之Phoenix配置说明中有提到几个比较重要的配置,这里,我从官网上找到了基础比较重要的配置,贴出来,可以参考的去进行修改。

属性描述默认
data.tx.snapshot.dir服务器端属性,用于指定用于存储事务状态快照的HDFS目录。无默认值。None
data.tx.timeout服务器端属性,用于指定事务完成的超时(以秒为单位)。默认值为30秒。30
phoenix.query.timeoutMs客户端属性,指定毫秒数,在该毫秒数后查询将在客户端上超时。默认值为10分钟。600000
phoenix.query.keepAliveMs当线程数大于客户端线程池执行程序中的核心时,多余的空闲线程将在终止之前等待新任务的最长时间(以毫秒为单位)。默认值为60秒。60000
phoenix.query.threadPoolSize客户端线程池执行程序中的线程数。随着群集中机器/核心数量的增加,该值应增加。128
phoenix.query.queueSize支持客户端线程池执行程序的有界轮询的最大队列深度,超过此队列的尝试将被拒绝。如果为零,则使用SynchronousQueue代替有界循环队列。默认值为5000。5000
phoenix.stats.guidepost.width服务器端参数,用于指定路标之间的字节数。较小的数量会增加并行化,但也会增加必须在客户端上合并的块的数量。默认值为100 MB。104857600
phoenix.stats.guidepost.per.region服务器端参数,用于指定每个区域的路标数量。如果设置为大于零的值,则路标宽度由table / phoenix.stats.guidepost.per.region的MAX_FILE_SIZE确定。否则,如果未设置,则使用phoenix.stats.guidepost.width参数。无默认值。没有
phoenix.stats.updateFrequency服务器端参数,用于确定从统计信息表刷新统计信息并随后由客户端使用的频率(以毫秒为单位)。默认值为15分钟。900000
phoenix.stats.minUpdateFrequency客户端参数,用于确定可以再次通过另一个UPDATE STATISTICS调用手动收集统计信息之前必须经过的最短时间(以毫秒为单位)。默认值为phoenix.stats.updateFrequency / 2450000
phoenix.stats.useCurrentTime服务器端参数,如果为true,则在发生诸如压缩或拆分之类的后台任务时,会将服务器端的当前时间用作统计信息表中行的时间戳。如果为false,则将遍历要在其上收集统计信息的表时找到的最大时间戳记用作时间戳记。除非您的客户端在读写数据时控制时间戳,否则应保留此参数。默认值是true。true
phoenix.query.spoolThresholdBytes阈值大小(以字节为单位),然后将并行执行的查询结果的结果false脱机到磁盘。默认值为20 mb。20971520
phoenix.query.maxSpoolToDiskBytes并行执行的查询结果的最大阈值大小(以字节为单位)被false脱机到磁盘上,在该磁盘上查询将失败。默认值为1 GB。1024000000
phoenix.query.maxGlobalMemoryPercentage所有线程可以使用的总堆内存(即Runtime.getRuntime()。maxMemory())的百分比。仅跟踪进程的颗粒内存使用情况,主要考虑到在逐个聚合期间构建的中间映射中的内存使用情况。当达到此限制时,客户端将阻止尝试获取更多的内存,从而限制了内存的使用。默认为15%15
phoenix.query.maxGlobalMemorySize跟踪的内存总使用量的最大大小(以字节为单位)。默认情况下,未指定,但是,如果存在的话,将使用此参数中的较低者和phoenix.query.maxGlobalMemoryPercentage
phoenix.query.maxGlobalMemoryWaitMs客户端在等待更多内存可用时将阻塞的最长时间。在这段时间后,将引发InsufficientMemoryException。默认值为10秒。10000
phoenix.query.maxTenantMemoryPercentage允许任何一个租户使用的phoenix.query.maxGlobalMemoryPercentage的最大百分比。在此百分比之后,将引发InsufficientMemoryException。默认值为100%100
phoenix.query.dateFormat通过TO_CHAR(<date>)TO_DATE(<date-string>)函数或通过resultSet.getString(<date-column>)将日期转换为字符串或从字符串转换日期的默认模式。默认值为yyyy-MM-dd HH:mm:ss.SSSyyyy-MM-dd HH:mm:ss.SSS
phoenix.query.dateFormatTimeZone一个时区ID,用于指定在解释字符串文字或使用TO_DATE函数时应在其中解释日期,时间和时间戳文字的默认时区。时区ID可以是时区缩写,例如“ PST”,也可以是全名,例如“ America / Los_Angeles”,或者是自定义偏移量,例如“ GMT-9:00”。时区ID“ LOCAL”还可以用于解释所有日期,时间和时间戳文字,它们位于客户端的当前时区中。格林威治标准时间
phoenix.query.timeFormat用于通过字符串从TIME到字符串的TIME转换的默认模式,无论是通过TO_CHAR(<time>)TO_TIME(<time-string>)函数,还是通过resultSet.getString(<time-column>)。默认值为yyyy-MM-dd HH:mm:ss.SSSyyyy-MM-dd HH:mm:ss.SSS
phoenix.query.timestampFormat用于通过TIMESTAMP到字符串或从字符串转换的默认模式,无论是通过TO_CHAR(<timestamp>)还是TO_TIMESTAMP(<timestamp-string>)函数,或者通过resultSet.getString(<timestamp-column>)。默认值为yyyy-MM-dd HH:mm:ss.SSSyyyy-MM-dd HH:mm:ss.SSS
phoenix.query.numberFormat默认模式,用于通过TO_CHAR(<decimal-number>)TO_NUMBER(<decimal-string>)函数或通过resultSet.getString(<decimal-column>)从十进制数到字符串的转换。。默认值为#,## 0。####,## 0。###
phoenix.mutate.maxSize必须在提交或回滚之前在客户端上批处理的最大行数。500000
phoenix.mutate.batchSize在执行UPSERT SELECTDELETE语句期间批处理在一起并自动提交的行数。通过指定UpsertBatchSize属性值,可以在连接时覆盖此属性。请注意,当这些语句在服务器端完全执行时,连接属性值不会影响协处理器使用的批处理大小。1000
phoenix.query.maxServerCacheBytes压缩并转换为哈希映射之前,单个子查询结果(通常是表的过滤结果)的最大大小(以字节为单位)。尝试对大小大于此设置的中间子查询结果进行哈希处理将导致MaxServerCacheSizeExceededException。默认值100MB。104857600
phoenix.coprocessor.maxServerCacheTimeToLiveMs服务器缓存的最长生存时间(以毫秒为单位)。自上次访问以来经过此时间后,缓存条目将过期。当服务器端IOException(“找不到joinId的哈希缓存”)发生时,请考虑调整此参数。收到诸如“较早的哈希缓存在服务器上可能已过期”之类的警告,也可能表示该数字应增加。30000
phoenix.query.useIndexes客户端属性,用于确定优化程序是否考虑满足查询的索引。默认为truetrue
phoenix.index.failure.handling.rebuild服务器端属性,确定在提交失败的情况下是否在后台重建可变索引。仅适用于可变的非事务表上的索引。默认为truetrue
phoenix.index.failure.block.write服务器端属性,确定在提交失败的情况下是否禁止对数据表进行写操作,直到索引可以被数据表追上为止。要求phoenix.index.failure.handling.rebuild也为true。仅适用于可变的非事务表上的索引。默认为falsefalse
phoenix.index.failure.handling.rebuild.interval服务器端属性,控制服务器检查是否需要部分重建可变索引以赶上数据表更新的毫秒频率。仅适用于可变的非事务表上的索引。默认值为10秒。10000
phoenix.index.failure.handling.rebuild.overlap.time服务器端属性,用于控制从执行发生部分重建时发生故障的时间戳返回的毫秒数。仅适用于可变的非事务表上的索引。默认值为1毫秒。1个
phoenix.index.mutableBatchSizeThreshold批处理中的突变数量,超过该数量时,索引元数据将作为单独的RPC发送到每个区域服务器,而不是每个突变都包含在内。默认为5。5
phoenix.schema.dropMetaData确定在删除Phoenix表时是否删除HBase表。默认为truetrue
phoenix.groupby.spillable确定是否允许大量不同值的GROUP BY溢出到区域服务器上的磁盘上。如果为false,则将引发InsufficientMemoryException。默认为truetrue
phoenix.groupby.spillFiles将GROUP BY唯一值溢出到磁盘时要使用的内存映射溢出文件的数量。默认为22
phoenix.groupby.maxCacheSizeGROUP BY溢出期间缓存的页面大小(以字节为单位)。默认为100Mb102400000
phoenix.groupby.estimatedDistinctValues执行GROUP BY时估计的不同值的数量。用于执行初始大小调整,每次需要重新分配时,增长1.5倍。默认值为10001000
phoenix.distinct.value.compress.threshold大小(以字节为单位),需要跟踪不同值计数(例如COUNT DISTINCT)的聚合操作将使用Snappy压缩。默认值为1Mb1024000
phoenix.index.maxDataFileSizePerc用于确定相对于数据表MAX_FILESIZE的视图的共享索引表的MAX_FILESIZE的百分比。应基于视图索引行与数据行的预期平均大小来估计百分比。默认值为50%。50
phoenix.coprocessor.maxMetaDataCacheTimeToLiveMs如果不访问租户的服务器端元数据缓存,该时间将以毫秒为单位。默认为30分钟180000
phoenix.coprocessor.maxMetaDataCacheSize服务器端元数据缓存总数的最大大小(以字节为单位),之后将根据最近的访问时间开始驱逐。默认为20Mb20480000
phoenix.client.maxMetaDataCacheSize客户端总元数据缓存的最大大小(以字节为单位),之后将根据最近的访问时间开始驱逐。默认值为10Mb10240000
phoenix.sequence.cacheSize分配下一个序列值时,要从服务器保留并在客户机上缓存的序列值的数量。仅在序列本身未定义的情况下使用。默认值为100100
phoenix.clock.skew.interval打开SYSTEM.CATALOG时的延迟间隔(以毫秒为单位),以补偿SYSTEM.CATALOG在区域服务器之间移动时可能出现的时钟偏斜。2000
phoenix.index.failure.handling.rebuild从某些更新未能更新到索引时开始/关闭的布尔标志,将自动打开/关闭该索引。true
phoenix.index.failure.handling.rebuild.interval索引重建后端作业的时间间隔(以毫秒为单位),以检查是否存在要重建的索引10000
phoenix.index.failure.handling.rebuild.overlap.time索引重建作业从失败时开始建立索引-时间间隔(以毫秒为单位),以便创建时间重叠以防止在存在时钟偏斜的情况下丢失更新。300000
phoenix.query.force.rowkeyorder非聚集查询是否以盐键表的行键顺序返回行。对于4.4之前的版本,请改用phoenix.query.rowKeyOrderSaltedTable。默认为true。true
phoenix.connection.autoCommit创建新连接时是否启用了自动提交。默认为false。false
phoenix.table.default.store.nulls用于表创建的STORE_NULLS标志的默认值确定是否应在HBase中显式存储空值。默认为false。这是一个客户端参数。从Phoenix 4.3开始可用。false
phoenix.table.istransactional.default用于创建表的TRANSACTIONAL标志的默认值,它确定表是否为事务表。默认为false。这是一个客户端参数。从Phoenix 4.7开始可用。false
phoenix.transactions.enabled确定是否在Phoenix中启用了事务。如果禁用了事务,则表不能声明为事务表。默认为false。这是一个客户端参数。从Phoenix 4.7开始可用。false
phoenix.mapreduce.split.by.stats确定是否将由统计信息确定的拆分用于MapReduce输入拆分。默认为true。这是服务器端参数。从Phoenix 4.10开始可用。设置为false可启用以前版本的行为。true
这是打赏的地方...

本文标题:大数据存储框架之Phoenix(3) 重要的配置(官方)

文章作者:Mr.Sun

发布时间:2019年12月06日 - 14:24:18

最后更新:2020年06月15日 - 09:55:20

原始链接:http://www.blog.sun-iot.xyz/posts/8acc

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

---------Thanks for your attention---------