客户端常用配置§

OSS/OSS-HDFS§

日志配置项§

配置项 类型 默认值 说明 版本
logger.dir 字符串 /tmp/bigboot-log 日志目录,不存在会创建,logger.consolelogger 和 logger.jnilogger 均为 false 时生效。 4.3.0+
logger.sync 布尔值 false 是否同步输出日志,false表示异步输出 4.3.0+
logger.consolelogger 布尔值 false 打印日志到终端 4.3.0+
logger.jnilogger 布尔值 false 打印日志到log4j 4.3.0+
logger.level 整型 2 关闭终端日志,使用文件日志时:日志等级<=1,表示WARN;日志等级>1,表示INFO。开启终端日志时,日志等级范围为0-6,分别表示:TRACE、DEBUG、INFO、WARN、ERROR、CRITICAL、OFF。 4.3.0+
logger.verbose 整型 0 输出大于等于该等级的VERBOSE日志,等级范围为0-99,0表示不输出 4.3.0+
logger.cleaner.enable 布尔值 false 是否开启日志清理 4.3.0+

Java SDK 设置 log4j.properties§

log4j.logger.com.aliyun.jindodata=INFO
log4j.logger.com.aliyun.jindodata.common.FsStats=INFO

I/O 相关配置项§

配置项 类型 默认值 说明 版本
fs.oss.tmp.data.dirs 字符串 /tmp/ 客户端写入时的临时文件目录,可配置多个(逗号隔开),会轮流写入,多用户环境需配置可读写权限 4.3.0+
fs.oss.tmp.data.cleaner.enable 布尔值 true 临时文件自清理服务 4.3.0+
fs.oss.retry.count 整型 5 访问 OSS/OSS-HDFS 失败重试次数 4.3.0+
fs.oss.retry.interval.millisecond 整型 500 访问 OSS/OSS-HDFS 失败重试间隔(毫秒) 4.3.0+
fs.oss.timeout.millisecond 整型 30000 请求 OSS/OSS-HDFS 超时时间(毫秒) 4.3.0+
fs.oss.connection.timeout.millisecond 整型 3000 连接 OSS/OSS-HDFS 超时时间(毫秒) 4.3.0+
fs.oss.max.connections.per.host 整型 100 连接 OSS/OSS-HDFS 的连接池对每个host的最大连接数(超过阈值外的连接会使用短连接) 4.3.0+
fs.oss.upload.thread.concurrency 整型 MAX(cpu核数,16) 进程内 OSS/OSS-HDFS 并发上传线程数 4.3.0+(deprecated)
fs.oss.upload.queue.size 整型 MAX(cpu核数,16) 进程内 OSS/OSS-HDFS 并发上传任务队列大小 4.3.0+(deprecated)
fs.oss.upload.max.pending.tasks.per.stream 整型 10 单个文件 OSS/OSS-HDFS 最大并发上传任务数 4.3.0+(deprecated)
fs.oss.download.thread.concurrency 整型 MAX(cpu核数,16) 进程内 OSS/OSS-HDFS 最大并发下载任务数 4.3.0+(deprecated)
fs.oss.read.readahead.max.buffer.count 整型 48 最大同时预读 OSS/OSS-HDFS 的 buffer 个数 4.3.0+(deprecated)
fs.oss.read.buffer.size 整型 1048576 OSS/OSS-HDFS 读缓冲区大小(字节) 4.3.0+
fs.oss.write.buffer.size 整型 1048576 OSS/OSS-HDFS 写缓冲区大小(字节) 4.3.0+
fs.oss.flush.interval.millisecond 整型 -1 OSS/OSS-HDFS 刷新缓冲区间隔(毫秒),小于 0 时不生效 4.3.0+
fs.oss.blocklet.size.mb 整型 8 OSS 分块上传时的块大小(MB)由于分块数量最多为10000块,因此默认写入文件不能超过80GB。如果有个别文件超过80G,建议根据文件大小单独调大本配置,并同时调大请求 oss 的超时时间。如文件大小未知,或者远远超过80G(如超过160G),建议考虑使用 OSS-HDFS(无文件大小限制) 4.5.2+
fs.oss.checksum.crc64.enable 布尔值 true 文件级别 crc64 完整性校验,目前对写OSS-HDFS性能有较大影响,性能优先场景可以考虑关闭。 4.6.0+
fs.oss.checksum.md5.enable 布尔值 false 请求级别 md5 完整性校验 4.6.0+
fs.oss.read.readahead.prefetcher.version 字符串 default 可选值:legacy 原预读算法, default 新预读算法。新预读算法可能使用更多内存。若配置了新预读算法后发生性能下降,可能是由于内存池容量不足导致预读的块在被访问到之前就被提前逐出。为了避免该情况发生,可以考虑缩减最大预读长度,或允许预读使用更多内存。 6.2.0+
fs.oss.read.readahead.prefetch.size.max 整型 268435456 预读最大长度(单位:byte) 6.2.0+
fs.oss.signer.version 整型 0 签名算法版本,可选值[0,1,4]。推荐使用0,表示默认算法版本,6.3.0版本之后默认使用 V4 签名算法提高访问 OSS/OSS-HDFS,若特殊场景希望指定签名算法版本,请指定 1 或 4。 6.3.0+
fs.oss.io.timeout.millisecond 整型 90000 请求 OSS/OSS-HDFS 读写操作超时时间(毫秒) 6.6.0+ nextarch
fs.oss.async.executor.number 整型 cpu核数 进程内 OSS/OSS-HDFS 异步io线程数 6.6.0+ nextarch
fs.oss.upload.async.concurrency 整型 MAX(cpu核数,16) 进程内 OSS/OSS-HDFS 异步上传并发数 6.6.0+ nextarch
fs.oss.download.async.concurrency 整型 MAX(cpu核数,16) 进程内 OSS/OSS-HDFS 异步下载并发数 6.6.0+ nextarch
fs.oss.array.block.enable 布尔值 false 默认关闭。打开后。客户端写入优先使用内存 buffer,单个buffer大小与 fs.oss.blocklet.size.mb 对齐,若内存不足,则写入磁盘。不建议在写大文件(>8M)场景使用,可能会造成内存不足。 6.7.0+ nextarch

内存相关配置项§

配置项 类型 默认值 说明 版本
fs.oss.memory.buffer.size.max.mb 整型 6124 内存池总容量(单位:MB) 4.3.0+(deprecated)
fs.oss.memory.buffer.size.watermark 浮点型 0.3 内存池用于预读的容量比例 4.3.0+(deprecated)
fs.jdo.memory.pool.size.max.mb 整型 6124 内存池总容量(单位:MB) 6.7.0+ nextarch
fs.jdo.memory.io.buffer.size.max.ratio 浮点型 0.8 内存池最大用于IO buffer的容量比例 6.7.0+ nextarch

Metrics 相关配置项§

配置项 类型 默认值 说明 版本
fs.jdo.metrics.level 整型 1 mertrics 收集等级,0是不收集,1是静态metrics,2是包含 bucket 信息的动态 metrics,3包含所有 metrics 6.6.0+ nextarch
fs.jdo.metrics.file.enable 布尔值 false 控制是否输出 metrics 到文件 6.6.0+ nextarch
fs.jdo.metrics.file.dir 字符串 /tmp/metrics 输出 metrics 到文件的所在目录 6.6.0+ nextarch
fs.jdo.metrics.file.pid.append.enable 布尔值 false 控制输出 metrics 到文件的方式,true 代表以 pid 作为子目录,目录层级为(file_dir)/pid/jindosdk_(timestamp).metrics 6.7.0+ nextarch
fs.jdo.metrics.file.number 整型 16 控制单个目录下最大文件的个数 6.6.0+ nextarch
fs.jdo.metrics.interval.sec 整型 15 输出 metrics 到文件的间隔时间,单位秒 6.6.0+ nextarch
fs.jdo.metrics.file.clean.enable 布尔值 false 控制是否自动清理输出 metrics 的文件, true 代表打开清理,默认24h清理一次 6.6.0+ nextarch

Credential Provider 相关配置,详见《配置 OSS/OSS-HDFS Credential Provider》