Jindo CLI 使用指南§

用法汇总§

    Usage:
    jindo fs
        [-archive [-i] [-c] <path>]
        [-cat <src> ...]
        [-count [-h] <path> ...]
        [-cp [-f] <src> ... <dst>]
        [-checksum <src> ...]
        [-chgrp [-R] GROUP PATH...]
        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
        [-chown [-R] [OWNER][:[GROUP]] PATH...]
        [-copyFromLocal [-f] <localsrc> ... <dst>]
        [-copyToLocal [-f] <src> ... <localdst>]
        [-createSnapshot <snapshotDir> [<snapshotName>]]
        [-checkStoragePolicy -path <path>]
        [-deleteSnapshot <snapshotDir> <snapshotName>]
        [-du [-s] <path> ...]
        [-decommission -hosts <hosts>]
        [-formatCache]
        [-get [-f] <src> ... <localdst>]
        [-getfacl [-R] <path>]
        [-getfattr [-R] {-n name | -d} <path>]
        [-getStoragePolicy -path <path>]
        [-ls [-R] <path>]
        [-listPolicies]
        [-load [-meta] [-data] [-s] [-m] [-R] [-replica value] <path>]
        [-mkdir <path>]
        [-mv <src> ... <dst>]
        [-moveFromLocal <localsrc> ... <dst>]
        [-moveToLocal <src> <localdst>]
        [-metaDiff <path>]
        [-put [-f] <localsrc> ... <dst>]
        [-rm [-f] [-r|-R] <src> ...]
        [-rmdir <src> ...]
        [-test -[defsz] <path>]
        [-renameSnapshot <snapshotDir> <oldName> <newName>]
        [-restore [-days value] <path>]
        [-stat [format] <path> ...]
        [-setStoragePolicy -path <path> -policy <policy>]
        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
        [-setfattr {-n name [-v value] | -x name} <path>]
        [-sync [-update] [-thread thread_num] <localsrc> <dst>
        [-touchz <path> ...]
        [-truncate [-w] <length> <path> ...]
        [-unarchive [-i] [-a] <path>]
        [-uncache <path>]
        [-unsetStoragePolicy -path <path>]

FS 子命令§

archive§

jindo fs -archive oss://<bucket>/<dir>

将 OSS 上文件设置为归档类型,可选参数:

参数 Description
-i ia 低频
-c coldArchive 冷归档
jindo fs -archive -i oss://<bucket>/<dir>
jindo fs -archive -c oss://<bucket>/<dir>

适用范围:标准OSS

cat§

jindo fs -cat oss://<bucket>/<dir>

显示文本内容,无可选参数 适用范围:标准OSS、OSS-HDFS

count§

显示文件大小以及文件数量,可选参数: | 参数 | Description | | --- | --- | | -h | 显示文件大小单位|

jindo fs -count -h oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

cp§

复制文件,可选参数: | 参数 | Description | | --- | --- | | -f | 强制覆盖|

jindo fs -cp -f oss://<bucket>/<sourcedir> oss://<bucket>/<targetdir>

适用范围:标准OSS、OSS-HDFS

checksum§

计算文件的CRC32 CheckSum大小

jindo fs -checksum oss://<bucket>/file

适用范围:OSS-HDFS

chgrp§

改变文件的所属群组

jindo fs -chgrp <groupname> oss://<bucket>/<dir>

适用范围:OSS-HDFS

chmod§

改变文件的访问权限

jindo fs -chmod <mode> oss://<bucket>/<dir>

适用范围:OSS-HDFS

chown§

改变文件的所有人

jindo fs -chown <username> oss://<bucket>/<dir>

适用范围:OSS-HDFS

copyFromLocal§

从本地复制文件到oss,可选参数: | 参数 | Description | | --- | --- | | -f | 强制覆盖|

jindo fs -copyFromLocal -f <localdir> oss://<bucket>/<targetdir>

适用范围:标准OSS、OSS-HDFS

copyToLocal§

从oss复制文件到本地,可选参数: | 参数 | Description | | --- | --- | | -f | 强制覆盖|

jindo fs -copyToLocal -f oss://<bucket>/<targetdir> <localdir> 

适用范围:标准OSS、OSS-HDFS

createSnapshot§

创建快照,使用前必须先允许快照功能

jindo fs -createSnapShot <snapshotDir> [<snapshotName>] 

适用范围:标准OSS、OSS-HDFS

checkStoragePolicy§

显示文件的存储策略

jindo fs -checkStoragePolicy -path oss://<bucket>/<dir>

适用范围:OSS-HDFS

deleteSnapshot§

删除快照

jindo fs -deleteSnapshot oss://<bucket>/<dir> <snapshotName>

适用范围:OSS-HDFS

du§

显示目录中所有文件的大小 可选参数: | 参数 | Description | | --- | --- | | -s | 求目标文件夹的总和| | -h | 标准单位显示|

jindo fs -du oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

get§

下载文件到本地,可选参数: | 参数 | Description | | --- | --- | | -f | 强制覆盖|

jindo fs -get -f oss://<bucket>/<dir> <localdst>

适用范围:标准OSS、OSS-HDFS

getfacl§

显示文件或目录的访问控制列表,可选参数: | 参数 | Description | | --- | --- | | -R | 递归显示|

jindo fs -getfacl -R oss://<bucket>/<dir>

适用范围:OSS-HDFS

getfattr§

显示文件或者目录的扩展属性名称和值,可选参数: | 参数 | Description | | --- | --- | | -R | 递归显示| | -n | 按名称显示| | -d | 显示所有|

jindo fs -getfattr [-R] {-n user.myAttr | -d} oss://<bucket>/<dir>

适用范围:OSS-HDFS

getStoragePolicy§

显示存储策略

jindo fs -getStoragePolicy -path oss://<bucket>/<dir>

适用范围:OSS-HDFS

ls§

列出目录下文件,可选参数: | 参数 | Description | | --- | --- | | -R | 递归显示|

jindo fs -ls [-R] oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

listPolicies§

显示支持的存储策略

jindo fs -listPolicies

适用范围:OSS-HDFS

load§

数据缓存命令可以备份对应路径的数据至本集群的磁盘,以便于后续可以读取本地数据,无需读取OSS等后端上的数据,可选参数有。 | 参数 | 说明 | | --- | --- | | -s | 表示缓存过程同步执行,打印进度和执行信息,推荐开启 | | -replica | 缓存副本数量,默认缓存1个副本 | | -R | 递归缓存文件,当 path 是文件夹时开启 |

jindo fs -load [-meta] [-data] [-s] [-m] [-R] [-replica value] oss://<bucket>/<dir>

mkdir§

创建文件夹

jindo fs -mkdir oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

mv§

移动文件

jindo fs -mv oss://<bucket>/<srcdir> oss://<bucket>/<dstdir>

适用范围:标准OSS、OSS-HDFS

moveFromLocal§

将文件从本地移动到远程路径上,,移动完成后会删除本地文件

jindo fs -moveFromLocal <localsrc> oss://<bucket>/<dstdir>

适用范围:标准OSS、OSS-HDFS

moveToLocal§

将文件从远程路径上移动到本地,移动完成后会OSS上文件

jindo fs -moveToLocal oss://<bucket>/<srcdir>  <localdst>

适用范围:标准OSS、OSS-HDFS

metaDiff§

使用缓存加速系统后,显示本地元数据和远端的同步情况

jindo fs -metaDiff oss://<bucket>/<srcdir>

适用范围:标准OSS、OSS-HDFS

put§

将本地文件复制到远程目录,可选参数: | 参数 | Description | | --- | --- | | -f | 强制覆盖|

jindo fs -put -f <localsrc> oss://<bucket>/<targetdir>

适用范围:标准OSS、OSS-HDFS

rm§

删除远程路径上的文件,可选参数: | 参数 | Description | | --- | --- | | -f | 强制删除| | -r/-rmr/-R | 递归删除|

jindo fs -rm -f oss://<bucket>/<dir>
jindo fs -rm -R oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

rmdir§

删除文件夹

jindo fs -rmdir oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

test§

基本功能检测: | 参数 | Description | | --- | --- | | -d | 是否是文件夹| | -e | 是否存在路径| | -f | 是否是文件| | -s | 是否为空文件夹| | -z | 文件长度是否为0|

jindo fs -test -d oss://<bucket>/<dir>/file

适用范围:标准OSS、OSS-HDFS

renameSnapshot§

为快照重命名

jindo fs -renameSnapshot oss://<bucket>/<dir> <oldName> <newName>

适用范围:OSS-HDFS

restore§

将文件从归档状态恢复,冷归档文件和归档文件必须恢复后才能unarchive,必填参数: | 参数 | Description | | --- | --- | | -days | 解冻的时长|

jindo fs -restore -days value oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

stat§

显示文件状态

jindo fs -stat oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

setStoragePolicy§

设置存储策略

jindo fs -setStoragePolicy -path oss://<bucket>/<dir> -policy <policy>

适用范围:OSS-HDFS

setfacl§

设置文件访问策略,可选参数: | 参数 | Description | | --- | --- | | -b | 删除所有访问策略| | -k | 删除默认访问策略| | -m | 按名称修改访问策略| | -x | 按名称删除访问策略| | -set | 设定访问策略|

jindo fs -setfacl -b oss://<bucket>/<dir> 
jindo fs -setfacl -k oss://<bucket>/<dir> 
jindo fs -setfacl -m user:<username>:<acl> oss://<bucket>/<dir> 
jindo fs -setfacl -x user:<username> oss://<bucket>/<dir> 
jindo fs -setfacl -set user::<acl> oss://<bucket>/<dir> 

适用范围:OSS-HDFS

setfattr§

设置文件或者目录的扩展属性名称和值,可选参数: | 参数 | Description | | --- | --- | | -n | 按名称设置| | -v | 设置属性值| | -x | 按名称删除|

jindo fs -setfattr {-n name [-v value] | -x name} oss://<bucket>/<dir>

适用范围:OSS-HDFS

sync§

将本地路径、hdfs路径、oss路径或oss-hdfs路径到远程路径,使用update参数则会跳过目的路径中修改时间不晚于源路径中同名文件的文件。可选参数: | 参数 | Description | | --- | --- | | -update | 断点续传 |

jindo fs -sync [-update] -thread thread_num <localsrc> oss://<bucket>/<dir>
jindo fs -sync [-update] -thread thread_num oss://<bucket>/<dir> oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

touchz§

生成一个大小为0的文件

jindo fs -touchz oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

truncate§

将文件裁剪到指定大小

jindo fs -truncate <length> oss://<bucket>/<dir>

适用范围:OSS-HDFS

unarchive§

将文件恢复为标准文件,AR和COLD类型文件需要先restore

jindo fs -unarchive oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

uncache§

删除缓存系统的缓存文件

jindo fs -uncache oss://<bucket>/<dir>

适用范围:标准OSS、OSS-HDFS

unsetStoragePolicy§

取消存储策略

jindo fs -unsetStoragePolicy -path oss://<bucket>/<dir>

适用范围:OSS-HDFS