一、命令行接口——普通用户命令fs
命令行接口 – Alluxio v2.6.0 Documentation
Alluxio命令行接口为用户提供了基本的文件系统操作，可以使用以下命令来得到所有子命令：
$ ./bin/alluxio fs Usage: alluxio fs [generic options] [cat <path>] [checkConsistency [-r] <Alluxio path>] ... 对于用Alluxio URI（如ls， mkdir）作为参数的fs子命令来说，参数应该要么是完整的Alluxio URI alluxio://，要么是省略了头部信息的
:
/
/ ，以使用conf/allluxio-site.properties中设置的默认的主机名和端口。
1.copyFromLocal复制本地文件到Alluxio
copyFromLocal命令将本地文件系统中的文件拷贝到Alluxio中，如果你运行该命令的机器上有Alluxio worker，那么数据便会存放在这个worker上，否则，数据将会随机地复制到一个运行Alluxio worker的远程节点上。如果该命令指定的目标是一个文件夹，那么这个文件夹及其所有内容都会被递归复制到Alluxio中。
使用举例：使用copyFromLocal命令可以快速将数据复制到alluxio系统中以便后续处理：
(base) [root@clu00 alluxio-2.6.0]# ./bin/alluxio fs copyFromLocal /root/datatest / Copied file:///root/datatest to / 
2.copyToLocal复制Alluxio文件到本地
copyToLocal命令将Alluxio中的文件复制到本地文件系统中，如果该命令指定的目标是一个文件夹，那么该文件夹及其所有内容都会被递归地复制。
使用举例：使用copyToLocal命令可以快速将输出数据下载下来从而进行后续研究或调试：
(base) [root@clu00 alluxio-2.6.0]# alluxio fs copyToLocal /t00.txt t00.txt Copied /t00.txt to file:///root/alluxio-2.6.0/t00.txt (base) [root@clu00 alluxio-2.6.0]# wc -l t00.txt 3.rm删除
(base) [root@clu00 alluxio-2.6.0]# ./bin/alluxio fs rm '/test.txt' /test.txt has been removed (base) [root@clu00 alluxio-2.6.0]# ./bin/alluxio fs rm -R /default_tests_files /default_tests_files has been removed #-R 参数 代表递归删除目录 #此处路径中的/代指alluxio挂载的根目录 #Alluxio的根目录必须是一个挂载点 4.checkConsistency对比Alluxio与底层存储（同步问题）
checkConsistency命令会对比Alluxio和底层存储系统在给定路径下的元数据。如果该路径是一个目录，那么目录下的所有内容都会被对比。该命令会返回所有不一致的文件和目录的列表，系统管理员决定是否对这些不一致数据进行调整。为了避免Alluxio与底层存储系统的元数据不一致，你的系统应该尽量通过Alluxio来修改文件和目录，避免直接访问底层存储系统进行修改。
如果使用了-r选项，那么checkConsistency命令会去修复不一致的文件或目录，如果不一致的文件或者文件夹只存在于底层存储系统，那么相应的元数据会被加载到Alluxio中。如果不一致文件的元数据和具体数据已经存在Alluxio中，那么Alluxio会删除具体数据，并且将该文件的元数据重新载入。
注意：该命令需要请求将要被检查的目录子树的读锁，这意味着在该命令完成之前无法对该目录子树的文件或者目录进行写操作或者更新操作。
例如，checkConsistency命令可以用来周期性地检查命名空间的完整性：
# 列出不一致的文件或者目录 $ ./bin/alluxio fs checkConsistency / # # 修复不一致的文件或者目录 $ ./bin/alluxio fs checkConsistency -r / 问题：直接在底层存储HDFS中新增文件后，Alluxio中检测一致性检测不到不一致，Alluxio与底层存储不同步
解决方案：
1）按需同步，强制刷新
alluxio fs ls -R -Dalluxio.user.file.metadata.sync.interval=0 /xxxx #使用命令直接刷新某目录 #系统默认alluxio.user.file.metadata.sync.interval=-1，是关闭自动刷新的 2）主动同步
#指定目录开启主动同步 $ alluxio fs startSync /XXX #关闭主动同步 $ alluxio fs stopSync /XX 问题：不支持hdfs
Active Syncing is not supported on this UFS type: hdfs
5.元数据同步功能
默认情况下，* Alluxio预期所有对底层文件系统修改都是通过Alluxio 来进行的*。 这样Alluxio只需扫描每个UFS目录一次，从而在UFS元数据操作很慢情况下显著提高性能。 当出现在Alluxio之外对UFS进行更改的情况下， 就需要用元数据同步功能用于同步两个命名空间。
当Alluxio扫描UFS目录并加载其子目录元数据时， 它将创建元数据的副本，以便将来无需再从UFS加载。 元数据的缓存副本将根据 alluxio.user.file.metadata.sync.interval客户端属性配置的间隔段刷新。 此属性适用于客户端操作。 例如，如果客户执行一个命令基于间隔设置为一分钟的配置， 如果最后一次刷新是在一分钟之前，则相关元数据将据UFS刷新。 设值为0表示针对每个操作都会进行实时元数据同步， 而默认值-1表示在初始加载后不会再重新同步元数据。
低间隔值使Alluxio客户端可以快速发现对UFS的外部修改， 但由于导致调用UFS的次数增加，因此是以降低性能为代价的。
元数据同步会保留每个UFS文件的指纹记录，以便Alluxio可以在文件更改时做出相应更新。 指纹记录包括诸如文件大小和上次修改时间之类的信息。 如果在UFS中修改了文件，Alluxio将通过指纹检测到该修改，释放现有文件 元数据，然后重新加载更新文件的元数据。 如果在UFS中添加或删除了文件，Alluxio还将更新对其命名空间中的元数据做出相应刷新。
1）定期元数据同步
如果UFS按计划的间隔更新，可以在更新后手动触发sync命令。 运行以下命令将同步间隔设置为0：（即强制刷新同步）
$ ./bin/alluxio fs ls -R -Dalluxio.user.file.metadata.sync.interval=0 /path/to/sync 集中配置
对于使用来自频繁更新的UFS数据的集群作业， 每个客户端指定一个同步间隔很不方便。 如果在master配置中设置了同步间隔，所有请求都将以默认的同步间隔来处理。
在master点上的alluxio-site.properties中设置：
alluxio.user.file.metadata.sync.interval=1m 注意，需要重新启动master节点以便启用新配置。
2）HDFS元数据主动同步
在2.0版中，引入了一项新功能，用于在UFS为HDFS时保持Alluxio空间与UFS之间的同步。 该功能称为主动同步，可监听HDFS事件并以master上后台任务方式定期在UFS和Alluxio命名空间之间同步元数据。 由于主动同步功能取决于HDFS事件，因此仅当UFS HDFS版本高于2.6.1时，此功能才可用。 你可能需要在配置文件中更改alluxio.underfs.version的值。 有关所支持的Hdfs版本的列表，请参考HDFS底层存储。
要在一个目录上启用主动同步，运行以下Alluxio命令。
$ ./bin/alluxio fs startSync /syncdir 可以通过更改alluxio.master.ufs.active.sync.interval选项来控制主动同步间隔，默认值为30秒。
要在一个目录上停止使用主动同步，运行以下Alluxio命令。
$ ./bin/alluxio fs stopSync /syncdir 注意：发布
startSync时，就预定了对同步点进行完整扫描。 如果以Alluxio超级用户身份运行，stopSync将中断所有尚未结束的完整扫描。 如果以其他用户身份运行，stopSync将等待完整扫描完成后再执行。
可以使用以下命令检查哪些目录当前处于主动同步状态。
$ ./bin/alluxio fs getSyncPathList 问题：alluxio.exception.AlluxioException: Active Syncing is not supported on this UFS type: hdfs
6.alluxio与底层存储的数据加载与释放load、free、persist
- free:释放数据是指从Alluxio缓存中删除数据，而不是从底层UFS中删除数据。 释放操作后，数据仍然可供用户使用，但对Alluxio释放文件后尝试访问该文件 的客户端来讲性能可能会降低。
- load:加载数据意味着将其从UFS复制到Alluxio缓存中。如果Alluxio使用 基于内存的存储，加载后用户可能会看到I/O性能的提高。
- persist:持久数据是指将Alluxio存储中可能被修改过或未被修改过的数据写回UFS。 通过将数据写回到UFS，可以保证如果Alluxio节点发生故障数据还是可恢复的。
- TTL(Time to Live):TTL属性设置文件和目录的生存时间，以 在数据超过其生存时间时将它们从Alluxio空间中删除。还可以配置 TTL来删除存储在UFS中的相应数据。
1）上传文件到alluxio
（通过Alluxio上传文件）
alluxio fs copyFromLocal anaconda-ks.cfg / 2） alluxio文件固化到HDFS
（写入到底层存储HDFS中）
alluxio fs persist /anaconda-ks.cfg hadoop fs -ls /alluxio persist命令将Alluxio中的数据持久化到底层文件系统中。该命令是对数据的操作，因而其执行时间取决于该文件的大小。在持久化结束后，该文件即在底层文件系统中有了备份，因而该文件在Alluxio中的数据块被剔除甚至丢失的情况下，仍能够访问。
使用举例：在从一系列临时文件中过滤出包含有用数据的文件后，便可以使用persist命令对其进行持久化。
3） 释放alluxio的文件
（free alluxio中的文件，并不会删除底层存储上的文件，只是释放Alluxio的存储）
alluxio fs free /anaconda-ks.cfg free命令请求Alluxio master将一个文件的所有数据块从Alluxio worker中剔除，如果命令参数为一个文件夹，那么会递归作用于其子文件和子文件夹。该请求不保证会立即产生效果，因为该文件的数据块可能正在被读取。free命令在被master接收后会立即返回。注意该命令不会删除底层文件系统中的任何数据，而只会影响存储在Alluxio中的数据。另外，该操作也不会影响元数据，这意味着如果运行ls命令，该文件仍然会被显示。
4）重新加载HDFS文件到alluxio文件
alluxio fs load /anaconda-ks.cfg load 命令将底层文件系统中的数据载入到Alluxio中。如果运行该命令的机器上正在运行一个Alluxio worker，那么数据将移动到该worker上，否则，数据会被随机移动到一个worker上。 如果该文件已经存在在Alluxio中，设置了--local选项，并且有本地worker，则数据将移动到该worker上。 否则该命令不进行任何操作。如果该命令的目标是一个文件夹，那么其子文件和子文件夹会被递归载入。
使用举例：使用load 命令能够获取用于数据分析作用的数据。
5） 删除alluxio的文件
（通过Alluxio来操作删除底层存储系统的文件，底层存储系统的文件会被删除）
alluxio fs rm /anaconda-ks.cfg 6.设置文件到期时间
例如，要3分钟后删除由runTests创建的文件:
$ ./bin/alluxio runTests -Dalluxio.user.file.create.ttl=3m \ -Dalluxio.user.file.create.ttl.action=DELETE Alluxio客户端可以配置为只要在Alluxio命名空间添加新文件时就添加TTL属性。 当预期用户是临时使用文件情况下，被动TTL很有用 ，但它不灵活，因为来自同一客户端的所有请求将继承 相同的TTL属性。
被动TTL通过以下选项配置:
alluxio.user.file.create.ttl-在Alluxio中文件上设置的TTL持续时间。 默认情况下，未设置TTL持续时间。alluxio.user.file.create.ttl.action-对文件设置的TTL到期后的操作 在Alluxio中。注意：默认情况下，此操作为“DELETE”，它将导致文件永久被删除。
TTL默认情况下处于不使用状态，仅当客户有严格数据访问模式才启用。
例如，要3分钟后删除由runTests创建的文件:
$ ./bin/alluxio runTests -Dalluxio.user.file.create.ttl=3m \ -Dalluxio.user.file.create.ttl.action=DELETE 对于这个例子，确保alluxio.master.ttl.checker.interval被设定为短 间隔，例如一分钟，以便master能快速识别过期文件。
1）setTtl
setTtl命令设置一个文件或者文件夹的ttl时间，单位为毫秒。如果当前时间大于该文件的创建时间与ttl时间之和时，行动参数将指示要执行的操作。delete操作（默认）将同时删除Alluxio和底层文件系统中的文件，而free操作将仅仅删除Alluxio中的文件。
使用举例：管理员在知道某些文件经过一段时间后便没用时，可以使用带有delete操作的setTtl命令来清理文件；如果仅仅希望为Alluxio释放更多的空间，可以使用带有free操作的setTtl命令来清理Alluxio中的文件内容。
# After 1 day, delete the file in Alluxio and UFS $ ./bin/alluxio fs setTtl /data/good-for-one-day # After 1 day, free the file from Alluxio $ ./bin/alluxio fs setTtl --action free /data/good-for-one-day 实例：
#时间不带单位，默认是毫秒 #Sets a new TTL value for the file at path, performing an action, delete(default)/free after TTL expiry. The TTL to set can be in one of the unit: ms, millisecond, s, second, m, min, minute, h, hour, d, day, default to ms (base) [root@clu00 alluxio-2.6.0]# alluxio fs setTtl --action free /t00.txt 1m TTL of path '/t00.txt' was successfully set to 60000 milliseconds, with expiry action set to FREE (base) [root@clu00 alluxio-2.6.0]# alluxio fs setTtl --action free /t00.txt 1000sec TTL of path '/t00.txt' was successfully set to milliseconds, with expiry action set to FREE (base) [root@clu00 alluxio-2.6.0]# alluxio fs setTtl --action free /t00.txt 1h TTL of path '/t00.txt' was successfully set to milliseconds, with expiry action set to FREE (base) [root@clu00 alluxio-2.6.0]# alluxio fs setTtl --action free /t00.txt 1d TTL of path '/t00.txt' was successfully set to milliseconds, with expiry action set to FREE 2）unsetTtl
unsetTtl命令删除Alluxio中一个文件的TTL。该命令仅作用于元数据，不会剔除或者删除Alluxio中的数据块。该文件的TTL值可以由setTtl命令重新设定。
使用举例：在一些特殊情况下，当一个原本自动管理的文件需要手动管理时，可以使用unsetTtl命令。
$ ./bin/alluxio fs unsetTtl /data/yesterday/data-not-yet-analyzed 7.检查Alluxio缓存容量和使用情况
Alluxio shell命令fsadmin report提供可用空间的简短摘要 以及其他有用的信息。输出示例如下:
$ ./bin/alluxio fsadmin report Alluxio cluster summary: Master Address: localhost/127.0.0.1:19998 Web Port: 19999 Rpc Port: 19998 Started: 09-28-2018 12:52:09:486 Uptime: 0 day(s), 0 hour(s), 0 minute(s), and 26 second(s) Version: 2.0.0 Safe Mode: true Zookeeper Enabled: false Live Workers: 1 Lost Workers: 0 Total Capacity: 10.67GB Tier: MEM Size: 10.67GB Used Capacity: 0B Tier: MEM Size: 0B Free Capacity: 10.67GB Alluxio shell还允许用户检查Alluxio缓存中多少空间可用和在用。
获得Alluxio缓存总使用字节数运行:
$ ./bin/alluxio fs getUsedBytes 获得Alluxio缓存以字节为单位的总容量
$ ./bin/alluxio fs getCapacityBytes 8.checksum计算md5值
checksum命令输出某个Alluxio文件的md5值。
例如，checksum可以用来验证Alluxio中的文件内容与存储在底层文件系统或者本地文件系统中的文件内容是否匹配：
$ ./bin/alluxio fs checksum /LICENSE md5sum: bf0fff39b058e059a3 md5 LICENSE MD5 (LICENSE) = bf0fff39b058e059a3 MD5值，简单地来说，就是文件的“指纹”。如果原始文件被修改了，那么MD5值也就会跟着发生变化，所以我们可以根据MD5是否变化来判断文件是否被改动
9.chgrp改变文件的所属组
chgrp命令可以改变Alluxio中的文件或文件夹的所属组，Alluxio支持POSIX标准的文件权限，组在POSIX文件权限模型中是一个授权实体，文件所有者或者超级用户可以执行这条命令从而改变一个文件或文件夹的所属组。
加上-R选项可以递归的改变文件夹中子文件和子文件夹的所属组。
使用举例：使用chgrp命令能够快速修改一个文件的所属组：
$ ./bin/alluxio fs chgrp alluxio-group-new /input/file1 10.chmod改变文件访问权限
chmod命令修改Alluxio中文件或文件夹的访问权限，目前可支持八进制模式：三位八进制的数字分别对应于文件所有者、所属组以及其他用户的权限。以下是数字与权限的对应表：
| Number | Permission | rwx |
|---|---|---|
| 7 | read, write and execute | rwx |
| 6 | read and write | rw- |
| 5 | read and execute | r-x |
| 4 | read only | r– |
| 3 | write and execute | -wx |
| 2 | write only | -w- |
| 1 | execute only | –x |
| 0 | none | — |
加上-R选项可以递归的改变文件夹中子文件和子文件夹的权限。
使用举例：使用chmod命令可以快速修改一个文件的权限：
$ ./bin/alluxio fs chmod 755 /input/file1 11.chown改变文件所有者
chown命令用于修改Alluxio中文件或文件夹的所有者，出于安全方面的考虑，只有超级用户能够更改一个文件的所有者。
加上-R选项可以递归的改变文件夹中子文件和子文件夹的所有者。
使用举例：使用chown命令可以快速修改一个文件的所有者。
$ ./bin/alluxio fs chown alluxio-user /input/file1 $ ./bin/alluxio fs chown alluxio-user:alluxio-group /input/file2 12.cat查看Alluxio中的文件
(base) [root@clu00 alluxio-2.6.0]# ./bin/alluxio fs cat /datatest Hello World! hi hello hi hello world 13.cp
cp命令拷贝Alluxio文件系统中的一个文件或者目录,也可以在本地文件系统和Alluxio文件系统之间相互拷贝。
filescheme表示本地文件系统，alluxioscheme或不写scheme表示Alluxio文件系统。
如果使用了-R选项，并且源路径是一个目录，cp将源路径下的整个子树拷贝到目标路径。
例如，cp可以在底层文件系统之间拷贝文件。
$ ./bin/alluxio fs cp /hdfs/file1 /s3/ 14.count
count命令输出Alluxio中所有名称匹配一个给定前缀的文件及文件夹的总数，以及它们总的大小，该命令对文件夹中的内容递归处理。当用户对文件有预定义命名习惯时，count命令很有用。
使用举例：若文件是以它们的创建日期命名，使用count命令可以获取任何日期、月份以及年份的所有文件的数目以及它们的总大小：
$ ./bin/alluxio fs count /data/2014 15.du输出文件大小
du命令输出一个文件的大小，如果指定的目标为文件夹，该命令输出该文件夹下所有子文件及子文件夹中内容的大小总和。
使用举例：如果Alluxio空间被过分使用，使用du命令可以检测到哪些文件夹占用了大部分空间：
# Shows the size information of all the files in root directory $ ./bin/alluxio fs du / File Size In Alluxio Path 1337 0 (0%) /alluxio-site.properties 4352 4352 (100%) /testFolder/NOTICE 26847 0 (0%) /testDir/LICENSE 2970 2970 (100%) /testDir/README.md # Shows the in memory size information $ ./bin/alluxio fs du --memory / File Size In Alluxio In Memory Path 1337 0 (0%) 0 (0%) /alluxio-site.properties 4352 4352 (100%) 4352 (100%) /testFolder/NOTICE 26847 0 (0%) 0 (0%) /testDir/LICENSE 2970 2970 (100%) 2970 (100%) /testDir/README.md # Shows the aggregate size information in human-readable format $ ./bin/alluxio fs du -h -s / File Size In Alluxio In Memory Path 34.67KB 7.15KB (20%) 7.15KB (20%) / # Can be used to detect which folders are taking up the most space $ ./bin/alluxio fs du -h -s /\\* File Size In Alluxio Path 1337B 0B (0%) /alluxio-site.properties 29.12KB 2970B (9%) /testDir 4352B 4352B (100%) /testFolder 16.ls
ls命令列出一个文件夹下的所有子文件和子文件夹及文件大小、上次修改时间以及文件的内存状态。对一个文件使用ls命令仅仅会显示该文件的信息。 ls命令也将任意文件或者目录下的子目录的元数据从底层存储系统加载到Alluxio命名空间，如果Alluxio还没有这部分元数据的话。 ls命令查询底层文件系统中匹配给定路径的文件或者目录，然后会在Alluxio中创建一个该文件的镜像文件。只有元数据，比如文件名和大小，会以这种方式加载而不发生数据传输。
选项：
-d选项将目录作为普通文件列出。例如，ls -d /显示根目录的属性。-f选项强制加载目录中的子目录的元数据。默认方式下，只有当目录首次被列出时，才会加载元数据。-h选项以可读方式显示文件大小。-p选项列出所有固定的文件。-R选项可以递归的列出输入路径下的所有子文件和子文件夹，并列出从输入路径开始的所有子树。--sort按给定的选项对结果进行排序。可能的值：size|creationTime|inMemoryPercentage|lastModificationTime|path-r反转排序的顺序。
使用举例：使用ls命令可以浏览文件系统。
$ ./bin/alluxio fs mount /s3/data s3://data-bucket/ # Loads metadata for all immediate children of /s3/data and lists them. $ ./bin/alluxio fs ls /s3/data/ # # Forces loading metadata. $ aws s3 cp /tmp/somedata s3://data-bucket/somedata $ ./bin/alluxio fs ls -f /s3/data # # Files are not removed from Alluxio if they are removed from the UFS (s3 here) only. $ aws s3 rm s3://data-bucket/somedata $ ./bin/alluxio fs ls -f /s3/data 17.test
test命令测试路径的属性，如果属性为真，返回0，否则返回1。 可以使用-d选项测试路径是否是目录，使用-f选项测试路径是否是文件，使用-e选项测试路径是否存在，使用-z选项测试文件长度是否为0，使用-s选项测试路径是否为空，
选项：
-d选项测试路径是否是目录。-e选项测试路径是否存在。-f选项测试路径是否是文件。-s选项测试路径是否为空。-z选项测试文件长度是否为0。
使用举例:
(base) [root@clu00 alluxio-2.6.0]# alluxio fs test -d /datatest (base) [root@clu00 alluxio-2.6.0]# echo $? 1 (base) [root@clu00 alluxio-2.6.0]# alluxio fs test -d /data (base) [root@clu00 alluxio-2.6.0]# echo $? 0 18.pin
pin命令对Alluxio中的文件或文件夹进行标记。该命令只针对元数据进行操作，不会导致任何数据被加载到Alluxio中。如果一个文件在Alluxio中被标记了，该文件的任何数据块都不会从Alluxio worker中被剔除。如果存在过多的被锁定的文件，Alluxio worker将会剩余少量存储空间，从而导致无法对其他文件进行缓存。
使用举例：如果管理员对作业运行流程十分清楚，那么可以使用pin命令手动提高性能。
$ ./bin/alluxio fs pin /data/today 19.unpin
unpin命令将Alluxio中的文件或文件夹解除标记。该命令仅作用于元数据，不会剔除或者删除任何数据块。一旦文件被解除锁定，Alluxio worker可以剔除该文件的数据块。
使用举例：当管理员知道数据访问模式发生改变时，可以使用unpin命令。
$ ./bin/alluxio fs unpin /data/yesterday/join-table 20.stat
stat命令将一个文件或者文件夹的主要信息输出到控制台，这主要是为了让用户调试他们的系统。一般来说，在Web UI上查看文件信息要容易理解得多。
可以指定 -f 来按指定格式显示信息：
- “%N”: 文件名;
- “%z”: 文件大小(bytes);
- “%u”: 文件拥有者;
- “%g”: 拥有者所在组名;
- “%y” or “%Y”: 编辑时间, %y shows ‘yyyy-MM-dd HH:mm:ss’ (the UTC date), %Y 为自从 January 1, 1970 UTC 以来的毫秒数;
- “%b”: 为文件分配的数据块数
例如，使用stat命令能够获取到一个文件的数据块的位置，这在获取计算任务中的数据局部性时非常有用。
# Displays file's stat $ ./bin/alluxio fs stat /data/2015/logs-1.txt # # Displays directory's stat $ ./bin/alluxio fs stat /data/2015 # # Displays the size of file $ ./bin/alluxio fs stat -f %z /data/2015/logs-1.txt 操作列表
| 操作 | 语法 | 描述 |
|---|---|---|
| cat | cat “path” | 将Alluxio中的一个文件内容打印在控制台中 |
| checkConsistency | checkConsistency “path” | 检查Alluxio与底层存储系统的元数据一致性 |
| checksum | checksum “path” | 计算一个文件的md5校验码 |
| chgrp | chgrp “group” “path” | 修改Alluxio中的文件或文件夹的所属组 |
| chmod | chmod “permission” “path” | 修改Alluxio中文件或文件夹的访问权限 |
| chown | chown “owner” “path” | 修改Alluxio中文件或文件夹的所有者 |
| copyFromLocal | copyFromLocal “source path” “remote path” | 将“source path”指定的本地文件系统中的文件拷贝到Alluxio中”remote path”指定的路径 如果”remote path”已经存在该命令会失败 |
| copyToLocal | copyToLocal “remote path” “local path” | 将”remote path”指定的Alluxio中的文件复制到本地文件系统中 |
| count | count “path” | 输出”path”中所有名称匹配一个给定前缀的文件及文件夹的总数 |
| cp | cp “src” “dst” | 在Alluxio文件系统中复制一个文件或目录 |
| du | du “path” | 输出一个指定的文件或文件夹的大小 |
| fileInfo | fileInfo “path” | 输出指定的文件的数据块信息 |
| free | free “path” | 将Alluxio中的文件或文件夹移除，如果该文件或文件夹存在于底层存储中，那么仍然可以在那访问 |
| getCapacityBytes | getCapacityBytes | 获取Alluxio文件系统的容量 |
| getfacl | getfacl “path” | |
| getUsedBytes | getUsedBytes | 获取Alluxio文件系统已使用的字节数 |
| help | help “cmd” | 打印给定命令的帮助信息，如果没有给定命令，打印所有支持的命令的帮助信息 |
| leader | leader | 打印当前Alluxio leader master节点主机名 |
| load | load “path” | 将底层文件系统的文件或者目录加载到Alluxio中 |
| loadMetadata | loadMetadata “path” | 将底层文件系统的文件或者目录的元数据加载到Alluxio中 |
| location | location “path” | 输出包含某个文件数据的主机 |
| ls | ls “path” | 列出给定路径下的所有直接文件和目录的信息，例如大小 |
| masterInfo | masterInfo | 打印Alluxio master容错相关的信息，例如leader的地址、所有master的地址列表以及配置的Zookeeper地址 |
| mkdir | mkdir “path1” … “pathn” | 在给定路径下创建文件夹，以及需要的父文件夹，多个路径用空格或者tab分隔，如果其中的任何一个路径已经存在，该命令失败 |
| mount | mount “path” “uri” | 将底层文件系统的”uri”路径挂载到Alluxio命名空间中的”path”路径下，”path”路径事先不能存在并由该命令生成。 没有任何数据或者元数据从底层文件系统加载。当挂载完成后，对该挂载路径下的操作会同时作用于底层文件系统的挂载点。 |
| mv | mv “source” “destination” | 将”source”指定的文件或文件夹移动到”destination”指定的新路径，如果”destination”已经存在该命令失败。 |
| persist | persist “path1” … “pathn” | 将仅存在于Alluxio中的文件或文件夹持久化到底层文件系统中 |
| pin | pin “path” | 将给定文件锁定到内容中以防止剔除。如果是目录，递归作用于其子文件以及里面新创建的文件 |
| report | report “path” | 向master报告一个文件已经丢失 |
| rm | rm “path” | 删除一个文件，如果输入路径是一个目录该命令失败 |
| setfacl | setfacl “newACL” “path” | |
| setTtl | setTtl “path” “time” | 设置一个文件的TTL时间，单位毫秒，注意，默认动作为 DELETE，会将文件从Alluxio命名空间和底层存储中删除 |
| stat | stat “path” | 显示文件和目录指定路径的信息 |
| tail | tail “path” | 将指定文件的最后1KB内容输出到控制台 |
| test | test “path” | 测试路径的属性，如果属性正确，返回0，否则返回1 |
| touch | touch “path” | 在指定路径创建一个空文件 |
| unmount | unmount “path” | 卸载挂载在Alluxio中”path”指定路径上的底层文件路径，Alluxio中该挂载点的所有对象都会被删除，但底层文件系统会将其保留。 |
| unpin | unpin “path” | 将一个文件解除锁定从而可以对其剔除，如果是目录则递归作用 |
| unsetTtl | unsetTtl “path” | 删除文件的ttl值 |
二、命令行接口——管理员命令fsadmin
管理员命令行接口 – Alluxio v2.6.0 Documentation
Alluxio的管理员命令行接口为管理员提供了管理Alluxio文件系统的操作。 您可以调用以下命令行来获取所有子命令：
$ ./bin/alluxio fsadmin Usage: alluxio fsadmin [generic options] [report] [ufs --mode
] ...
以UFS URI作为参数的fsadmin ufs子命令，参数应该是像hdfs://这样的根UFS URI，而不是
/
hdfs://。
/
1.backup备份
backup命令创建Alluxio元数据的备份
1）备份到默认备份文件夹（由alluxio.master.backup.directory）配置
./bin/alluxio fsadmin backup Successfully backed up journal to hdfs://mycluster/opt/alluxio/backups/alluxio-backup-2018-5-29-.gz 2）备份到下存储中的特定目录。
./bin/alluxio fsadmin backup /alluxio/special_backups Successfully backed up journal to hdfs://mycluster/opt/alluxio/backups/alluxio-backup-2018-5-29-.gz 实例：
(base) [root@clu00 alluxio-2.6.0]# alluxio fsadmin backup /root/backup-alluxio Backup Host : clu00 Backup URI : hdfs://clu00:9090/root/backup-alluxio/alluxio-backup-2021-10-14-64.gz Backup Entry Count : 14368 [hadoop@clu00 ~]$ hdfs dfs -ls /root/backup-alluxio Found 2 items -rw-r--r-- 3 root supergroup 2021-10-14 15:23 /root/backup-alluxio/alluxio-backup-2021-10-14-64.gz -rw-r--r-- 3 root supergroup 0 2021-10-14 15:23 /root/backup-alluxio/alluxio-backup-2021-10-14-64.gz.complete 3）备份到主主机的本地文件系统的特定目录。
./bin/alluxio fsadmin backup /opt/alluxio/backups/ --local Successfully backed up journal to file:///opt/alluxio/backups/alluxio-backup-2018-5-29-.gz on master Master2 实例：
(base) [root@clu00 alluxio-2.6.0]# alluxio fsadmin backup /root/backup-alluxio-new --local Backup Host : clu00 Backup URI : file:///root/backup-alluxio/alluxio-backup-2021-10-14-06.gz Backup Entry Count : 14368 (base) [root@clu00 alluxio-2.6.0]# ls /root/backup-alluxio/ alluxio-backup-2021-10-14-06.gz alluxio-backup-2021-10-14-06.gz.complete 从备份文件中恢复元数据
#从备份文件中恢复元数据 $ ./alluxio-start.sh -i /opt/alluxio-backup-2019-11-13-22.gz masters Executing the following command on all master nodes and logging to /usr/local/git/alluxio/logs/task.log: /usr/local/git/alluxio/bin/alluxio-stop.sh master Waiting for tasks to finish... All tasks finished Executing the following command on all master nodes and logging to /usr/local/git/alluxio/logs/task.log: /usr/local/git/alluxio/bin/alluxio-start.sh -i /opt/alluxio-backup-2019-11-13-22.gz master Waiting for tasks to finish... All tasks finished 实例：
(base) [root@clu00 bin]# alluxio-start.sh -i /root/backup-alluxio/alluxio-backup-2021-10-14-06.gz masters Executing the following command on all master nodes and logging to /root/alluxio-2.6.0/logs/task.log: /root/alluxio-2.6.0/bin/alluxio-stop.sh master Waiting for tasks to finish... All tasks finished Executing the following command on all master nodes and logging to /root/alluxio-2.6.0/logs/task.log: /root/alluxio-2.6.0/bin/alluxio-start.sh -i /root/backup-alluxio/alluxio-backup-2021-10-14-06.gz -a master Waiting for tasks to finish... All tasks finished ----------------------------------------- Starting to monitor all Alluxio masters. ----------------------------------------- --- [ OK ] The master service @ clu00 is in a healthy state. 2.doctor显示运行错误与警告
doctor命令显示Alluxio错误和警告。
# shows server-side configuration errors and warnings $ ./bin/alluxio fsadmin doctor configuration 实例：
(base) [root@clu00 alluxio-2.6.0]# alluxio fsadmin doctor --help Failed to parse args for doctor: Unrecognized option: --help Usage: doctor [category] Show Alluxio errors and warnings. Where [category] is an optional argument. If no arguments are passed in, all categories of errors/warnings will be printed out. [category] can be one of the following: configuration server-side configuration errors/warnings storage worker lost storage warnings (base) [root@clu00 alluxio-2.6.0]# alluxio fsadmin doctor configuration No server-side configuration errors or warnings. (base) [root@clu00 alluxio-2.6.0]# alluxio fsadmin doctor storage All worker storage paths are in working state. 3.report报告集群信息
report命令提供了Alluxio运行中的集群信息。
# Report cluster summary $ ./bin/alluxio fsadmin report # Report worker capacity information $ ./bin/alluxio fsadmin report capacity # Report runtime configuration information $ ./bin/alluxio fsadmin report configuration # Report metrics information $ ./bin/alluxio fsadmin report metrics # Report under file system information $ ./bin/alluxio fsadmin report ufs 使用 -h 选项来获得更多信息。
4.ufs更新底层挂载的属性
ufs命令提供了选项来更新挂载的底层存储的属性。mode选项可用于将底层存储设置为维护模式。目前某些操作可能会受到限制。
例如，一个底层存储可以设为readOnly模式来禁止写入操作。 Alluxio将不会对底层存储尝试任何写入操作。
$ ./bin/alluxio fsadmin ufs --mode readOnly hdfs://ns fsadmin ufs命令接受一个UFS URI作为参数。该参数需要是一个 UFS URI的根，类似hdfs://，而非
/
hdfs://。
/
操作列表
| 操作 | 语法 | 描述 |
|---|---|---|
| backup | backup [directory] [–local] | Back up all Alluxio metadata to the backup directory configured on master. |
| doctor | doctor [category] | Show Alluxio errors and warnings. |
| report | report [category] [category args] | Report Alluxio running cluster information. |
| ufs | ufs –mode “ufsPath” |
Update attributes for a mounted under storage system. |
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/208071.html原文链接：https://javaforall.net
