使用rclone同步、迁移minio文件

一、准备工作

工具

rclone:开源的对象存储在线迁移工具,用于文件和目录的同步,支持阿里云的oss、minio 、亚马逊S3 等。

注意事项

#centos 7设置时区
timedatectl set-timezone Asia/Shanghai
#时间同步
ntpdate ntp.aliyun.com

二、部署过程

工具安装

curl https://rclone.org/install.sh | sudo bash

由于是外网地址,下载安装很麻烦,这里提供下载二进制包

下载地址

下载:https://yepk.lanzous.com/ikHOKlua7ra 密码:minio

rclone 运行文件放在/usr/bin 目录下

生成配置文件

rclone config
#按照提示一步步,输入相应配置,即可。生成的文件位于:/root/.config/rclone/rclone.conf目录下。

注:熟练的话,一般可以直接手动创建此文件,放在指定目录就可以了。我工作中一般手动编辑创建此文件。

手动创建配置文件

[source] #声明 自定义名字1
type = s3 # 类型
provider = Minio
env_auth = false
access_key_id = access_key_id # Minio的key
secret_access_key = secret_access_key # minio的secret_access_key
region = cn-east-1 # 时区默认这个
endpoint = 地址 例:http://192.168.0.11:9000
location_constraint =
server_side_encryption =
[target] #声明 自定义名字2 不能重复
type = s3
provider = Minio
env_auth = false
access_key_id = access_key_id
secret_access_key = secret_access_key
region = cn-east-1
endpoint = 地址 例:http://192.168.0.11:9000
location_constraint =
server_side_encryption =
acl = public-read-write #配置公开读权限

配置文件位于:${HOME}/.config/rclone/rclone.conf目录下。

开始迁移

sudo rclone -P  sync source:bucket_name/dir_name/ target:bucket_name/dir_name/
# 格式 rclone -P sync(同步) source(自定义名字1):bucket_name(桶名)/dir_name(文件夹或文件名)/ target(自定义名字2):bucket_name/dir_name/ 

Rclone命令

常用命令

文件上传

rclone copy /home/backup gdrive:backup # 本地路径 配置名字:谷歌文件夹名字

文件下载

rclone copy gdrive:backup /home/backup

列表

rclone ls gdrive:backup
rclone lsl gdrive:backup # 比上面多一个显示上传时间
rclone lsd gdrive:backup # 只显示文件夹

新建文件夹

rclone mkdir gdrive:backup

挂载

rclone mount gdrive:mm /root/mm &
rclone mount gdrive:mm /root/mm --copy-links --no-gzip-encoding --no-check-certificate --allow-other --allow-non-empty --umask 000 &

卸载

fusermount -qzu /root/mm

其他命令

# https://softlns.github.io/2016/11/28/rclone-guide/
rclone config - 以控制会话的形式添加rclone的配置,配置保存在.rclone.conf文件中。
rclone copy - 将文件从源复制到目的地址,跳过已复制完成的。
rclone sync - 将源数据同步到目的地址,只更新目的地址的数据。 –dry-run标志来检查要复制、删除的数据
rclone move - 将源数据移动到目的地址。
rclone delete - 删除指定路径下的文件内容。
rclone purge - 清空指定路径下所有文件数据。
rclone mkdir - 创建一个新目录。
rclone rmdir - 删除空目录。
rclone check - 检查源和目的地址数据是否匹配。
rclone ls - 列出指定路径下所有的文件以及文件大小和路径。
rclone lsd - 列出指定路径下所有的目录/容器/桶。
rclone lsl - 列出指定路径下所有文件以及修改时间、文件大小和路径。
rclone md5sum - 为指定路径下的所有文件产生一个md5sum文件。
rclone sha1sum - 为指定路径下的所有文件产生一个sha1sum文件。
rclone size - 获取指定路径下,文件内容的总大小。.
rclone version - 查看当前版本。
rclone cleanup - 清空remote。
rclone dedupe - 交互式查找重复文件,进行删除/重命名操作。
--transfers 1 #限制线程
--min-size 10G #大小限制
-P #显示进度

常用参数

--s3-provider Other

--max-backlog #N   # 在 sync/copy/move 时使用,占用 N 倍 KB 内存
--buffer-size=SIZE # 加速 sync/copy/move
--bwlimit UP:DOWN  # 上传下载限速,b|k|M|G

--size-only 使用sync功能配合此参数,表示只有文件大小有变化才会同步文件,可能存在文件大小未变但是文件已经发生变化,不推荐使用;
--checksum 通过md5判断文件是否有变化,md5发生变化时才会同步文件;如果source是本地磁盘,这会带来较多的磁盘和CPU消耗;如果source和destination都是对象存储,则推荐使用这个参数;
--update --use-server-modtime 通过mtime判断文件是否变化,只有当本地文件的mtime较新时,文件才会上传
--fast-list rclone默认的遍历方式是单独处理每个目录,每个目录调用1次API。使用这个参数将会将所有文件信息加入内存(1000个文件进行1次API调用),1个文件消耗1k内存。
--no-traverse 当destination中文件较多时,使用此参数将会直接查找这个文件,而不是通过文件列表
--max-age 限制文件最大age,用来上传最近的文件

--s3-no-head 默认上传后会通过head检测文件是否已经上传,通过此参数可关闭。
--s3-upload-cutoff 文件大于这个值会使用分片上传,默认值是200M,最大值是5G https://rclone.org/s3/#s3-upload-cutoff
--s3-disable-checksum 不计算md5
--s3-upload-concurrency 默认值4,有多少chunck同时上传,如果传少量大文件,提高这个参数可以提升带宽。
--s3-chunk-size 默认值 5M
--s3-max-upload-parts 默认值10000
--s3-force-path-style 默认值true
--s3-v2-auth 默认值false
--s3-list-chunk 默认值1000,每次list返回的key数量

举例:
./rclone copy --checksum --update --use-server-modtime -P target:html/static/ /html/static

当md5变化Mtime比本地新时更新

官方网站: https://rclone.org/flags/

# minio   资源分享   工具  

评论

企鹅群:39438021

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×