s5cmd

项目概述

s5cmd 是一款速度极快的并行 S3 和本地文件系统执行工具，支持多种操作，包括标签补全和通配符支持，非常适合处理大量文件的对象存储工作流。

主要功能

• 列出存储桶和对象
• 上传、下载或删除对象
• 移动、复制或重命名对象
• 使用 AWS KMS 设置服务端加密
• 设置对象/文件的访问控制列表 (ACL)
• 将对象内容打印到标准输出
• 使用 SQL 表达式从对象中选择 JSON 记录
• 创建或移除存储桶
• 按存储类别汇总对象大小
• 支持所有操作的通配符
• 删除操作的多个参数支持
• 命令文件支持，以极高速批量运行命令
• 支持试运行
• 支持 S3 Transfer Acceleration
• 支持 Google Cloud Storage 及任何兼容 S3 API 的服务

适用人群

• 需要高性能对象存储操作的数据工程师和开发者
• 处理大量 S3 或兼容 S3 存储服务文件的管理员

快速上手

1. 从 Releases 页面下载适用于 Linux、macOS 或 Windows 的预编译二进制文件
2. macOS 用户可通过 Homebrew 安装：brew install peak/tap/s5cmd
3. 使用 s5cmd 命令执行对象存储操作

核心优势

• 极速性能：上传速度是 s3cmd 的 32 倍，是 aws-cli 的 12 倍
• 带宽饱和：下载速度可饱和 40Gbps 链路（约 4.3 GB/s），而 s3cmd 和 aws-cli 仅能达到 85 MB/s 和 375 MB/s
• 广泛兼容：支持 AWS S3、Google Cloud Storage 及任何兼容 S3 API 的服务
• 功能丰富：支持通配符、批量命令文件和结构化日志

系统要求

• 操作系统：Linux、macOS、Windows
• 支持架构：x86_64、arm64
• 额外依赖：无（预编译二进制）