一句话定位:RustFS 是面向 AI 时代、从零原生打造的高性能分布式对象存储,100% 兼容 S3 API,Apache 2.0 协议,底层用 Rust 构建,可作为 MinIO 的 drop-in 替代方案。
目录
1. 问题背景:GPU 空转,往往不是算力的问题
2. RustFS 是什么
3. 为什么 RustFS 适合 AI 数据中心
4. 一条命令起一个 RustFS
5. 真实数据:官方 beta.10 基准怎么说的
6. 总结与下一步
1. 问题背景:GPU 空转,往往不是算力的问题
你刚把一台 8 卡机器点亮,监控面板上 GPU 利用率却在大段大段地掉到个位数。排查一圈,瓶颈不在模型、不在网络,而在数据供给——训练样本还在从对象存储往 GPU 节点慢吞吞地搬。
这不是个例。AI 训练对存储的要求,和传统"冷归档"完全不是一回事:
- IO 要稳:毫秒级的抖动都会让批次超时、迭代卡顿,GPU 被动等数据。
- 延迟要低:小文件(样本、切片、索引)密集读取,元数据操作要快。
- 协议要对:团队已经用惯了 S3 SDK、
aws-cli、mc,不想因为换存储重写一整套数据管道。
- 不能被绑定:闭源风波之后,越来越多团队把"开源、长期可控"写进了选型红线。
需求很明确:一个100% 兼容 S3、性能能跟上 GPU、而且开源可控的对象存储。RustFS 就是冲着这个场景去的。
2. RustFS 是什么
RustFS 是用 Rust 从零构建的开源分布式对象存储,定位就是 AI 数据中心的存储底座。几个核心特点:
- 100% S3 兼容:
mc、aws-cli、s3cmd、各类 S3 SDK 直接对接,现有数据管道零改造。
- Rust 原生、内存安全:编译期所有权模型消除整类内存错误,运行全程无 GC、无运行时停顿。
- Apache 2.0 协议:无 AGPL 传染风险,企业可自由集成与再分发。
- drop-in 替换 MinIO:现有 MinIO 部署可低摩擦迁移,工具链照旧。
- AI-native 布局:原生支持 S3 Tables(Apache Iceberg 表格式)、RDMA + DPU 加速,并已加入 NVIDIA Inception Program。
本文所有性能数据均来自 RustFS 官方 beta.10 基准报告(warp 压测,4 节点 × 4 磁盘,Ubuntu 24.04,8 核 16GB,对照 MinIO RELEASE.2026-06-06),不夸大、不编造。
3. 为什么 RustFS 适合 AI 数据中心
3.1 性能:Rust 架构带来的硬指标
在官方 beta.10 基准里,RustFS 的PUT(写入)在所有测试对象尺寸上全部领先 MinIO,最高达到2.85×(4MiB)。对小文件写入密集的场景——日志、监控指标、AI 训练样本落盘——这个差距是可以直接感知到的。
更关键的是"稳":Rust 无 GC 的特性,让读写延迟曲线全程平稳,不会像有 GC 停顿的方案那样出现周期性毛刺。对"毫秒级波动就让 GPU 等数据"的 AI 训练来说,稳定本身就有价值。
3.2 AI-native:不止于"存文件"
RustFS 没有把自己定位成"又一个 S3 存储",而是往 AI 基础设施方向走:
- RDMA + DPU:正在把 Erasure Coding 与数据加密直接卸载到下一代 DPU,并原生支持 RDMA,打通 GPU 集群的高速数据通路,绕过内核协议栈开销。
- S3 Tables(Apache Iceberg):把数据湖管理能力直接嵌入对象存储核心。在 RAG 场景里,原始非结构化数据和切分后的向量索引元数据可以统一存进 RustFS,上层 AI 引擎通过标准表格式接口做联合检索,不必再在对象存储和分析数据库之间反复同步。
- 多协议覆盖:除 S3 外,还支持 WebDAV、Swift、FTP(s),并罕见地支持MCP(Model Context Protocol)——给 AI Agent 生态预留了前瞻性接口。
- 生态集成:已落地 GitLab 集成(OIDC SSO + S3 对象存储),企业身份体系可直接打通。
3.3 工程友好:小、快、跨平台
- 二进制约93 MB(对照方案约 320 MB),容器镜像小、启动快。
- 空闲内存约300 MB,对边缘设备、低配机更友好。
- 支持源码编译、预构建二进制、容器多种安装方式,覆盖Linux / macOS / Windows / NixOS,一条命令即可启动实例。
4. 一条命令起一个 RustFS
想亲手感受,最快的方式是 Docker 单节点:
docker run -p 9000:9000 -p 9001:9001 \ -v /data/rustfs:/data \ rustfs/rustfs:latest server /data --console-address ":9001"起来之后,用你熟悉的 S3 工具就能直接操作,无需改任何代码:
aws --endpoint-url http://127.0.0.1:9000 \ s3 mb s3://ai-training-samples aws --endpoint-url http://127.0.0.1:9000 \ s3 cp ./samples/ s3://ai-training-samples/ --recursive如果你已经有一套 MinIO 的数据管道,把 endpoint 从 MinIO 换成 RustFS 即可,客户端、SDK、CI 脚本基本不动——这就是"drop-in"的意义。
5. 真实数据:官方 beta.10 基准怎么说的
下面是官方 beta.10 基准里 PUT 吞吐(对象数/秒)的代表尺寸对比,数据来自 RustFS 官方博客:
| 对象大小 | RustFS (obj/s) | MinIO (obj/s) | RustFS / MinIO | 来源 |
|---|---|---|---|---|
| 4 KiB | 2150.88 | 1077 | 2.00× | 官方 beta.10 基准 |
| 100 KiB | 1850.76 | 712 | 2.60× | 官方 beta.10 基准 |
| 1 MiB | 1017.72 | 470 | 2.17× | 官方 beta.10 基准 |
| 4 MiB | 652.31 | 229 | 2.85× | 官方 beta.10 基准 |
结论很直白:小对象写入是 RustFS 最能打的区间,而小文件写入恰恰是大多数对象存储的命门(日志、事件流、IoT 上报、训练样本切片全压在这)。如果你的写负载是这个形状,这一版基本是对着痛点打的。
在读取侧,官方报告也显示 RustFS 已大幅收窄与 MinIO 的差距,并在小文件与大文件多个分段重新领先。对 AI 训练"写多读少、小文件海量"的典型负载而言,这套性能曲线正是团队想要的形态。
6. 总结与下一步
RustFS 给想要开源可控、S3 兼容、又跟得上 GPU的团队,提供了一个务实的新选择:
1.协议零摩擦:100% S3 兼容,现有管道不动一行代码就能迁过来。
2.性能有底气:官方 beta.10 基准里 PUT 全尺寸领先 MinIO,最高 2.85×。
3.面向 AI 原生:S3 Tables + RDMA/DPU + NVIDIA Inception,志在成为 AI 数据中心的存储底座。
4.长期可控:Apache 2.0 永久开源,无商业捆绑、无闭源风险。
想动手验证,从上面那条docker run开始,用aws-cli推一桶训练样本感受一下延迟与吞吐;再对照官方基准报告,用warp在自家环境复现一遍,数据自己会说话。
以下是深入学习 RustFS 的推荐资源:RustFS
官方文档: RustFS 官方文档- 提供架构、安装指南和 API 参考。
GitHub 仓库: GitHub 仓库 - 获取源代码、提交问题或贡献代码。
社区支持: GitHub Discussions- 与开发者交流经验和解决方案。
意见反馈:GitHub Issues