NAS 通过提供多用户网络数据存取服务,极大地简化了数据共享和管理。而 NFS 作为实现这种共享的一种主流协议,尽管广泛应用,但在处理复杂的 AI 训练场景时常常受限于其性能和一致性问题。
JuiceFS 在最新的1.2版本中增加了直连 NFS 功能,这一创新允许 JuiceFS 直接利用 NAS 上的 NFS 服务,而无需预挂载。 通过 JuiceFS 的直连 NFS 功能,用户可以直接使用现有的 NAS 的存储空间创建 JuiceFS 文件系统,无需额外准备其他的对象存储。
- 免预先挂载:直接使用 NFS 作为 JuiceFS 的底层存储,无需预先挂载,简化了配置和管理。
- 高性能:JuiceFS 通过缓存和预读等技术,提升了 NFS 存储的性能,支持高并发读写。
- 跨平台共享:JuiceFS 能够将 NFS 存储转换为分布式文件系统,实现了跨平台共享,不仅可以在 Linux、macOS、Windows 等操作系统上使用,还可以在 Hadoop、Kubernetes、Docker 等容器环境中使用。
借助 JuiceFS,用户可以将训练数据、模型文件等存储在现有的 NAS 上。借助 JuiceFS 的分布式、高性能、高可用的特性,用户可以在多个计算节点上同时访问这些数据,提升 AI 模型训练的效率。
在训练机上,用可以户通过 JuiceFS 挂载点、S3 Gateway、WebDAV、CSI Driver、Hadoop API 等多种方式访问 NAS 上的数据,JuiceFS 会自动缓存数据,提升训练的性能。
JuiceFS 支持多种缓存策略,可以根据不同的场景选择合适的缓存策略,提升训练的性能。例如,可以使用 --cache-size
参数设置缓存大小,使用 --cache-dir
参数指定缓存目录,使用 warmup 策略预读数据等。
更多关于 JuiceFS 的缓存策略,请参考官方文档。
使用直连 NFS 存储创建 JuiceFS 文件系统的过程十分简单,只需在 NAS 或文件服务器上配置好 NFS 服务,然后在 JuiceFS 创建文件系统时指定 NFS 存储的地址即可。
例如,使用 NFSv3 协议的 NFS 存储,在相同网络内任何安装了 JuiceFS 客户端的计算机上,通过以下命令创建 JuiceFS 文件系统:
<span class="token function">sudo</span> juicefs <span class="token function">format</span> <span class="token parameter variable">--storage</span> nfs <span class="token punctuation">\</span> <span class="token parameter variable">--bucket</span> <span class="token number">192.168</span>.1.88:/data/nfs <span class="token punctuation">\</span> redis://192.168.1.88/0 <span class="token punctuation">\</span> myjfs<span class="token function">sudo</span> juicefs <span class="token function">format</span> <span class="token parameter variable">--storage</span> nfs <span class="token punctuation">\</span> <span class="token parameter variable">--bucket</span> <span class="token number">192.168</span>.1.88:/data/nfs <span class="token punctuation">\</span> redis://192.168.1.88/0 <span class="token punctuation">\</span> myjfssudo juicefs format --storage nfs \ --bucket 192.168.1.88:/data/nfs \ redis://192.168.1.88/0 \ myjfs
其中,--storage nfs
指定了使用 NFS 存储,--bucket
指定了 NFS 存储的地址,redis://192.168.1.88/0 指定了 Redis 作为元数据存储,myjfs 是文件系统的名称。
在使用 NFS 作为存储层创建 JuiceFS 文件系统时,需要注意以下几点:
JuiceFS v1.2.0 版本新增的直连 NFS 存储功能,让 JuiceFS 可以更好的与 NAS 配合使用,提升了 JuiceFS 对 NFS 的兼容性,同时也为企业提供了更简易的存储解决方案。用户可以利用现有的存储资源在本地构建高性能、高可用的分布式文件系统,为 AI 模型训练、数据分析等场景提供更好的支持。
欢迎大家下载试用 JuiceFS v1.2.0 版本,体验直连 NFS 创建文件系统,为本地 AI 模型训练提供强大动力!
原文链接:https://blog.csdn.net/JuiceFS/article/details/140546784?ops_request_misc=%257B%2522request%255Fid%2522%253A%252250f9dad48a9e0bbff9fdd16c2039c558%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=50f9dad48a9e0bbff9fdd16c2039c558&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-20-140546784-null-null.nonecase&utm_term=%E6%9E%81%E7%A9%BA%E9%97%B4nas