news 2026/6/5 17:30:16

【ssh】在两个远程服务器之间传输文件的便捷方法

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【ssh】在两个远程服务器之间传输文件的便捷方法

在 Slurm 集群上,大体量的tar | ssh管道传输非常容易被系统“杀掉”,即使你人没断线,后台 I/O / 网络 / login node 的限额也会把进程 SIGKILL,导致tar 包尾部缺失 →Unexpected EOF

例如,在Slurm 集群上迁移 conda 环境(几十 GB):

❌ 不推荐:

  • tar -czf(压缩太慢、CPU+IO重)

  • tar | ssh(login node 很容易 kill)

  • 单次scp(不支持断点)

推荐靠谱方案:rsync + --partial + --inplace


具体做法:rsync+ 断点续传

这是HPC 官方推荐方式,假设源服务器服务端口为3022,目的服务器服务端口为2022。

在 2022 端口(源)执行:

rsync -avh \ --partial \ --inplace \ --delete \ --numeric-ids \ --progress \ -e "ssh -p 3022" \ #连接目的服务器端口执行命令 /home/user/miniconda3/envs/my_env/ \ #源服务器文件夹/文件地址 lzh@209.167.43.117:/home/lzh/miniconda3/envs/my_env/ #目的服务器目的地址

为什么这个一定成功?

  • --partial:中断不丢数据

  • --inplace:避免重复写(大文件关键)

  • rsync逐文件校验,不会生成损坏状态

  • 即使被 Slurm 杀掉,重新执行同一条命令会从断点继续,直至传完文件。

💡你可以反复跑这条命令,直到命令很快结束,传输文件列表为空,仅sent少量Bytes(表示没有文件可传,仅发送一些控制信息),意味着文件传完,如下:

sending incremental file list share/gdb/auto-load/home/ sent 3.68M bytes received 7.92K bytes 19.17K bytes/sec total size is 8.48G speedup is 2,298.80 (DRY RUN)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/30 8:08:43

YOLOv12图像去噪革命:RIDNet单阶段盲真实图像去噪完全指南

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有! 文章目录 YOLOv12图像去噪革命:RIDNet单阶段盲真实图像去噪完全指南 技术突破与性能验证 RIDNet核心技术解析 多尺度特征交互机制 YOLOv12与RIDNet深度集成架构 端…

作者头像 李华
网站建设 2026/6/4 22:52:58

TikTokDownload Cookie自动生成技术深度解析:从网络协议逆向到算法实现

TikTokDownload Cookie自动生成技术深度解析:从网络协议逆向到算法实现 【免费下载链接】TikTokDownload 抖音去水印批量下载用户主页作品、喜欢、收藏、图文、音频 项目地址: https://gitcode.com/gh_mirrors/ti/TikTokDownload 在TikTok内容下载的逆向工程…

作者头像 李华
网站建设 2026/6/4 7:59:10

SGMICRO圣邦微 SGM2017-2.8XN5/TR SOT23-5 线性稳压器(LDO)

特性 工作输入电压范围:2.5V至5.5V 固定输出电压为2.8V和3.3V 输出电流:300mA 电流:77微A(TYR) 低压差:在300mA时为300mV(典型值)低噪声:30uVRms(典型值)(10Hz至100kHz)高PSRR:在1kHz时典型值为73dB 电流限制与热保护 采用小型封装陶瓷电容,运行稳定 关断供电电流:0…

作者头像 李华
网站建设 2026/6/5 10:29:35

AI模型与Docker权限深度解析(权限失控的9个致命场景)

第一章:AI模型的Docker权限校验在部署AI模型至生产环境时,使用Docker容器化技术已成为标准实践。然而,容器内部运行的服务往往需要访问GPU、文件系统或网络资源,若权限配置不当,可能导致服务启动失败或安全漏洞。因此&…

作者头像 李华
网站建设 2026/6/3 14:49:34

YOLOv12细节涨点技术:UNetV2的S次特征融合模块完整实战指南

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有! 文章目录 YOLOv12细节涨点技术:UNetV2的S次特征融合模块完整实战指南 S次特征融合核心技术解析 多尺度特征金字塔重构原理 渐进式特征精炼机制 完整代码实现方案 环…

作者头像 李华
网站建设 2026/6/4 23:31:05

YOLOv12进阶优化:基于DySample动态上采样算子的目标检测性能提升实战指南

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有! 文章目录 YOLOv12进阶优化:基于DySample动态上采样算子的目标检测性能提升实战指南 一、DySample核心技术原理解析 二、DySample与YOLOv12的集成实现 三、渐进式训…

作者头像 李华