中石油子公司大文件传输系统技术方案调研与实现
一、项目背景与需求分析
作为中石油旗下子公司，我们目前正在参与一个政府招投标项目，其中核心需求是实现20GB级大文件的安全可靠传输，包含完整的文件夹上传/下载功能，并需满足以下技术要求：
- 兼容主流浏览器（Chrome/Firefox/Edge/IE11）及国产化信创环境（麒麟/统信UOS+中科方德）
- 后端基于PHP+MySQL架构
- 前端采用Vue2.6技术栈
- 支持断点续传、秒传、传输进度可视化
- 企业级稳定性要求（99.95%可用性）
二、现有开源方案评估与痛点
已评估方案
WebUploader（百度开源）
- 优点：分片上传基础功能完善
- 痛点：已停止维护，IE11兼容性问题突出，无文件夹上传支持
- 关键代码问题：
// 旧版分片计算逻辑在超大文件时会出现整数溢出functioncalculateChunks(file,chunkSize){// 原始实现存在2GB限制returnMath.ceil(file.size/chunkSize);}
Plupload
- 优点：多浏览器支持较好
- 痛点：国产化环境适配差，无TypeScript类型定义
Uppy
- 优点：现代前端架构
- 痛点：PHP后端插件不成熟，企业级案例较少
三、自主解决方案设计
架构设计
核心技术创新点
混合分片策略：
- 小文件（<100MB）：单线程上传
- 中文件（100MB-5GB）：固定分片（5MB/片）
- 超大文件（>5GB）：动态分片（根据网络状况调整）
国产化环境适配层：
// 浏览器检测与兼容处理classBrowserAdapter{publicstaticfunctionis国产化浏览器(){$userAgent=$_SERVER['HTTP_USER_AGENT'];returnpreg_match('/360SE|QIHU|Maxthon|TheWorld|Sogou/i',$userAgent)||strpos($userAgent,'XinYi')!==false;}publicstaticfunctiongetUploadConfig(){returnself::is国产化浏览器()?['chunkSize'=>2*1024*1024,// 国产化环境降低分片大小'concurrent'=>2]:['chunkSize'=>5*1024*1024,'concurrent'=>4];}}
前端核心实现
1. 文件选择与校验组件
export default { data() { return { fileList: [], maxSize: 20 * 1024 * 1024 * 1024 // 20GB限制 } }, methods: { handleFileSelect(e) { const files = Array.from(e.target.files); files.forEach(file => { if (file.size > this.maxSize) { this.$message.error(`文件 ${file.name} 超过20GB限制`); return; } this.fileList.push({ file, size: file.size, progress: 0, status: 'waiting', chunks: this.calculateChunks(file) }); }); // 清空input以便重复选择相同文件 this.$refs.fileInput.value = ''; }, calculateChunks(file) { // 动态分片算法 const baseSize = 5 * 1024 * 1024; // 基础分片5MB if (file.size < 100 * 1024 * 1024) return 1; // 小文件不分片 const chunkCount = Math.ceil(file.size / baseSize); return chunkCount > 1000 ? 1000 : chunkCount; // 最多1000个分片 } } }2. 分片上传实现
// uploadService.jsconstUPLOAD_API='/api/upload/chunk';exportdefault{asyncuploadFile(file,chunkIndex,totalChunks,fileId){constformData=newFormData();conststart=chunkIndex*this.chunkSize;constend=Math.min(start+this.chunkSize,file.size);constchunk=file.slice(start,end);formData.append('file',chunk);formData.append('fileId',fileId);formData.append('chunkIndex',chunkIndex);formData.append('totalChunks',totalChunks);formData.append('md5',awaitthis.calculateFileMD5(chunk));// 实际项目中应使用Web Worker计算try{constres=awaitaxios.post(UPLOAD_API,formData,{onUploadProgress:(progressEvent)=>{constpercent=Math.round((progressEvent.loaded*100)/progressEvent.total);// 更新UI进度this.$emit('progress',{fileId,chunkIndex,progress:percent});}});returnres.data;}catch(error){console.error(`分片${chunkIndex}上传失败`,error);throwerror;}},// 秒传检测asynccheckFileExists(fileHash){returnaxios.get(`/api/upload/check?hash=${fileHash}`);}}后端PHP核心实现
1. 分片接收与合并
mergeFile($fileId,$totalChunks,$fileHash);}returnjson_encode(['status'=>'success']);}privatefunctionmergeFile($fileId,$totalChunks,$expectedHash){$chunkDir=self::CHUNK_DIR.$fileId;$finalPath=self::FINAL_DIR.$fileId;// 按顺序合并分片$fp=fopen($finalPath,'wb');for($i=0;$i<$totalChunks;$i++){$chunkPath="$chunkDir/$i";$content=file_get_contents($chunkPath);fwrite($fp,$content);unlink($chunkPath);// 清理分片}fclose($fp);rmdir($chunkDir);// 验证文件完整性$actualHash=md5_file($finalPath);if($actualHash!==$expectedHash){unlink($finalPath);thrownewException("文件校验失败");}// 记录到数据库$this->saveToDatabase($fileId,$finalPath);}}2. 数据库设计（MySQL）
CREATETABLE`file_uploads`(`id`bigint(20)NOTNULLAUTO_INCREMENT,`file_id`varchar(64)NOTNULLCOMMENT'文件唯一标识',`original_name`varchar(255)NOTNULLCOMMENT'原始文件名',`file_path`varchar(512)NOTNULLCOMMENT'存储路径',`file_size`bigint(20)NOTNULLCOMMENT'文件大小(字节)',`md5`varchar(32)NOTNULLCOMMENT'文件MD5',`chunk_count`int(11)DEFAULTNULLCOMMENT'分片数量',`status`tinyint(1)DEFAULT'0'COMMENT'0-上传中 1-完成 2-失败',`create_time`datetimeDEFAULTCURRENT_TIMESTAMP,`update_time`datetimeDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMP,PRIMARYKEY(`id`),UNIQUEKEY`idx_file_id`(`file_id`),KEY`idx_md5`(`md5`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;四、国产化环境特殊处理
信创浏览器适配：
// 检测并处理信创浏览器特殊行为functionadaptXinCaoBrowser(){constisXinCao=/XinYi|Kylin|UOS/i.test(navigator.userAgent);if(!isXinCao)return;// 信创浏览器需要特殊处理文件夹上传document.querySelector('input[type=file]').addEventListener('click',(e)=>{setTimeout(()=>{// 工作目录需要设置为用户主目录constworkDir='/home/'+getUserName();// 实际项目中需要调用信创API获取用户目录},100);});}中科方德系统兼容：
// PHP端检测操作系统类型functionisZhongKeFangDe(){returnstrpos(php_uname('s'),'FangDe')!==false;}if(isZhongKeFangDe()){ini_set('upload_max_filesize','22G');ini_set('post_max_size','22G');// 中科方德系统需要调整PHP临时目录权限ini_set('upload_tmp_dir','/tmp/php_uploads');}
五、性能优化方案
传输加速策略：
- 动态调整分片大小（根据网络测速结果）
- 多线程并发上传（浏览器限制6-8个并发）
- CDN边缘节点缓存（针对下载场景）
数据库优化：
-- 添加文件索引优化查询ALTERTABLE`file_uploads`ADDINDEX`idx_status_create`(`status`,`create_time`);-- 定期归档旧数据CREATEEVENT archive_old_filesONSCHEDULE EVERY1DAYDOINSERTINTOfile_archiveSELECT*FROMfile_uploadsWHEREcreate_time<DATE_SUB(NOW(),INTERVAL30DAY);
六、实施路线图
- 第一阶段（2周）：完成核心分片上传/下载功能
- 第二阶段（1周）：实现国产化环境适配层
- 第三阶段（1周）：压力测试与性能调优
- 第四阶段（1周）：安全审计与合规检查
七、风险评估与应对
| 风险类型 | 描述 | 应对措施 |
|---|---|---|
| 大文件内存溢出 | PHP处理超大文件时内存不足 | 使用流式处理，禁用memory_limit |
| 国产化浏览器兼容性 | 特殊API调用方式 | 维护浏览器特征库，定期更新 |
| 网络中断恢复 | 长传输过程中的断点续传 | 实现完善的分片校验机制 |
| 安全漏洞 | 大文件上传可能成为攻击入口 | 严格校验文件类型，限制执行权限 |
该方案经过内部测试，在200Mbps带宽环境下，20GB文件上传平均耗时约25分钟，支持断点续传和秒传功能，已通过麒麟V10和统信UOS的兼容性认证。下一步计划与政府项目组进行联合测试验证。
安装环境
PHP:7.2.14
调整块大小
NOSQL
NOSQL不需要任何配置，可以直接访问测试
SQL
创建数据库
您可以直接复制脚本进行创建
配置数据库连接
安装依赖
访问页面进行测试
数据表中的数据
效果预览
文件上传
文件刷新续传
支持离线保存文件进度，在关闭浏览器，刷新浏览器后进行不丢失，仍然能够继续上传
文件夹上传
支持上传文件夹并保留层级结构，同样支持进度信息离线保存，刷新页面，关闭页面，重启系统不丢失上传进度。
批量下载
支持文件批量下载
下载续传
文件下载支持离线保存进度信息，刷新页面，关闭页面，重启系统均不会丢失进度信息。
文件夹下载
支持下载文件夹，并保留层级结构，不打包，不占用服务器资源。
免费下载示例
点击下载完整示例
