网页JAVA分块上传插件开源代码解析

大文件传输功能技术方案调研与自研规划

作为上海OA软件公司前端工程师，针对公司OA系统50G级大文件传输需求，我进行了深入的技术调研与分析。结合公司现有技术栈和业务需求，现提出以下技术方案。

一、需求分析总结

核心功能：
- 支持50G+大文件上传/下载
- 完整文件夹上传（保留层级结构）
- 可靠断点续传（跨浏览器会话）
- 进度持久化（刷新/关闭浏览器不丢失）
兼容性要求：
- 操作系统：Windows/macOS
- 浏览器：IE11+/Firefox/Chrome/360安全浏览器
- 数据库：MySQL（可扩展SQL Server/Oracle）
部署要求：
- 私有化部署
- 内网环境
- 源代码采购（避免单套授权成本）

二、技术选型与架构设计

前端架构（Vue3）

// 文件分片上传核心逻辑示例（Vue3 Composition API）import{ref,onMounted}from'vue'importSparkMD5from'spark-md5'exportfunctionuseFileUploader(options){const{apiUrl,chunkSize=5*1024*1024}=optionsconstprogress=ref(0)constfileInfo=ref(null)// 从本地存储恢复上传状态constrestoreUploadState=(fileId)=>{constsavedState=localStorage.getItem(`upload_${fileId}`)returnsavedState?JSON.parse(savedState):null}// 计算文件MD5（用于唯一标识）constcalculateFileMD5=(file)=>{returnnewPromise((resolve)=>{constchunkSize=5*1024*1024constchunks=Math.ceil(file.size/chunkSize)constspark=newSparkMD5.ArrayBuffer()constfileReader=newFileReader()letcurrentChunk=0fileReader.onload=(e)=>{spark.append(e.target.result)currentChunk++if(currentChunk<chunks){loadNextChunk()}else{resolve(spark.end())}}constloadNextChunk=()=>{conststart=currentChunk*chunkSizeconstend=Math.min(start+chunkSize,file.size)fileReader.readAsArrayBuffer(file.slice(start,end))}loadNextChunk()})}// 分片上传主逻辑constuploadFile=async(file)=>{try{// 恢复或初始化上传状态constfileId=awaitcalculateFileMD5(file)letuploadState=restoreUploadState(fileId)||{fileId,fileName:file.name,fileSize:file.size,uploadedSize:0,chunks:Math.ceil(file.size/chunkSize),uploadedChunks:0}// 如果已上传过部分文件，跳过已上传分片conststartByte=uploadState.uploadedSizeconstendByte=Math.min(startByte+chunkSize,file.size)constchunk=file.slice(startByte,endByte)constformData=newFormData()formData.append('file',chunk)formData.append('fileId',fileId)formData.append('chunkIndex',uploadState.uploadedChunks)formData.append('totalChunks',uploadState.chunks)formData.append('fileName',file.name)formData.append('relativePath',uploadState.relativePath||'')// 用于文件夹结构constresponse=awaitfetch(apiUrl,{method:'POST',body:formData})if(response.ok){uploadState.uploadedSize=endByte uploadState.uploadedChunks++progress.value=Math.min(100,(uploadState.uploadedSize/file.size)*100)// 保存上传状态到本地存储localStorage.setItem(`upload_${fileId}`,JSON.stringify(uploadState))// 如果上传完成，清理状态if(uploadState.uploadedSize>=file.size){localStorage.removeItem(`upload_${fileId}`)fileInfo.value={...uploadState,completed:true}}}}catch(error){console.error('Upload error:',error)throwerror}}return{progress,fileInfo,uploadFile}}

后端架构（SpringBoot）

核心模块：
- 文件分片接收服务
- 断点续传状态管理
- 文件合并服务
- 文件夹结构解析服务
数据库设计：

CREATETABLEfile_upload_task(idBIGINTPRIMARYKEYAUTO_INCREMENT,file_idVARCHAR(64)NOTNULLCOMMENT'文件唯一标识',file_nameVARCHAR(255)NOTNULL,relative_pathVARCHAR(512)COMMENT'文件夹相对路径',total_sizeBIGINTNOTNULL,uploaded_sizeBIGINTNOTNULLDEFAULT0,chunk_countINTNOTNULL,uploaded_chunksINTNOTNULLDEFAULT0,statusTINYINTNOTNULLDEFAULT0COMMENT'0:上传中 1:已完成 2:已取消',create_timeDATETIMENOTNULL,update_timeDATETIMENOTNULL,INDEXidx_file_id(file_id));-- 可扩展支持多数据库的JPA实体示例@Entity@Table(name="file_upload_task")@Inheritance(strategy=InheritanceType.SINGLE_TABLE)@DiscriminatorColumn(name="db_type",discriminatorType=DiscriminatorType.STRING)publicabstract class FileUploadTask {@Id@GeneratedValue(strategy=GenerationType.IDENTITY)private Long id;@Column(nullable=false,length=64)private String fileId;// 其他字段...// 数据库类型抽象方法，由子类实现具体逻辑publicabstract DatabaseType getDatabaseType();}// MySQL实现@Entity@DiscriminatorValue("MYSQL")publicclass MySQLFileUploadTask extends FileUploadTask {@OverridepublicDatabaseType getDatabaseType(){returnDatabaseType.MYSQL;} }

三、关键技术实现方案

1. 跨会话断点续传实现

前端方案：

使用localStorage持久化上传进度（IE11兼容）
文件唯一标识采用MD5计算（兼容所有浏览器）
上传状态包含：
- 文件唯一ID
- 已上传字节数
- 分片索引信息
- 文件夹层级信息

后端方案：

数据库记录上传任务状态
提供状态查询API
支持从指定字节续传

2. 文件夹结构处理

前端实现：

// 递归处理文件夹结构constprocessFolder=(entry,relativePath='')=>{returnnewPromise((resolve)=>{if(entry.isFile){entry.file(file=>{resolve([{file,relativePath}])})}elseif(entry.isDirectory){constdirReader=entry.createReader()dirReader.readEntries(entries=>{constpromises=[]entries.forEach(subEntry=>{promises.push(processFolder(subEntry,`${relativePath}${entry.name}/`))})Promise.all(promises).then(results=>{resolve(results.flat())})})}})}// 使用示例（结合HTML5 File System Access API）consthandleDrop=async(event)=>{constitems=event.dataTransfer.itemsfor(leti=0;i<items.length;i++){constentry=items[i].webkitGetAsEntry?items[i].webkitGetAsEntry():nullif(entry){constfiles=awaitprocessFolder(entry)files.forEach(fileItem=>{uploadFile(fileItem.file,fileItem.relativePath)})}}}

3. 兼容性处理方案

IE11支持：
- 使用FileReaderpolyfill
- 避免使用ES6+语法（通过Babel转译）
- 使用fetchpolyfill或回退到XMLHttpRequest
360浏览器处理：
- 检测浏览器模式（极速/兼容）
- 根据模式调整上传策略
大文件处理优化：
- 动态调整分片大小（根据网络状况）
- 并行上传分片（限制并发数）
- 心跳机制保持连接