​Spring Boot 分片上传文件

在文件上传功能上，客户经常会问到文件上传大小的是否有限制或是上传大小能否设置，用户经常需要上传好几个G的资料文件，如图纸，视频等，并且需要在上传大文件过程中进行优化实时展现进度条，
进行技术评估后针对框架文件上传进行扩展升级，扩展接口支持大文件分片上传处理，减少服务器瞬时的内存压力，同一个文件上传失败后可以从成功上传分片位置进行断点续传，文件上传成功后再次上传无需等待达到秒传的效果，优化用户交互体验。

文件MD5计算
对于文件md5的计算我们使用spark-md5第三方库，大文件我们可以分片分别计算再合并节省时间。
但是经测试1G文件计算MD5需要20s左右的时间，所以经过优化我们抽取文件部分特征信息（文件第一片+文件最后一片+文件修改时间），来保证文件的相对唯一性，只需要2s左右，大大提高前端计算效率，对于前端文件内容块的读取我们需要使用html5的api中fileReader.readAsArrayBuffer方法，因为是异步触发，封装的方法提供一个回调函数进行使用。

createSimpleFileMD5(file, chunkSize, finishCaculate) {var fileReader = new FileReader();var blobSlice = File.prototype.mozSlice || File.prototype.webkitSlice || File.prototype.slice;var chunks = Math.ceil(file.size / chunkSize);var currentChunk = 0;var spark = new SparkMD5.ArrayBuffer();var startTime = new Date().getTime();loadNext();fileReader.onload = function() {spark.append(this.result);if (currentChunk == 0) {currentChunk = chunks - 1;loadNext();} else {var fileMD5 = hpMD5(spark.end() + file.lastModifiedDate);finishCaculate(fileMD5)}};functionloadNext() {var start = currentChunk * chunkSize;var end = start + chunkSize >= file.size ? file.size : start + chunkSize;fileReader.readAsArrayBuffer(blobSlice.call(file, start, end));}}

文件分片切割
我们通过定义好文件分片大小，使用blob对象支持的file.slice方法切割文件，分片上传请求需要同步按顺序请求，因为使用了同步请求，前端ui会阻塞无法点击，需要开启worker线程进行操作，完成后通过postMessage方法传递消息给主页面通知ui进度条的更新，需要注意的是，worker线程方法不支持window对象，所以尽量不要使用第三方库，使用原生的XMLHttpRequest对象发起请求，需要的参数通过onmessage方法传递获取。

upload() {var file = document.getElementById("file").files[0];if (!file) {alert("请选择需要上传的文件");return;}if (file.size < pageData.chunkSize) {alert("选择的文件请大于" + pageData.chunkSize / 1024 / 1024 + "M")}var filesize = file.size;var filename = file.name;pageData.chunkCount = Math.ceil(filesize / pageData.chunkSize);this.createSimpleFileMD5(file, pageData.chunkSize, function(fileMD5) {console.log("计算文件MD：" + fileMD5);pageData.showProgress = true;var worker = new Worker('worker.js');var param = {token: GetTokenID(),uploadUrl: uploadUrl,filename: filename,filesize: filesize,fileMD5: fileMD5,groupguid: pageData.groupguid1,grouptype: pageData.grouptype1,chunkCount: pageData.chunkCount,chunkSize: pageData.chunkSize,file: file}worker.onmessage = function(event) {var workresult = event.data;if (workresult.code == 0) {pageData.percent = workresult.percent;if (workresult.percent == 100) {pageData.showProgress = false;worker.terminate();}} else {pageData.showProgress = false;worker.terminate();}}worker.postMessage(param);})}

worker.js执行方法如下：

functionFormAjax_Sync(token, data, url, success) {var xmlHttp = new XMLHttpRequest();xmlHttp.open("post", url, false);xmlHttp.setRequestHeader("token", token);xmlHttp.onreadystatechange = function() {if (xmlHttp.status == 200) {var result = JSON.parse(this.responseText);var status = this.statussuccess(result, status);}};xmlHttp.send(data);}onmessage = function(evt) {var data = evt.data;console.log(data)//传递的参数var token = data.tokenvar uploadUrl = data.uploadUrlvar filename = data.filenamevar fileMD5 = data.fileMD5var groupguid = data.groupguidvar grouptype = data.grouptypevar chunkCount = data.chunkCountvar chunkSize = data.chunkSizevar filesize = data.filesizevar filename = data.filenamevar file = data.filevar start = 0;var end;var index = 0;var startTime = new Date().getTime();while (start < filesize) {end = start + chunkSize;if (end > filesize) {end = filesize;}var chunk = file.slice(start, end); //切割文件var formData = new FormData();formData.append("file", chunk, filename);formData.append("fileMD5", fileMD5);formData.append("chunkCount", chunkCount)formData.append("chunkIndex", index);formData.append("chunkSize", end - start);formData.append("groupguid", groupguid);formData.append("grouptype", grouptype);//上传文件FormAjax_Sync(token, formData, uploadUrl, function(result, status) {var code = 0;var percent = 0;if (result.code == 0) {console.log("分片共" + chunkCount + "个" + ",已成功上传第" + index + "个")percent = parseInt((parseInt(formData.get("chunkIndex")) + 1) * 100 / chunkCount);} else {filesize = -1;code = -1console.log("分片第" + index + "个上传失败")}self.postMessage({ code: code, percent: percent });})start = end;index++;}console.log("上传分片总时间：" + (new Date().getTime() - startTime));console.log("分片完成");
}

文件分片接收
前端文件分片处理完毕后，接下来我们详细介绍下后端文件接受处理的方案，分片处理需要支持用户随时中断上传与文件重复上传，我们新建表f_attachchunk来记录文件分片的详细信息，表结构设计如下：

CREATE TABLE `f_attachchunk` (`ID` int(11) NOT NULL AUTO_INCREMENT,`ChunkGuid` varchar(50) NOT NULL,`FileMD5` varchar(100) DEFAULT NULL,`FileName` varchar(200) DEFAULT NULL,`ChunkSize` int(11) DEFAULT NULL,`ChunkCount` int(11) DEFAULT NULL,`ChunkIndex` int(11) DEFAULT NULL,`ChunkFilePath` varchar(500) DEFAULT NULL,`UploadUserGuid` varchar(50) DEFAULT NULL,`UploadUserName` varchar(100) DEFAULT NULL,`UploadDate` datetime DEFAULT NULL,`UploadOSSID` varchar(200) DEFAULT NULL,`UploadOSSChunkInfo` varchar(1000) DEFAULT NULL,`ChunkType` varchar(50) DEFAULT NULL,`MergeStatus` int(11) DEFAULT NULL,PRIMARY KEY (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=237 DEFAULT CHARSET=utf8mb4;

FileMD5：文件MD5唯一标识文件；
FileName：文件名称；
ChunkSize：分片大小；
ChunkCount：分片总数量；
ChunkIndex：分片对应序号；
ChunkFilePath：分片存储路径（本地存储文件方案使用）；
UploadUserGuid：上传人主键；
UploadUserName：上传人姓名；
UploadDate：上传人日期；
UploadOSSID：分片上传批次ID（云存储方案使用）；
UploadOSSChunkInfo：分片上传单片信息（云存储方案使用）；
ChunkType：分片存储方式（本地存储，阿里云，华为云，Minio标识）；
MergeStatus：分片合并状态（未合并，已合并）。
文件分片存储后端一共分为三步：
检查分片=》保存分片=》合并分片
我们这里先以本地文件存储为例讲解，云存储思路一致，后续会提供对应使用的api方法。

检查分片
检查分片以数据库文件分片记录的FIleMD5与ChunkIndex组合来确定分片的唯一性，因为本地分片temp文件是作为临时文件存储，可能会出现手动清除施放磁盘空间的问题，所以数据库存在记录我们还需要对应的检查实际文件情况。

boolean existChunk = false;AttachChunkDO dbChunk = attachChunkService.checkExistChunk(fileMD5, chunkIndex, "Local");if (dbChunk != null) {File chunkFile = new File(dbChunk.getChunkFilePath());if (chunkFile.exists()) {if (chunkFile.length() == chunkSize) {existChunk = true;} else {//删除数据库记录attachChunkService.delete(dbChunk.getChunkGuid());}} else {//删除数据库记录attachChunkService.delete(dbChunk.getChunkGuid());}}

保存分片
保存分片分为两块，文件存储到本地，成功后数据库插入对应分片信息。


//获取配置中附件上传文件夹String filePath = frameConfig.getAttachChunkPath() + "/" + fileMD5 + "/";//根据附件guid创建文件夹File targetFile = new File(filePath);if (!targetFile.exists()) {targetFile.mkdirs();}if (!existChunk) {//保存文件到文件夹String chunkFileName = fileMD5 + "-" + chunkIndex + ".temp";FileUtil.uploadFile(FileUtil.convertStreamToByte(fileContent), filePath, chunkFileName);//插入chunk表AttachChunkDO attachChunkDO = new AttachChunkDO(fileMD5, fileName, chunkSize, chunkCount, chunkIndex, filePath + chunkFileName, "Local");attachChunkService.insert(attachChunkDO);}

合并分片
在上传分片方法中，如果当前分片是最后一片，上传完毕后进行文件合并工作，同时进行数据库合并状态的更新，下一次同一个文件上传时我们可以直接拷贝之前合并过的文件作为新附件，减少合并这一步骤的I/O操作，合并文件我们采用BufferedOutputStream与BufferedInputStream两个对象，固定缓冲区大小。

if (chunkIndex == chunkCount - 1) {//合并文件String merageFileFolder = frameConfig.getAttachPath() + groupType + "/" + attachGuid;File attachFolder = new File(merageFileFolder);if (!attachFolder.exists()) {attachFolder.mkdirs();}String merageFilePath = merageFileFolder + "/" + fileName;merageFile(fileMD5, merageFilePath);attachChunkService.updateMergeStatusToFinish(fileMD5);//插入到附件库//设置附件唯一guidattachGuid = CommonUtil.getNewGuid();attachmentDO.setAttguid(attachGuid);attachmentService.insert(attachmentDO);}//java fhadmin.cn     publicvoidmerageFile(String fileMD5, String targetFilePath)throws Exception {String merageFilePath = frameConfig.getAttachChunkPath()+"/"+fileMD5+"/"+fileMD5+".temp";File merageFile = new File(merageFilePath);if(!merageFile.exists()){BufferedOutputStream destOutputStream = new BufferedOutputStream(new FileOutputStream(merageFilePath));List<AttachChunkDO> attachChunkDOList = attachChunkService.selectListByFileMD5(fileMD5, "Local");for (AttachChunkDO attachChunkDO : attachChunkDOList) {File file = new File(attachChunkDO.getChunkFilePath());byte[] fileBuffer = new byte[1024 * 1024 * 5];//文件读写缓存int readBytesLength = 0; //每次读取字节数BufferedInputStream sourceInputStream = new BufferedInputStream(new FileInputStream(file));while ((readBytesLength = sourceInputStream.read(fileBuffer)) != -1) {destOutputStream.write(fileBuffer, 0, readBytesLength);}sourceInputStream.close();}destOutputStream.flush();destOutputStream.close();}FileUtil.copyFile(merageFilePath,targetFilePath);}

云文件分片上传
云文件上传与本地文件上传的区别就是，分片文件直接上传到云端，再调用云存储api进行文件合并与文件拷贝，数据库相关记录与检查差异不大。

阿里云OSS
上传分片前需要生成该文件的分片上传组标识uploadid

 public String getUplaodOSSID(String key){key = "chunk/" + key + "/" + key;TenantParams.attach appConfig = getAttach();OSSClient ossClient = InitOSS(appConfig);String bucketName = appConfig.getBucketname_auth();InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, key);InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);String uploadId = upresult.getUploadId();ossClient.shutdown();return uploadId;}

上传分片时需要指定uploadid，同时我们要将返回的分片信息PartETag序列化保存数据库，用于后续的文件合并。

  public String uploadChunk(InputStream stream,String key, int chunkIndex, int chunkSize, String uploadId){key = "chunk/" + key + "/" + key;String result = "";try{TenantParams.attach appConfig = getAttach();OSSClient ossClient = InitOSS(appConfig);String bucketName = appConfig.getBucketname_auth();UploadPartRequest uploadPartRequest = new UploadPartRequest();uploadPartRequest.setBucketName(bucketName);uploadPartRequest.setKey(key);uploadPartRequest.setUploadId(uploadId);uploadPartRequest.setInputStream(stream);// 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。uploadPartRequest.setPartSize(chunkSize);// 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。uploadPartRequest.setPartNumber(chunkIndex+1);// 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);PartETag partETag = uploadPartResult.getPartETag();result = JSON.toJSONString(partETag);ossClient.shutdown();}catch (Exception e){logger.error("OSS上传文件Chunk失败:" + e.getMessage());}return result;}

合并分片时通过传递保存分片的PartETag对象数组进行操作，为了附件独立唯一性我们不直接使用合并后的文件，通过api进行文件拷贝副本使用。

public boolean merageFile(String uploadId, List<PartETag> chunkInfoList,String key,AttachmentDO attachmentDO,boolean checkMerge){key = "chunk/" + key + "/" + key;boolean result = true;try{TenantParams.attach appConfig = getAttach();OSSClient ossClient = InitOSS(appConfig);String bucketName = appConfig.getBucketname_auth();if(!checkMerge){CompleteMultipartUploadRequest completeMultipartUploadRequest = new CompleteMultipartUploadRequest(bucketName, key, uploadId, chunkInfoList);CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);}String attachKey = getKey(attachmentDO);ossClient.copyObject(bucketName,key,bucketName,attachKey);ossClient.shutdown();}catch (Exception e){e.printStackTrace();logger.error("OSS合并文件失败:" + e.getMessage());result = false;}return result;}

华为云OBS
华为云api与阿里云api大致相同，只有个别参数名称不同，直接上代码：

 public String getUplaodOSSID(String key) throws Exception {key = "chunk/" + key + "/" + key;TenantParams.attach appConfig = getAttach();ObsClient obsClient = InitOBS(appConfig);String bucketName = appConfig.getBucketname_auth();InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, key);InitiateMultipartUploadResult result = obsClient.initiateMultipartUpload(request);String uploadId = result.getUploadId();obsClient.close();return uploadId;}public String uploadChunk(InputStream stream, String key, int chunkIndex, int chunkSize, String uploadId) {key = "chunk/" + key + "/" + key;String result = "";try {TenantParams.attach appConfig = getAttach();ObsClient obsClient = InitOBS(appConfig);String bucketName = appConfig.getBucketname_auth();UploadPartRequest uploadPartRequest = new UploadPartRequest();uploadPartRequest.setBucketName(bucketName);uploadPartRequest.setUploadId(uploadId);uploadPartRequest.setObjectKey(key);uploadPartRequest.setInput(stream);uploadPartRequest.setOffset(chunkIndex * chunkSize);// 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。uploadPartRequest.setPartSize((long) chunkSize);// 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。uploadPartRequest.setPartNumber(chunkIndex + 1);// 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。UploadPartResult uploadPartResult = obsClient.uploadPart(uploadPartRequest);PartEtag partETag = new PartEtag(uploadPartResult.getEtag(), uploadPartResult.getPartNumber());result = JSON.toJSONString(partETag);obsClient.close();} catch (Exception e) {e.printStackTrace();logger.error("OBS上传文件Chunk:" + e.getMessage());}return result;}public boolean merageFile(String uploadId, List<PartEtag> chunkInfoList, String key, AttachmentDO attachmentDO, boolean checkMerge) {key = "chunk/" + key + "/" + key;boolean result = true;try {TenantParams.attach appConfig = getAttach();ObsClient obsClient = InitOBS(appConfig);String bucketName = appConfig.getBucketname_auth();if (!checkMerge) {CompleteMultipartUploadRequest request = new CompleteMultipartUploadRequest(bucketName, key, uploadId, chunkInfoList);obsClient.completeMultipartUpload(request);}String attachKey = getKey(attachmentDO);obsClient.copyObject(bucketName, key, bucketName, attachKey);obsClient.close();} catch (Exception e) {e.printStackTrace();logger.error("OBS合并文件失败:" + e.getMessage());result = false;}return result;}

Minio
文件存储Minio应用比较广泛，框架也同时支持了自己独立部署的Minio文件存储系统，Minio没有对应的分片上传api支持，我们可以在上传完分片文件后，使用composeObject方法进行文件的合并。

publicbooleanuploadChunk(InputStream stream, String key, int chunkIndex){boolean result = true;try {MinioClient minioClient = InitMinio();String bucketName = frameConfig.getMinio_bucknetname();PutObjectOptions option = new PutObjectOptions(stream.available(), -1);key = "chunk/" + key + "/" + key;minioClient.putObject(bucketName, key + "-" + chunkIndex, stream, option);} catch (Exception e) {logger.error("Minio上传Chunk文件失败:" + e.getMessage());result = false;}return result;}publicbooleanmerageFile(String key, int chunkCount, AttachmentDO attachmentDO, boolean checkMerge){boolean result = true;try {MinioClient minioClient = InitMinio();String bucketName = frameConfig.getMinio_bucknetname();key = "chunk/" + key + "/" + key;if (!checkMerge) {List<ComposeSource> sourceObjectList = new ArrayList<ComposeSource>();for (int i = 0; i < chunkCount; i++) {ComposeSource composeSource = ComposeSource.builder().bucket(bucketName).object(key + "-" + i).build();sourceObjectList.add(composeSource);}minioClient.composeObject(ComposeObjectArgs.builder().bucket(bucketName).object(key).sources(sourceObjectList).build());}String attachKey = getKey(attachmentDO);minioClient.copyObject(CopyObjectArgs.builder().bucket(bucketName).object(attachKey).source(CopySource.builder().bucket(bucketName).object(key).build()).build());} catch (Exception e) {logger.error("Minio合并文件失败:" + e.getMessage());result = false;}return result;}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/168712.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

基于侏儒猫鼬算法优化概率神经网络PNN的分类预测 - 附代码

基于侏儒猫鼬算法优化概率神经网络PNN的分类预测 - 附代码

基于侏儒猫鼬算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于侏儒猫鼬算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于侏儒猫鼬优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要&#xff1a;针对PNN神…
阅读更多...
关于提示SLF4J: Class path contains multiple SLF4J bindings的问题解决

关于提示SLF4J: Class path contains multiple SLF4J bindings的问题解决

今天搭建hbase的时候启动hbase的时候shell面板输入了一大堆日志&#xff0c;如下&#xff1a; stopping hbase.....................SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/software/hadoop-3.1.3/share/hadoop/common/l…
阅读更多...
hdlbits系列verilog解答（exams/m2014_q4f）-47

hdlbits系列verilog解答（exams/m2014_q4f）-47

文章目录 一、问题描述二、verilog源码三、仿真结果 一、问题描述 实现以下电路&#xff1a; 二、verilog源码 module top_module (input in1,input in2,output out);assign out in1 & (~in2);endmodule三、仿真结果 转载请注明出处&#xff01;
阅读更多...
实验题【网关设置+VRRP+静态路由+OSPF】（H3C模拟器）

实验题【网关设置+VRRP+静态路由+OSPF】（H3C模拟器）

嘿&#xff0c;这里是目录&#xff01; ⭐ H3C模拟器资源链接1. 实验示意图2. 要求和考核目标3. 当前配置3.1 PC1、PC2、PC3、PC4和PC5配置3.2 SW配置3.2.1 SW2配置3.2.2 SW3配置3.2.3 SW4配置3.2.4 SW1配置 3.2. R配置3.2.1 R1配置3.2.2 R2配置 ⭐ H3C模拟器资源链接 H3C网络…
阅读更多...
篮桥云课-摆玩具

篮桥云课-摆玩具

思维好题 一开始掉进了二分的陷阱&#xff0c;发现看看逐个位置的差&#xff0c;我们要分成k段就是要取消k-1个最大的逐差 然后将剩余的加起来就可以了 因为本体保证是从小到大给出的 这一点保证了答案的正确性&#xff0c;自己没想出来 还是太菜了 #include<bits/stdc.h&…
阅读更多...
Apache Superset数据分析平台如何实现公网实时远程访问数据【内网穿透】

Apache Superset数据分析平台如何实现公网实时远程访问数据【内网穿透】

文章目录 前言1. 使用Docker部署Apache Superset1.1 第一步安装docker 、docker compose1.2 克隆superset代码到本地并使用docker compose启动 2. 安装cpolar内网穿透&#xff0c;实现公网访问3. 设置固定连接公网地址 前言 Superset是一款由中国知名科技公司开源的“现代化的…
阅读更多...
从零开始学优惠券样式代码编写，让你的网站焕然一新！

从零开始学优惠券样式代码编写，让你的网站焕然一新！

样式1&#xff1a; 代码实例&#xff1a; <div class"box"><div class"itemBox"><div class"leftBox">全额抵扣</div><div class"rightBotton"><button>立即使用</button></div><…
阅读更多...
[BJDCTF 2020]easy_md5

[BJDCTF 2020]easy_md5

md5(string,raw) 所以首先我们要找到一个字符串&#xff0c;这个字符串经过md5得到的16位原始二进制的字符串能帮我们实现sql注入。 我们的目标就是要找一个字符串取32位16进制的md5值里带有276f7227这个字段的&#xff0c;接着就是要看关键的数字部分了&#xff0c;在276f72…
阅读更多...
Error running Tomcat8: Address localhost:1099 is already in use 错误解决

Error running Tomcat8: Address localhost:1099 is already in use 错误解决

摘要: 有时候运行web项目的时候会遇到 Error running Tomcat8: Address localhost:1099 is already in use 的错误&#xff0c;导致web项目无法运行。这篇 blog 介绍了解决办法。 有时候运行web项目的时候会遇到 Error running Tomcat8: Address localhost:1099 is already in …
阅读更多...
【广州华锐互动】Web3D云展编辑器能为展览行业带来哪些便利？

【广州华锐互动】Web3D云展编辑器能为展览行业带来哪些便利？

在数字时代中&#xff0c;传统的展览方式正在被全新的技术和工具所颠覆。其中&#xff0c;最具有革新意义的就是Web3D云展编辑器。这种编辑器以其强大的功能和灵活的应用&#xff0c;正在为展览设计带来革命性的变化。 广州华锐互动开发的Web3D云展编辑器是一种专门用于创建、编…
阅读更多...
Altium Designer学习笔记13

Altium Designer学习笔记13

0603电容封装的画法&#xff1a; 再画下三极管SOT-23的三极管的封装图&#xff1a; 画出三极管的封装图&#xff1a; 在画图的过程中&#xff0c;遇到了一个问题&#xff0c;画闭环线路的时候&#xff0c;就会被自动删除&#xff0c;查出是这个地方的配置需要进行修改。 那这个…
阅读更多...
电源控制系统架构（PCSA）之电源状态层级

电源控制系统架构（PCSA）之电源状态层级

目录 5.2 电源状态层级 5.2.1 Core电源状态 5.2.2 Cluster的电源状态 5.2.3 设备电源状态 5.2.4 SOC电源状态 5.2 电源状态层级 电源状态可以组织为电源状态表的层次结构。每个电源状态表描述在其层次结构级别上可用的电源状态。 从系统级电源控制的角度来看&#xff0c…
阅读更多...
吴恩达《机器学习》10-1-10-3:决定下一步做什么、评估一个假设、模型选择和交叉验证集

吴恩达《机器学习》10-1-10-3:决定下一步做什么、评估一个假设、模型选择和交叉验证集

一、决定下一步做什么 在机器学习的学习过程中&#xff0c;我们已经接触了许多不同的学习算法&#xff0c;逐渐深入了解了先进的机器学习技术。然而&#xff0c;即使在了解了这些算法的情况下&#xff0c;仍然存在一些差距&#xff0c;有些人能够高效而有力地运用这些算法&…
阅读更多...
RevCol实战：使用RevCol实现图像分类任务（一）

RevCol实战：使用RevCol实现图像分类任务（一）

文章目录 摘要安装包安装timm 数据增强Cutout和MixupEMA项目结构计算mean和std生成数据集 摘要 可逆柱状结构&#xff08;RevCol&#xff09;是一种网络结构&#xff0c;它受到GLOM&#xff08;Global Columnar Memory&#xff09;的启发。RevCol由N个子网络&#xff08;或称为…
阅读更多...
[SWPUCTF 2021 新生赛]no_wakeup

[SWPUCTF 2021 新生赛]no_wakeup

直接赋值即可 $a ->admin admin; $a ->passwd wllm; 发现没有绕过&#xff0c;改成大于2的绕过__wakeup 这是因为PHP在反序列化时会检查序列化字符串的长度&#xff0c;如果长度小于等于2&#xff0c;则不会调用__wakeup()方法。
阅读更多...
Windows环境搭建

Windows环境搭建

Windows环境搭建 一. jdk1.8安装1. 资源链接2. 安装3. 配置环境变量 一. jdk1.8安装 1. 资源链接 资源链接 提取码&#xff1a;tfms 2. 安装 1.双击下载好的JDK,点击下一步。 2.修改默认目录&#xff08;可不修改&#xff09;&#xff0c;点击下一步&#xff0c; 3. 点击下…
阅读更多...
EEG 脑电信号处理合集（2）： 信号预处理

EEG 脑电信号处理合集（2）： 信号预处理

脑电信号在采集完以后&#xff0c;需要进行一系列的预处理操作&#xff0c;然后才能用于后续的科学研究和计算。预处理是脑电信号分析最基本且重要的一步。基于python环境MNE库。 1 使用带通滤波器&#xff0c;信号滤波&#xff0c;去噪&#xff0c;去工频干扰 data_path sam…
阅读更多...
【SpringBoot篇】阿里云OSS—存储文件的利器

【SpringBoot篇】阿里云OSS—存储文件的利器

文章目录 &#x1f339;什么是阿里云OSS⭐阿里云OSS的优点 &#x1f3f3;️‍&#x1f308;为什么要使用云服务OSS&#x1f384;使用步骤⭐OSS开通⭐参考官方SDK &#x1f354;编写代码⭐上传文件 &#x1f339;综合案例 &#x1f339;什么是阿里云OSS 阿里云对象存储&#xf…
阅读更多...
Diffusion Model: DDPM

Diffusion Model: DDPM

本文相关内容只记录看论文过程中一些难点问题&#xff0c;内容间逻辑性不强&#xff0c;甚至有点混乱&#xff0c;因此只作为本人“备忘”&#xff0c;不建议其他人阅读。 Denoising Diffusion Probabilistic Models: https://arxiv.org/abs/2006.11239 DDPM 一、基于 已知…
阅读更多...
可观测性建设实践之 - 日志分析的权衡取舍

可观测性建设实践之 - 日志分析的权衡取舍

指标、日志、链路是服务可观测性的三大支柱&#xff0c;在服务稳定性保障中&#xff0c;通常指标侧重于发现故障和问题&#xff0c;日志和链路分析侧重于定位和分析问题&#xff0c;其中日志实际上是串联这三大维度的一个良好桥梁。 但日志分析往往面临成本和效果之间的权衡问…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站