rust zip异步压缩与解压

在使用actix-web框架的时候,如果使用zip解压任务将会占用一个工作线程,因为zip库是同步阻塞的,想用异步非阻塞需要用另一个库,下面列出同步解压,跟异步解压的两个方法实现,异步解压不会占用工作线程。注意:debug模式下rust异步压缩会很慢,打包成release之后就非常快了。

压缩

依赖

tokio = { version = "1.35.1", features = ["macros"] }
tokio-util = "0.7.10"
async_zip = { version = "0.0.17", features = ["tokio", "tokio-fs", "deflate"] }
futures-lite = "2.3.0"
anyhow = "1.0.44"

rust代码

use anyhow::anyhow;
use async_zip::tokio::read::seek::ZipFileReader;
use async_zip::tokio::write::ZipFileWriter;
use async_zip::{Compression, DeflateOption, ZipEntryBuilder};
use futures_lite::AsyncWriteExt;
use std::path::{Path, PathBuf};
use tokio::fs::File;
use tokio::fs::{create_dir_all, OpenOptions};
use tokio::fs::{read_dir, remove_dir_all};
use tokio::io::{AsyncBufReadExt, AsyncReadExt, BufReader};
use tokio_util::compat::TokioAsyncWriteCompatExt;
use tokio_util::compat::{FuturesAsyncWriteCompatExt, TokioAsyncReadCompatExt};//读取文件夹文件
async fn dirs(dir: PathBuf) -> Result<Vec<PathBuf>, anyhow::Error> {let mut dirs = vec![dir];let mut files = vec![];while !dirs.is_empty() {let mut dir_iter = read_dir(dirs.remove(0)).await?;while let Some(entry) = dir_iter.next_entry().await? {let entry_path_buf = entry.path();if entry_path_buf.is_dir() {dirs.push(entry_path_buf);} else {files.push(entry_path_buf);}}}Ok(files)
}//压缩单个文件
async fn zip_entry(input_path: &Path,file_name: &str,zip_writer: &mut ZipFileWriter<File>,
) -> Result<(), anyhow::Error> {let mut input_file = File::open(input_path).await?;let builder = ZipEntryBuilder::new(file_name.into(), Compression::Deflate).deflate_option(DeflateOption::Normal);let mut entry_writer = zip_writer.write_entry_stream(builder).await?;futures_lite::io::copy(&mut input_file.compat(), &mut entry_writer).await?;entry_writer.close().await?;return Ok(());
}//压缩
pub async fn zip(input_path: &Path, out_path: &Path) -> Result<(), anyhow::Error> {let file = File::create(out_path).await?;let mut writer = ZipFileWriter::with_tokio(file);let input_dir_str = input_path.as_os_str().to_str().ok_or(anyhow!("Input path not valid UTF-8."))?;if input_path.is_file() {let file_name = input_path.file_name().ok_or(anyhow!("File name not found.".to_string()))?.to_string_lossy();zip_entry(input_path, &file_name, &mut writer).await?;} else {let entries = dirs(input_path.into()).await?;for entry_path_buf in entries {let entry_path = entry_path_buf.as_path();let entry_str = entry_path.as_os_str().to_str().ok_or(anyhow!("Directory file path not valid UTF-8."))?;let file_name = &entry_str[(input_dir_str.len() + 1)..];zip_entry(entry_path, file_name, &mut writer).await?;}}writer.close().await?;Ok(())
}//解压
pub async fn unzip<T: AsRef<Path>>(path: T, out_path: T) -> Result<(), anyhow::Error> {let out_path = out_path.as_ref();if out_path.exists() {remove_dir_all(out_path).await?;} else {create_dir_all(out_path).await?;}let path = path.as_ref();let file = File::open(path).await?;let reader = BufReader::new(file);let mut zip = ZipFileReader::with_tokio(reader).await?;for index in 0..zip.file().entries().len() {let entry = zip.file().entries().get(index).ok_or(anyhow!("zip entry not found".to_string()))?;let raw = entry.filename().as_bytes();let mut file_name = &String::from_utf8_lossy(raw).to_string(); //必需转换为utf8,否则有乱码let zip_path = out_path.join(file_name);if file_name.ends_with("/") {create_dir_all(&zip_path).await?;continue;}if let Some(p) = zip_path.parent() {if !p.exists() {create_dir_all(p).await?;}}let mut entry_reader = zip.reader_without_entry(index).await?;let mut writer = OpenOptions::new().write(true).create_new(true).open(&zip_path).await?;futures_lite::io::copy(&mut entry_reader, &mut writer.compat_write()).await?;}Ok(())
}

测试

#[cfg(test)]
mod tests {use super::*;#[tokio::test]async fn test_zip() -> Result<(), anyhow::Error> {let path = Path::new("file/tmp/test");zip(path, Path::new("file/tmp/out.zip")).await?;Ok(())}#[tokio::test]async fn test_unzip() -> Result<(), anyhow::Error> {let path = Path::new("file/tmp/a/out.zip");unzip(path, Path::new("file/tmp")).await?;Ok(())}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/805955.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++ 线程库(thread)与锁(mutex)

一.线程库(thread) 1.1 线程类的简单介绍 thread类文档介绍 在C11之前&#xff0c;涉及到多线程问题&#xff0c;都是和平台相关的&#xff0c;比如windows和linux下各有自己的接口&#xff0c;这使得代码的可移植性比较差。C11中最重要的特性就是对线程进行支持了&#xff…

操作系统的基础知识:操作系统的特征:并发,共享,虚拟,异步

操作系统的特性&#xff1a; 1.并发 并发:指两个或多个事件在同一时间间隔内发生。这些事件宏观上是同时发生的&#xff0c;但微观上是交替注意&#xff1a;并行:指两个或多个事件在同一时刻同时发生。 操作系统的并发性指计算机系统中“同时”运行着多个程序&#xff0c;这…

graphicLayer.startDraw({开启连续绘制isContinued之后,无法获取连续标绘的坐标数据

摘要&#xff1a;graphicLayer.startDraw({开启连续绘制isContinued之后&#xff0c;无法获取连续标绘的坐标数据的解决方案 问题前景&#xff1a; graphicLayer.startDraw({开启连续绘制isContinued之后&#xff0c;.then()方法只走一次&#xff0c;无法获取连续标绘的所有坐…

Qt中显示hex数据的控件

效果类似QTextEdit&#xff0c;但是显示十六进制的数据&#xff0c;比如用于显示抓取串口或者bin文件的数据等等 chunks.h #ifndef CHUNKS_H #define CHUNKS_H/** \cond docNever *//*! The Chunks class is the storage backend for QHexEdit.** When QHexEdit loads data, C…

Java中的循环语句

目录 第一章、Java中的for循环介绍for循环for-each/增强for循环嵌套for循环 第一章、遍历List集合的几种方式简单的for循环增强型for循环Iterator迭代器ListIterator列表迭代器while循环Iterable.forEach()方法Stream.forEach()方法 第一章、Java中的for循环介绍 for循环 ①普…

【Linux】shell 脚本基础使用

在终端中输入命令可以完成一些常用的操作&#xff0c;但是我们都是一条一条输入命令&#xff0c;比较麻烦&#xff0c;为了解决这个问题&#xff0c;就会涉及到 shell 脚本&#xff0c;它可以将很多条命令放到一个文件里面&#xff0c;然后直接运行这个文件即可。 shell 脚本类…

【3GPP】【核心网】核心网/蜂窝网络重点知识面试题二(超详细)

1. 欢迎大家订阅和关注&#xff0c;3GPP通信协议精讲&#xff08;2G/3G/4G/5G/IMS&#xff09;知识点&#xff0c;专栏会持续更新中.....敬请期待&#xff01; 目录 1. 对于主要的LTE核心网接口&#xff0c;给出运行在该接口上数据的协议栈&#xff0c;并给出协议特征 2. 通常…

Centos7使用docker安装Jenkins(含pipeline脚本语句)

一、下载Jenkins docker pull jenkins/jenkins:lts 二、启动Jenkins docker run \-u root \--rm \-d \-p 8081:8080 \-p 50000:50000 \-v /root/docker/jenkins/var/jenkins_home:/var/jenkins_home \-v /var/run/docker.sock:/var/run/docker.sock \-v /usr/bin/docker:/usr…

番外篇 | YOLOv8改进之引入YOLOv9的ADown模块 | 替换YOLOv8卷积

前言:Hello大家好,我是小哥谈。YOLOv9是一种目标检测算法,而ADown模块是YOLOv9中的一个重要组成部分。ADown模块主要用于特征提取和下采样操作,以便在后续的检测任务中更好地捕捉目标的特征。具体来说,ADown模块是YOLOv9中的一个卷积块,由一系列卷积层和池化层组成。它的…

spring boot —— Spring-Cloud-Zuul(网关服务getway),kafka笔记

一、 引入zuul依赖&#xff1a; org.springframework.cloud spring-cloud-starter-zuul 二、创建应用主类。使用EnableZuulProxy注解开启zuul的API网关服务功能&#xff1a; EnableZuulProxy SpringCloudApplication public class Application { public static void mai…

FPN(Feature Pyramid Network)详解

文章涉及个人理解部分&#xff0c;可能有不准确的地方&#xff0c;敬请指正 0. 概述 FPN&#xff0c;全名Feature Pyramid Networks&#xff0c;中文称为特征金字塔网络。它是2017年cvpr上提出的一种网络&#xff0c;主要解决的是目标检测中的多尺度问题。FPN通过简单的网络连…

第十四届蓝桥杯省赛真题-幸运数

代码及解析: #include <iostream> using namespace std;bool check(int x) {int tmpx,len0;while(tmp){len;tmp/10;}//算位数的方法 if(len%21)return 0;//直接retrun 0 int tlen/2;int ans10,ans20;while(t--){ans1x%10;//加每一位x/10; }while(x){ans2x%10;x/10;}if(…

AOF文件重写

1.2.3.AOF文件重写 因为是记录命令&#xff0c;AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作&#xff0c;但只有最后一次写操作才有意义。通过执行bgrewriteaof命令&#xff0c;可以让AOF文件执行重写功能&#xff0c;用最少的命令达到相同效果。 如图&am…

类和对象(一)

面向过程和面向对象初步认识 C语言是面向过程的&#xff0c;关注的是过程&#xff0c;分析出求解问题的步骤&#xff0c;通过函数调用逐步解决问题。 C是基于面向对象的&#xff0c;关注的是对象&#xff0c;将一件事情拆分成不同的对象&#xff0c;靠对象之间的交互完成。 类的…

LeetCode 239. 滑动窗口最大值

滑动窗口最大值 给你一个整数数组 nums&#xff0c;有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回 滑动窗口中的最大值 。 示例 1&#xff1a; 输入&#xff1a;nums [1,3,-1,-3,…

双碳目标下太阳辐射预报模式【WRF-SOLAR】及改进技术在气象、农林、电力等相关领域中的应用

太阳能是一种清洁能源&#xff0c;合理有效开发太阳能资源对减少污染、保护环境以及应对气候变化和能源安全具有非常重要的实际意义&#xff0c;为了实现能源和环境的可持续发展&#xff0c;近年来世界各国都高度重视太阳能资源的开发利用&#xff1b;另外太阳辐射的光谱成分、…

2024字节跳动春季招聘必备:Spring Transaction面试题全攻略,99%的候选人都推荐收藏!

随着微服务架构和分布式系统的广泛应用&#xff0c;事务管理作为确保数据一致性和系统稳定性的关键技术&#xff0c;其重要性日益凸显。Spring Framework作为企业级应用开发的首选框架&#xff0c;其提供的事务管理功能强大而灵活&#xff0c;能够满足现代应用开发的复杂需求。…

C++继承之private继承

1 概述 通过继承机制&#xff0c;可以利用已有的对象类型来定义新对象类型。所定义的新对象类型不仅仅拥有新定义的成员&#xff0c;而且还同时拥有旧的成员。我们称已存在的用来派生新类的类为基类&#xff0c;又称为父类。由已存在的类派生出的新类称为派生类&#xff0c;又称…

高可用系列二:绝对核心——服务请求幂等

服务请求幂等&#xff0c;简单地解释可以为同一次请求&#xff0c;因为各种原因重试时得到的结果一致或者可被识别&#xff0c;这里的结果一致指的是对于平台数据的变更影响&#xff0c;比如重复提交同一订单&#xff0c;会不会生成重复订单。从上一篇&#xff08;高可用系列一…

T527 Qt 触摸 ----- TSLIB

一、调试 1、驱动路径 bsp/drivers/input/ctp/gt9xx/gt9xx_ts.c 2、硬件接口 挂载在TWI0下 3、中断复位脚 4、设备树 &twi0 {clock-frequency <400000>;pinctrl-0 <&twi0_pins_default>;pinctrl-1 <&twi0_pins_sleep>;pinctrl-names &quo…