微服务即时通信系统---（七）文件管理子服务

目录

功能设计

模块划分

业务接口/功能示意图

服务实现流程

服务代码实现

封装文件操作模块（utils.hpp）

获取唯一标识ID

文件读操作

文件写操作

编写proto文件

文件元信息

文件管理proto

单文件上传

多文件上传

单文件下载

多文件下载

RPC调用

服务端创建子类（FileManageServiceImpl）完成RPC服务调用函数重写

SingleFileUp（单文件上传）

MultiFileUp（多文件上传）

SingleFileDown（单文件下载）

MultiFileDown（多文件下载）

RPC服务端代码（总）

服务端完成文件管理子服务类（FileManageServer）

注意

实例化服务类对象，启动服务

工程系统构建配置文件（CMakeLists.txt）

服务测试

本章节，主要对项目中文件管理子服务模块进行分析、开发与测试。

功能设计

文件管理子服务，主要提供两个功能：文件的上传和文件的下载，因此，文件管理子服务主要提供4个功能性接口：

1、单个文件的上传：主要用于后台，将收到的文件消息进行存储。

2、多个文件的上传：主要用于后台，将收到的文件消息进行存储。

3、单个文件的下载：在后台用于获取头像文件数据，以及客户端用于获取文件数。

4、多个文件的下载：在后台用于大批量获取头像文件数据，以及前端的批量文件下载。

模块划分

参数/配置文件解析模块基于gflags框架直接使用，进行参数/配置文件的解析。
日志模块基于spdlog封装的logger 直接进行日志输出。
服务注册模块基于etcd框架封装的注册模块 直接进行文件管理子服务模块的服务注册。
RPC服务模块基于brpc框架 搭建文件管理子服务的RPC服务器。
文件操作模块基于标准库的文件流操作实现文件的读写封装，用于文件操作。

业务接口/功能示意图

文件上传：

文件下载/获取：

服务实现流程

1、实现文件操作模块的封装（utils.hpp），其中包括 文件读操作、文件写操作，外加一个获取唯一标识ID的操作（用于用户ID、文件ID等）。
2、编写服务所需的proto文件，利用protoc工具生成RPC服务器所需的.pb.h 和 .pb.cc 项目文件。
3、服务端 创建子类，继承于proto文件中RPC调用类，并进行功能性接口函数重写。
4、服务端 完成文件管理子服务类。
5、实例化 服务类对象，启动服务。

服务代码实现

封装文件操作模块（utils.hpp）

获取唯一标识ID

在代码中，文件ID、用户ID 或者是 会话ID 都由此处操作来获取。

这里使用16个随机的字符串 组成这个唯一的标识ID。

实现思想：

1、先生成6个 0 ~ 255 内的随机数字，而1 个 字节，为 8位。再将这8位，分成4 4 位，每4位转换成1个16进制数字，从而 1个随机数字 转换成 2个 16位数字。至此，得到12 位 随机16进制字符。

2、再通过一个 静态变量，生成一个2 字节的 编号数字，同样 转换成 4 个 16位数字。至此，得到4位 随机16进制字符。

3、将1和2进行拼接，得到16个随机的字符串。

utils.hpp：

    // 生成一个唯一标识IDstd::string uuid(){// 1. 生成12位16进制字符std::random_device rd;                                   // 实例化设备随机数对象, 用于生成设备随机数(唯一性更强)std::mt19937 generator(rd());                            // 以设备随机数为种子, 实例化随机数对象(mt19937:一种生成随机数的方式)std::uniform_int_distribution<int> distribution(0, 255); // 限定生成随机数的范围std::stringstream ss;for (int i = 0; i < 6; ++i){if (i == 2)ss << "-"; // 添加-, 最终形式为: xxxx-yyyy-zzzz-ddddss << std::setw(2) << std::setfill('0') << std::hex << distribution(generator);// distribution(generator) : 生成一个 0-255的随机数// std::hex + std::setw(2) : 转换为 2个 16进制数// std::setfill('0'): 不足的,前面用0填充}// 2. 通过静态变量生成 4位 16进制字符ss << "-";static std::atomic<short> idx(0);short tmp = idx.fetch_add(1);ss << std::setw(4) << std::setfill('0') << std::hex << tmp;return ss.str();}

文件读操作

通过传入文件名 和 承接文件内容的string，用来获取文件内容。

实现思想：

1、根据文件名打开文件。

2、跳转文件内部指针，获取文件指针偏移量（文件大小）。

3、再将文件内部指针跳转开头，进行读取文件内容。

4、关闭文件。

utils.hpp：

    // 读取文件bool ReadFile(const std::string &file_name, std::string &body){std::ifstream ifs(file_name, std::ios::in | std::ios::binary);if (ifs.is_open() == false){LOG_ERROR("打开文件失败, file_name: {}", file_name);return false;}ifs.seekg(0, std::ios::end);size_t file_size = ifs.tellg();ifs.seekg(0, std::ios::beg);body.resize(file_size);ifs.read(&body[0], file_size);if (ifs.good() == false){LOG_ERROR("读取文件失败, file_name: {}", file_name);ifs.close();return false;}ifs.close();return true;}

文件写操作

通过传入文件名 和 想要写入的内容，用来向文件写入数据。

实现思想：

1、根据文件名打开文件。

2、写入数据。

3、关闭文件。

utils.hpp：

    // 写入文件bool WriteFile(const std::string &file_name, const std::string &body){std::ofstream ofs(file_name, std::ios::out | std::ios::binary | std::ios::trunc); // 覆盖式写入if (ofs.is_open() == false){LOG_ERROR("打开文件失败, file_name: {}", file_name);return false;}ofs.write(body.c_str(), body.size());if (ofs.good() == false){LOG_ERROR("写入文件失败, file_name: {}", file_name);ofs.close();return false;}ofs.close();return true;}

编写proto文件

文件元信息

首先对于文件来说，不光需要编写文件的上传/下载的proto文件，文件还需要有它的元信息（文件ID、文件名称、文件大小、文件内容），并且后续用户发送的消息里面，也可能是文件，需要我们进行识别，所以将文件的元信息，单独放在一个proto文件里面（后续用户元信息、会话元信息、图像元信息、语音元信息、字符串消息元信息都放在里面）。统称为 base.proto

文件元信息（FileInfo）成员：

1、file_id：文件ID。

2、file_size：文件大小。

3、file_name：文件名称。

4、file_content：文件内容。

// ------文件元信息------
message FileInfo
{optional string file_id = 1;optional int64 file_size = 2;optional string file_name = 3;optional bytes file_content = 4;
};

考虑到多文件上传/下载需要repeated的相同信息，所以将文件的上传和下载所需要的信息也放进来。 

// ------文件元信息 + 文件上传/下载信息------
message FileInfo
{optional string file_id = 1;optional int64 file_size = 2;optional string file_name = 3;optional bytes file_content = 4;
};
message FileUpInfo
{string file_name = 1;int64 file_size = 2;bytes file_content = 3;
};
message FileDownInfo
{string file_id = 1;bytes file_content = 2;
};

文件管理proto

既然文件管理模块有4个功能性接口，那么就有4个对应的请求与响应结构，以及最终的PRC调用（fileManage.proto）。

单文件上传

SingleFileUpReq包含成员：

1、请求ID：标识请求的唯一性。

2、文件上传信息：存储文件上传所需信息（文件名、文件大小、文件内容）。

3、用户ID（optional）：标明来自哪个用户。

4、会话ID(optional）：标明来自哪个会话。

SingleFileUpResp包含成员：

1、请求ID：对应请求中的请求ID，标识请求唯一性。

2、成功标识：标识该次请求的处理结果。

3、错误信息（optional）：如果处理出错，记录出错信息。

4、文件元信息：存储文件元信息（文件ID、文件大小、文件名、文件内容）。

// ------单文件上传------
message SingleFileUpReq
{string req_id = 1;FileUpInfo file_up_info = 2;optional string user_id = 3;optional string session_id = 4;
};
message SingleFileUpResp
{string req_id = 1;bool success = 2;optional string err_msg = 3;optional FileInfo file_info = 4;
};
多文件上传

多文件上传和单文件上传没啥不同的，就是里面的文件东西，由列表来构成。

// ------多文件上传------
message MultiFileUpReq
{string req_id = 1;repeated FileUpInfo file_up_info_list = 2;optional string user_id = 3;optional string session_id = 4;
};
message MultiFileUpResp
{string req_id = 1;bool success = 2;optional string err_msg = 3;repeated FileInfo file_info_list = 4;
};
单文件下载

SingleFileDownReq包含成员：

1、请求ID：标识请求的唯一性。

2、文件ID：根据文件ID才能找到文件。

3、用户ID（optional）：标明来自哪个用户。

4、会话ID(optional）：标明来自哪个会话。

SingleFileDownResp包含成员：

1、请求ID：对应请求中的请求ID，标识请求唯一性。

2、成功标识：标识该次请求的处理结果。

3、错误信息（optional）：如果处理出错，记录出错信息。

4、文件下载信息：存储文

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/71025.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

fluent-ffmpeg 依赖详解

fluent-ffmpeg 依赖详解

fluent-ffmpeg 是一个用于在 Node.js 环境中与 FFmpeg 进行交互的强大库&#xff0c;它提供了流畅的 API 来执行各种音视频处理任务&#xff0c;如转码、剪辑、合并等。 一、安装 npm install fluent-ffmpeg二、基本使用 要使用 fluent-ffmpeg&#xff0c;首先需要确保系统中…
阅读更多...
第16天：C++多线程完全指南 - 从基础到现代并发编程

第16天：C++多线程完全指南 - 从基础到现代并发编程

第16天&#xff1a;C多线程完全指南 - 从基础到现代并发编程 一、多线程基础概念 1. 线程创建与管理&#xff08;C11&#xff09; #include <iostream> #include <thread>void hello() {std::cout << "Hello from thread " << std::this_…
阅读更多...
Pwntools 的详细介绍、安装指南、配置说明

Pwntools 的详细介绍、安装指南、配置说明

Pwntools&#xff1a;Python 开源安全工具箱 一、Pwntools 简介 Pwntools 是一个由 Security researcher 开发的 高效 Python 工具库&#xff0c;专为密码学研究、漏洞利用、协议分析和逆向工程设计。它集成了数百个底层工具的功能&#xff0c;提供统一的 Python API 接口&am…
阅读更多...
ES的简单讲解

ES的简单讲解

功能 &#xff1a; 文档存储 与 文档搜索 特点&#xff1a;比如有一个文档名 “你好” 可以用‘你‘&#xff0c;好&#xff0c;你好都可以搜索到这个文档 ES核心概念 类似于数据库中表的概念&#xff0c;在表的概念下又对数据集合进行了细分 ​ ES_Client查询接口 cpr::R…
阅读更多...
leetcode_字典树 139. 单词拆分

leetcode_字典树 139. 单词拆分

139. 单词拆分 给你一个字符串 s 和一个字符串列表 wordDict 作为字典。如果可以利用字典中出现的一个或多个单词拼接出 s 则返回 true。 注意&#xff1a;不要求字典中出现的单词全部都使用&#xff0c;并且字典中的单词可以重复使用。 思路: 定义状态&#xff1a; 设dp[i]表…
阅读更多...
宝塔安装向量数据库-Milvus

宝塔安装向量数据库-Milvus

注&#xff1a;宝塔需要安装好docker容器组件&#xff01; 1、纯血宝塔安装 1.1 在线上镜像中&#xff0c;拉取milvus镜像&#xff0c;创建milvus容器 1.2 安装milvus管理工具ATTU&#xff1b;同样方式拉取线上镜像创建attu容器 2、自定义安装 2.1修改配置 {"registry-…
阅读更多...
【K8S】Kubernetes 基本架构、节点类型及运行流程详解（附架构图及流程图）

【K8S】Kubernetes 基本架构、节点类型及运行流程详解（附架构图及流程图）

Kubernetes 架构 k8s 集群 多个 master node 多个 work nodeMaster 节点&#xff08;主节点&#xff09;&#xff1a;负责集群的管理任务&#xff0c;包括调度容器、维护集群状态、监控集群、管理服务发现等。Worker 节点&#xff08;工作节点&#xff09;&#xff1a;实际运…
阅读更多...
数据库MySQL，在终端输入后，提示不是内部命令等

数据库MySQL，在终端输入后，提示不是内部命令等

【解决问题】mysql提示不是内部或外部命令&#xff0c;也不是可运行的程序 一般这种问题是因为没有在系统变量里面添加MySQL的可执行路径 以下是添加可执行路径的方法&#xff1a; 第一步&#xff1a;winR输入services.msc 然后找到MySQL&#xff0c;右击属性并复制MySQL的可执…
阅读更多...
Python 中的线程模块

Python 中的线程模块

Python 中的线程模块 Python 中的线程模块 Python 中的线程模块 thread 模块是一个标准模块&#xff0c;提供了简单易用的方法为程序构建多线程。在幕后&#xff0c;该模块使用较低级的 _thread 模块&#xff0c;在 Python 早期版本中&#xff0c;该模块是多线程的流行选择。 …
阅读更多...
PhotoShop学习01

PhotoShop学习01

了解Photoshop 这里省略了Photoshop的软件安装&#xff0c;请自行查找资源下载。 1.打开图片 下图为启动photoshop后出现的界面&#xff0c;我们可以通过创建新文件或打开已有文件来启用photoshop的工作界面。 可以通过左边的按钮进行新文件的创建或打开已有文件。 也可以点…
阅读更多...
Python大战Java：AI时代的编程语言‘复仇者联盟‘能否换C位？

Python大战Java：AI时代的编程语言‘复仇者联盟‘能否换C位？

背景 当Java程序员在咖啡机前念叨’Python凭什么抢我饭碗’时&#xff0c;AI实验室里的Python工程师正用5行代码召唤出神经网络——这场编程语言的’权力的游戏’&#xff0c;胜负可能比你想象的更魔幻&#xff01;" 一、茶水间里的战争&#xff1a;Java和Python的相爱相…
阅读更多...
GitCode 助力 python-office：开启 Python 自动化办公新生态

GitCode 助力 python-office：开启 Python 自动化办公新生态

项目仓库&#xff1a;https://gitcode.com/CoderWanFeng1/python-office 源于需求洞察&#xff0c;打造 Python 办公神器 项目作者程序员晚枫在运营拥有 14w 粉丝的 B 站账号 “Python 自动化办公社区” 时&#xff0c;敏锐察觉到非程序员群体对 Python 学习的强烈需求。在数字…
阅读更多...
javaweb + AI day03

javaweb + AI day03

一、web基础 二、分层解耦 注意&#xff1a;bean的名字默认是类名的首字母小写&#xff01;&#xff01;&#xff01; 三、Mysql count不参与null值统计 四、JDBC 五、MyBatis 数据库连接池
阅读更多...
运行程序时出现加载配置文件时出错，对路径****的访问被拒绝

运行程序时出现加载配置文件时出错，对路径****的访问被拒绝

问题&#xff1a;最近给客户用c#语言编写进销存项目&#xff0c;在用vs2022自带的打包工具Microsoft visual studio installer projects 打包生成了安装文件&#xff0c;顺利安装后&#xff0c;点击桌面快捷方式后出现如下错误 经过查询相关资料发现是桌面快捷方式的权限问题&a…
阅读更多...
基于C#的CANoe CLR Adapter开发指南

基于C#的CANoe CLR Adapter开发指南

一、引言 CANoe 是一款广泛应用于汽车电子开发和测试的工具&#xff0c;它支持多种编程接口&#xff0c;方便开发者进行自定义扩展。CANoe CLR Adapter 允许我们使用 C# 语言与 CANoe 进行交互&#xff0c;充分利用 C# 的强大功能和丰富的类库。本文将详细介绍如何基于 C# 进行…
阅读更多...
conda怎么迁移之前下载的环境包，把python从3.9升级到3.10

conda怎么迁移之前下载的环境包，把python从3.9升级到3.10

克隆旧环境&#xff08;保留旧环境作为备份&#xff09; conda create -n cloned_env --clone old_env 在克隆环境中直接升级 Python conda activate cloned_env conda install python3.10 升级 Python 后出现 所有包导入失败 的问题&#xff0c;通常是因为依赖包与新 Pyth…
阅读更多...
一文掌握 Scrapy 框架的详细使用，包括实战案例

一文掌握 Scrapy 框架的详细使用，包括实战案例

更多内容请见： 爬虫和逆向教程-专栏介绍和目录 文章目录 1. Scrapy 简介2. Scrapy 的核心组件3. 安装 Scrapy4. 创建 Scrapy 项目4.1 创建项目4.2 创建 Spider5. 编写 Spider5.1 定义 Item5.2 编写 Spider 逻辑6. 运行 Scrapy 爬虫6.1 运行爬虫6.2 保存爬取数据7. Scrapy 的高…
阅读更多...
笔试-查找最长公共字符串

笔试-查找最长公共字符串

应用 以字符串形式给定两行代码&#xff0c;1<长度<100&#xff0c;由字母、数字、空格组成。请找出最长公共子字符串&#xff0c;如果不存在返回空字符串。 实现 str1 input("请输入字符串1&#xff1a;") str2 input("请输入字符串2&#xff1a;&q…
阅读更多...
【三维分割】LangSplat: 3D Language Gaussian Splatting（CVPR 2024 highlight）

【三维分割】LangSplat: 3D Language Gaussian Splatting（CVPR 2024 highlight）

论文&#xff1a;https://arxiv.org/pdf/2312.16084 代码&#xff1a;https://github.com/minghanqin/LangSplat 文章目录 一、3D language field二、回顾 Language Fields的挑战三、使用SAM学习层次结构语义四、Language Fields 的 3DGS五、开放词汇查询&#xff08;Open-voca…
阅读更多...
haclon固定相机位标定

haclon固定相机位标定

什么是标定&#xff1f; 工业应用中相机拍到一个mark点的坐标为C1&#xff08;Cx,Cy&#xff09;&#xff0c;C1点对应的龙门架/机械手等执行端对应的坐标是多少&#xff1f; 标定就是解决这个问题&#xff0c;如相机拍到一个点坐标C1&#xff08;Cx,Cy&#xff09;&#xff0c…
阅读更多...
最新文章

Copyright @ 2022~2023