Java分布式篇5—

Java分布式篇5——FastDFS

分布式文件系统

1、主流的分布式文件系统

1.1、 HDFS

(Hadoop Distributed File System)Hadoop 分布式文件系统

高容错的系统，适合部署到廉价的机器上
能提供高吞吐量的数据访问，非常适合大规模数据应用
HDFS采用主从结构，一个HDFS是由一个name节点和N个data节点组成
name节点储存元数据，一个文件分割成N份存储在不同的data节点上
生态好

1.2、GFS

Google File System

可扩展的分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用
运行于廉价的普通硬件上，可以提供容错功能
它可以给大量的用户提供总体性能较高的服务
GFS采用主从结构，一个GFS集群由一个master和大量的chunkserver（分块服务器）组成
一个文件被分割若干块，分散储存到多个分块server中

1.3、FastDFS

fastDFS特别适合图片，小视频等小文件，因为fastDFS对文件是不分割的，所以没有文件合并的开销
网络通信用socket，速度快

2、工作原理

在这里插入图片描述

Tracker（追踪者）：负载均衡和调度，它管理着存储服务（Storage Server），可以集群，实现高可用
Storage（仓库）：文件存储的位置
- storage集群采用分组的方式，同组内的每台服务器是平等关系，数据同步，目的是实现数据备份，从而高可用，而不同组的服务器之间是不通信的
- 同组内的每台服务器的存储量不一致的情况下，会选取容量最小的那个，所以同组内的服务器之间软硬件最好保持一致
- Storage Server会连接集群中的所有Tracker Server，定时向他们汇报自己的状态，例如：剩余空间，文件同步情况，文件上传下载次数等信息

3、上传下载原理

3.1、上传

在这里插入图片描述

3.2、下载

在这里插入图片描述

4、FastDFS安装

libfastcommon 百度云：https://pan.baidu.com/s/1js5_xYNU_d1wV29BF1GQIg提取码：4q2m

FastDFS_v5.05 百度云：https://pan.baidu.com/s/11hBxbbxy6cneRYTLjOgXYg提取码：2rxp

4.1、安装gcc环境

yum install -y gcc gcc-c++

4.2、安装libevent

yum -y install libevent

4.3、安装libfastcommon

#安装解压zip包工具
yum install -y unzip
#解压zip
unzip libfastcommon.zip
#进入目录
cd libfastcommon-master
#编译
./make.sh
#如果出现权限不允许
chmod 777 make.sh
./make.sh
#安装
./make.sh install

4.4、安装Tracker

#解压
tar -zxvf FastDFS_v5.05.tar.gz
#进入目录
cd FastDFS
#编译
./make.sh
#安装
./make.sh install

4.5、拷贝配置文件

cp /usr/local/fastdfs/FastDFS/conf/* /etc/fdfs/

4.6、配置Tracker

#作为文件存储目录，可以自行定义
mkdir /home/fastdfs

vim /etc/fdfs/tracker.conf

tracker.conf

base_path=/home/fastdfs

4.7、配置Storage

#作为文件存储目录，可以自行定义
mkdir /home/fastdfs/fdfs_storage

vim /etc/fdfs/storage.conf

storage.conf

base_path=/home/fastdfs
store_path0=/home/fastdfs/fdfs_storage
tracker_server=.101.34.116.9:22122

4.8、启动

[root@VM-0-3-centos bin]# pwd
/usr/bin
[root@VM-0-3-centos bin]# fdfs_trackerd /etc/fdfs/tracker.conf restart
[root@VM-0-3-centos bin]# fdfs_storaged /etc/fdfs/storage.conf restart
[root@VM-0-3-centos bin]# ps -ajx|grep fdfs1 15717 15716 15716 ?           -1 Sl       0   0:00 fdfs_trackerd /etc/fdfs/tracker.conf restart1 17544 17543 17543 ?           -1 Sl       0   0:00 fdfs_storaged /etc/fdfs/storage.conf restart
11458 17573 17572 11458 pts/0    17572 R+       0   0:00 grep --color=auto fdfs
[root@VM-0-3-centos bin]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1383/master         
tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      15717/fdfs_trackerd 
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1495/sshd           
tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      17544/fdfs_storaged 
tcp6       0      0 ::1:25                  :::*                    LISTEN      1383/master         
tcp6       0      0 :::22                   :::*                    LISTEN      1495/sshd

5、文件上传

5.1、导入依赖

<dependencies><dependency><groupId>net.oschina.zcx7878</groupId><artifactId>fastdfs-client-java</artifactId><version>1.27.0.0</version></dependency><!-- https://mvnrepository.com/artifact/commons-io/commons-io --><dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.8.0</version></dependency>
</dependencies>

5.2、配置文件

##fastdfs-client.properties
fastdfs.connect_timeout_in_seconds = 5
fastdfs.network_timeout_in_seconds = 30
fastdfs.charset = UTF-8
fastdfs.http_anti_steal_token = false
fastdfs.http_secret_key = FastDFS1234567890
fastdfs.http_tracker_http_port = 80
fastdfs.tracker_servers = 101.34.116.9:22122

5.3、测试

public class FastDFSTest {@Testpublic void upload_file() throws IOException, MyException {// 加载配置文件ClientGlobal.initByProperties("fastdfs-client.properties");// 创建tracker客户端TrackerClient trackerClient=new TrackerClient();// 通过tracker客户端获取tracker的连接服务TrackerServer connection = trackerClient.getConnection();// 声明storage服务StorageServer storageServer=null;// 定义storage客户端StorageClient storageClient = new StorageClient(connection, storageServer);// 元数据NameValuePair[] nameValuePair = new NameValuePair[1];nameValuePair[0]=new NameValuePair("fileName","witch");// 上传文件String[] strings = storageClient.upload_file("C:\\Users\\yoya\\Pictures\\1555296384.jpeg", "jpeg", nameValuePair);System.out.println(Arrays.toString(strings));connection.close();// [group1, M00/00/00/rBEAA2EJE8qAGmD5AAOoqzLzJBg09.jpeg]}
}

6、文件查询

public class FastDFSTest {@Testpublic void select_file() throws IOException, MyException {// 加载配置文件ClientGlobal.initByProperties("fastdfs-client.properties");// 创建tracker客户端TrackerClient trackerClient=new TrackerClient();// 通过tracker客户端获取tracker的连接服务TrackerServer connection = trackerClient.getConnection();// 声明storage服务StorageServer storageServer=null;// 定义storage客户端StorageClient storageClient = new StorageClient(connection, storageServer);// 查询文件FileInfo fileInfo = storageClient.query_file_info("group1", "M00/00/00/rBEAA2EJE8qAGmD5AAOoqzLzJBg09.jpeg");System.out.println(fileInfo);connection.close();// source_ip_addr = 172.17.0.3, file_size = 239787, create_timestamp = 2021-08-03 18:00:42, crc32 = 854795288}
}

7、文件下载

public class FastDFSTest {@Testpublic void download_file() throws IOException, MyException {// 加载配置文件ClientGlobal.initByProperties("fastdfs-client.properties");// 创建tracker客户端TrackerClient trackerClient=new TrackerClient();// 通过tracker客户端获取tracker的连接服务TrackerServer connection = trackerClient.getConnection();// 声明storage服务StorageServer storageServer=null;// 定义storage客户端StorageClient storageClient = new StorageClient(connection, storageServer);// 查询文件byte[] bytes = storageClient.download_file("group1", "M00/00/00/rBEAA2EJE8qAGmD5AAOoqzLzJBg09.jpeg");FileOutputStream fileOutputStream = new FileOutputStream(new File("D:/123.jpeg"));fileOutputStream.write(bytes);fileOutputStream.close();connection.close();System.out.println("下载成功");}
}