1.HDFS简介
1.1 Hadoop Distributed File System，简称HDFS。解决海量数据的分布式存储。
1.2 分布式文件系统
-
计算机集群中内部机器通过光纤高速交换机进行连接，机架之间通过宽带更高的光纤交换机连接。
-
有一个主节点机器其他的为从节点机器，主节点承担数据目录(元数据)服务，从节点负责具体的数据存储任务。
1.3 HDFS实现目标 -
兼容廉价的硬件设备
-
实现流数据读写：批量读取全部数据或大部分数据。
-
支持大数据集
-
支持简单的文件模型
-
强大的跨平台特性
1.4 HDFS自身的局限性
- 不适合低延迟数据访问
- 无法高效存储大量小文件:HDFS是通过元数据来指引客户端到节点寻找相关数据文件，一个文件被切分存到不同节点。元数据被保存在NameNode节点，HDFS会建立一个碎银数据结构，小文件多，则索引数据结果变得复杂，查询效率变低。
- 不支持多用户写入及任意修改文件：只允许追加，不允许修改。
2.HDFS相关概念
2.1 块的概念：HDFS中核心概念，分摊磁盘的读写开销(在大量数据间分摊磁盘寻址开销)，比普通的文件系统块要大得多，默认为64M。如果块过大，MapReduce执行任务的并行度降低。
2.2 HDFS块设计的优点
- 支持大规模文件存储：对较大数据进行分割，使其可以分布存储在某些节点(不分的话，单机存不下)。
- 简化系统设计
- 适合数据备份
2.3 HDFS两大组件
-
名称节点：整个HDFS集群的管家，有数据目录。
元数据：包括数据分割的份数，块与文件的映射关系、块的存储位置等信息。
FsImage：保存系统文件树以及文件树中所有文件和文件夹中的元数据。是存储相关元数据的，包括文件的复制等级、修改访问时间、访问权限、块大小以及组成的文件的块。
EditLog：记录对数据进行的诸如创建、删除、重命名等操作。 -
数据节点：存储实际数据。
-
从节点向主节点汇报自己存储的数据块，主节点生成一个数据清单。
-
如何避免EditLog的不断增大：
SecondaryNode：名称节点的冷备份，也负责对EditLog的维护处理，定期与主节点通信，在某个阶段会请求名称节点停止使用EditLog文件，名称节点停止使用EditLog而生成一个新的edits.new,将又生成的EditLog文件更新写到edits.new中去，第二名称节点通过Http Get方式从名称节点上把FsImage和旧的EditLog下载到本地，然后合并得到新的FsImage文件，然后发送个名称节点，然后名称节点把edits.new更改为EditLog。
3.HDFS体系结构
3.1 数据访问
3.2 HDFS 命名空间
3.3 使用的通信协议
3.4 HDFS局限性
- 命名空间限制：名称结点是保存在内存中的，因此名称结点能够容纳的对象的个数会受到空间大小的限制。
- 性能瓶颈：整个分布式文件的吞吐量，受限于单个名称结点的吐吞量。
- 隔离问题：由于集群中只有一个名称结点，只有一个命名空间，因此无法对不同应用程序进行隔离。
- 具有单点故障：第二名称结点是冷备份，后来2.0版本有所改进。
4.HDFS存储原理
-
数据冗余保存：每个块都被冗余保存(默认3份).
-
优点：加速数据传输速度。多机器访问一个数据时。
-
很容易检查数据错误。
-
保证数据可靠性。自动复制生成新的副本，保证正确的副本数量。
-
存储策略：一个块，生成副本，第一个副本存储在上传数据的结点。外部结点若向集群写入数据，则一个块的副本，集群会随机挑选一个磁盘不太满，CPU不太忙的结点存储块的第一个副本，第二副本放在和第一个机架不同的结点上，第三个副本放在和第一个副本相同的机架的不同结点上。
-
读取策略：HDFS提供的一个API可以确定一个数据结点所属的机架ID。获取数据：根据客户端的机架ID和数据副本的机架ID，选择最近的数据副本读取数据。否则的话，就随机选择结点。
-
-
数据的错误与恢复：
- 名称结点出错：热备份，则直接启动第二名称结点。
- DateNode出错：通过该节点的数据的其他副本复制该节点的所有数据，放到其他结点。
- 数据本身出错：校验码,数据创建时生成校验码，并和数据放在同一目录下。读到数据时，计算其校验码与源校验码对比，看是否出错。
- 名称结点出错：热备份，则直接启动第二名称结点。
5.HDFS编程-数据读写
-
Hadoop中的一个通用文件系统的抽象基类FileSystem，如下继承其的子类。
- DistributedFileSystem
- 数据的读写open/read/close
- FSDateInputStream
- DFSInputStream
-
hadoop.conf.Configuration
- Configuration conf=new Configuration();会通过构造函数加载hdfs-site.xml和core-site.xml文件，获取相关配置信息。
-
数据读取流程
6.HDFS编程实践
-
hadoop fs +：
- ls :显示文件详细信息
- mkdir：创建相关文件夹
- cat：指定文件内容输出到标准输出。
-
本地文件复制到HDFS系统
- hadoop fs -cp 本地目录 HDFS路径
-
利用Java API与HDFS交互：需要加载hadoop开发的jar包，一般位于/usr/local/hadoop/share/hadoop目录下，需要将其导入编辑器Eclipse中。选择属性—>Java Build Path—>Libraries—>Add External JARS。
-
需要将配置的两个文件core-site.xml和hdfs-site.xml复制到Java工程目录下的bin目录下，否则后面运行会出错。
-
基本编程结构：测试某文件是否存在。
import org.apache.hadoop.conf.Configuration;//管理相关配置文件
import org.apache.hadoop.fs.FileSystem; //文件相关的基类
import org.apache.hadoop.fs.Path; //路径类public class Chap
{try{String filename="hdfs://localhost:9000/user/hadoop/test.txt";Configuration conf =new Configuration();FileSystem fs=FileSystem.get(conf);if(fs.exists(new Path(filename))){System.out.println("文件存在");}else{System.out.println("文件不存在");}}catch(Exception e){e.printStackTrace();}
}
