如何设置自己网站的关键词,机械厂做网站,论坛建站,wordpress 亚马逊s3文章目录目录1.分布式文件系统1.1 计算机集群概念1.2 分布式文件系统结构2.HDFS简介2.1 HDFS设计的目标2.2HDFS的局限性2.3 块的概念2.4 HDFS主要组件及其功能2.4.1 名称节点2.4.2 第二名称节点2.4.3 数据节点3.HDFS体系结构3.1 HDFS体系结构介绍3.2 HDFS体系结构的局限性4.HDF… 文章目录目录1.分布式文件系统1.1 计算机集群概念1.2 分布式文件系统结构2.HDFS简介2.1 HDFS设计的目标2.2HDFS的局限性2.3 块的概念2.4 HDFS主要组件及其功能2.4.1 名称节点2.4.2 第二名称节点2.4.3 数据节点3.HDFS体系结构3.1 HDFS体系结构介绍3.2 HDFS体系结构的局限性4.HDFS存储原理4.1 冗余数据保存4.2 数据存取策略4.3 数据错误和恢复4.3.1 名称节点出错4.3.2 数据节点出错4.3.3 数据出错5.HDFS数据读写过程5.1 数据读取过程5.2 数据存储过程5.3 读写介绍5.3.1 读数据过程5.3.2 写数据过程6.HDFS编程实践6.1 HDFS常用命令6.2 HDFS的web界面目录 1.分布式文件系统 1.1 计算机集群概念 Hadoop的分布式文件存储使得文件的存储不在依赖于计算机性能普通的计算机也可以组件集群。 1.2 分布式文件系统结构 2.HDFS简介 2.1 HDFS设计的目标 兼容廉价的硬件设备流数据的读写大数据集的存储于管理简单的文件模型强大的跨平台性能 2.2HDFS的局限性 不适合低延迟的数据访问HBASE支持实时访问无法高效的存储大量的小文件nameNode节点的存储有限如果小文件过多元数据就多不支持多用户写入及任意修改 2.3 块的概念 2.4 HDFS主要组件及其功能 2.4.1 名称节点 2.4.2 第二名称节点 2.4.3 数据节点 数据节点是分布式文件系统HDFS的工作节点负责数据的存储和读取会根据客户端或者是名称节点的调度来进行数据的存储和检索并且向名称节点定期发送自己所存储的块的列表每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中 3.HDFS体系结构 3.1 HDFS体系结构介绍 HDFS的命名空间包含目录、文件和块在HDFS1.0体系结构中在整个HDFS集群中只有一个命名空间并且只有唯一一个名称节点该节点负责对这个命名空间进行管理HDFS使用的是传统的分级文件体系因此用户可以像使用普通文件系统一样创建、删除目录和文件在目录间转移文件重命名文件等 3.2 HDFS体系结构的局限性 4.HDFS存储原理 4.1 冗余数据保存 4.2 数据存取策略 4.3 数据错误和恢复 HDFS具有较高的容错性可以兼容廉价的硬件它把硬件出错看作一种常态而不是异常并设计了相应的机制检测数据错误和进行自动恢复主要包括以下几种情形名称节点出错、数据节点出错和数据出错。 4.3.1 名称节点出错 名称节点保存了所有的元数据信息其中最核心的两大数据结构是FsImage和Editlog如果这两个文件发生损坏那么整个HDFS实例将失效。因此HDFS设置了备份机制把这些核心文件同步复制到备份服务器SecondaryNameNode上。当名称节点出错时就可以根据备份服务器SecondaryNameNode中的FsImage和Editlog数据进行恢复。 4.3.2 数据节点出错 4.3.3 数据出错 网络传输和磁盘错误等因素都会造成数据错误如何判断数据出错HDFS在创建每个文件的时候都默认给出了一个校验码在读取文件的时候会比对校验码如果校验码没有错则数据没有出错。在文件被创建时客户端就会对每一个文件块进行信息摘录并把这些信息写入到同一个路径的隐藏文件里面当客户端读取文件的时候会先读取该信息文件然后利用该信息文件对每个读取的数据块进行校验如果校验出错客户端就会请求到另外一个数据节点读取该文件块并且向名称节点报告这个文件块有错误名称节点会定期检查并且重新复制这个块 5.HDFS数据读写过程 HDFS支持两种方式的交互我们可以自由的选择shell和java的方式。 5.1 数据读取过程 5.2 数据存储过程 5.3 读写介绍 5.3.1 读数据过程 5.3.2 写数据过程 6.HDFS编程实践 参考链接http://dblab.xmu.edu.cn/blog/290-2/ 6.1 HDFS常用命令 hadoop fs -ls :显示指定的文件的详细信息hadoop fs -mkdir :创建指定的文件夹hadoop fs -cat :将指定的文件的内容输出到标准输出stdouthadoop fs -copyFromLocal :将本地源文件复制到路径指定的文件或文件夹中 6.2 HDFS的web界面