4.2-6 使用Hadoop WebUI

文章目录

  • 1. 查看HDFS集群状态
    • 1.1 端口号说明
    • 1.2 用主机名访问
    • 1.3 主节点状态
    • 1.4 用IP地址访问
    • 1.5 查看数据节点
  • 2. 操作HDFS文件系统
    • 2.1 查看HDFS文件系统
    • 2.2 在HDFS上创建目录
    • 2.3 上传文件到HDFS
    • 2.4 删除HDFS文件和目录
  • 3. 查看YARN集群状态
  • 4. 实战总结

在这里插入图片描述

1. 查看HDFS集群状态

1.1 端口号说明

  • Hadoop 2.x 使用端口号 50070
  • Hadoop 3.x 使用端口号 9870

1.2 用主机名访问

访问 Hadoop WebUI 通过 http://master:9870,其中 master 是主节点的主机名。

1.3 主节点状态

  • Active 表示主节点处于正常运行状态。

1.4 用IP地址访问

使用主节点的浮动IP地址访问,例如 http://192.168.219.83:9870,并查看本机映射文件。

1.5 查看数据节点

  • 单击绿色导航栏上的 Datanodes 选项卡,可以查看集群中所有数据节点的状态。

2. 操作HDFS文件系统

2.1 查看HDFS文件系统

  • 单击 Utilities 选项卡,然后选择 Browse the file system 菜单项,查看根目录 /

2.2 在HDFS上创建目录

  • 创建根目录下的 BigData 目录

    • 切换到根目录。
    • 找到并单击 Create Directory 按钮。
    • 输入目录名 BigData 并单击 Create 按钮。
  • china 里创建 sichuan/luzhou/lzy 多级目录

    • 进入 china 目录,创建 sichuan
    • 进入 sichuan,创建 luzhou
    • 进入 luzhou,创建 lzy

2.3 上传文件到HDFS

  • 上传小文件(如 hosts 文件)到 /BigData 目录

    • 切换到 /BigData 目录。
    • 单击 Upload Files 按钮。
    • 选择文件并单击 Upload 按钮。
  • 上传大文件(如 hadoop-3.3.4.tar.gz)到 /BigData 目录

    • 注意大文件会被分割成多个块,默认块大小为128M。
    • 查看文件详情和块信息。

2.4 删除HDFS文件和目录

  • 删除文件

    • 单击文件右侧的删除图标。
    • 确认删除操作。
  • 删除目录

    • 单击目录右侧的删除图标。
    • 确认删除操作。

3. 查看YARN集群状态

通过访问 http://master:8088 可以查看YARN集群的状态。如果还没有运行过MapReduce应用,表格中将没有任何数据。

4. 实战总结

在本次实战中,我们通过Hadoop WebUI成功监控了HDFS集群状态,并掌握了如何在HDFS上进行文件和目录的操作。通过访问端口9870,我们查看了集群状态,创建并上传了文件,以及执行了删除操作。此外,通过端口8088我们检查了YARN集群状态。这些操作加深了我们对Hadoop文件系统管理的理解,为后续的大数据处理打下了坚实基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/57652.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker部署MySQL主从复制

1. 主从复制概念及优势 1.1 概念 MySQL主从复制是一种数据库复制技术,它允许将一个数据库服务器(主服务器)上的数据更改复制到一个或多个数据库服务器(从服务器)。这种技术在数据库管理和维护中扮演着重要的角色&…

CSS 网格布局

网格布局是一个二维布局系统,允许开发者以行和列的形式创建灵活的网络,并将内容放置在网络的单元格中。有些元素可能只占据网络的一个单元,另一些元素则可能占据多行或多列。 网格的大小既可以精确定义,也可以根据自身内容自动计…

使用frp0.61.0透传局域网的https服务到自有域名

本文成因:我之前已经写过多个frphttps的文章,但因为frp版本升级后,更换了配置文件,其格式和之前差别比较明显,其次,之前的教程也过于繁杂,因此做出更新和改进。主要是展示各部分的配置文件&…

C/C++(六)多态

本文将介绍C的另一个基于继承的重要且复杂的机制,多态。 一、多态的概念 多态,就是多种形态,通俗来说就是不同的对象去完成某个行为,会产生不同的状态。 多态严格意义上分为静态多态与动态多态,我们平常说的多态一般…

实战应用WPS WebOffice开放平台服务

概述 根据公司的业务需要,主要功能是在线编辑文档,前端的小伙伴进行的技术调研,接入的是WPS WebOffice,这里只阐述技术介入的步骤、流程和遇到的坑进行的一些总结。 实践 WPS WebOffice 开放平台进行认证 在开始之前&#xff…

【NOIP提高组】加分二叉树

【NOIP提高组】加分二叉树 💐The Begin💐点点关注,收藏不迷路💐 设一个n个节点的二叉树tree的中序遍历为(l,2,3,…,n),其中数字1,2,3,…,n为节点编号。每个节点都有一个分数(均为正整…

安全见闻(3)

脚本语言 lua php go(也算吧) python JavaScript nodejs这种主流脚本就很多了,这些编程语言都可以写一些脚本性的病毒,python可以编写木马,js也可以编写木马,比如beefxss,了解本质的人都知道那个就是相当于js写的木马…

TensorFlow面试整理-TensorFlow 结构与组件

TensorFlow 的结构和组件是其功能强大、灵活性高的重要原因。掌握这些结构和组件有助于更好地理解和使用 TensorFlow 构建、训练和部署模型。以下是 TensorFlow 关键的结构与组件介绍: 1. Tensor(张量) 定义:张量是 TensorFlow 中的数据载体,类似于多维数组或矩阵。张量的…

深入了解Vue Router:基本用法、重定向、动态路由与路由守卫的性能优化

文章目录 1. 引言2. Vue Router的基本用法2.1 基本配置 3. 重定向和命名路由的使用3.1 重定向3.2 命名路由 4. 在Vue Router中如何处理动态路由4.1 动态路由的概念4.2 如何处理动态路由4.3 动态路由的懒加载 5. 路由守卫的实现与性能影响5.1 什么是路由守卫?5.2 路由…

Redis 持久化 总结

前言 相关系列 《Redis & 目录》(持续更新)《Redis & 持久化 & 源码》(学习过程/多有漏误/仅作参考/不再更新)《Redis & 持久化 & 总结》(学习总结/最新最准/持续更新)《Redis & …

通信协议——UART

目录 基础概念串行&并行串行的优缺点 单工&双工 UART基本概念时序图思考:接收方如何确定01和0011 基础概念 串行&并行 串行为8车道,并行为1车道 串行的优缺点 通行速度快浪费资源布线复杂线与线之间存在干扰 单工&双工 单工&#xf…

WPF:Binding数据绑定

WPF(Windows Presentation Foundation)是微软推出的一种用于构建Windows客户端应用程序的UI框架。数据绑定是WPF中一个强大的功能,它允许UI元素与数据源之间建立连接,使得UI能够自动显示数据源中的数据,并且当数据源中…

NewStarCTF 2023 公开赛道 Web week1-week2

目录 week1 泄漏的秘密 Begin of Upload Begin of HTTP ErrorFlask ​Begin of PHP R!C!E! EasyLogin ​week2 游戏高手 include 0。0 ez_sql ​Unserialize? Upload again! R!!C!!E!! week1 泄漏的秘密 使用ctf-scan.py(https://gith…

EasyExcel文件导入与导出

1.文件导入 导入校验 public class BoyListener extends AnalysisEventListener {List<String> names new ArrayList<>();/*** 每解析一行&#xff0c;回调该方法**/Overridepublic void invoke(Object data, AnalysisContext analysisContext) {//校验名称Stri…

上传Gitee仓库流程图

推荐一个流程图工具 登录 | ProcessOnProcessOn是一个在线协作绘图平台&#xff0c;为用户提供强大、易用的作图工具&#xff01;支持在线创作流程图、思维导图、组织结构图、网络拓扑图、BPMN、UML图、UI界面原型设计、iOS界面原型设计等。同时依托于互联网实现了人与人之间的…

Qt中使用线程之QConcurrent

QConcurrent可以实现并发&#xff0c;好处是我们可以不用单独写一个类了&#xff0c;直接在类里面定义任务函数&#xff0c;然后使用QtConcurrent::run在单独的线程里执行一个任务 1、定义一个任务函数 2、定义1个QFutureWatcher的对象&#xff0c;使用QFutureWatcher来监测任…

用Python将Office文档(Word、Excel、PowerPoint)批量转换为PDF

在处理不同格式的Office文档&#xff08;如Word、Excel和PowerPoint&#xff09;时&#xff0c;将其转换为PDF格式是常见的需求。这种转换不仅确保了文件在不同设备和操作系统间的一致性显示&#xff0c;而且有助于保护原始内容不被轻易修改&#xff0c;非常适合于正式报告、提…

Redisson(三)应用场景及demo

一、基本的存储与查询 分布式环境下&#xff0c;为了方便多个进程之间的数据共享&#xff0c;可以使用RedissonClient的分布式集合类型&#xff0c;如List、Set、SortedSet等。 1、demo <parent><groupId>org.springframework.boot</groupId><artifact…

【主机漏洞扫描常见修复方案】:Tomcat安全(机房对外Web服务扫描)

文章目录 引言I SSL/TLS Not ImplementedTomcat 服务器 SSL 证书安装部署(JKS 格式)Tomcat 服务器 SSL 证书安装部署(PFX 格式)HTTP 自动跳转 HTTPS 的安全配置(可选)修复SSL证书版本低II 主机漏洞扫描常见修复方案Apache JServ protocol serviceSlow HTTP DEnial of Ser…

多楼层智能穿梭:转运机器人助力制造业转型升级

针对当前喷砂产品人工转运存在的劳动强度大、效率低、安全隐患多等问题&#xff0c;本方案提出设计一套高效、安全、多楼层自动转运系统&#xff0c;采用潜伏式转运机器人结合电梯与升降平台技术&#xff0c;实现平面类、立柱类及小工件类喷砂产品的自动化、智能化转运。 项目需…